CN115588169A - 基于车轴数据的车辆超重行驶监测方法及其系统 - Google Patents

基于车轴数据的车辆超重行驶监测方法及其系统 Download PDF

Info

Publication number
CN115588169A
CN115588169A CN202211336581.7A CN202211336581A CN115588169A CN 115588169 A CN115588169 A CN 115588169A CN 202211336581 A CN202211336581 A CN 202211336581A CN 115588169 A CN115588169 A CN 115588169A
Authority
CN
China
Prior art keywords
feature map
axle
scale
vehicle
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211336581.7A
Other languages
English (en)
Inventor
陈丽萍
毛建明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fuyuan Information Technology Co ltd
Original Assignee
Shenzhen Fuyuan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fuyuan Information Technology Co ltd filed Critical Shenzhen Fuyuan Information Technology Co ltd
Priority to CN202211336581.7A priority Critical patent/CN115588169A/zh
Publication of CN115588169A publication Critical patent/CN115588169A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种基于车轴数据的车辆超重行驶监测方法及其系统，其考虑到随着车辆载重的增加，车轴所承受的应力会增大而发生不同程度的形变，且该形变是连续、微弱递进的，因此，基于人工智能技术通过车轴图像特征来对车轴应受不同载重下的受力情况继而来判断车辆是否属于超重行驶的状态，这样可基于车辆自身的视觉传感器来对自身的行驶状态进行监测，而无需在路面上部署于压力传感器，从而能够实现对车辆行驶状态的实时在线监控。

Description

基于车轴数据的车辆超重行驶监测方法及其系统
技术领域
本申请涉及车辆监测领域，且更为具体地，涉及一种基于车轴数据的车辆超重行驶监测方法及其系统。
技术背景
随着经济的发展和交通运输业的日益繁荣，部分车主片面追求经济利益，经常出现车辆超限、超载的情况。违法超限超载不仅严重破坏公路和桥梁设施，容易引发道路交通事故，危害人民群众的生命财产安全，而且严重扰乱运输市场秩序。
因此，需要对车辆是否超重行驶进行监测，传统的车辆超重行驶基于压力传感器所采集的车辆压力值与预定阈值之间的比较来进行，但这需要在道路的特定位置设置车辆超重检测仪，也就是，仅可以在道路的特定位置进行车辆超重行驶监测。另一方面，部署于道路上的车辆超重检测仪也容易被破坏。
因此，期待一种优化的车辆超重行驶监测方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于车轴数据的车辆超重行驶监测方法及其系统，其考虑到随着车辆载重的增加，车轴所承受的应力会增大而发生不同程度的形变，且该形变是连续、微弱递进的，因此，基于人工智能技术通过车轴图像特征来对车轴应受不同载重下的受力情况继而来判断车辆是否属于超重行驶的状态，这样可基于车辆自身的视觉传感器来对自身的行驶状态进行监测，而无需在路面上部署于压力传感器，从而能够实现对车辆行驶状态的实时在线监控。
根据本申请的一个方面，提供了一种基于车轴数据的车辆超重行驶监测方法，其包括：
车轴数据采集步骤：获取待检测车辆的车轴检测图像和车轴参考图像，所述车轴参考图像为与待检测车辆同型号的车辆在超重行驶状态下的车轴图像；
孪生检测步骤：将所述车轴检测图像和所述车轴参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征向量和参考特征向量；
转移评估步骤：计算所述检测特征向量相对于所述参考特征向量的转移矩阵；以及
监测结果生成步骤：将所述转移矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测车辆是否处于超重行驶状态。
在上述基于车轴数据的车辆超重行驶监测方法中，所述孪生检测步骤，包括：检测图像编码子步骤：使用所述孪生网络模型的第一图像编码器对所述车轴检测图像进行多尺度深度卷积编码以得到所述检测特征向量；以及，参考图像编码子步骤：使用所述孪生网络模型的第二图像编码器对所述车轴参考图像进行多尺度深度卷积编码以得到所述参考特征向量。
在上述基于车轴数据的车辆超重行驶监测方法中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
在上述基于车轴数据的车辆超重行驶监测方法中，所述第一图像编码器和所述第二图像编码器包括作为特征提取器的卷积神经网络和与所述卷积神经网络级联的混合卷积层。
在上述基于车轴数据的车辆超重行驶监测方法中，所述检测图像编码子步骤，包括：检测图像特征提取二级子步骤：使用所述第一图像编码器的作为特征提取器的卷积神经网络的各层对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络的最后一层输出检测特征图；以及，检测特征图多尺度感知二级子步骤：使用所述第一图像编码器的混合卷积层对所述检测特征图进行多尺度感知以得到所述检测特征向量。
在上述基于车轴数据的车辆超重行驶监测方法中，所述参考图像编码子步骤，包括：参考图像特征提取二级子步骤：使用所述第二图像编码器的作为特征提取器的卷积神经网络的各层对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络的最后一层输出参考特征图；以及，参考特征图多尺度感知二级子步骤：使用所述第二图像编码器的混合卷积层对所述参考特征图进行多尺度感知以得到所述参考特征向量。
在上述基于车轴数据的车辆超重行驶监测方法中，所述检测特征图多尺度感知二级子步骤，包括：第一尺度卷积编码三级子步骤：使用所述第一图像编码器的混合卷积层的第一卷积层对所述检测特征图进行二维卷积编码以得到第一尺度感知特征图，其中，所述第一卷积层使用具有第一尺寸的第一卷积核；第二尺度卷积编码三级子步骤：使用所述第一图像编码器的混合卷积层的第二卷积层对所述检测特征图进行二维卷积编码以得到第二尺度感知特征图，其中，所述第二卷积层使用具有第一空洞率的第一空洞卷积核，所述第一空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；第三尺度卷积编码三级子步骤：使用所述第一图像编码器的混合卷积层的第三卷积层对所述检测特征图进行二维卷积编码以得到第三尺度感知特征图，其中，所述第三卷积层使用具有第二空洞率的第二空洞卷积核，所述第二空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；第四尺度卷积编码三级子步骤：使用所述第一图像编码器的混合卷积层的第四卷积层对所述检测特征图进行二维卷积编码以得到第四尺度感知特征图，其中，所述第四卷积层使用具有第三空洞率的第三空洞卷积核，所述第三空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；融合三级子步骤：融合所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图和所述第四尺度感知特征图以得到融合特征图；以及，降维三级子步骤：对所述融合特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到所述检测特征向量。
在上述基于车轴数据的车辆超重行驶监测方法中，所述融合三级子步骤，包括：特征图优化因子确定四级子步骤：以如下公式分别计算所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图和所述第四尺度感知特征图的特征图优化因子以得到第一至第四特征图优化因子：其中，所述公式为：
Figure BDA0003915538400000031
其中，fi,j,k表示所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图或所述第四尺度感知特征图的第(i,j,k)位置的特征值，|fi,j,k|2表示各个特征值绝对值的平方，且W、H和C分别是所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图或所述第四尺度感知特征图的宽度、高度和通道数，log表示以2为底的对数；以及，优化因子作用四级子步骤：以所述第一至第四特征图优化因子作为加权系数分别对第一至第四尺度感知特征图进行加权之后以得到第一至第四加权后尺度感知特征图，并融合所述第一至第四加权后尺度感知特征图以得到所述融合特征图。
在上述基于车轴数据的车辆超重行驶监测方法中，所述转移评估步骤，包括：以如下公式计算所述检测特征向量相对于所述参考特征向量的转移矩阵；其中，所述公式为：
Figure BDA0003915538400000043
其中Va表示所述检测特征向量，Vb表示所述参考特征向量，M表示所述转移矩阵，
Figure BDA0003915538400000041
表示矩阵与向量相乘。
在上述基于车轴数据的车辆超重行驶监测方法中，所述监测结果生成步骤，包括：使用所述分类器以如下公式对所述转移矩阵进行处理以得到所述分类结果；其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(M)}，其中Project(M)表示将所述转移矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
根据本申请的另一方面，提供了一种基于车轴数据的车辆超重行驶监测系统，包括：
车轴数据采集单元，用于获取待检测车辆的车轴检测图像和车轴参考图像，所述车轴参考图像为与待检测车辆同型号的车辆在超重行驶状态下的车轴图像；
孪生检测单元，用于将所述车轴检测图像和所述车轴参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征向量和参考特征向量；
转移评估单元，用于计算所述检测特征向量相对于所述参考特征向量的转移矩阵；以及
监测结果生成单元，用于将所述转移矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测车辆是否处于超重行驶状态。
在上述基于车轴数据的车辆超重行驶监测系统中，所述孪生检测单元，包括：检测图像编码子单元，用于使用所述孪生网络模型的第一图像编码器对所述车轴检测图像进行多尺度深度卷积编码以得到所述检测特征向量；以及，参考图像编码子单元，用于使用所述孪生网络模型的第二图像编码器对所述车轴参考图像进行多尺度深度卷积编码以得到所述参考特征向量。
在上述基于车轴数据的车辆超重行驶监测系统中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
在上述基于车轴数据的车辆超重行驶监测系统中，所述第一图像编码器和所述第二图像编码器包括作为特征提取器的卷积神经网络和与所述卷积神经网络级联的混合卷积层。
在上述基于车轴数据的车辆超重行驶监测系统中，所述检测图像编码子单元，包括：检测图像特征提取二级子单元，用于使用所述第一图像编码器的作为特征提取器的卷积神经网络的各层对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络的最后一层输出检测特征图；以及，检测特征图多尺度感知二级子单元，用于使用所述第一图像编码器的混合卷积层对所述检测特征图进行多尺度感知以得到所述检测特征向量。
在上述基于车轴数据的车辆超重行驶监测系统中，所述参考图像编码子单元，包括：参考图像特征提取二级子单元，用于使用所述第二图像编码器的作为特征提取器的卷积神经网络的各层对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络的最后一层输出参考特征图；以及，参考特征图多尺度感知二级子单元，用于使用所述第二图像编码器的混合卷积层对所述参考特征图进行多尺度感知以得到所述参考特征向量。
在上述基于车轴数据的车辆超重行驶监测系统中，所述检测特征图多尺度感知二级子单元，包括：第一尺度卷积编码三级子单元，用于使用所述第一图像编码器的混合卷积层的第一卷积层对所述检测特征图进行二维卷积编码以得到第一尺度感知特征图，其中，所述第一卷积层使用具有第一尺寸的第一卷积核；第二尺度卷积编码三级子单元，用于使用所述第一图像编码器的混合卷积层的第二卷积层对所述检测特征图进行二维卷积编码以得到第二尺度感知特征图，其中，所述第二卷积层使用具有第一空洞率的第一空洞卷积核，所述第一空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；第三尺度卷积编码三级子单元，用于使用所述第一图像编码器的混合卷积层的第三卷积层对所述检测特征图进行二维卷积编码以得到第三尺度感知特征图，其中，所述第三卷积层使用具有第二空洞率的第二空洞卷积核，所述第二空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；第四尺度卷积编码三级子单元，用于使用所述第一图像编码器的混合卷积层的第四卷积层对所述检测特征图进行二维卷积编码以得到第四尺度感知特征图，其中，所述第四卷积层使用具有第三空洞率的第三空洞卷积核，所述第三空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；融合三级子单元，用于融合所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图和所述第四尺度感知特征图以得到融合特征图；以及，降维三级子单元，用于对所述融合特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到所述检测特征向量。
在上述基于车轴数据的车辆超重行驶监测系统中，所述融合三级子单元，包括：特征图优化因子确定四级子单元，用于以如下公式分别计算所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图和所述第四尺度感知特征图的特征图优化因子以得到第一至第四特征图优化因子：
其中，所述公式为：
Figure BDA0003915538400000061
其中，fi,j,k表示所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图或所述第四尺度感知特征图的第(i,j,k)位置的特征值，|fi,j,k|2表示各个特征值绝对值的平方，且W、H和C分别是所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图或所述第四尺度感知特征图的宽度、高度和通道数，log表示以2为底的对数；以及，优化因子作用四级子单元，用于以所述第一至第四特征图优化因子作为加权系数分别对第一至第四尺度感知特征图进行加权之后以得到第一至第四加权后尺度感知特征图，并融合所述第一至第四加权后尺度感知特征图以得到所述融合特征图。
在上述基于车轴数据的车辆超重行驶监测系统中，所述转移评估单元，用于：以如下公式计算所述检测特征向量相对于所述参考特征向量的转移矩阵；其中，所述公式为：
Figure BDA0003915538400000062
其中Va表示所述检测特征向量，Vb表示所述参考特征向量，M表示所述转移矩阵，
Figure BDA0003915538400000071
表示矩阵与向量相乘。
在上述基于车轴数据的车辆超重行驶监测系统中，所述监测结果生成单元，用于：使用所述分类器以如下公式对所述转移矩阵进行处理以得到所述分类结果；其中，所述公式为：
softmax{(Wn,Bn):…:(W1,B1)|Project(M)}
其中Project(M)表示将所述转移矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
与现有技术相比，本申请提供的基于车轴数据的车辆超重行驶监测方法及其系统，其考虑到随着车辆载重的增加，车轴所承受的应力会增大而发生不同程度的形变，且该形变是连续、微弱递进的，因此，基于人工智能技术通过车轴图像特征来对车轴应受不同载重下的受力情况继而来判断车辆是否属于超重行驶的状态，这样可基于车辆自身的视觉传感器来对自身的行驶状态进行监测，而无需在路面上部署于压力传感器，从而能够实现对车辆行驶状态的实时在线监控。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于车轴数据的车辆超重行驶监测方法的应用场景图。
图2为根据本申请实施例的基于车轴数据的车辆超重行驶监测方法的流程图。
图3为根据本申请实施例的基于车轴数据的车辆超重行驶监测方法的架构示意图。
图4为根据本申请实施例的基于车轴数据的车辆超重行驶监测方法中检测特征图多尺度感知二级子步骤的流程图。
图5为根据本申请实施例的基于车轴数据的车辆超重行驶监测系统的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上所述，需要对车辆是否超重行驶进行监测，传统的车辆超重行驶基于压力传感器所采集的车辆压力值与预定阈值之间的比较来进行，但这需要在道路的特定位置设置车辆超重检测仪，也就是，仅可以在道路的特定位置进行车辆超重行驶监测。另一方面，部署于道路上的车辆超重检测仪也容易被破坏。因此，期待一种优化的车辆超重行驶监测方案
相应地，在本申请的技术方案中，本申请的申请人考虑到随着车辆载重的增加，实现车轴所承受的应力会增大而发生不同程度的形变，因此，可通过车轴图像来进行车辆超重行驶监测。也就是，可通过图像特征来对车轴应受不同载重下的受力情况继而来判断车辆是否属于超重行驶的状态，这样可基于车辆自身的视觉传感器来对自身的行驶状态进行监测，而无需在路面上部署于压力传感器，从而能够实现对车辆行驶状态的实时在线监控。
更具体地，在本申请的技术方案中，考虑到车轴随着载重的变化，其形变是连续且微弱递进的，也就是，车轴的形变特征在其图像端并非显著特征。因此，在本申请的技术方案中，将车轴检测图像映射到高维特征空间中，并与车轴参考图像在高维特征空间中的特征表示进行对比，以此来进行车辆行驶状态的分析和判断。应可以理解，虽然车轴检测图像和车轴参考图像可能在图像源域内的差异不大，但经特征提取和高维映射后，车轴检测图像和参考车辆图像中的车轴特征差异会被放大，通过这样的方式，可提高车轴状态检测的精准度，继而提高车辆超重行驶状态检测的精准度。
相应地，在本申请的技术方案中，获取待检测车辆的车轴检测图像和车轴参考图像，所述车轴参考图像为与待检测车辆同型号的车辆在超重行驶状态下的车轴图像。然后，将所述车轴检测图像和所述车轴参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征向量和参考特征向量。特别地，在本申请的技术方案中，所述孪生网络模型包含两个具有相同网络结构的第一图像编码器和第二图像编码器，其中，所述第一图像编码器和所述第二图像编码器用于对所述车轴检测图像和所述车轴参考图像进行特征提取以将所述车轴检测图像和所述车轴参考图像映射到高维特征空间中。
在本申请的技术方案中，考虑到所述车轴图像的特性，所述第一图像编码器和所述第二图像编码器的网络结构，包括：作为特征提取器的深度卷积神经网络模型+混合卷积层，其中，所述作为特征提取器的深度卷积神经网络模型为标准卷积结构，所述混合卷积层包括并联的四个分支，由一个卷积核大小为3×3的普通卷积层以及三个卷积核大小为3×3的空洞卷积层构成，分别对输入特征图进行操作，将空洞卷积三个分支的扩张率分别设置为2、3、4，通过不同扩张率的设置可获得不同感受域的图像信息，即可得到不同尺度的特征图，在扩大感受野的同时，又避免了下采样损失信息，接着将4个分支特征图进行融合，使得采样更为密集，既拥有了高层特征，也没有增加额外的参数量。
特别地，在本申请的技术方案中，所述第一图像编码器/所述第二图像编码器中的混合卷积层将多个分支获得的特征图融合，但是，由于每个分支的扩张卷积具有不同的扩张率，使得每个分支获得的特征图具有不同的表达信息量。这样，直接通过诸如点加的方式融合特征图会影响融合后的特征图的信息表达效果。
因此，对于每个分支得到的特征图，分别计算其类小波函数族能量聚合因数，表示为：
Figure BDA0003915538400000091
fi,j,k是特征图的第(i,j,k)位置的特征值，且W、H和C分别是特征图的宽度、高度和通道数，log表示以2为底的对数。
具体地，本申请的申请人考虑到对于高维流形来说，由于信息表示倾向于集中在高频分量上，因此信息倾向于分布在流形边缘，类小波函数族作为用于分离特征分布维度上的边缘的可分离变换，通过其可以将高维特征的隐状态转换为频率分量，并以类小波能量的方式表达信息量。这样，以其作为加权系数对每个分支的特征图加权之后再进行融合，就可以提高融合后的特征图在其特征表达空间内的信息聚合程度，以提升融合后的特征图的信息表达效果。
在通过所述孪生网络模型得到所述车轴检测图像的检测特征向量和所述车轴参考图像的参考特征向量后，计算所述检测特征向量相对于所述参考特征向量的转移矩阵。也就是，以转移矩阵来表示所述车轴检测图像的特征表示与所述车轴参考图像的特征表示在高维特征空间之间的差异。接着，以分类器对所述转移矩阵进行处理以得到用于表示待检测车辆是否处于超重行驶状态的分类结果。
综上，通过图像特征来对车轴应受不同载重下的受力情况继而来判断车辆是否属于超重行驶的状态，这样可基于车辆自身的视觉传感器来对自身的行驶状态进行监测，而无需在路面上部署于压力传感器，从而能够实现对车辆行驶状态的实时在线监控。
基于此，本申请提出了一种基于车轴数据的车辆超重行驶监测方法，其包括：车轴数据采集步骤：获取待检测车辆的车轴检测图像和车轴参考图像，所述车轴参考图像为与待检测车辆同型号的车辆在超重行驶状态下的车轴图像；孪生检测步骤：将所述车轴检测图像和所述车轴参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征向量和参考特征向量；转移评估步骤：计算所述检测特征向量相对于所述参考特征向量的转移矩阵；以及，监测结果生成步骤：将所述转移矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测车辆是否处于超重行驶状态。
图1为根据本申请实施例的基于车轴数据的车辆超重行驶监测方法的应用场景图。如图1所示，在该应用场景中，首先基于车辆(例如，如图1中所示意的Se1)自身的视觉传感器(例如，如图1中所示意的Se1)获取待检测车辆的车轴(例如，如图1中所示意的A)检测图像。进而，将所述待检测车辆的车轴检测图像输入至部署有基于车轴数据的车辆超重行驶监测算法的服务器(例如，如图1所示意的S)中，其中，所述服务器能够基于车轴数据的车辆超重行驶监测算法对所述待检测车辆的车轴检测图像进行处理，以得到用于表示待检测车辆是否处于超重行驶状态的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2为根据本申请实施例的基于车轴数据的车辆超重行驶监测方法的流程图。如图2所示，根据本申请实施例的基于车轴数据的车辆超重行驶监测方法，包括：S110，车轴数据采集步骤：获取待检测车辆的车轴检测图像和车轴参考图像，所述车轴参考图像为与待检测车辆同型号的车辆在超重行驶状态下的车轴图像；S120，孪生检测步骤：将所述车轴检测图像和所述车轴参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征向量和参考特征向量；S130，转移评估步骤：计算所述检测特征向量相对于所述参考特征向量的转移矩阵；以及，S140，监测结果生成步骤：将所述转移矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测车辆是否处于超重行驶状态。
图3为根据本申请实施例的基于车轴数据的车辆超重行驶监测方法的架构示意图。如图3所示，在该网络架构中，首先获取待检测车辆的车轴检测图像和车轴参考图像，所述车轴参考图像为与待检测车辆同型号的车辆在超重行驶状态下的车轴图像。接着，将所述车轴检测图像和所述车轴参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征向量和参考特征向量。然后，计算所述检测特征向量相对于所述参考特征向量的转移矩阵。进而，将所述转移矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测车辆是否处于超重行驶状态。
在车轴数据采集步骤S110中，获取待检测车辆的车轴检测图像和车轴参考图像，所述车轴参考图像为与待检测车辆同型号的车辆在超重行驶状态下的车轴图像。如上所述，需要对车辆是否超重行驶进行监测，传统的车辆超重行驶基于压力传感器所采集的车辆压力值与预定阈值之间的比较来进行，但这需要在道路的特定位置设置车辆超重检测仪，也就是，仅可以在道路的特定位置进行车辆超重行驶监测。另一方面，部署于道路上的车辆超重检测仪也容易被破坏。因此，期待一种优化的车辆超重行驶监测方案。
相应地，在本申请的技术方案中，本申请的申请人考虑到随着车辆载重的增加，实现车轴所承受的应力会增大而发生不同程度的形变，因此，可通过车轴图像来进行车辆超重行驶监测。也就是，可通过图像特征来对车轴应受不同载重下的受力情况继而来判断车辆是否属于超重行驶的状态，这样可基于车辆自身的视觉传感器来对自身的行驶状态进行监测，而无需在路面上部署于压力传感器，从而能够实现对车辆行驶状态的实时在线监控。
更具体地，在本申请的技术方案中，考虑到车轴随着载重的变化，其形变是连续且微弱递进的，也就是，车轴的形变特征在其图像端并非显著特征。因此，在本申请的技术方案中，将车轴检测图像映射到高维特征空间中，并与车轴参考图像在高维特征空间中的特征表示进行对比，以此来进行车辆行驶状态的分析和判断。应可以理解，虽然车轴检测图像和车轴参考图像可能在图像源域内的差异不大，但经特征提取和高维映射后，车轴检测图像和参考车辆图像中的车轴特征差异会被放大，通过这样的方式，可提高车轴状态检测的精准度，继而提高车辆超重行驶状态检测的精准度。
相应地，在本申请的技术方案中，获取待检测车辆的车轴检测图像和车轴参考图像，所述车轴参考图像为与待检测车辆同型号的车辆在超重行驶状态下的车轴图像。其中，所述待检测车辆的车轴检测图像可以基于车辆自身的视觉传感器获取，而无需在路面上部署于压力传感器。
在孪生检测步骤S120中，将所述车轴检测图像和所述车轴参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征向量和参考特征向量。特别地，在本申请的技术方案中，所述孪生网络模型包含两个具有相同网络结构的第一图像编码器和第二图像编码器，其中，所述第一图像编码器和所述第二图像编码器用于对所述车轴检测图像和所述车轴参考图像进行特征提取以将所述车轴检测图像和所述车轴参考图像映射到高维特征空间中。
具体地，在本申请实施例中，所述孪生检测步骤S120，包括：检测图像编码子步骤：使用所述孪生网络模型的第一图像编码器对所述车轴检测图像进行多尺度深度卷积编码以得到所述检测特征向量；以及，参考图像编码子步骤：使用所述孪生网络模型的第二图像编码器对所述车轴参考图像进行多尺度深度卷积编码以得到所述参考特征向量。其中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
在本申请的技术方案中，考虑到所述车轴图像的特性，所述第一图像编码器和所述第二图像编码器的网络结构，包括：作为特征提取器的深度卷积神经网络模型+混合卷积层。
具体地，在本申请实施例中，所述检测图像编码子步骤，包括：检测图像特征提取二级子步骤：使用所述第一图像编码器的作为特征提取器的卷积神经网络的各层对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络的最后一层输出检测特征图；以及，检测特征图多尺度感知二级子步骤：使用所述第一图像编码器的混合卷积层对所述检测特征图进行多尺度感知以得到所述检测特征向量。
其中，所述作为特征提取器的深度卷积神经网络模型为标准卷积结构，所述混合卷积层包括并联的四个分支，由一个卷积核大小为3×3的普通卷积层以及三个卷积核大小为3×3的空洞卷积层构成，分别对输入特征图进行操作，将空洞卷积三个分支的扩张率分别设置为2、3、4，通过不同扩张率的设置可获得不同感受域的图像信息，即可得到不同尺度的特征图，在扩大感受野的同时，又避免了下采样损失信息。
具体地，在本申请实施例中，所述参考图像编码子步骤，包括：参考图像特征提取二级子步骤：使用所述第二图像编码器的作为特征提取器的卷积神经网络的各层对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络的最后一层输出参考特征图；以及，参考特征图多尺度感知二级子步骤：使用所述第二图像编码器的混合卷积层对所述参考特征图进行多尺度感知以得到所述参考特征向量。
图4为根据本申请实施例的基于车轴数据的车辆超重行驶监测方法中检测特征图多尺度感知二级子步骤的流程图。如图4所述，所述检测特征图多尺度感知二级子步骤，包括：第一尺度卷积编码三级子步骤S210，使用所述第一图像编码器的混合卷积层的第一卷积层对所述检测特征图进行二维卷积编码以得到第一尺度感知特征图，其中，所述第一卷积层使用具有第一尺寸的第一卷积核；第二尺度卷积编码三级子步骤S220，使用所述第一图像编码器的混合卷积层的第二卷积层对所述检测特征图进行二维卷积编码以得到第二尺度感知特征图，其中，所述第二卷积层使用具有第一空洞率的第一空洞卷积核，所述第一空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；第三尺度卷积编码三级子步骤S230，使用所述第一图像编码器的混合卷积层的第三卷积层对所述检测特征图进行二维卷积编码以得到第三尺度感知特征图，其中，所述第三卷积层使用具有第二空洞率的第二空洞卷积核，所述第二空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；第四尺度卷积编码三级子步骤S240，使用所述第一图像编码器的混合卷积层的第四卷积层对所述检测特征图进行二维卷积编码以得到第四尺度感知特征图，其中，所述第四卷积层使用具有第三空洞率的第三空洞卷积核，所述第三空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；融合三级子步骤S250，融合所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图和所述第四尺度感知特征图以得到融合特征图；以及，降维三级子步骤S260，对所述融合特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到所述检测特征向量。
具体地，在本申请实施例中，所述融合三级子步骤S250，包括：特征图优化因子确定四级子步骤：以如下公式分别计算所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图和所述第四尺度感知特征图的特征图优化因子以得到第一至第四特征图优化因子：其中，所述公式为：
Figure BDA0003915538400000141
其中，fi,j,k表示所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图或所述第四尺度感知特征图的第(i,j,k)位置的特征值，|fi,j,k|2表示各个特征值绝对值的平方，且W、H和C分别是所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图或所述第四尺度感知特征图的宽度、高度和通道数，log表示以2为底的对数；以及，优化因子作用四级子步骤：以所述第一至第四特征图优化因子作为加权系数分别对第一至第四尺度感知特征图进行加权之后以得到第一至第四加权后尺度感知特征图，并融合所述第一至第四加权后尺度感知特征图以得到所述融合特征图。也就是，将4个分支特征图进行融合，使得采样更为密集，既拥有了高层特征，也没有增加额外的参数量。
这里，特别地，在本申请的技术方案中，所述第一图像编码器/所述第二图像编码器中的混合卷积层将多个分支获得的特征图融合，但是，由于每个分支的扩张卷积具有不同的扩张率，使得每个分支获得的特征图具有不同的表达信息量。这样，直接通过诸如点加的方式融合特征图会影响融合后的特征图的信息表达效果。因此，对于每个分支得到的特征图，分别计算其类小波函数族能量聚合因数，表示为：
Figure BDA0003915538400000142
fi,j,k是特征图的第(i,j,k)位置的特征值，且W、H和C分别是特征图的宽度、高度和通道数，log表示以2为底的对数。
具体地，本申请的申请人考虑到对于高维流形来说，由于信息表示倾向于集中在高频分量上，因此信息倾向于分布在流形边缘，类小波函数族作为用于分离特征分布维度上的边缘的可分离变换，通过其可以将高维特征的隐状态转换为频率分量，并以类小波能量的方式表达信息量。这样，以其作为加权系数对每个分支的特征图加权之后再进行融合，就可以提高融合后的特征图在其特征表达空间内的信息聚合程度，以提升融合后的特征图的信息表达效果。
在转移评估步骤S130中，计算所述检测特征向量相对于所述参考特征向量的转移矩阵。也就是，以转移矩阵来表示所述车轴检测图像的特征表示与所述车轴参考图像的特征表示在高维特征空间之间的差异。
具体地，在本申请实施例中，所述转移评估步骤S130，包括：以如下公式计算所述检测特征向量相对于所述参考特征向量的转移矩阵；其中，所述公式为：
Figure BDA0003915538400000151
其中Va表示所述检测特征向量，Vb表示所述参考特征向量，M表示所述转移矩阵，
Figure BDA0003915538400000152
表示矩阵与向量相乘。
在监测结果生成步骤S140中，将所述转移矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测车辆是否处于超重行驶状态。这样，通过图像特征来对车轴应受不同载重下的受力情况继而来判断车辆是否属于超重行驶的状态。
具体地，在本申请实施例中，所述监测结果生成步骤S140，包括：使用所述分类器以如下公式对所述转移矩阵进行处理以得到所述分类结果；其中，所述公式为：
softmax{(Wn,Bn):…:(W1,B1)|Project(M)}
其中Project(M)表示将所述转移矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
综上，基于本申请实施例的基于车轴数据的车辆超重行驶监测方法被阐明，其考虑到随着车辆载重的增加，车轴所承受的应力会增大而发生不同程度的形变，且该形变是连续、微弱递进的，因此，基于人工智能技术通过车轴图像特征来对车轴应受不同载重下的受力情况继而来判断车辆是否属于超重行驶的状态，这样可基于车辆自身的视觉传感器来对自身的行驶状态进行监测，而无需在路面上部署于压力传感器，从而能够实现对车辆行驶状态的实时在线监控。
示例性系统
图5为根据本申请实施例的基于车轴数据的车辆超重行驶监测系统的框图。如图5所示，根据本申请实施例的基于车轴数据的车辆超重行驶监测系统100，包括：车轴数据采集单元110，用于获取待检测车辆的车轴检测图像和车轴参考图像，所述车轴参考图像为与待检测车辆同型号的车辆在超重行驶状态下的车轴图像；孪生检测单元120，用于将所述车轴检测图像和所述车轴参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征向量和参考特征向量；转移评估单元130，用于计算所述检测特征向量相对于所述参考特征向量的转移矩阵；以及，监测结果生成单元140，用于将所述转移矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测车辆是否处于超重行驶状态。
在一个示例中，在上述基于车轴数据的车辆超重行驶监测系统中，所述孪生检测单元，包括：检测图像编码子单元，用于使用所述孪生网络模型的第一图像编码器对所述车轴检测图像进行多尺度深度卷积编码以得到所述检测特征向量；以及，参考图像编码子单元，用于使用所述孪生网络模型的第二图像编码器对所述车轴参考图像进行多尺度深度卷积编码以得到所述参考特征向量。
在一个示例中，在上述基于车轴数据的车辆超重行驶监测系统中，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
在一个示例中，在上述基于车轴数据的车辆超重行驶监测系统中，所述第一图像编码器和所述第二图像编码器包括作为特征提取器的卷积神经网络和与所述卷积神经网络级联的混合卷积层。
在一个示例中，在上述基于车轴数据的车辆超重行驶监测系统中，所述检测图像编码子单元，包括：检测图像特征提取二级子单元，用于使用所述第一图像编码器的作为特征提取器的卷积神经网络的各层对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络的最后一层输出检测特征图；以及，检测特征图多尺度感知二级子单元，用于使用所述第一图像编码器的混合卷积层对所述检测特征图进行多尺度感知以得到所述检测特征向量。
在一个示例中，在上述基于车轴数据的车辆超重行驶监测系统中，所述参考图像编码子单元，包括：参考图像特征提取二级子单元，用于使用所述第二图像编码器的作为特征提取器的卷积神经网络的各层对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络的最后一层输出参考特征图；以及，参考特征图多尺度感知二级子单元，用于使用所述第二图像编码器的混合卷积层对所述参考特征图进行多尺度感知以得到所述参考特征向量。
在一个示例中，在上述基于车轴数据的车辆超重行驶监测系统中，所述检测特征图多尺度感知二级子单元，包括：第一尺度卷积编码三级子单元，用于使用所述第一图像编码器的混合卷积层的第一卷积层对所述检测特征图进行二维卷积编码以得到第一尺度感知特征图，其中，所述第一卷积层使用具有第一尺寸的第一卷积核；第二尺度卷积编码三级子单元，用于使用所述第一图像编码器的混合卷积层的第二卷积层对所述检测特征图进行二维卷积编码以得到第二尺度感知特征图，其中，所述第二卷积层使用具有第一空洞率的第一空洞卷积核，所述第一空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；第三尺度卷积编码三级子单元，用于使用所述第一图像编码器的混合卷积层的第三卷积层对所述检测特征图进行二维卷积编码以得到第三尺度感知特征图，其中，所述第三卷积层使用具有第二空洞率的第二空洞卷积核，所述第二空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；第四尺度卷积编码三级子单元，用于使用所述第一图像编码器的混合卷积层的第四卷积层对所述检测特征图进行二维卷积编码以得到第四尺度感知特征图，其中，所述第四卷积层使用具有第三空洞率的第三空洞卷积核，所述第三空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；融合三级子单元，用于融合所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图和所述第四尺度感知特征图以得到融合特征图；以及，降维三级子单元，用于对所述融合特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到所述检测特征向量。
在一个示例中，在上述基于车轴数据的车辆超重行驶监测系统中，所述融合三级子单元，包括：特征图优化因子确定四级子单元，用于以如下公式分别计算所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图和所述第四尺度感知特征图的特征图优化因子以得到第一至第四特征图优化因子：
其中，所述公式为：
Figure BDA0003915538400000181
其中，fi,j,k表示所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图或所述第四尺度感知特征图的第(i,j,k)位置的特征值，|fi,j,k|2表示各个特征值绝对值的平方，且W、H和C分别是所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图或所述第四尺度感知特征图的宽度、高度和通道数，log表示以2为底的对数；以及，优化因子作用四级子单元，用于以所述第一至第四特征图优化因子作为加权系数分别对第一至第四尺度感知特征图进行加权之后以得到第一至第四加权后尺度感知特征图，并融合所述第一至第四加权后尺度感知特征图以得到所述融合特征图。
在一个示例中，在上述基于车轴数据的车辆超重行驶监测系统中，所述转移评估单元，用于：以如下公式计算所述检测特征向量相对于所述参考特征向量的转移矩阵；其中，所述公式为：
Figure BDA0003915538400000182
其中Va表示所述检测特征向量，Vb表示所述参考特征向量，M表示所述转移矩阵，
Figure BDA0003915538400000183
表示矩阵与向量相乘。
在一个示例中，在上述基于车轴数据的车辆超重行驶监测系统中，所述监测结果生成单元，用于：使用所述分类器以如下公式对所述转移矩阵进行处理以得到所述分类结果；其中，所述公式为：
softmax{(Wn,Bn):…:(W1,B1)|Project(M)}
其中Project(M)表示将所述转移矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
这里，本领域技术人员可以理解，上述基于车轴数据的车辆超重行驶监测系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图4的基于车轴数据的车辆超重行驶监测方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的基于车轴数据的车辆超重行驶监测系统100可以实现在各种终端设备中，例如用于的基于车轴数据的车辆超重行驶监测的服务器等。在一个示例中，根据本申请实施例的基于车轴数据的车辆超重行驶监测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于车轴数据的车辆超重行驶监测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于车轴数据的车辆超重行驶监测系统100同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于车轴数据的车辆超重行驶监测系统100与该终端设备也可以是分立的设备，并且该基于车轴数据的车辆超重行驶监测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于车轴数据的车辆超重行驶监测方法，其特征在于，包括：
车轴数据采集步骤：获取待检测车辆的车轴检测图像和车轴参考图像，所述车轴参考图像为与待检测车辆同型号的车辆在超重行驶状态下的车轴图像；
孪生检测步骤：将所述车轴检测图像和所述车轴参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征向量和参考特征向量；
转移评估步骤：计算所述检测特征向量相对于所述参考特征向量的转移矩阵；以及
监测结果生成步骤：将所述转移矩阵通过分类器以得到分类结果，所述分类结果用于表示待检测车辆是否处于超重行驶状态。
2.根据权利要求1所述的基于车轴数据的车辆超重行驶监测方法，其特征在于，所述孪生检测步骤，包括：
检测图像编码子步骤：使用所述孪生网络模型的第一图像编码器对所述车轴检测图像进行多尺度深度卷积编码以得到所述检测特征向量；以及
参考图像编码子步骤：使用所述孪生网络模型的第二图像编码器对所述车轴参考图像进行多尺度深度卷积编码以得到所述参考特征向量。
3.根据权利要求2所述的基于车轴数据的车辆超重行驶监测方法，其特征在于，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。
4.根据权利要求3所述的基于车轴数据的车辆超重行驶监测方法，其特征在于，所述第一图像编码器和所述第二图像编码器包括作为特征提取器的卷积神经网络和与所述卷积神经网络级联的混合卷积层。
5.根据权利要求4所述的基于车轴数据的车辆超重行驶监测方法，其特征在于，所述检测图像编码子步骤，包括：
检测图像特征提取二级子步骤：使用所述第一图像编码器的作为特征提取器的卷积神经网络的各层对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络的最后一层输出检测特征图；以及
检测特征图多尺度感知二级子步骤：使用所述第一图像编码器的混合卷积层对所述检测特征图进行多尺度感知以得到所述检测特征向量。
6.根据权利要求5所述的基于车轴数据的车辆超重行驶监测方法，其特征在于，所述参考图像编码子步骤，包括：
参考图像特征提取二级子步骤：使用所述第二图像编码器的作为特征提取器的卷积神经网络的各层对输入数据分别进行卷积处理、池化处理和非线性激活处理以由所述作为特征提取器的卷积神经网络的最后一层输出参考特征图；以及
参考特征图多尺度感知二级子步骤：使用所述第二图像编码器的混合卷积层对所述参考特征图进行多尺度感知以得到所述参考特征向量。
7.根据权利要求5所述的基于车轴数据的车辆超重行驶监测方法，其特征在于，所述检测特征图多尺度感知二级子步骤，包括：
第一尺度卷积编码三级子步骤：使用所述第一图像编码器的混合卷积层的第一卷积层对所述检测特征图进行二维卷积编码以得到第一尺度感知特征图，其中，所述第一卷积层使用具有第一尺寸的第一卷积核；
第二尺度卷积编码三级子步骤：使用所述第一图像编码器的混合卷积层的第二卷积层对所述检测特征图进行二维卷积编码以得到第二尺度感知特征图，其中，所述第二卷积层使用具有第一空洞率的第一空洞卷积核，所述第一空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；
第三尺度卷积编码三级子步骤：使用所述第一图像编码器的混合卷积层的第三卷积层对所述检测特征图进行二维卷积编码以得到第三尺度感知特征图，其中，所述第三卷积层使用具有第二空洞率的第二空洞卷积核，所述第二空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；
第四尺度卷积编码三级子步骤：使用所述第一图像编码器的混合卷积层的第四卷积层对所述检测特征图进行二维卷积编码以得到第四尺度感知特征图，其中，所述第四卷积层使用具有第三空洞率的第三空洞卷积核，所述第三空洞卷积核的尺寸与所述第一卷积核的第一尺寸相等；
融合三级子步骤：融合所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图和所述第四尺度感知特征图以得到融合特征图；以及
降维三级子步骤：对所述融合特征图的沿通道维度的各个特征矩阵进行全局均值池化以得到所述检测特征向量。
8.根据权利要求7所述的基于车轴数据的车辆超重行驶监测方法，其特征在于，所述融合三级子步骤，包括：
特征图优化因子确定四级子步骤：以如下公式分别计算所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图和所述第四尺度感知特征图的特征图优化因子以得到第一至第四特征图优化因子：
其中，所述公式为：
Figure FDA0003915538390000031
其中，fi,j,k表示所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图或所述第四尺度感知特征图的第(i,j,k)位置的特征值，|fi,j,k|2表示各个特征值绝对值的平方，且W、H和C分别是所述第一尺度感知特征图、所述第二尺度感知特征图、所述第三尺度感知特征图或所述第四尺度感知特征图的宽度、高度和通道数，log表示以2为底的对数；以及
优化因子作用四级子步骤：以所述第一至第四特征图优化因子作为加权系数分别对第一至第四尺度感知特征图进行加权以得到第一至第四加权后尺度感知特征图，并融合所述第一至第四加权后尺度感知特征图以得到所述融合特征图。
9.根据权利要求1所述的基于车轴数据的车辆超重行驶监测方法，其特征在于，所述转移评估步骤，包括：以如下公式计算所述检测特征向量相对于所述参考特征向量的转移矩阵；
其中，所述公式为：
Figure FDA0003915538390000032
其中Va表示所述检测特征向量，Vb表示所述参考特征向量，M表示所述转移矩阵，
Figure FDA0003915538390000033
表示矩阵与向量相乘。
10.根据权利要求1所述的基于车轴数据的车辆超重行驶监测方法，其特征在于，所述监测结果生成步骤，包括：使用所述分类器以如下公式对所述转移矩阵进行处理以得到所述分类结果；
其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(M)}，其中Project(M)表示将所述转移矩阵投影为向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置向量。
CN202211336581.7A 2022-10-28 2022-10-28 基于车轴数据的车辆超重行驶监测方法及其系统 Pending CN115588169A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211336581.7A CN115588169A (zh) 2022-10-28 2022-10-28 基于车轴数据的车辆超重行驶监测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211336581.7A CN115588169A (zh) 2022-10-28 2022-10-28 基于车轴数据的车辆超重行驶监测方法及其系统

Publications (1)

Publication Number Publication Date
CN115588169A true CN115588169A (zh) 2023-01-10

Family

ID=84781598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211336581.7A Pending CN115588169A (zh) 2022-10-28 2022-10-28 基于车轴数据的车辆超重行驶监测方法及其系统

Country Status (1)

Country Link
CN (1) CN115588169A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580029A (zh) * 2023-07-12 2023-08-11 浙江海威汽车零件有限公司 铝合金铸造成品的质检管控系统及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580029A (zh) * 2023-07-12 2023-08-11 浙江海威汽车零件有限公司 铝合金铸造成品的质检管控系统及其方法
CN116580029B (zh) * 2023-07-12 2023-10-13 浙江海威汽车零件有限公司 铝合金铸造成品的质检管控系统及其方法

Similar Documents

Publication Publication Date Title
CN110188705B (zh) 一种适用于车载系统的远距离交通标志检测识别方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN113792929B (zh) 交通流量预测方法、电子设备及存储介质
CN114333302B (zh) 全局交通优化系统
CN115761642A (zh) 基于图像处理的破碎作业监控方法及其系统
CN115013298B (zh) 污水泵的实时性能在线监测系统及其监测方法
CN114211975A (zh) 用于电动汽车的充电报警系统及其工作方法
CN115456789B (zh) 基于交易模式识别的异常交易检测方法及其系统
CN115588169A (zh) 基于车轴数据的车辆超重行驶监测方法及其系统
CN115601318B (zh) 快吸收低反渗纸尿裤智能生产方法及其系统
CN115266159A (zh) 列车牵引系统的故障诊断方法及其系统
Zhang et al. An estimation scheme of road friction coefficient based on novel tyre model and improved SCKF
CN115131580B (zh) 基于注意力机制的空间目标小样本识别方法
JP2009096365A (ja) リスク認識システム
Xu et al. Utilizing structural equation modeling and segmentation analysis in real-time crash risk assessment on freeways
CN115935276A (zh) 环境水质监测系统及其监测方法
CN115731513A (zh) 基于数字孪生的智慧园区管理系统
CN115146676A (zh) 电路故障检测方法及其系统
CN113807298B (zh) 行人过街意图预测方法、装置、电子设备及可读存储介质
Quan et al. Tire-road friction coefficient estimation method design for intelligent tires equipped with PVDF piezoelectric film sensors
CN116204821B (zh) 用于轨道交通车辆的振动评估方法及系统
Lu et al. Feature pyramid-based graph convolutional neural network for graph classification
Anees et al. Deep learning framework for density estimation of crowd videos
Zhang et al. Kalman Filter-Based CNN-BiLSTM-ATT Model for Traffic Flow Prediction.
CN116092216A (zh) 基于多传感器信息融合的车辆状态预警方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination