CN111964763B - 一种动态平板秤称重区域汽车断续行驶行为检测方法 - Google Patents

一种动态平板秤称重区域汽车断续行驶行为检测方法 Download PDF

Info

Publication number
CN111964763B
CN111964763B CN202010825790.2A CN202010825790A CN111964763B CN 111964763 B CN111964763 B CN 111964763B CN 202010825790 A CN202010825790 A CN 202010825790A CN 111964763 B CN111964763 B CN 111964763B
Authority
CN
China
Prior art keywords
automobile
detection
wheel key
sequence
flat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010825790.2A
Other languages
English (en)
Other versions
CN111964763A (zh
Inventor
郑书礼
陈小琴
王绍良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dong Ding Electronic Ltd By Share Ltd
Original Assignee
Zhejiang Dong Ding Electronic Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dong Ding Electronic Ltd By Share Ltd filed Critical Zhejiang Dong Ding Electronic Ltd By Share Ltd
Priority to CN202010825790.2A priority Critical patent/CN111964763B/zh
Publication of CN111964763A publication Critical patent/CN111964763A/zh
Application granted granted Critical
Publication of CN111964763B publication Critical patent/CN111964763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/02—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for weighing wheeled or rolling bodies, e.g. vehicles
    • G01G19/03—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups for weighing wheeled or rolling bodies, e.g. vehicles for weighing during motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G23/00—Auxiliary devices for weighing apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种动态平板秤称重区域汽车断续行驶行为检测方法。包括：建立道路汽车动态称重区域建筑信息模型；进行网络训练；检测路侧摄像头采集的汽车图像上的车轮关键点；存储车轮关键点投影坐标序列以及刹车灯检测序列；将车轮关键点投影坐标序列与汽车刹车灯检测序列按照时间戳整合，输入汽车断续行驶行为检测时域卷积网络进行分析，输出断续行驶行为的检测结果。利用本发明可以检测汽车的断续行驶行为。

Description

一种动态平板秤称重区域汽车断续行驶行为检测方法
技术领域
本发明涉及人工智能、汽车动态称重领域，具体涉及一种动态平板秤称重区域汽车断续行驶行为检测方法。
背景技术
汽车动态称重，即汽车无需停车直接从地秤上行驶，便可得到汽车的重量。现有的动态汽车衡的检测精度与汽车的行驶状态密切相关，若汽车处于匀速直线运动状态时，称重精度最高：当汽车在开始驶入秤台时突然加速(即跳秤)时，或当汽车在即将驶出秤台时突然减速(即点刹)时，汽车衡对于汽车重量的检测结果会出现偏轻的情况，从而影响地秤的检测，违反相关规定。申请号为201711435817.1的专利文件公开了一种基于音频辅助的汽车动态称重系统及其作弊检测方法，利用声音检测，会受到环境音的影响，从而造成误判的结果。其次，随着科技的发展，点刹除非刹车力度大或极加速，否则声音会很小，且针对货车的点刹、跳秤等行为更难以判断。
发明内容
本发明提供了一种动态平板秤称重区域汽车断续行驶行为检测方法，能够检测称重时的汽车断续行驶行为。
一种动态平板秤称重区域汽车断续行驶行为检测方法，该方法基于信息建模单元、网络训练单元、汽车车轮关键点检测单元、坐标序列存储单元、汽车刹车灯检测单元、刹车灯检测序列存储单元、断续行驶行为检测单元执行，其中，
信息建模单元，用于建立道路汽车动态称重区域建筑信息模型；
网络训练单元，用于利用模拟器生成训练数据集，训练数据集为汽车经过平板秤时车轮关键点在平板秤平面坐标系上的投影坐标序列与刹车灯检测序列，标签数据为汽车经过平板秤时行驶行为类型，利用训练数据集及其标签数据训练汽车断续行驶行为检测时域卷积网络；
汽车车轮关键点检测单元，用于检测路侧摄像头采集的汽车图像上的车轮关键点，并将车轮关键点投影变换至汽车动态称重区域建筑信息模型地面坐标系；
坐标序列存储单元，用于判断汽车动态称重区域建筑信息模型地面坐标系上的车轮关键点投影坐标是否位于平板秤区域，如果是，则获取车轮关键点对应汽车图像帧的时间戳T，从T时刻开始将汽车动态称重区域建筑信息模型地面坐标系上的车轮关键点投影坐标变换到平板秤平面坐标系，并将其与对应时间戳存储至车轮关键点投影坐标序列；
汽车刹车灯检测单元，用于检测汽车刹车灯是否亮；
刹车灯检测序列存储单元，用于从T时刻开始存储汽车刹车灯检测结果，得到刹车灯检测序列；
断续行驶行为检测单元，用于将车轮关键点投影坐标序列与汽车刹车灯检测序列按照时间戳整合，输入汽车断续行驶行为检测时域卷积网络进行分析，输出断续行驶行为的检测结果。
进一步地，所述汽车断续行驶行为检测时域卷积网络的输入为[BS,N,M]，BS表示批尺寸，N表示序列长度，M是每一时刻的数据长度，每一时刻的数据包括每一时刻汽车车轮关键点坐标以及每一时刻刹车灯检测结果；所述断续行驶行为的检测结果包括点刹、跳秤、正常行驶。
进一步地，所述汽车刹车灯检测单元包括汽车检测神经网络，汽车检测神经网络包括：
汽车提取编码器，用于对图像进行特征提取，输出汽车检测特征图；
汽车提取解码器，用于对汽车检测特征图上采样重构，输出汽车包围框的宽、高、中心点。
进一步地，所述汽车刹车灯检测单元还包括：
汽车图像获取模块，用于根据汽车包围框信息从原图上裁剪得到汽车图像；
刹车灯判断模块，用于基于刹车灯检测神经网络检测刹车灯是否亮，包括：
尾灯检测编码器，用于对汽车图像进行特征提取；
第一全连接网络，用于对尾灯检测编码器输出的特征图进行加权分类，输出刹车灯是否亮的判断结果。
进一步地，所述汽车车轮关键点检测单元基于汽车车轮关键点检测神经网络执行检测，汽车车轮关键点检测神经网络包括：
车轮关键点提取编码器，用于对图像进行编码提取特征，得到车轮关键点特征图；
车轮关键点提取解码器，用于对车轮关键点特征图进行上采样还原，得到车轮关键点热力图。
进一步地，汽车动态称重区域建筑信息模型包括道路位置信息、平板秤位置信息、道路两侧摄像头位姿信息、尾灯检测摄像头位姿信息。
进一步地，该方法还包括：结合WebGIS技术对汽车动态称重区域建筑信息模型进行可视化，实时更新展示监控区域的汽车通行信息、车轮关键点投影坐标序列以及检测结果。
进一步地，该方法还包括训练所述汽车检测神经网络：
构建训练数据集并对其中的图像标注汽车中心点位置以及包围框宽高信息；
通过高斯核对汽车中心点位置进行卷积，得到汽车中心点热力图；
将训练数据集以及标签数据输入汽车检测神经网络进行训练。
进一步地，所述汽车检测神经网络采用的损失函数为：
Total Loss＝CenterLoss+δ*SizeLoss
Figure GDA0003058984660000021
Figure GDA0003058984660000022
其中，N是图像中汽车数量，γxy为预测的汽车中心点热力图中(x,y)坐标的像素值，yxy为真值汽车中心点热力图中(x,y)坐标的像素值，SPk为预测的汽车包围框的宽、高，sk为真值包围框的宽、高，α、β是超参数，δ是权重。
进一步地，所述平板秤平面坐标系是以平板秤的一个角点为原点、平板秤角点所在的平板秤两条边缘线为坐标轴轴向构建的二维平面坐标系，模拟器中平板秤平面坐标系与真实场景下平板秤平面坐标系的构建方法相同。
本发明的有益效果在于：
1.基于深度学习技术设计汽车断续行驶行为检测时域卷积神经网络，相比于基于音频的行驶行为检测方法，不易受环境因素干扰，大大提高了检测准确率；相比于传统的坐标检测方法，将每一时刻的车轮关键点投影坐标与刹车灯检测结果作为输入，分析断续行驶行为的类型，提供端到端的分析结果，提高了方法的便捷性，无需计算坐标偏移量等，使用更方便；相比于传统的神经网络，可解决输入序列长度不统一问题，不要求输入规定大小的数据，能够适用于汽车动态称重场景各种车型。
2.本发明将车轮关键点坐标变换到平板秤平面坐标系，能够隔离不同工况的影响，在各种道路情况下，断续行驶行为检测时域卷积神经网络无需重新进行训练，可直接使用。
3.本发明结合汽车动态称重区域建筑信息模型，实时更新展示动态称重区域的各种信息，能够为监控人员提供良好的可视化结果。
附图说明
图1为本发明框架图；
图2为汽车跳秤时的平板秤称重曲线；
图3为汽车点刹时平板秤的称重曲线；
图4为动态称重区域场景的俯视图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种动态平板秤称重区域汽车断续行驶行为检测方法。本发明框架如图1所示。下面通过具体实施例来进行说明。
在断续行驶时，汽车称重结果不准确，如图2所示为汽车跳秤时的平板秤称重曲线，其中实线为跳秤时平板秤称重曲线，虚线为正常称重时的称重曲线，跳秤时的称重结果明显低于正常称重时的称重结果。图3所示为汽车点刹时平板秤的称重曲线，其中，实线为点刹时平板秤称重曲线，虚线为正常称重时的部分称重曲线。相比于正常情况下，点刹时称重曲线明显抖动。不论是跳秤还是点刹，都会导致称重结果降低。因此检测汽车的断续行驶行为十分必要。
实施例一：
动态平板秤称重区域汽车断续行驶行为检测方法，该方法基于信息建模单元、网络训练单元、汽车车轮关键点检测单元、坐标序列存储单元、汽车刹车灯检测单元、刹车灯检测序列存储单元、断续行驶行为检测单元执行。
信息建模单元，用于建立道路汽车动态称重区域建筑信息模型。
建立汽车动态称重区域建筑信息模型，一方面可以结合WebGIS技术得到更好的可视化效果，另一方面可以与跨车道行为检测结果、车轮着地点检测结果结合，分析出汽车与平板秤之间的位置关系，从而用于进一步分析汽车称重结果。
汽车动态称重区域建筑信息模型包括车道信息、平板秤分布信息、相机设置信息等用于动态称重区域三维空间建模的环境信息。上述信息中均包含地理位置信息，因此包括道路位置信息、平板秤位置信息、道路两侧摄像头位姿信息、尾灯检测摄像头位姿信息。通过上述信息结合WebGIS技术可以实现汽车动态称重区域的三维空间建模。汽车动态称重区域的建筑信息模型还包括相机位姿信息。信息交换模块是一种BIM的数据库的访问模块，可以是多种形式，在此举例：可以是RESTful、MQ等多种信息交换形式，实施者自行选择具体采用何种实现方式。利用信息交换模块，可以实现建筑信息模型与外部接口之间的信息交互，例如通过信息交换模块获取相机实时感知的图像数据。
基于计算机视觉检测技术具有非接触、高效性和经济性等显著优势，在各类检测管理应用方面有着广泛的应用前景。因此采用建筑信息模型BIM和计算机视觉相结合的形式，能有效的提高监管效率。将结果利用WebGIS进行可视化处理，将网络输出结果作为信息上传到WebGIS中，工作人员可在Web上进行查看，便于监管人员了解该区域的情况。
图4为动态称重区域场景的俯视图。车道上较小的矩形方框代表平板秤，摄像头在两端及汽车驶入侧高处部署，部署个数不限。道路两侧摄像头用于采集汽车侧面图像，尾灯检测摄像头位于汽车驶入侧高处。
本实施例采用的平板秤参数如表1所示。
表1平板秤参数
Figure GDA0003058984660000041
网络训练单元，用于利用模拟器生成训练数据集，训练数据集为汽车经过平板秤时车轮关键点在平板秤平面坐标系上的投影坐标序列与刹车灯检测序列，标签数据为汽车经过平板秤时行驶行为类型，利用训练数据集及其标签数据训练汽车断续行驶行为检测时域卷积网络。
本发明包括汽车断续行驶行为检测时域卷积网络、汽车检测神经网络、刹车灯检测神经网络、汽车车轮关键点检测神经网络。网络训练单元不仅用于训练汽车断续行驶行为检测时域卷积网络，还用于训练其他网络。首先利用模拟器采集训练数据，并对训练数据进行标注。
模拟器实施者可自行选择，如Unreal Engine、Unity3D、Blender等，都可以对汽车行驶场景进行模拟，且可以在场景中布置虚拟相机；或选择GTA5等游戏来进行数据采集。需要注意的是，汽车的类型需要多样化，包括各式各样的货车等。
汽车检测神经网络包括：汽车提取编码器，用于对图像进行特征提取，输出汽车检测特征图；汽车提取解码器，用于对汽车检测特征图上采样重构，输出汽车包围框的宽、高、中心点。汽车检测神经网络的训练数据集为包括各种型号汽车的图像，标签数据为汽车包围框标签，对图像内的汽车标注其中心点位置(x,y坐标)及包围框Bbox的宽高信息，然后通过高斯核针对汽车中心位置进行卷积，得到汽车中心热力图与宽高。针对汽车中心热力图每个点的位置都有(x,y,w,h)信息，x,y即点的坐标，w,h为包围框的宽高。具体的细节，如高斯核半径的选取等，实施者可以自行选取。
将训练数据集的图像数据与汽车中心点热力图标签经过归一化处理，即将图片矩阵变为[0,1]之间的浮点数，以便模型更好地收敛。然后将处理后的图像数据与标签数据送到网络中进行训练，以预测汽车的位置信息(中心点位置x,y坐标及包围框Bbox的长和宽)。汽车提取编码器是对图像进行特征提取，输入为归一化的RGB图像数据，输出为汽车检测特征图；汽车提取解码器对汽车提取编码器产生的汽车检测特征图进行上采样与特征提取，输入为汽车提取编码器产生的汽车检测特征图，输出为两个，一是汽车中心点热力图，二是包围框Bbox的宽高。损失函数采用中心点预测损失与汽车大小损失的加权和。
中心点损失的数学公式如下：
Figure GDA0003058984660000051
其中α和β是超参数，通过人为经验设定，N是图像中汽车数量。γxy为预测的汽车中心点热力图中(x,y)坐标的像素值，yxy为真值汽车中心点热力图中(x,y)坐标的像素值。
汽车大小损失的数学公式如下：
Figure GDA0003058984660000052
N是图像中汽车数量,SPk为预测的汽车包围框的宽、高，sk为真值包围框的宽、高。
总的损失函数即：
Total Loss＝CenterLoss+δ*SizeLoss
其中，δ为权重，即SizeLoss的权重，通常取0.1，方便观测模型的收敛情况。
至此，即可得到汽车中心点热力图和包围框Bbox的宽高，然后对其进行后处理，即找峰值点，得到具体的Bbox信息、中心点坐标信息。后处理方法是公知的，通过NMS或softargmax寻找局部极大值。
刹车灯检测神经网络包括尾灯检测编码器，用于对汽车图像进行特征提取；第一全连接网络，用于对尾灯检测编码器输出的特征图进行加权分类，输出刹车灯是否亮的判断结果。刹车灯检测神经网络的训练数据集为各种型号的汽车图像，标签数据是刹车灯是否照亮的标签，主要是根据车的灯来判断，刹车灯通常在汽车尾部，两个灯或一个灯亮的时候认定为照亮，无灯照亮判定为未照亮。照亮用数字1表示；未照亮用数字0表示。
刹车灯检测神经网络训练过程如下：先将汽车图像进行采样，采样到固定大小，然后进行归一化处理，即将图片矩阵变为[0,1]之间的浮点数，以便模型更好地收敛。然后将处理后的图像数据与标签数据(要进行one-hot编码)送到网络中进行训练。尾灯检测编码器先对汽车图像进行特征提取，输入为归一化的RGB图像数据，输出为尾灯检测特征图；第一全连接网络起到将特征映射到样本标记空间的作用，输入为尾灯检测编码器产生的尾灯检测特征图进行Flatten操作的结果，即一维向量，输出为汽车刹车灯照亮与未照亮的概率。损失函数采用交叉熵。尾灯检测网络输出的值为概率，然后进行argmax操作，得到具体的汽车刹车灯照明状况。
现有技术对汽车的提取效果已经很好，因此实施者可直接套用相关网络进行汽车提取，如CenterNet、EfficientDet、YoloV4等。尾灯检测编码器Encoder建议套用EfficientNet图像分类网络来提取特征，具备高效性。
汽车车轮关键点检测神经网络包括：车轮关键点提取编码器，用于对图像进行编码提取特征，得到车轮关键点特征图；车轮关键点提取解码器，用于对车轮关键点特征图进行上采样还原，得到车轮关键点热力图。汽车车轮关键点检测神经网络的训练数据集包括各种型号的汽车图像，标签数据为车轮关键点坐标标签，对图像内的每个汽车标注其车轮关键点，不同车型可能包含不同车轮数量，本实施例只对车轮的前车轮、后车轮4个点进行标注。本实施例中，对车轮的中心点进行标注。标注好后，对图像内的所有汽车的车轮关键点进行高斯核卷积，以生成车轮关键点热力图。
汽车车轮关键点检测神经网络训练的细节如下：训练数据集中的图像要经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛。标签同样经过归一化处理。通过图像和标注的标签数据，端到端地训练车轮关键点提取编码器、车轮关键点提取解码器。车轮关键点提取编码器对图像进行特征提取，输入为经过归一化处理的图像数据，输出为车轮关键点特征图；车轮关键点提取解码器是对车轮关键点特征图进行上采样并最终生成车轮关键点热力图，其输入为车轮关键点提取编码器产生的车轮关键点特征图，输出为汽车的车轮关键点热力图。其中，Loss函数采用Heatmaps Loss，其数学公式为：
Figure GDA0003058984660000061
其中，Pij代表汽车车轮关键点在位置(i,j)处的得分，得分越高就越可能是汽车的车轮关键点。yij表示ground truth热力图中相应点的位置。N代表ground truth中的关键点数量。α、β为超参数，建议实施者通过超参数搜索技术搜索α、β最优取值，搜索方法有多种，如随机搜索，实施者可自由选择。至此，即可完成对汽车车轮关键点的提取。热力图的后处理方法即如何得到关键点，是周知的，通过计算局部极大值的方法即可得到。
汽车断续行驶行为检测时域卷积网络的训练数据集为汽车经过平板秤时车轮中心点在平板秤平面坐标系上的投影坐标序列与刹车灯检测序列，标签数据为汽车经过平板秤时行驶行为的类型，通过数字0(正常)、1(点刹)、2(跳秤)表示。
汽车断续行驶行为检测时域卷积网络训练的详细步骤如下：训练数据可通过模拟器来采集，也可通过游戏来模拟，主要是得到一段车轮关键点位置序列以及刹车灯是否照亮序列。实施者应当知道时域卷积网络最终要接FC(全连接)，FC起到将特征映射到样本标记空间的作用，接分类函数，以输出目标。汽车断续行驶行为检测时域卷积网络的输入为时序上的车轮关键点投影坐标序列(平板秤坐标系)与刹车灯检测序列，输出为断续行驶行为的概率。将时序上的车轮关键点投影坐标序列与刹车灯检测序列按时间戳整合，联合标签数据(要进行one-hot编码)送到网络中进行训练，损失函数采用交叉熵。对于网络的输出结果，通过Argmax操作，得到断续行驶行为检测结果。至此，完成了本发明所需神经网络的训练。
由于刹车灯检测神经网络、汽车车轮关键点检测神经网络的输出需要作为汽车断续行驶行为检测时域卷积网络的输入，因此，刹车灯检测神经网络、汽车车轮关键点检测神经网络的检测需要同步，即相机刷新率保持一致且检测也要同步，例如每三帧检测一次。同时为减少相机功耗，可利用邻近相机来实现，如邻近的相机检测到有车通行时，开启尾灯检测摄像头、道路两侧摄像头，并开始执行刹车灯检测神经网络与汽车车轮关键点检测神经网络。由于汽车通行状况有时较为复杂，当道路为多路并行的道路时，可利用度量学习技术对裁剪的汽车图像进行特征提取，从而实现汽车的Re-ID。
汽车车轮关键点检测单元，用于检测路侧摄像头采集的汽车图像上的车轮关键点，并将车轮关键点投影变换至汽车动态称重区域建筑信息模型地面坐标系。
汽车车轮关键点检测单元利用训练好的汽车车轮关键点检测神经网络对道路两侧摄像头采集的汽车图像进行车轮关键点检测，并将汽车车轮关键点进行投影变换并处理。对于投影变换投影，引入单应矩阵Hn，对于ID为n相机，都应在BIM的坐标系中投影，具体操作可以基于相机图像地面贴标和BIM对应坐标进行四点法估计。由于四点法是公知的常识，具体实施方法是简单易得的，在此不再赘述。通过上述单应矩阵Hn将对道路两侧摄像头采集的图像中的汽车车轮关键点投影到汽车动态称重区域建筑信息模型地面坐标系中。
坐标序列存储单元，用于判断汽车动态称重区域建筑信息模型地面坐标系上的车轮关键点投影坐标是否位于平板秤区域，如果是，则获取车轮关键点对应汽车图像帧的时间戳T，从T时刻开始将汽车动态称重区域建筑信息模型地面坐标系上的车轮关键点投影坐标变换到平板秤平面坐标系，并将其与对应时间戳存储至车轮关键点投影坐标序列。
当邻近的相机检测到有车通行时，同时开启汽车车轮关键点检测神经网络、刹车灯检测神经网络。道路两侧的摄像头应为高刷新率相机，以有效捕捉汽车信息，检测频率可根据设备的计算性能来定，如1秒运行10次。同时由于高采样率，图像可能会存在运动模糊现象，可通过如传统的基于边缘估计的去模糊算法，或基于深度学习的方法DeblurGAN等算法来进行图像的预处理。多个汽车通行时，会有一定的间距，因此，可以设置时间间隔来区分不同的汽车车轮关键点序列。每次检测得到的车轮关键点序列为L1，投影到汽车动态称重区域建筑信息模型地面坐标系后得到车轮关键点序列为L2。当L2序列中有车轮关键点处在平板称区域时，获取车轮关键点对应汽车图像帧的时间戳T，从T时刻开始将汽车动态称重区域建筑信息模型地面坐标系上的车轮关键点投影坐标变换到平板秤平面坐标系，并将其与对应时间戳存储至车轮关键点投影坐标序列。
存储车轮关键点序列的关键点需要进行坐标变换，以汽车驶入侧平板秤角点建立直角坐标系，将投影后的车轮关键点序列进行坐标转换。平板秤平面坐标系是以平板秤的一个角点为原点、平板秤角点所在的平板秤两条边缘线为坐标轴轴向构建的二维平面坐标系，模拟器中平板秤平面坐标系与真实场景下平板秤平面坐标系的构建方法相同。坐标转换为周知的方法，在此不在叙述其步骤与原理。坐标转换是为了统一不同路段的车轮关键点投影坐标序列的坐标系。在不同道路的汽车动态称重区域，建筑信息模型构建的坐标系可能互不相同，为了隔离工况，本发明将汽车动态称重区域建筑信息模型中的投影坐标变换到平板秤坐标系，使汽车断续行驶行为检测时域卷积网络具有通用性，能够适用于不同道路，无需重新训练。
汽车刹车灯检测单元，用于检测汽车刹车灯是否亮。本发明汽车刹车灯检测单元是在视野中出现汽车时开启检测。先利用汽车检测神经网络得到汽车包围框信息，然后利用汽车图像获取模块进行汽车裁剪操作，即通过中心点位置与长宽信息对尾灯检测摄像头采集的图像进行切割，得到汽车图像，该图像可能大于1个，个数跟汽车数量相等，由于本发明检测尾灯的摄像头的光轴与平板秤接近，此步骤在应用过程中只取包围框面积最大的汽车进行尾灯检测，避免误检并减少计算量。
刹车灯检测序列存储单元，用于从T时刻开始存储汽车刹车灯检测结果，得到刹车灯检测序列。由于相机刷新率、检测频率同步，因此当车轮关键点投影坐标处在汽车动态称重区域建筑信息模型平板秤区域时，同时存储汽车尾灯照亮信息。上述计算与存储通常需要异步进行，因此检测的信息要包含时间戳，以对应车轮关键点位置序列及刹车灯是否照亮序列。
断续行驶行为检测单元，用于将车轮关键点投影坐标序列与汽车刹车灯检测序列按照时间戳整合，输入汽车断续行驶行为检测时域卷积网络进行分析，输出断续行驶行为的检测结果。断续行驶行为的检测结果包括点刹、跳秤、正常。通过汽车断续行驶行为检测时域卷积网络对汽车在平板秤的时序投影车轮序列进行推理来判断是否存在断续行驶行为并进行断续行驶行为分类，其优点是易于收敛，且可解决不同司机驾驶汽车速度不同，从而导致的序列长度不同问题。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种动态平板秤称重区域汽车断续行驶行为检测方法，其特征在于，该方法基于信息建模单元、网络训练单元、汽车车轮关键点检测单元、坐标序列存储单元、汽车刹车灯检测单元、刹车灯检测序列存储单元、断续行驶行为检测单元执行，其中，
信息建模单元，用于建立道路汽车动态称重区域建筑信息模型；
网络训练单元，用于利用模拟器生成训练数据集，训练数据集为汽车经过平板秤时车轮关键点在平板秤平面坐标系上的投影坐标序列与刹车灯检测序列，标签数据为汽车经过平板秤时行驶行为类型，利用训练数据集及其标签数据训练汽车断续行驶行为检测时域卷积网络；
汽车车轮关键点检测单元，用于检测路侧摄像头采集的汽车图像上的车轮关键点，并将车轮关键点投影变换至汽车动态称重区域建筑信息模型地面坐标系；
坐标序列存储单元，用于判断汽车动态称重区域建筑信息模型地面坐标系上的车轮关键点投影坐标是否位于平板秤区域，如果是，则获取车轮关键点对应汽车图像帧的时间戳T，从T时刻开始将汽车动态称重区域建筑信息模型地面坐标系上的车轮关键点投影坐标变换到平板秤平面坐标系，并将其与对应时间戳存储至车轮关键点投影坐标序列；
汽车刹车灯检测单元，用于检测汽车刹车灯是否亮；
刹车灯检测序列存储单元，用于从T时刻开始存储汽车刹车灯检测结果，得到刹车灯检测序列；
断续行驶行为检测单元，用于将车轮关键点投影坐标序列与汽车刹车灯检测序列按照时间戳整合，输入汽车断续行驶行为检测时域卷积网络进行分析，输出断续行驶行为的检测结果。
2.如权利要求1所述的方法，其特征在于，所述汽车断续行驶行为检测时域卷积网络的输入为[BS,N,M]，BS表示批尺寸，N表示序列长度，M是每一时刻的数据长度，每一时刻的数据包括每一时刻汽车车轮关键点坐标以及每一时刻刹车灯检测结果；所述断续行驶行为的检测结果包括点刹、跳秤、正常行驶。
3.如权利要求1所述的方法，其特征在于，所述汽车刹车灯检测单元包括汽车检测神经网络，汽车检测神经网络包括：
汽车提取编码器，用于对图像进行特征提取，输出汽车检测特征图；
汽车提取解码器，用于对汽车检测特征图上采样重构，输出汽车包围框的宽、高、中心点。
4.如权利要求3所述的方法，其特征在于，所述汽车刹车灯检测单元还包括：
汽车图像获取模块，用于根据汽车包围框信息从原图上裁剪得到汽车图像；
刹车灯判断模块，用于基于刹车灯检测神经网络检测刹车灯是否亮，包括：
尾灯检测编码器，用于对汽车图像进行特征提取；
第一全连接网络，用于对尾灯检测编码器输出的特征图进行加权分类，输出刹车灯是否亮的判断结果。
5.如权利要求1所述的方法，其特征在于，所述汽车车轮关键点检测单元基于汽车车轮关键点检测神经网络执行检测，汽车车轮关键点检测神经网络包括：
车轮关键点提取编码器，用于对图像进行编码提取特征，得到车轮关键点特征图；
车轮关键点提取解码器，用于对车轮关键点特征图进行上采样还原，得到车轮关键点热力图。
6.如权利要求1所述的方法，其特征在于，汽车动态称重区域建筑信息模型包括道路位置信息、平板秤位置信息、道路两侧摄像头位姿信息、尾灯检测摄像头位姿信息。
7.如权利要求1所述的方法，其特征在于，该方法还包括：结合WebGIS技术对汽车动态称重区域建筑信息模型进行可视化，实时更新展示监控区域的汽车通行信息、车轮关键点投影坐标序列以及检测结果。
8.如权利要求3所述的方法，其特征在于，该方法还包括训练所述汽车检测神经网络：
构建训练数据集并对其中的图像标注汽车中心点位置以及包围框宽高信息；
通过高斯核对汽车中心点位置进行卷积，得到汽车中心点热力图；
将训练数据集以及标签数据输入汽车检测神经网络进行训练。
9.如权利要求3所述的方法，其特征在于，所述汽车检测神经网络采用的损失函数为：
Total Loss＝CenterLoss+δ*SizeLoss
Figure FDA0003058984650000021
Figure FDA0003058984650000022
其中，N是图像中汽车数量，γxy为预测的汽车中心点热力图中(x,y)坐标的像素值，yxy为真值汽车中心点热力图中(x,y)坐标的像素值，SPk为预测的汽车包围框的宽、高，sk为真值包围框的宽、高，α、β是超参数，δ是权重。
10.如权利要求1所述的方法，其特征在于，所述平板秤平面坐标系是以平板秤的一个角点为原点、平板秤角点所在的平板秤两条边缘线为坐标轴轴向构建的二维平面坐标系，模拟器中平板秤平面坐标系与真实场景下平板秤平面坐标系的构建方法相同。
CN202010825790.2A 2020-08-17 2020-08-17 一种动态平板秤称重区域汽车断续行驶行为检测方法 Active CN111964763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010825790.2A CN111964763B (zh) 2020-08-17 2020-08-17 一种动态平板秤称重区域汽车断续行驶行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010825790.2A CN111964763B (zh) 2020-08-17 2020-08-17 一种动态平板秤称重区域汽车断续行驶行为检测方法

Publications (2)

Publication Number Publication Date
CN111964763A CN111964763A (zh) 2020-11-20
CN111964763B true CN111964763B (zh) 2021-06-15

Family

ID=73389542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010825790.2A Active CN111964763B (zh) 2020-08-17 2020-08-17 一种动态平板秤称重区域汽车断续行驶行为检测方法

Country Status (1)

Country Link
CN (1) CN111964763B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112444311B (zh) * 2020-11-22 2021-11-09 同济大学 一种桥梁车辆时空荷载监控方法
CN112580443B (zh) * 2020-12-02 2022-03-15 燕山大学 基于嵌入式设备改进CenterNet的行人检测方法
CN114018379B (zh) * 2021-10-30 2022-08-23 浙江东鼎电子股份有限公司 基于计算机视觉的动态称重角差补偿方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202126305U (zh) * 2011-04-12 2012-01-25 山西国强称重设备有限公司 公路不停车轴重秤智能防作弊电子系统
CN102706431A (zh) * 2012-05-14 2012-10-03 莱芜钢铁集团电子有限公司 一种计量数据检测方法及系统
CN102809413A (zh) * 2012-08-06 2012-12-05 北京万集科技股份有限公司 一种车辆动态称重作弊检测方法及装置
CN203241134U (zh) * 2013-05-22 2013-10-16 天津传世科技有限公司 一种新型防作弊电子衡系统
CN104344880A (zh) * 2013-07-31 2015-02-11 梅特勒-托利多(常州)精密仪器有限公司 称重系统及用于称重系统的防作弊的方法和设备
CN104864949A (zh) * 2014-02-25 2015-08-26 北京因泰立科技有限公司 一种车辆动态称重方法及装置
KR20170046264A (ko) * 2015-10-21 2017-05-02 이정우 모바일에 의한 카드 매수 사기 방지 카드 슈
CN108180967A (zh) * 2017-12-26 2018-06-19 北京万集科技股份有限公司 一种基于音频辅助的车辆动态称重系统及其作弊检测方法
CN109668610A (zh) * 2019-01-11 2019-04-23 东南大学 基于神经网络回归的车辆动态测重方法及其采用的系统
CN109916486A (zh) * 2017-12-13 2019-06-21 北京万集科技股份有限公司 防作弊动态车辆称重方法及装置
CN109918972A (zh) * 2017-12-13 2019-06-21 北京万集科技股份有限公司 一种行车重量智能监控方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202126305U (zh) * 2011-04-12 2012-01-25 山西国强称重设备有限公司 公路不停车轴重秤智能防作弊电子系统
CN102706431A (zh) * 2012-05-14 2012-10-03 莱芜钢铁集团电子有限公司 一种计量数据检测方法及系统
CN102809413A (zh) * 2012-08-06 2012-12-05 北京万集科技股份有限公司 一种车辆动态称重作弊检测方法及装置
CN203241134U (zh) * 2013-05-22 2013-10-16 天津传世科技有限公司 一种新型防作弊电子衡系统
CN104344880A (zh) * 2013-07-31 2015-02-11 梅特勒-托利多(常州)精密仪器有限公司 称重系统及用于称重系统的防作弊的方法和设备
CN104864949A (zh) * 2014-02-25 2015-08-26 北京因泰立科技有限公司 一种车辆动态称重方法及装置
KR20170046264A (ko) * 2015-10-21 2017-05-02 이정우 모바일에 의한 카드 매수 사기 방지 카드 슈
CN109916486A (zh) * 2017-12-13 2019-06-21 北京万集科技股份有限公司 防作弊动态车辆称重方法及装置
CN109918972A (zh) * 2017-12-13 2019-06-21 北京万集科技股份有限公司 一种行车重量智能监控方法及系统
CN108180967A (zh) * 2017-12-26 2018-06-19 北京万集科技股份有限公司 一种基于音频辅助的车辆动态称重系统及其作弊检测方法
CN109668610A (zh) * 2019-01-11 2019-04-23 东南大学 基于神经网络回归的车辆动态测重方法及其采用的系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于BP算法的整车式动态称重仪表的研究与设计;李海龙;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20160815;C034-461 *
基于机器视觉的车辆上磅位置作弊检测系统设计;曾飞;《微电子学与计算机》;20130531;第30卷(第5期);第50-54页 *
高速公路整车式动态计重系统研究;李想;《中国交通信息化》;20180331;第117-120页 *
高速公路计重收费智能化防作弊系统;范双成等;《中国质量》;20110731;第27-32页 *

Also Published As

Publication number Publication date
CN111964763A (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN111964763B (zh) 一种动态平板秤称重区域汽车断续行驶行为检测方法
Yin et al. ‘Big data’for pedestrian volume: Exploring the use of Google Street View images for pedestrian counts
Morris et al. Real-time video-based traffic measurement and visualization system for energy/emissions
CN109389046B (zh) 用于自动驾驶的全天候物体识别与车道线检测方法
CN111626277B (zh) 一种基于治超站交调指标分析的车辆跟踪方法及装置
CN111179300A (zh) 障碍物检测的方法、装置、系统、设备以及存储介质
EP3286691A1 (en) A method of detecting objects within a 3d environment
CN105354568A (zh) 基于卷积神经网络的车标识别方法
CN109935080A (zh) 一种交通线路上的车流量实时计算的监测系统及方法
CN113505638B (zh) 车流量的监测方法、监测装置及计算机可读存储介质
CN107315998A (zh) 基于车道线的车辆种类划分方法和系统
CN113298059A (zh) 受电弓异物入侵检测方法、装置、计算机设备、系统及存储介质
CN111931683A (zh) 图像识别方法、装置及计算机可读存储介质
Almutairy et al. Arts: Automotive repository of traffic signs for the united states
CN114049356A (zh) 一种结构表观裂缝检测方法、装置及系统
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
JP2007033931A (ja) 衛星画像等を用いた地図作成のための道路認識システム
JP2020160840A (ja) 路面標示不具合検出装置、路面標示不具合検出方法及び路面標示不具合検出プログラム
CN106203368A (zh) 一种基于src和svm组合分类器的交通视频车辆识别方法
da Silva Bastos et al. Vehicle speed detection and safety distance estimation using aerial images of Brazilian highways
CN115546743B (zh) 基于附着系数的车路协同控制方法、装置、设备及介质
CN112488049B (zh) 一种动车组牵引电机及轴间夹挂异物的故障识别方法
CN115497303A (zh) 一种复杂检测条件下的高速公路车速检测方法及系统
Varma et al. Vision Based Advanced Driver Assistance System Using Deep Learning
CN114565753A (zh) 一种基于改进YOLOv4网络的无人机小目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant