CN113569716B - 一种货车车轴快速识别与计数方法 - Google Patents
一种货车车轴快速识别与计数方法 Download PDFInfo
- Publication number
- CN113569716B CN113569716B CN202110842359.3A CN202110842359A CN113569716B CN 113569716 B CN113569716 B CN 113569716B CN 202110842359 A CN202110842359 A CN 202110842359A CN 113569716 B CN113569716 B CN 113569716B
- Authority
- CN
- China
- Prior art keywords
- axle
- detection
- samples
- frame
- counting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 230000033001 locomotion Effects 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 7
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 7
- 238000003745 diagnosis Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种货车车轴快速识别与计数方法。包括:运动检测:采用改进后的帧差法快速检测镜头前经过的货车;车轴检测:采用改进后的轻量级深度神经网络RetinaFace进行车轴检测网络模型训练,以实现货车车轴的检测;车轴跟踪:采用SORT算法实现车轴检测跟踪;车轴计数:在对车轴进行检测跟踪后,通过边界邻域统计进行车轴计数。本发明方法能够准确自动地识别并计算车轴数量。
Description
技术领域
本发明属于图像识别技术领域,具体涉及一种货车车轴快速识别与计数方法。
背景技术
随着现代科技的发展,人民生活水平逐渐提高,交通运输也越来越便利,然而在这些便利的同时,交通安全问题也随之到来。在各类交通安全问题中,货车超载造成的问题尤为严重,超载导致各类交通事故,严重损坏道路,影响交通运输,造成人与物上的损失。如何高效率地计算货车限重以避免上述问题是当前热点问题。为了减少人力成本,当前主流做法采用传感器等嵌入式设备进行货车限重估计,存在成本高,准确率不高、无法存证等问题。有必要研究与设计新的货车限重估计方法,在低成本条件下获得高准确率。而货车限重主要与车轴的数量和类型有关,因此,本发明方法的核心为车轴计数与车胎识别。
检测货车是否超载的关键步骤是计算货车限重。计算货车限重一般采用的是车轴计数,根据车轴数量来判断一辆货车的限重。传统的车轴计数是通过人眼进行观察记录或用高成本嵌入式设备[1]进行检测,从而计算货车限重。传统的计算方式无法满足检测过程中的实时性要求,存在诸多问题,比如,人工成本高、容易由于人的视觉疲劳造成检测失误等。因此,有必要研究货车车轴识别计数的实时检测问题。
发明内容
本发明的目的在于提供一种货车车轴快速识别与计数方法,能够准确自动地识别并计算车轴数量。
为实现上述目的,本发明的技术方案是:一种货车车轴快速识别与计数方法,包括:
S1、运动检测:采用改进后的帧差法快速检测镜头前经过的货车;
S2、车轴检测:采用改进后的轻量级深度神经网络RetinaFace进行车轴检测网络模型训练,以实现货车车轴的检测;
S3、车轴跟踪:采用SORT算法实现车轴检测跟踪;
S4、车轴计数:在对车轴进行检测跟踪后,通过边界邻域统计进行车轴计数。
在本发明一实施例中,所述步骤S1具体实现如下:
S11、尺度缩放:如公式(1),采用常数边界扩充的方式扩充边界成正方形,扩充后的图像缩放到统一尺度320×320;
Im=Padding(I;w,h,θ)
其中,Padding表示常数填充,I表示待填充的图片,w表示width方向的扩展度,h表示height方向的扩展度,θ表示扩展填充常数;
S12、计算帧差图:如公式(2)所示,利用上一帧缩放后的灰度图(Im)减去当前帧缩放后的灰度图(Ib),得到绝对值差图,并利用Otsu算法进行图像二值化;
Ds=Otsu(|Im-Ib|)#(2)
S13、去噪:用形态学开运算和闭运算去除二值化帧差图Ds中的白色过小区域;
S14、运动诊定:当∑Ds大于设定的阈值β时,即二值化帧差图中白色区域大于预定范围时,判定为有运动物体经过;β设为0.05×height×width,其中,height和width代表帧差图的行数和列数。
在本发明一实施例中,所述步骤S2中,改进后的轻量级深度神经网络RetinaFace包括:
Backbone模块,采用去除全连接层的MobilenetV1;
FPN模块,用以聚合上下文信息;采用特征金字塔网络结构,能在增加极小的计算量的情况下,处理好物体检测中的多尺度变化问题;
SSH模块,用来扩张预检测区域的上下文信息;
Anchor模块,为检测不同尺度的车轴,分别在FPN模块特征金字塔网络结构的三层生成不同尺度的anchors,具体为按步数遍历特征图并在同一位置生成多个不同的anchors,其中低分辨率到高分辨率的三层特征图上anchors生成的步数分别为8、16、32,最小尺寸为64、128、256。
在本发明一实施例中,所述步骤S2中,车轴检测网络模型训练过程中,损失函数由两项组成,第一项为类别损失,用以区分车轴的类别以及背景区域;第二项为回归损失,拟合车轴的位置信息;其中,正负样本的确定由IoU进行判断,具体为计算先验anchors和真实标签的IoU,其中大于0.35的先验anchors作为正样本即目标样本,其他为负样本即背景样本;
1)类别损失:采用难负样本挖掘损失,使得负样本和正样本比例稳定,损失函数如公式(3)所示,具体地,首先对负样本预测概率值进行排序,取前n个负样本作为难负样本,其余负样本丢弃,对难负样本和正样本计算交叉熵损失:
P′neg=sort(Pneg)
其中,Pneg代表难负样本,Ppos代表正样本,yneg和ypos代表难负样本和正样本的标签,n取为m的3倍,m为正样本的数量,n为负样本的数量;
2)回归损失:回归损失为先验框anchor位置与目标框对应位置的L1损失,具体描述如下:
其中,yloc表示真实位置标签,表示预测位置,m为正样本的数量。
在本发明一实施例中,所述步骤S2中,车轴检测网络模型在TeslaP100显卡上进行训练,Batchsize设为8,训练200个Epoch,采用SGD进行优化,动量为0.9,权重衰减系数0.001。
在本发明一实施例中,所述步骤S3具体实现方式为:首先采用卡尔曼滤波进行车轴位置预测,再用匈牙利算法根据卡尔曼滤波预测位置和目标检测位置的IoU值进行关联匹配,实现车轴检测跟踪。
在本发明一实施例中,所述步骤S4具体实现如下:
S41、检测车轴,分配anchor的id,计算anchor的中心位置;
S43、根据id记录每个anchor当前的位置,并和上一位置进行比较,判断车轴运动的方向,该步骤实时更新;
S44、判断anchor中心的位置和统计边界的绝对距离,第一次小于设定的阈值K则将当前anchor作为感兴趣的监测框,并根据id存储进监测数组中;
S45、对每个监测框和统计边界的绝对距离进行实时跟踪判断,当每个监测框第一次大于设定的阈值时,将步骤S42中当前记录的方向作为该监测框的运动方向,该运动方向上的全局车轴统计数量加1,同时根据id从监测数组中删除该监测框。
相较于现有技术,本发明具有以下有益效果:本发明能够仅用单个摄像头和低性能PC机实时完成货车上地磅称重时的车轴计数识别,以计算车辆限重,判断车辆是否超重;本发明使用轻量级目标检测网络Retinaface进行检测,网络模型仅为1.6MB;以SORT算法进行跟踪,并采用设计的邻域计数方法进行车轴的鲁棒计数;实验结果表明,本发明方法对车轴计数与车胎类型识别的准确率高,且实时性强。
附图说明
图1为本发明方法流程图。
图2为真实镜头下的货车车轴图。
图3为车轴检测神经网络。
图4为SSH上下文模块网络结构。
图5为摄像头畸变。
图6为视频10的部分帧。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
如图1所示,本发明一种货车车轴快速识别与计数方法,包括:
S1、运动检测:采用改进后的帧差法快速检测镜头前经过的货车;
S2、车轴检测:采用改进后的轻量级深度神经网络RetinaFace进行车轴检测网络模型训练,以实现货车车轴的检测;
S3、车轴跟踪:采用SORT算法实现车轴检测跟踪;
S4、车轴计数:在对车轴进行检测跟踪后,通过边界邻域统计进行车轴计数。
以下为具体实现过程。
1、运动检测
运动检测目的在于高效地判断摄像头内是否存在疑似车辆的运动物体。在真实场景中,货车车轴计数旨在检测特定区域经过的车轴数量,因此可以缩小运动检测范围至特定区域。如图2真实镜头下的货车车轴图所示,车轴具有覆盖整个摄像头画面的特点。根据以上先验知识可知,当有车经过时,整个画面的帧与帧之间变化较大,因此采用改进后的帧差法快速检测出镜头前是否有货车经过,具体步骤如下:
1)尺度缩放:如公式(1),采用常数边界扩充的方式扩充边界成正方形,扩充后的图像缩放到统一尺度320×320。
Im=Padding(I;w,h,θ)
其中,w表示width方向的扩展度,h表示height方向的扩展度,θ表示扩展填充常数,本发明设其为0。
2)计算帧差图:如公式(2)所示,利用上一帧缩放后的灰度图(Im)减去当前帧缩放后的灰度图(Ib),得到绝对值差图,并利用Otsu算法[2]进行图像二值化。
Ds=Otsu(|Im-Ib|)#(2)
3)去噪:为了避免噪声带来误判,用形态学开运算和闭运算去除二值化帧差图Ds中的白色过小区域。
4)运动诊定:当∑Ds大于设定的阈值β时,即二值化帧差图中白色区域大于一定范围时,判定为有运动物体经过。由于车辆运动的特殊性,只要保证不漏检有车辆运动的帧即可,因此β不是一个严格的参数,可设置范围较大。在此方法中,β设为0.05×height×width,其中,height和width代表帧差图的行数和列数。
2、车轴检测
2.1、检测网络模型:
车轴检测由于部署设备的配置限制,并且考虑到要满足移植到移动设备和开发板的要求,综合性能与资源,采用改进后的轻量级深度神经网络RetinaFace[3]进行检测,整个网络的模型参数量只有1.6M,在Inteli5CPU等低性能设备上能够达到25fps以上,满足在低性能设备下的实时要求。车轴检测神经网络结构如图3所示。
1)Backbone模块:采用去除全连接层的MobilenetV1[4]。MobilenetV1基于一种流线型结构使用深度可分离卷积来构造轻型权重深度神经网络。
2)FPN模块:用以聚合上下文信息。采用特征金字塔网络结构,能在增加极小的计算量的情况下,处理好物体检测中的多尺度变化问题。
3)SSH模块:图4为网络中SSH上下文模块网络结构,用来扩张预检测区域的上下文信息。
4)Anchor:为了检测不同尺度的车轴,分别在FPN的三层生成不同尺度的anchors,具体为按步数遍历特征图并在同一位置生成多个不同的anchors。其中低分辨率到高分辨率的三层特征图上anchors生成的步数分别为8、16、32,最小尺寸为64、128、256。
2.2、损失函数:
神经网络的训练过程中,损失函数由两项组成,第一项为类别损失,用以区分车轴的类别以及背景区域;第二项为回归损失,拟合车轴的位置信息。其中,正负样本的确定由IoU进行判断,具体为计算先验anchors和真实标签的IoU,其中大于0.35的先验anchors作为正样本(目标样本),其他为负样本(背景样本)。
1)类别损失
由于目标检测中,背景样本(负样本)和目标样本(正样本)比例存在严重失衡,因此要考虑类别平衡问题。本发明采用难负样本挖掘损失,使得负样本和正样本比例稳定,损失函数如公式(3)所示。具体地,首先对负样本预测概率值进行排序,取前n个负样本作为难负样本,其余负样本丢弃,对难负样本和正样本计算交叉熵损失:
P′neg=sort(Pneg)
其中,Pneg代表难负样本,Ppos代表正样本,yneg和ypos代表难负样本和正样本的标签,n取为m的3倍,m为正样本的数量,n为负样本的数量。
2)回归损失:
回归损失为先验框anchor位置(左上角点、宽度、高度)与目标框对应位置的L1损失,具体描述如下:
3)其他细节:
目标检测网络在一块TeslaP100显卡上进行训练,Batchsize设为8,训练200个Epoch,采用SGD进行优化,动量为0.9,权重衰减系数0.001。
3、车轴跟踪
由于车轴相似性较高,为了移植到低性能设备上运行,车轴跟踪选用SORT算法[5],其整体思路采用“tracking-by-detection”,即先进行目标检测,再进行目标跟踪(也可称数据关联)。目标跟踪首先采用卡尔曼滤波进行位置预测,再用匈牙利算法根据卡尔曼滤波预测位置和目标检测位置的IoU值进行关联匹配。因为仅采用IoU值进行匹配,因此位置预测仅与车轴位置有关,与车轴特征无关,有效地避免了车轴畸变等条件下造成的车轴特征骤变,造成难以跟踪的问题。另外,SORT算法运行高效,处理时间很短。在实际运用中,SORT预测框可适当代替检测框,让检测算法间隔几帧检测一次,而SORT算法中卡尔曼滤波预测的框填补间隔空缺帧,可进一步提升整个算法的速度。
4、车轴计数
在对车轴进行检测跟踪后,通过边界邻域统计进行车轴计数。如图5所示,实际部署场景中,由于摄像头部署过近,容易发生畸变,造成车轴变形。因此,选择镜头的中线作为统计边界进行计数。考虑到车速可能较快,帧间位置差异统计可能造成误判,以及当跟踪出现错误时容易计数错误,因此,设计了边界邻域统计方法进行计数,具体做法为:
1)检测车轴,分配anchor的id,计算anchor的中心位置。
2)根据id记录每个anchor当前的位置,并和上一位置进行比较,判断车轴运动的方向,整个算法中该步骤实时更新。
3)判断anchor中心的位置和统计边界的绝对距离,第一次小于设定的阈值K则将当前anchor作为感兴趣的监测框,并根据id存储进监测数组中。
4)对每个监测框和统计边界的绝对距离进行实时跟踪判断,当每个监测框第一次大于设定的阈值时,将第2)步中当前记录的方向作为该监测框的运动方向,该运动方向上的全局车轴统计数量加1。同时根据id从监测数组中删除该监测框。
5、实验结果
为了阐述本发明方法在车轴计数和车胎类型判断上的有效性和实时性,选用20段不同时段真实场景货车上地磅的视频作为测试样本进行验证。本发明方法采用Python语言编程,测试实验运行在2.60GHz的Intel CoreTMi5-4130CPU、8G内存的台式电脑上。
表1本发明方法检测20段视频的结果统计
视频序号 | 真实车胎序列 | 预测车胎序列 | 正确/错误 |
1 | 单单双 | 单单双 | 正确 |
2 | 单双双双 | 单双双双 | 正确 |
3 | 单单双 | 单单双 | 正确 |
4 | 单双双双 | 单双双双 | 正确 |
5 | 单双双双双 | 单双双双双 | 正确 |
6 | 单双 | 单双 | 正确 |
7 | 单双双双 | 单双双双 | 正确 |
8 | 单单双 | 单单双 | 正确 |
9 | 单单双 | 单单双 | 正确 |
10 | 单双 | 单 | 错误 |
11 | 单单双 | 单单双 | 正确 |
12 | 单双双 | 单双双 | 正确 |
13 | 单双双双双 | 单双双双双 | 正确 |
14 | 单双双双双 | 单双双双双 | 正确 |
15 | 单单双双 | 单单双双 | 正确 |
16 | 单双双双双双 | 单双双双双双 | 正确 |
17 | 单双双双双双 | 单双双双双双 | 正确 |
18 | 单单双 | 单单双 | 正确 |
19 | 单双双双双双 | 单双双双双双 | 正确 |
20 | 单双双双双双 | 单双双双双双 | 正确 |
表1为本发明方法在测试样本上检测结果的统计结果,其中“单”表示单胎,“双”表示双胎。这20段视频中只有视频10出现检测错误,其余均检测正确,正确率为95%。视频10的部分帧如图6所示,该轮轴由于亮度过小和阴影遮掩,掩盖了车轴特征,因此检测失败。
表2本发明方法时空复杂度(CPU)
表2为本发明方法时空复杂度分析,在Inteli5 CPU上本发明方法针对单张320×320的RGB图像,方法运行总时间在0.041s左右。其中,运动检测时间在0.008s左右、车轴检测时间在0.024s左右、车轴跟踪时间在0.011s左右。本发明方法所使用的车轴检测模型仅为1641KB,并且实际部署中FP16精度量化后的模型大小仅为821KB。在时间与空间上,本发明方法都易于移植到低性能可移植设备中,部署门槛低。
参考文献:
[1]何幕峰,蒋思怡,王琳.一种车道口的车轴计数装置和方法.
[2]Otsu N.A Threshold Selection Method from Gray-Level Histograms[J].IEEE Transactions on Systems Man&Cybernetics,2007,9(1):62-66.
[3]Deng J,Guo J,Zhou Y,et al.RetinaFace:Single-stage Dense FaceLocalisation in the Wild[J].2019.
[4]Howard A G,Zhu M,Chen B,et al.MobileNets:Efficient ConvolutionalNeural Networks for Mobile Vision Applications[J].2017.
[5]Bewley A,Ge Z,Ott L,et al.Simple Online and Realtime Tracking[C]//2016IEEE International Conference on Image Processing(ICIP).IEEE,2016.。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (5)
1.一种货车车轴快速识别与计数方法,其特征在于,包括:
S1、运动检测:采用改进后的帧差法快速检测镜头前经过的货车;
S2、车轴检测:采用改进后的轻量级深度神经网络RetinaFace进行车轴检测网络模型训练,以实现货车车轴的检测;
S3、车轴跟踪:采用SORT算法实现车轴检测跟踪;
S4、车轴计数:在对车轴进行检测跟踪后,通过边界邻域统计进行车轴计数;
所述步骤S2中,改进后的轻量级深度神经网络RetinaFace包括:
Backbone模块,采用去除全连接层的MobilenetV1;
FPN模块,用以聚合上下文信息;采用特征金字塔网络结构,能在增加极小的计算量的情况下,处理好物体检测中的多尺度变化问题;
SSH模块,用来扩张预检测区域的上下文信息;
Anchor模块,为检测不同尺度的车轴,分别在FPN模块特征金字塔网络结构的三层生成不同尺度的anchors,具体为按步数遍历特征图并在同一位置生成多个不同的anchors,其中低分辨率到高分辨率的三层特征图上anchors生成的步数分别为8、16、32,最小尺寸为64、128、256;
所述步骤S4具体实现如下:
S41、检测车轴,分配anchor的id,计算anchor的中心位置;
S43、根据id记录每个anchor当前的位置,并和上一位置进行比较,判断车轴运动的方向,该步骤实时更新;
S44、判断anchor中心的位置和统计边界的绝对距离,第一次小于设定的阈值K则将当前anchor作为感兴趣的监测框,并根据id存储进监测数组中;
S45、对每个监测框和统计边界的绝对距离进行实时跟踪判断,当每个监测框第一次大于设定的阈值时,将步骤S42中当前记录的方向作为该监测框的运动方向,该运动方向上的全局车轴统计数量加1,同时根据id从监测数组中删除该监测框。
2.根据权利要求1所述的一种货车车轴快速识别与计数方法,其特征在于,所述步骤S1具体实现如下:
S11、尺度缩放:如公式(1),采用常数边界扩充的方式扩充边界成正方形,扩充后的图像缩放到统一尺度320×320;
lm=Padding(I;w,h,0)
其中,Padding表示常数填充,I表示待填充的图片,w表示width方向的扩展度,h表示height方向的扩展度,θ表示扩展填充常数;
S12、计算帧差图:如公式(2)所示,利用上一帧缩放后的灰度图(Im)减去当前帧缩放后的灰度图(Ib),得到绝对值差图,并利用Otsu算法进行图像二值化;
Ds=Otsu(|Im-Ib|) (2)
S13、去噪:用形态学开运算和闭运算去除二值化帧差图Ds中的白色过小区域;
S14、运动诊定:当∑Ds大于设定的阈值β时,即二值化帧差图中白色区域大于预定范围时,判定为有运动物体经过;β设为0.05×height×width,其中,height和width代表帧差图的行数和列数。
3.根据权利要求1所述的一种货车车轴快速识别与计数方法,其特征在于,所述步骤S2中,车轴检测网络模型训练过程中,损失函数由两项组成,第一项为类别损失,用以区分车轴的类别以及背景区域;第二项为回归损失,拟合车轴的位置信息;其中,正负样本的确定由IoU进行判断,具体为计算先验anchors和真实标签的IoU,其中大于0.35的先验anchors作为正样本即目标样本,其他为负样本即背景样本;
1)类别损失:采用难负样本挖掘损失,使得负样本和正样本比例稳定,损失函数如公式(3)所示,具体地,首先对负样本预测概率值进行排序,取前n个负样本作为难负样本,其余负样本丢弃,对难负样本和正样本计算交叉熵损失:
P′neg=sort(Pneg)
其中,Pneg代表难负样本,Ppos代表正样本,yneg和ypos代表难负样本和正样本的标签,n取为m的3倍,m为正样本的数量,n为负样本的数量;
2)回归损失:回归损失为先验框anchor位置与目标框对应位置的L1损失,具体描述如下:
其中,yloc表示真实位置标签,表示预测位置,m为正样本的数量。
4.根据权利要求3所述的一种货车车轴快速识别与计数方法,其特征在于,所述步骤S2中,车轴检测网络模型在Tesla P100显卡上进行训练,Batch size设为8,训练200个Epoch,采用SGD进行优化,动量为0.9,权重衰减系数0.001。
5.根据权利要求1所述的一种货车车轴快速识别与计数方法,其特征在于,所述步骤S3具体实现方式为:首先采用卡尔曼滤波进行车轴位置预测,再用匈牙利算法根据卡尔曼滤波预测位置和目标检测位置的IoU值进行关联匹配,实现车轴检测跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110842359.3A CN113569716B (zh) | 2021-07-23 | 2021-07-23 | 一种货车车轴快速识别与计数方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110842359.3A CN113569716B (zh) | 2021-07-23 | 2021-07-23 | 一种货车车轴快速识别与计数方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113569716A CN113569716A (zh) | 2021-10-29 |
CN113569716B true CN113569716B (zh) | 2023-10-27 |
Family
ID=78167184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110842359.3A Active CN113569716B (zh) | 2021-07-23 | 2021-07-23 | 一种货车车轴快速识别与计数方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113569716B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009023A (zh) * | 2019-03-26 | 2019-07-12 | 杭州电子科技大学上虞科学与工程研究院有限公司 | 智慧交通中的车流统计方法 |
CN110490156A (zh) * | 2019-08-23 | 2019-11-22 | 哈尔滨理工大学 | 一种基于卷积神经网络的快速车辆检测方法 |
CN112651995A (zh) * | 2020-12-21 | 2021-04-13 | 江南大学 | 基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法 |
-
2021
- 2021-07-23 CN CN202110842359.3A patent/CN113569716B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009023A (zh) * | 2019-03-26 | 2019-07-12 | 杭州电子科技大学上虞科学与工程研究院有限公司 | 智慧交通中的车流统计方法 |
CN110490156A (zh) * | 2019-08-23 | 2019-11-22 | 哈尔滨理工大学 | 一种基于卷积神经网络的快速车辆检测方法 |
CN112651995A (zh) * | 2020-12-21 | 2021-04-13 | 江南大学 | 基于多功能聚合和跟踪模拟训练的在线多目标跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113569716A (zh) | 2021-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111259850B (zh) | 一种融合随机批掩膜和多尺度表征学习的行人重识别方法 | |
CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
CN112132119B (zh) | 客流统计方法、装置、电子设备和存储介质 | |
CN109544592B (zh) | 针对相机移动的运动目标检测算法 | |
CN102214309B (zh) | 一种基于头肩模型的特定人体识别方法 | |
Li et al. | Robust people counting in video surveillance: Dataset and system | |
CN104166841A (zh) | 一种视频监控网络中指定行人或车辆的快速检测识别方法 | |
CN111079518B (zh) | 一种基于执法办案区场景下的倒地异常行为识别方法 | |
CN113052185A (zh) | 一种基于Faster R-CNN的小样本目标检测方法 | |
CN110991397B (zh) | 一种行进方向确定方法及相关设备 | |
CN104537356B (zh) | 利用瑞士轮排序进行步态识别的行人再标识方法和装置 | |
CN103745216B (zh) | 一种基于空域特性的雷达图像杂波抑制方法 | |
CN109902576B (zh) | 一种头肩图像分类器的训练方法及应用 | |
CN102087790A (zh) | 一种低空对地车辆检测与运动分析的方法和系统 | |
CN109684986A (zh) | 一种基于车辆检测跟踪的车辆分析方法及系统 | |
CN106326839A (zh) | 一种基于出操视频流的人数统计方法 | |
CN114627286A (zh) | 基于PSPNet和改进YOLOv4的地磅人员入侵的检测方法 | |
CN102148919B (zh) | 一种球类检测的方法及系统 | |
CN104123569B (zh) | 一种基于有监督学习的视频人数信息统计方法 | |
Pillai et al. | Fine-Tuned EfficientNetB4 Transfer Learning Model for Weather Classification | |
CN103927517B (zh) | 一种基于人体全局特征直方图熵的动作检测方法 | |
CN111881775B (zh) | 一种人脸实时识别方法和装置 | |
CN116665015B (zh) | 一种基于YOLOv5的红外序列图像弱小目标检测方法 | |
CN113569716B (zh) | 一种货车车轴快速识别与计数方法 | |
CN116935325A (zh) | 一种基于检测和跟踪的公交站台遗留物检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |