CN113392695A - 一种公路货车及其轮轴识别方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体是一种公路货车及其轮轴识别方法。括以下步骤。S100～从电子监控设备中提取货车侧向监控图片；S200～对监控图片中的车辆按照货车、货车轮两类进行标注，形成数据集；S300～将步骤S200中通过标注得到的所述数据集输入到优化后的darknet‑53目标检测框架中，训练得到一个目标检测模型；所述目标检测模型用于从监控图片中检测出货车及其轮轴；S400～货车及其轮轴隶属关系判定。本发明提高货车轴数检测准确率，提升道路通行能力。

Description

一种公路货车及其轮轴识别方法

技术领域

本发明属于图像处理技术领域，具体是一种公路货车及其轮轴识别方法。

背景技术

现有公路货车及其轮轴识别主要采用在路面上埋置便携式磁带开关或压电电缆进行车轴数统计，需破除路面层维护，影响通行效率；或通过高精度的光栅传感器与激光传感器检测进行轴数统计，受灰尘、积水影响较大，需要人工清理传感器表面灰尘。近年来，随着机器学习与模式识别的发展，越来越多的研究者们将其应用到车型识别分类的研究中，识别过程主要是将道路上拍摄的车辆图像经过预处理后进行背景分离、特征提取、车型识别，达到识别目的。

目标检测是计算机视觉中非常重要的一个工作，国内外有很多学者都在进行相关工作，简明概括如下：传统的目标检测主要包括三个部分：目标定位、特征提取和分类。(1)目标定位：由于目标可能会出现在图像的任何位置，而且目标的大小，纵横比也不确定,最常用的方法是采用滑动窗口的策略对待测样本进行遍历，为了准确性还需要设置不同的尺度,不同的纵横比。这种穷举的算法缺点也是比较明显：遍历花费时间过多，同时产生的冗余候选区域太多，这也严重拖累了后续特征提取和分类的速度与性能。(2)特征提取：由于各类不同的目标具有形态多样性，光照变化多样性，背景多样性等因素，使得手工设计一种鲁棒的特征用于应对所有的应用是相当困难的一件事。所以，针对不同的应用场景,要采用不同的特征。传统算法中的特征都是由手工设计得到，例如SIFT，HOG，Textons，SpinImage， RIFT，GLOH等经典特征。(3)分类器是判别目标与非目标的重要依据。目前，应用最为广泛的分类器为SVM，该分类器的全称为支持向量机(Support Vector Machine)，该分类器主要用在二分类问题中，该算法实质上是在特征空间上间隔最大的线性分类器。

以上的这些传统目标检测算法所使用的特征都是由手工设计的，算法性能的优劣主要依靠设计者的先验知识。同时这些传统目标检测特征模型仅在解决某一类目标检测效果较好，但是对于其它类的目标检测效果较差。在实际工作中，传统目标检测算法的实际检测率也不尽人意，很多传统手工设计特征的目标检测算法在某类图像测试集中具有较好的效果，但是更换其他数据集，则比较难达到较高的检测准确率。

自2006年以来，深度学习在计算机视觉领域中的技术得到了迅速发展,深度学习能够利用大量的训练样本和隐藏层逐层深入地学习图像的抽象信息，更全面直接地获取图像特征。围绕着提高检测精度和检测速率两项重要指标，卷积神经网络技术从二阶段网络R-CNN， Fast R-CNN到Faster R-CNN和单阶段网络YOLOV1、 YOLOV2/YOLO9000到YOLOV3的逐步发展，具体表现为进一步精度提升、加速、端到端及更实用化，几乎覆盖了从分类到检测，分割，定位各个领域。贺甜等人利用神经网络对货车车型进行分类，但距离标定工作无法统一。基于图像处理的货车及其轮轴识别系统可以利用道路或者检测站现有的摄像机资源，拍摄货车的侧面图像，通过对车辆图像进行预处理、目标定位、车型识别等操作从而达到识别分类的目的。由于基于图像的车型识别具有不破坏公路设施、便于维护管理等方面的优势，使得它的发展空间变得越来越大。因此本发明采用一种基于深度学习的方法对图像中货车及其轮轴数进行快速识别，并进一步计算识别结果中车辆及其轮轴的隶属关系。

发明内容

本发明为了实现对货车及其轮轴的识别，引入注意力机制设计卷积神经网络，以提高货车轴数检测准确率，提升道路通行能力，提供一种公路货车及其轮轴识别方法。

本发明采取以下技术方案：一种公路货车及其轮轴识别方法与系统，包括以下步骤。S100～从电子监控设备中提取货车侧向监控图片； S200～对监控图片中的车辆按照货车、货车轮两类进行标注，形成数据集；S300～将步骤S200中通过标注得到的所述数据集输入到优化后的darknet-53目标检测框架中，训练得到一个目标检测模型；所述目标检测模型用于从监控图片中检测出货车及其轮轴；S400～货车及其轮轴隶属关系判定。

步骤S300采取以下方法，S301～确定先验框的大小，其中先验框为公路货车或其轮轴边框的纵横比和边框的面积；S302～针对数据集的图像分辨率调整darknet-53目标检测框架输入大小；S303～引入通道间注意力模块优化网络结构；S304～搭建深度学习框架，使用 GPU加速训练。

步骤S301采取以下方法，对于S200所建立的数据集，按照数据集中每张图片货车及其轮轴的目标框大小，将数据集划分为K个簇，簇划分为(C₁,C₂,...C_k)，则目标函数为最小化平方误差E，其数学表达式如公式1所示，

其中x为簇内目标框大小，μ_s是簇C_s的先验框大小平均值，也称为质心，μ_s的表达式如公式2所示：

先验框大小使用处理后的交并比作为欧氏距离完成聚类，表达式为公式3所示：

x-u_s＝1-IOU(s,center) (3)

其中x-u_s表示欧式距离，s表示簇数，center为聚类中心点。

步骤S302中，目标框架检测大小为608×608。

步骤S303采取以下方法，首先对拍摄到的图片进行卷积运算得到W×H×C的特征图，然后对于特征图进行全局压缩，将其压缩为 1×1×C的向量，然后通过一个全连接层，乘以通道间的权重系数，最后通过解压缩并与原特征图相乘，作为下一级的输入。其中压缩公式为公式4所示：

其中Z_c为压缩后的特征向量，F_sq为压缩操作，就是在得到u_c，u_c为多个特征图，后采用全局平均池化操作对其每个特征图进行压缩，使其C个特征图最后变成1×1×C的实数数列；

解压缩公式为公式5所示：

s＝F_ex(z,W_q)

(5)

其中s为解压缩后带通道间权重的特征图，z为压缩后的特征向量，W_q为通道间权重，通过解压缩操作对通道依赖性分析建模，最后将通道间关系权重与原有特征图相乘，使其还原为W×C×H的特征图。

步骤S304采取以下方法，模型损失函数如公式6所示：

LOSS为货车真实目标框与预测框的差值，当Loss值小于5.6％时停止训练。

其中心坐标误差为

当第i个网格的第j个先验框负责预测某一个真实目标时，用

表示，这个预测框

就应该去和真实目标的box(x_i，y_i)去比较，计算得到中心坐标误差。

为宽高坐标误差，当第i个网格的第j个预测框负责某一个真实目标时，这个预测框

就应该去和真实目标框

去比较，计算得到宽高的误差；

为置信度误差，

损失函数分为两部分：

有物体部分

没有物体部分

其中没有物体损失部分还增加了权重系数-λ_noobj，

表示第i个栅格的第j个预测框的置信度，

表示真实值，

的取值是由栅格的预测框有没有负责预测某个对象决定的，如果有负责预测对象，那么

否则

为分类误差，当第i个网格的第j个预测框负责预测某一个真实目标时，那么计算这个预测框分类损失函数，

表示分类准确率，

表示真实值。

步骤S400采取以下方法：

S401～目标识别网络对每货车及其轮轴的预测结果中，坐标x，y 代表了预测的预测框的中心与栅格边界的相对值，坐标w，h代表了预测框的宽、高相对于整幅图像宽，高的比例，计算公式如式7所示；

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

式中，b_x，b_y，b_w，b_h表示预测框在特征图中的中心点坐标和长宽； t_x，t_y，t_w，t_h表示偏移量；c_x，c_y表示为格子的左上点坐标；p_w，p_h表示为先验框对特征图的宽高比例关系，预测框的实际值则需要将b_x， b_y，b_w，b_h除以对应的特征图的宽和高，由此可获得轮轴中心点与货车预测框的位置信息。

S402～首先提取轮轴预测框的中心点位置信息，即轮轴预测框中的b_x，b_y；其次提取货车预测框中边缘点信息，即

通过计算可以得出轮轴中心点的位置坐标与货车预测框位置信息的相对关系；分别对货车进行编号，作为键值对中的键，若轮轴中心点在货车预测框内，则增加该辆货车的轮轴数，作为键值对中的值。

与现有技术相比，本发明具有以下有益效果：

首先，利用深度学习方法进行货车及其轮轴识别，不用频繁破除路面埋置便携式磁带开关或压电电缆，降低道路维护成本。其次，通过对现场数据的采集，数据集中图像类型丰富，车型较多，且针对天气恶劣、光照不均等问题进行了图像预处理。最后，引入注意力机制使得网络结构得到优化，提升网络性能。

附图说明

图1为数据集及其标注格式；

图2为K-MEANS聚类后的先验框分布；

图3为输入大小调整后网络结构；

图4为引入通道间注意力模块的网络结构图

图5为loss曲线

图6为精确度曲线

图7为货车轮轴隶属关系实验结果。

具体实施方式

本发明提供了一种公路货车车型识别方法，该方法包括以下步骤：

S100：从道路交通电子监控设备中提取货车侧向监控图片；

S200：对所述监控图片中的车辆按照货车、货车轮轴两类进行标注，形成VOC格式数据集，如图1所示；

S300：将步骤S200中通过标注得到的数据集输入到优化后的 darknet-53目标检测框架中，训练得到一个目标检测模型；该目标检测模型用于从监控图片中检测出货车及其轮轴；

S301：先验框定义为边框的纵横比和边框的面积，在本项目中为预先设定好的公路货车及其轮轴的宽和高，在进行预测时，即可利用这个已经定好的宽和高处理，则可高效进行预测，随着输出的特征图的数量和尺度的变化，先验框的尺寸也需要相应的调整。

先验框大小合适与否可直接影响到检测速度，针对本数据集，需要调整先验框大小优化darknet-53目标检测框架。先验框尺寸利用 K-MEANS算法聚类得到，K-MEANS算法是一种无监督的聚类算法，实现较为简单，聚类效果良好。对于S200所建立的数据集，按照数据集中每张图片货车及其轮轴的目标框大小，将数据集划分为K个簇。使簇内的货车及其轮轴目标框大小尽量相似，而让簇间货车及其轮轴目标框大小尽量的大。假设簇划分为(C₁,C₂,...C_k)，则目标函数为最小化平方误差E，其数学表达式如公式(1)所示。

其中x为簇内目标框大小，μ_s是簇C_s的先验框大小平均值，也称为质心，表达式如公式(2)所示。

在通常的K-MEANS算法中，使用欧氏距离来完成聚类，但是先验框大小不可这样确定，因为大框的欧氏距离更大，故应使用处理后的交并比(IOU)作为欧氏距离，其表达式为公式(3)所示。

x-u_s＝1-IOU(s,center) (3)

其中x-u_s表示欧式距离，s表示簇数，center为聚类中心点， K-MEANS算法的核心思想为样本点到聚类中心的距离越小越好，但 IOU值则是越大越好，所以使用1-IOU，这样就保证距离越小，IOU 值越大，能够进行聚类，故不能直接使用IOU(s,center)，应当为其取负号后再加1。聚类效果如图2所示。

S302：针对数据集分辨率调整darknet-53目标检测框架输入大小，目标框架检测大小选用608×608如图3所示。

S303：引入通道间注意力模块优化网络结构。针对特征提取网络的特点，像车轴这种小目标位置信息在高层特征图上较为模糊，在融合操作前应着重考虑从低层特征图中获取位置信息，故提出在残差模块中加入通道间注意力模块(SE)，提升包含小目标通道的表达能力。 SE模块通过对通道间的依赖关系进行建模，可以对通道间的特征进行分析。它首先对拍摄到的图片进行卷积运算得到W×H×C的特征图，然后对于特征图进行全局压缩，将其压缩为1×1×C的向量，然后通过一个全连接层，乘以通道间的权重系数，最后通过解压缩并与原特征图相乘，作为下一级的输入。其中通道压缩公式为公式(4) 所示：

其中Z_c为压缩后的特征向量，F_sq为压缩操作，就是在得到u_c(多个特征图)后采用全局平均池化操作对其每个特征图进行压缩，使其C个特征图最后变成1×1×C的实数数列。u_c(多个特征图)可以被表示为局部描述特征的集合，这些描述特征的统计信息对于整个图像来说是有表现能力的。本项目选择较为基础的全局平均池化操作，从而使其具有全局的感受野，使得网络低层也能利用全局信息。

通道解压缩公式为公式(5)所示：

s＝F_ex(z,W_q) (5)

其中s为解压缩后带通道间权重的特征图，z为压缩后的特征向量，W_q为通道间权重，通过解压缩操作对通道依赖性分析建模，最后将通道间关系权重与原有特征图相乘，使其还原为W×C×H的特征图，此时其包含了通道间的表达权重，使计算资源能够分配在特征表达较强的通道。网络结构如图4所示，主干网络不变的情况下，瓶颈层加入SE模块，以提升通道间信息的表达能力。

S304：搭建深度学习框架，使用GPU加速训练。

模型损失函数如公式(6)所示：

LOSS为货车真实目标框与预测框的差值，其中心坐标误差为

当第i个网格的第j个先验框负责预测某一个真实目标时，用

表示，那么这个预测框

就应该去和真实目标的box(x_i，y_i)去比较，计算得到中心坐标误差。

其宽高坐标误差为

当第 i个网格的第j个预测框负责某一个真实目标时，那么这个预测框

就应该去和真实目标框

去比较，计算得到宽高的误差。

其置信度误差为

损失函数分为两部分：有物体部分

和没有物体部分

其中没有物体损失部分还增加了权重系数-λ_noobj，

表示第i个栅格的第j个预测框的置信度，

表示真实值，

的取值是由栅格的预测框有没有负责预测某个对象决定的。如果有负责预测对象，那么

否则

分类误差为

当第i个网格的第j个预测框负责预测某一个真实目标时，那么计算这个预测框分类损失函数，

表示分类准确率，

表示真实值。

训练结果如图5、图6所示。经测试，货车及其轴数实时检测平均准确率达到94.4％。当Loss值小于5.6％时停止训练。

S400：货车及其轮轴隶属关系判定。当一帧图像中仅含有单辆货车时，处理方法较为简单，即对轮轴进行计数，而实际情况往往较为复杂，故提出一种基于目标位置信息挖掘的货车及其轮轴隶属关系判定方法。

S401:目标识别网络对每货车及其轮轴的预测结果中，坐标x,y代表了预测的预测框的中心与栅格边界的相对值。坐标w,h代表了预测框的宽、高相对于整幅图像宽,高的比例。计算公式如式(7)所示。

式中，b_x，b_y，b_w，b_h表示预测框在特征图中的中心点坐标和长宽；t_x，t_y，t_w，t_h表示偏移量；c_x，c_y表示为格子的左上点坐标；p_w， p_h表示为先验框对特征图的宽高比例关系，预测框的实际值则需要将 b_x，b_y，b_w，b_h除以对应的特征图的宽和高，由此可获得轮轴中心点与货车预测框的位置信息。

S402：利用轮轴中心点与货车预测框的位置信息对货车与轮轴隶属关系进行判定。首先提取轮轴预测框的中心点位置信息，即轮轴预测框中的b_x，b_y。其次提取货车预测框中边缘点信息，即

通过计算可以得出轮轴中心点的位置坐标与货车预测框位置信息的相对关系。分别对货车进行编号，作为键值对中的键，若轮轴中心点在货车预测框内，则增加该辆货车的轮轴数，作为键值对中的值。实验效果如图7所示。

Claims (7)

1.一种公路货车及其轮轴识别方法与系统，其特征在于：包括以下步骤，

S100～从电子监控设备中提取货车侧向监控图片；

S200～对监控图片中的车辆按照货车、货车轮两类进行标注，形成数据集；

S300～将步骤S200中通过标注得到的所述数据集输入到优化后的darknet-53目标检测框架中，训练得到一个目标检测模型；所述目标检测模型用于从监控图片中检测出货车及其轮轴；

S400～货车及其轮轴隶属关系判定。

2.根据权利要求1所述的公路货车及其轮轴识别方法与系统，其特征在于：所述的步骤S300采取以下方法，

S301～确定先验框的大小，其中先验框为公路货车或其轮轴边框的纵横比和边框的面积，

S302～针对数据集的图像分辨率调整darknet-53目标检测框架输入大小；

S303～引入通道间注意力模块优化网络结构；

S304～搭建深度学习框架，使用GPU加速训练。

3.根据权利要求2所述的公路货车及其轮轴识别方法与系统，其特征在于：所述的步骤S301采取以下方法，对于S200所建立的数据集，按照数据集中每张图片货车及其轮轴的目标框大小，将数据集划分为K个簇，簇划分为(C₁,C₂,...C_k)，则目标函数为最小化平方误差E，其数学表达式如公式1所示，

其中x为簇内目标框大小，μ_s是簇C_s的先验框大小平均值，也称为质心，μ_s的表达式如公式2所示：

先验框大小使用处理后的交并比作为欧氏距离完成聚类，表达式为公式3所示：

x-u_s＝1-IOU(s,center) (3)

其中x-u_s表示欧式距离，s表示簇数，center为聚类中心点。

4.根据权利要求2所述的公路货车及其轮轴识别方法与系统，其特征在于：所述的步骤S302中，目标框架检测大小为608×608。

5.根据权利要求2所述的公路货车及其轮轴识别方法与系统，其特征在于：所述的步骤S303采取以下方法，首先对拍摄到的图片进行卷积运算得到W×H×C的特征图，然后对于特征图进行全局压缩，将其压缩为1×1×C的向量，然后通过一个全连接层，乘以通道间的权重系数，最后通过解压缩并与原特征图相乘，作为下一级的输入。其中压缩公式为公式4所示：

其中Z_c为压缩后的特征向量，F_sq为压缩操作，就是在得到u_c，u_c为多个特征图，后采用全局平均池化操作对其每个特征图进行压缩，使其C个特征图最后变成1×1×C的实数数列；

解压缩公式为公式5所示：

s＝F_ex(z,W_q) (5)

其中s为解压缩后带通道间权重的特征图，z为压缩后的特征向量，W_q为通道间权重，通过解压缩操作对通道依赖性分析建模，最后将通道间关系权重与原有特征图相乘，使其还原为W×C×H的特征图。

6.根据权利要求2所述的公路货车及其轮轴识别方法与系统，其特征在于：所述的步骤S304采取以下方法，

模型损失函数如公式6所示：

LOSS为货车真实目标框与预测框的差值，当Loss值小于5.6％时停止训练；

其中心坐标误差为

当第i个网格的第j个先验框负责预测某一个真实目标时，用

表示，这个预测框

就应该去和真实目标的box(x_i，y_i)去比较，计算得到中心坐标误差；

为宽高坐标误差，当第i个网格的第j个预测框负责某一个真实目标时，这个预测框

就应该去和真实目标框

去比较，计算得到宽高的误差；

为置信度误差，

损失函数分为两部分：

有物体部分

没有物体部分

其中没有物体损失部分还增加了权重系数-λ_noobj，

表示第i个栅格的第j个预测框的置信度，

表示真实值，

的取值是由栅格的预测框有没有负责预测某个对象决定的，如果有负责预测对象，那么

否则

为分类误差，

当第i个网格的第j个预测框负责预测某一个真实目标时，那么计算这个预测框分类损失函数，

表示分类准确率，P_i ^j表示真实值。

7.根据权利要求2所述的公路货车及其轮轴识别方法与系统，其特征在于：所述的步骤S400采取以下方法，

S401～目标识别网络对每货车及其轮轴的预测结果中，坐标x，y代表了预测的预测框的中心与栅格边界的相对值，坐标w，h代表了预测框的宽、高相对于整幅图像宽，高的比例，计算公式如式7所示；

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

式中，b_x，b_y，b_w，b_h表示预测框在特征图中的中心点坐标和长宽；t_x，t_y，t_w，t_h表示偏移量；c_x，c_y表示为格子的左上点坐标；p_w，p_h表示为先验框对特征图的宽高比例关系，预测框的实际值则需要将b_x，b_y，b_w，b_h除以对应的特征图的宽和高，由此可获得轮轴中心点与货车预测框的位置信息；

S402～首先提取轮轴预测框的中心点位置信息，即轮轴预测框中的b_x，b_y；其次提取货车预测框中边缘点信息，即

通过计算可以得出轮轴中心点的位置坐标与货车预测框位置信息的相对关系；分别对货车进行编号，作为键值对中的键，若轮轴中心点在货车预测框内，则增加该辆货车的轮轴数，作为键值对中的值。

Images