CN111401128A - 一种提高车辆识别率的方法 - Google Patents

Abstract

本发明一种提高车辆识别率的方法，本发明通过使用机器视觉技术应用于智能交通系统的车辆识别等领域。目前车辆识别领域针对应用车载移动平台采集图像的应用比较少，不能满足移动违章取证的要求。本发明的方法首先通过车载移动平台采集道路汽车图像，利用yolov3进行初步汽车目标检测与识别，然后根据检测框与预测值综合判定是否送入分类器在预测。再根据分类器预测结果决定该检测框是否为错误检测并删除。该方法适用于车载移动平台的车辆识别领域，并在实际应用场景中取得较好的效果。

Description

一种提高车辆识别率的方法

技术领域

本发明属于机器视觉或者智能交通领域，具体涉及一种提高车辆类型识别率方法。

背景技术

目前，机器视觉技术广泛用于智能交通系统，如车牌识别、车流量检测、车辆违章检测、车辆识别等领域。

其中车辆识别是指应用机器视觉技术将摄像机采集到的数字图像或者视频作为图像输入，利用深度学习中的目标检测框架识别出图像中的车辆类型，并作为车辆违章的判断依据之一。

但是在智能交通领域，由于有些图像采集是通过利用车载移动平台，导致图像中车辆重叠、遮挡比较严重。并且图像中相同类型车辆近大远小的现象比较明显，直接导致使用传统的目标检测方法在使用中错误率较高。

发明内容

本发明的目的为尽可能降低汽车类型识别错误率，提出一种通过将检测后的结果再通过判定条件送入分类器进行再次检测。将得到的综合结果作为车辆类型识别的最终结果。本发明包括其他应用背景下的车辆类型检测，如使用交通灯位置的摄像头图像采集的汽车图像，对于移动车载平台采集的道路汽车图像再进行处理，输出最终汽车检测结果。

本技术所提整体发明如下：

步骤(1)汽车图像采集

通过使用车载数字相机的移动平台在路边或者路口对有违章现象的区域采集汽车图像 f(x,y)，并将采集的图像保存在移动平台；

步骤(2)图像预处理

将采集到的彩色图像进行预处理，分别做高斯滤波处理，去除图像中的噪点，其中公式如下：

其中w表示高斯算子，a,b表示算子大小，f表示R、G和B三通道图像，s,t代表卷积尺度，δ为标准差；

步骤(3)将采集到的数字图像使用yolov3深度学习框架做目标检测，并得到初步的检测框和预测值：

(a)将预处理后的图像进行尺寸归一化，采用最近邻方式转换成416*416大小的图像；其处理公式如下：

f1_i,j(x,y)＝f_i，j(x,y)

i＝min(round(i*width_default/width),width_default-1)

j＝min(round(j*height_default/height),height_default-1)

其中f1_i ^, _j(x,y)为转换后的图像像素信息，f_i,j(x,y)为原始图像像素信息，width_default，height_default为原始图像宽度，高度值，width，height为尺寸变换后的图像宽度，高度值；

(b)将归一化的图像尺寸送入yolov3卷积网络，进行若干卷积和池化操作；其卷积和池化操作的公式如下：

其中

为卷积符号，Y为卷积输出，a_3×3为卷积核大小，Y1为最大池化层输出，h,w为池化框高度、宽度信息；

(c)将卷积池化后的特征框进行logistic回归运算后得到初步的预测框和检测框，其loss表达式如下：

Loss＝Loss_lxy+Loss_lwh+Loss_lcls+Loss_lconf

其中Loss_lxy表示位置loss，Loss_lwh表示尺寸loss，Loss_lcls表示类别loss，Loss_lconf表示位置loss，

步骤(4)判断是否进入分类器

在得到yolov3初步检测结果后，需要对检测框的面积和阈值大小判断检测框是否需要输入分类器重新预测，其判断公式如下：

其中Y_i为图像中第i个检测目标的判断结果，为1说明该检测结果要进入分类器重新检测，为0说明该检测结果为最后输出结果；yo_area为预测框面积，yo_pre为 yolov3检测置信度；area_th为预测框面积阈值，pre_th为阈值；

若Y_i＝1，说明该图像中第i个汽车类型检测框要进入分类器进行再识别，否则直接输出检测结果；

步骤(5)判断结果认定

根据分类器结果和yolov3预测结果共同判断是否去除该检测框，并刷新系统检测结果和进行下一张图片检测，其判断公式如下：

其中Y表示最终检测结果，yo_cls表示yolov3检测类别，cls_pre表示分类器分类置信度，cls_cls表示分类器类别；0表示删除该检测框；

根据yolov3目标检测器和分类器共同对图像中的汽车类型进行分类，优化整个系统输出。

本发明所基于的系统可以分为三个部分，图像采集模块，图像目标检测模块以及图像分类模块。图像采集模块主要采集高质量交通图像，其中包括移动平台，500 万像素、23.27fps的MV-CA050-10GM/GC工业相机采集图像；图像处理模块通过使用 yolov3对图像进行车辆目标进行检测并识别车型，图像分类模块为对yolov3的检测结果进行再分类，对yolov3的检测结果进行优化。

本发明相对于现有技术具有如下优点及效果：

(1)本发明所提出的yolov3目标检测+分类器方法：基于目标检测+分类器的检测方法，相比较现有的单纯使用yolov3目标检测方法只有一次检测结果，对于一些识别率不高的区域无法进行再识别。而在目标检测后面添加分类器的方法在识别的准确率和精度有所改善，特别是对图像中较大目标区域的处理效果较为理想，得到实际目标检测结果信息准确。

(2)相比较于传统的目标检测方法，本发明可以在利用现有的目标检测框架的条件下通过使用分类器对检测结果进行再一次修正。特别是对于单纯用目标检测框架识别的目标框置信度不高的检测框有很好的效果。应用在工业检测上，可以在一定程度上的降低识别检测误差，提高系统对道路车辆车型的识别正确率。

附图说明

以下附图是对本发明实施方案关键点进行描述，其中：

图1是本发明实例项目整体系统示意图；

图2是本发明实例利用分类器再预测流程图；

图3是本发明实例最终检测结果判定流程图。

具体实施方式

下面结合本发明基于机器视觉的交通道路车辆类型检测的系统和附图进行详细说明，以便于对本发明实施实例中的技术方案进行清楚完整地描述。

本发明实例中提出了一种基于机器视觉的残留纱线检测方法，如图1所示，在具体方案中可以分为图像采集与预处理、yolov3初步检测目标和分类器再识别三大步骤。首先需要利用移动平台和工业相机从交通道路场景中拍摄图像，并对采集到的图像进行高斯滤波等预处理。再把经过预处理的图像送入yolov3目标检测器并得到初步的检测框和置信度，然后通过判断检测框面积和置信度阈值大小决定是否送入分类器进行再次预测，得到预测分类和置信度。最后结合yolov3检测结果和分类器运行结果联合输出目标检测结果。

本实例中提出的一种提高车辆识别率方法的具体步骤为：

步骤(1)：汽车图像采集

通过使用移动平台和500万像素、23.27fps的MV-CA050-10GM/GC工业相机在路边或者路口对有违章现象的区域采集汽车图像f(x,y)，并将采集的图像保存在移动平台终端。

步骤(2)：图像预处理

将采集到的彩色图像进行预处理，分别做高斯滤波处理，去除图像中的噪点，其中公式如下：

其中w表示高斯算子，a,b表示算子大小，f表示R、G和B三通道图像，s,t代表卷积尺度，δ为标准差；

步骤(3)：将采集到的数字图像使用yolov3深度学习框架做目标检测，并得到初步的检测框和预测值：

(b)将预处理后的图像进行尺寸归一化，采用最近邻方式转换成416*416大小的图像。其处理公式如下：

f1_i,j(x,y)＝f_i，j(x,y)

i＝min(round(i*width_default/width),width_default-1)

j＝min(round(j*height_default/height),height_default-1)

其中f1_i,j(x,y)为转换后的图像像素信息，f_i,j(x,y)为原始图像像素信息，width_default，height_default为原始图像宽度，高度值，width，height为尺寸变换后的图像宽度，高度值；

(b)将归一化的图像尺寸送入yolov3卷积网络，进行若干卷积和池化操作。其卷积和池化操作的公式如下：

其中

为卷积符号，Y为卷积输出，a_3×3为卷积核大小，Y1为最大池化层输出，h,w为池化框高度、宽度信息。

(c)将卷积池化后的特征框进行logistic回归运算后得到初步的预测框和检测框，其 loss表达式如下：

Loss＝Loss_lxy+Loss_lwh+Loss_lcls+Loss_lconf

其中Loss_lxy表示位置loss，Loss_lwh表示尺寸loss，Loss_lcls表示类别loss，Loss_lconf表示位置loss，

步骤(4)：判断是否进入分类器

在得到yolov3初步检测结果后，需要对检测框的面积和阈值大小判断检测框是否需要输入分类器重新预测，如图2所示，其判断公式如下：

其中Y_i为图像中第i个检测目标的判断结果，为1说明该检测结果要进入分类器

重新检测，为0说明该检测结果为最后输出结果。yo_area为预测框面积，yo_pre为yolov3预测值。area_th为预测框面积阈值，pre_th为预测值阈值。

若Y_i＝1，说明该图像中第i个汽车类型检测框要进入分类器进行再识别，否则直接输出检测结果。

步骤(5)：判断结果认定

根据分类器结果和yolov3预测结果共同判断是否去除该检测框，如图3所示，并刷新系统检测结果和进行下一张图片检测，其判断公式如下：

其中Y表示最终检测结果，yo_pre表示yolov3检测置信度结果，yo_area表示yolov3检测框，yo_cls表示yolov3检测类别，cls_pre表示分类器分类置信度， cls_cls表示分类器类别。0表示删除该检测框。

根据yolov3目标检测器和分类器共同对图像中的汽车类型进行分类，优化整个系统输出。

本发明所提出的系统的工作流程：

移动违章识别系统平时在公共道路巡逻行走，当工作人员发现有车辆违章的现象时，则启动摄相机拍照系统采集违章证据。系统存储照片后送入yolov3目标检测网络进行车辆类型识别。并且对yolov3系统识别准确度不是很高的区域进行分类器再识别。并综合两个深度学习框架的识别结果作为该区域的最终识别检测结果。

Claims (1)

1.一种提高车辆识别率方法，其特征在于，该方法包括以下步骤：

步骤(1)汽车图像采集

通过使用车载数字相机的移动平台在路边或者路口对有违章现象的区域采集汽车图像f(x,y)，并将采集的图像保存在移动平台；

步骤(2)：图像预处理

将采集到的彩色图像进行预处理，分别做高斯滤波处理，去除图像中的噪点，其中公式如下：

其中w表示高斯算子，a,b表示算子大小，f表示R、G和B三通道图像，s,t代表卷积尺度，δ为标准差；

步骤(3)将采集到的数字图像使用yolov3深度学习框架做目标检测，并得到初步的检测框和预测值：

(a)将预处理后的图像进行尺寸归一化，采用最近邻方式转换成416*416大小的图像；其处理公式如下：

f1_i,j(x,y)＝f_i，j(x,y)

i＝min(round(i*width_default/width),width_default-1)

j＝min(round(j*height_default/height),height_default-1)

其中f1_i,j(x,y)为转换后的图像像素信息，f_i,j(x,y)为原始图像像素信息，width_default，height_default为原始图像宽度，高度值，width，height为尺寸变换后的图像宽度，高度值；

(b)将归一化的图像尺寸送入yolov3卷积网络，进行若干卷积和池化操作；其卷积和池化操作的公式如下：

其中

为卷积符号，Y为卷积输出，a_3×3为卷积核大小，Y1为最大池化层输出，h,w为池化框高度、宽度信息；

(c)将卷积池化后的特征框进行logistic回归运算后得到初步的预测框和检测框，其loss表达式如下：

Loss＝Loss_lxy+Loss_lwh+Loss_lcls+Loss_lconf

其中Loss_lxy表示位置loss，Loss_lwh表示尺寸loss，Loss_lcls表示类别loss，Loss_lconf表示位置loss，

步骤(4)判断是否进入分类器

在得到yolov3初步检测结果后，需要对检测框的面积和阈值大小判断检测框是否需要输入分类器重新预测，其判断公式如下：

其中Y_i为图像中第i个检测目标的判断结果，为1说明该检测结果要进入分类器重新检测，为0说明该检测结果为最后输出结果；yo_area为预测框面积，yo_pre为yolov3检测置信度；area_th为预测框面积阈值，pre_th为阈值；

若Y_i＝1，说明该图像中第i个汽车类型检测框要进入分类器进行再识别，否则直接输出检测结果；

步骤(5)判断结果认定

根据分类器结果和yolov3预测结果共同判断是否去除该检测框，并刷新系统检测结果和进行下一张图片检测，其判断公式如下：

其中Y表示最终检测结果，yo_cls表示yolov3检测类别，cls_pre表示分类器分类置信度，cls_cls表示分类器类别；0表示删除该检测框；

根据yolov3目标检测器和分类器共同对图像中的汽车类型进行分类，优化整个系统输出。

Images