CN106971187B - 一种基于车辆特征点的车辆部件检测方法和系统 - Google Patents

Abstract

本发明公开了一种基于车辆特征点的车辆部件检测方法和系统，其中方法的实现包括：采集车辆图像，提取车辆部件的车辆特征点和车辆部件的候选区域；当候选区域的中心与车辆特征点的距离小于阈值得到车辆部件的感兴趣区域，在感兴趣区域内提取车辆部件的目标区域。本发明基于车辆部件的车辆特征点挑选感兴趣区域，可以降低感兴趣区域冗余并提高感兴趣区域质量，进而得到车辆部件的目标区域，提高了最终的车辆部件检测性能和准确率，并且在光照变化和噪声污染下的准确性和稳定性也更好。

Description

一种基于车辆特征点的车辆部件检测方法和系统

技术领域

本发明属于目标检测领域，更具体地，涉及一种基于车辆特征点的车辆部件检测方法和系统。

背景技术

目标检测是计算机视觉领域的一个重要研究方向，由此延伸出的车辆部件检测具有重要的实际应用价值。车辆部件检测作为车辆搜索系统的重要组成部分，逐渐成为研究热点。传统的检测方法主要以图像特征(如HOG特征、LBP特征以及SIFT特征等)提取为主的，分类则采用支持向量机SVM和Adaboost算法等，这些方法由于提取的特征比较片面、没有全局性以及无法自适应的提取图像的典型特征，故准确率一般不太高。

传统目标检测的方法一般分为区域选择、特征提取和分类器分类这三个阶段。区域选择是为了对目标的位置进行定位，由于目标可能出现在图像的任何位置，而且目标的大小、长宽比例也不确定，所以最初采用滑动窗口的策略对整幅图像进行遍历，而且需要设置不同的尺度和不同的长宽比，这种穷举的策略虽然包含了目标所有可能出现的位置，但是缺点也是显而易见的：时间复杂度太高，产生冗余窗口太多，这也严重影响后续特征提取和分类的速度和性能，而实际上由于受到时间复杂度的问题，滑动窗口的长宽比一般都是固定的设置几个，所以对于长宽比浮动较大的多类别目标检测，即便是滑动窗口遍历也不能得到很好的区域。特征提取是是为了提取出能够唯一描述区域的特征，而由于目标的形态多样性、光照变化多样性和背景多样性等因素使得设计一个鲁棒的特征并不是那么容易，这个阶段常用的特征描述子有SIFT特征和HOG特征等，由于这都是人工选择的特征，因此不能实现对目标更高层和更描述的描述，严重影响了后续分类的准确性。分类器分类是为了根据区域的特征进行分类，主要用到支持向量机SVM和Adaboost分类器等，但SVM算法由于是借助二次规划来求解支持向量的因此对大规模训练样本难以实施并且对非线性问题没有通用解决方案，AdaBoost算法训练耗时、拓展困难并且存在过拟合和鲁棒性不强等问题。总的来说，传统目标检测存在的两个主要问题：一个是基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余；二是手工设计的特征对于多样性的变化并没有很好的鲁棒性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于车辆特征点的车辆部件检测方法和系统，其目的在于基于车辆特征点挑选感兴趣区域进而得到车辆部件的目标区域，提高了最终的车辆部件检测性能和准确率。

为实现上述目的，按照本发明的一个方面，提供了一种基于车辆特征点的车辆部件检测方法，包括：

(1)采集车辆图像，提取车辆部件的车辆特征点和车辆部件的候选区域；

(2)当候选区域的中心与车辆特征点的距离小于阈值得到车辆部件的感兴趣区域，基于感兴趣区域提取车辆部件的目标区域。

进一步的，车辆特征点包括：左后视镜特征点、右后视镜特征点、左车灯特征点、右车灯特征点和车标特征点。

进一步的，步骤(1)的具体实现方式为：

采集车辆图像，将车辆图像输入特征点检测器得到车辆部件的车辆特征点，将车辆图像输入候选区域检测器得到车辆部件的候选区域；所述特征点检测器为三级卷积神经网络、基于点分布模型、级联线性回归模型和自编码网络中的任意一种，所述候选区域检测器为区域建议网络、选择性搜索器和边缘框模型中的任意一种。

进一步的，特征点检测器为三级卷积神经网络。

进一步的，三级卷积神经网络包括第一级网络、第二级网络和第三级网络，其中第一级网络用于检测得到车辆部件的车辆特征点；第二级网络和第三级网络用于对车辆部件的车辆特征点进行精调，最后得到精调后的车辆部件的车辆特征点。

进一步的，候选区域检测器为区域建议网络。

进一步的，步骤(2)的具体实现方式为：

(2-1)当候选区域的中心与车辆特征点的距离d小于阈值得到车辆部件的感兴趣区域，将感兴趣区域输入快速目标检测卷积神经网络，得到感兴趣区域在快速目标检测卷积神经网络的原始得分s；

(2-2)利用得分函数修正系数f建立得分函数p^*＝argmaX(f*s)，其中，p^*表示感兴趣区域在快速目标检测卷积神经网络的得分，e为常数，得分最高的感兴趣区域为车辆部件最终检测到的目标区域。

按照本发明的另一方面，提供了一种基于车辆特征点的车辆部件检测系统，包括：

第一模块，用于采集车辆图像，提取车辆部件的车辆特征点和车辆部件的候选区域；

第二模块，用于当候选区域的中心与车辆特征点的距离小于阈值得到车辆部件的感兴趣区域，基于感兴趣区域提取车辆部件的目标区域。

进一步的，第一模块的具体实现方式为：

采集车辆图像，将车辆图像输入特征点检测器得到车辆部件的车辆特征点，将车辆图像输入候选区域检测器得到车辆部件的候选区域；所述特征点检测器为三级卷积神经网络、基于点分布模型、级联线性回归模型和自编码网络中的任意一种，所述候选区域检测器为区域建议网络、选择性搜索器和边缘框模型中的任意一种。

进一步的，第二模块包括：

感兴趣区域子模块，用于当候选区域的中心与车辆特征点的距离d小于阈值得到感兴趣区域，将感兴趣区域输入快速目标检测卷积神经网络，得到感兴趣区域在快速目标检测卷积神经网络的原始得分s；

目标区域子模块，用于利用得分函数修正系数f建立得分函数p^*＝arg max(f*s)，其中，p^*表示感兴趣区域在快速目标检测卷积神经网络的得分，e为常数，得分最高的感兴趣区域为车辆部件最终检测到的目标区域。

进一步的，车辆特征点包括：左后视镜特征点、右后视镜特征点、左车灯特征点、右车灯特征点和车标特征点。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，由于基于车辆特征点挑选感兴趣区域，可以降低感兴趣区域冗余并提高感兴趣区域质量，该方法提升了最终的检测性能，并且在光照变化和噪声污染下的准确性和稳定性也更好。

附图说明

图1是一种基于车辆特征点的车辆部件检测方法的流程图；

图2是利用传统方法得到的目标区域的示意图；

图3是利用本发明方法得到的目标区域的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种基于车辆特征点的车辆部件检测方法，包括：

(1)采集车辆图像，将车辆图像输入特征点检测器得到车辆部件的车辆特征点，将车辆图像输入候选区域检测器得到车辆部件的候选区域；

(2)当候选区域的中心与车辆特征点的距离小于阈值得到车辆部件的感兴趣区域，将感兴趣区域输入车辆部件检测器，得到车辆部件的目标区域。

进一步的，车辆特征点包括：左后视镜特征点、右后视镜特征点、左车灯特征点、右车灯特征点和车标特征点。

进一步的，特征点检测器为三级卷积神经网络、基于点分布模型、级联线性回归模型和自编码网络中的任意一种。

优选的，特征点检测器为三级卷积神经网络，考虑到车辆一些部件的位置关系相对固定，同人脸特征点存在共性(车辆的左后视镜、右后视镜、左车灯、右车灯和车标可分别看作与人脸的左眼中心(LE)、右眼中心(RE)、左嘴角(LM)、右嘴角(RM)和鼻子(N)相对应)，本发明中将用于人脸特征点检测的三级卷积神经网络推广至车辆特征点检测。

该三级卷积神经网络的第一级网络在较大的车脸区域同时检测左后视镜、右后视镜、左车灯、右车灯和车标五个特征点；第二和第三级网络分别在左后视镜区域对左后视镜特征点进行精调，在右后视镜区域对右后视镜特征点进行精调，在左车灯区域对左车灯特征点进行精调，在右车灯区域对右车灯特征点进行精调，在车标区域对车标特征点进行精调；最后得到5个特征点精调后的坐标作为最终输出。为了更好的提高检测精度和可靠性，三级卷积神经网络的每一级网络都有多个子网络共同地预测每一个特征点，这些子网络的输入区域不同。

本实施例的车辆特征点检测器采用三级卷积神经网络，该网络利用了整个车脸的上下文信息，且特征点的几何学约束已经被暗含了，更加利于特征点的准确定位。

进一步的，候选区域检测器为区域建议网络、选择性搜索器和边缘框模型中的任意一种。

优选的，候选区域检测器为区域建议网络。

进一步的，车辆部件检测器为快速目标检测卷积神经网络、BP神经网络、卷积神经网络和快速卷积神经网络中的任意一种。

优选的，车辆部件检测器为快速目标检测卷积神经网Faster R-CNN，Faster R-CNN将区域建议网络(RPN)和区域检测网络Fast R-CNN融合进了一个网络模型，通过交替训练使得RPN和Fast R-CNN可以共享卷积参数。

进一步的，步骤(2)的具体实施方式为：

(2-1)当候选区域的中心与车辆特征点的距离d小于阈值得到感兴趣区域，将感兴趣区域输入快速目标检测卷积神经网络，得到感兴趣区域在快速目标检测卷积神经网络的原始得分s；

(2-2)利用得分函数修正系数f建立得分函数p^*＝argmax(f*s)，其中，p^*表示感兴趣区域在快速目标检测卷积神经网络的得分，e为常数，得分最高的感兴趣区域为车辆部件最终检测到的目标区域。

优选的，感兴趣区域还包括利用非极大值抑制筛选出的候选区域。

感兴趣区域离该部件的中心越近，则得分越高，得分最高的感兴趣区域即为每个车辆部件最终检测到的目标区域。通过此优化可以避免虚检并且能提高检测精度。

按照本发明的另一个方面，提供了一种基于车辆特征点的车辆部件检测系统，包括：

第一模块，用于采集车辆图像，将车辆图像输入特征点检测器得到车辆部件的车辆特征点，将车辆图像输入候选区域检测器得到车辆部件的候选区域；

第二模块，用于当候选区域的中心与车辆特征点的距离小于阈值得到车辆部件的感兴趣区域，将感兴趣区域输入车辆部件检测器，得到车辆部件的目标区域。

进一步的，车辆特征点包括：左后视镜特征点、右后视镜特征点、左车灯特征点、右车灯特征点和车标特征点。

进一步的，特征点检测器为三级卷积神经网络、基于点分布模型、级联线性回归模型和自编码网络中的任意一种。

优选的，特征点检测器为三级卷积神经网络，该三级卷积神经网络的的第一级网络在较大的车脸区域同时检测左后视镜、右后视镜、左车灯、右车灯和车标五个特征点；第二和第三级网络分别在左后视镜区域对左后视镜特征点进行精调，在右后视镜区域对右后视镜特征点进行精调，在左车灯区域对左车灯特征点进行精调，在右车灯区域对右车灯特征点进行精调，在车标区域对车标特征点进行精调；最后得到5个特征点精调后的坐标作为最终输出。为了更好的提高检测精度和可靠性，三级卷积神经网络的每一级网络都有多个子网络共同地预测每一个特征点，这些子网络的输入区域不同。

进一步的，候选区域检测器为区域建议网络、选择性搜索器和边缘框模型中的任意一种。

优选的，候选区域检测器为区域建议网络。

进一步的，车辆部件检测器为快速目标检测卷积神经网络、BP神经网络、卷积神经网络和快速卷积神经网络中的任意一种。

优选的，车辆部件检测器为快速目标检测卷积神经网Faster R-CNN，Faster R-CNN将区域建议网络(RPN)和区域检测网络Fast R-CNN融合进了一个网络模型，通过交替训练使得RPN和Fast R-CNN可以共享卷积参数。

进一步的，第二模块还包括：

感兴趣区域子模块，用于当候选区域的中心与车辆特征点的距离d小于阈值得到感兴趣区域，将感兴趣区域输入快速目标检测卷积神经网络，得到感兴趣区域在快速目标检测卷积神经网络的原始得分s；

目标区域子模块，用于利用得分函数修正系数f建立得分函数p^*＝argmax(f*s)，其中，p^*表示感兴趣区域在快速目标检测卷积神经网络的得分，e为常数，得分最高的感兴趣区域为车辆部件最终检测到的目标区域。

优选的，感兴趣区域还包括利用非极大值抑制筛选出的车辆部件的候选区域。

传统方法利用非极大值抑制筛选出的候选区域作为感兴趣区域，导致选取阈值的大小对感兴趣区域质量的影响很大，若选取得不合理，会严重影响最终的车辆部件检测结果，如图2所示，为利用传统方法得到的目标区域的示意图，当需要检测的车辆部件为车标和车牌时，将车辆图像输入候选区域检测器得到了4个候选区域，对这4个候选区域利用非极大值抑制筛选出的候选区域作为感兴趣区域，在使用非极大值抑制筛选时，当选取的阈值偏大，会检测得到3个目标区域，而实际中只有2个目标区域，当选取的阈值偏小，会检测得到1个目标区域，而实际中有2个目标区域，使用非极大值抑制筛选出的候选区域作为感兴趣区域进行后续车辆部件目标区域检测时，只有在阈值选取合适时，才能检测得到正确的车辆部件目标区域。

所以传统方法利用非极大值抑制筛选出的候选区域作为感兴趣区域，导致车辆部件检测结果准确性较低。

而本发明实施例中，当候选区域的中心与车辆特征点的距离d小于阈值得到感兴趣区域，将感兴趣区域输入快速目标检测卷积神经网络，得到感兴趣区域在快速目标检测卷积神经网络的原始得分s；利用得分函数修正系数f建立得分函数p^*＝argmax(f*s)，其中，p^*表示感兴趣区域在快速目标检测卷积神经网络的得分，e为常数，得分最高的感兴趣区域为车辆部件最终检测到的目标区域。

如图3所示，为利用本发明实施例方法得到的目标区域的示意图，可以对于同一张车辆图像，当需要检测的车辆部件为车标和车牌时，将车辆图像输入候选区域检测器得到了4个候选区域，对这4个候选区域利用本发明实施例方法基于车辆特征点筛选出的候选区域作为感兴趣区域，即使在阈值选取较小时，也可以准确的检测得到车辆部件目标区域。

所以，基于车辆特征点挑选感兴趣区域，可以降低感兴趣区域冗余并提高感兴趣区域质量，将感兴趣区域输入车辆部件检测器，得到车辆部件的目标区域，提高了最终的车辆部件检测性能和准确率，并且在光照变化和噪声污染下的准确性和稳定性也更好。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于车辆特征点的车辆部件检测方法，其特征在于，包括：

(1)采集车辆图像，提取车辆部件的车辆特征点和车辆部件的候选区域；

(2)当候选区域的中心与车辆特征点的距离小于阈值得到车辆部件的感兴趣区域，在感兴趣区域内提取车辆部件的目标区域；

所述步骤(2)的具体实现方式为：

(2-1)当候选区域的中心与车辆特征点的距离d小于阈值得到车辆部件的感兴趣区域，将感兴趣区域输入快速目标检测卷积神经网络，得到感兴趣区域在快速目标检测卷积神经网络的原始得分s；

(2-2)利用得分函数修正系数f建立得分函数p^*＝argmax(f*s)，其中，p^*表示感兴趣区域在快速目标检测卷积神经网络的得分，e为常数，得分最高的感兴趣区域为车辆部件最终检测到的目标区域。

2.如权利要求1所述的一种基于车辆特征点的车辆部件检测方法，其特征在于，所述车辆特征点包括：左后视镜特征点、右后视镜特征点、左车灯特征点、右车灯特征点和车标特征点。

3.如权利要求1所述的一种基于车辆特征点的车辆部件检测方法，其特征在于，所述步骤(1)的具体实现方式为：

采集车辆图像，将车辆图像输入特征点检测器得到车辆部件的车辆特征点，将车辆图像输入候选区域检测器得到车辆部件的候选区域；所述特征点检测器为三级卷积神经网络、基于点分布模型、级联线性回归模型和自编码网络中的任意一种，所述候选区域检测器为区域建议网络、选择性搜索器和边缘框模型中的任意一种。

4.如权利要求3所述的一种基于车辆特征点的车辆部件检测方法，其特征在于，所述三级卷积神经网络包括第一级网络、第二级网络和第三级网络，其中第一级网络用于检测得到车辆部件的车辆特征点；第二级网络和第三级网络用于对车辆部件的车辆特征点进行精调，最后得到精调后的车辆部件的车辆特征点。

5.一种基于车辆特征点的车辆部件检测系统，其特征在于，包括：

第一模块，用于采集车辆图像，提取车辆部件的车辆特征点和车辆部件的候选区域；

第二模块，用于当候选区域的中心与车辆特征点的距离小于阈值得到车辆部件的感兴趣区域，在感兴趣区域内提取车辆部件的目标区域；

所述第二模块包括：

感兴趣区域子模块，用于当候选区域的中心与车辆特征点的距离d小于阈值得到感兴趣区域，将感兴趣区域输入快速目标检测卷积神经网络，得到感兴趣区域在快速目标检测卷积神经网络的原始得分s；

目标区域子模块，用于利用得分函数修正系数f建立得分函数p^*＝argmax(f*s)，其中，p^*表示感兴趣区域在快速目标检测卷积神经网络的得分，e为常数，得分最高的感兴趣区域为车辆部件最终检测到的目标区域。

6.如权利要求5所述的一种基于车辆特征点的车辆部件检测系统，其特征在于，所述第一模块的具体实现方式为：

采集车辆图像，将车辆图像输入特征点检测器得到车辆部件的车辆特征点，将车辆图像输入候选区域检测器得到车辆部件的候选区域；所述特征点检测器为三级卷积神经网络、基于点分布模型、级联线性回归模型和自编码网络中的任意一种，所述候选区域检测器为区域建议网络、选择性搜索器和边缘框模型中的任意一种。