CN110008862B - 一种车辆目标检测方法及相关装置 - Google Patents

Abstract

本发明公开了一种车辆目标检测方法及相关装置，本发明通过设置在车辆一前一后的第一图像获取设备和第二图像获取设备来获取车辆前方目标或后方目标的图像作为第一视野原图和第二视野原图，并获取对应的目标检测结果图，根据第一目标检测结果图和第二目标检测结果图进行结果融合以获取最终的目标检测结果图，克服现有技术中单摄像头的单视野目标检测存在漏检的技术问题，提高了车辆目标检测准确性，降低漏检概率。

Description

一种车辆目标检测方法及相关装置

技术领域

本发明涉及目标检测领域，尤其是一种车辆目标检测方法及相关装置。

背景技术

随着科技的发展，人们将摄像头加装在车上并配合软件算法进行目标检测，从而实现了车辆的自动驾驶。然而，传统的基于单摄像头的单视野目标检测存在以下缺陷和不足:

摄像头架设在车辆的前部，当车辆的侧面突然有近距离的较大运动目标出现时，由于监测的视野太小，摄像头采集到的图像可能为大运动目标的某一连续色彩或较均匀区域，从而无法成功的实现目标检测。这是因为目标检测的前提为目标存在于对比度较强的“背景区域”中，假如视野中全部为目标的某一区域，则目标检测十分容易失败。而这种重要目标的漏检将造成车辆的不正确控制，并引发车祸，甚至导致车毁人亡的严重后果。

因此，亟需对该技术做出改进。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种车辆目标检测方法及相关装置，用于提高车辆目标检测准确度。

本发明所采用的技术方案是：

第一方面，本发明提供一种车辆目标检测方法，包括：

视野原图获取步骤：获取第一视野原图和第二视野原图，所述第一视野原图为设置在车辆上的第一图像获取设备所获取的包含车辆前方目标或后方目标的图像，所述第二视野原图为设置在车辆上的第二图像获取设备所获取的包含所述车辆前方目标或后方目标的图像，所述第二图像获取设备设置在所述第一图像获取设备的后方；

目标检测结果图获取步骤：根据所述第一视野原图、所述第二视野原图获取第一目标检测结果图和第二目标检测结果图；

检测结果融合步骤：根据所述第一目标检测结果图和所述第二目标检测结果图进行结果融合以获取最终的目标检测结果图。

进一步地，所述检测结果融合步骤包括：

嵌入匹配区域获取子步骤：根据所述第一视野原图、所述第二视野原图获取所述第一视野原图对应在所述第二视野原图中的第一区域，所述第一区域为嵌入匹配区域；

嵌入目标检测区域获取子步骤：根据所述嵌入匹配区域和所述第一视野原图获取缩放比例，根据所述缩放比例缩放所述第一目标检测结果图，并根据缩放后的所述第一目标检测结果图和所述第二视野原图获取缩放后的所述第一目标检测结果图对应在所述第二视野原图中的第二区域，所述第二区域为嵌入目标检测区域，所述嵌入目标检测区域位于所述嵌入匹配区域中；

融合子步骤：根据所述第一目标检测结果图、所述缩放比例与所述嵌入目标检测区域的目标检测结果进行所述嵌入目标检测区域的目标检测结果对比融合以得到最终的目标检测结果图。

进一步地，所述嵌入匹配区域获取子步骤包括：

根据不同的缩放比例缩放所述第一视野原图以得到多个待匹配子图；

以所述待匹配子图的大小作为遍历区域的大小，遍历所述第二视野原图，计算遍历区域与所述待匹配子图对应像素点的像素值差值，根据像素点的像素值差值获取差值总和，遍历所述第二视野原图后获得多个差值总和；

根据多个待匹配子图的多个差值总和获取其中的最小值作为匹配结果，所述最小值对应的遍历区域在所述第二视野原图的位置所对应的区域为所述嵌入匹配区域。

进一步地，去除在所述第二视野原图的图像边缘上预设行数和/或预设列数的像素后，再进行遍历以获取差值总和。

进一步地，所述目标检测结果包括目标类别、置信度和位置坐标。

进一步地，所述融合子步骤包括：

根据所述嵌入目标检测区域中的每一个位置和所述缩放比例获取在所述第一目标检测结果图中的对应位置；

判断所述嵌入目标检测区域的每一个位置的目标检测结果与所述第一目标检测结果图对应位置的目标检测结果，若前后者都没有检测出目标，则以所述嵌入目标检测区域的目标检测结果作为该位置的目标检测结果；若前后者都检测出目标，且两者的目标类别一致，则以所述嵌入目标检测区域的目标检测结果作为该位置的目标检测结果；若前后者都检测出目标，且两者的目标类别不一致，则判断前后者的目标检测结果的置信度高低，取置信度高的目标检测结果作为该位置的目标检测结果。

第二方面，本发明提供一种车辆目标检测装置，包括：

视野原图获取模块，用于获取第一视野原图和第二视野原图，所述第一视野原图为设置在车辆上的第一图像获取设备所获取的包含车辆前方目标或后方目标的图像，所述第二视野原图为设置在车辆上的第二图像获取设备所获取的包含车辆前方目标或后方目标的图像，所述第二图像获取设备设置在所述第一图像获取设备的后方；

目标检测结果图获取模块，用于根据所述第一视野原图、所述第二视野原图获取第一目标检测结果图和第二目标检测结果图；

检测结果融合模块，用于根据所述第一目标检测结果图和所述第二目标检测结果图进行结果融合以获取最终的目标检测结果图。

第三方面，本发明提供一种车辆目标检测装置，包括：

第一图像获取设备，用于获取包含车辆前方目标或后方目标的图像作为第一视野原图，所述第一图像获取设备设置在车辆上；

第二图像获取设备，用于获取包含车辆前方目标或后方目标的图像作为第二视野原图，所述第二图像获取设备设置在所述第一图像获取设备的后方；

处理器，用于根据所述第一视野原图、所述第二视野原图获取第一目标检测结果图和第二目标检测结果图；根据所述第一目标检测结果图和所述第二目标检测结果图进行结果融合以获取最终的目标检测结果图。

第四方面，本发明提供一种车辆目标检测设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的车辆目标检测方法。

第五方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行所述的车辆目标检测方法。

本发明的有益效果是：

本发明通过设置在车辆一前一后的第一图像获取设备和第二图像获取设备来获取车辆前方目标或后方目标的图像作为第一视野原图和第二视野原图，并获取对应的目标检测结果图，根据第一目标检测结果图和第二目标检测结果图进行结果融合以获取最终的目标检测结果图，克服现有技术中单摄像头的单视野目标检测存在漏检的技术问题，提高了车辆目标检测准确性，降低漏检概率。

附图说明

图1是本发明中一种车辆目标检测方法的一具体实施例方法流程图；

图2是本发明中一种车辆目标检测方法的嵌入匹配区域和嵌入目标检测区域的一具体实施例示意图；

图3a、图3b是本发明中一种车辆目标检测方法的第二视野原图的一具体实施例示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1

参考图1，图1是本发明中一种车辆目标检测方法的一具体实施例方法流程图；一种车辆目标检测方法，包括：

S1、视野原图获取步骤：获取第一视野原图和第二视野原图，第一视野原图为设置在车辆上(如车辆的前部)的第一图像获取设备所获取的包含车辆前方目标或后方目标的图像；第二视野原图为设置在车辆上的第二图像获取设备所获取的包含车辆前方目标或后方目标的图像。本实施例中，第一图像获取设备和第二图像获取设备设置在车身的上方同一侧且第二图像获取设备设置在第一图像获取设备的后方，一前一后，第一图像获取设备和第二图像获取设备检测同一个方向上的目标，例如第一图像获取设备和第二图像获取设备可以获取车辆正前方或者斜前方的目标的图像，第一图像获取设备和第二图像获取设备也可以是获取车辆正后方或斜后方的目标的图像，第一图像获取设备和第二图像获取设备采用摄像头来实现；

S2、目标检测结果图获取步骤：根据第一视野原图、第二视野原图进行目标检测以获取相应的第一目标检测结果图和第二目标检测结果图；

S3、检测结果融合步骤：根据第一目标检测结果图和第二目标检测结果图进行结果融合以获取最终的目标检测结果图。

由于前后的两个摄像头与目标的距离有较大差异，因此，其视野差别也较大，其中，设置在前方的摄像头对目标的视野小，而设置在后方的摄像头对目标的视野较大。对两个摄像头相同时刻的目标检测结果进行融合以得到最终的目标检测结果图，可以容易的检测出车身正前方或斜前方(或者，正后方或斜后方)的目标，克服现有技术中单摄像头的单视野目标检测存在漏检的技术问题，提高了车辆目标检测准确性，有效避免近距离情况下对突然出现的运动目标的漏检，大大提高自动驾驶的安全性。

进一步具体地，其中，参考图2，图2是本发明中一种车辆目标检测方法的嵌入匹配区域和嵌入目标检测区域的一具体实施例示意图；检测结果融合步骤S3包括：

S31、嵌入匹配区域获取子步骤：根据第一视野原图、第二视野原图和“嵌入式”匹配算法获取第一视野原图对应在第二视野原图中的区域，即第一区域，将第一区域称为嵌入匹配区域；设置在前方的摄像头的拍摄区域是设置在后方的摄像头所拍摄的视野原图中的子区域，“嵌入式”匹配算法为前后视野多像素点匹配算法，前后视野多像素点匹配算法的核心思想为抵抗前后两个视野原图(第一视野原图和第二视野原图)的大小差异与方向差异，基于缩小后的第一视野原图中单个像素与第二视野原图的多个像素点的像素值差值计算结果，可以搜索出缩小后的第一视野原图在第二视野原图的位置，即嵌入匹配区域。具体地，步骤S31包括：

S311、根据不同的缩放比例缩放第一视野原图以得到多个待匹配子图，按一定的缩放比例缩小第一视野原图，并称其为待匹配子图，记为J，采用不同的缩放比例可以得到相应的多个待匹配子图。

S312、以待匹配子图的大小作为遍历区域的大小，遍历第二视野原图，计算遍历区域与待匹配子图对应像素点的像素值差值，根据多个像素点的像素值差值获取差值总和，遍历第二视野原图后获得多个差值总和；为了提高匹配速度，去除在第二视野原图的图像边缘上预设行数m和/或预设列数n的像素后，再进行遍历以获取差值总和。具体地，参考图3a和图3b，图3a、图3b是本发明中一种车辆目标检测方法的第二视野原图的一具体实施例示意图，假设第二视野原图为M行与N列的图像，则多像素点匹配时只需要对第二视野原图的中心部位M-2m行与N-2n列的像素进行计算，图3a和图3b中，M为7，N为10，m为1，n为2，则去除边缘的像素后，剩余5行6列的像素。

S313、根据多个待匹配子图的多个差值总和获取其中的最小值作为匹配结果，最小值对应的遍历区域在第二视野原图的位置所对应的区域为嵌入匹配区域。本实施例中，以去除部分像素后的第二视野原图作为匹配母图，以匹配母图的左上角为起点，选取与待匹配子图一样大小的图像区域，称为匹配母图的匹配计算区域，记为K。对待匹配子图中的一个点J(i,j)，计算其与K中对应像素点的像素值差值，计算公式为d(i,j)＝min|(J(i,j)-K(i+s,j+t))|,s,t＝-r,-(r-1),-(r-2),…,r，min表示取最小值。对于匹配母图的当前区域，其与待匹配子图的像素值差值为计算得出的所有d(i,j)之和，即差值总和，记为D1。遍历匹配母图时，按照从左至右，从上至下的方式对匹配母图进行遍历，并将匹配母图与待匹配子图的差值总和依次记为D2，D3，D4，……。遍历结束后，将得出的匹配母图与待匹配子图的多个差值总和中最小值记为FD1。不同的缩放比例对应的待匹配子图可以获取到相应的最小的差值总和FD2，FD3，FD4，……，根据FD1、FD2、FD3、……获取到其中的最小值，其中的最小值对应的匹配计算区域即为嵌入匹配区域。

S32、嵌入目标检测区域获取子步骤：根据嵌入匹配区域和第一视野原图获取缩放比例，事实上，获取到嵌入匹配区域后，相应的缩放比例也能得到；再根据缩放比例缩放第一目标检测结果图，参考图2，并根据缩放后的第一目标检测结果图和第二视野原图获取缩放后的第一目标检测结果图对应在第二视野原图中的区域，即第二区域，将第二区域称为嵌入目标检测区域，嵌入目标检测区域位于嵌入匹配区域中。

S33、融合子步骤：根据第一目标检测结果图、缩放比例与嵌入目标检测区域的目标检测结果进行嵌入目标检测区域的目标检测结果对比融合以得到最终的目标检测结果图。目标检测结果包括目标类别、置信度和位置坐标。具体地，步骤S33包括：

S331、根据嵌入目标检测区域中的每一个位置和缩放比例获取在第一目标检测结果图中的对应位置；

S332、判断嵌入目标检测区域的每一个位置的目标检测结果与第一目标检测结果图对应位置的目标检测结果，若前后者都没有检测出目标，则以嵌入目标检测区域的目标检测结果作为该位置的目标检测结果；若前后者都检测出目标，且两者的目标类别一致，则以嵌入目标检测区域的目标检测结果作为该位置的目标检测结果；若前后者都检测出目标，且两者的目标类别不一致，则判断前后者的目标检测结果的置信度高低，取置信度高的目标检测结果作为该位置的目标检测结果。例如，对于同一个位置，第一视野原图的目标类别的置信度α1小于第二视野原图中嵌入目标检测区域中的目标类别的置信度α2，则取嵌入目标检测区域中该位置的目标检测结果作为目标检测结果的融合结果并输出，反之，取第一视野原图的目标检测结果作为目标检测结果的融合结果并输出。

因此，对嵌入目标检测区域进行目标检测结果融合后，第二目标检测结果图中对应嵌入目标检测区域的部分目标检测结果使用融合结果作为目标检测结果，根据融合结果和原先的第二目标检测结果图可以得到最终的目标检测结果图。

实施例2

一种车辆目标检测装置，包括：

视野原图获取模块，用于获取第一视野原图和第二视野原图，第一视野原图为设置在车辆上的第一图像获取设备所获取的包含车辆前方目标或后方目标的图像，第二视野原图为设置在车辆上的第二图像获取设备所获取的包含车辆前方目标或后方目标的图像，第二图像获取设备设置在第一图像获取设备的后方；

目标检测结果图获取模块，用于根据第一视野原图、第二视野原图获取第一目标检测结果图和第二目标检测结果图；

检测结果融合模块，用于根据第一目标检测结果图和第二目标检测结果图进行结果融合以获取最终的目标检测结果图。

车辆目标检测装置的工作过程参照实施例1车辆目标检测方法的描述，不再赘述。

实施例3

一种车辆目标检测装置，包括：

第一图像获取设备，用于获取包含车辆前方目标或后方目标的图像作为第一视野原图，

第一图像获取设备设置在车辆上；

第二图像获取设备，用于获取包含车辆前方目标或后方目标的图像作为第二视野原图，第二图像获取设备设置在第一图像获取设备的后方；

处理器，用于根据第一视野原图、第二视野原图获取第一目标检测结果图和第二目标检测结果图；根据第一目标检测结果图和第二目标检测结果图进行结果融合以获取最终的目标检测结果图。

车辆目标检测装置的工作过程参照实施例1车辆目标检测方法的描述，不再赘述。

实施例4

一种车辆目标检测设备，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如实施例1所述的车辆目标检测方法。车辆目标检测方法参照实施例1的描述，不再赘述。

实施例5

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如实施例1所述的车辆目标检测方法。车辆目标检测方法参照实施例1的描述，不再赘述。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种车辆目标检测方法，其特征在于，包括：

视野原图获取步骤：获取第一视野原图和第二视野原图，所述第一视野原图为设置在车辆上的第一图像获取设备所获取的包含车辆前方目标或后方目标的图像，所述第二视野原图为设置在车辆上的第二图像获取设备所获取的包含所述车辆前方目标或后方目标的图像，所述第二图像获取设备设置在所述第一图像获取设备的后方；

目标检测结果图获取步骤：根据所述第一视野原图、所述第二视野原图获取第一目标检测结果图和第二目标检测结果图；

检测结果融合步骤：根据所述第一目标检测结果图和所述第二目标检测结果图进行结果融合以获取最终的目标检测结果图；

所述检测结果融合步骤包括：

嵌入匹配区域获取子步骤：根据所述第一视野原图、所述第二视野原图获取所述第一视野原图对应在所述第二视野原图中的第一区域，所述第一区域为嵌入匹配区域；

嵌入目标检测区域获取子步骤：根据所述嵌入匹配区域和所述第一视野原图获取缩放比例，根据所述缩放比例缩放所述第一目标检测结果图，并根据缩放后的所述第一目标检测结果图和所述第二视野原图获取缩放后的所述第一目标检测结果图对应在所述第二视野原图中的第二区域，所述第二区域为嵌入目标检测区域，所述嵌入目标检测区域位于所述嵌入匹配区域中；

融合子步骤：根据所述第一目标检测结果图、所述缩放比例与所述嵌入目标检测区域的目标检测结果进行所述嵌入目标检测区域的目标检测结果对比融合以得到最终的目标检测结果。

2.根据权利要求1所述的车辆目标检测方法，其特征在于，所述嵌入匹配区域获取子步骤包括：

根据不同的缩放比例缩放所述第一视野原图以得到多个待匹配子图；

以所述待匹配子图的大小作为遍历区域的大小，遍历所述第二视野原图，计算遍历区域与所述待匹配子图对应像素点的像素值差值，根据像素点的像素值差值获取差值总和，遍历所述第二视野原图后获得多个差值总和；

根据多个待匹配子图的多个差值总和获取其中的最小值作为匹配结果，所述最小值对应的遍历区域在所述第二视野原图的位置所对应的区域为所述嵌入匹配区域。

3.根据权利要求2所述的车辆目标检测方法，其特征在于，去除在所述第二视野原图的图像边缘上预设行数和/或预设列数的像素后，再进行遍历以获取差值总和。

4.根据权利要求1至3任一项所述的车辆目标检测方法，其特征在于，所述目标检测结果包括目标类别、置信度和位置坐标。

5.根据权利要求4所述的车辆目标检测方法，其特征在于，所述融合子步骤包括：

根据所述嵌入目标检测区域中的每一个位置和所述缩放比例获取在所述第一目标检测结果图中的对应位置；

判断所述嵌入目标检测区域的每一个位置的目标检测结果与所述第一目标检测结果图对应位置的目标检测结果，若前后者都没有检测出目标，则以所述嵌入目标检测区域的目标检测结果作为该位置的目标检测结果；若前后者都检测出目标，且两者的目标类别一致，则以所述嵌入目标检测区域的目标检测结果作为该位置的目标检测结果；若前后者都检测出目标，且两者的目标类别不一致，则判断前后者的目标检测结果的置信度高低，取置信度高的目标检测结果作为该位置的目标检测结果。

6.一种车辆目标检测装置，其特征在于，包括：

视野原图获取模块，用于获取第一视野原图和第二视野原图，所述第一视野原图为设置在车辆上的第一图像获取设备所获取的包含车辆前方目标或后方目标的图像，所述第二视野原图为设置在车辆上的第二图像获取设备所获取的包含车辆前方目标或后方目标的图像，所述第二图像获取设备设置在所述第一图像获取设备的后方；

目标检测结果图获取模块，用于根据所述第一视野原图、所述第二视野原图获取第一目标检测结果图和第二目标检测结果图；

检测结果融合模块，用于根据所述第一目标检测结果图和所述第二目标检测结果图进行结果融合以获取最终的目标检测结果图。

7.一种车辆目标检测装置，其特征在于，包括：

第一图像获取设备，用于获取包含车辆前方目标或后方目标的图像作为第一视野原图，所述第一图像获取设备设置在车辆上；

第二图像获取设备，用于获取包含车辆前方目标或后方目标的图像作为第二视野原图，所述第二图像获取设备设置在所述第一图像获取设备的后方；

处理器，用于根据所述第一视野原图、所述第二视野原图获取第一目标检测结果图和第二目标检测结果图；根据所述第一目标检测结果图和所述第二目标检测结果图进行结果融合以获取最终的目标检测结果图。

8.一种车辆目标检测设备，其特征在于，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5任一项所述的车辆目标检测方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的车辆目标检测方法。

Images