CN115620244A - 基于车路协同的图像检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种基于车路协同的图像检测方法、装置、设备及存储介质。该方法包括：获取车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备基于同一检测区域进行图像采集得到的第一图像和第二图像；基于目标检测算法分别确定第一图像的第一目标候选区域及第二图像的第二目标候选区域；基于第一图像与第二图像对准的映射关系确定第一目标候选区域映射至第二图像的第一虚拟目标候选区域及第二目标候选区域映射至第一图像的第二虚拟目标候选区域；基于第一目标候选区域、第二目标候选区域、第一虚拟目标候选区域及第二虚拟目标候选区域确定检测区域中目标的位置区域。可以提高检测区域的目标的位置区域的精度。

Description

基于车路协同的图像检测方法、装置、设备及存储介质

技术领域

本申请涉及智能交通领域，尤其涉及一种基于车路协同的图像检测方法、装置、设备及存储介质。

背景技术

随着汽车产业的快速地发展，城市交通压力越来越大，车路协同系统是改善城市交通压力的一个重要突破点，是车联网发展的重要发现。车路协同系统中包含车载单元和路侧单元，两者相互协作，共同保障交通安全与交通效率。道路监控是车联网技术中重要的一环，准确识别摄像头中的目标是自动驾驶、车辆异常检测等相关后续技术的基石。

目标检测的主要任务是查找出视频图像中的目标并判断其类别，相关技术中，车联网中目标检测主要基于单一相机拍摄的画面，如高速路的监控相机。但拍摄的画面往往非常模糊且易于受光照、天气等环境因素影响，往往拍摄到的画面质量差强人意。同时，由于算法预训练模型往往都在相对高清的数据集上训练得到，迁移至实际场景中不容易查找到视频图像中的目标，导致检测结果不准确。

发明内容

有鉴于此，本申请实施例提供了一种基于车路协同的图像检测方法、装置、设备及存储介质，旨在提高检测结果的准确性。

本申请实施例的技术方案是这样实现的：

本申请实施例提供了一种基于车路协同的图像检测方法，包括：

获取车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备基于同一检测区域进行图像采集得到的第一图像和第二图像；

基于目标检测算法分别确定所述第一图像的第一目标候选区域及所述第二图像的第二目标候选区域；

基于所述第一图像与所述第二图像对准的映射关系确定所述第一目标候选区域映射至所述第二图像的第一虚拟目标候选区域及所述第二目标候选区域映射至所述第一图像的第二虚拟目标候选区域；

基于所述第一目标候选区域、所述第二目标候选区域、所述第一虚拟目标候选区域及所述第二虚拟目标候选区域确定所述检测区域中目标的位置区域；

其中，所述第一图像与所述第一图像采集设备对应，所述第二图像与所述第二图像采集设备对应。

上述方案中，所述基于所述第一目标候选区域、所述第二目标候选区域、所述第一虚拟目标候选区域及所述第二虚拟目标候选区域确定所述检测区域中目标的位置区域，包括：

基于非极大值抑制算法对所述第一图像的所述第一目标候选区域、所述第二虚拟目标候选区域及所述第二图像的所述第二目标候选区域、所述第一虚拟目标候选区域进行遍历，确定所述检测区域中目标的位置区域。

上述方案中，该图像检测方法还包括：

基于所述目标的位置区域对所述第一图像进行目标识别；

将所述目标识别的识别结果与预先构建的所述检测区域的静态障碍物进行比对；

确定所述识别结果中缺失至少一个所述静态障碍物，则生成警示信息。

上述方案中，该图像检测方法还包括：

基于所述目标的位置区域对所述第一图像、所述第二图像均进行目标识别；

确定所述第一图像和所述第二图像中存在同一物体的目标位置区域；

基于所述目标位置区域分别提取所述第一图像的第一特征数据及所述第二图像的第二特征数据；

基于所述第一特征数据和所述第二特征数据确定所述目标位置区域的目标分类结果。

上述方案中，所述基于所述第一特征数据和所述第二特征数据确定所述目标位置区域的目标分类结果，包括：

将所述第一特征数据与所述第二特征数据融合后输入图像分类网络，得到所述目标位置区域的目标分类结果。

上述方案中，该图像检测方法还包括：

基于所述第一图像和所述第二图像中相应的关键点确定所述第一图像与所述第二图像对准的映射关系。

上述方案中，所述获取车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备基于同一检测区域进行图像采集得到的第一图像和第二图像，包括：

获取所述第一图像采集设备采集的第一图像集和所述第二图像采集设备采集的第二图像集；

基于各图像的采集时间、采集地点及采集角度从所述第一图像集及所述第二图像集中提取匹配同一检测区域的所述第一图像和所述第二图像。

本申请实施例还提供了一种基于车路协同的图像检测装置，包括：

获取模块，用于获取车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备基于同一检测区域进行图像采集得到的第一图像和第二图像；

候选区域提取模块，用于基于目标检测算法分别确定所述第一图像的第一目标候选区域及所述第二图像的第二目标候选区域；

映射模块，用于基于所述第一图像与所述第二图像对准的映射关系确定所述第一目标候选区域映射至所述第二图像的第一虚拟目标候选区域及所述第二目标候选区域映射至所述第一图像的第二虚拟目标候选区域；

目标确定模块，用于基于所述第一目标候选区域、所述第二目标候选区域、所述第一虚拟目标候选区域及所述第二虚拟目标候选区域确定所述检测区域中目标的位置区域；

其中，所述第一图像与所述第一图像采集设备对应，所述第二图像与所述第二图像采集设备对应。

本申请实施例又提供了一种基于车路协同的图像检测设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，

所述处理器，用于运行计算机程序时，执行本申请实施例所述方法的步骤。

本申请实施例还提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本申请实施例所述方法的步骤。

本申请实施例提供的技术方案，获取车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备基于同一检测区域进行图像采集得到的第一图像和第二图像；基于目标检测算法分别确定第一图像的第一目标候选区域及第二图像的第二目标候选区域；基于第一图像与第二图像对准的映射关系确定第一目标候选区域映射至第二图像的第一虚拟目标候选区域及第二目标候选区域映射至第一图像的第二虚拟目标候选区域；基于第一目标候选区域、第二目标候选区域、第一虚拟目标候选区域及第二虚拟目标候选区域确定检测区域中目标的位置区域。可以利用现有的车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备构建车路协同系统，并提高检测区域的目标的位置区域的精度，利于提高检测结果的准确性。

附图说明

图1为本申请实施例基于车路协同的图像检测方法的流程示意图；

图2为本申请应用实施例基于车路协同的图像检测方法的流程示意图；

图3为本申请实施例基于车路协同的图像检测装置的结构示意图；

图4为本申请实施例基于车路协同的图像检测设备的结构示意图。

具体实施方式

下面结合附图及实施例对本申请再作进一步详细的描述。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

本申请实施例提供了一种基于车路协同的图像检测方法，如图1所示，该方法包括：

步骤101，获取车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备基于同一检测区域进行图像采集得到的第一图像和第二图像。

这里，车载单元(On board Unit，OBU)是指设置于车辆上的具有通信功能的监测装置，路侧单元(Road Side Unit，RSU)是指设置于固定设置于车辆行驶的道路上的具有通信功能的监测装置。该车载单元侧设置的第一图像采集设备、路侧单元设置的第二图像采集设备可以为摄像头、激光成像雷达等，本申请实施例对此不做限定。

可以理解的是，第一图像与第一图像采集设备对应，第二图像与第二图像采集设备对应。

示例性地，该基于车路协同的图像检测方法可以应用于一图像数据处理平台，该图像数据处理平台可以为服务器或者服务器集群，本申请实施例对此不做限定。

在一些实施例中，所述获取车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备基于同一检测区域进行图像采集得到的第一图像和第二图像，包括：

获取所述第一图像采集设备采集的第一图像集和所述第二图像采集设备采集的第二图像集；

基于各图像的采集时间、采集地点及采集角度从所述第一图像集及所述第二图像集中提取匹配同一检测区域的所述第一图像和所述第二图像。

示例性地，该图像数据处理平台可以接收车载单元侧的第一图像采集设备采集的第一图像集和路侧单元侧的第二图像采集设备采集的第二图像集。需要说明的是，第一图像采集设备和第二图像采集设备还上传图像的采集时间、采集地点及采集角度等采集参数。

例如，车载单元侧的第一图像采集设备可以基于设定的频率上报采集的图像及相应的采集参数。由于第一图像采集设备跟随车辆实时移动，车载单元可以采用视频流的方式上传图像，且每帧图像会有相应的时间戳，车载单元侧的采集角度可以基于车辆的行驶角度和第一图像采集设备的安装角度来确定。例如，第一图像采集设备的安装角度可以由用户输入，车辆的行驶角度可以基于车辆的行驶轨迹经运算转换确定，采集角度可以基于当前的行驶角度和初始设定的安装角度来确定。

可以理解的是，路侧单元的第二图像采集设备的采集地点、采集角度可以在初始安装后确定，若出现安装位置和/或采集角度的调整，则可以及时更新相应的参数。第二图像采集设备的采集时间可以实时生成。

示例性地，采集参数还可以包括：图像采集设备的工作参数，例如，分辨率、设备型号等。

可以理解的是，图像数据处理平台对接收的各图像基于采集时间、采集地点及采集角度进行匹配，可以得到相应于同一检测区域、相同检测时间及相同采集角度的图像对，即成对的第一图像和第二图像。

步骤102，基于目标检测算法分别确定所述第一图像的第一目标候选区域及所述第二图像的第二目标候选区域。

这里，图像数据处理平台可以将第一图像采集设备的第一图像、第二图像设备的第二图像分别输入目标检测算法中，提取第一图像的第一目标候选区域及第二图像的第二目标候选区域。

示例性地，可以基于Mask R-CNN算法提取前述的第一目标候选区域及第二目标候选区域。该Mask R-CNN算法是一种基于深度学习的目标检测方法，继承于Faster R-CNN，Mask R-CNN是在Faster R-CNN上面增加了一个Mask Prediction Branch(Mask预测分支)，并且在ROI Pooling的基础之上提出了ROI Align，得到目标候选区域。

步骤103，基于所述第一图像与所述第二图像对准的映射关系确定所述第一目标候选区域映射至所述第二图像的第一虚拟目标候选区域及所述第二目标候选区域映射至所述第一图像的第二虚拟目标候选区域。

可以理解的是，本申请实施例将第一图像的第一目标候选区域映射至第二图像上，得到第二图像上的第一虚拟目标候选区域，将第二图像的第二目标候选区域映射至第一图像上，得到第一图像上的第二虚拟目标候选区域，使得检测区域的目标候选区域更为丰富，利于后续更精确地确定检测区域中目标的位置区域。

步骤104，基于所述第一目标候选区域、所述第二目标候选区域、所述第一虚拟目标候选区域及所述第二虚拟目标候选区域确定所述检测区域中目标的位置区域。

可以理解的是，本申请实施例可以利用现有的车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备构建车路协同系统，并基于第一图像和第二图像的前述的候选区域的融合结果确定检测区域中目标的位置区域，可以提高检测区域的目标的位置区域的精度，利于提高检测结果的准确性。

示例性地，所述基于所述第一目标候选区域、所述第二目标候选区域、所述第一虚拟目标候选区域及所述第二虚拟目标候选区域确定所述检测区域中目标的位置区域，包括：

基于非极大值抑制(Non-maximum suppression，NMS)算法对所述第一图像的所述第一目标候选区域、所述第二虚拟目标候选区域及所述第二图像的所述第二目标候选区域、所述第一虚拟目标候选区域进行遍历，确定所述检测区域中目标的位置区域。

示例性地，可以基于NMS算法对前述的所述第一目标候选区域、所述第二虚拟目标候选区域、所述第二目标候选区域及所述第一虚拟目标候选区域中的各候选区域进行遍历，并基于各候选区域之间的交并比进行筛选，确定所述检测区域中目标的位置区域。

可以理解的是，前述步骤103中由于需要利用到第一图像与第二图像对准的映射关系，基于此，在一些实施例中，该图像检测方法还包括：

基于所述第一图像和所述第二图像中相应的关键点确定所述第一图像与所述第二图像对准的映射关系。

示例性地，可以基于ORB(Oriented FAST and Rotated BRIEF)算法提取第一图像和第二图像的关键点，并基于第一图像和第二图像中相应的关键点的坐标位置的转换关系确定第一图像与第二图像的映射关系。该ORB算法是一种快速特征点提取和描述的算法。

实际应用中，由于车载单元侧的第一图像采集设备往往受车辆行驶速度、行驶角度等影响，可能会出现目标漏检的情形，需要对该情形进行预警，以更好地满足后续智能驾驶的场景需求。

基于此，在一些实施例中，该图像检测方法还包括：

基于所述目标的位置区域对所述第一图像进行目标识别；

将所述目标识别的识别结果与预先构建的所述检测区域的静态障碍物进行比对；

确定所述识别结果中缺失至少一个所述静态障碍物，则生成警示信息。

可以理解的是，图像数据处理平台可以对第一图像采集设备采集的第一图像基于前述步骤104确定的目标的位置区域进行目标识别，并基于识别结果进行静态比对，进而对车载单元侧的第一图像采集设备的出现目标漏检的情形进行及时告警。

考虑路侧单元侧的第二图像采集设备一般处于固定状态，所述检测区域的静态障碍物可以基于第二图像采集设备采集的图像确定。例如，根据路侧单元的相机拍摄到的视频，从中筛选静态障碍物的图像，为节省人工成本，可以首先使用目标检测算法(如Mask R-CNN等)算法进行目标识别，然后进行人工审核，将漏检误检的静态障碍物进行手工标注，由此得到检测区域的静态障碍物的数据集。若图像数据处理平台针对第一图像，确定识别结果中缺失该检测区域的静态障碍物的数据集中的至少一个静态障碍物，则可以生成警示信息。优选地，可以获取并存储车载单元采集的车辆当前的行驶状态数据，例如，行驶速度、行驶角度等，便于后续的分析处理。

实际应用中，可能会第一图像采集设备的分辨率或目标过小等原因造成检测区域的目标的分类结果不准的情况，例如，现有检测算法(yolo5)可能会将道路上出现了小羊识别为车，则该误检结果可能会对车辆的智能驾驶产生威胁。如果能及时检测出路上出现了其他生物，在车路协同系统中进行报警，则在一定程度上可以避免后续的车祸，减少伤亡。

基于此，在一些实施例中，该图像检测方法还包括：

基于所述目标的位置区域对所述第一图像、所述第二图像均进行目标识别；

确定所述第一图像和所述第二图像中存在同一物体的目标位置区域；

基于所述目标位置区域分别提取所述第一图像的第一特征数据及所述第二图像的第二特征数据；。

基于所述第一特征数据和所述第二特征数据确定所述目标位置区域的目标分类结果。

可以理解的是，图像数据处理平台可以对第一图像和第二图像基于目标的位置区域进行目标的重识别，对于存在同一物体的目标位置区域，则基于该目标位置区域将第一图像的第一特征数据与第二图像的第二特征数据进行融合，进而确定该目标位置区域的目标分类结果，相较于现有技术，可以有效提升目标分类结果的准确性，减少前述的目标误检的概率。

示例性地，所述基于所述第一特征数据和所述第二特征数据确定所述目标位置区域的目标分类结果，包括：

将所述第一特征数据与所述第二特征数据融合后输入图像分类网络，得到所述目标位置区域的目标分类结果。

示例性地，第一特征数据可以为第一图像上目标位置区域的第一feature map，第二特征数据可以为第二图像上目标位置区域的第二feature map，可以将第一feature map与第二feature map进行拼接，输入至图像分类网络，得到所述目标位置区域的目标分类结果。

下面结合应用实施例对本申请再作进一步详细的描述。

如图2所示，本应用实施例基于车路协同的图像检测方法，可以包括以下步骤：

步骤201，对第一图像采集设备的第一图像集和第二图像采集设备上传的第二图像集进行筛选，确定同一检测区域的第一图像和第二图像构成的成对图像。

示例性地，图像数据处理平台可以对接收的第一图像集和第二图像集基于各图像的采集时间、采集地点及采集角度进行筛选，可以得到相应于同一检测区域、相同检测时间及相同采集角度的图像对，即成对的第一图像和第二图像。

步骤202，将成对的第一图像和第二图像输入Mask R-CNN算法。

步骤203，确定所述第一图像的第一目标候选区域及所述第二图像的第二目标候选区域。

这里，Mask R-CNN算法基于中间结果确定第一图像的候选框(即第一目标候选区域)和第二图像的候选框(即第二目标候选区域)。

步骤204，基于相机对准算法确定第一图像与第二图像对准的映射关系。

例如，可以基于ORB算法提取第一图像和第二图像的关键点，并基于第一图像和第二图像中相应的关键点的坐标位置的转换关系确定第一图像与第二图像的映射关系f。

步骤205，映射所述第一目标候选区域和所述第二目标候选区域。

这里，可以基于该映射关系f将前述的第一图像的候选框映射至第二图像，及将前述的第二图像的候选框映射至第一图像。

步骤206，基于NMS算法确定检测区域中目标的位置区域。

这里，可以对步骤205中的各候选框进行联合，基于NMS算法确定检测区域中目标的位置区域。

步骤207，基于静态比对判断车载单元侧是否出现目标漏检。

图像数据处理平台可以对第一图像采集设备采集的第一图像基于前述步骤206确定的目标的位置区域进行目标识别，并基于识别结果与预先构建的静态障碍物的数据集进行静态比对，进而对车载单元侧的第一图像采集设备的出现目标漏检的情形进行及时告警。

示例性地，警示信息可以包括漏检目标的位置区域，并发送警示信息给相应的驾驶人员，提高车辆驾驶的安全性。

步骤208，基于动态比对更新目标的目标识别结果。

图像数据处理平台可以对第一图像和第二图像基于目标的位置区域进行目标的重识别，对于存在同一物体的目标位置区域，则基于该目标位置区域将第一图像的第一特征数据与第二图像的第二特征数据进行融合，进而确定该目标位置区域的目标分类结果，相较于现有技术，可以有效提升目标分类结果的准确性，减少前述的目标误检的概率。

由以上的描述可以得知，本应用实施例的方法融合路侧单元侧与车载单元侧的图像采集信息，从检测框精度与分类准确率的角度，更新了原有的检测结果。具体地，基于相机对准映射的算法，融合两个图像采集设备的检测框结果，提升了检测框的定位精度。此外，基于静态比对，可以对车载单元侧的目标漏检的情形进行及时告警，利用重识别算法匹配同一目标，增加同目标的特征维度，可以提高目标的分类准确率。

为了实现本申请实施例的方法，本申请实施例还提供一种基于车路协同的图像检测装置，该基于车路协同的图像检测装置与上述基于车路协同的图像检测方法对应，上述基于车路协同的图像检测方法实施例中的各步骤也完全适用于本基于车路协同的图像检测装置实施例。

如图3所示，该基于车路协同的图像检测装置包括：获取模块301、候选区域提取模块302、映射模块303及目标确定模块304；其中，获取模块301用于获取车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备基于同一检测区域进行图像采集得到的第一图像和第二图像；候选区域提取模块302用于基于目标检测算法分别确定所述第一图像的第一目标候选区域及所述第二图像的第二目标候选区域；映射模块303用于基于所述第一图像与所述第二图像对准的映射关系确定所述第一目标候选区域映射至所述第二图像的第一虚拟目标候选区域及所述第二目标候选区域映射至所述第一图像的第二虚拟目标候选区域；目标确定模块304用于基于所述第一目标候选区域、所述第二目标候选区域、所述第一虚拟目标候选区域及所述第二虚拟目标候选区域确定所述检测区域中目标的位置区域；所述第一图像与所述第一图像采集设备对应，所述第二图像与所述第二图像采集设备对应。

在一些实施例中，目标确定模块304具体用于：

基于非极大值抑制算法对所述第一图像的所述第一目标候选区域、所述第二虚拟目标候选区域及所述第二图像的所述第二目标候选区域、所述第一虚拟目标候选区域进行遍历，确定所述检测区域中目标的位置区域。

在一些实施例中，该基于车路协同的图像检测装置还包括：

静态比对模块305，用于基于所述目标的位置区域对所述第一图像进行目标识别；将所述目标识别的识别结果与预先构建的所述检测区域的静态障碍物进行比对；确定所述识别结果中缺失至少一个所述静态障碍物，则生成警示信息。

在一些实施例中，该基于车路协同的图像检测装置还包括：

动态比对模块306，用于基于所述目标的位置区域对所述第一图像、所述第二图像均进行目标识别；确定所述第一图像和所述第二图像中存在同一物体的目标位置区域；基于所述目标位置区域分别提取所述第一图像的第一特征数据及所述第二图像的第二特征数据；基于所述第一特征数据和所述第二特征数据确定所述目标位置区域的目标分类结果。

示例性地，动态比对模块306基于所述第一特征数据和所述第二特征数据确定所述目标位置区域的目标分类结果，包括：

将所述第一特征数据与所述第二特征数据融合后输入图像分类网络，得到所述目标位置区域的目标分类结果。

在一些实施例中，映射模块303还用于：基于所述第一图像和所述第二图像中相应的关键点确定所述第一图像与所述第二图像对准的映射关系。

在一些实施例中，获取模块301具体用于：

获取所述第一图像采集设备采集的第一图像集和所述第二图像采集设备采集的第二图像集；

基于各图像的采集时间、采集地点及采集角度从所述第一图像集及所述第二图像集中提取匹配同一检测区域的所述第一图像和所述第二图像。

实际应用时，获取模块301、候选区域提取模块302、映射模块303、目标确定模块304、静态比对模块305及动态比对模块306，可以由基于车路协同的图像检测装置中的处理器来实现。当然，处理器需要运行存储器中的计算机程序来实现它的功能。

需要说明的是：上述实施例提供的基于车路协同的图像检测装置在进行基于车路协同的图像检测时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的基于车路协同的图像检测装置与基于车路协同的图像检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供一种基于车路协同的图像检测设备。图4仅仅示出了该基于车路协同的图像检测设备的示例性结构而非全部结构，根据需要可以实施图4示出的部分结构或全部结构。

如图4所示，本申请实施例提供的基于车路协同的图像检测设备400包括：至少一个处理器401、存储器402、用户接口403和至少一个网络接口404。基于车路协同的图像检测设备400中的各个组件通过总线系统405耦合在一起。可以理解，总线系统405用于实现这些组件之间的连接通信。总线系统405除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统405。

其中，用户接口403可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

本申请实施例中的存储器402用于存储各种类型的数据以支持基于车路协同的图像检测设备的操作。这些数据的示例包括：用于在基于车路协同的图像检测设备上操作的任何计算机程序。

本申请实施例揭示的基于车路协同的图像检测方法可以应用于处理器401中，或者由处理器401实现。处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，基于车路协同的图像检测方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器401可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成本申请实施例提供的基于车路协同的图像检测方法的步骤。

在示例性实施例中，基于车路协同的图像检测设备可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程逻辑门阵列(FPGA，Field Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或者其他电子元件实现，用于执行前述方法。

可以理解，存储器402可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体可以是计算机可读存储介质，例如包括存储计算机程序的存储器402，上述计算机程序可由基于车路协同的图像检测设备的处理器401执行，以完成本申请实施例方法所述的步骤。计算机可读存储介质可以是ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。

需要说明的是：“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

另外，本申请实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请披露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于车路协同的图像检测方法，其特征在于，包括：

获取车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备基于同一检测区域进行图像采集得到的第一图像和第二图像；

基于目标检测算法分别确定所述第一图像的第一目标候选区域及所述第二图像的第二目标候选区域；

基于所述第一图像与所述第二图像对准的映射关系确定所述第一目标候选区域映射至所述第二图像的第一虚拟目标候选区域及所述第二目标候选区域映射至所述第一图像的第二虚拟目标候选区域；

基于所述第一目标候选区域、所述第二目标候选区域、所述第一虚拟目标候选区域及所述第二虚拟目标候选区域确定所述检测区域中目标的位置区域；

其中，所述第一图像与所述第一图像采集设备对应，所述第二图像与所述第二图像采集设备对应。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标候选区域、所述第二目标候选区域、所述第一虚拟目标候选区域及所述第二虚拟目标候选区域确定所述检测区域中目标的位置区域，包括：

基于非极大值抑制算法对所述第一图像的所述第一目标候选区域、所述第二虚拟目标候选区域及所述第二图像的所述第二目标候选区域、所述第一虚拟目标候选区域进行遍历，确定所述检测区域中目标的位置区域。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述目标的位置区域对所述第一图像进行目标识别；

将所述目标识别的识别结果与预先构建的所述检测区域的静态障碍物进行比对；

确定所述识别结果中缺失至少一个所述静态障碍物，则生成警示信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述目标的位置区域对所述第一图像、所述第二图像均进行目标识别；

确定所述第一图像和所述第二图像中存在同一物体的目标位置区域；

基于所述目标位置区域分别提取所述第一图像的第一特征数据及所述第二图像的第二特征数据；

基于所述第一特征数据和所述第二特征数据确定所述目标位置区域的目标分类结果。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一特征数据和所述第二特征数据确定所述目标位置区域的目标分类结果，包括：

将所述第一特征数据与所述第二特征数据融合后输入图像分类网络，得到所述目标位置区域的目标分类结果。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述第一图像和所述第二图像中相应的关键点确定所述第一图像与所述第二图像对准的映射关系。

7.根据权利要求1所述的方法，其特征在于，所述获取车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备基于同一检测区域进行图像采集得到的第一图像和第二图像，包括：

获取所述第一图像采集设备采集的第一图像集和所述第二图像采集设备采集的第二图像集；

基于各图像的采集时间、采集地点及采集角度从所述第一图像集及所述第二图像集中提取匹配同一检测区域的所述第一图像和所述第二图像。

8.一种基于车路协同的图像检测装置，其特征在于，包括：

获取模块，用于获取车载单元侧的第一图像采集设备和路侧单元侧的第二图像采集设备基于同一检测区域进行图像采集得到的第一图像和第二图像；

候选区域提取模块，用于基于目标检测算法分别确定所述第一图像的第一目标候选区域及所述第二图像的第二目标候选区域；

映射模块，用于基于所述第一图像与所述第二图像对准的映射关系确定所述第一目标候选区域映射至所述第二图像的第一虚拟目标候选区域及所述第二目标候选区域映射至所述第一图像的第二虚拟目标候选区域；

目标确定模块，用于基于所述第一目标候选区域、所述第二目标候选区域、所述第一虚拟目标候选区域及所述第二虚拟目标候选区域确定所述检测区域中目标的位置区域；

其中，所述第一图像与所述第一图像采集设备对应，所述第二图像与所述第二图像采集设备对应。

9.一种基于车路协同的图像检测设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，

所述处理器，用于运行计算机程序时，执行权利要求1至7任一项所述方法的步骤。

10.一种存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7任一项所述方法的步骤。

Images