CN115294766B - 虚拟红绿灯构建方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种虚拟红绿灯构建方法、装置、设备及存储介质，所述方法通过获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息；根据所述侧方原始图像和所述前后方车辆信息构建车道交通流；根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像；能够减少车辆处于雨天或摄像头被少量遮挡时其识别性能极大下降时的红绿灯漏识别误识别风险，提高了红绿灯识别率，降低了红绿灯识别成本，保证了自动驾驶车辆的驾驶安全性，提高了虚拟红绿灯识别的准确性，提升了虚拟红绿灯构建的速度和效率，提升了用户的驾驶体验。

Description

虚拟红绿灯构建方法、装置、设备及存储介质

技术领域

本发明涉及车辆环境感知探测技术领域，尤其涉及一种虚拟红绿灯构建方法、装置、设备及存储介质。

背景技术

目前相关的自动驾驶汽车离不开红绿灯识别系统，在产品开发的过程中一般遵循两条技术路线：通过摄像头直接识别红绿灯的路线、通过红绿灯上V2X设备发送信号供车辆接收得知信号状态路线；但摄像头直接识别红绿灯的路线的红绿灯识别系统虽已成熟，但在特殊场景由于红绿灯在画面中占比小需要极高的识别精度，在雨天或摄像头被少量遮挡时其识别性能极大下降；红绿灯上V2X设备发送信号供车辆接收得知信号状态路线，目前普及少且需要基础交通设施支持，且车辆上需要V2X设备，对客户体验无提升与降成本为目标的今天格格不入。

自动驾驶汽车在现有的红绿灯识别系统条件下，其中在未识别红绿灯或识别不准确时，为了安全考虑将禁止车辆再次起步，保证了安全性，但大幅降低了功能的可用性。

发明内容

本发明的主要目的在于提供一种虚拟红绿灯构建方法、装置、设备及存储介质，旨在解决现有技术中摄像头直接识别红绿灯在雨天或者摄像头被少量遮挡时识别率较低，影响客户体验，且识别成本高，而对于自动驾驶车辆驾驶安全性较差的技术问题。

第一方面，本发明提供一种虚拟红绿灯构建方法，所述虚拟红绿灯构建方法包括以下步骤：

获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息；

根据所述侧方原始图像和所述前后方车辆信息构建车道交通流；

根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像。

可选地，所述获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息，包括：

通过ADAS环境感知传感器获取当前路口红绿灯的红绿灯图像以及当前车辆的前方目标车辆的车辆信息；

根据角雷达及控制器获取所述当前车辆的后方目标车辆的车辆信息；

根据侧方摄像头采集所述当前车辆的侧方原始图像。

可选地，所述根据所述侧方原始图像和所述前后方车辆信息构建车道交通流，包括：

根据预设侧向图像运动算法对所述侧方原始图像进行计算，获得所述当前车辆的相邻车道的近端交通流；

根据毫米波雷达和环境感知传感器识别所述前后方车辆信息，获得所述当前车辆的车辆前端交通流；

根据角雷达识别所述前后方车辆信息，获得所述当前车辆的车辆后端交通流，根据所述近端交通流、所述车辆前端交通流和所述车辆后端交通流生成车道交通流。

可选地，所述根据预设侧向图像运动算法对所述侧方原始图像进行计算，获得所述当前车辆的相邻车道的近端交通流，包括：

从预设数据库中获取符合所述当前车辆驾驶的当前场景的预设样本参考图像；

将所述侧方原始图像与预设样本参考图像进行相似度匹配，获得相似度大于预设相似度阈值的图像作为目标三维图像；

对所述目标三维图像进行图像函数化，对函数化后的图像进行多分辨率运动修正，获得经过运动补偿的图像序列；

从所述图像序列中提取序列矫正点，获得序列矫正点的所属范围，根据所述所属范围将所述图像序列中的非车辆目标物剔除，对剔除后的图像序列中所述当前车辆与相邻车辆的图像距离进行等效转换，获得现实移动距离；

将所述现实移动距离对所述侧方原始图像进行车辆筛选，获得所述当前车辆的相邻车道的近端交通流。

可选地，所述根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像，包括：

对所述车道交通流进行分析，将大于预设移动距离的侧向区域的经过车辆进行数量统计，获得侧向车辆统计数量；

对所述车道交通流进行分析，将大于预设车速或预设加速度的前向区域的前向车辆进行数据统计，获得前向车辆统计数量；

对所述车道交通流进行分析，将大于预设侧方时刻车速的后方区域的后向车辆进行数据统计，获得后向车辆统计数量；

根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量构建三维MAP图；

根据所述三维MAP图对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像。

可选地，所述根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量构建三维MAP图，包括：

根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量通过下式构建三维矩阵：

M1＝(a，min(a,b)，c)

M2＝(a1+a2，min(a1+a2,b1+b2)，c1+c2)

其中，M1为所述当前车辆邻近只有单侧有车辆时的三维矩阵，a为所述侧向车辆统计数量，b为所述前向车辆统计数量，c为所述后向车辆统计数量；M2为所述当前车辆邻近双侧有车辆时的三维矩阵，a1为左侧向车辆统计数量，a2为右侧向车辆统计数量，b1为左前向车辆统计数量，b2为右前向车辆统计数量，c1为左后向车辆统计数量，c2为右后向车辆统计数量；

根据所述三维矩阵和所述当前车辆所处的当前行驶场景构建三维MAP图。

可选地，所述根据所述三维MAP图对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像，包括：

对所述三维MAP图进行分割，根据预设筛选条件从分割结果中获得红绿灯识别区域；

对所述红绿灯识别区域进行分辨率运动补偿，获得补偿优化后的虚拟红绿灯图像。

第二方面，为实现上述目的，本发明还提出一种虚拟红绿灯构建装置，所述虚拟红绿灯构建装置包括：

数据获取模块，用于获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息；

交通流构建模块，用于根据所述侧方原始图像和所述前后方车辆信息构建车道交通流；

运动补偿模块，用于根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像。

第三方面，为实现上述目的，本发明还提出一种虚拟红绿灯构建设备，所述虚拟红绿灯构建设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟红绿灯构建程序，所述虚拟红绿灯构建程序配置为实现如上文所述的虚拟红绿灯构建方法的步骤。

第四方面，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有虚拟红绿灯构建程序，所述虚拟红绿灯构建程序被处理器执行时实现如上文所述的虚拟红绿灯构建方法的步骤。

本发明提出的虚拟红绿灯构建方法，通过获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息；根据所述侧方原始图像和所述前后方车辆信息构建车道交通流；根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像；能够减少车辆处于雨天或摄像头被少量遮挡时其识别性能极大下降时的红绿灯漏识别误识别风险，提高了红绿灯识别率，降低了红绿灯识别成本，保证了自动驾驶车辆的驾驶安全性，提高了虚拟红绿灯识别的准确性，提升了虚拟红绿灯构建的速度和效率，提升了用户的驾驶体验。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明虚拟红绿灯构建方法第一实施例的流程示意图；

图3为本发明虚拟红绿灯构建方法第二实施例的流程示意图；

图4为本发明虚拟红绿灯构建方法第三实施例的流程示意图；

图5为本发明虚拟红绿灯构建方法第四实施例的流程示意图；

图6为本发明虚拟红绿灯构建方法第五实施例的流程示意图；

图7为本发明虚拟红绿灯构建装置第一实施例的功能模块图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的解决方案主要是：通过获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息；根据所述侧方原始图像和所述前后方车辆信息构建车道交通流；根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像；能够减少车辆处于雨天或摄像头被少量遮挡时其识别性能极大下降时的红绿灯漏识别误识别风险，提高了红绿灯识别率，降低了红绿灯识别成本，保证了自动驾驶车辆的驾驶安全性，提高了虚拟红绿灯识别的准确性，提升了虚拟红绿灯构建的速度和效率，提升了用户的驾驶体验，解决了现有技术中摄像头直接识别红绿灯在雨天或者摄像头被少量遮挡时识别率较低，影响客户体验，且识别成本高，而对于自动驾驶车辆驾驶安全性较差的技术问题。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。

如图1所示，该设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(Non-Volatile Memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对该设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作装置、网络通信模块、用户接口模块以及虚拟红绿灯构建程序。

本发明设备通过处理器1001调用存储器1005中存储的虚拟红绿灯构建程序，并执行以下操作：

获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息；

根据所述侧方原始图像和所述前后方车辆信息构建车道交通流；

根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像。

本发明设备通过处理器1001调用存储器1005中存储的虚拟红绿灯构建程序，还执行以下操作：

通过ADAS环境感知传感器获取当前路口红绿灯的红绿灯图像以及当前车辆的前方目标车辆的车辆信息；

根据角雷达及控制器获取所述当前车辆的后方目标车辆的车辆信息；

根据侧方摄像头采集所述当前车辆的侧方原始图像。

本发明设备通过处理器1001调用存储器1005中存储的虚拟红绿灯构建程序，还执行以下操作：

根据预设侧向图像运动算法对所述侧方原始图像进行计算，获得所述当前车辆的相邻车道的近端交通流；

根据毫米波雷达和环境感知传感器识别所述前后方车辆信息，获得所述当前车辆的车辆前端交通流；

根据角雷达识别所述前后方车辆信息，获得所述当前车辆的车辆后端交通流，根据所述近端交通流、所述车辆前端交通流和所述车辆后端交通流生成车道交通流。

本发明设备通过处理器1001调用存储器1005中存储的虚拟红绿灯构建程序，还执行以下操作：

从预设数据库中获取符合所述当前车辆驾驶的当前场景的预设样本参考图像；

将所述侧方原始图像与预设样本参考图像进行相似度匹配，获得相似度大于预设相似度阈值的图像作为目标三维图像；

对所述目标三维图像进行图像函数化，对函数化后的图像进行多分辨率运动修正，获得经过运动补偿的图像序列；

从所述图像序列中提取序列矫正点，获得序列矫正点的所属范围，根据所述所属范围将所述图像序列中的非车辆目标物剔除，对剔除后的图像序列中所述当前车辆与相邻车辆的图像距离进行等效转换，获得现实移动距离；

将所述现实移动距离对所述侧方原始图像进行车辆筛选，获得所述当前车辆的相邻车道的近端交通流。

本发明设备通过处理器1001调用存储器1005中存储的虚拟红绿灯构建程序，还执行以下操作：

对所述车道交通流进行分析，将大于预设移动距离的侧向区域的经过车辆进行数量统计，获得侧向车辆统计数量；

对所述车道交通流进行分析，将大于预设车速或预设加速度的前向区域的前向车辆进行数据统计，获得前向车辆统计数量；

对所述车道交通流进行分析，将大于预设侧方时刻车速的后方区域的后向车辆进行数据统计，获得后向车辆统计数量；

根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量构建三维MAP图；

根据所述三维MAP图对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像。

本发明设备通过处理器1001调用存储器1005中存储的虚拟红绿灯构建程序，还执行以下操作：

根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量通过下式构建三维矩阵：

M1＝(a，min(a,b)，c)

M2＝(a1+a2，min(a1+a2,b1+b2)，c1+c2)

其中，M1为所述当前车辆邻近只有单侧有车辆时的三维矩阵，a为所述侧向车辆统计数量，b为所述前向车辆统计数量，c为所述后向车辆统计数量；M2为所述当前车辆邻近双侧有车辆时的三维矩阵，a1为左侧向车辆统计数量，a2为右侧向车辆统计数量，b1为左前向车辆统计数量，b2为右前向车辆统计数量，c1为左后向车辆统计数量，c2为右后向车辆统计数量；

根据所述三维矩阵和所述当前车辆所处的当前行驶场景构建三维MAP图。

本发明设备通过处理器1001调用存储器1005中存储的虚拟红绿灯构建程序，还执行以下操作：

对所述三维MAP图进行分割，根据预设筛选条件从分割结果中获得红绿灯识别区域；

对所述红绿灯识别区域进行分辨率运动补偿，获得补偿优化后的虚拟红绿灯图像。

本实施例通过上述方案，通过获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息；根据所述侧方原始图像和所述前后方车辆信息构建车道交通流；根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像；能够减少车辆处于雨天或摄像头被少量遮挡时其识别性能极大下降时的红绿灯漏识别误识别风险，提高了红绿灯识别率，降低了红绿灯识别成本，保证了自动驾驶车辆的驾驶安全性，提高了虚拟红绿灯识别的准确性，提升了虚拟红绿灯构建的速度和效率，提升了用户的驾驶体验。

基于上述硬件结构，提出本发明虚拟红绿灯构建方法实施例。

参照图2，图2为本发明虚拟红绿灯构建方法第一实施例的流程示意图。

在第一实施例中，所述虚拟红绿灯构建方法包括以下步骤：

步骤S10、获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息。

需要说明的是，所述红绿灯图像为当前车辆在行驶过程中所处的当前路口中的红绿灯对应的红绿灯图像，所述侧方原始图像为当前车辆行驶过程中侧方摄像头拍摄获得的路况图像，所述前后方车辆信息为当前车辆的前方和后方对应的车辆信息。

步骤S20、根据所述侧方原始图像和所述前后方车辆信息构建车道交通流。

可以理解的是，通过所述侧方原始图像和所述前后方车辆信息可以构建所述当前车辆所处的当前场景下的车道交通流信息果。

步骤S30、根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像。

应当理解的是，通过所述车道交通流可以对所述红绿灯图像进行运动补偿，进而获得补偿优化后的虚拟红绿灯图像。

本实施例通过上述方案，通过获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息；根据所述侧方原始图像和所述前后方车辆信息构建车道交通流；根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像；能够减少车辆处于雨天或摄像头被少量遮挡时其识别性能极大下降时的红绿灯漏识别误识别风险，提高了红绿灯识别率，降低了红绿灯识别成本，保证了自动驾驶车辆的驾驶安全性，提高了虚拟红绿灯识别的准确性，提升了虚拟红绿灯构建的速度和效率，提升了用户的驾驶体验。

进一步地，图3为本发明虚拟红绿灯构建方法第二实施例的流程示意图，如图3所示，基于第一实施例提出本发明虚拟红绿灯构建方法第二实施例，在本实施例中，所述步骤S10具体包括以下步骤：

步骤S11、通过ADAS环境感知传感器获取当前路口红绿灯的红绿灯图像以及当前车辆的前方目标车辆的车辆信息。

需要说明的是，通过ADAS环境感知传感器可以识别出当前路口红绿灯的红绿灯信息及颜色；以及与所述当前车辆相关的前方目标车辆，进而获得前方目标车辆重要的基本参数(例如类型，距离以及加速度等)。

步骤S12、根据角雷达及控制器获取所述当前车辆的后方目标车辆的车辆信息。

可以理解的是，通过角雷达及控制器可以获得与所述当前车辆相关的后方目标车辆，进而获得后方目标车辆重要的基本参数(例如类型，距离以及加速度等)。

步骤S13、根据侧方摄像头采集所述当前车辆的侧方原始图像。

应当理解的是，通过侧方摄像头采集所述当前车辆的侧方原始图像，进而可以传输至中央处理器，通过所述中央控制器存储的算法，可以计算出优化后的虚拟红绿灯信号。

本实施例通过上述方案，通过ADAS环境感知传感器获取当前路口红绿灯的红绿灯图像以及当前车辆的前方目标车辆的车辆信息；根据角雷达及控制器获取所述当前车辆的后方目标车辆的车辆信息；根据侧方摄像头采集所述当前车辆的侧方原始图像；能够快速精确获得红绿灯图像，侧方原始图像和前后方车辆信息，提高了虚拟红绿灯识别的准确性。

进一步地，图4为本发明虚拟红绿灯构建方法第三实施例的流程示意图，如图4所示，基于第一实施例提出本发明虚拟红绿灯构建方法第三实施例，在本实施例中，所述步骤S20具体包括以下步骤：

步骤S21、根据预设侧向图像运动算法对所述侧方原始图像进行计算，获得所述当前车辆的相邻车道的近端交通流。

需要说明的是，通过预设侧向图像运动算法对所述侧方原始图像进行计算，可以获得与所述当前车辆的相邻车道的近端交通流。

进一步的，所述步骤S21之前，所述虚拟红绿灯构建方法还包括：

在所述当前车辆的当前车速为0时，通过V2X或者地图系统获取所述当前车辆的本车道及相邻车道的导流信息；

在所述导流信息有效开启时，根据预设侧向图像运动算法开启近端交通流识别功能。

可以理解的是，V2X或地图定位系统具备车道导向判断能力；侧向摄像头向中央控制器提供侧向图像信息；中央控制器具备简单图像处理算法的处理能力，中央控制器在车速为0时，通过V2X或者地图系统获取本车道及相邻车道的导流信息；若判断车道导流信息有效后开启，和本车道导流信息相同车道的，采用基于本发明特定侧向图像运动算法，可以识别相邻车道近端交通流；若识别成功则记录。

进一步的，所述步骤S21具体包括以下步骤：

从预设数据库中获取符合所述当前车辆驾驶的当前场景的预设样本参考图像；

将所述侧方原始图像与预设样本参考图像进行相似度匹配，获得相似度大于预设相似度阈值的图像作为目标三维图像；

对所述目标三维图像进行图像函数化，对函数化后的图像进行多分辨率运动修正，获得经过运动补偿的图像序列；

从所述图像序列中提取序列矫正点，获得序列矫正点的所属范围，根据所述所属范围将所述图像序列中的非车辆目标物剔除，对剔除后的图像序列中所述当前车辆与相邻车辆的图像距离进行等效转换，获得现实移动距离；

将所述现实移动距离对所述侧方原始图像进行车辆筛选，获得所述当前车辆的相邻车道的近端交通流。

需要说明的是，所述预设数据库中存储有当前道路场景下的历史监控数据，从所述预设数据库中可以获取符合所述当前车辆驾驶的当前场景的预设样本参考图像，进而将所述侧方原始图像与预设样本参考图像进行相似度匹配，可以获得两者图像中各个相同位置的相似度，进而可以将所述侧方原始图像相似度大于预设相似度阈值的图像作为目标三维图像。

可以理解的是，通过对所述目标三维图像进行图像函数话，可以获得函数化的图像，进一步进行多分辨率运动修正，可以获得经过运动补偿的图像序列，进而通过提取图像序列的矫正点，根据序列矫正点的所属范围可以将所述图像序列中的非车辆目标物剔除，进行所述当前车辆与相邻车辆的图像距离等效转换后，可以获得现实移动距离，将所述现实移动距离与预先设置的距离阈值比较后，可以将符合要求的移动距离的车辆作为相邻车道上的车辆，进而获得所述当前车辆的相邻车道的近端交通流。

步骤S22、根据毫米波雷达和环境感知传感器识别所述前后方车辆信息，获得所述当前车辆的车辆前端交通流。

可以理解的是，毫米波雷达及环境感知传感器单独或融合使用构成的系统具备车辆运动参数识别的能力；通过毫米波雷达以及环境感知传感器单独或融合可以识别车辆前端交通流，即识别所述前后方车辆信息，获得所述当前车辆的车辆前端交通流。

步骤S23、根据角雷达识别所述前后方车辆信息，获得所述当前车辆的车辆后端交通流，根据所述近端交通流、所述车辆前端交通流和所述车辆后端交通流生成车道交通流。

应当理解的是，角雷达系统具备车辆运动参数识别的能力，通过角雷达可以识别车辆后端交通流，即识别所述前后方车辆信息，获得所述当前车辆的车辆后端交通流，进而将所述近端交通流、所述车辆前端交通流和所述车辆后端交通流作为车道交通流。

本实施例通过上述方案，通过根据预设侧向图像运动算法对所述侧方原始图像进行计算，获得所述当前车辆的相邻车道的近端交通流；根据毫米波雷达和环境感知传感器识别所述前后方车辆信息，获得所述当前车辆的车辆前端交通流；根据角雷达识别所述前后方车辆信息，获得所述当前车辆的车辆后端交通流，根据所述近端交通流、所述车辆前端交通流和所述车辆后端交通流生成车道交通流；能够准确获得当前车辆所处的车道环境的车道交通流，为后续红绿灯图像运动补偿提供依据，提高了虚拟红绿灯识别的准确性，提升了虚拟红绿灯构建的速度和效率。

进一步地，图5为本发明虚拟红绿灯构建方法第四实施例的流程示意图，如图5所示，基于第一实施例提出本发明虚拟红绿灯构建方法第四实施例，在本实施例中，所述步骤S30具体包括以下步骤：

步骤S31、对所述车道交通流进行分析，将大于预设移动距离的侧向区域的经过车辆进行数量统计，获得侧向车辆统计数量。

需要说明的是，对所述车道交通流进行分析，可以将大于预设移动距离的侧向区域的经过车辆进行数量统计，获得侧向车辆统计数量，即对于侧向区侧向图像运动算法进行分析，图像位移确认后；若相邻车辆目标的移动的图像距离，进而等效换算的物体移动的现实距离若大于4m(可按本车实际情况确定，本实施例确定为4m)视为侧向区有车辆穿过，对应侧向车辆统计数量值累计加1。

步骤S32、对所述车道交通流进行分析，将大于预设车速或预设加速度的前向区域的前向车辆进行数据统计，获得前向车辆统计数量。

应当理解的是，对所述车道交通流进行分析，可以将大于预设车速或预设加速度的前向区域的前向车辆进行数据统计，获得前向车辆统计数量。

在具体实现中，通过毫米波雷达及环境感知传感器单独或融合识别到有车辆且目标车速大于7km/h或目标车的加速度大于2m/s^2，则对应前向车辆统计数量值累加1，预设车速和预设加速度当然也可以设置为其他数值，可以根据实际情况进行调整，本实施例对此不加以限制。

步骤S33、对所述车道交通流进行分析，将大于预设侧方时刻车速的后方区域的后向车辆进行数据统计，获得后向车辆统计数量。

可以理解的是，对所述车道交通流进行分析，可以将大于预设侧方时刻车速的后方区域的后向车辆进行数据统计，获得后向车辆统计数量。

在具体实现中，通过角雷达识别到车辆且目标车速测得为v，若

即通过本车侧方时刻的速度V大于10km/h，则对应后向车辆统计数量值累加1；侧方时刻的速度V大于5km/h，则对应c值累加0.3，当然也可以设置为其他数值，可以根据实际情况进行调整，本实施例对此不加以限制。

步骤S34、根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量构建三维MAP图。

可以理解的是，通过所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量可以构建当前车辆的三维MAP图。

进一步的，所述步骤S34具体包括以下步骤：

根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量通过下式构建三维矩阵：

M1＝(a，min(a,b)，c)

M2＝(a1+a2，min(a1+a2,b1+b2)，c1+c2)

其中，M1为所述当前车辆邻近只有单侧有车辆时的三维矩阵，a为所述侧向车辆统计数量，b为所述前向车辆统计数量，c为所述后向车辆统计数量；M2为所述当前车辆邻近双侧有车辆时的三维矩阵，a1为左侧向车辆统计数量，a2为右侧向车辆统计数量，b1为左前向车辆统计数量，b2为右前向车辆统计数量，c1为左后向车辆统计数量，c2为右后向车辆统计数量；

根据所述三维矩阵和所述当前车辆所处的当前行驶场景构建三维MAP图。

可以理解的是，通过上述公式可以获得当前车辆邻近只有单侧有车辆时的三维矩阵，以及当前车辆邻近双侧有车辆时的三维矩阵。

步骤S35、根据所述三维MAP图对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像。

应当理解的是，通过所述三维MAP图对所述红绿灯图像进行运动补偿，进而可以获得补偿优化后的虚拟红绿灯图像，进而可以提醒驾驶员进行红绿灯操作判断，在雨天或大雾天气看不太清红绿灯时提供辅助判断依据，而对于自动驾驶车辆，则可以作为车辆下一步起步或其他控制的依据，保证了自动驾驶车辆的驾驶安全性，提升了用户的驾驶体验。

本实施例通过上述方案，通过对所述车道交通流进行分析，将大于预设移动距离的侧向区域的经过车辆进行数量统计，获得侧向车辆统计数量；对所述车道交通流进行分析，将大于预设车速或预设加速度的前向区域的前向车辆进行数据统计，获得前向车辆统计数量；对所述车道交通流进行分析，将大于预设侧方时刻车速的后方区域的后向车辆进行数据统计，获得后向车辆统计数量；根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量构建三维MAP图；根据所述三维MAP图对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像，能够减少车辆处于雨天或摄像头被少量遮挡时其识别性能极大下降时的红绿灯漏识别误识别风险，提高了红绿灯识别率，降低了红绿灯识别成本，保证了自动驾驶车辆的驾驶安全性，提高了虚拟红绿灯识别的准确性，提升了虚拟红绿灯构建的速度和效率，提升了用户的驾驶体验。

进一步地，图6为本发明虚拟红绿灯构建方法第五实施例的流程示意图，如图6所示，基于第四实施例提出本发明虚拟红绿灯构建方法第五实施例，在本实施例中，所述步骤S35，具体包括以下步骤：

步骤S351、对所述三维MAP图进行分割，根据预设筛选条件从分割结果中获得红绿灯识别区域。

需要说明的是，所述预设筛选条件为预先设置的图像识别筛选条件，通过对所述三维MAP图进行分割进而可以根据预设筛选条件将分割后的图像中的干扰图像进行筛除，获得红绿灯识别区域，从而提升虚拟红绿灯构建的准确性。

在具体实现中，可以设置侧向车辆统计数量a，前向车辆统计数量b，后向车辆统计数量c符合a>1，min(a，b)>2，c>2的条件的区域作为可信区域，即作为红绿灯识别区域。

步骤S352、对所述红绿灯识别区域进行分辨率运动补偿，获得补偿优化后的虚拟红绿灯图像。

应当理解的是，对所述红绿灯识别区域进行分辨率运动补偿，能够获得补偿优化后的虚拟红绿灯图像。

本实施例通过上述方案，通过对所述三维MAP图进行分割，根据预设筛选条件从分割结果中获得红绿灯识别区域；对所述红绿灯识别区域进行分辨率运动补偿，获得补偿优化后的虚拟红绿灯图像，能够减少车辆处于雨天或摄像头被少量遮挡时其识别性能极大下降时的红绿灯漏识别误识别风险，提高了红绿灯识别率，降低了红绿灯识别成本，保证了自动驾驶车辆的驾驶安全性，提高了虚拟红绿灯识别的准确性，提升了虚拟红绿灯构建的速度和效率，提升了用户的驾驶体验。

相应地，本发明进一步提供一种虚拟红绿灯构建装置。

参照图7，图7为本发明虚拟红绿灯构建装置第一实施例的功能模块图。

本发明虚拟红绿灯构建装置第一实施例中，该虚拟红绿灯构建装置包括：

数据获取模块10，用于获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息。

交通流构建模块20，用于根据所述侧方原始图像和所述前后方车辆信息构建车道交通流。

运动补偿模块30，用于根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像。

所述数据获取模块10，还用于通过ADAS环境感知传感器获取当前路口红绿灯的红绿灯图像以及当前车辆的前方目标车辆的车辆信息；根据角雷达及控制器获取所述当前车辆的后方目标车辆的车辆信息；根据侧方摄像头采集所述当前车辆的侧方原始图像。

所述交通流构建模块20，还用于根据预设侧向图像运动算法对所述侧方原始图像进行计算，获得所述当前车辆的相邻车道的近端交通流；根据毫米波雷达和环境感知传感器识别所述前后方车辆信息，获得所述当前车辆的车辆前端交通流；根据角雷达识别所述前后方车辆信息，获得所述当前车辆的车辆后端交通流，根据所述近端交通流、所述车辆前端交通流和所述车辆后端交通流生成车道交通流。

所述交通流构建模块20，还用于从预设数据库中获取符合所述当前车辆驾驶的当前场景的预设样本参考图像；将所述侧方原始图像与预设样本参考图像进行相似度匹配，获得相似度大于预设相似度阈值的图像作为目标三维图像；对所述目标三维图像进行图像函数化，对函数化后的图像进行多分辨率运动修正，获得经过运动补偿的图像序列；从所述图像序列中提取序列矫正点，获得序列矫正点的所属范围，根据所述所属范围将所述图像序列中的非车辆目标物剔除，对剔除后的图像序列中所述当前车辆与相邻车辆的图像距离进行等效转换，获得现实移动距离；将所述现实移动距离对所述侧方原始图像进行车辆筛选，获得所述当前车辆的相邻车道的近端交通流。

所述运动补偿模块30，还用于对所述车道交通流进行分析，将大于预设移动距离的侧向区域的经过车辆进行数量统计，获得侧向车辆统计数量；对所述车道交通流进行分析，将大于预设车速或预设加速度的前向区域的前向车辆进行数据统计，获得前向车辆统计数量；对所述车道交通流进行分析，将大于预设侧方时刻车速的后方区域的后向车辆进行数据统计，获得后向车辆统计数量；根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量构建三维MAP图；根据所述三维MAP图对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像。

所述运动补偿模块30，还用于根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量通过下式构建三维矩阵：

M1＝(a，min(a,b)，c)

M2＝(a1+a2，min(a1+a2,b1+b2)，c1+c2)

其中，M1为所述当前车辆邻近只有单侧有车辆时的三维矩阵，a为所述侧向车辆统计数量，b为所述前向车辆统计数量，c为所述后向车辆统计数量；M2为所述当前车辆邻近双侧有车辆时的三维矩阵，a1为左侧向车辆统计数量，a2为右侧向车辆统计数量，b1为左前向车辆统计数量，b2为右前向车辆统计数量，c1为左后向车辆统计数量，c2为右后向车辆统计数量；根据所述三维矩阵和所述当前车辆所处的当前行驶场景构建三维MAP图。

所述运动补偿模块30，还用于对所述三维MAP图进行分割，根据预设筛选条件从分割结果中获得红绿灯识别区域；对所述红绿灯识别区域进行分辨率运动补偿，获得补偿优化后的虚拟红绿灯图像。

其中，虚拟红绿灯构建装置的各个功能模块实现的步骤可参照本发明虚拟红绿灯构建方法的各个实施例，此处不再赘述。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有虚拟红绿灯构建程序，所述虚拟红绿灯构建程序被处理器执行时实现如下操作：

获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息；

根据所述侧方原始图像和所述前后方车辆信息构建车道交通流；

根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像。

进一步地，所述虚拟红绿灯构建程序被处理器执行时还实现如下操作：

通过ADAS环境感知传感器获取当前路口红绿灯的红绿灯图像以及当前车辆的前方目标车辆的车辆信息；

根据角雷达及控制器获取所述当前车辆的后方目标车辆的车辆信息；

根据侧方摄像头采集所述当前车辆的侧方原始图像。

进一步地，所述虚拟红绿灯构建程序被处理器执行时还实现如下操作：

根据预设侧向图像运动算法对所述侧方原始图像进行计算，获得所述当前车辆的相邻车道的近端交通流；

根据毫米波雷达和环境感知传感器识别所述前后方车辆信息，获得所述当前车辆的车辆前端交通流；

根据角雷达识别所述前后方车辆信息，获得所述当前车辆的车辆后端交通流，根据所述近端交通流、所述车辆前端交通流和所述车辆后端交通流生成车道交通流。

进一步地，所述虚拟红绿灯构建程序被处理器执行时还实现如下操作：

从预设数据库中获取符合所述当前车辆驾驶的当前场景的预设样本参考图像；

将所述侧方原始图像与预设样本参考图像进行相似度匹配，获得相似度大于预设相似度阈值的图像作为目标三维图像；

对所述目标三维图像进行图像函数化，对函数化后的图像进行多分辨率运动修正，获得经过运动补偿的图像序列；

从所述图像序列中提取序列矫正点，获得序列矫正点的所属范围，根据所述所属范围将所述图像序列中的非车辆目标物剔除，对剔除后的图像序列中所述当前车辆与相邻车辆的图像距离进行等效转换，获得现实移动距离；

将所述现实移动距离对所述侧方原始图像进行车辆筛选，获得所述当前车辆的相邻车道的近端交通流。

进一步地，所述虚拟红绿灯构建程序被处理器执行时还实现如下操作：

对所述车道交通流进行分析，将大于预设移动距离的侧向区域的经过车辆进行数量统计，获得侧向车辆统计数量；

对所述车道交通流进行分析，将大于预设车速或预设加速度的前向区域的前向车辆进行数据统计，获得前向车辆统计数量；

对所述车道交通流进行分析，将大于预设侧方时刻车速的后方区域的后向车辆进行数据统计，获得后向车辆统计数量；

根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量构建三维MAP图；

根据所述三维MAP图对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像。

进一步地，所述虚拟红绿灯构建程序被处理器执行时还实现如下操作：

根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量通过下式构建三维矩阵：

M1＝(a，min(a,b)，c)

M2＝(a1+a2，min(a1+a2,b1+b2)，c1+c2)

其中，M1为所述当前车辆邻近只有单侧有车辆时的三维矩阵，a为所述侧向车辆统计数量，b为所述前向车辆统计数量，c为所述后向车辆统计数量；M2为所述当前车辆邻近双侧有车辆时的三维矩阵，a1为左侧向车辆统计数量，a2为右侧向车辆统计数量，b1为左前向车辆统计数量，b2为右前向车辆统计数量，c1为左后向车辆统计数量，c2为右后向车辆统计数量；

根据所述三维矩阵和所述当前车辆所处的当前行驶场景构建三维MAP图。

进一步地，所述虚拟红绿灯构建程序被处理器执行时还实现如下操作：

对所述三维MAP图进行分割，根据预设筛选条件从分割结果中获得红绿灯识别区域；

对所述红绿灯识别区域进行分辨率运动补偿，获得补偿优化后的虚拟红绿灯图像。

本实施例通过上述方案，通过获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息；根据所述侧方原始图像和所述前后方车辆信息构建车道交通流；根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像；能够减少车辆处于雨天或摄像头被少量遮挡时其识别性能极大下降时的红绿灯漏识别误识别风险，提高了红绿灯识别率，降低了红绿灯识别成本，保证了自动驾驶车辆的驾驶安全性，提高了虚拟红绿灯识别的准确性，提升了虚拟红绿灯构建的速度和效率，提升了用户的驾驶体验。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种虚拟红绿灯构建方法，其特征在于，所述虚拟红绿灯构建方法包括：

获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息；

根据所述侧方原始图像和所述前后方车辆信息构建车道交通流；

根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像；

其中，所述根据所述侧方原始图像和所述前后方车辆信息构建车道交通流，包括：

根据预设侧向图像运动算法对所述侧方原始图像进行计算，获得所述当前车辆的相邻车道的近端交通流；

根据毫米波雷达和环境感知传感器识别所述前后方车辆信息，获得所述当前车辆的车辆前端交通流；

根据角雷达识别所述前后方车辆信息，获得所述当前车辆的车辆后端交通流，根据所述近端交通流、所述车辆前端交通流和所述车辆后端交通流生成车道交通流；

其中，所述根据预设侧向图像运动算法对所述侧方原始图像进行计算，获得所述当前车辆的相邻车道的近端交通流，包括：

从预设数据库中获取符合所述当前车辆驾驶的当前场景的预设样本参考图像；

将所述侧方原始图像与预设样本参考图像进行相似度匹配，获得相似度大于预设相似度阈值的图像作为目标三维图像；

对所述目标三维图像进行图像函数化，对函数化后的图像进行多分辨率运动修正，获得经过运动补偿的图像序列；

从所述图像序列中提取序列矫正点，获得序列矫正点的所属范围，根据所述所属范围将所述图像序列中的非车辆目标物剔除，对剔除后的图像序列中所述当前车辆与相邻车辆的图像距离进行等效转换，获得现实移动距离；

将所述现实移动距离对所述侧方原始图像进行车辆筛选，获得所述当前车辆的相邻车道的近端交通流。

2.如权利要求1所述的虚拟红绿灯构建方法，其特征在于，所述获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息，包括：

通过ADAS环境感知传感器获取当前路口红绿灯的红绿灯图像以及当前车辆的前方目标车辆的车辆信息；

根据角雷达及控制器获取所述当前车辆的后方目标车辆的车辆信息；

根据侧方摄像头采集所述当前车辆的侧方原始图像。

3.如权利要求1所述的虚拟红绿灯构建方法，其特征在于，所述根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像，包括：

对所述车道交通流进行分析，将大于预设移动距离的侧向区域的经过车辆进行数量统计，获得侧向车辆统计数量；

对所述车道交通流进行分析，将大于预设车速或预设加速度的前向区域的前向车辆进行数据统计，获得前向车辆统计数量；

对所述车道交通流进行分析，将大于预设侧方时刻车速的后方区域的后向车辆进行数据统计，获得后向车辆统计数量；

根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量构建三维MAP图；

根据所述三维MAP图对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像。

4.如权利要求3所述的虚拟红绿灯构建方法，其特征在于，所述根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量构建三维MAP图，包括：

根据所述侧向车辆统计数量、所述前向车辆统计数量和所述后向车辆统计数量通过下式构建三维矩阵：

M1＝(a，min(a,b)，c)

M2＝(a1+a2，min(a1+a2,b1+b2)，c1+c2)

其中，M1为所述当前车辆邻近只有单侧有车辆时的三维矩阵，a为所述侧向车辆统计数量，b为所述前向车辆统计数量，c为所述后向车辆统计数量；M2为所述当前车辆邻近双侧有车辆时的三维矩阵，a1为左侧向车辆统计数量，a2为右侧向车辆统计数量，b1为左前向车辆统计数量，b2为右前向车辆统计数量，c1为左后向车辆统计数量，c2为右后向车辆统计数量；

根据所述三维矩阵和所述当前车辆所处的当前行驶场景构建三维MAP图。

5.权利要求3所述的虚拟红绿灯构建方法，其特征在于，所述根据所述三维MAP图对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像，包括：

对所述三维MAP图进行分割，根据预设筛选条件从分割结果中获得红绿灯识别区域；

对所述红绿灯识别区域进行分辨率运动补偿，获得补偿优化后的虚拟红绿灯图像。

6.一种虚拟红绿灯构建装置，其特征在于，所述虚拟红绿灯构建装置包括：

数据获取模块，用于获取当前路口红绿灯的红绿灯图像，当前车辆的侧方原始图像和前后方车辆信息；

交通流构建模块，用于根据所述侧方原始图像和所述前后方车辆信息构建车道交通流；

运动补偿模块，用于根据所述车道交通流对所述红绿灯图像进行运动补偿，获得优化后的虚拟红绿灯图像；

所述交通流构建模块，还用于根据预设侧向图像运动算法对所述侧方原始图像进行计算，获得所述当前车辆的相邻车道的近端交通流；根据毫米波雷达和环境感知传感器识别所述前后方车辆信息，获得所述当前车辆的车辆前端交通流；根据角雷达识别所述前后方车辆信息，获得所述当前车辆的车辆后端交通流，根据所述近端交通流、所述车辆前端交通流和所述车辆后端交通流生成车道交通流；

所述交通流构建模块，还用于从预设数据库中获取符合所述当前车辆驾驶的当前场景的预设样本参考图像；将所述侧方原始图像与预设样本参考图像进行相似度匹配，获得相似度大于预设相似度阈值的图像作为目标三维图像；对所述目标三维图像进行图像函数化，对函数化后的图像进行多分辨率运动修正，获得经过运动补偿的图像序列；从所述图像序列中提取序列矫正点，获得序列矫正点的所属范围，根据所述所属范围将所述图像序列中的非车辆目标物剔除，对剔除后的图像序列中所述当前车辆与相邻车辆的图像距离进行等效转换，获得现实移动距离；将所述现实移动距离对所述侧方原始图像进行车辆筛选，获得所述当前车辆的相邻车道的近端交通流。

7.一种虚拟红绿灯构建设备，其特征在于，所述虚拟红绿灯构建设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的虚拟红绿灯构建程序，所述虚拟红绿灯构建程序配置为实现如权利要求1至5中任一项所述的虚拟红绿灯构建方法的步骤。

8.一种存储介质，其特征在于，所述存储介质上存储有虚拟红绿灯构建程序，所述虚拟红绿灯构建程序被处理器执行时实现如权利要求1至5中任一项所述的虚拟红绿灯构建方法的步骤。

Images