CN113420805A - 视频和雷达的动态轨迹图像融合方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种视频和雷达的动态轨迹图像融合方法、装置、设备及介质，涉及智能交通技术领域，包括：基于V2X路侧单元获取目标区域对应车辆的V2X车载单元BSM信息，采集所述目标区域的视频，通过视频目标提取算法获取目标区域的目标车辆信息，采集所述目标区域的雷达点云数据，并提取目标区域内的车辆信息，根据时间序列获得图像第一轨迹图像和雷达第二轨迹图像，将第二轨迹图像，实时获取的所述BSM信息结合所述融合轨迹图像获得三维定位坐标轨迹图像，进而获取目标车辆的高精度的轨迹并获得详细参数，且设置警示值域通过V2X监测车辆行驶，便于交通管制，减少流量的损耗。

Description

视频和雷达的动态轨迹图像融合方法、装置、设备及介质

技术领域

本发明涉及智能交通技术领域，具体涉及一种视频和雷达的动态轨迹图像融合方法、装置、设备及介质。

背景技术

V2X(Vehicle to X)，是未来智能交通运输系统的关键技术。它使得车与车、车与基站、基站与基站之间能够通信。从而获得实时路况、道路信息、行人信息等一系列交通信息，从而提高驾驶安全性、减少拥堵、提高交通效率、提供车载娱乐信息等。

在智能交通领域，交通可视化数字场景构建保障交通安全、发挥交通效能，提供通畅出行和可持续的服务。在现有技术中，多为建立仿真带入相应数据模拟交通情况，有鉴于无人驾驶以及人工智能技术的发展，对于交通可视化数字场景的实时性和精度提出了更高的要求。

有鉴于此，如何实时动态的获取交通目标的三维数据，为高精度的应用场景提供数据支撑是我们需要解决的。

发明内容

有鉴于此，本发明提出一种视频和雷达的动态轨迹图像融合方法、装置、设备及介质，用以提供实时动态的高精度交通目标三维数据。

第一方面，本发明实施例提供一种视频和雷达的动态轨迹图像融合方法，该方法包括步骤：

基于V2X路侧单元获取目标区域对应车辆的V2X车载单元BSM信息；

采集所述目标区域的视频，通过视频目标提取算法获取目标区域的目标车辆信息；

采集所述目标区域的雷达点云数据，并提取目标区域内的车辆信息

根据时间顺序，获取目标区域车辆的图像目标轨迹点和3D雷达目标轨迹点；

基于图像处理算法提取图像目标轨迹点获得第一轨迹图像，将3D雷达目标轨迹点连接获得第二轨迹图像；

基于图像匹配算法将第一轨迹图像和第二轨迹图像结合获得融合轨迹图像；

根据实时获取的所述BSM信息结合所述融合轨迹图像获得三维定位坐标轨迹图像。

在本实施方式中，将视频和雷达的动态轨迹图像融合方法是指视频图像检测到的目标轨迹形状与雷达目标检测所形成的目标轨迹进行匹配。匹配成功后，得到视频检测区域与雷达检测区域一致形成图像与雷达之间的映射关系。之后可将雷达检测的目标与视频图像检测到的目标进行关联融合两者之间的目标信息，具体来说，将视频数据和雷达数据根据时间序列将轨迹匹配，再进一步结合BSM优化数据，进而获取目标车辆的高精度的轨迹并获得详细参数。

在一个可能的实施方式中，在步骤S10中，包括步骤，设定BSM信息监测警示值域；判断目标车辆BSM信息的测量值与监测警示值域的关系；当所述目标车辆BSM信息的测量值在所述BSM信息监测警示值域时，调节所述目标区域的视频采集码率或调用其他监测设备，对于交通监测时，时常有违背交通的情况，包括超速行驶、违约变道等，通过V2X及时调取BSM信息进而获取车辆的实时行驶数据，鉴于其测量值越过警示值域后对其进行预警，并调节相应区域监控设备的码率，抓取高清视频便于后续统计数据处理，同时警示值域设置合理可减轻监测时持续高清监测的流量的损耗。

在一个可能的实施方式中，在步骤S102中，在判断目标车辆BSM信息的测量值与监测警示值域的关系中，所述BSM信息至少包括速度、加速度和方向角，其便于监测车辆的各项交通指标便于判断其是否违规。

在一个可能的实施方式中，在根据实时获取的所述BSM信息结合所述融合轨迹图像获得三维定位坐标轨迹图像中，所述BSM信息至少包括目标车辆定位数据和车型数据时间车轨迹的精准还原。

第二方面，本发明实施例提供一种视频和雷达的动态轨迹图像融合装置，该装置包括：

视频采集单元模块，采集实时视频图像数据，其连接有云台，其中，视频采集单元模块设置多个，其中一个与激光雷达单元模块数据采集方向一致，其余视频采集模块由云台控制调整。

激光雷达单元模块，实时采集雷达3D点云数据；

V2X车载单元模块，被安装于车辆内用于存储和传输BSM信息；

V2X路侧单元模块，被用于对所述V2X车载单元模块内的BSM信息进行提取；

数据处理模块，其用于视频图像的目标检测以及雷达3D点云数据中的目标检测，根据时序获取目标区域车辆的图像目标轨迹点和3D雷达目标轨迹点并获取第一轨迹图像和第二轨迹图像，以及将第一轨迹图像和第二轨迹图像结合获得融合轨迹图像，根据BSM信息优化融合轨迹图像获得三维定位坐标轨迹图像；

其中，所述视频采集单元模块、激光雷达单元模块和V2X路侧单元模块安装于路侧，并与所述数据处理模块通过总线连接。

本装置中，位于路侧的视频采集单元模块、激光雷达单元模块和V2X路侧单元模块获取车辆的V2X数据，并将采集目标区域车辆的视频数据和雷达数据生成与其对应的轨迹，将轨迹在平面与3D场景进行融合，能得到车辆的3D轨迹图像，且本装置只采集部分数据，需要的采集量较小即可还原车辆3D运行轨迹。

进一步地，上述数据处理模块包括：

云台控制单元模块，被用于调节视频采集单元模块的监测目标区域；

码率调节单元模块，被用于调整视频采集单元模块的码率；

所述云台控制单元模块连接控制所述码率调节单元模块。

本实施方式中，视频采集单元模块为多个，其中视频采集单元模块一个与激光雷达单元模块固定摄影，其余视频采集单元模块或设置于其他路侧，其通信交互，码率调节单元模块根据目标车辆的行驶信息调节监测精度便于采集车辆的高清信息，云台控制单元模块根据车辆的准确位置信息控制部分路侧视频采集单元模块捕获目标车辆信息。

第三方面，本发明实施例提供一种电子设备，该设备包括：至少一个处理器和储存器；

处理器用于执行储存器中储存的计算机程序，以实现如第一方面任一实施方式所介绍的一种视频和雷达的动态轨迹图像融合方法。

第四方面，本发明实施例提供一种计算机储存介质，该计算机储存介质储存有一个或多个程序，一个或者多个程序可被如第三方面介绍的电子设备执行，以实现如第一方面任一实施方式所介绍的一种视频和雷达的动态轨迹图像融合装置。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明一种视频和雷达的动态轨迹图像融合方法、装置、设备及介质，将视频和雷达的动态轨迹图像融合方法是指视频图像检测到的目标轨迹形状与雷达目标检测所形成的目标轨迹进行匹配。在得到视频检测区域与雷达检测区域一致形成图像与雷达之间的映射关系。之后可将雷达检测的目标与视频图像检测到的目标进行关联融合两者之间的目标信息，具体来说，将视频数据和雷达数据根据时间序列将轨迹匹配，再进一步结合BSM优化数据，进而获取目标车辆的高精度的轨迹并获得详细参数，通过V2X及时调取BSM信息进而获取车辆的实时行驶数据，鉴于其测量值越过警示值域后对其进行预警，并调节相应区域监控设备的码率，抓取高清视频便于后续统计数据处理，同时获取数据量较小、警示值域设置合理可减轻监测时持续高清监测的流量的损耗。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明实施例中的一种视频和雷达的动态轨迹图像融合方法的流程图；

图2为本发明实施例中视频和雷达的动态轨迹图像融合方法中步骤S10的一具体流程图；

图3为本发明实施例中一种视频和雷达的动态轨迹图像融合装置结构示意图；

图4为本发明实施例中一种数据处理模块结构示意图；

图5位本发明实施例中用于执行本申请实施例的方法的电子设备的结构框图；

图6为本发明实施例中的用于保存或者携带实现根据本申请实施例的方法的程序代码的储存单元。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清除、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

有鉴于无人驾驶以及人工智能技术的发展，对于交通可视化数字场景的实时性和精度提出了更高的要求，且对于数据带宽的合理暂用也是需要解决的问题。

请参阅图3，图3为本发明视频和雷达的动态轨迹图像融合装置结构示意图，其包括：视频采集单元模块、激光雷达单元模块、V2X车载单元模块、V2X路侧单元模块、数据处理模块，其中，视频采集单元模块、激光雷达单元模块和V2X路侧单元模块设于路侧并通过总线连接数据处理模块。首先，视频采集单元模块和激光雷达单元模块对目标区域图像实时采集，将视频图像中的车辆目标和雷达点云中的车辆目标同步获取第一轨迹图像和第二轨迹图像，并通过匹配算法匹配第一轨迹图像和第二轨迹图像生成融合轨迹图像，其中视频采集单元模块与激光雷达单元模块通过映射矩阵对齐，其使用BSM信息在对雷达3D检测数据进行精度调整并进行轨迹定位，其中，V2X车载单元模块，安装于车辆内用于存储和传输BSM信息；V2X路侧单元模块，用于对V2X车载单元模块内的BSM信息进行提取，获取目标车辆的高精度的轨迹并获得详细参数。

请参阅图4，图4为本发明一种数据处理模块，其具体包括：云台控制单元模块和码率调节单元模块，云台控制单元模块用于调节本装置上或其他路侧摄像头的监测目标区域，所述视频采集单元模块可设置多个，具体可以是各种传感器，如视频采集传感器、红外线采集传感器、光传感器、距离传感器等采集设备，码率调节单元模块用于调整视频采集单元模块的码率。所述云台控制单元模块通信连接所述码率调节单元模块，码率调节单元模块根据目标车辆的行驶信息调节监测码率便于路侧摄像头采集车辆的高清信息，同时与路侧摄像头同步的雷达捕获方向设置为摄像头的采集方向，在目标车辆的行驶信息异常时，安装于本装置或位于其他路侧的云台控制单元接受码率调节单元模块发送的信息，控制云台带动其他摄像头拍摄目标车辆。具体来说视频采集单元、雷达不限于数目和安装位置，具体根据采集需求调整。

请参阅图1，图1为本发明提出一种视频和雷达的动态轨迹图像融合方法，其包括步骤：

基于V2X路侧单元获取目标区域对应车辆的V2X车载单元BSM信息；

采集所述目标区域的视频，通过视频目标提取算法获取目标区域的目标车辆信息；

采集所述目标区域的雷达信息，将所述雷达信息匹配所述BSM信息获得雷达点云数据；

根据时间顺序，获取目标区域车辆的图像目标轨迹点和3D雷达目标轨迹点；

基于图像处理算法提取图像目标轨迹点获得第一轨迹图像，将3D雷达目标轨迹点连接获得第二轨迹图像；

基于图像匹配算法将第一轨迹图像和第二轨迹图像结合获得融合轨迹图像；

根据实时获取的所述BSM信息结合所述融合轨迹图像获得三维定位坐标轨迹图像。

具体来说，视频图像检测到的目标车辆轨迹形状与雷达目标车辆检测所形成的目标轨迹进行匹配。匹配成功后，得到视频检测区域与雷达检测区域一致形成图像与雷达之间的映射关系。之后可将雷达检测的目标与视频图像检测到的目标进行关联融合两者之间的目标信息，且本专利针对车辆目标，其数据量较小，减少了交通数据的监测传输费用损耗。

请参阅图2，图2为车路协同的视频和雷达的动态轨迹图像融合方法中步骤S10的一具体流程图，其包括：设定BSM信息监测警示值域，判断目标车辆BSM信息的测量值与监测警示值域的关系，当所述目标车辆BSM信息的测量值在所述BSM信息监测警示值域时，调节所述目标区域的视频采集码率或调用其他监测设备，鉴于BSM存储车辆型号、尺寸等各类与该车辆相关的信息以及航向、位置或运动主体尺寸等各种与运动主体运动安全相关的运动数据。因此在车辆速度过快、特殊位置转向时，BSM信息超过监测警示值域，云台控制单元模块控制其他监测摄像头调整监测角度监测对应的目标车辆，码率调节单元模块调节采集时间段的码率，进而多个交底获取高清的目标车辆信息。

作为上述实施例的优选，在步骤S30中，包括步骤，通过V2X路侧单元采集车辆目标的信息，其中，该信息至少包括车辆目标的定位、车型和速度；根据多个车辆目标的信息对雷达数据进行修正，实现对于交通监测时，时常有违背交通的情况，包括超速行驶、违约变道等，通过V2X及时调取BSM信息进而获取车辆的实时行驶数据，鉴于其测量值越过警示值域后对其进行预警。

作为上述实施例的优选，在步骤S102中，在判断目标车辆BSM信息的测量值与监测警示值域的关系中，所述BSM信息至少包括速度、加速度和方向角，其便于监测车辆的各项交通指标便于判断其是否违规。

作为上述实施例的优选，在根据实时获取的所述BSM信息结合所述融合轨迹图像获得三维定位坐标轨迹图像中，所述BSM信息至少包括目标车辆定位数据和车型数据时间车轨迹的精准定位获取参数。

请参阅图5，基于上述实施例提供的车路协同的道路三维场景构建方法，本申请实施例还提供一种包括可以执行前述方法的处理器的电子设备，该电子设备可以是智能手机、平板电脑、计算机或者便携式计算机等设备。

电子设备还包括储存器。其中，该储存器中存储有可以执行前述实施例中内容的程序，而处理器可以执行该储存器中存储的程序。

其中，处理器可以包括一个或者多个用于处理数据的核以及消息矩阵单元。处理器利用各种借口和线路连接整个电子设备内的各个部分，通过运行或执行储存在储存器内的指令、程序、代码集或指令集，以及调用存储在储存器内的数据，执行电子设备的各种功能和处理数据。可选地，处理器可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编辑逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解码器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解码器也可以不集成到处理器中，单独通过一块通信芯片进行实现。

存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读储存器(Read-Only Memory)。储存器可用于储存指令、程序、代码、代码集或指令集。存储器可包括存储程序区和存储数据区，其中存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(如，用户获取随机数的指令)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端在使用中所创建的数据(如，随机数)等。

电子设备还可以包括网络模块以及屏幕，网络模块用于接受以及发送电磁波，实现电磁波与电信号的互相转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。网络模块可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。网络模块可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。屏幕可以进行界面内容的显示以及进行数据交互。

请参考图6，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读储存介质包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质具有执行上述方法中的任意方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机晨曦产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以例如以适当形式进行压缩。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中描述的方法。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种视频和雷达的动态轨迹图像融合方法，其特征在于，包括:

S10：基于V2X路侧单元获取目标区域对应车辆的V2X车载单元BSM信息；

S20：采集所述目标区域的视频，通过视频目标提取算法获取目标区域的目标车辆信息；

S30：采集所述目标区域的雷达点云数据，并提取目标区域内的车辆信息；

S40：根据时间顺序，获取目标区域车辆的图像目标轨迹点和3D雷达目标轨迹点；

S50：基于图像处理算法提取图像目标轨迹点获得第一轨迹图像，将3D雷达目标轨迹点连接获得第二轨迹图像；

S60：基于图像匹配算法将第一轨迹图像和第二轨迹图像结合获得融合轨迹图像；

S70：根据实时获取的所述BSM信息结合所述融合轨迹图像获得三维定位坐标轨迹图像。

2.根据权利要求1所述的一种视频和雷达的动态轨迹图像融合方法，其特征在于,在基于V2X路侧单元获取目标区域对应车辆的V2X车载单元BSM信息中，包括：

S101：设定BSM信息监测警示值域；

S102：判断目标车辆BSM信息的测量值与监测警示值域的关系；

S103：当所述目标车辆BSM信息的测量值在所述BSM信息监测警示值域时，调节所述目标区域的视频采集码率或调用其他监测设备。

3.根据权利要求2所述的一种视频和雷达的动态轨迹图像融合方法，其特征在于,在判断目标车辆BSM信息的测量值与监测警示值域的关系中，所述BSM信息至少包括速度、加速度和方向角。

4.根据权利要求1所述的一种视频和雷达的动态轨迹图像融合方法，其特征在于,在根据实时获取的所述BSM信息结合所述融合轨迹图像获得三维定位坐标轨迹图像中，所述BSM信息至少包括目标车辆定位数据和车型数据。

5.一种视频和雷达的动态轨迹图像融合装置，其特征在于，包括：

视频采集单元模块，采集实时目标区域内的视频图像数据；其连接有云台；

激光雷达单元模块，被用于记录目标区域内的雷达3D点云数据；

V2X车载单元模块，被安装于车辆内用于存储和传输BSM信息；

V2X路侧单元模块，被用于对所述V2X车载单元模块内的BSM信息进行提取；

数据处理模块，其用于视频图像的目标检测以及雷达3D点云数据中的目标检测，根据时序获取目标区域车辆的图像目标轨迹点和3D雷达目标轨迹点并获取第一轨迹图像和第二轨迹图像，以及将第一轨迹图像和第二轨迹图像结合获得融合轨迹图像，根据BSM信息优化融合轨迹图像获得三维定位坐标轨迹图像；

其中，所述视频采集单元模块、激光雷达单元模块和V2X路侧单元模块安装于路侧，并与所述数据处理模块通过总线连接。

6.根据权利要求5所述的一种视频和雷达的动态轨迹图像融合装置，其特征在于，所述数据处理模块包括：

云台控制单元模块，被用于调节视频采集单元模块的监测目标区域；

码率调节单元模块，被用于调整视频采集单元模块的码率以及激光雷达单元模块扫描频率；

所述云台控制单元模块通信连接所述码率调节单元模块。

7.一种电子设备，其特征在于，包括：

一个或多个处理器；

储存器；

一个或多个程序，其中所述一个或多个程序被储存在所述储存器中被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-4中任一一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读储存介质存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-4中任意一项所述的方法。

Images