CN113837127A - 一种地图和v2v数据融合模型和方法、系统及介质 - Google Patents

Abstract

本发明提供了一种地图和V2V数据融合模型，包括路侧信息提取模块、车端信息提取模块和环境信息发送模块；路侧信息提取模块通过V2I通信技术，将路侧摄像头传感器获取的实时路况图像传输到智能驾驶车辆上搭载的OBU，通过Faster RCNN行人检测算法，检测车道两侧有无行人，有行人，在高精度地图的动态图层中进行标注；车端信息提取模块通过V2V通信技术，接收来自附近智能车辆发出的报警信号，标注到高精度地图的动态图层；环境信息发送模块将智能驾驶车辆本身检测到的道路情况通过V2V通信技术向外发送。本发明以高精度地图为基准，融合来自路侧摄像头和其他智能驾驶车辆的环境信息，使得智能驾驶车辆获得详细的道路环境信息，有助于实现测试场的完全数字化。

Description

一种地图和V2V数据融合模型和方法、系统及介质

技术领域

本发明涉及无人驾驶高精度建图和环境感知，传感器数据融合的技术领域，具体地，涉及一种地图和V2V数据融合模型和方法、系统及介质。

背景技术

传统地图是将路网抽象成道路级拓扑关系，即以道路为基本单元、交叉路口作为连接点连接不同的道路，通过层层关联形成整个路网。由于人类驾驶员能够借助很强的环境感知和逻辑处理能力，因此人类驾驶员能够借助传统的电子地图提供的导航功能，依靠自身的感知、逻辑处理能力确定具体驾驶行为。智能驾驶车辆的“驾驶员”是搭载的软件系统和各类传感器，环境感知能力和逻辑处理能力都很弱，智能车辆完全靠自身处理能力实现自动驾驶比较困难，即使实现也只能局限在部分特定场景。若要实现高水平、大范围的自动驾驶，必定离不开较电子地图而言精度更高、车道级导航、扩展静态环境感知功能，实现静态环境的预处理以安静地实时环境数据处理量并提高准确率，辅助智能车达到甚至超过人类驾驶员的“驾驶水平”。高精度地图是一种精度高，定义细则是包含各种交通元素，如车道线数据、交通标志数据、交通信号等数据等。所以高精度地图分为3个图层：

1、地图图层：保存道路的结构化信息，这部分信息定义了车道线，交通标志，交通规则信息等。

2、定位图层：保存了原始的点云地图，提取出一些特征如电线杆，建筑物，交通标志等。用来做点云匹配定位。

3、动态图层：实时动态的更新一些信息如：当前路况，实时交通规则，前方车祸等。

近年来智能交通系统的开发将主要集中在智能公路交通系统领域，也就是俗称的车联网。其中V2X技术借助车-车、车与路测基础设施、车与路人之间的无线通信，实时感知车辆周边状况及时预警成为当前世界各国解决道路问题的一个研究热点。根据美国交通部提供的数据，V2X技术可帮助预防80％各类交通事故的发生。V2X通信技术主要分为三大类：V2V(Vehicle to Vehicle)、V2I(Vehicle to Infrastructure)、V2P(Vehicle toPedestrian)，如图2。

运输实体，如车辆、路侧基础设施和行人，可以收集处理当地环境的信息，以提供更多的智能服务，如碰撞警告或自主驾驶，如图3。V2X将“人车路云”等交通参与要素有机的联系在一起，不仅可以支撑车辆获得比单车感知更多的信息，更重要的是使得车辆获得超视距环境信息，另外，促进自动驾驶技术创新和应用，还有利于构建一个智慧的交通体系，促进汽车和交通服务的新模式新业态发展，对提高交通效率节省资源，减少污染，降低事故发生率，改善交通管理有重要意义。V2X通信技术目前有DSRC和LTE-V2X两大路线。C-V2X针对于车联网应用场景，定义了2种通信方式，广域蜂窝式与短程直通式。广域蜂窝式采用终端和基站之间的网络通信接口，可实现长距离和更大范围的可靠通信。另一种短程直通式采用的是车辆之间的短距离直接通信接口。如图4。

一个智能车辆系统正确、可靠运行，主要依赖所获得的车辆和道路信息的数量，也就是通过各种传感器准确地捕捉环境信息然后加以分析处理。到目前为止，任何一种单一功能的传感器都不能保证随时随地地提供完全可靠地信息，因此，综合考虑各种传感器地优势，充分考虑利用多个传感器数据间地冗余和互补特性，将多个传感器采集获取地信息进行有机合成，即采用多传感器融合技术，获得车辆运行所需要的、综合的信息已成为智能车辆系统重点研究和解决的问题。

Faster RCNN将特征提取、目标提取、候选框和分类器整合在一个网络中，使得相较于前代的Fast RCNN其综合性有了很大幅度的提升，是目前目标检测中主流的算法之一。Faster RCNN网络框架如图5所示。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种地图和V2V数据融合模型和方法、系统及介质。

根据本发明提供的一种地图和V2V数据融合模型，包括路侧信息提取模块、车端信息提取模块和环境信息发送模块；

所述路侧信息提取模块通过V2I通信技术，将路侧摄像头传感器获取的实时路况图像传输到智能驾驶车辆上搭载的OBU，通过Faster RCNN行人检测算法，检测车道两侧有无行人，如有行人，则在高精度地图的动态图层中进行标注；

所述车端信息提取模块通过V2V通信技术，接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层；

所述环境信息发送模块将智能驾驶车辆本身视作一个传感器，智能驾驶车辆本身检测到的道路情况，如拥堵、路面故障、车祸等，通过V2V通信技术向外发送；

所述车端信息提取模块和环境信息发送模块通过智能驾驶车辆互相传送道路情况。

优选地，所述车端信息提取模块和环境信息发送模块通过V2I通信技术，将路侧的传感器设备采集来的实时的路况图像，通过PC5接口，完成路侧传感器和搭载在智能驾驶车辆上的OBU设备之间的通信。

优选地，所述路侧信息提取模块对路侧传感器传回来的实时路况图像通过FasterRCNN算法进行行人检测，检测出道路两侧有行人，在高精度地图的动态图层上进行标注。

优选地，所述车端信息提取模块通过PC5接口接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层的相应位置。

本发明还提供一种地图和V2V数据融合方法，所述方法采用上述中的一种地图和V2V数据融合模型，所述方法包括如下步骤：

步骤1：通过V2I通信技术，将路侧摄像头传感器获取的实时路况图像传输到智能驾驶车辆上搭载的OBU；

步骤2：通过Faster RCNN行人检测算法，检测车道两侧有无行人，有行人，在高精度地图的动态图层中进行标注；

步骤3：通过V2V通信技术，接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层；

步骤4：将智能驾驶车辆本身视作一个传感器，通过V2V通信技术向外发送智能驾驶车辆本身检测到的道路情况。

本发明还提供一种地图和V2V数据融合系统，所述系统采用上述中的一种地图和V2V数据融合模型，所述系统包括如下模块：

模块M1：通过V2I通信技术，将路侧摄像头传感器获取的实时路况图像传输到智能驾驶车辆上搭载的OBU；

模块M2：通过Faster RCNN行人检测算法，检测车道两侧有无行人，有行人，在高精度地图的动态图层中进行标注；

模块M3：通过V2V通信技术，接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层；

模块M4：将智能驾驶车辆本身视作一个传感器，通过V2V通信技术向外发送智能驾驶车辆本身检测到的道路情况。

本发明还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中的的方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

1、通过V2X通信技术，使得智能驾驶车辆获得超视距的环境信息，如：路口行人，道路前方拥挤情况，前方路面故障等信息，及时更新智能驾驶车辆的高精度地图，有助于智能驾驶车辆控制单元做出更好的决策，实现安全高效的智能驾驶。

2、智能驾驶车辆自身作为一个传感器，感知车辆周围的环境信息，通过V2X通信技术向周围其他的智能驾驶车辆发送，实现车-车协同交互，提高交通效率。

3、架设在道路周围的基础设施上的传感器也可作为智能驾驶车辆信息感知的来源，通过V2X通信技术，智能驾驶车辆和道路基础设施的信息能够交互，实现车-路协同交互。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的整体模型示意图。

图2为本发明提供的V2X通信示意图。

图3为本发明提供的高速路有路面障碍情况下V2X通信技术应用示意图。

图4为本发明提供的V2X通信的两种信号接口示意图。

图5为本发明提供的Faster RCNN网络结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明提供的一种地图和V2V数据融合模型，包括：

路侧信息提取模块：通过V2I通信技术，将路侧摄像头传感器获取的实时路况图像传输到智能驾驶车辆上搭载的OBU，通过基于Faster RCNN行人检测算法，检测车道两侧有无行人，如有行人，则在高精度地图的动态图层中进行标注。

车端信息提取模块：通过V2V通信技术，接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层。

环境信息发送模块：将智能驾驶车辆本身视作一个传感器，智能驾驶车辆本身检测到的道路情况，如拥堵、路面故障、车祸等，通过V2V通信技术向外发送。

路侧信息提取模块，通过V2I通信技术，将路侧的传感器设备采集来的实时的路况图像，通过PC5接口，完成路侧传感器和搭载在智能驾驶车辆上的OBU设备之间的通信，实现车-路协同交互。

对路侧传感器传回来的实时路况图像通过Faster RCNN算法进行行人检测，该方法具有较高的检测精度。如果成功检测出道路两侧有行人，在高精度地图的动态图层上进行标注，更新为新的高精度地图，辅助智能驾驶车辆安全行驶。

车端信息提取模块，通过V2V通信技术，通过PC5接口接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层的相应位置，辅助智能驾驶车高效、安全行驶。

环境信息发送模块，把智能驾驶车辆本身视作一个传感器，将智能驾驶车辆检测到的道路情况，如拥堵、路面故障、车祸等，通过V2V通信技术向外发送，以供其他智能驾驶车辆接收，实现车-车协同交互。

本发明提供的一种地图和V2V数据融合方法，包括：

路侧信息提取步骤：通过V2I通信技术，将路侧摄像头传感器获取的实时路况图像传输到智能驾驶车辆上搭载的OBU，通过Faster RCNN行人检测算法，检测车道两侧有无行人，如有行人，则在高精度地图的动态图层中进行标注。

车端信息提取步骤：通过V2V通信技术，接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层。

环境信息发送步骤：将智能驾驶车辆本身视作一个传感器，智能驾驶车辆本身检测到的道路情况，如拥堵、路面故障、车祸等，通过V2V通信技术向外发送。

所述路侧信息提取步骤：通过V2I通信技术，将路侧摄像头传感器获取的实时路况图像传输到智能驾驶车辆上搭载的OBU，再通过Faster RCNN行人检测算法，检测车道两侧有无行人，如有行人，则在高精度地图的动态图层中相应位置进行标注。

对路侧传感器传回来的实时路况图像通过Faster RCNN算法进行行人检测，该方法具有较高的检测精度。如果成功检测出道路两侧有行人，在高精度地图的动态图层上进行标注，更新为新的高精度地图，辅助智能驾驶车辆安全行驶。

所述车端信息提取步骤：通过V2V通信技术，通过PC5接口接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层的相应位置，辅助智能驾驶车高效、安全行驶。

所述环境信息发送步骤：把智能驾驶车辆本身视作一个传感器，将智能驾驶车辆检测到的道路情况，如拥堵、路面故障、车祸等，通过V2V通信技术向外发送，以供其他智能驾驶车辆接收，实现车-车协同交互。

本发明还提供一种地图和V2V数据融合系统，该系统采用上述中的一种地图和V2V数据融合模型，该系统包括如下模块：模块M1：通过V2I通信技术，将路侧摄像头传感器获取的实时路况图像传输到智能驾驶车辆上搭载的OBU；模块M2：通过Faster RCNN行人检测算法，检测车道两侧有无行人，有行人，在高精度地图的动态图层中进行标注；模块M3：通过V2V通信技术，接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层；模块M4：将智能驾驶车辆本身视作一个传感器，通过V2V通信技术向外发送智能驾驶车辆本身检测到的道路情况。

本发明还提供一种存储有计算机程序的计算机可读存储介质，该计算机程序被处理器执行时实现上述中的的方法的步骤。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种地图和V2V数据融合模型，其特征在于，包括路侧信息提取模块、车端信息提取模块和环境信息发送模块；

所述路侧信息提取模块通过V2I通信技术，将路侧摄像头传感器获取的实时路况图像传输到智能驾驶车辆上搭载的OBU，通过Faster RCNN行人检测算法，检测车道两侧有无行人，如有行人，则在高精度地图的动态图层中进行标注；

所述车端信息提取模块通过V2V通信技术，接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层；

所述环境信息发送模块将智能驾驶车辆本身视作一个传感器，智能驾驶车辆本身检测到的道路情况，如拥堵、路面故障、车祸等，通过V2V通信技术向外发送；

所述车端信息提取模块和环境信息发送模块通过智能驾驶车辆互相传送道路情况。

2.根据权利要求1所述的一种地图和V2V数据融合模型，其特征在于，所述车端信息提取模块和环境信息发送模块通过V2I通信技术，将路侧的传感器设备采集来的实时的路况图像，通过PC5接口，完成路侧传感器和搭载在智能驾驶车辆上的OBU设备之间的通信。

3.根据权利要求1所述的一种地图和V2V数据融合模型，其特征在于，所述路侧信息提取模块对路侧传感器传回来的实时路况图像通过Faster RCNN算法进行行人检测，检测出道路两侧有行人，在高精度地图的动态图层上进行标注。

4.根据权利要求1所述的一种地图和V2V数据融合模型，其特征在于，所述车端信息提取模块通过PC5接口接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层的相应位置。

5.一种地图和V2V数据融合方法，其特征在于，所述方法采用如权利要求1-4中任一项的一种地图和V2V数据融合模型，所述方法包括如下步骤：

步骤1：通过V2I通信技术，将路侧摄像头传感器获取的实时路况图像传输到智能驾驶车辆上搭载的OBU；

步骤2：通过Faster RCNN行人检测算法，检测车道两侧有无行人，有行人，在高精度地图的动态图层中进行标注；

步骤3：通过V2V通信技术，接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层；

步骤4：将智能驾驶车辆本身视作一个传感器，通过V2V通信技术向外发送智能驾驶车辆本身检测到的道路情况。

6.一种地图和V2V数据融合系统，其特征在于，所述系统采用如权利要求1-4中任一项的一种地图和V2V数据融合模型，所述系统包括如下模块：

模块M1：通过V2I通信技术，将路侧摄像头传感器获取的实时路况图像传输到智能驾驶车辆上搭载的OBU；

模块M2：通过Faster RCNN行人检测算法，检测车道两侧有无行人，有行人，在高精度地图的动态图层中进行标注；

模块M3：通过V2V通信技术，接收来自附近智能车辆发出的拥堵、路面故障、车祸等报警信号，标注到高精度地图的动态图层；

模块M4：将智能驾驶车辆本身视作一个传感器，通过V2V通信技术向外发送智能驾驶车辆本身检测到的道路情况。

7.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求5所述的方法的步骤。

Images