CN109752008A - 智能车多模式协同定位系统、方法及智能车辆 - Google Patents

Abstract

本发明提供智能车多模式协同定位系统及方法，采集车辆行驶路段的路面图像和场景图像，并获取GNSS位置信息；如果接收到GNSS位置信息，则以GNSS位置信息作为定位信息；如果接收不到GNSS位置信息，则检查车辆行驶路段是否预先建立视觉地图数据库，如果否，则根据采集到的路面图像采用基于视觉里程计的车辆定位技术进行位置获取；如果是，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行位置获取；或者，将基于视觉地图数据库构建的车辆定位技术和基于视觉里程计的车辆定位技术得到的位置信息进行融合。本发明融合三种定位技术，可以很好的解决GNSS盲区无法获得定位信息的问题。

Description

智能车多模式协同定位系统、方法及智能车辆

技术领域

本发明属于智能交通领域，特别属于智能交通位置信息智能感知与服务领域，涉及智能车多模式协同定位系统、方法及智能车辆。

背景技术

近年来，汽车已经成为人们生活中必不可少的一部分，然而，随着汽车保有量的快速增长，道路通行能力逐渐饱和，在极大得方便人类生活的同时也带来了一系列问题，如交通事故、道路堵塞等。智能交通运输系统(Intelligent Transportation System，ITS)概念的出现为解决上述问题提供了新思路，它是将先进的信息、数据传输、电子传感、控制以及计算机等技术有效地整合运用于整个地面交通管理系统而建立的一种在大范围内、全方位发挥作用的、实时、准确、高效的综合交通运输管理系统。车辆高精度定位作为实现交通智能化应用(如：车联网、智能车辆)的一项基础性关键技术，为现代城市减少交通拥堵、确保交通安全和绿色出行提供了基础理论和技术支撑。它可以获取与车辆运行状态相关的大量参数(如：车辆的位置、速度、加速度、运动方向和运动轨迹等)，这些参数与智能交通系统中多个安全应用主题密切相关，如：路径导航、信息传递、地图定位、自动巡航控制、交叉口安全通行、盲区自动通过、车辆队列、车辆碰撞预警、行车环境视觉增强以及自动停车等，其中车辆碰撞预警、行车环境视觉增强、自动停车等应用更是需要亚米级的高精度定位。如果可以实时获得道路上所有车辆精确的定位信息，那么将会为未来的交通管理带来革命性的变革。

目前常用的车辆定位技术是全球卫星导航系统(the Global NavigationSatellite System)。GNSS终端具有成本低廉、易于安装等特点，目前在中高档车辆上广泛应用，已逐渐成为车辆的必备装置。但是GNSS终端的定位精度有限，而且在卫星信号被遮挡地方(如高楼林立的城市道路、地下隧道和高架桥底部的城市道路、林荫道等)无法输出定位数据。

发明内容

针对现有技术中存在的问题，本发明提供智能车多模式协同定位系统、方法及智能车辆，能够解决在GNSS盲区无法获得定位信息的问题。

本发明是通过以下技术方案来实现：

智能车多模式协同定位系统，包括数据采集模块、数据处理模块和存储模块；

数据采集模块包括路面图像采集模块、场景图像采集模块和GNSS模块；路面图像采集模块用于采集车辆行驶路段的路面图像，并发送给数据处理模块；场景图像采集模块用于采集车辆行驶路段的场景图像，并发送给数据处理模块；GNSS模块用于获取车辆的GNSS位置信息，并发送给数据处理模块；

数据处理模块，对接收到的信息进行处理判断：如果接收到GNSS位置信息，则以GNSS位置信息作为定位信息输出至存储模块；如果接收不到GNSS位置信息，则检查车辆行驶路段是否预先建立视觉地图数据库，如果不存在视觉地图数据库，则根据采集到的路面图像通过光流法与特征匹配执行基于视觉里程计的车辆定位技术进行位置获取；如果存在视觉地图数据库，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行位置获取；或者，如果存在视觉地图数据库，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行位置获取，同时根据采集到的路面图像采用基于视觉里程计的车辆定位技术进行位置获取，将两种定位技术得到的位置信息进行融合计算，得到融合后的定位信息发送至存储模块；

存储模块，用于存储车辆的定位信息。

优选的，路面图像采集模块为设置在车尾的相机，场景图像采集模块为设置在车顶的相机，GNSS模块采用GPS、北斗、GLONASS或伽利略导航定位设备。

优选的，数据处理模块采用嵌入式车载工控机，车载工控机的型号为ARK-3510，配备i7-3510处理器和RT-Linux操作系统。

优选的，存储模块采用固态硬盘。

智能车多模式协同定位方法，采集车辆行驶路段的路面图像和场景图像，并获取GNSS位置信息；如果成功获得GNSS位置信息，则以GNSS位置信息作为定位信息；如果接收不到GNSS位置信息，则检查车辆行驶路段是否预先建立视觉地图数据库，如果不存在视觉地图数据库，则根据采集到的路面图像采用基于视觉里程计的车辆定位技术进行位置获取；如果存在视觉地图数据库，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行位置获取；或者，如果存在视觉地图数据库，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行位置获取，同时根据采集到的路面图像采用基于视觉里程计的车辆定位技术进行位置获取，将两种定位技术得到的位置信息进行融合，得到最终的定位信息发送至存储模块。

优选的，通过图像同步采集脉冲触发两台相机开始同步采集路面图像和场景图像，同时采用查询的方式获取GNSS位置信息。

优选的，通过光流法与特征匹配执行基于视觉里程计的车辆定位技术进行定位。

包含所述的智能车多模式协同定位系统的智能车辆。

优选的，还包括执行机构、通讯模块、人机交互模块、决策模块、感知模块和控制模块；

通讯模块，用于车辆与外界的沟通；

人机交互模块，用于使用键盘、显示器和急停开关完成人与车之间的通信；

感知模块，包括车辆周围环境感知模块和车辆自身信息感知模块，车辆周围环境感知模块包括32线激光雷达、毫米波雷达和八线激光雷达，32线雷达用于车辆前方的道路可通行区域检测以及行人和车辆的检测；毫米波雷达用于对车辆前方的车辆进行检测；八线激光雷达中的上面四线用于对前方的障碍物进行检测，下面四线用于对道路可通行区域进行检测；车辆自身信息感知模块用于对车辆的油耗、水温、行驶速度、自诊断数据、车门开启状态、安全带状态、主副驾驶乘员落座状态进行感知；

决策模块，根据智能车多模式协同定位系统、通讯模块、人机交互模块和感知模块的数据进行决策，得到路径规划结果，发送给控制模块；

控制模块，接收决策模块的路径规划结果，然后综合车辆当前的运动信息，综合考虑车内乘员舒适度和横向加速度的约束条件，对车辆运动进行规划，然后将规划后的数据通过CAN总线传输至执行机构；

执行机构，用于完成车辆转向、刹车、油门和灯光的控制。

与现有技术相比，本发明具有以下有益的技术效果：

本发明所述的智能车多模式协同定位系统，融合了GNSS定位技术、视觉感知定位技术和视觉里程计定位技术三种定位技术，正常情况下，在有GNSS信号的区域，可以使用GNSS定位，当车辆行驶到GNSS盲区时，可以根据情况选择采用视觉感知定位技术或/和视觉里程计定位技术进行定位，从而在任何区域均能够得到精确的定位信息，可以很好的解决GNSS盲区无法获得定位信息的问题。本发明的系统对车辆全天候、无区域限制的精确位置信息获取具有极其关键的作用，为将来无人驾驶汽车、联网环境中智能交通管理等驾驶汽车、联网环境中智能交通管理等ITS应用提供前期研究基础，将进一步提升ITS技术在保障道路交通安全、通信能力、节能环保等方面的作用。

进一步的，采用嵌入式车载工控机作为数据处理模块，保证了数据处理的实时性和可靠性。

进一步的，相比传统机械式硬盘，固态硬盘具有抗震性能好、读写速度快、容错性好等一系列优点，固态硬盘的写入速度可以达到80Mb/s，保证了数据写入的实时性。

本发明所述的智能车多模式协同定位方法，不但能够在GNSS信号范围内获取定位信息，在GNSS盲区，通过采用视觉感知定位技术或视觉里程计定位技术仍然能够获取定位信息，从而保证车辆在任何区域均能获取定位信息。

进一步的，采用硬件触发的方式保证路面图像和场景图像同时进行采集，保证了采集图像的同步效果。

本发明的智能车辆采用本发明的多模式协同定位系统，能够在任何区域获取定位信息，不存在盲区。

进一步的，本发明的智能车辆还包括决策模块，能根据采集到的各种信息进行决策，从而控制执行机构进行动作，提高了智能车智能化程度。

附图说明

图1为本发明智能车多模式协同定位系统硬件平台示意图。

图2为本发明智能车多模式协同定位方法方式一选择定位方法的逻辑框图。

图3为本发明智能车多模式协同定位方法方式二选择定位方法的逻辑框图。

图4为本发明智能车多模式协同定位方法整体流程图。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

本发明所述的智能车多模式协同定位系统，包括数据采集模块、数据处理模块、存储模块、供电模块和通讯模块。

数据采集模块包括路面图像采集模块，场景图像采集模块和GNSS模块；路面图像采集模块为设置在车尾的相机，用于采集车辆行驶路段的路面图像，发送给数据处理模块；场景图像采集模块为设置在车顶的相机，用于采集车辆行驶路段的场景图像，发送给数据处理模块；GNSS模块采用GPS、北斗、GLONASS或伽利略导航定位设备，用于获取车辆的GNSS位置信息，并发送给数据处理模块。

数据处理模块，对接收到的信息进行处理判断：如果接收到GNSS位置信息，则以GNSS位置信息作为定位信息输出至存储模块；如果接收不到GNSS位置信息，则检查车辆行驶路段是否预先建立视觉地图数据库，如果否，则根据采集到的路面图像采用视觉里程计定位技术进行定位，并将定位信息输出至存储模块；如果是，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行定位，或者，根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行定位，同时根据采集到的路面图像采用视觉里程计定位技术进行定位，将基于视觉感知的车辆定位信息和基于视觉里程计的定位信息进行融合计算，得到融合后的定位信息发送至存储模块。

存储模块，用于存储车辆的定位信息。

供电模块，用于给各模块进行供电。

通信模块，用于数据采集模块、数据处理模块和存储模块之间的通信。

车辆定位系统硬件平台如图1所示，各模块介绍如下：

①数据采集模块主要由两个高速摄像机和一套导航定位设备组成。高速摄像机可以在每秒内采集60帧1600×1200像素的图片，并且采用以太网接口进行传输，保证了数据传输的实时性和可靠性。导航定位设备采用GNSS导航定位设备。

②数据处理模块。为了保证数据处理的实时性和可靠性，采用嵌入式车载工控机作为数据处理平台，本系统中车载工控机的型号为ARK-3510，该车载工控机配备了i7-3510处理器，可以达到3.2Ghz的处理速度，并且采用了RT-Linux这一实时性较强的操作系统，有效保证了数据采集、处理、储存的实时性和可靠性。

③存储模块，采用固态硬盘进行存储。相比传统机械式硬盘，固态硬盘具有抗震性能好、读写速度快、容错性好等一系列优点，固态硬盘的写入速度可以达到80Mb/s，保证了数据写入的实时性。

④供电模块。为确保各个模块和车载工控机的正常工作，供电模块必须具有高稳定性。针对汽车自身的电源系统具有纹波较大、电压波动大、闲置功率变动大等一系列的问题，设计了基于DC-DC的降压稳压模块，增加了一块UPS，并且针对各个设备单独设定供电功率，从而保证了各个设备的正常工作。即使车辆发生熄火等意外情况，也不会影响定位系统的正常工作。

其中，所述的视觉地图数据库可以是存储在路网数据库中的视觉地图数据库，也可以是智能车自带数据库中的视觉地图数据。

本发明车辆定位系统的软件分为两个部分，车载计算机端主要采用C++进行开发，用于实时获取需要采集的数据，进行预处理并保存起来。离线处理软件基于Matlab进行开发。

本发明所述的智能车多模式协同定位方法，可以采用如下两种方式：

方式一为：采集车辆行驶路段的路面图像和场景图像，并获取GNSS位置信息；如果成功获得GNSS位置信息，则以GNSS位置信息作为定位信息；如果接收不到GNSS位置信息，则检查车辆行驶路段是否预先建立视觉地图数据库，如果已预先建立视觉地图数据库，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行定位；如果没有预先建立视觉地图数据库，则根据采集到的路面图像采用视觉里程计定位技术进行定位；最后将定位信息增加时间戳，通过高速SATAII传输至存储模块保存。逻辑框图如图2所示。

方式二为：采集车辆行驶路段的路面图像和场景图像，并获取GNSS位置信息，如果成功获得GNSS位置信息，则以GNSS位置信息作为定位信息；如果接收不到GNSS位置信息，则检查车辆行驶路段是否预先建立视觉地图数据库，如果没有预先建立视觉地图数据库，则根据采集到的路面图像采用视觉里程计定位技术进行定位，如果存在视觉地图数据库，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行定位，根据采集到的路面图像通过光流法与特征匹配执行基于视觉里程计的车辆定位技术进行定位，将两种定位技术得到的位置信息进行融合，得到融合后的定位信息发送至存储模块。逻辑框图如图3所示。为了解决里程计长时间运行，估计结果发散的缺陷，需要引入静态环境特征更新车辆位置。该方式将基于视觉里程计和视觉地图构建的车辆定位算法进行协同操作，既可以获得连续的精确轨迹又可以消减累积误差。

具体实施过程为：

(1)系统启动后，首先车载工控机通过以太网对各相机的各个参数进行初始化，如分辨率、自动白平衡、数据输出格式等；然后再通过串口对导航设备进行参数初始化配置。在收到相机和导航设备发出的初始化成功相应命令之后，车载工控机发出图像同步采集脉冲，触发两台相机开始同步采集图像，并开启新的线程来获取图像信息；同时向导航设备发出GNSS位置查询命令，获取此时的GNSS位置信息；车载工控机通过以太网接口从车尾相机和车顶相机获取当前时刻的图像，即路面图像和场景图像，通过串口采集GNSS的数据。获取的路面图像、场景图像和GNSS位置信息均发送至数据处理模块进行处理判断。为了保证采集图像的同步效果，采用硬件触发的方式来保证车顶相机和车尾相机同时进行采集，同时采用查询的方式来获取GNSS的数据。如图4所示。

(2)车辆在正常行驶过程中，一般能够获取到GNSS位置，因此当数据处理模块接收到GNSS位置信息时，数据处理模块采用GNSS进行定位；当接收不到GNSS信号时，数据处理模块启动基于视觉感知的车辆定位系统，首先检查该行驶路段是否预先建立过视觉地图数据库，如果不存在视觉地图数据库，则根据采集到的路面图像通过光流法与特征匹配执行基于视觉里程计的车辆定位技术进行位置获取；如果存在视觉地图数据库，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行位置获取；或者，如果存在视觉地图数据库，根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行位置获取，根据采集到的路面图像通过光流法与特征匹配执行基于视觉里程计的车辆定位技术进行位置获取，将两种定位技术得到的位置信息进行融合，得到最终的定位信息。不断循环执行该系统，直到车辆重新行驶到GNSS信号区域。

采用本发明多模式协同定位系统的智能车辆：

该智能车辆还包括电源模块、执行机构、感知模块、决策模块、控制模块、通讯模块和人机交互模块七大部分。

(1)电源模块为车辆的执行机构、感知模块等各部分进行供电。

(2)执行机构主要包括对车辆转向、刹车、油门、灯光的控制。采用外加直流电机和蜗轮蜗杆的方式来对车辆的转向机构进行控制，采用增加直线电机的方式对车辆的刹车进行控制，采用点信号的方式对车辆的节气门开度进行控制，进而实现对车辆油门的控制。

(3)感知模块主要包括车辆周围环境感知和车辆自身信息感知两大部分。车辆周围环境感知部分包括GNSS导航定位设备、32线激光雷达、毫米波雷达、八线激光雷达和三个单目相机。其中GNSS导航定位设备融合了GPS、北斗、GLONASS或伽利略的定位信息，可以以20Hz的频率输出定位结果，并且自带基准站和数传电台，在恶劣的环境下可以通过组建RTK的方式来提升定位精度。32线雷达主要是用于车辆前方的道路可通行区域检测和行人、车辆的检测，主要是应用于城市环境下。毫米波雷达用于对车辆前方的车辆等大型障碍物进行检测，主要应用于高速公路环境。八线激光雷达中的上面四线用于对前方的障碍物进行检测，下面四线用于对道路可通行区域进行检测。车顶的两个单目相机用于交通标志识别、基于视觉感知的车辆定位、车道线检测等；车尾的单目相机用于视觉里程计定位。车辆自身的信息感知主要是对车辆的油耗、水温、行驶速度、自诊断数据、车门开启状态、安全带状态、主副驾驶乘员落座状态进行感知，保障行车安全。

(4)决策模块是智能车智能化程度的集中体现，将感知模块、通讯模块、人机交互模块三部分的数据输入决策计算机从而得到相关决策信息。

(5)控制模块接收来自决策模块的路径规划结果，然后综合车辆当前的运动信息，综合考虑车内乘员舒适度和横向加速度等约束条件，对车辆运动进行规划，然后将规划后的数据通过CAN总线传输至底层执行机构。

(6)通讯模块采用多模式无线通讯网络完成车辆与外界的沟通。

(7)人机交互模块使用键盘、显示器、急停开关等设备完成人-车之间的通信。

Claims (9)

1.智能车多模式协同定位系统，其特征在于，包括数据采集模块、数据处理模块和存储模块；

数据采集模块包括路面图像采集模块、场景图像采集模块和GNSS模块；路面图像采集模块用于采集车辆行驶路段的路面图像，并发送给数据处理模块；场景图像采集模块用于采集车辆行驶路段的场景图像，并发送给数据处理模块；GNSS模块用于获取车辆的GNSS位置信息，并发送给数据处理模块；

数据处理模块，对接收到的信息进行处理判断：如果接收到GNSS位置信息，则以GNSS位置信息作为定位信息输出至存储模块；如果接收不到GNSS位置信息，则检查车辆行驶路段是否预先建立视觉地图数据库，如果不存在视觉地图数据库，则根据采集到的路面图像通过光流法与特征匹配执行基于视觉里程计的车辆定位技术进行位置获取；如果存在视觉地图数据库，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行位置获取；或者，如果存在视觉地图数据库，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行位置获取，同时根据采集到的路面图像采用基于视觉里程计的车辆定位技术进行位置获取，将两种定位技术得到的位置信息进行融合计算，得到融合后的定位信息发送至存储模块；

存储模块，用于存储车辆的定位信息。

2.根据权利要求1所述的智能车多模式协同定位系统，其特征在于，路面图像采集模块为设置在车尾的相机，场景图像采集模块为设置在车顶的相机，GNSS模块采用GPS、北斗、GLONASS或伽利略导航定位设备。

3.根据权利要求1所述的智能车多模式协同定位系统，其特征在于，数据处理模块采用嵌入式车载工控机，车载工控机的型号为ARK-3510，配备i7-3510处理器和RT-Linux操作系统。

4.根据权利要求1所述的智能车多模式协同定位系统，其特征在于，存储模块采用固态硬盘。

5.智能车多模式协同定位方法，其特征在于，采集车辆行驶路段的路面图像和场景图像，并获取GNSS位置信息；如果成功获得GNSS位置信息，则以GNSS位置信息作为定位信息；如果接收不到GNSS位置信息，则检查车辆行驶路段是否预先建立视觉地图数据库，如果不存在视觉地图数据库，则根据采集到的路面图像采用基于视觉里程计的车辆定位技术进行位置获取；如果存在视觉地图数据库，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行位置获取；或者，如果存在视觉地图数据库，则根据采集到的场景图像采用基于视觉地图数据库构建的车辆定位技术进行位置获取，同时根据采集到的路面图像采用基于视觉里程计的车辆定位技术进行位置获取，将两种定位技术得到的位置信息进行融合，得到最终的定位信息发送至存储模块。

6.根据权利要求5智能车多模式协同定位方法，其特征在于，通过图像同步采集脉冲触发两台相机开始同步采集路面图像和场景图像，同时采用查询的方式获取GNSS位置信息。

7.根据权利要求5智能车多模式协同定位方法，其特征在于，通过光流法与特征匹配执行基于视觉里程计的车辆定位技术进行定位。

8.包含权利要求1-4任一项所述的智能车多模式协同定位系统的智能车辆。

9.根据权利要求8所述的智能车辆，其特征在于，还包括执行机构、通讯模块、人机交互模块、决策模块、感知模块和控制模块；

通讯模块，用于车辆与外界的沟通；

人机交互模块，用于使用键盘、显示器和急停开关完成人与车之间的通信；

感知模块，包括车辆周围环境感知模块和车辆自身信息感知模块，车辆周围环境感知模块包括32线激光雷达、毫米波雷达和八线激光雷达，32线雷达用于车辆前方的道路可通行区域检测以及行人和车辆的检测；毫米波雷达用于对车辆前方的车辆进行检测；八线激光雷达中的上面四线用于对前方的障碍物进行检测，下面四线用于对道路可通行区域进行检测；车辆自身信息感知模块用于对车辆的油耗、水温、行驶速度、自诊断数据、车门开启状态、安全带状态、主副驾驶乘员落座状态进行感知；

决策模块，根据智能车多模式协同定位系统、通讯模块、人机交互模块和感知模块的数据进行决策，得到路径规划结果，发送给控制模块；

控制模块，接收决策模块的路径规划结果，然后综合车辆当前的运动信息，综合考虑车内乘员舒适度和横向加速度的约束条件，对车辆运动进行规划，然后将规划后的数据通过CAN总线传输至执行机构；

执行机构，用于完成车辆转向、刹车、油门和灯光的控制。