CN109405824A - 一种适用于智能网联汽车的多源感知定位系统 - Google Patents

Abstract

一种适用于智能网联汽车的多源感知定位系统，多源感知导航定位系统硬件部分有前视摄像头、GNSS及IMU组合导航组件、LTE多模通讯组件、多源数据融合处理组件以及里程计，软件部分包含数据部分包括地图和实景影像图；多源感知导航定位系统具有定位模块、车道线检测模块、行人检测模块、前车检测模块、交通信号及标志牌自动识别模块、GNSS解算模块、DR推算模块、组合导航模块、视觉SLAM模块、道路指纹定位模块、以及多源融合感知定位模块。本发明将环境感知技术、视觉SLAM和闭环融合定位技术、GNSS/惯性组合导航定位技术、高精度地图制作技术、多源感知融合定位技术进行融合，解决了智能网联汽车在城市复杂道路情况以及地下车库失锁条件下的高精度定位问题。

Description

一种适用于智能网联汽车的多源感知定位系统

技术领域

本发明涉及导航技术领域，更具体地说，涉及一种适用于智能网联汽车的多源感知定 位系统。

背景技术

传统的导航定位技术手段包括卫星定位、惯性定位、视觉定位、无线电定位以及其他 有源或无源导航定位手段，但在城市复杂环境下，会面临城市峡谷、隧道、地下车库、雨雾等各种复杂实际工况的考验，对器件使用条件带来一系列影响，比如卫星导航信号的多路径干扰、弱无卫星信号条件下的惯性推算精度保持、光线变化、遮挡、停车场地面的反 光等，这些都是对传感器算法的挑战。

(一)环境感知技术

车载摄像机作为智能驾驶安全辅助装置,就像人的一双眼睛,能够看到行驶车辆周围的 场景,它可以多天候多时段地监测行驶车辆周围的行车环境信息，包括车道线、道路交通标 志、其他车辆等,为驾驶员提供有用的行驶环境信息。车载摄像机所摄取视频中的实时车辆 检测、车道线检测、道路标识识别是自动驾驶领域的一个重要研究课题,是解决交通安全问 题的一种重要手段,但视觉感知技术在雨雾及阴暗条件下无法使用。

(二)视觉SLAM技术

目前，基于3种主流传感器(单目/双目相机，RGB-D相机，激光雷达)的SLAM技术研究都已达到较为深入的水平，相关研究人员对基于3种传感器的SLAM系统均已无私奉献出多套开源方案，推动了整个SLAM行业的快速前进。大体上讲，SLAM目前正朝两个方向发 展，一是轻量级，小型化方向发展，由于很大一部分SLAM系统的研发目的是应用于机器人 的自主定位导航。另一方面则是利用高性能计算设备，实现精密的三维重建，场景理解等。 但视觉SLAM技术只适用于封闭或行驶轨迹闭环条件下的导航定位，在城区开发道路条件下 无法适用。

(三)GNSS/惯性组合定位技术

GNSS/惯性组合定位是一种成熟的导航定位技术，在卫星通视良好条件下可达厘米级定 位精度，但在城市复杂条件下，卫星通视条件经常不成立，容易引起系统惯性误差的积累， 进而导致在地下车库等环境下无法达到厘米级定位精度。

(四)高精度地图技术

高精度地图是相对于普通电子地图而言，所谓的高精度体现在：

(1)坐标精度更高：自动驾驶技术所需的高精度地图精度要达到厘米级；

(2)准确的道路形状及属性：真实反映道路的实际样式，有多少个车道，车道标线的 类型、颜色等；包括每个车道的宽度、纵向坡度、侧倾、曲率、航向等；

(3)所含有的道路交通信息元素更丰富和细致。

(4)数据的实时性要求更高：能够反映当前道路最新的可通行情况。

但是，现阶段高精度地图还无法做到实时动态，反应的是过去时刻的地形地貌，只能作为 一种先验辅助信息进行使用。

安全稳定的驾驶前提是获取车辆行驶状态参数和环境数据，并依赖这些高可靠性信息 完成车辆跟随、自主超车、自主换道、汇入车流、调头等复杂驾驶任务。一般根据在事先 制作的地图数据上设定的路线，利用车上加装的激光雷达、微波雷达、视觉传感器以及超 声波传感器进行环境检测，利用GPS、里程计、磁罗盘等传感器进行自身位置定位，为无人驾驶提供数据支撑。激光装置价格昂贵，单台激光扫描仪价格高达50万人民币，难以实现广泛应用。因此，基于低成本传感器的融合来解决自动驾驶中环境信息获取和场景重建问题是目前无人驾驶技术的重点研究方向之一。自然环境中有很多不确定因素，如光照、视点、尺度的变化，以及部分遮挡等，都会对图像理解和分析带来较大的干扰。单目视觉 是只能依靠获得的图像数据计算出移动载体相对于观测点的方向信息，无法直接获取到可靠的深度信息值。单目视觉进行目标提取时，首先进行严格的标定，同时需要大量的数据训练，目标分类有限。同时，将真实世界转化为二维平面图像，丢失了深度信息，不利于 重构实际的三维环境。双目视觉利用基线几何约束的原理去匹配左右摄像机提取的图像关键点特征或者线性特征。它能够直接提取完整的特征数据，比如特征之间的距离值以及方向角度值。因而，双目视觉的方法应用更为广泛。

发明内容

为解决上述技术问题，本涉及环境感知技术、视觉SLAM和闭环融合定位技术、GNSS/ 惯性组合导航定位技术、高精度地图制作技术、多源感知融合定位技术，上述技术分别涉 及不同学科和应用领域，本专利将上述技术进行融合，进而解决智能网联汽车在城市复杂 道路情况以及地下车库失锁条件下的高精度定位问题。

本发明主要面向智能网联汽车L4使用需求，基于低成本的视频传感器和卫星定位模块， 结合地理信息技术和摄影测量理论，为智能网联汽车面向L4等级的自动驾驶提供一种新的 低成本解决方案，解决网联车辆高精度、高可靠、低成本感知定位“最后一公里”问题， 多源感知定位模块在国际上属于首创产品。

该多源感知定位系统集智能感知、定位与服务于一体，是物联网+感知+高精度定位+ 服务的跨界融合产品，自带LTE模块和增强位置服务，具备实时厘米级定位精度，一站式 贴心设计，无需用户购买服务，适用于地下车库、隧道等复杂环境，具有超强航姿保持及位置推算能力，完美解决智能网联汽车“最后一公里”问题；该产品集立得空间多年产品 设计制造经验，集成高精度导航电子地图接口，为智能网联用户免费提供多源融合导航IP核；同时，该产品无需初始化，设备开机即能够达到标称精度！

感知和检测指标：

基于单目和双目相机实时CCD视频数据和影像训练资源库，进行“车辆、行人”动态目标的检测与识别，前向道路周围一定范围内识别率不低于90％，单帧影像处理时间不大于40ms；

基于单目和双目相机实时CCD视频数据、高精度地图数据辅助信息和影像训练资源库， 进行“指路”交通标志和路面标识的检测与识别，正面30度视角范围内指路牌检测率和字 符识别率不低于85％，单帧影像处理时间不大于40ms。

定位精度指标：

成像动态范围：≥120dB

感知准确率：≥90％

识别准确率：≥85％

检测延迟：＜300ms

SLAM的结果中，考察其视觉里程计所跟踪不同轨道闭合相邻像片的相对位置精度达到 0.1m；

在GNSS信号通视良好情况下达到定位精度：平面10cm，高程15cm；

在GNSS信号丢失情况下达到定位精度：横向定位±10cm，纵向定位：±15cm。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明的面向智联汽车的多源感知导航定位系统的组成示意图；

图2是软硬件及数据间的作用关系见信息流程图；

图3是实现的功能模块图；

图4是多源感知导航定位系统的算法流程图；

图5是多源感知导航定位系统的实施路径和设计实现图；

图6是“禁止、警示、指示”标志的检测流程图；

图7是“指路”标志的检测流程图；

图8是交通标志的识别流程图；

图9是视频图像的道路交通标志和路面标识的检测框架和流程；

图10是道路、标识牌与定位算法系统示意图；

图11是地面点A、B所发出的同名光线严格相交图；

图12是单双目SLAM的流程图；

图13是改进LSD-SLAM的流程图；

图14是视觉SLAM辅助定位的整体结构图；

图15是视觉SLAM辅助定位效果及误差图；

图16是多源感知定位模块的原理图；

图17是多源感知定位信息流程图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发 明的具体实施方式。

参考图1，多源感知导航定位系统硬件部分有前视摄像头、GNSS/IMU组合导航组件、 LTE多模通讯组件、多源数据融合处理组件以及里程计，软件部分包括高精度地图和实景 影像图，软硬件及数据间的作用关系见信息流程图，即图2所示。

多源感知导航定位系统块除实现高精度定位功能外，还具有车道线检测、行人检测、 前车检测、交通信号及标志牌自动识别、目标跟踪及分类功能模块等。

1)高精度地图

加载并动态更新高精度地图的POI信息。

2)车道线检测

利用安装在无人车上的相机获取车辆前方的图像数据，利用RANSAC算法进行多车道 线检测，通过获取车道内车辆位置信息，并指引车辆行驶在车道中。

3)行人检测

采用单目视觉获取车辆前方的图像数据，利用深度学习等算法实时进行行人检测，得 到行人的位置、速度、运动趋势等信息。

4)前车检测

采用单目视觉获取车辆前方的图像数据，利用深度学习等算法实时进行前车检测，得 到前车的位置、速度、运动趋势等信息，并反馈给系统分析模块，以使车辆控制系统实时 做出应对措施。

5)交通信号及标志牌自动识别

采用单目视觉获取车辆前方的图像数据，利用深度学习等算法实时提取交通信号及标 志牌并进行识别，用于指导车辆运动以符合交通规则的要求。

6)GNSS解算

卫星导航定位单点以及差分定位解算；

7)DR推算

惯性和里程计在无卫星信息及其他辅助定位信息时进行的航位推算；

8)组合导航

GNSS/IMU/ODM进行组合导航解算；

9)视觉SLAM

实现在地下车库和封闭环境下的自主导航相对定位；

10)道路指纹定位

基于高精度地图道路指纹先验信息和交通信号机标志牌自动识别结果，进行后方交 会定位。

11)多源融合感知定位

基于摄像头、惯性器件、GNSS模块以及高精度地图信息，实现高精度高可靠定位。

参考图4，多源感知导航定位系统的算法流程如下：

1、GNSS/惯性导航/里程计组件进行初始化，给出概略航姿及坐标信息；

2、利用单目影像，基于经验和深度学习的目标提取方法，进行交通标志、道路中心线和边线的识别；

3、对两张单目影像的同一地物特征进行双目视觉定位；

4、基于属性和坐标约束，与高精度地图的先验信息进行匹配及坐标改正估计；

5、利用先验实景影像数据同实时影像进行视觉SLAM匹配，给出坐标改正估计；

6、对多个坐标改正估计进行融合滤波，反馈GNSS/惯性导航组件在影像曝光时刻的 坐标偏差改正；

7、惯性导航/里程计组件利用坐标改正信息，利用RTSS进行速度、位置、航向及姿态估计和反馈。

8、返回步骤1进行下一流程的处理。

多源感知导航定位系统从感知层、认知层、定位层、多源异构融合层展开，本发明实施路径和设计实现如图5所示。

1、高动态图像感知技术

根据《GB5768.2-2009道路交通标志和标线第二部分》的规定，我国交通标志具有特 定的颜色、形状和大小标准，因此可以设计和提取道路环境中交通标志的颜色和形状等信 息特征，利用模式识别算法对交通标志和路面标识进行检测和识别。动态范围可达到120db 以上，解决不同光照条件下的成像，排除逆光、向光、阴影、缺损等因素对目标检测的干 扰；图像传感器标定技术，主要研究内参与外参标定技术；

●计算摄像头标定矩阵和畸变参数；

●对原始图像进行畸变校正；通过色度转换、梯度变化等方法求得二值 化图像；

●通过坐标转换把2D图像空间转换到投影面坐标系；

●根据车道线的像素点描出车道线的边沿；

●算出车道线的曲率以及自车到车道线的横向位移；把以上检测结果反 标到2D图像中，得到车道线位置和本车道行驶区域等检测结果

因实际使用环境复杂，检测和识别过程主要面临以下困难：1)复杂的环境：交通标志 一般安装在道路的两边，周围建筑、广告标志和树木等都会将标志遮挡和干扰，同时道路 地理环境的多变，道路的路桥，上下坡以及路上车辆等都会影响交通标志的检测；2)天气 条件：天气状况的多变(晴、阴、雨、雪或雾)会影响采集图像的质量，造成图像清晰度 不足或颜色失真；3)尺度变化：目标大小依赖于相机与交通标志间的距离，随车载相机由 远及近的靠近交通标志，图像中交通标志区域会按一定轨迹由小到大变化；4)交通标志特 征表述：很多标志内部图形的相似性较高，差异不明显的特征无法区分这些相似的交通标志，同时提取的特征数据量直接决定识别的时间性能，因此需考虑如何满足智能车辆实时处理的要求。

针对以上难点，整个交通标志检测和识别框架采用图像采集、感兴趣区检测、目标检 测识别和目标跟踪四个部分：图像釆集从车载相机中获得图像；感兴趣区检测根据交通标 志的颜色和形状等信息，寻找和定位交通标志在图像中的候选区域；目标检测识别对已检 测到的交通标志区域进行处理，识别其类型信息及表示含义，并排除一些误检的非交通标 志干扰；交通标志跟踪通过建立多目标跟踪模型，在连续序列中跟踪交通标志的位置，尺 度，面积等信息，最后将获得的交通标志类型输入到车辆的控制决策系统中，为智能网联 汽车应用提供数据支撑。基于不同类型交通标志的特征差异和检测识别的难易程度，本发 明分别针对“禁止、警示、指示”三类标志和“指路牌”标志分别展开研究。

“禁止、警示、指示”标志的检测

“禁止”标志以白色为底，边缘为红色，中间禁止内容为黑色的圆形标志；“警示”警示以黄色为底，边缘和警示信息为黑色的三角形标志；“指示”标志以蓝色为底，指示信息则为白色的圆形和矩形标志。因此可利用这三类交通标志的颜色和形状差异，从采集的道路环境图像中分割并定位出目标。

1)变换釆集图像的颜色空间中的颜色值，然后用阈值分割出红色，黄色，蓝色或墨绿 色等感兴趣区域，进而对其进行腐蚀和膨胀形态学处理，并利用尺寸限制信息消除较小的 干扰区域和噪声像素的影响。

2)针对因交通标志被遮挡，光照不均匀或相似性颜色造成的交通标志区域分割不完整， 根据边缘生长理论重构其边缘，使交通标志区域的形状完整；

3)将余下的感兴趣区域的边界映射为角度与半径间的函数，即提取区域的形状标记图， 从而提取出感兴趣区域的形状特征，以判断这些形状是否符合交通标志的形状：圆形，正 方形，六边形，三角形等，作为识别过程的输入，检测流程如图6所示。

“指路”标志的检测

“指路”标志给出了一些高速公路和城市环境中较为常见的交通标志样例，是含有字 符的交通标志，因此检测和识别过程要不同于上节中的指示、警示和禁止标识。在城市中 一般是蓝底白字，而高速公路是墨绿色底白字的矩形标识牌，指示了车辆行驶中前方的道 路名称，限制信息，路况信息，及其他一些指示性信息，悬挂在车辆行驶的道路右上方。

如图7所示，首先根据色彩空间转换和颜色提取图像中包含交通标志的感兴趣区域； 用结构元素相同的腐蚀和膨胀形态学滤波，以消除杂质，并恢复图像区域；然后针对感兴 趣区域的灰度分布曲线特征将交通标志区域的字符区域进行分割；对分割后的交通标志文 字区域，根据交通标志内文字间的这些基本信息和汉字的间架结构对汉字进行分割和区域 合并，为后续的字符识别打下较好的基础。

交通标志的识别

《GB5768.2-2009道路交通标志和标线第二部分》道路交通标志公布的交通标志类别 很多，并且很多交通标志的图形相似度较高。因此为了能够快速高效的准确辨别“禁止、警示、指示、指路”交通标志，采用的双模型融合识别方法对以上交通标志进行分类，并 排除干扰区域。第一种模型是用二元树复小波变换(DT-CWT)提取感兴趣区域的特征，用 二维独立分量分析法(2DICA)降低特征维数，消除冗余特征，然后送入最近邻分类器中分 类交通标志；第二种模型是根据交通标志颜色的差异信息，提取其内部图形，然后用模板 匹配分类法进行快速分类；最后用决策规则融合方法获得最终的交通标志类别，流程如下 图8所示。

2、基于深度学习的实时低功耗交通标识牌识别、车道线、车灯检测

参考图9，从传统上来说，可以使用标准的计算机视觉的方法来对交通标志进行检测 和分类，但同时也需要耗费相当多的时间来手工处理图像中的重要特征，因此，针对车道 线和标识牌识别，利用深度学习技术，通过大量训练数据，提高对车道线、标识牌检测的准确度，并能获取标识牌语义信息。本发明提出SSD物体检测模型，基于单网络的目标检 测框架，预测物体以及其归属类别，同时在特征图上使用小的卷积核去预测一系列分界框 的偏移。在维持检测精度的同时保证了处理速度，便于训练和优化，也更容易地将检测模 型融合进系统之中。

首先需要对用于检测训练的图像数据进行预处理：灰度化和归一化，把三通道的图像 转换为单通道灰度图像，然后通过用数据集平均值减去每个图像并除以其标准偏差来确定 图像数据集分布的中心，这有助于提高模型在处理图像时的一致性。

同时需要在图像中检测到交通标识的位置。交通标识牌具有很清楚的特征：轮廓的颜 色和形状。进行基于颜色分割的图像二值化处理，通过HSI色彩空间模型进行色彩分割， HSI色彩空间将饱和度和亮度信息独立了出来，这样一定程度上就降低了光线带来的影响， 可以解决RGB空间在光线不好的情况下鲁棒性较差的问题。在进行颜色分割之后，得到的 只是一个粗略的交通标志牌ROI区域，还会留下一些噪声以及一些和目标区域面积相当或 者比目标面积略大的区域，这时候就还需要进行一些图像预处理，进行中值滤波、图像填 充、轮廓检测、无效面积约束等方法，完成基于形状检测的ROI提取。

然后根据检测对象的特点，创建一个能够对交通标志进行分类的模型，并且让模型自 己学习识别这些交通标志中最关键的特征。

卷积层的深度从32开始，通过创建一个模块化的代码库，可以在后期选取不同的过滤 器大小、深度和卷积层的数量，以及完全连接层的维度，实现检测效率和复杂度的平衡。 为了提高模型的可靠性，使用dropout算法，在深度学习网络的训练过程中，对于神经网 络单元，按照一定的概率将其暂时从网络中丢弃，这样可以防止模型过度拟合。

本发明的道路、标识牌与定位算法系统技术如下图10，整个系统基于ROS实现。

基于深度学习的算法进行交通标识的检测技术研究主要包括：

针对市面上的各类厂家摄像头进行调研选型，以确定满足高动态特性要求的视觉传感器；

搭建采集系统，采集大量的真实路况视频或图像数据，包含各种车道线、标识牌，以及多种拍摄角度，并进行标注，形成丰富训练样本和测试样本。

对比多种深度学习算法，例如，基于受限玻尔兹曼机(Restricted Boltzmannmachine，RBM)的深度信念网络(Deep belief network，DBN)、基于自动编码器(Autoencoder，AE)的堆叠自动编码器(Stacked autoencoders,SAE)、卷积神经网络(Convolutional neural networks，CNN)、递归神经网络(Recurrent neural networks，RNN)，选取其中适合车道线、标识牌识别的算法。

对比各类融合方法，根据各传感器或感知输出特性、系统非线性程度，确定组合定位算法。

完成算法的C++代码实现，系统硬件环境为工控机，软件环境为ROS/Linux系统。

对图像识别以及增强定位功能进行测试。

3、视觉SLAM及闭环检测

该技术主要基于单目和双目摄像机获取的实时CCD视频数据，提供视觉SLAM功能和闭 环检测功能，在典型城区环境下，保证同一区域不同轨迹间的重复性，使相对定位精度达 到0.1米。针对单目相机无法获取深度信息的缺点，提出基于激光雷达或闭环尺度约束的 方法，实现单目相机的高精度定位。针对视频图像中的不同视角、不同场景的交通标志和 地面标志线，提出恰当的提取方法。本发明拟采用多尺度、多视角的模拟输入样本对模型 进行训练，在无需加入人工干预的情况下极大增加识别率。

(1)核心模块——光束法平差的建立

光束法区域网平差是摄影测量和SLAM的核心解法。光束表达通过像点、物点、相机中 心的一根光束；光束法平差保证在L2上，其解(即像片内外方位元素和连接点物点坐标)使得所有像片上的所有同名光线，对对交会于物点，如图11。

(2)视觉SLAM

为进一步扩展功能，实现更成熟的SLAM功能和闭环探测能力，本发明实现并改进ORB-SLAM算法。ORB-SLAM中使用了三个主要线程：实时跟踪特征点的Tracking线程，局 部光束法平差的优化线程，以及全局Pose Graph的闭环检测与优化，如图12所示。其中，Tracking线程负责对每幅新图像提取ORB特征点，并与最近的关键帧进行匹配。如果没找到匹配点则进行重定位(relocalisation)。然后计算匹配后特征点的3D初始位置并粗略估计相机的位置和姿态，即构建局部地图。Tracking线程的最后一步是确定关键帧，只有关键帧用于后继的平差步骤。局部光束法平差线程用于构建更精确的局部地图。首先插入关键帧，验证最近生成的地图点并进行筛选，生成新的可靠的地图点集。然而使用局部光束法平差重新估计特征点更精确的3D坐标与相机的位置和姿态。最后再对所有的关键帧进行筛选，删除多余的关键帧。前两个线程共同完成了视觉里程计的功能。第三个线程负责闭环探测和整体优化，分为闭环探测和闭环纠正两个部分。闭环探测先使用视觉词袋进行探测，对全局地图中的关键帧进行闭环检测，然后通过3D相似变换确定闭环图像间的相对关系。最后，通过加入闭环约束条件，进行全局平差消除累积误差。由于全局地图中的地 图点太多，所以这个线程只对外方位元素节点所构成的图进行优化，并采用图优化 (graph-based optimization)的方法。

参考图13，本发明进一步改进和实现另外一类著名的SLAM方法：LSD-SLAM。LSD-SLAM 也分成三个主要线程：图像跟踪线程Tracking、深度图估计线程Depth mapestimation 和图优化线程Map optimaization。Tracking用于连续跟踪从相机获取到的新图像帧。用 前一帧图像帧作为初始姿态，估算出当前关键帧和新图像帧之间的刚体变换群SE(3)，以 两幅图像中对应像素亮度间的误差最小为约束，从而得到当前帧的位置和姿态信息。在深 度图估计线程中，首先用立体视觉方法和卡尔曼滤波来估计新的深度。同时，对深度进行 正则化，即利用像点邻域的深度信息约束并修正当前深度，这是一种平滑策略。然后，若 深度图更新较多，则将当前帧替换为关键帧。替换时，将有效像点的深度信息通过SE(3) 映射到新的关键帧上；若不替换，则用当前的深度图更新原有信息。当基线过长时，即相 机移动足够远，也初始化新的关键帧，并把相近的关键帧图像点投影到新建立的关键帧上。 地图优化线程是为了得到全局最优的图像的位置和姿态以及地图。由于单目SLAM无法避免 尺度误差累积，在长距离运动之后，会产生巨大的尺度漂移。为了解决这个问题，首先需 要将恰当的关键帧插入到当前地图当中。通过计算map与当前帧的距离，确定是否需要插 入当前关键帧。

由于可能存在较大的尺度偏移，这里采用7参数的3D相似变换群SIM(3)来衡量两帧 之间的变换。当前帧到map的匹配是通过寻找所有可能相似的关键帧，并计算视觉相似度； 并对这些帧进行排序，得到最相似的那几帧来计算SIM(3)。如果相似度高于一定的阈值， 该帧就插入map中，并以所有关键帧为节点，执行图优化(通过开源的g2o优化算法实现)。

(3)闭环探测算法

本发明采用Bag of Words来存储和描述已经建立的特征。对于图像而言，为实现BoVW， 首先也需要建立这样的一个词典。词典的建立包括三个步骤。首先挑选特征描述子。词典 通常由比较独特的特征来描述，例如，选择采用128维的SIFT作为词典的基本单元。第二 步，确定如何划分图像。遥感图像包括较大的覆盖范围，可采用划分成均匀瓦片的方法，如100*100的图像窗口。在每个窗口内提取的特征，并用于描述该窗口。在有些应用中也 可以不划分图像，而直接在图像上提取SIFT特征，并用这些特征的集合来表达该图像。无 论采用哪种方法，都可能产生庞大的词库和冗余。因此第三步，聚类和词库优化通常是必 要的。聚类可采用K均值法。例如，在100幅参考图像中提取了100万个SIFT特征，现在 需要将其压缩为1000个词的视觉词库，则需要将聚类中心个数设置为1000。

然后利用视觉词袋实现闭环探测。例如，测量车在道路上行驶，在行驶了5km后回到 之前的交叉路口，即发生了闭环。该闭环所对应的像片编号及其重叠度、方位等，是事先未被设计的。若能够自动寻找到闭环，则能够对后继的定位、平差等提供良好的几何约束条件。闭环探测的本质是识别同一场景不同时刻拍摄的(非连续)像片。视觉词库是闭环 探测的基本策略。其思路是：首先采用特征提取算子提取每张像片的特征，实际操作中可 有意控制特征点的数量和分布。将这些特征作为像片的整体描述，存储到内存或外存中。 然后，对于新获取的像片，同样提取特征，并与之前拍摄像片的特征集合逐一进行比较。 如在某张像片中发现大量的重复特征，则判断为闭环。

4、高精度低成本混合态组合导航模块

1)高精度高度集成小型化IMU设计集成技术

微小型化位置与姿态测量系统的主要难点在于既要保证小体积(70mm×65mm×20mm) 和轻质量(100g)，也要实现高精度位置与姿态测量。为此，在小型轻质化方案设计上，首 先通过板级集成方式实现微惯性测量组合、处理电路、卫星接收机模块的一体化结构设计， 再通过SIP和ASIC设计技术大幅减小电路体积；在高精度测量方案设计上，通过采用专利 技术的基于中心支撑四质量MEMS陀螺的高精度微惯性组合实现高精度惯性信息测量，采用 基于多胞型自适应鲁棒滤波算法的GNSS/惯性深组合导航技术实现高动态、高抗扰载体位 置及姿态解算，采用基于RTS双向平滑滤波的GNSS/惯性组合导航及多节点位姿测量融合 技术实现高精度数据后处理，最终满足系统对体积、重量和精度的指标要求。

2)导航计算机微型化设计技术

SIP(System in Package)系统级封装技术，具有灵活度高、集成度高、性能优良、设计周期短、开发成本低等特点。本次设计拟采用将MEMS惯性测量模块与GNSS卫星导航 模块分别进行SIP封装集成，再进行组合的技术方案，将基带处理器和物理层硬件封装在 一个系统内，使其满足小型化、轻质化设计要求。采用SIP技术进行微小型位置与姿态测 量系统设计，需要对以下技术进行研究：一是针对本发明特点，选择合适的封装形式，满 足小型化设计；二是研究布局布线，保证信号传输的完整性；三是研究系统热源的位置及 其热分布，对其导热、散热路径及其影响进行深入的研究和分析，并形成精确的热力学模 型，进行计算机辅助的综合设计，提高系统环境适应性。

(1)SIP模块原理电路设计；

(2)SIP工艺实现设计；

(3)SIP封装技术研究。

3)消费级光纤陀螺集成技术

(1)解决光纤陀螺研制中使用的各个光电器件尾纤匹配及熔接耦合的问题，提高熔接 成功率增加熔点强度、降低光路损耗进而提高陀螺整机性能及可靠性。

(2)为了减轻重量，并兼顾性能，消费级光纤陀螺中采用脱骨架光纤环，光纤环的固 定用胶是一个值得深入研究的问题，从可靠性与振动特性的角度考虑，胶的弹性模量应该 越大越好，从温度特性的角度考虑，胶的热力学特性最好处于光纤环和金属底板之间。需 要研究多组分胶的配方和配比关系，以达到力学和热学性能兼顾的目的。

(3)光纤陀螺中的各个光学器件的尾纤对其常温静态、高低温或振动性能产生的影响 各不相同，结构上对于这些尾纤设计不同的区域进行处理。对于影响陀螺性能较大的尾纤， 研究对弯曲的光纤进行消除应力处理，以提高陀螺的性能。

4)消费级光纤陀螺低功耗及电路集成技术

研究低电压驱动的检测电路技术，可以降低消费级光纤陀螺的整体功耗，主要难点是 针对陀螺的驱动和探测器信号的采集设计高带宽、大动态的模拟电路，以及研究这种驱动 方案对光纤陀螺其他性能的影响。此外，通过将部分模拟电路数字化，精简电子元器件的 数量，也可以降低陀螺的功耗，同时，降低驱动电路中抗电磁干扰设计的难度，以及改善 发热器件的分布，以提高陀螺的整体性能。

5)消费级光纤陀螺微型化光电器件技术

研究适用于微小型光纤陀螺应用的微型化光电器件，包括微型化850nm光源、微型化 850nm集成光学调制器、微型化850nm探测器等。微型化850nm光源的研制重点考虑小型化封闭对光源内部散热性能的影响，需要对其中的结构封装进行优化设计；其次需要改进现有微型化光源镀膜技术，减小光谱噪声，提高微型化光纤陀螺精度。微型化850nm集成 光学调制器重点考虑集成光学调制器尺寸减小对于高阶模抑制作用减弱会引入额外的光路噪声，需对其折射率分布及扩散工艺进行优化改进。微型化850nm探测器的研究主要包括对探测器噪声的抑制。

6)消费级光纤陀螺微环成环技术

微小型光纤陀螺对光纤环尺寸要求更加苛刻，微环绕制用的850nm细径光纤相比于现 有商用光纤直径更细，实现长距离稳定绕环，必需对现有绕环工艺及绕环装置进行改进， 增加张力控制及监测设备，研究绕环张力对微环性能的影响，进而确定合适的850nm微环 绕制工艺。

7)惯性测量单元及消费级应用

为满足光纤POS(POS：Position Orientation System)对低能耗高精度小型多平台 适用的需求，IMU拟采用新型材料和结构、电气一体化复用设计，实现轻质化设计，有效减轻光纤IMU质量和体积；采用软硬件融合设计思路有效提高产品实现效率，进一步实现轻质小型化和低功耗指标；充分考虑系统热性能、磁性能、振动性能、易维修以及可靠性 等因素，研究从器件级到系统级的补偿模型和标定方法，精确分离惯性器件和系统的误差 项并进行补偿，提高器件实际有效的使用精度；通过优化光纤IMU结构、光学、电气、算 法设计，提高光纤POS的环境适应性,降低光纤POS使用维护成本。

5、视觉SLAM辅助组合导航定位

视觉SLAM是利用视觉传感器对自身进行定位和构建环境地图的过程，利用视觉SLAM 辅助信息可以保障隐蔽摄影测量系统在GPS/GNSS信号丢失或失锁条件下进行自主视觉导 航，完成测量任务。

本方案采用相互平行的双目视觉传感器作为立体视觉中环境特征和视觉信息提取系统， 同时由编码器得到的里程计和POS系统信息，同一时刻从左右视觉传感器采集到的图像所 获得的视觉路标位置作为输入，以更新在全局坐标系中的移动隐蔽摄影测量车的位姿。其 中，里程计和POS系统获得的是隐蔽测量车的位姿信息，视觉路标采用SIFT匹配算法并 结合深度学习算法对典型地物(指示牌、道路线、道路指示)的自动识别提取的环境特征 点的几何位置。特征地图库中存放的是视觉路标的集合。在视觉路标与特征地图库进行数 据关联后，利用EKF滤波算法对其与里程计和POS系统信息进行融合，从而完成移动测量 车的双目视觉SLAM辅助导航定位。整个双目立体视觉SLAM系统的整体结构如下图14所示，视觉SLAM辅助定位效果及误差图如图15。

6、多源感知定位技术

参考图16至图17，高精地图不仅包含数据，还赋予了相应的语义信息。路灯、交通信号灯，交通信号灯有几个灯，带箭头还是不带箭头的灯，提前预知感知模块，减少运算量，提高感知算法的准确率，降低算法设计难度。高精地图可以为车辆环境感知提供辅助，提供超视距路况信息，HAD级别高精度地图的精度则能达到厘米量级，除了基础地图的道路形状、坡度、曲率、铺设、方向等数据外，还包括车道线类型、车道宽度，以及路边地 标、防护栏、树木、道路边缘类型等数据。

道路中的交通标识牌、车道线等目标特征在高精度地图中具有绝对地理坐标，利用视 觉感知交通标识牌、车道线等目标，估计车辆与目标相对位置，车辆位置的一个位置解， 与多源感知定位模块输出的位置解融合，达到增强定位的目的，可降低自动驾驶车辆系统 对各传感器的性能要求和成本，有利于实现产业化。

技术实现途径上，基于高动态图像感知与识别技术，进行图像特征提取与匹配，获取 图像尺度与旋转不变的稳定特征并得到其在连续视频序列中的对应关系。同时进行相对位 姿估计，完成针对采用单目相机拍摄虚线和实线，通过算法可以知道当前本车所在车道线， 以及距离车道线的距离，完成横向相对定位，而借助交通信号灯、路灯、灯杆等可实现纵 向相对定位。

根据多源定位模块给出的当前大致位置，把采集的图像和高精地图做比对，可得到绝 对地理定位。最后，将图像绝对定位结果与多源定位模块给出的结果再次融合，消除定位 误差，达到增强定位的目的。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施 方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在 本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形 式，这些均属于本发明的保护之内。

Claims (10)

1.一种适用于智能网联汽车的多源感知定位系统，其特征在于，所述多源感知导航定位系统硬件部分有前视摄像头、GNSS及IMU组合导航组件、LTE多模通讯组件、多源数据融合处理组件以及里程计，软件部分包含数据部分包括地图和实景影像图；所述多源感知导航定位系统具有下述模块：

定位模块，用于加载并动态更新所述地图和实景影像图的POI信息；

车道线检测模块，用于利用安装在无人车上的相机获取车辆前方的图像数据，利用RANSAC算法进行多车道线检测，通过获取车道内车辆位置信息，并指引车辆行驶在车道中；

行人检测模块，用于采用单目视觉获取车辆前方的图像数据，利用深度学习等算法实时进行行人检测，得到行人的位置、速度、运动趋势等信息；

前车检测模块，用于采用单目视觉获取车辆前方的图像数据，利用深度学习算法实时进行前车检测，得到前车的位置、速度、运动趋势信息，并反馈给系统分析模块，以使车辆控制系统实时做出应对措施；

交通信号及标志牌自动识别模块，用于采用单目视觉获取车辆前方的图像数据，利用深度学习等算法实时提取交通信号及标志牌并进行识别，用于指导车辆运动以符合交通规则的要求；

GNSS解算模块，用于卫星导航定位单点以及差分定位解算；

DR推算模块，用于惯性和里程计在无卫星信息及其他辅助定位信息时进行的航位推算；

组合导航模块，用于GNSS及IMU进行组合导航解算；

视觉SLAM模块，用于实现在地下车库和封闭环境下的自主导航相对定位；

道路指纹定位模块，用于基于高精度地图道路指纹先验信息和交通信号机标志牌自动识别结果，进行后方交会定位；

多源融合感知定位模块，用于基于摄像头、惯性器件、GNSS模块以及所述地图信息，实现更高精度的定位。

2.根据权利要求1所述的适用于智能网联汽车的多源感知定位系统，其特征在于，多源感知导航定位系统的软件执行流程包括如下步骤：

S1、GNSS/惯性导航/里程计组件进行初始化，给出概略航姿及坐标信息；

S2、利用单目影像，基于经验和深度学习的目标提取方法，进行交通标志、道路中心线和边线的识别；

S3、对两张单目影像的同一地物特征进行双目视觉定位；

S4、基于属性和坐标约束，与高精度地图的先验信息进行匹配及坐标改正估计；

S5、利用先验实景影像数据同实时影像进行视觉SLAM匹配，给出坐标改正估计；

S6、对多个坐标改正估计进行融合滤波，反馈GNSS/惯性导航组件在影像曝光时刻的坐标偏差改正；

S7、惯性导航/里程计组件利用坐标改正信息，利用RTSS进行速度、位置、航向及姿态估计和反馈。

3.根据权利要求1所述的适用于智能网联汽车的多源感知定位系统，其特征在于，交通信号及标志牌自动识别模块中，整个交通标志检测和识别框架采用图像采集、感兴趣区检测、目标检测识别和目标跟踪四个部分：图像釆集从车载相机中获得图像；感兴趣区检测根据交通标志的颜色和形状信息，寻找和定位交通标志在图像中的候选区域；目标检测识别对已检测到的交通标志区域进行处理，识别其类型信息及表示含义，并排除一些误检的非交通标志干扰；交通标志跟踪通过建立多目标跟踪模型，在连续序列中跟踪交通标志的位置、尺度、面积信息，最后将获得的交通标志类型输入到车辆的控制决策系统中，为智能网联汽车应用提供数据支撑；

“禁止、警示、指示”标志的检测：利用这三类交通标志的颜色和形状差异，从采集的道路环境图像中分割并定位出目标，具体的如下：

1)变换釆集图像的颜色空间中的颜色值，然后用阈值分割感兴趣区域，进而对其进行腐蚀和膨胀形态学处理，并利用尺寸限制信息消除较小的干扰区域和噪声像素的影响；

2)针对因交通标志被遮挡，光照不均匀或相似性颜色造成的交通标志区域分割不完整，根据边缘生长理论重构其边缘，使交通标志区域的形状完整；

3)将余下的感兴趣区域的边界映射为角度与半径间的函数，即提取区域的形状标记图，从而提取出感兴趣区域的形状特征，以判断这些形状是否符合交通标志的形状，作为识别过程的输；

“指路”标志的检测：首先根据色彩空间转换和颜色提取图像中包含交通标志的感兴趣区域；用结构元素相同的腐蚀和膨胀形态学滤波，以消除杂质，并恢复图像区域；然后针对感兴趣区域的灰度分布曲线特征将交通标志区域的字符区域进行分割；对分割后的交通标志文字区域，根据交通标志内文字间的这些基本信息和汉字的间架结构对汉字进行分割和区域合并；

交通标志的识别：为了辨别“禁止、警示、指示、指路”交通标志，采用的双模型融合识别方法对以上交通标志进行分类，并排除干扰区域，具体可以采用下述两种分类模型中任意一种：

第一种模型是用二元树复小波变换(DT-CWT)提取感兴趣区域的特征，用二维独立分量分析法(2DICA)降低特征维数，消除冗余特征，然后送入最近邻分类器中分类交通标志；

第二种模型是根据交通标志颜色的差异信息，提取其内部图形，然后用模板匹配分类法进行快速分类；最后用决策规则融合方法获得最终的交通标志类别。

4.根据权利要求1所述的适用于智能网联汽车的多源感知定位系统，其特征在于，基于深度学习的实时低功耗交通标识牌识别、车道线、车灯检测：

首先对用于检测训练的图像数据进行预处理：灰度化和归一化，把三通道的图像转换为单通道灰度图像，然后通过用数据集平均值减去每个图像并除以其标准偏差来确定图像数据集分布的中心；

在图像中检测到交通标识的位置，交通标识牌具有很清楚的特征：轮廓的颜色和形状，进行基于颜色分割的图像二值化处理，通过HSI色彩空间模型进行色彩分割，HSI色彩空间将饱和度和亮度信息独立出来，在进行颜色分割之后，得到的只是一个粗略的交通标志牌ROI区域，还会留下一些噪声以及一些和目标区域面积相当或者比目标面积略大的区域，这时候就进行一些图像预处理，进行中值滤波、图像填充、轮廓检测、无效面积约束方法，完成基于形状检测的ROI提取；

然后根据检测对象的特点，创建一个能够对交通标志进行分类的模型，并且让模型自己学习识别这些交通标志中关键的特征。

5.根据权利要求1所述的适用于智能网联汽车的多源感知定位系统，其特征在于，视觉SLAM功能中采用了改进ORB-SLAM算法，ORB-SLAM中使用了三个主要线程：实时跟踪特征点的Tracking线程，局部光束法平差的优化线程，以及全局Pose Graph的闭环检测与优化；其中，Tracking线程负责对每幅新图像提取ORB特征点，并与最近的关键帧进行匹配，如果没找到匹配点则进行重定位，然后计算匹配后特征点的3D初始位置并粗略估计相机的位置和姿态，即构建局部地图，Tracking线程的最后一步是确定关键帧，只有关键帧用于后继的平差步骤；局部光束法平差线程用于构建更精确的局部地图，首先插入关键帧，验证最近生成的地图点并进行筛选，生成新的可靠的地图点集，然后使用局部光束法平差重新估计特征点更精确的3D坐标与相机的位置和姿态，最后再对所有的关键帧进行筛选，删除多余的关键帧；前两个线程共同完成了视觉里程计的功能，第三个线程负责闭环探测和整体优化，分为闭环探测和闭环纠正两个部分，闭环探测先使用视觉词袋进行探测，对全局地图中的关键帧进行闭环检测，然后通过3D相似变换确定闭环图像间的相对关系，最后，通过加入闭环约束条件，进行全局平差消除累积误差，由于全局地图中的地图点太多，所以这个线程只对外方位元素节点所构成的图进行优化，并采用图优化的方法。

6.根据权利要求1所述的适用于智能网联汽车的多源感知定位系统，其特征在于，视觉SLAM功能中采用了LSD-SLAM算法，LSD-SLAM分成三个主要线程：图像跟踪线程Tracking、深度图估计线程Depth map estimation和图优化线程Map optimaization；Tracking用于连续跟踪从相机获取到的新图像帧，用前一帧图像帧作为初始姿态，估算出当前关键帧和新图像帧之间的刚体变换群SE(3)，以两幅图像中对应像素亮度间的误差最小为约束，从而得到当前帧的位置和姿态信息；在深度图估计线程中，首先用立体视觉方法和卡尔曼滤波来估计新的深度，同时，对深度进行正则化，即利用像点邻域的深度信息约束并修正当前深度，这是一种平滑策略，然后，若深度图更新较多，则将当前帧替换为关键帧。替换时，将有效像点的深度信息通过SE(3)映射到新的关键帧上；若不替换，则用当前的深度图更新原有信息，当基线过长时，即相机移动足够远，也初始化新的关键帧，并把相近的关键帧图像点投影到新建立的关键帧上；地图优化线程是为了得到全局最优的图像的位置和姿态以及地图，由于单目SLAM无法避免尺度误差累积，在长距离运动之后，会产生巨大的尺度漂移，为了解决这个问题，首先需要将恰当的关键帧插入到当前地图map当中，通过计算map与当前帧的距离，确定是否需要插入当前关键帧。

由于可能存在较大的尺度偏移，因此采用7参数的3D相似变换群SIM(3)来衡量两帧之间的变换，当前帧到map的匹配是通过寻找所有可能相似的关键帧，并计算视觉相似度，并对这些帧进行排序，得到最相似的那几帧来计算SIM(3)，如果相似度高于一定的阈值，该帧就插入map中，并以所有关键帧为节点，执行图优化。

7.根据权利要求1所述的适用于智能网联汽车的多源感知定位系统，其特征在于，视觉SLAM功能中包括对采用闭环探测算法实现在地下车库和封闭环境下的闭环进行探测，所述闭环探测算法具体包括：

采用Bag of Words来存储和描述已经建立的特征：对于图像而言，为实现BoVW，首先也需要建立这样的一个词典，词典的建立包括三个步骤，首先挑选特征描述子，第二步，采用划分成均匀瓦片的方法划分图像，在每个窗口内提取特征，以用于描述该窗口；或者，不划分图像，而直接在图像上提取SIFT特征，并用这些特征的集合来表达该图像，第三步，K均值法聚类和词库优化；

然后利用视觉词袋实现闭环探测：首先采用特征提取算子提取每张像片的特征，将这些特征作为像片的整体描述，存储到内存或外存中，然后，对于新获取的像片，同样提取特征，并与之前拍摄像片的特征集合逐一进行比较，如在某张像片中发现大量的重复特征，则判断为闭环。

8.根据权利要求1所述的适用于智能网联汽车的多源感知定位系统，其特征在于，IMU为了获取更高的精度，通过采用基于中心支撑四质量MEMS陀螺的高精度微惯性组合实现高精度惯性信息测量，采用基于多胞型自适应鲁棒滤波算法的GNSS/惯性深组合导航技术实现高动态、高抗扰载体位置及姿态解算，采用基于RTS双向平滑滤波的GNSS/惯性组合导航及多节点位姿测量融合技术实现高精度数据后处理。

9.根据权利要求1所述的适用于智能网联汽车的多源感知定位系统，其特征在于，视觉SLAM功能具有视觉SLAM辅助组合导航定位功能，具体地：采用相互平行的双目视觉传感器作为立体视觉中环境特征和视觉信息提取系统，同时由编码器得到的里程计和POS系统信息，同一时刻从左右视觉传感器采集到的图像所获得的视觉路标位置作为输入，以更新在全局坐标系中的移动隐蔽摄影测量车的位姿，其中，里程计和POS系统获得的是隐蔽测量车的位姿信息，视觉路标采用SIFT匹配算法并结合深度学习算法对典型地物的自动识别提取的环境特征点的几何位置，特征地图库中存放的是视觉路标的集合，在视觉路标与特征地图库进行数据关联后，利用EKF滤波算法对其与里程计和POS系统信息进行融合，从而完成移动测量车的双目视觉SLAM辅助导航定位。

10.根据权利要求1所述的适用于智能网联汽车的多源感知定位系统，其特征在于，多源融合感知定位功能的具体实现方案是：基于高动态图像感知与识别技术，进行图像特征提取与匹配，获取图像尺度与旋转不变的稳定特征并得到其在连续视频序列中的对应关系，同时进行相对位姿估计，完成针对采用单目相机拍摄虚线和实线，通过算法得出当前本车所在车道线，以及距离车道线的距离，完成横向相对定位，而借助交通信号灯、路灯、灯杆等可实现纵向相对定位；

根据多源定位模块给出的当前大致位置，把采集的图像和高精地图做比对，可得到绝对地理定位，最后，将图像绝对定位结果与多源定位模块给出的结果再次融合，消除定位误差，达到增强定位的目的。