CN113358125A

CN113358125A - 一种基于环境目标检测和环境目标地图的导航方法及系统

Info

Publication number: CN113358125A
Application number: CN202110485249.6A
Authority: CN
Inventors: 牟轩沁; 田锦; 张跃; 廖谦
Original assignee: Xian Jiaotong University
Current assignee: Xian Jiaotong University
Priority date: 2021-04-30
Filing date: 2021-04-30
Publication date: 2021-09-07
Anticipated expiration: 2041-04-30
Also published as: CN113358125B

Abstract

本发明公开了一种基于环境目标检测和环境目标地图的导航方法及系统，构建用于辅助驾驶与定位的环境目标导航电子地图，对电子地图中需要存储的内容进行定义，对环境目标以及道路的三维真实坐标进行测量、建模，设计电子地图数据结构；采集车辆行进过程中的视频帧图像，使用模式识别方法对采集的视频帧图像进行目标检测，得到环境目标的种类和二维图像坐标；通过特征提取算子提取环境目标的种类和二维图像坐标的特征描述子，基于特征描述子，将环境目标的种类和二维图像坐标与环境目标导航电子地图中存储的目标进行匹配得到3D‑2D点对，通过PnP方法计算得到车辆当前的位姿实现定位，实现环境目标导航。本发明定位精度高、易于实现、成本低廉，具有广泛的应用价值。

Description

一种基于环境目标检测和环境目标地图的导航方法及系统

技术领域

本发明属于自动驾驶技术领域，具体涉及一种基于环境目标检测和环境目标地图的导航方法及系统。

背景技术

目前，行车安全问题受到了越来越多的关注。其中，前方障碍物对车辆的行车安全构成了非常严重的威胁。只依靠驾驶司机来判断前方是否有障碍物，来进行减速刹车，避免交通事故的现状，已远远无法满足我国对车辆安全的需要，所以将障碍物识别技术及传感器融合技术用于车辆前方障碍物的探测具有重大的实际意义。

可见光相机可提供分辨率更高的图像和更丰富的细节，可以支撑站台名、公里标、信号灯等标志物的识别，可以用于辅助驾驶和导航定位。辅助驾驶，能够在出现异常的情况下，如行进轨迹上出现障碍物，检测目标缺失等，做出正确的预警和参数修正。基于视觉信息的导航定位，即车辆在行进过程中，能够通过图像识别当前场景，确定在环境中行进的准确位置。

目标检测是计算机视觉中常见的问题之一，是很多计算机视觉任务的基础，不论我们需要实现图像与文字的交互还是需要识别精细类别，它都提供了可靠的信息。近年来随着人工智能和深度学习的兴起，基于深度学习的目标检测方法在识别准确率、速度、性能等方面都有了极大的改善。

按照不同的定位实现技术，高精度定位可以分为三类：第一类，基于信号的定位，代表就是GNSS定位，即全球导航卫星系统；第二类，航迹推算，依靠IMU(惯性测量单元)等，根据上一时刻的位置和方位推断现在的位置和方位；第三类是环境特征匹配，基于激光雷达的定位，用观测到的特征和数据库中的特征和存储的特征进行匹配，得到现在车的位置和姿态。观察目前产业的主流方案，普遍采取融合的形式，大体上有：

1)基于GPS和惯性传感器的传感器融合；

2)基于激光雷达点云与高精地图的匹配；

3)基于计算机视觉技术的道路特征识别，GPS卫星定位为辅助的形式。

在自动驾驶时代，“地图”一词已经失去了其传统路线图的含义。目前大多数车载地图的分辨率已足够用于导航功能，但想要实现自动驾驶，需要掌握更精确、更新的车辆周边环境信息，从而通过其他驾驶辅助系统做出实时反应。因此，未来的“地图”实际上指的是非常精确且不断更新的自动驾驶环境模型。目前，业界对于高精度地图，特别是地铁场景中所包含的内容尚未有准确的定义。

基于视觉的定位方法定位精度高，能够提供丰富的场景信息，避免了无线信号受非视距误差的影响，且能够与智能终端更好地兼容。深度学习算法是当前计算机视觉领域主流的目标检测算法，它依赖多层神经网络学习图像的层次化特征表示，与传统检测方法相比，可以实现更高的准确率。传统的基于目标检测的定位是将目标的位置信息作为拍摄者的位置，本质上属于邻近定位的一种，存在较大的位置误差。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于环境目标检测和环境目标地图的导航方法及系统，定位精度高、能够进行道路异常判断、易于实现以及成本低廉，对轨道交通，公路导航以及工业界定位均适用，具有广泛的应用价值。

本发明采用以下技术方案：

一种基于环境目标检测和环境目标地图的导航方法，包括以下步骤：

S1、构建用于辅助驾驶与定位的环境目标导航电子地图，对电子地图中需要存储的内容进行定义，对环境目标以及道路的三维真实坐标进行测量、建模，设计电子地图数据结构；

S2、采集车辆行进过程中的视频帧图像，使用模式识别方法对采集的视频帧图像进行目标检测，得到环境目标的种类和二维图像坐标；

S3、通过特征提取算子提取步骤S2得到环境目标的种类和二维图像坐标的特征描述子，基于特征描述子，将步骤S2得到环境目标的种类和二维图像坐标与步骤S1构建的环境目标导航电子地图中存储的目标进行匹配得到3D-2D点对，通过PnP方法计算得到车辆当前的位姿实现定位，实现环境目标导航。

具体的，步骤S1中，电子地图中存储的内容包括每个环境目标和车道线的定义、识别参数以及三维真实坐标，并通过Label的编号与不同道路检测目标建立一一映射关系。

具体的，步骤S1中，环境目标为路线上固定的、具有标志性的标志物，至少选取6个不共面的环境目标中心点。

具体的，步骤S1中，电子地图数据结构采用树形拓扑结构，划分成一个父节点和很多子节点，父节点存储当前路段的整体信息，包括路段类型、坡度、路段ID以及对应路段下所有路标信息；对应路段每隔固定距离，将当前位置处所有的可见路标存储在一个子节点中，子节点下存储当前可见目标的标签、类型以及特征描述符。

具体的，步骤S2中，使用模式识别方法进行目标检测具体为：

对视频帧图像中待检测的目标进行手工标注，采用模式识别方法作为目标检测器，对手工标注的目标进行目标检测，输出为检测目标的种类和检测框的二维图像坐标，用于与地图中存储的环境目标信息做比对实现异常判断，以及用于与地图中存储的环境目标三维实际坐标点进行匹配实现定位。

具体的，步骤S3中，特征描述算子使用ORB特征，计算检测环境目标框中环境目标的特征描述符与电子地图中存储的特征描述符的汉明距离，得到检测物体中心的三维真实坐标与检测环境目标框中心图像坐标的3D-2D点对。

具体的，环境目标导航电子地图中存储有当前路段的所有环境目标描述，包括环境目标的初始三维真实坐标，将步骤S1构建的环境目标导航电子地图中存储的对应路段的环境目标信息与步骤S2检测到的环境目标种类和二维图像坐标进行比较；如果检测到的所有环境目标通过步骤S3相机位姿关系反投影得到的环境目标信息与环境目标导航电子地图中的存储信息不一致，或者基于车道线范围内检测到地图中未存储的环境目标，或者相机的姿态参数与电子地图中预设的初始参数相差时，进行异常预警。

本发明的另一技术方案是，一种基于目标检测的环境目标导航系统，包括：

地图模块，构建用于辅助驾驶与定位的环境目标导航电子地图，对电子地图中需要存储的内容进行定义，对环境目标以及道路的三维真实坐标进行测量、建模，设计电子地图数据结构；

检测模块，采集车辆行进过程中的视频帧图像，使用模式识别方法对采集的视频帧图像进行目标检测，得到环境目标的种类和二维图像坐标；

导航模块，通过特征提取算子提取检测模块得到环境目标的种类和二维图像坐标的特征描述子，基于特征描述子，将检测模块得到环境目标的种类和二维图像坐标与地图模块构建的环境目标导航电子地图中存储的目标进行匹配得到3D-2D点对，通过PnP方法计算得到车辆当前的位姿实现定位，实现环境目标导航。

具体的，地图模块中包括目标，基于目标三维位置的指定路段的三维地图描述，以及针对路段的每一个位置可见的目标二维描述；目标包括名称，三维尺寸参数描述和目标的识别参数集；可见的目标二维描述包括目标名称，二维位置，二维尺寸参数描述和一个用于目标识别和异常判断的参数集；地图模块的存储结构采用树形结构存储，父节点存储当前路段的整体信息，包括路段类型、坡度和路段ID；子节点下存储当前可见目标的标签、类型以及特征描述符。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于环境目标检测和环境目标地图的导航方法，在车辆行驶过程中，对相机采集到的视频帧利用一个目标检测器与特征提取算子检测当前图像中的目标，并得到目标的像素位置和特征描述子；基于特征描述子，将检出的目标与地图中存储的目标进行匹配，得到该目标的三维坐标，进而得到该目标的3D-2D点对；基于上述匹配得到的3D-2D点对，通过PnP计算得到相机的位置，即车辆当前的位置；首次针对车辆场景设计基于目标检测的环境目标导航地图，该地图中定义存储的内容是大量行车辅助数据信息，包括对路网精确的自然语言表达以及丰富的语义信息，对线路、路段的类型、路标的类型做了定义；其次，对地图中数据结构的表示进行了设计，能够运用到工程实际中去。基于目标检测，通过视觉信息能够实现导航定位的功能，方便在其他定位装置发生故障时起到辅助定位的效果，同时，可以将检测的结果与地图中的存储内容进行对比，实现异常判断，能够保障车辆的安全运行。进一步地，由于本发明方法只需要使用单目相机作为传感器，方便部署与实现，能够应用到除轨道交通之外的公路、工业界等多种场景。

进一步的，使用模式识别方法进行目标检测，相对于传统的图像目标检测算法，作为有监督的学习，具有局部感知和参数共享的特点，能够有效的从大量样本中学习得到相应的特征，避免了复杂的特征提取过程。

进一步的，电子地图中存储的内容包括每个环境目标的定义、识别参数以及三维真实坐标，通过对行进过程中路段所能看到的所有环境目标作出定义，拥有了所有环境目标的定义并存储在电子地图中，能够知道总体的数据信息，为后续的检测、预警、定位模块提供参考。在具体的检测模块中，使用通过Label的编号与不同道路检测目标建立一一映射关系，在查询过程中我们只需要知道Label的编号就能准确直到具体的检测目标的种类。

进一步的，考虑到数据量的问题，环境目标为路线上固定的、具有标志性的标志物，在进行目标检测时，只关心电子地图中存在的环境目标，同时，如果环境目标的信息发生变化，电子地图也会进行更新。由于环境目标时路线上固定的、具有标志性的标志物，可以通过每个路段环境目标的种类、数量与三维实际坐标的不同，进一步地，比较环境目标的识别参数、特征描述子等来确定当前的位姿。由于相机成像模型的关系，需要至少选取4个不共面的环境目标中心点，具体地，目标检测会输出检测目标检测框在图像中的中心点的二维坐标，通过特征匹配到电子地图中存储的该目标的中心点的三维坐标。

进一步的，地图数据结构采用树形拓扑结构，划分成一个父节点和很多子节点，父节点存储当前当前路段的整体信息，包括路段类型、坡度、路段ID以及对应路段下所有路标信息；对应路段每隔固定距离，将当前位置处所有的可见路标存储在一个子节点中，子节点下存储当前可见目标的标签、类型以及特征描述符。父节点中描述了整体信息的集合，明确了路段、环境目标得定义，子节点中存储的信息能够在当前行进路段进行对比，检测异常信息，同时确定当前行进的位置。

进一步的，特征描述算子使用ORB特征，能够检测出图像中的关键点，快速创建特征向量，由于描述子是二进制描述子，计算检测环境目标框中环境目标的特征描述符与电子地图中存储的特征描述符的汉明距离，二元描述符之间的不同位数量判断两个关键点之间的匹配质量，得到检测物体中心的三维真实坐标与检测环境目标框中心图像坐标的3D-2D点对。由于目标检测会输出被检测的环境目标的种类和检测框的二维坐标信息，我们对检测框中的图像进行特征提取与匹配，不需要对整幅图像做处理。

进一步的，电子地图中存储有成像系统在当前路段所能看到的所有环境目标的描述，包括环境目标的初始三维真实坐标，只需要至少四个不共面的目标中心点可以得到相机的当前位姿，如果检测到的所有环境目标通过相机位姿关系反投影得到的环境目标信息与电子地图中的存储信息不一致，或者基于车道线范围内检测到地图中未存储的环境目标(障碍物)，或者相机的角度参数与电子地图中的初始参数不一致，进行异常预警。

综上所述，本发明通过构建环境目标导航地图，对电子地图中所包含的内容作出定义，对数据结构进行设计，能够实现环境目标检测、异常预警、导航定位的功能。本发明仅使用单目相机作为传感器，视觉信息提供丰富细节以及高阶语义信息，定位精度高、易于实现、成本低廉，适用于轨道交通，公路导航以及工业界的辅助定位，具有广泛的应用价值。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明系统流程图；

图2为数据结构中的父节点示意图；

图3为数据结构中的子节点示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明提供了一种基于环境目标检测和环境目标地图的导航方法，使用深度卷积神经网络对车辆行进过程中单目相机采集到的视频帧中的目标进行检测。同时，对电子地图中包含的内容作出了定义，通过对环境目标的定义、集合选取以及三维真实坐标的测量进行建模，加上对道路类型的定义表达以及数据结构的设计实现电子地图的构建。进一步地，基于地图进行异常判断，对比检测到的环境目标与地图中存储的该路段本应有的环境目标的类型、数量以及三维真实坐标，做出异常预警。进一步地，通过ORB(Oriented Fastand Rotated Brief)特征提取算子提取检测目标的特征描述子，基于特征描述子，将检测出的目标与电子地图中存储的目标进行匹配进而得到3D-2D点对，进一步地通过PnP(Perspective-n-Points)算法计算得到车辆当前的位姿实现定位。本发明方法基于视觉图像信息，同时存储对路网精确的自然语言表征以及丰富的语义信息，具有多功能、定位精度高、易于实现、成本低廉以及适用于不同应用场景的优点。

请参阅图1，本发明一种基于环境目标检测和环境目标地图的导航方法，使用模式识别方法对车辆行进过程中单目相机采集到的视频帧中的目标进行检测，通过ORB特征提取算子提取检测目标的特征描述子，基于特征描述子，将检测出的目标与电子地图中存储的目标进行匹配进而得到3D-2D点对，进一步地通过PnP算法计算得到车辆当前的位姿，同时提出了用于辅助驾驶与定位的车辆电子地图数据结构的设计方法。具体包括以下步骤：

S1、构建用于辅助驾驶与定位的环境目标导航电子地图，对地图中需要存储的内容进行定义，对环境目标以及道路的三维真实坐标进行测量、建模，并对相关的数据结构进行设计；

电子地图中存储大量行车辅助数据信息，包括对路网精确的自然语言表征以及丰富的语义信息，比如，路段的类型，路标的位置及类型等对实际空间的表达。

使用可见光相机，通过固定可见光相机在车辆上，提供高清分辨率的图像，显示成像目标的丰富细节，包括形状，颜色，大小等信息。在物体检测阶段，使用基于深度学习的方法检测并分类出地图中的目标物体，包括车道线，信号灯，路牌，电气设备箱，信标等，最少需要选取4个不共面的环境目标中心点。

对地图的数据结构表示进行设计，采用树形拓扑结构，划分成一个父节点和很多子节点，父节点存储当前当前路段的整体信息，包括路段类型、坡度、路段ID以及该路段下所有路标(包括道路上的信标以及周边电气设备等)的信息(包括路标类型，标签以及三维坐标)；对于该路段，每隔一固定距离(例如5米)，将当前位置处所有的可见路标存储在一个子节点中，n表示第n个间隔。该子节点下存储了当前可见目标的标签、类型以及特征描述符。

电子地图数据格式采用JSON(JavaScript Object Notation，JS对象简谱)文件格式的数据组织方式，是一种轻量级的数据交换格式。它基于ECMAScript(欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。

请参阅图2和图3。对轨道中的铁轨进行编号，多轨道一般存在于岔路口，车辆行进的初始轨道存储在ID为0的线路中。

线路ID的命名规则：

·线路内唯一；

·数值连续的；

·车辆行进的初始轨道所在lane的ID为0；

·车辆行进的初始轨道所在lane左侧lane的ID向左侧依次递增；

·车辆行进的初始轨道所在lane右侧lane的ID向右侧依次递减线路总数目没有限制。

路段类型的定义：

1：直道(straight)

2：右转弯(right_curve)

3：左转弯(left_curve)

4：上坡(uphill)

5：下坡(downhill)

6：双岔道(double turnout)

7：三岔道(road junction)

8：站台(platform)

电子地图包含了大量的驾驶辅助信息，通过对路标的定义和存储，丰富表达环境的语义信息。通过Label的编号与不同道路检测目标建立一一映射关系，由于路标种类较多，以下列举编号靠前的几种路标：

1：静态信标；

2：电气设备箱；

3：电线；

4：方形路牌；

5：矩形路牌；

6：监控设备；

7：测沉降设备；

8：转辙机；

9：安全门；

……

电子地图中还包括了一个用于目标识别和异常判断的参数集，参数集中包括以下信息：

1)、用于障碍物识别的模型的最优参数，针对专利实施的具体算法的参，包括所用深度网络模型的参数，ORB特征点提取的参数等。这些参数都是在不同环境下实验得到的最优参数，便于专利使用者直接使用；

2)、用于异常判断的参数，包括相机在某一位置的预设位姿参数；相机在预设位姿下场景中的可见目标在图像中像素坐标，尺寸等；位姿偏差范围，用于将实际计算出的相机位姿与预设位姿进行比较，如果超出偏差范围，则认为异常，经过测试，我们给出的相机摆放角度的偏差范围是[-5°,5°]。

S2、对车辆行进过程中单目相机采集到的视频帧图像，使用模式识别方法进行目标检测，得到检测目标的种类和位置；

模式识别方法包括可以分为基于传统手工特征的方法和基于深度学习的方法。对视频帧使用的目标检测方法如下：

传统的手工特征的目标检测算法，即为滑动窗口+传统机器学习算法。具体地，将一个窗口在待检测图片上从左到右、从上到下的滑动，从而找到目标，这里的滑动窗口所有滑过的位置即为候选框。由于目标的大小不一，因此选择不同尺寸的滑动窗口。分别对滑动的每个窗口进行特征提取，之后对提取的特征利用机器学习方法(如SVM)进行分类。提取的特征可以是Harr特征或HOG特征。

基于深度学习网络的目标检测算法，通过对大量视频帧图像中需要检测的目标进行手工标注，对静态信标、电气设备箱、电线、方形路牌、矩形路牌、监控设备、测沉降设备、转辙机、安全门等，通过深度卷积神经网络进行目标检测，输出为检测目标的种类和检测框的位置。

YOLO(YOLO、YOLO9000、YOLOv3)(Redmon J,Divvala S K,Girshick R,et al.YouOnly Look Once:Unified,Real-Time Object Detection.IEEE ComputerSociety.Proceedings of Computer Vision and Pattern Recognition.Washington DC,2016:779-788)系列算法经过不断改良，最新版本的YOLO-v3在COCO数据集上，精度、速度性能都比较优异，在工业界广泛使用。因此，本发明选取YOLO-v3网络作为目标检测器。

网络训练时，通过对大量视频帧图像中需要检测的目标进行手工标注，总共约两千张图，20类检测目标。通过实验，将学习率设为0.001，学习衰减因子设为0.96，批量大小为4。

传统的手工特征的车道线检测算法包括基于边缘检测的方法、基于区域生长的方法和基于机器学习的方法。具体说，基于边缘检测的方法是通过各种边缘检测算子(如sobel)提取图像边缘，再通过选取感兴趣区域等手段滤除干扰边缘，最后通过直线、曲线拟合对车道线边缘线进行拟合；基于区域生长的方法首先对图像进行特征提取(如HOG特征)，之后人为地选定种子点，即认为地将铁轨区域的特征作为区域生长的种子点，基于该种子利用区域生长得到完整铁轨区域；基于机器学习的方法具体为先对图像进行特征提取(HOG特征、sift特征等)，之后通过SVM对特征进行分类进而得到铁轨区域。

深度学习的车道线检测算法首先人为地对图像中的铁轨区域进行标注得到车道线检测的数据集，然后利用此数据集对深度网络进行训练，网络的输出结果为与待检测图像相同尺寸的二值图像，在该二值图像中，车道线区域的像素值为1，其余区域像素值为0。模型选择方面，Unet网络在各种图像二分割任务中表现优异，因此本发明选择Unet网络作为车道线检测器。训练时，通过人工标注了5000张图像。通过实验，将学习率设置为0.01，衰减率设置为0.9，批量大小设置为6。

最后检测的结果一方面用于与地图中存储的环境目标信息做比对实现异常判断，另一方面用于与地图中存储的环境目标三维实际坐标点进行匹配实现定位。对比检测到的环境目标与地图中存储的该路段本应有的环境目标的信息，做出异常判断；

电子地图中存储有成像系统在当前路段所能看到的所有环境目标的描述，包括环境目标的初始三维真实坐标，通过相机的当前位姿，如果检测到的所有环境目标通过相机位姿关系反投影得到的环境目标信息与电子地图中的存储信息不一致，或者基于车道线范围内检测到地图中未存储的环境目标(障碍物)，或者相机的角度参数与电子地图中的初始参数不一致，进行异常预警。

S3、通过特征提取算子提取步骤S1得到环境目标的种类和二维图像坐标的特征描述子，基于特征描述子，将步骤S1得到环境目标的种类和二维图像坐标与步骤S2构建的环境目标导航电子地图中存储的目标进行匹配得到3D-2D点对，通过PnP方法计算得到车辆当前的位姿实现定位，实现环境目标导航。

特征描述算子使用的是ORB(Oriented FAST and Rotated BRIEF)特征。基于特征描述子，将检测出的环境目标与电子地图中存储的目标进行匹配进而得到3D-2D点对中所使用的匹配方法是，通过计算检测目标框中目标的特征描述符与地图中存储的特征描述符的汉明距离，进而得到检测物体的中心的三维真实坐标与检测目标框的中心的图像坐标的3D-2D点对。

当通过特征匹配得到3D-2D点对后，PnP(Perspective-n-Point)是求解3D到2D点对运动的方法，根据n个3D空间点及其投影位置估计相机位姿；具体的，根据相机成像模型，设空间一点P在世界坐标系Ow下的坐标为(X_W,Y_W,Z_W)，在相机坐标系下的坐标为(X_C,Y_C,Z_C)，则世界坐标和相机坐标的变换关系如下：

其中，R，t为相机外参。

点P在图像上的像素坐标(u,v)与相机坐标的变换关系如下：

其中，K为相机内参，则点P的世界坐标到像素的转换关系为：

内参K通过相机标定得到，为了求解相机外参R，t，至少需要知道6对3D-2D点对，假设有如下6对点对：

以得到如下方程组：

是一个12元一次齐次方程组，齐次方程组的解有两种情况，一种是只有全零解，另一种是有无穷多解，显然求解外参是第二种情况。

因此，该方程组没有一个解析解。PnP问题有很多求解的方法，EPnP(LEPETIT V,MORENO N,FUA F.EPnP:an accurate O(n)solution to the PnP problem[J].International Journal of Computer Vision，2009，81(2):155-166)需要6对不共面的3D与2D匹配点，是目前较好的PnP求解方法。本发明采用EPnP算法进行实验；相机的外参包括(x,y,z,α，β，γ)六个参数，(x,y,z)是相机的平移参数，也即是车辆的位置，(α，β，γ)是相机的旋转参数，我们会与电子地图中的初始参数进行对比，看是否有角度的扰动，求解相机姿态有两个目的：1)计算的姿态参数与系统预设的参数不大时，该导航系统可以做到对相机姿态不敏感，因此便于实际使用情况；2)当计算的姿态参数与系统预设的参数相差太大时，提示系统的成像单元出现异常。

本发明再一个实施例中，提供一种基于环境目标检测和环境目标地图的导航系统，该系统能够用于实现上述基于环境目标检测和环境目标地图的导航方法，具体的，该基于环境目标检测和环境目标地图的导航系统包括地图模块、检测模块以及导航模块。

其中，地图模块，构建用于辅助驾驶与定位的环境目标导航电子地图，对电子地图中需要存储的内容进行定义，对环境目标以及道路的三维真实坐标进行测量、建模，设计电子地图数据结构；

其中，地图模块，定义地图的三个部分：

1)所有的目标定义，包括：名称，三维尺寸参数描述，目标的识别参数集；

2)基于目标三维位置的指定路段的三维地图描述；

3)针对路段的每一个位置，可见的目标的二维描述，包括：目标名称，二维位置，二维尺寸参数描述，一个用于目标识别和异常判断的参数集一种地图模块的存储结构，如权力要求4中所述，地图采用树形结构存储，父节点存储当前路段的整体信息，包括路段类型、坡度、路段ID等。子节点下存储当前可见目标的标签、类型以及特征描述符。

本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于环境目标检测和环境目标地图的导航方法的操作，包括：

构建用于辅助驾驶与定位的环境目标导航电子地图，对电子地图中需要存储的内容进行定义，对环境目标以及道路的三维真实坐标进行测量、建模，设计电子地图数据结构；采集车辆行进过程中的视频帧图像，使用模式识别方法对采集的视频帧图像进行目标检测，得到环境目标的种类和二维图像坐标；通过特征提取算子提取环境目标的种类和二维图像坐标的特征描述子，基于特征描述子，将环境目标的种类和二维图像坐标与环境目标导航电子地图中存储的目标进行匹配得到3D-2D点对，通过PnP方法计算得到车辆当前的位姿实现定位，实现环境目标导航。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于环境目标检测和环境目标地图的导航方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图2，为数据结构中的父节点，具体表现为每一路段，建立的一个名为map的json文件用于存储当前路段的整体信息，包括路段类型，路段ID，坡度以及该路段下所有路标(包括道路上的信标以及周边电气设备等)的信息(包括路标类型，标签以及三维坐标)。

请参阅图3，为数据结构中的子节点，具体表现为对于当前路段，每隔一固定距离(例如5米)，将当前位置处所有的可见路标存储在一个名为map_n的文件中，n表示第n个间隔。该文件下存储了当前可见目标的标签、类型以及特征描述符，这些信息用于与图像中检测出的目标进行匹配。

综上所述，本发明一种基于环境目标检测和环境目标地图的导航方法及系统，基于视觉图像信息，同时存储对路网精确的自然语言表征以及丰富的语义信息，具有多功能、定位精度高、易于实现、成本低廉以及适用于不同应用场景的优点。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims

1.一种基于环境目标检测和环境目标地图的导航方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤S1中，电子地图中存储的内容包括每个环境目标和车道线的定义、识别参数以及三维真实坐标，并通过Label的编号与不同道路检测目标建立一一映射关系。

3.根据权利要求1所述的方法，其特征在于，步骤S1中，环境目标为路线上固定的、具有标志性的标志物，至少选取6个不共面的环境目标中心点。

4.根据权利要求1所述的方法，其特征在于，步骤S1中，电子地图数据结构采用树形拓扑结构，划分成一个父节点和很多子节点，父节点存储当前路段的整体信息，包括路段类型、坡度、路段ID以及对应路段下所有路标信息；对应路段每隔固定距离，将当前位置处所有的可见路标存储在一个子节点中，子节点下存储当前可见目标的标签、类型以及特征描述符。

5.根据权利要求1所述的方法，其特征在于，步骤S2中，使用模式识别方法进行目标检测具体为：

6.根据权利要求1所述的方法，其特征在于，步骤S3中，特征描述算子使用ORB特征，计算检测环境目标框中环境目标的特征描述符与电子地图中存储的特征描述符的汉明距离，得到检测物体中心的三维真实坐标与检测环境目标框中心图像坐标的3D-2D点对。

7.根据权利要求1所述的方法，其特征在于，环境目标导航电子地图中存储有当前路段的所有环境目标描述，包括环境目标的初始三维真实坐标，将步骤S1构建的环境目标导航电子地图中存储的对应路段的环境目标信息与步骤S2检测到的环境目标种类和二维图像坐标进行比较；如果检测到的所有环境目标通过步骤S3相机位姿关系反投影得到的环境目标信息与环境目标导航电子地图中的存储信息不一致，或者基于车道线范围内检测到地图中未存储的环境目标，或者相机的姿态参数与电子地图中预设的初始参数相差时，进行异常预警。

8.一种基于目标检测的环境目标导航系统，其特征在于，包括：

9.根据权利要求8所述的基于目标检测的环境目标导航系统，其特征在于，地图模块中包括目标，基于目标三维位置的指定路段的三维地图描述，以及针对路段的每一个位置可见的目标二维描述；目标包括名称，三维尺寸参数描述和目标的识别参数集；可见的目标二维描述包括目标名称，二维位置，二维尺寸参数描述和一个用于目标识别和异常判断的参数集；

地图模块的存储结构采用树形结构存储，父节点存储当前路段的整体信息，包括路段类型、坡度和路段ID；子节点下存储当前可见目标的标签、类型以及特征描述符。