CN112749584B - 一种基于图像检测的车辆定位方法及车载终端 - Google Patents

一种基于图像检测的车辆定位方法及车载终端 Download PDF

Info

Publication number
CN112749584B
CN112749584B CN201911040864.5A CN201911040864A CN112749584B CN 112749584 B CN112749584 B CN 112749584B CN 201911040864 A CN201911040864 A CN 201911040864A CN 112749584 B CN112749584 B CN 112749584B
Authority
CN
China
Prior art keywords
map
point
coordinate system
contour
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911040864.5A
Other languages
English (en)
Other versions
CN112749584A (zh
Inventor
李天威
刘一龙
徐抗
童哲航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Momenta Technology Co ltd
Original Assignee
Beijing Momenta Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Momenta Technology Co ltd filed Critical Beijing Momenta Technology Co ltd
Priority to CN201911040864.5A priority Critical patent/CN112749584B/zh
Publication of CN112749584A publication Critical patent/CN112749584A/zh
Application granted granted Critical
Publication of CN112749584B publication Critical patent/CN112749584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明实施例公开一种基于图像检测的车辆定位方法及车载终端。该方法包括：根据运动检测设备采集的数据，确定与道路图像对应的初始定位位姿；根据初始定位位姿，从预设地图的各个地图点中确定与道路图像对应的各个第一地图点；根据预设的语义轮廓检测算法，检测得到道路图像的对象轮廓区域；根据初始定位位姿，确定第二地图点与检测得到的对象轮廓区域的轮廓点之间的映射差异，根据映射差异确定车辆的优化定位位姿；第二地图点为各个第一地图点中处于对象轮廓上的地图点，预设地图的各个地图点为：预先对样本道路图像中的各个对象轮廓区域中的点进行三维重建后得到。应用本发明实施例提供的方案，能够提高基于视觉对车辆进行定位时的有效性。

Description

一种基于图像检测的车辆定位方法及车载终端
技术领域
本发明涉及智能驾驶技术领域，具体而言，涉及一种基于图像检测的车辆定位方法及车载终端。
背景技术
在智能驾驶技术领域中，对车辆进行定位是智能驾驶中的重要环节。通常，当车辆行驶时，可以根据卫星定位系统确定车辆位姿。但是，当车辆行驶至卫星信号较弱或无信号的场景中时，为了精确地确定车辆的定位位姿，可以采用视觉定位的方式进行定位。
视觉定位，通常是根据相机设备采集的道路图像的语义信息与高精度地图中的语义信息之间的匹配而进行的定位。高精度地图中的语义信息是根据道路上常见的标志物进行建模得到。标志物一般可以包括地面的车道线、地面标志线、交通标识牌和路灯杆等。
当场景中的有效标志物足够多时，上述视觉定位方式能够有效地确定车辆定位位姿。但是当场景中的标志物稀少甚至没有标志物时，高精度地图难以给出足够的有效信息用于视觉定位；或者，标志物由于被遮挡或者老化而无法完全地匹配高精度地图时，视觉定位可能无法进行。以上这些都导致视觉定位的有效性较低。
发明内容
本发明提供了一种基于图像检测的车辆定位方法及车载终端，以提高基于视觉对车辆进行定位时的有效性。具体的技术方案如下。
第一方面，本发明实施例公开了一种基于图像检测的车辆定位方法，包括：
获取相机设备采集的道路图像；
根据运动检测设备采集的数据，确定与所述道路图像对应的初始定位位姿；其中，初始定位位姿为预设地图所在的世界坐标系中的位姿；
根据所述初始定位位姿，从所述预设地图的各个地图点中确定与所述道路图像对应的各个第一地图点；其中，所述预设地图的各个地图点为：预先对样本道路图像中的各个对象轮廓区域中的点进行三维重建后得到；
根据预设的语义轮廓检测算法，检测得到所述道路图像的对象轮廓区域；
根据所述初始定位位姿，确定第二地图点与检测得到的所述对象轮廓区域的轮廓点之间的映射差异，根据所述映射差异确定车辆的优化定位位姿；其中，所述第二地图点为各个第一地图点中处于对象轮廓上的地图点，所述对象轮廓为与所述对象轮廓区域对应的对象轮廓。
可选的，所述根据所述初始定位位姿，确定第二地图点与检测得到的所述对象轮廓区域的轮廓点之间的映射差异，根据所述映射差异确定车辆的优化定位位姿的步骤，包括：
以所述初始定位位姿为估计位姿的初始值，根据所述估计位姿的取值，将各个第一地图点与检测得到的所述对象轮廓区域的轮廓点映射至同一坐标系中，根据映射至同一坐标系之后的坐标，确定各个第一地图点中处于对象轮廓上的第二地图点与所述轮廓点之间的映射差异；
当所述映射差异大于预设差异阈值时，根据所述映射差异修改所述估计位姿的取值，返回执行所述根据所述估计位姿的取值，将各个第一地图点与检测得到的所述对象轮廓区域的轮廓点映射至同一坐标系中的步骤；
当所述映射差异小于预设差异阈值时，根据所述估计位姿的当前取值，确定车辆的优化定位位姿。
可选的，所述根据所述估计位姿的取值，将各个第一地图点与检测得到的所述对象轮廓区域的轮廓点映射至同一坐标系中，根据映射至同一坐标系之后的坐标，确定各个第一地图点中处于对象轮廓上的第二地图点与所述轮廓点之间的映射差异的步骤，包括：
根据所述估计位姿的取值，确定所述世界坐标系与相机坐标系之间的转换矩阵；根据所述转换矩阵，以及所述相机坐标系与图像坐标系之间的投影关系，将各个第一地图点映射至所述图像坐标系中，得到各个第一地图点的第一映射位置；将各个第一地图点中第一映射位置与所述轮廓点之间的位置差小于第一预设阈值的地图点作为处于对象轮廓上的第二地图点，确定所述第二地图点的第一映射位置与所述轮廓点之间的映射差异；其中，所述相机坐标系为所述相机设备所在的三维坐标系，所述图像坐标系为所述道路图像所在的坐标系；
或者，
根据所述估计位姿的取值，确定所述世界坐标系与相机坐标系之间的转换矩阵；根据所述转换矩阵，以及所述相机坐标系与图像坐标系之间的投影关系，将检测得到的轮廓点映射至所述世界坐标系中，得到所述轮廓点的第二映射位置；将各个第一地图点中与所述轮廓点的第二映射位置之间的位置差小于第二预设阈值的地图点作为处于对象轮廓上的第二地图点，确定所述第二地图点与所述轮廓点的第二映射位置之间的映射差异。
可选的，所述根据所述初始定位位姿，确定第二地图点与检测得到的所述对象轮廓区域的轮廓点之间的映射差异，根据所述映射差异确定车辆的优化定位位姿的步骤，包括：
确定所述道路图像的各个对象轮廓区域中的静态对象轮廓区域；
根据所述初始定位位姿，确定第二地图点与所述静态对象轮廓区域的轮廓点之间的映射差异，根据所述映射差异确定车辆的优化定位位姿。
可选的，所述根据所述初始定位位姿，从所述预设地图的各个地图点中确定与所述道路图像对应的各个第一地图点的步骤，包括：
以所述预设地图中所述初始定位位姿所在竖直线作为中心线，以预设距离作为圆柱截面半径确定的圆柱区域所包含的各个地图点，作为待选地图点；
从各个待选地图点中筛选处于所述相机设备的采集范围内的地图点，得到与所述道路图像对应的各个第一地图点。
可选的，所述从各个待选地图点中筛选处于所述相机设备的采集范围内的地图点，得到与所述道路图像对应的各个第一地图点的步骤，包括：
根据所述初始定位位姿，确定所述世界坐标系与相机坐标系之间的转换矩阵；其中，所述相机坐标系为所述相机设备所在的三维坐标系；
根据所述转换矩阵，将各个待选地图点映射至所述相机坐标系中，得到各个待选地图点的第三映射位置；
根据所述第三映射位置处于所述相机设备在竖直高度方向上的采集范围内的筛选条件，从各个待选地图点中筛选得到与所述道路图像对应的各个第一地图点。
可选的，确定的待选地图点包括待选地图点的坐标位置和法向量；所述从各个待选地图点中筛选处于所述相机设备的采集范围内的地图点，得到与所述道路图像对应的各个第一地图点的步骤，包括：
根据各个待选地图点的坐标位置，确定所述相机设备与各个待选地图点之间的连线；
计算各个连线与对应的待选地图点的法向量之间的夹角；
根据所述夹角处于预设夹角范围内的筛选条件，从各个待选地图点中筛选得到与所述道路图像对应的各个第一地图点。
可选的，所述预设地图中的各个地图点采用以下方式构建：
获取样本道路图像，并根据预设的语义轮廓检测算法，检测得到所述样本道路图像的样本对象轮廓区域；
根据运动检测设备采集的数据，确定与所述样本道路图像对应的样本定位位姿；其中，所述样本定位位姿为所述世界坐标系中的位姿；
基于三维重建算法和所述样本定位位姿，确定所述样本对象轮廓区域中每个点在所述世界坐标系中的位置信息；
按照预设点密度从所述样本对象轮廓区域的各个点中选择地图点，将各个地图点在所述世界坐标系中的位置信息添加至所述预设地图。
第二方面，本发明实施例公开了一种车载终端，包括：
图像获取模块，被配置为获取相机设备采集的道路图像；
初始定位模块，被配置为根据运动检测设备采集的数据，确定与所述道路图像对应的初始定位位姿；其中，初始定位位姿为预设地图所在的世界坐标系中的位姿；
地图点确定模块，被配置为根据所述初始定位位姿，从所述预设地图的各个地图点中确定与所述道路图像对应的各个第一地图点；其中，所述预设地图的各个地图点为：预先对样本道路图像中的各个对象轮廓区域中的点进行三维重建后得到；
区域检测模块，被配置为根据预设的语义轮廓检测算法，检测得到所述道路图像的对象轮廓区域；
位姿优化模块，被配置为根据所述初始定位位姿，确定第二地图点与检测得到的所述对象轮廓区域的轮廓点之间的映射差异，根据所述映射差异确定车辆的优化定位位姿；其中，所述第二地图点为各个第一地图点中处于对象轮廓上的地图点，所述对象轮廓为与所述对象轮廓区域对应的对象轮廓。
可选的，所述位姿优化模块，具体被配置为：
以所述初始定位位姿为估计位姿的初始值，根据所述估计位姿的取值，将各个第一地图点与检测得到的所述对象轮廓区域的轮廓点映射至同一坐标系中，根据映射至同一坐标系之后的坐标，确定各个第一地图点中处于对象轮廓上的第二地图点与所述轮廓点之间的映射差异；
当所述映射差异大于预设差异阈值时，根据所述映射差异修改所述估计位姿的取值，返回执行所述根据所述估计位姿的取值，将各个第一地图点与检测得到的所述对象轮廓区域的轮廓点映射至同一坐标系中的操作；
当所述映射差异小于预设差异阈值时，根据所述估计位姿的当前取值，确定车辆的优化定位位姿。
可选的，所述位姿优化模块，根据所述估计位姿的取值，将各个第一地图点与检测得到的所述对象轮廓区域的轮廓点映射至同一坐标系中，根据映射至同一坐标系之后的坐标，确定各个第一地图点中处于对象轮廓上的第二地图点与所述轮廓点之间的映射差异时，包括：
根据所述估计位姿的取值，确定所述世界坐标系与相机坐标系之间的转换矩阵；根据所述转换矩阵，以及所述相机坐标系与图像坐标系之间的投影关系，将各个第一地图点映射至所述图像坐标系中，得到各个第一地图点的第一映射位置；将各个第一地图点中第一映射位置与所述轮廓点之间的位置差小于第一预设阈值的地图点作为处于对象轮廓上的第二地图点，确定所述第二地图点的第一映射位置与所述轮廓点之间的映射差异；其中，所述相机坐标系为所述相机设备所在的三维坐标系，所述图像坐标系为所述道路图像所在的坐标系；
或者，
根据所述估计位姿的取值，确定所述世界坐标系与相机坐标系之间的转换矩阵；根据所述转换矩阵，以及所述相机坐标系与图像坐标系之间的投影关系，将检测得到的轮廓点映射至所述世界坐标系中，得到所述轮廓点的第二映射位置；将各个第一地图点中与所述轮廓点的第二映射位置之间的位置差小于第二预设阈值的地图点作为处于对象轮廓上的第二地图点，确定所述第二地图点与所述轮廓点的第二映射位置之间的映射差异。
可选的，所述位姿优化模块，具体被配置为：
确定所述道路图像的各个对象轮廓区域中的静态对象轮廓区域；
根据所述初始定位位姿，确定第二地图点与所述静态对象轮廓区域的轮廓点之间的映射差异，根据所述映射差异确定车辆的优化定位位姿。
可选的，所述地图点确定模块，具体被配置为：
以所述预设地图中所述初始定位位姿所在竖直线作为中心线，以预设距离作为圆柱截面半径确定的圆柱区域所包含的各个地图点，作为待选地图点；
从各个待选地图点中筛选处于所述相机设备的采集范围内的地图点，得到与所述道路图像对应的各个第一地图点。
可选的，所述地图点确定模块，从各个待选地图点中筛选处于所述相机设备的采集范围内的地图点，得到与所述道路图像对应的各个第一地图点时，包括：
根据所述初始定位位姿，确定所述世界坐标系与相机坐标系之间的转换矩阵；其中，所述相机坐标系为所述相机设备所在的三维坐标系；
根据所述转换矩阵，将各个待选地图点映射至所述相机坐标系中，得到各个待选地图点的第三映射位置；
根据所述第三映射位置处于所述相机设备在竖直高度方向上的采集范围内的筛选条件，从各个待选地图点中筛选得到与所述道路图像对应的各个第一地图点。
可选的，确定的待选地图点包括待选地图点的坐标位置和法向量；所述地图点确定模块，从各个待选地图点中筛选处于所述相机设备的采集范围内的地图点，得到与所述道路图像对应的各个第一地图点时，包括：
根据各个待选地图点的坐标位置，确定所述相机设备与各个待选地图点之间的连线；
计算各个连线与对应的待选地图点的法向量之间的夹角；
根据所述夹角处于预设夹角范围内的筛选条件，从各个待选地图点中筛选得到与所述道路图像对应的各个第一地图点。
可选的，所述预设地图中的各个地图点采用以下操作构建：
获取样本道路图像，并根据预设的语义轮廓检测算法，检测得到所述样本道路图像的样本对象轮廓区域；
根据运动检测设备采集的数据，确定与所述样本道路图像对应的样本定位位姿；其中，所述样本定位位姿为所述世界坐标系中的位姿；
基于三维重建算法和所述样本定位位姿，确定所述样本对象轮廓区域中每个点在所述世界坐标系中的位置信息；
按照预设点密度从所述样本对象轮廓区域的各个点中选择地图点，将各个地图点在所述世界坐标系中的位置信息添加至所述预设地图。
由上述内容可知，本发明实施例提供的基于图像检测的车辆定位方法及车载终端，可以根据各个第一地图点中处于对象轮廓上的第二地图点，与检测得到的道路图像的对象轮廓区域的轮廓点之间的映射差异，确定车辆的优化定位位姿。预设地图中预先构建了样本道路图像中各个对象轮廓区域中的点，不管道路图像针对各个对象的拍摄角度如何，都能够从各个第一地图点中找到与道路图像的对象轮廓区域的轮廓点对应的点，根据轮廓上的点的映射差异，确定车辆的优化定位位姿。本发明实施例能够利用图像中对象轮廓区域的轮廓点与预设地图中的语义信息进行匹配而进行定位，即便场景中的标志物稀疏或者标注物被遮挡，也能通过第二地图点与轮廓点之间的匹配来优化定位位姿，因此本发明实施例能够提高基于视觉对车辆进行定位时的有效性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、在获取到道路图像时，对道路图像进行语义分割，得到各个对象轮廓区域，将预设地图中各个第一地图点中处于对象轮廓上的第二地图点与道路图像的轮廓点进行匹配，进而优化定位位姿。第一地图点中处于对象轮廓上的第二地图点是随着道路图像的对象轮廓区域的变化而变化的。这种定位方式依据的语义信息，能够弥补场景中的标志物稀疏或者标注物被遮挡时的语义信息不足，提高基于视觉对车辆进行定位时的有效性。
2、在确定车辆的优化定位位姿时，通过不断地调整估计位姿的取值，来得到第二地图点与轮廓点之间的映射差异，使得估计位姿的取值逐渐地接近真实值，从而迭代地求解得到优化定位位姿，使得求解的优化定位位姿更准确。
3、当道路图像的各个对象轮廓区域中存在动态对象轮廓区域时，不将该部分作为定位的依据信息，而选择静态对象轮廓区域进行车辆定位匹配。静态对象轮廓区域的语义信息更加稳定，这样能够提高优化定位位姿的准确性。
4、针对预设地图中初始定位位姿对应的圆柱区域内的地图点，将处于相机设备的采集范围内的地图点，筛选为第一地图点，能够从预设地图中选择有效的地图点，提高确定的车辆定位位姿的准确性。
5、在构建预设地图时，从样本道路图像中提取样本对象轮廓区域，从样本对象轮廓区域的各个点中选择地图点，将各个地图点添加至预设地图中，添加的地图点包括样本对象轮廓区域内平面区域和边缘上的点，这增加了对对象轮廓区域内的语义信息的构建。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于图像检测的车辆定位方法的一种流程示意图；
图2A为本发明实施例提供的从一道路图像中检测得到的多个对象轮廓区域；
图2B为各个地图点投影至对象轮廓上时的一种示意图；
图3为一个圆柱的三维图像和从不同角度对其观测时的图像模型示意图；
图4为将第二地图点投影至图像坐标系中时的一种示意图；
图5为本发明实施例提供的相机设备与地图点的法向量之间夹角的一种示意图；
图6为本发明实施例提供的基于图像检测的车辆定位方法的一种框架示意图；
图7所示为本发明实施例提供的车载终端的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种基于图像检测的车辆定位方法及车载终端，能够提高基于视觉对车辆进行定位时的有效性。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的基于图像检测的车辆定位方法的一种流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器或者智能终端设备等，也可以为车载电脑或车载工业控制计算机(Industrial personal Computer，IPC)等车载终端。本实施例中，车载终端可以安装于车辆中，车辆是指智能车辆。车辆中设置了多种传感器，包括相机设备和运动检测设备等传感器。车辆中设置的相机设备可以为一个或多个。运动检测设备可以包括惯性测量单元(Inertial Measurement Unit，IMU)和/或轮速计等传感器。该方法具体包括以下步骤。
S110：获取相机设备采集的道路图像。
其中，相机设备可以按照预设的频率采集道路图像。道路图像可以包括道路标志物或者相机设备的图像采集范围内的其他任何物体的图像数据。
本实施例中，当相机设备为多个时，上述道路图像可以为车辆前部设置的一个相机设备采集的，或者为车辆前部设置的多个相机采集的图像拼接后得到。车辆所在的场所可以是户外，也可以为停车场。
道路图像可以是车辆行驶在各种道路上时相机设备采集的车辆周围环境的图像。其中，道路可以是任何车辆能够行驶的地方，例如城市道路、乡村道路、山区道路、停车场道路等，驶入停车位的过程中采集的图像也可以包含在道路图像中。
S120：根据运动检测设备采集的数据，确定与道路图像对应的初始定位位姿。
其中，初始定位位姿为预设地图所在的世界坐标系中的位姿。预设地图可以为车辆中安装的高精度地图。运动检测设备采集数据的时刻与相机设备采集道路图像的时刻，可以为相互关联的时刻，例如两者的采集时刻可以为同一时刻或者时间相差很短的时刻。
根据运动检测设备采集的数据，确定与道路图像对应的初始定位位姿，具体可以包括：获取上一定位位姿，根据该上一定位位姿和运动检测设备采集的数据，确定与该道路图像对应的初始定位位姿。其中，上一定位位姿可以为确定的车辆在上一时刻的定位位姿。
在另一种实施方式中，本步骤还可以包括：根据运动检测设备采集的数据，以及该道路图像中的道路特征与预设地图中道路特征的匹配结果，确定车辆的与该道路图像对应的初始定位位姿。在这种实施方式中，将该道路图像中的道路特征与预设地图中道路特征进行匹配，对应的是另一种基于视觉的定位方法。
在另一种实施方式中，运动检测设备还可以包括全球定位系统(GlobalPositioning System，GPS)。当运动检测设备包括GPS时，可以尽可能消除根据IMU和/或轮速计等定位过程中的累计误差，提高定位位姿的准确性。
本步骤中确定的初始定位位姿，为采集上述道路图像的相机设备所在的车辆的初始定位位姿。该初始定位位姿用于确定当前时刻更准确的车辆定位位姿。
S130：根据初始定位位姿，从预设地图的各个地图点中确定与道路图像对应的各个第一地图点。
其中，预设地图的各个地图点为：预先对样本道路图像中的各个对象轮廓区域中的点进行三维重建后得到。
与道路图像对应的各个第一地图点，可以理解为可能在道路图像中被观测到的地图点。在本步骤中，根据初始定位位姿在世界坐标系中的位置，可以将预设地图中该位置附近预设范围内的地图点作为各个第一地图点。
每个地图点在世界坐标系中的位置信息包括：每个地图点在世界坐标系中的坐标位置和该地图点的法向量信息。该地图点的法向量信息表示该地图点所在平面的法向量。在世界坐标系中，该地图点的坐标位置可以采用三个坐标(a，b，c)表示，该点的法向量信息可以采用三个参量(A，B，C)表示。每个地图点的位置信息包含了6个维度的信息，这种表示方式可以等价于采用一个平面A(x-a)+B(y-b)+C(z-c)＝0来表示每个地图点。
样本道路图像可以为车辆预先在道路中采集的图像。在采集图像后，可以根据相机设备的内参和外参对图像中的每个点进行三维重建，得到每个点在世界坐标系中的坐标。还可以，对对象轮廓区域中的点进行三维重建并选择后得到。其中，可以对对象轮廓区域中的点进行选择，对选择的点进行三维重建，将三维重建后的点作为地图点加入预设地图中；也可以对对象轮廓区域中的点进行三维重建，对三维重建的点进行选择，将选择后的点作为地图点加入预设地图中。
S140：根据预设的语义轮廓检测算法，检测得到道路图像的对象轮廓区域。
其中，对象轮廓区域可以理解为对象轮廓线包围的区域。对象轮廓线为道路图像中对象最外侧的轮廓线。本实施例中，道路图像的对象轮廓区域可以为一个或者多个。
根据预设的语义轮廓检测算法检测得到道路图像的对象轮廓区域时，具体可以采用语义轮廓检测器(Semantic Boundary Detector)检测道路图像的对象轮廓区域；也可以对道路图像进行语义分割，得到道路图像中每个像素点属于的语义类型，根据每个像素点的语义类型确定道路图像中的各个对象轮廓区域。在本实施例中，在检测道路图像的对象轮廓区域时，还可以确定每个对象轮廓区域的语义类型。其中，语义类型可以包括车辆、树木、建筑物、道路、路灯杆、交通标识牌或者地下车库中的柱子等等。
参见图2A，该图2A为从一道路图像中检测得到的多个对象轮廓区域。其中，不同的对象轮廓区域采用了不同灰度表示。
S150：根据初始定位位姿，确定第二地图点与检测得到的对象轮廓区域的轮廓点之间的映射差异，根据映射差异确定车辆的优化定位位姿。
其中，第二地图点为各个第一地图点中处于对象轮廓上的地图点，对象轮廓为与上述对象轮廓区域对应的对象轮廓。道路图像的对象轮廓区域包含了轮廓点和非轮廓点，非轮廓点即为轮廓区域的内部点。
预设地图中预先保存了建图过程中各个对象轮廓区域中的多个地图点，当相机设备从不同角度采集道路上的对象时，所拍摄图像中显示出的对象的轮廓也不相同。因此，可以根据道路图像的对象轮廓从各个第一地图点中确定与该对象轮廓对应的第二地图点。
在确定映射差异时，相比于处于对象轮廓内部的地图点，处于对象轮廓上的第二地图点是更有效的数据信息，根据第二地图点与道路图像中的轮廓点之间的映射差异，能够更有效地确定优化定位位姿。
参见图2B，该图2B为各个地图点投影至对象轮廓上时的一种示意图。其中，可以将各个第一地图点向图像中投影，落在对象轮廓区域的边缘上的地图点可以对优化估计位姿产生约束，这部分第一地图点即为第二地图点，而对象轮廓区域的边缘即为轮廓。图2B中左侧为道路图像，右侧为对应的投影至各个对象轮廓区域边缘上的地图点。
初始定位位姿能够在一定精度范围内体现车辆的位姿。为了更精确地确定车辆的位姿，本实施例中根据上述映射差异确定车辆的优化定位位姿。当第二地图点与轮廓点之间的映射差异小于预设差异阈值时，确定优化定位位姿接近于真实值时。
由上述内容可知，本实施例可以根据各个第一地图点中处于对象轮廓上的第二地图点，与检测得到的道路图像的对象轮廓区域的轮廓点之间的映射差异，确定车辆的优化定位位姿。预设地图中预先构建了样本道路图像中各个对象轮廓区域中的点，不管道路图像针对各个对象的拍摄角度如何，都能够从各个第一地图点中找到与道路图像的对象轮廓区域的轮廓点对应的点，根据轮廓上的点的映射差异，确定车辆的优化定位位姿。本实施例能够利用图像中对象轮廓区域的轮廓点与预设地图中的语义信息进行匹配而进行定位，即便场景中的标志物稀疏或者标注物被遮挡，也能通过第二地图点与轮廓点之间的匹配来优化定位位姿，因此本实施例能够提高基于视觉对车辆进行定位时的有效性。
在相关的视觉方案中，通常的研究更倾向于利用图像中的纹理。无论是矢量的检测(路灯杆、道路标志牌等)，还是点云的分割，都是针对图像本身的纹理进行标注，并采用深度学习的方式更鲁邦地检测出语义信息。例如，在地库场景中，更倾向于对方柱的检测。比起灯柱，方柱提供的观测优势在于，它是一个有宽度的物体，物体的宽度在视觉上可以提供深度上的约束。
但是，如果地库场景中的柱子不是方形的，而是圆形柱子，在构建高精度地图时，从样本道路图像中观测到的圆柱边缘，则会随着视角的变化而改变。在定位过程中，如果相机设备采集道路图像的视角并不是样本道路图像的视角，可能无法完成基于视觉的定位。而本实施例提供的定位方法能解决该问题。
下面结合图3所示的针对圆柱的不同视角图进行说明。图3中显示了一个圆柱的三维图像和从不同角度对其观测时的图像模型。可以看到，圆柱本身没有纹理，在左侧方框表示的图像中圆柱的投影边缘与右侧方框表示的图像中圆柱的投影边缘不同，不是同一个三维边缘。根据有限次采集的样本道路图像只能构建圆柱体上有限个边缘，如果实际应用时道路图像中圆柱的边缘并没有预先构建在预设地图中，则无法利用该圆柱的信息进行定位。当然，在另一种应用中，通常将圆柱体视为没有结构化边缘的物体，并不会将该圆柱体上的地图点构建在预设地图中。
本实施例提供的方法能够将圆柱体区域内的点构建在预设地图中，针对像圆柱体这样没有明显结构线的物体，也能作为有效信息构建在预设地图中。当将对象轮廓区域内的点作为地图点预先构建在预设地图中时，不管道路图像中该对象以什么视角呈现，均能在预设地图中找到与对象的轮廓点对应的第二地图点，根据第二地图点与轮廓点之间的映射差异，确定车辆的优化定位位姿。
在本发明的另一实施例中，基于图1所示实施例，步骤S150，根据初始定位位姿，确定第二地图点与检测得到的对象轮廓区域的轮廓点之间的映射差异，根据映射差异确定车辆的优化定位位姿的步骤，具体可以包括以下步骤1a～3a。
步骤1a：以初始定位位姿为估计位姿的初始值，根据估计位姿的取值，将各个第一地图点与检测得到的对象轮廓区域的轮廓点映射至同一坐标系中，根据映射至同一坐标系之后的坐标，确定各个第一地图点中处于对象轮廓上的第二地图点与轮廓点之间的映射差异。
本实施例中，各个第一地图点位于世界坐标系中，对象轮廓区域中的轮廓点位于图像坐标系中，可以将各个第一地图点的坐标映射至图像坐标系，或者将轮廓点映射至世界坐标系中。上述同一坐标系，可以为图像坐标系、世界坐标系或其他坐标系等。
在将各个第一地图点和各个轮廓点映射至同一坐标系中后，可以根据映射至同一坐标系之后的坐标，将与轮廓点之间的距离小于预设阈值的第一地图点，作为处于对象轮廓上的第二地图点。
在一种实施方式中，可以在映射至同一坐标系之后，确定每个第一地图地点的坐标与每个轮廓点之间的位置差，根据小于预设阈值的位置差确定第二地图点与轮廓点之间的映射差异。例如，可以将各个小于预设阈值的位置差的和值作为上述映射差异，或者将各个小于预设阈值的位置差的平方和作为上述映射差异。上述映射差异也可以称为残差。
例如，可以根据公式e＝I(u)-α计算得到上述映射差异。其中，将第一地图点映射至图像坐标系中后得到的像素坐标为u，I(u)表示第一地图点映射至边缘特征图中时的像素坐标u的响应，α可以根据轮廓点的特性设定，比如设定为255。如果轮廓点对于各个第一地图点的位置和相机设备的视角有可统计而规律的观测，则可以根据观测生成函数α＝f(pc)来代替α的固定值，pc为第一地图点在相机坐标系中的位置。
步骤2a：当上述映射差异大于预设差异阈值时，根据映射差异修改估计位姿的取值，返回执行步骤1a中根据估计位姿的取值，将各个第一地图点与检测得到的对象轮廓区域的轮廓点映射至同一坐标系中。
当映射差异大于预设差异阈值时，认为估计位姿距离车辆的真实位姿还较远，可以继续修改估计位姿，重复迭代过程。
根据映射差异修改估计位姿的取值时，具体可以基于雅可比矩阵、海森矩阵、高斯牛顿迭代法或者列文伯格-马夸尔特(Levenberg-Marquardt，LM)算法，根据映射差异修正估计位姿的取值。
步骤3a：当映射差异小于预设差异阈值时，根据估计位姿的当前取值，确定车辆的优化定位位姿。
当映射差异小于预设差异阈值时，认为估计位姿已经非常接近于车辆的真实位姿。根据估计位姿的当前取值，确定车辆的优化定位位姿，具体可以直接将估计位姿的当前取值确定为车辆的优化定位位姿，也可以对估计位姿的当前取值进行预设变换后确定为车辆的优化定位位姿。
当映射差异等于预设差异阈值时，可以根据映射差异修改估计位姿的取值，返回执行步骤1a中的根据估计位姿的取值，将各个第一地图点与检测得到的对象轮廓区域的轮廓点映射至同一坐标系中的步骤，也可以根据估计位姿的当前取值，确定车辆的优化定位位姿。
综上，本实施例中，在确定车辆定位位姿时，通过不断地调整估计位姿的取值，来得到第二地图点与轮廓点之间的映射差异，使得估计位姿的取值逐渐地接近真实值，从而迭代地求解得到车辆的优化定位位姿，使得求解的车辆优化定位位姿更准确。
在本发明的另一实施例中，基于上述实施例，步骤1a，根据所述估计位姿的取值，将各个第一地图点与检测得到的所述对象轮廓区域的轮廓点映射至同一坐标系中，根据映射至同一坐标系之后的坐标，确定各个第一地图点中处于对象轮廓上的第二地图点与所述轮廓点之间的映射差异的步骤，具体可以包括以下实施方式。
实施方式一，根据估计位姿的取值，确定世界坐标系与相机坐标系之间的转换矩阵；根据所述转换矩阵，以及相机坐标系与图像坐标系之间的投影关系，将各个第一地图点映射至图像坐标系中，得到各个第一地图点的第一映射位置；将各个第一地图点中第一映射位置与轮廓点之间的位置差小于第一预设阈值的地图点作为处于对象轮廓上的第二地图点，确定第二地图点的第一映射位置与轮廓点之间的映射差异。
当从道路图像中检测得到各个对象轮廓区域，且还确定了各个对象轮廓区域的类别时，可以根据上述位置差小于第一预设阈值的条件，以及各个第一地图点的类别与轮廓点的类别相同的条件，从各个第一地图点中确定第二地图点。这样能够提高确定的第二地图点的准确性。
其中，第一预设阈值为预设值。相机坐标系为相机设备所在的三维坐标系，图像坐标系为道路图像所在的坐标系。估计位姿为车辆在世界坐标系中的位姿，根据该估计位姿的取值，能够确定世界坐标系与相机坐标系之间的转换矩阵。
本实施方式中，将第一地图点映射至图像坐标系中时，可以先按照以下公式将该第一地图点转换至相机坐标系中：
其中，pc为第一地图点在相机坐标系中的位置，pw为第一地图点在世界坐标系中的位置，为世界坐标系与车体坐标系之间的转换关系，/>为车体坐标系与相机坐标系之间的转换矩阵，/>表示世界坐标系与相机坐标系之间的转换矩阵。再根据相机设备的投影模型将相机坐标系中的坐标转换至图像坐标系中，得到第一地图点的像素坐标u＝π(pc)。其中，π(.)表示相机设备的投影模型，u表示图像坐标系中的目标地图点。
实施方式二，根据估计位姿的取值，确定世界坐标系与相机坐标系之间的转换矩阵；根据转换矩阵，以及相机坐标系与图像坐标系之间的投影关系，将检测得到的轮廓点映射至世界坐标系中，得到轮廓点的第二映射位置；将各个第一地图点中与轮廓点的第二映射位置之间的位置差小于第二预设阈值的地图点作为处于对象轮廓上的第二地图点，确定所述第二地图点与所述轮廓点的第二映射位置之间的映射差异。
其中，第二预设阈值为预设值，第二预设阈值可以与第一预设阈值相同，也可以不同。
综上，本实施例中，根据世界坐标系、相机坐标系和图像坐标系之间的相互转换关系，可以将第一地图点的位置信息映射至图像坐标系，或者将轮廓点映射至世界坐标系中，为确定映射差异提供了具体的实施方式。
在本发明的另一实施例中，基于图1所示实施例，步骤S150，根据初始定位位姿，确定第二地图点与检测得到的所述对象轮廓区域的轮廓点之间的映射差异，根据映射差异确定车辆的优化定位位姿的步骤，具体可以包括以下步骤1b和2b。
步骤1b：确定道路图像的各个对象轮廓区域中的静态对象轮廓区域。
本步骤中，具体可以根据道路图像之前的图像帧，依据帧间差确定道路图像中的运动区域和静态区域，将静态区域与道路图像中的各个对象轮廓区域进行匹配，将处于静态区域中的对象轮廓区域作为静态对象轮廓区域。
例如，道路图像中可能存在行驶的车辆、行走的人、移动的白云等对象，这部分移动对象不作为静态对象轮廓区域。道路图像中的大树、草地、马路等，都可以作为静态对象轮廓区域。
步骤2b：根据初始定位位姿，确定第二地图点与静态对象轮廓区域的轮廓点之间的映射差异，根据该映射差异确定车辆的优化定位位姿。
本实施例中的步骤2b的具体实施方式可以参见上述实施例中步骤1a～3a的说明，将对象轮廓区域替换为静态对象轮廓区域即可，此处不再赘述。
图4所示为将第二地图点投影至图像坐标系中时的一种示意图。针对道路图像中的静态对象区域，例如草地、大树、道路、建筑物等区域，可以确定第二地图点在这部分区域内的投影点与轮廓点之间的映射差异。针对图4中的行人区域和车辆区域，则不计算第二地图点在这部分区域内的投影。其中，灰色点为第二地图点在图像坐标系中的投影点。
综上，本实施例中，当道路图像的各个对象轮廓区域中存在动态对象轮廓区域时，不将该部分作为定位的依据信息，而选择静态对象轮廓区域进行车辆定位匹配。静态对象轮廓区域的语义信息更加稳定，这样能够提高优化定位位姿的准确性。
在本发明的另一实施例中，基于图1所示实施例，步骤S130，根据初始定位位姿，从预设地图的各个地图点中确定与道路图像对应的各个第一地图点的步骤，包括以下步骤1c和2c。
步骤1c：以预设地图中初始定位位姿所在竖直线作为中心线，以预设距离作为圆柱截面半径确定的圆柱区域所包含的各个地图点，作为待选地图点。
其中，预设距离可以为根据经验确定的距离值。确定的待选地图点可以为多个。
步骤2c：从各个待选地图点中筛选处于相机设备的采集范围内的地图点，得到与道路图像对应的各个第一地图点。经过筛选后的第一地图点，是在道路图像中能够被观测到的地图点，去除无法被观测到的无效地图点。
综上，本实施例中，针对预设地图中初始定位位姿对应的圆柱区域内的地图点，将处于相机设备的采集范围内的地图点，筛选为第一地图点，能够从预设地图中选择有效的地图点，提高确定的车辆定位位姿的准确性。
在本发明的另一实施例中，基于上述实施例，步骤2c，从各个待选地图点中筛选处于相机设备的采集范围内的地图点，得到与道路图像对应的各个第一地图点的步骤，包括以下步骤2c-1～2c-3。
步骤2c-1：根据初始定位位姿，确定世界坐标系与相机坐标系之间的转换矩阵。其中，相机坐标系为相机设备所在的三维坐标系。
步骤2c-2：根据上述转换矩阵，将各个待选地图点映射至相机坐标系中，得到各个待选地图点的第三映射位置。
具体的，本步骤可以按照以下公式，将各个待选地图点映射至相机坐标系中：
pb＝Tpw,p∈A
其中，pb为各个待选地图点在相机坐标系中的第三映射位置，pw为各个待选地图点在世界坐标系中的位置信息，T为上述转换矩阵，p为任一个待选地图点，A为待选地图点组成的点集。
由于相机设备固定于车辆中，因此可以根据相机坐标系与车体坐标系之间已知的转换关系，将相机坐标系替换为车体坐标系对待选地图点进行筛选。
步骤2c-3：根据第三映射位置处于相机设备在竖直高度方向上的采集范围内的筛选条件，从各个待选地图点中筛选得到与道路图像对应的各个第一地图点。
其中，相机设备在竖直高度方向上的采集范围可以表示为z轴的范围[z1，z2]。例如，[z1，z2]可以为[-0.1m，4m]。具体的，本步骤可以将z轴的取值处于该采集范围内的待选地图点确定为第一地图点。筛选得到的第一地图点仍然采用世界坐标系的坐标表示。
本步骤具体可以为，将第三映射位置处于相机设备在竖直高度方向上的采集范围内的待选地图点，筛选为与道路图像对应的目标地图点。
综上，本实施例根据相机设备在高度方向上的范围对待选地图点进行筛选，得到目标地图点，能够从待选地图点中过滤掉在高度范围之外的地图点。
在本发明的另一实施例中，基于上述实施例，确定的待选地图点包括待选地图点的坐标位置和法向量。每个待选地图点的位置信息包括坐标位置和法向量。步骤2c，从各个待选地图点中筛选处于相机设备的采集范围内的地图点，得到与道路图像对应的各个第一地图点的步骤，包括以下步骤2c-4～2c-6。
步骤2c-4：根据各个待选地图点的坐标位置，确定相机设备与各个待选地图点之间的连线。待选地图点的坐标位置为世界坐标系中的位置。相机设备在世界坐标系中的位置，可以通过初始定位位姿确定。
步骤2c-5：计算各个连线与对应的待选地图点的法向量之间的夹角。
例如，四个待选地图点A、B、C、D，与相机设备O的连线分别为AO、BO、CO、DO，计算连线AO与待选地图点A的法向量之间的夹角，计算连线BO与待选地图点B的法向量之间的夹角，计算连线CO与待选地图点C的法向量之间的夹角，计算连线DO与待选地图点D的法向量之间的夹角，得到针对四个待选地图点的四个夹角。
步骤2c-6：根据夹角处于预设夹角范围内的筛选条件，从各个待选地图点中筛选得到与道路图像对应的各个第一地图点。
本步骤具体可以包括，将夹角处于预设夹角范围内的待选地图点，筛选为与道路图像对应的各个第一地图点。其中，预设夹角范围可以为预先根据经验确定。
参见图5，该图5为本实施例提供的相机设备与地图点的法向量之间夹角的一种示意图。其中，入射光从地图点发射出，投射至相机设备的光心，并成像于成像平面，得到道路图像。入射光所在的线可以作为相机设备与地图点之间的连线所在的线。地图点的法向量垂直于所在平面。当相机设备与地图点的相对位置不同时，入射光与法向量的夹角不同。从图5中可见，夹角1对应的地图点能够被相机设备采集到，夹角2对应的地图点不能够被相机设备采集到。因此，合理设置预设夹角范围，能够从大量待选地图点中筛选出能够被相机设备采集到的地图点，得到各个第一地图点。
综上，本实施例中按照待选地图点的法向量对待选地图点进行筛选，过滤掉相机观测不到的地图点，提高第一地图点的精准性。
在本发明的另一实施例中，基于图1所示实施例，预设地图中的各个地图点采用以下步骤1d～4d构建。
步骤1d：获取样本道路图像，并根据预设的语义轮廓检测算法，检测得到样本道路图像的样本对象轮廓区域。
本步骤中检测得到样本对象轮廓区域，可以参见步骤S140。
步骤2d：根据运动检测设备采集的数据，确定与样本道路图像对应的样本定位位姿。
其中，样本定位位姿为世界坐标系中的位姿。样本定位位姿可以认为是采集样本道路图像时车辆的定位位姿，可以根据该样本定位位姿构建预设地图中地图点的位置。
步骤3d：基于三维重建算法和所述样本定位位姿，确定样本对象轮廓区域中每个点在世界坐标系中的位置信息。
本步骤中，确定样本对象轮廓区域中每个点在世界坐标系中的位置信息时，可以包括以下实施方式。
基于三维重建算法，确定样本对象轮廓区域中每个点在相机坐标系中的三维坐标，根据样本定位位姿确定相机坐标系与世界坐标系之间的转换矩阵，根据转换矩阵，对上述三维坐标进行转换，得到样本对象轮廓区域中每个点在世界坐标系中的位置信息。
或者，可以根据激光数据得到样本对象轮廓区域中每个点的深度信息，根据该深度信息，以及相机坐标系与世界坐标系之间的转换矩阵，确定样本对象轮廓区域中每个点在世界坐标系中的位置信息。
步骤4d：按照预设点密度从所述样本对象轮廓区域的各个点中选择地图点，将各个地图点在所述世界坐标系中的位置信息添加至预设地图。
本步骤具体可以包括：根据具有预设体素尺寸的八叉树算法，在预设地图中构建八叉树立方体网格；针对每个八叉树立方体网格，从处于八叉树立方体网格中的样本对象轮廓区域中选择一个点，作为与八叉树立方体网格对应的地图点。
综上，本实施例中，在构建预设地图时，从样本道路图像中提取样本对象轮廓区域，从样本对象轮廓区域的各个点中选择地图点，将各个地图点添加至预设地图中，添加的地图点包括样本对象轮廓区域内平面区域和边缘上的点，这增加了对对象轮廓区域内的语义信息的构建。
图6为本发明实施例提供的基于图像检测的车辆定位方法的一种框架示意图。其中，运动检测设备可以包括IMU或轮速计等智能车辆常用传感器。根据运动检测设备以及车辆的上一定位位姿、各种传感器数据，可以推测当前时刻车辆的初始定位位姿，并将初始定位位姿输入地图管理器和位姿优化器。初始定位位姿可以理解为预测的全局位姿。
地图管理器载入了所在环境的预设地图，并且由八叉树管理地图。地图管理器可以根据初始定位位姿从预设地图中查询可能被相机观测到的地图点。地图管理器还可以根据相机设备的采集范围对查询到的地图点进行筛选，去除超出该范围的地图点。地图管理器将筛选后得到的第一地图点输入地图优化器。
轮廓区域检测器以道路图像作为输入，输出道路图像的对象轮廓区域，并将对象轮廓区域输入位姿优化器。
位姿优化器在接收到输入的初始定位位姿、第一地图点和对象轮廓区域之后，采用迭代优化求解的方式，根据第二地图点与轮廓点之间的映射差异，确定车辆的优化定位位姿。
图7所示为本发明实施例提供的车载终端的一种结构示意图。该车载终端与图1所示方法实施例相对应，该车载终端包括：
图像获取模块710，被配置为获取相机设备采集的道路图像；
初始定位模块720，被配置为根据运动检测设备采集的数据，确定与道路图像对应的初始定位位姿；其中，初始定位位姿为预设地图所在的世界坐标系中的位姿；
地图点确定模块730，被配置为根据初始定位位姿，从预设地图的各个地图点中确定与道路图像对应的各个第一地图点；其中，预设地图的各个地图点为：预先对样本道路图像中的各个对象轮廓区域中的点进行三维重建后得到；
区域检测模块740，被配置为根据预设的语义轮廓检测算法，检测得到道路图像的对象轮廓区域；
位姿优化模块750，被配置为根据初始定位位姿，确定第二地图点与检测得到的对象轮廓区域的轮廓点之间的映射差异，根据映射差异确定车辆的优化定位位姿；其中，第二地图点为各个第一地图点中处于对象轮廓上的地图点，对象轮廓为与对象轮廓区域对应的对象轮廓。
在本发明的另一实施例中，基于图7所示实施例，位姿优化模块750具体被配置为：
以初始定位位姿为估计位姿的初始值，根据估计位姿的取值，将各个第一地图点与检测得到的对象轮廓区域的轮廓点映射至同一坐标系中，根据映射至同一坐标系之后的坐标，确定各个第一地图点中处于对象轮廓上的第二地图点与轮廓点之间的映射差异；
当映射差异大于预设差异阈值时，根据映射差异修改估计位姿的取值，返回执行根据估计位姿的取值，将各个第一地图点与检测得到的对象轮廓区域的轮廓点映射至同一坐标系中的操作；
当映射差异小于预设差异阈值时，根据估计位姿的当前取值，确定车辆的优化定位位姿。
在本发明的另一实施例中，基于图7所示实施例，位姿优化模块750，根据估计位姿的取值，将各个第一地图点与检测得到的对象轮廓区域的轮廓点映射至同一坐标系中，根据映射至同一坐标系之后的坐标，确定各个第一地图点中处于对象轮廓上的第二地图点与轮廓点之间的映射差异时，包括：
根据估计位姿的取值，确定世界坐标系与相机坐标系之间的转换矩阵；根据转换矩阵，以及相机坐标系与图像坐标系之间的投影关系，将各个第一地图点映射至图像坐标系中，得到各个第一地图点的第一映射位置；将各个第一地图点中第一映射位置与轮廓点之间的位置差小于第一预设阈值的地图点作为处于对象轮廓上的第二地图点，确定第二地图点的第一映射位置与轮廓点之间的映射差异；其中，相机坐标系为相机设备所在的三维坐标系，图像坐标系为道路图像所在的坐标系；
或者，
根据估计位姿的取值，确定世界坐标系与相机坐标系之间的转换矩阵；根据转换矩阵，以及相机坐标系与图像坐标系之间的投影关系，将检测得到的轮廓点映射至世界坐标系中，得到轮廓点的第二映射位置；将各个第一地图点中与轮廓点的第二映射位置之间的位置差小于第二预设阈值的地图点作为处于对象轮廓上的第二地图点，确定第二地图点与轮廓点的第二映射位置之间的映射差异。
在本发明的另一实施例中，基于图7所示实施例，位姿优化模块750具体被配置为：
确定道路图像的各个对象轮廓区域中的静态对象轮廓区域；
根据初始定位位姿，确定第二地图点与静态对象轮廓区域的轮廓点之间的映射差异，根据映射差异确定车辆的优化定位位姿。
在本发明的另一实施例中，基于图7所示实施例，地图点确定模块730具体被配置为：
以预设地图中初始定位位姿所在竖直线作为中心线，以预设距离作为圆柱截面半径确定的圆柱区域所包含的各个地图点，作为待选地图点；
从各个待选地图点中筛选处于相机设备的采集范围内的地图点，得到与道路图像对应的各个第一地图点。
在本发明的另一实施例中，基于图7所示实施例，地图点确定模块730，从各个待选地图点中筛选处于相机设备的采集范围内的地图点，得到与道路图像对应的各个第一地图点时，包括：
根据初始定位位姿，确定世界坐标系与相机坐标系之间的转换矩阵；其中，相机坐标系为相机设备所在的三维坐标系；
根据转换矩阵，将各个待选地图点映射至相机坐标系中，得到各个待选地图点的第三映射位置；
根据第三映射位置处于相机设备在竖直高度方向上的采集范围内的筛选条件，从各个待选地图点中筛选得到与道路图像对应的各个第一地图点。
在本发明的另一实施例中，基于图7所示实施例，确定的待选地图点包括待选地图点的坐标位置和法向量；地图点确定模块730，从各个待选地图点中筛选处于相机设备的采集范围内的地图点，得到与道路图像对应的各个第一地图点时，包括：
根据各个待选地图点的坐标位置，确定相机设备与各个待选地图点之间的连线；
计算各个连线与对应的待选地图点的法向量之间的夹角；
根据夹角处于预设夹角范围内的筛选条件，从各个待选地图点中筛选得到与道路图像对应的各个第一地图点。
在本发明的另一实施例中，基于图7所示实施例，预设地图中的各个地图点采用以下操作构建：
获取样本道路图像，并根据预设的语义轮廓检测算法，检测得到样本道路图像的样本对象轮廓区域；
根据运动检测设备采集的数据，确定与样本道路图像对应的样本定位位姿；其中，样本定位位姿为世界坐标系中的位姿；
基于三维重建算法和样本定位位姿，确定样本对象轮廓区域中每个点在世界坐标系中的位置信息；
按照预设点密度从样本对象轮廓区域的各个点中选择地图点，将各个地图点在世界坐标系中的位置信息添加至预设地图。
该终端实施例与图1所示方法实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述终端实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (9)

1.一种基于图像检测的车辆定位方法，其特征在于，包括：
获取相机设备采集的道路图像；
根据运动检测设备采集的数据，确定与所述道路图像对应的初始定位位姿；其中，初始定位位姿为预设地图所在的世界坐标系中的位姿；
根据所述初始定位位姿，从所述预设地图的各个地图点中确定与所述道路图像对应的各个第一地图点；其中，所述预设地图的各个地图点为：预先对样本道路图像中的各个对象轮廓区域中的点进行三维重建后得到；
根据预设的语义轮廓检测算法，检测得到所述道路图像的对象轮廓区域；
确定所述道路图像的各个对象轮廓区域中的静态对象轮廓区域；
根据所述初始定位位姿，确定第二地图点与所述静态对象轮廓区域的轮廓点之间的映射差异，根据所述映射差异确定车辆的优化定位位姿；其中，所述第二地图点为各个第一地图点中处于对象轮廓上的地图点，所述对象轮廓为与所述对象轮廓区域对应的对象轮廓。
2.如权利要求1所述的方法，其特征在于，所述根据所述初始定位位姿，确定第二地图点与检测得到的所述对象轮廓区域的轮廓点之间的映射差异，根据所述映射差异确定车辆的优化定位位姿的步骤，包括：
以所述初始定位位姿为估计位姿的初始值，根据所述估计位姿的取值，将各个第一地图点与检测得到的所述对象轮廓区域的轮廓点映射至同一坐标系中，根据映射至同一坐标系之后的坐标，确定各个第一地图点中处于对象轮廓上的第二地图点与所述轮廓点之间的映射差异；
当所述映射差异大于预设差异阈值时，根据所述映射差异修改所述估计位姿的取值，返回执行所述根据所述估计位姿的取值，将各个第一地图点与检测得到的所述对象轮廓区域的轮廓点映射至同一坐标系中的步骤；
当所述映射差异小于预设差异阈值时，根据所述估计位姿的当前取值，确定车辆的优化定位位姿。
3.如权利要求2所述的方法，其特征在于，所述根据所述估计位姿的取值，将各个第一地图点与检测得到的所述对象轮廓区域的轮廓点映射至同一坐标系中，根据映射至同一坐标系之后的坐标，确定各个第一地图点中处于对象轮廓上的第二地图点与所述轮廓点之间的映射差异的步骤，包括：
根据所述估计位姿的取值，确定所述世界坐标系与相机坐标系之间的转换矩阵；根据所述转换矩阵，以及所述相机坐标系与图像坐标系之间的投影关系，将各个第一地图点映射至所述图像坐标系中，得到各个第一地图点的第一映射位置；将各个第一地图点中第一映射位置与所述轮廓点之间的位置差小于第一预设阈值的地图点作为处于对象轮廓上的第二地图点，确定所述第二地图点的第一映射位置与所述轮廓点之间的映射差异；其中，所述相机坐标系为所述相机设备所在的三维坐标系，所述图像坐标系为所述道路图像所在的坐标系；
或者，
根据所述估计位姿的取值，确定所述世界坐标系与相机坐标系之间的转换矩阵；根据所述转换矩阵，以及所述相机坐标系与图像坐标系之间的投影关系，将检测得到的轮廓点映射至所述世界坐标系中，得到所述轮廓点的第二映射位置；将各个第一地图点中与所述轮廓点的第二映射位置之间的位置差小于第二预设阈值的地图点作为处于对象轮廓上的第二地图点，确定所述第二地图点与所述轮廓点的第二映射位置之间的映射差异。
4.如权利要求1所述的方法，其特征在于，所述根据所述初始定位位姿，从所述预设地图的各个地图点中确定与所述道路图像对应的各个第一地图点的步骤，包括：
以所述预设地图中所述初始定位位姿所在竖直线作为中心线，以预设距离作为圆柱截面半径确定的圆柱区域所包含的各个地图点，作为待选地图点；
从各个待选地图点中筛选处于所述相机设备的采集范围内的地图点，得到与所述道路图像对应的各个第一地图点。
5.如权利要求4所述的方法，其特征在于，所述从各个待选地图点中筛选处于所述相机设备的采集范围内的地图点，得到与所述道路图像对应的各个第一地图点的步骤，包括：
根据所述初始定位位姿，确定所述世界坐标系与相机坐标系之间的转换矩阵；其中，所述相机坐标系为所述相机设备所在的三维坐标系；
根据所述转换矩阵，将各个待选地图点映射至所述相机坐标系中，得到各个待选地图点的第三映射位置；
根据所述第三映射位置处于所述相机设备在竖直高度方向上的采集范围内的筛选条件，从各个待选地图点中筛选得到与所述道路图像对应的各个第一地图点。
6.如权利要求4所述的方法，其特征在于，确定的待选地图点包括待选地图点的坐标位置和法向量；所述从各个待选地图点中筛选处于所述相机设备的采集范围内的地图点，得到与所述道路图像对应的各个第一地图点的步骤，包括：
根据各个待选地图点的坐标位置，确定所述相机设备与各个待选地图点之间的连线；
计算各个连线与对应的待选地图点的法向量之间的夹角；
根据所述夹角处于预设夹角范围内的筛选条件，从各个待选地图点中筛选得到与所述道路图像对应的各个第一地图点。
7.如权利要求1所述的方法，其特征在于，所述预设地图中的各个地图点采用以下方式构建：
获取样本道路图像，并根据预设的语义轮廓检测算法，检测得到所述样本道路图像的样本对象轮廓区域；
根据运动检测设备采集的数据，确定与所述样本道路图像对应的样本定位位姿；其中，所述样本定位位姿为所述世界坐标系中的位姿；
基于三维重建算法和所述样本定位位姿，确定所述样本对象轮廓区域中每个点在所述世界坐标系中的位置信息；
按照预设点密度从所述样本对象轮廓区域的各个点中选择地图点，将各个地图点在所述世界坐标系中的位置信息添加至所述预设地图。
8.一种车载终端，其特征在于，包括：
图像获取模块，被配置为获取相机设备采集的道路图像；
初始定位模块，被配置为根据运动检测设备采集的数据，确定与所述道路图像对应的初始定位位姿；其中，初始定位位姿为预设地图所在的世界坐标系中的位姿；
地图点确定模块，被配置为根据所述初始定位位姿，从所述预设地图的各个地图点中确定与所述道路图像对应的各个第一地图点；其中，所述预设地图的各个地图点为：预先对样本道路图像中的各个对象轮廓区域中的点进行三维重建后得到；
区域检测模块，被配置为根据预设的语义轮廓检测算法，检测得到所述道路图像的对象轮廓区域；
位姿优化模块，被配置为确定所述道路图像的各个对象轮廓区域中的静态对象轮廓区域；根据所述初始定位位姿，确定第二地图点与所述静态对象轮廓区域的轮廓点之间的映射差异，根据所述映射差异确定车辆的优化定位位姿；其中，所述第二地图点为各个第一地图点中处于对象轮廓上的地图点，所述对象轮廓为与所述对象轮廓区域对应的对象轮廓。
9.如权利要求8所述的车载终端，其特征在于，所述位姿优化模块，具体被配置为：
以所述初始定位位姿为估计位姿的初始值，根据所述估计位姿的取值，将各个第一地图点与检测得到的所述对象轮廓区域的轮廓点映射至同一坐标系中，根据映射至同一坐标系之后的坐标，确定各个第一地图点中处于对象轮廓上的第二地图点与所述轮廓点之间的映射差异；
当所述映射差异大于预设差异阈值时，根据所述映射差异修改所述估计位姿的取值，返回执行所述根据所述估计位姿的取值，将各个第一地图点与检测得到的所述对象轮廓区域的轮廓点映射至同一坐标系中的操作；
当所述映射差异小于预设差异阈值时，根据所述估计位姿的当前取值，确定车辆的优化定位位姿。
CN201911040864.5A 2019-10-29 2019-10-29 一种基于图像检测的车辆定位方法及车载终端 Active CN112749584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911040864.5A CN112749584B (zh) 2019-10-29 2019-10-29 一种基于图像检测的车辆定位方法及车载终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911040864.5A CN112749584B (zh) 2019-10-29 2019-10-29 一种基于图像检测的车辆定位方法及车载终端

Publications (2)

Publication Number Publication Date
CN112749584A CN112749584A (zh) 2021-05-04
CN112749584B true CN112749584B (zh) 2024-03-15

Family

ID=75640262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911040864.5A Active CN112749584B (zh) 2019-10-29 2019-10-29 一种基于图像检测的车辆定位方法及车载终端

Country Status (1)

Country Link
CN (1) CN112749584B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888635B (zh) * 2021-09-29 2023-04-18 北京百度网讯科技有限公司 视觉定位方法、相关装置
CN114441499B (zh) * 2022-04-11 2022-07-12 天津美腾科技股份有限公司 品位检测方法及装置、识别设备、矿浆品位仪及存储介质
WO2023216651A1 (zh) * 2022-05-09 2023-11-16 安徽蔚来智驾科技有限公司 车道定位方法、计算机设备、计算机可读存储介质及车辆

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008009966A2 (en) * 2006-07-21 2008-01-24 Trw Limited Determining the location of a vehicle on a map
WO2013149149A1 (en) * 2012-03-29 2013-10-03 Honda Motor Co., Ltd Method to identify driven lane on map and improve vehicle position estimate
KR20140099671A (ko) * 2013-02-04 2014-08-13 서울시립대학교 산학협력단 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
CN110147094A (zh) * 2018-11-08 2019-08-20 北京初速度科技有限公司 一种基于车载环视系统的车辆定位方法及车载终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018031678A1 (en) * 2016-08-09 2018-02-15 Nauto Global Limited System and method for precision localization and mapping

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008009966A2 (en) * 2006-07-21 2008-01-24 Trw Limited Determining the location of a vehicle on a map
WO2013149149A1 (en) * 2012-03-29 2013-10-03 Honda Motor Co., Ltd Method to identify driven lane on map and improve vehicle position estimate
KR20140099671A (ko) * 2013-02-04 2014-08-13 서울시립대학교 산학협력단 영상기반 멀티센서 데이터를 이용한 차량의 위치자세 결정 방법 및 장치
CN110147094A (zh) * 2018-11-08 2019-08-20 北京初速度科技有限公司 一种基于车载环视系统的车辆定位方法及车载终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李祎承，等.基于GPS与图像融合的智能车辆高精度定位算法.《交通运输系统工程与信息》.2017,第17卷(第3期),全文. *

Also Published As

Publication number Publication date
CN112749584A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN111551958B (zh) 一种面向矿区无人驾驶的高精地图制作方法
CN107341453B (zh) 一种车道线提取方法及装置
US10127461B2 (en) Visual odometry for low illumination conditions using fixed light sources
CN111220993B (zh) 目标场景定位方法、装置、计算机设备和存储介质
JP5435306B2 (ja) 画像処理システム及び位置測位システム
JP2020525809A (ja) 両眼画像に基づき高解像度地図を更新するためのシステムおよび方法
CN112308913B (zh) 一种基于视觉的车辆定位方法、装置及车载终端
Chen et al. Next generation map making: Geo-referenced ground-level LIDAR point clouds for automatic retro-reflective road feature extraction
CN112749584B (zh) 一种基于图像检测的车辆定位方法及车载终端
CN104574393A (zh) 一种三维路面裂缝图像生成系统和方法
CN108428254A (zh) 三维地图的构建方法及装置
US20200279395A1 (en) Method and system for enhanced sensing capabilities for vehicles
CN109596121A (zh) 一种机动站自动目标检测与空间定位方法
CN112446915B (zh) 一种基于图像组的建图方法及装置
US11485373B2 (en) Method for a position determination of a vehicle, control unit, and vehicle
CN111316324A (zh) 一种自动驾驶模拟系统、方法、设备及存储介质
JP7387911B2 (ja) 浸水被害判定装置、浸水被害判定方法及びプログラム
CN112308904A (zh) 一种基于视觉的建图方法、装置及车载终端
CN113196341A (zh) 用于对道路的表面上的对象进行检测和建模的方法
KR102373733B1 (ko) 모바일 유닛을 위한 위치 결정 시스템 및 위치 결정 시스템을 작동시키기 위한 방법
WO2024062602A1 (ja) ３次元化システム、３次元化方法及びプログラムを記録する記録媒体
CN112530270B (zh) 一种基于区域分配的建图方法及装置
CN111414848B (zh) 一种全类别3d障碍物检测方法、系统和介质
Kang et al. Rapidly realizing 3D visualisation for urban street based on multi-source data integration
CN110210280B (zh) 一种超视距感知方法、系统、终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220304

Address after: 100083 unit 501, block AB, Dongsheng building, No. 8, Zhongguancun East Road, Haidian District, Beijing

Applicant after: BEIJING MOMENTA TECHNOLOGY Co.,Ltd.

Address before: 100083 room 28, 4 / F, block a, Dongsheng building, 8 Zhongguancun East Road, Haidian District, Beijing

Applicant before: BEIJING CHUSUDU TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant