CN113393501A

CN113393501A - 道路图像与点云数据匹配参数确定方法、系统和相关设备

Info

Publication number: CN113393501A
Application number: CN202010177045.1A
Authority: CN
Inventors: 赵贝; 陶醉; 包鑫; 张悦
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2020-03-13
Filing date: 2020-03-13
Publication date: 2021-09-14

Abstract

本发明公开一种道路图像与点云数据匹配参数确定方法、系统和相关设备。该方法包括：从道路图像的可选位姿参数中，以预定的参数间隔选取第一位姿参数；分别获取具有第一位姿参数的道路图像与对应的点云数据相匹配后的用于表征地理要素匹配度的第一匹配评价值；按预设规则缩减参数间隔，以缩减后的每个参数间隔从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取多个第二位姿参数，确定具有第二位姿参数的道路图像与点云数据中的地理要素相匹配后的第二匹配评价值的最大值并确定匹配参数。本公开通过预定的参数间隔粗定位和依次缩减后的参数间隔精细定位的方式高效地确定了道路图像与点云数据的匹配参数。

Description

道路图像与点云数据匹配参数确定方法、系统和相关设备

技术领域

本发明涉及地图制作领域，特别涉及一种道路图像与点云数据匹配参数确定方法、系统和相关设备。

背景技术

随着科技的发展，高级辅助驾驶和自动驾驶因可以帮助驾驶员进行安全驾驶，而成为技术研究的热点。目前，高级辅助驾驶和自动驾驶的一种技术实现路径中需要依赖“高精地图”。高精地图与普通地图相比，会更精细化更精确地表达现实世界，比如，普通地图在表达道路时不会表达道路更精细化的信息，而高精地图会通过车道线来表达道路的每一条车道。

目前的高精地图的制作主要通过激光设备采集的激光点云(即点云数据)和摄像设备拍摄的图片(道路图像)制作而成的。由于激光点云和图片自身有各自的优点和缺陷，例如，激光的扫描点位置精度高，受光照条件影响小，但成本高，扫描的反射率对道路目标的区分度低；图片则通过瞬间大面积可见光成像，对道路目标的区分性高，成本低，但图片远处受道路图像透视、像素离散化和相机畸变等影响位置精度低，且受光照条件影响大。因此，在高精地图制作和自动驾驶定位过程中采用激光点云和图片融合的方案进行定位和制图。然而，在实际制图过程中，由于激光点云和图片对道路目标的观测角度、探测目标的波谱范围、数据解译方式等不一致，且道路环境的复杂多变，因此无法直接将激光点云与图片直接融合。因为图片在世界坐标中有自身的坐标位置，即图片的六自由度，所以需要确定图片与点云数据融合时道路图像平移和/或旋转的匹配参数就可以将图片和点云数据进行精确融合，因此如何快速地、精确地确定图片与点云数据的匹配参数是本领域技术人员亟需解决的问题。

发明内容

鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种道路图像与点云数据匹配参数确定方法、系统和相关设备。

作为本公开实施例的一个方面，涉及一种道路图像与点云数据匹配参数确定方法，可以包括：

从道路图像的可选位姿参数中，以预定的参数间隔选取第一位姿参数；

分别获取具有所述第一位姿参数的道路图像与对应的点云数据相匹配后的用于表征地理要素匹配度的第一匹配评价值；

按预设规则缩减所述参数间隔，以缩减后的每个参数间隔从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取多个第二位姿参数，确定具有所述第二位姿参数的道路图像与所述点云数据中的地理要素相匹配后的第二匹配评价值的最大值；

将第二匹配评价值的最大值所对应的第二位姿参数确定为所述匹配参数。

作为本公开实施例的第二方面，涉及一种道路图像与点云数据匹配方法，可以包括：

根据第一方面所述的匹配参数确定方法获取所述道路图像的匹配参数；

根据所述匹配参数对所述道路图像进行平移和/或旋转，使得所述道路图像与所述点云数据相匹配。

作为本公开实施例的第三方面，涉及一种道路图像与点云数据的匹配参数确定装置，可以包括：

第一位姿参数选取模块，用于从道路图像的可选位姿参数中，以预定的参数间隔选取第一位姿参数；

第一匹配评价值获取模块，用于分别获取具有所述第一位姿参数的道路图像与对应的点云数据相匹配后的用于表征地理要素匹配度的第一匹配评价值；

第二匹配评价值获取模块，按预设规则缩减所述参数间隔，以缩减后的每个参数间隔从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取多个第二位姿参数，确定具有所述第二位姿参数的道路图像与所述点云数据中的地理要素相匹配后的第二匹配评价值的最大值；

匹配参数确定模块，用于将第二匹配评价值的最大值所对应的第二位姿参数确定为所述匹配参数。

作为本公开实施例的第四方面，涉及一种道路图像与点云数据匹配装置，可以包括：

匹配参数获取模块，用于根据第三方面所述的匹配参数确定装置获取所述道路图像的匹配参数；

匹配模块，用于根据所述匹配参数对所述道路图像进行平移和/或旋转，使得所述道路图像与所述点云数据相匹配。

作为本公开实施例的第五方面，涉及一种道路图像与点云数据匹配系统，包括：服务器、图像采集设备和点云采集设备；

所述图像采集设备用于采集道路的道路图像；

所述点云采集设备用于采集道路的点云数据；

所述服务器包括如第四方面所述的匹配装置。

作为本公开实施例的第六方面，涉及一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的道路图像与点云数据匹配参数确定方法、第二方面所述的道路图像与点云数据匹配方法。

作为本公开实施例的第七方面，涉及一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的道路图像与点云数据匹配参数确定方法、第二方面所述的道路图像与点云数据匹配方法。

本公开实施例至少实现了如下技术效果：

本公开实施例通过从道路图像的可选位姿参数中，以预定的参数间隔选取第一位姿参数；分别获取具有所述第一位姿参数的道路图像与对应的点云数据相匹配后的用于表征地理要素匹配度的第一匹配评价值；按预设规则缩减所述参数间隔，以缩减后的每个参数间隔从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取多个第二位姿参数，确定具有所述第二位姿参数的道路图像与所述点云数据中的地理要素相匹配后的第二匹配评价值的最大值；将第二匹配评价值的最大值所对应的第二位姿参数确定为所述匹配参数。本公开实施例通过上述预定的参数间隔粗定位和依次缩减后的参数间隔精细定位的方式高效地确定了道路图像与点云数据的匹配参数。

优选地，将特定地理要素的车道线边缘特征作为匹配对象，有效地解决了点云数据与道路图像反射率不一致的问题；通过空间坐标系位姿参数的移动，对道路图像中车道线边缘与点云数据中的车道线轮廓进行匹配，避免了单点匹配错误引起定位误差的问题。

本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所记载的结构来实现和获得。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。在附图中：

图1A为本公开实施例提供的图像采集设备采集的道路的道路图像的示意图；

图1B为本公开实施例提供的点云采集设备采集的道路的点云数据生成的点云数据的示意图；

图2为本公开实施例提供的一种道路图像与点云数据匹配参数确定方法的流程图；

图3为本公开实施例提供的确定道路图像与对应的点云数据之间的对应关系的流程图；

图4为本公开实施例提供的以预定的参数间隔选取多个第一位姿参数的示意图；

图5为步骤S12具体实现过程的流程图；

图6A为本公开实施例提供的图1A中提取的直线诱导图；

图6B为本公开实施例提供的图1B中提取的车道线轮廓图；

图7为本公开实施例提供的以指数依次缩减后的参数间隔选取多个第二位姿参数的示意图；

图8为步骤S13实现方式一的流程图；

图9为步骤S13实现方式二的流程图；

图10A-10D为本公开实施例提供的道路图像与对应的点云数据匹配的示意图；

图11为本公开实施例提供的一个具体的道路图像与点云数据匹配参数确定方法的流程图；

图12为本公开实施例提供的一种道路图像与点云数据匹配参数确定装置的结构示意图；

图13为本公开实施例提供的道路图像与点云数据匹配后的效果示意图；

图14为本公开实施例提供的道路图像与点云数据匹配系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

实施例1

本公开实施例提供了一种道路图像与点云数据匹配参数确定方法，其中，如图1A所示，所述道路图像是指通过图像采集设备采集的道路的道路图像；如图1B所示，所述点云数据是指通过点云采集设备采集的道路的点云数据；所述匹配参数是指将道路图像与点云数据相匹配时道路图像在点云数据中的位姿参数。

如图2所示，该方法可以包括以下步骤：

步骤S11，从道路图像的可选位姿参数中，以预定的参数间隔选取第一位姿参数。

在空间地理坐标中，道路图像中对应的道路在进行空间定位时都有空间坐标，因此道路图像可以使用六自由度空间坐标参数赋予空间位置。其中，所述可选位姿参数是指在六自由度空间内所有的坐标参数，可以用(x,y,z,α,β,γ)来表示。上述六自由度是指物体在空间具有六个自由度，即沿x、y、z三个直角坐标轴方向的移动的自由度和绕这三个轴的转动自由度。所述预设的参数间隔是指在x、y、z三个直角坐标轴方向平移的间隔相同或者在x、y、z三个轴的转动的角度相同。

需要说明的是，本步骤中上述参数间隔为大范围大步长的参数距离，可以快速将道路图像在空间坐标中赋予大步长参数距离的位姿参数。

步骤S12、分别获取具有第一位姿参数的道路图像与对应的点云数据相匹配后的用于表征地理要素匹配度的第一匹配评价值。

将上述步骤S11中赋予大步长参数距离的位姿参数定位道路图像，然后将道路图像和点云数据中均表征地理要素的点进行匹配，根据点匹配度的大小高低来确定道路图像最适合的第一位姿参数，在进行道路图像与点云数据匹配时能够快速进行粗定位。

步骤S13、按预设规则缩减参数间隔，以缩减后的每个参数间隔从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取多个第二位姿参数，确定具有第二位姿参数的道路图像与点云数据中的地理要素相匹配后的第二匹配评价值的最大值。

在完成粗定位后，将步长间隔缩短，可以通过逐次缩减或者一次性缩减到预设的步长，即可以确定出多个位姿参数来实现道路图像与点云数据再次匹配，进而得到更精确的匹配经过。

步骤S14、将第二匹配评价值的最大值所对应的第二位姿参数确定为匹配参数。

通过上述步骤S13中得到的匹配结果，确定出道路图像与点云数据中的表征地理要素的匹配度最高的位姿参数来表示道路图像的空间自由度坐标。

本公开实施例通过预设参数间隔赋予道路图像空间坐标来完成道路图像的粗定位以及以缩减后的每个参数间隔在粗定位的基础上完成道路图像的精细定位，能够快速高效地完成道路图像空间坐标参数的计算，可以有效地节约服务器资源，提高定位精度。

本公开实施例上述步骤详细介绍如下：

上述步骤S11中，从道路图像的可选位姿参数中，以预定的参数间隔选取第一位姿参数。

本公开实施例在确定道路图像与点云数据匹配参数之前需要确定道路图像与点云数据的对应关系，例如道路图像和点云数据都是采集的北京市东三环道路上地图数据，还参照图1A和图1B所示，需要确定上述道路图像与对应的点云数据之间的对应关系，如图3所示，可以包括以下步骤：

步骤S111，根据所述道路图像的拍摄时间、拍摄道路图像的相机的惯导观测值以及所述相机的惯导初始标定参数插值确定所述道路图像的初始位姿。

其中，所述惯导观测值是通过对惯导观测值在时间上进行插值获得的，可使用高速随机过程等方法计算，也可对六自由度(6DOF)中平移分量(表示x,y,z三个直角坐标轴方向的3DOF)线性插值，并对角度分量(3DOF)进行球形插值；所述相机的惯导初始标定参数是通过卡尔曼滤波或者人工测量等方式获得的；所述插值是指在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点。插值是一种离散函数逼近的重要方法，利用它可通过函数在有限个点处的取值状况，估算出函数在其他点处的近似值。插值的用途是用来填充图像变换时像素之间的空隙。

本步骤中所述道路图像的初始位姿是利用经过时间同步后的道路图像拍摄时间、道路图像拍摄时间对应的惯导观测值和相机惯导的初始标定参照进行插值计算获得。在获取道路图像的位姿时，首先需要将道路图像拍摄时间与相机的惯导轨迹进行时间同步，相机的惯导轨迹可以通过车辆自身的轨迹数据获取，也可以通过其他方式获取，本公开实施例对此不作具体限定。

例如，相机到惯导对初始标定值为

惯导的观测值为

则相机到世界坐标中的坐标

可通过下式计算：

步骤S112，根据所述初始位姿在点云数据中进行空间索引，确定与所述道路图像对应的点云数据。

其中，所述空间索引(又称为：空间数据查询)是指依据空间对象的位置和形状或空间对象之间的某种空间关系案一定的顺序排列空间对象的概要信息，如对象的标识、外接矩形及指向空间对象实体的指针。本公开实施例中空间索引的方式是通过RTree和KDTree方式进行快速查询的，当然也可以通过BSPTree、R+Tree或者CELLTree，结构较为简单的格网型空间搜索在各GIS软件和系统中(如ArcGIS)都有着广泛应用，本公开实施例对上述空间索引的方式不作具体限定。

本步骤中由于点云数据是大量的点数据的集合，而且道路图像的范围有限，所以在进行道路图像与点云数据匹配参数确定时，需要通过空间索引的方式确定道路图像对应的小块点云地图，首先是方便后期在各个位姿参数下的道路图像与该道路图像对应的点云数据(即小块点云地图)相匹配后第一匹配评价值的计算；其次是避免使用大范围地图相匹配，距离随着道路图像距离越远道路图像畸变越严重，越不易与点云数据匹配成功。本公开实施例中由于道路图像自身远处透视、像素离散化和相机畸变等影响位置造成道路图像远处精度降低，所以对点云数据的空间索引的距离控制在25m的范围内，当然，如果道路图像的像素离散化程度或者相机畸变程度有所变化，上述空间索引的距离也可以进行相应的调整，本公开实施例对此不作具体限定。

例如，在执行步骤S11之前已经通过步骤S111和步骤S112获得了道路图像与对应的点云数据大致的位置关系，但是无法将道路图像精确匹配到点云数据中。因此，需要以预定的参数间隔选取多个第一位姿参数，即在空间坐标内，参照图4所示，需要以预设的参数间隔，例如平移的参数间隔为L和转动的角度间隔为ψ(图中未示出)遍历式地、大步长地选取多个第一位姿参数，如图4中所示的，在六自由度空间坐标系其中的一个平面坐标系中，选取平移参数间隔为L的步长，图中每个结点(如图中黑色的点)代表着在两个轴上的第一位姿参数。本公开实施例中使用的预设的参数间隔选取多个第一位姿参数的方式可以是格网搜索方式，例如平移的参数间隔L为10cm，转动的角度间隔ψ为0.1°。所以，在空间坐标上赋予了道路图像在不同位置不同角度的参数。上述格网搜索是指给定初始参数、一定搜索步长和搜索范围，将参数空间分成均匀的格网，进行快速大范围搜索，找到最佳参数，完成道路图像的粗定位。

上述步骤S12中，分别获取具有所述第一位姿参数的道路图像与对应的点云数据相匹配后的用于表征地理要素匹配度的第一匹配评价值。

其中，所述匹配是指将第一位置参数下的道路图像投影到点云数据中；所述第一匹配评价值是指道路图像与点云数据匹配程度的高低。

具体的，该步骤执行时可以参照图5所示，可以具体包括以下步骤：

步骤S121，获取道路图像中的第一地理要素，获取点云数据中与第一地理要素同类的第二地理要素。

其中，所述地理要素是指在道路图像和点云数据中能够代表地图中地理特征的要素，例如地图中对应位置的车道线、指示箭头、标牌、斑马线等。

步骤S122，以所述第一位姿参数设定道路图像的位姿。

本步骤的目的是根据上述步骤S11中获取的多个第一位姿参数分别设定道路图像在空间坐标系中的位姿。比如将(x+L,y,z,α,β,γ)、(x-L,y,z,α,β,γ)、(x+2L,y,z,α+ψ,β,γ)等第一位姿参数赋予道路图像，使得道路图像能够在空间坐标系中在不同位置和不同角度与所述道路图像对应的点云数据相匹配。

步骤S123，将道路图像按照上述位姿投影到点云数据上。

因为在制作高精度地图的时候，只需要在空间坐标系内平移和/或旋转道路图像就可以将道路图像与对应的点云数据相匹配，所以该步骤的目的是将步骤220中的以第一位姿参数设定好的道路图像投影到点云数据中。当然，如果将点云数据投影到道路图像中也能够达到使道路图像与对应的点云数据相匹配的目的，只是在平移和/或旋转道路图像时需要反转计算才能第一位姿参数，因此，本公开实施例只要能够实现道路图像与对应的点云数据相匹配的目的即可，具体如何投影不作具体限定。本公开实施例中的投影的公式如下：u,v为点投影在道路图像上的坐标，Pi为点云数据地理要素(如下面的车道线轮廓)上点的坐标，K为相机内参矩阵。

步骤S124，获取第一地理要素与第二地理要素中位于同一投影区域上的光强度的乘积之和作为所述第一匹配评价值。

其中，所述光强度是指道路图像中每个像素点的像素值与点云数据中每个点的激光反射强度。由于道路图像是由不同的像素点组成的，例如像素值为0～255之间的，像素值越大代表亮度越高，而且激光点云生成的点云数据中的每个点也具有激光反射强度，因此可以使用位于同一投影区域上的点的像素值与激光反射强度的乘积作为光强度的乘积，将所有的位于同一区域投影上的光强度乘积之和作为道路图像与对应的点云数据的匹配评价值，因为本步骤中是在第一位姿参数下对道路图像与对应的点云数据进行匹配的，所以此处应当说明的是，获得的匹配评价值为第一匹配评价值。

可选地，当第一地理要素和第二地理要素为车道线时，所述获取道路图像中的第一地理要素之后，还可以包括：对所述道路图像进行直线检测，并将检测出的车道线的光强度进行梯度化处理，使得所述车道线的光强度从车道线中心部分向边缘部分递减。

获取所述点云数据中与所述第一地理要素同类的第二地理要素之后，还包括：对所述点云数据使用预设的算法提出所述车道线轮廓

因为图像采集设备采集的道路图像时和点云采集设备采集的点云数据时一般在道路上，线性元素分布较多；同时线性元素在定位精度上也更有保障。因此，本公开实施例具体可以使用道路图像和点云数据中的车道线要素作为匹配定位的对象，能够代表性的表征道路图像与点云数据的匹配。本公开实施例应当说明的是，车道线是实际地理要素中的成矩形的车道线，并不能理解成一条直线，本公开实施例中的车道线在垂直于道路走向的方向上有一定的宽度。

具体地，执行本步骤时，首先提取道路图像中的车道线，因为大多数的车道线是直线，所以本公开实施例中是对道路图像中的直线进行检测并提取，对道路图像进行直线检测的方法可选择Canny边缘检测算法与霍夫变换(Hough Transform)、直线滤波器等方法提取。也可以选择利用直线段检测算法(Line Segment Detector，简称lsd)等直线提取算法提取直线。在进行匹配之前，可以使用道路图像车道线识别结果等作为掩膜去除不需要的直线。

提取了道路图像中的直线之后，为了使点云数据中的车道线和道路图像中提取的直线相匹配，即是的匹配时光强度乘积更加集中，可以先对提取直线进行加权计算生成直线诱导图，例如可以为反距离加权计算，可以通过不同尺度的形态学膨胀方法、反距离计算等方法计算直线特征诱导图，在诱导图中直线像素值最大，距离越远值越小。如图6A所示，为提取的图1A中的直线诱导图，图中将代表采集车上支撑图像采集设备的框架的直线进行了淹膜处理，为了保证特征的有效性，保证车道线中间的像素值与车道线边缘之间的像素值反差足够大；本文采用以下公式计算反距离诱导图,例如将直线的中心线位置上的像素点赋予的像素值为255，代表了直线中心线位置最亮，从中心部分向边缘部分递减，使得边缘处的像素点的像素值与中心线的有足够的反差。例如E_i,j是图像中第i行j列的边缘值(x,y的定义相同)，W_i,j是计算的诱导图上的值，α和γ按经验分别取1/3和0.98，当然α和γ取其他数值也能够达到生成相似的直线诱导图的结果，本公开实施例对上述数值不作具体限定。

W_i,j＝αE_i，j+(1-α)E_x,yγ^{max(|x-i|,|y-j|)}

根据上述公式可以对直线(车道线)中心线上的像素点的像素值与边缘部分的像素点的像素值进行逐次递减，使得边缘处的像素点的像素值与中心线的有足够的反差。

可选地，当所述第一地理要素为车道线时，也需要提取道路图像对应的点云数据中的车道线轮廓，具体地，本公开实施例采用点云数据上的车道线轮廓作为定位元素(即地理要素)。可以先通过区域增长等方法提取点云数据中的地面，再利用反射率信息提取点云数据中地面的车道线，当反射率噪声较少时可以使用Otsu(大津法或最大类间方差法)等自适应阈值分割，噪声较多时可将地面插值成图片后利用金字塔场景解析网络(PSPNet)、全卷积神经网络(UNet)等神经网络识别算法提取车道线获得初始车道线分割结果，最后利用边缘跟踪算法提取点云数据中的车道线轮廓。如图6B所示，为本公开实施例中的图1B提取的车道线轮廓的示意图，车道线中心线上的采集的点较多，向车道线边缘采集的点逐步减少，而且采集的车道线中心线上的点的激光反射强度的值也越大，向车道线边缘采集的点的激光反射强度的值也逐步减小。

上述步骤S13中，按预设规则缩减参数间隔，以缩减后的每个参数间隔从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取多个第二位姿参数，确定具有第二位姿参数的道路图像与点云数据中的地理要素相匹配后的第二匹配评价值的最大值。

其中，所述第一位姿参数为中心的预设范围是指在第一位姿参数为中心，以步骤S11中的参数间隔为半径的范围。例如在步骤S11中的平移的参数间隔L和转动的角度间隔ψ的范围内选取预定条件依次缩减后的所述参数间隔的多个第二位姿参数。

具体的，本步骤的实现可以包括两种方式，一种是比步骤S11中参数间隔小的参数间隔下限执行，另一种是以逐步缩减的参数间隔执行，具体如下：

<方式1>该方式参照图7所示，可以包括以下步骤：

步骤S1311、按预设规则缩减所述参数间隔至参数间隔下限，得到多个缩减后的参数间隔。

其中，参数间隔下限为小于步骤S11中的参数间隔的预定缩减值。

步骤S1312、分别以每个缩减后的参数间隔，从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取多个第二位姿参数。

该步骤的目的是将步骤S12中粗匹配结果中最优的第一位姿参数进行精细定位，例如可以以小于所述参数间隔的预定缩减值例如0.1L和0.1ψ的依次缩减的参数间隔选取多个第二位姿参数。

步骤S1313、分别获取具有所述第二位姿参数的道路图像与对应的点云数据相匹配后的用于表征地理要素匹配度的第二匹配评价值，得到第二匹配评价值的最大值。

本方式通过参数间隔下限得到的参数间隔，然后赋予道路图像不同的第二位姿参数，这样使得道路图像与点云数据匹配时步长变短，匹配更加精确。

<方式二>该方式参照图8所示，可以包括以下步骤：

步骤S1321、按预设规则缩减参数间隔得到一个缩减后的参数间隔，以缩减后的参数间隔，从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取第二位姿参数。

例如以指数依次缩减后的所述参数间隔选取多个第二位姿参数。可以以2^-nL和2^-nψ(其中n为自然数)的依次缩减的参数间隔选取多个第二位姿参数步骤S1322、获取具有第二位姿参数的道路图像与点云数据中的地理要素相匹配后的第二匹配评价值。

步骤S1323、若得到的第二匹配评价值大于第一匹配评价值或大于上一次得到的第二匹配评价值，则返回继续执行按预设规则缩减参数间隔得到一个缩减后的参数间隔的步骤，直至得到的第二匹配评价值不大于上一次得到的第二匹配评价值，得到第二匹配评价值的最大值。

例如，在一个具体的实施例中以指数依次缩减后的参数间隔选取多个第二位姿参数，本公开实施例中使用二叉树搜索模式对第二位姿参数进行精确搜索，参照图9所示：

将上述步骤中的参数间隔L作为第一间隔(2^-0*L)；由第一位姿参数分别加上及减去第一间隔L得到第一增量位姿参数和第一减量位姿参数，即图9中第二层黑色点代表的左侧的第一减量位姿参数和右侧的第一增量位姿参数；分别获取第一增量位姿参数和第一减量位姿参数的道路图像与点云数据相匹配后的第一增量匹配评价值和第一减量匹配评价值；将第一间隔进行成倍缩减形成第二间隔(2^-1*L)。

由确定出的第一增量匹配评价值和第一减量匹配评价值中的较大值所对应的第一增量位姿参数或第一减量位姿参数分别加上及减去所述第二间隔得到第二增量位姿参数和第二减量位姿参数，如图9中确定出的左侧的第一减量匹配评价值较大，则将第一减量位姿参数分别加上及减去所述第二间隔2^-1*L得到第二增量位姿参数和第二减量位姿参数。然后分别获取第二增量位姿参数和第二减量位姿参数的道路图像与点云数据相匹配后的第二增量匹配评价值和第二减量匹配评价值；重复执行上述步骤，从而得到与第N间隔对应的第N增量位姿参数和第N减量位姿参数作为所述第二位姿参数，以及第N增量匹配评价值和第N减量匹配评价值作为所述第二匹配评价值，其中所述N为自然数。

例如，当步骤S13中所述第N间隔满足预定条件时，将所述第N增量匹配评价值和所述第N减量评价值中的较大值所对应的第N增量位姿参数或第N减量位姿参数作为所述匹配参数。如预设的条件是图9依次缩减后的参数间隔l小于等于1cm，则将N为3或者4时满足上述条件，当N取值为3时，即l＝2^-3*L＝0.125*L＝1.25cm，当N取值为4时，即l＝2^-4*L＝0.0625*L＝0.625cm。上述可以满足高精度地图的精度要求，所以可以选取当N取值为3时第3增量匹配评价值和第3减量匹配评价值中的较大值所对应的第3增量位姿参数或第3减量位姿参数作为第二位姿参数。

再例如，参照图10A-10D所示，当地理要素是车道线时，将道路图像中的车道线光强度进行了梯度化处理之后，道路图像与对应的点云数据相匹配的示意图，从图中可以看出道路图像中的车道线在车道线中心线上的像素值最大(最亮)，由中心线向边缘部分像素值成梯度减弱，车道线中间的像素值与车道线边缘之间的像素值反差足够大；而且点云数据中的车道线中心线上采集的点比车道线边缘采集的点较多，且车道线中心线上采集的点的激光反射强度值也比车道线边缘采集的点的激光反射强度值大。从图10A→图10B→图10C可以看出匹配程度越来越高，即第二匹配评价值越来越大，所以从图10A、图10B和图10C三个匹配示意图中可知图10C匹配的最好。在图10D中可以看出在不同的三个轴的转动自由度时，也有第二匹配评价值大小的比较，比较方式与上述比较方式相同，在此不再赘述。

上述步骤S14中，将第二匹配评价值的最大值所对应的第二位姿参数确定为所述匹配参数。

在一个具体地实施例中，如图11所示，道路图像(图中的照片)与点云数据的匹配参数确定方法可以是：首先通过道路图像与惯导轨迹进行时间上的同步，根据道路图像的拍摄时间、拍摄道路图像的相机的惯导观测值以及相机的惯导初始标定参数插值确定道路图像的初始位姿；然后根据初始位姿在点云数据中进行空间索引，查找到与道路图像对应的点云数据；分别对道路图像中代表车道线的地理要素进行直线检测，并对检测出的直线提取后进行反距离加权生成直线诱导图；对道路图像对应的点云数据提取出代表车道线的地理要素的车道线轮廓；最后将直线诱导图与车道线轮廓通过格网和二叉树混合参数搜索确定出道路图像在空间坐标系中的六自由度参数。

本公开实施例通过从道路图像的全部可选位姿参数中，以预定的参数间隔选取多个第一位姿参数，然后分别获取具有各个第一位姿参数的道路图像与道路图像对应的点云数据相匹配后的第一匹配评价值，经过粗定位从获取到的多个第一匹配评价值中的最大值所对应的第一位姿参数预设范围内的可选位姿参数中，以预定条件依次缩减后的参数间隔选取多个第二位姿参数，分别获取具有各个第二位姿参数的道路图像与点云数据相匹配后的第二匹配评价值，经过变步长方式的精细定位后将获取到的多个第二匹配评价值中的最大值所对应的第二位姿参数确定为匹配参数。本公开实施例通过上述预定的参数间隔粗定位和依次缩减后的参数间隔精细定位的方式高效地确定了道路图像与点云数据的匹配参数。而且将特定地理要素的车道线边缘特征作为匹配对象，有效地解决了点云数据与道路图像反射率不一致的问题；通过空间坐标系位姿参数的移动，对道路图像中车道线边缘与点云数据中的车道线轮廓进行匹配，避免了单点匹配错误引起定位误差的问题。

基于同一发明构思，本公开实施例提供了一种道路图像与点云数据匹配参数确定装置，如图12所示，可以包括：第一位姿参数选取模块11、第一匹配评价值获取模块12、第二匹配评价值获取模块13和匹配参数确定模块14，上述装置的对应图11中格网二叉树混合参数搜索和道路图像的6DOF定位参数输出模块，其工作原理如下：

第一位姿参数选取模块11从道路图像的可选位姿参数中，以预定的参数间隔选取第一位姿参数。

第一匹配评价值获取模块12分别获取具有所述第一位姿参数的道路图像与对应的点云数据相匹配后的用于表征地理要素匹配度的第一匹配评价值。具体的，第一匹配评价值获取模块12获取所述道路图像中的第一地理要素，获取所述点云数据中与所述第一地理要素同类的第二地理要素；以所述第一位姿参数设定所述道路图像的位姿；将所述道路图像按照所述位姿投影到所述点云数据上；第一匹配评价值获取模块12获取所述第一地理要素与所述第二地理要素中位于同一投影区域上的光强度的乘积之和作为所述第一匹配评价值。

第二匹配评价值获取模块13按预设规则缩减所述参数间隔，以缩减后的每个参数间隔从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取多个第二位姿参数，确定具有所述第二位姿参数的道路图像与所述点云数据中的地理要素相匹配后的第二匹配评价值的最大值。具体的，第二匹配评价值获取模块13按预设规则缩减所述参数间隔至参数间隔下限，得到多个缩减后的参数间隔；分别以每个缩减后的参数间隔，从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取多个第二位姿参数；分别获取具有所述第二位姿参数的道路图像与对应的点云数据相匹配后的用于表征地理要素匹配度的第二匹配评价值，得到第二匹配评价值的最大值。或者，第二匹配评价值获取模块13按预设规则缩减所述参数间隔得到一个缩减后的参数间隔，以缩减后的参数间隔，从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取第二位姿参数；第二匹配评价值获取模块13获取具有所述第二位姿参数的道路图像与所述点云数据中的地理要素相匹配后的第二匹配评价值；第二匹配评价值获取模块13若得到的第二匹配评价值大于第一匹配评价值或大于上一次得到的第二匹配评价值，则返回继续执行按预设规则缩减所述参数间隔得到一个缩减后的参数间隔的步骤，直至得到的第二匹配评价值不大于上一次得到的第二匹配评价值，得到第二匹配评价值的最大值。

匹配参数确定模块14将第二匹配评价值的最大值所对应的第二位姿参数确定为所述匹配参数。

本实施例的技术效果和其他具体说明可参见上述道路图像与点云数据匹配参数确定方法的相关内容，此处不再赘述。

实施例2

本公开实施例提供了一种道路图像与点云数据匹配方法，可以包括以下步骤：

根据实施例1中的道路图像与点云数据匹配参数确定方法获取道路图像的匹配参数；根据匹配参数对道路图像进行平移和/或旋转，使得道路图像与所述点云数据相匹配。

参照图13所示，使用上述匹配参数可以快速有效地将道路图像平移和/或旋转到与点云数据相匹配的空间位置，图中显示出了道路图像与对应的点云数据匹配成功后的效果，其中图中椭圆圈出来的多个集合点的部位为点云数据。

本公开实施例还提供了一种道路图像与点云数据进行匹配的装置，可以包括：匹配参数获取模块和匹配模块，其工作原理如下：匹配参数获取模块根据实施例1中的匹配参数确定装置获取所述道路图像的匹配参数；匹配模块根据所述匹配参数对所述道路图像进行平移和/或旋转，使得所述道路图像与所述点云数据相匹配。

基于同一发明构思，本公开实施例还提供了一种道路图像与点云数据匹配系统，参照图14所示，可以包括：服务器1、图像采集设备2和点云采集设备3；所述图像采集设备2用于采集道路的道路图像；所述点云采集设备3用于采集道路的点云数据；所述服务器1包括如上述的匹配装置。

本实施例系统的技术效果和其他具体说明可参见上述道路图像与点云数据匹配参数确定方法的相关内容，此处不再赘述。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims

1.一种道路图像与点云数据匹配参数确定方法，包括：

2.根据权利要求1所述的方法，所述分别获取具有所述第一位姿参数的道路图像与对应的点云数据相匹配后的用于表征地理要素匹配度的第一匹配评价值，包括：

获取所述道路图像中的第一地理要素，获取所述点云数据中与所述第一地理要素同类的第二地理要素；

以所述第一位姿参数设定所述道路图像的位姿；

将所述道路图像按照所述位姿投影到所述点云数据上；

获取所述第一地理要素与所述第二地理要素中位于同一投影区域上的光强度的乘积之和作为所述第一匹配评价值。

3.根据权利要求2所述的方法，当所述第一地理要素和所述第二地理要素为车道线时，所述获取所述道路图像中的第一地理要素之后，还包括：

对所述道路图像进行直线检测，并将检测出的车道线的光强度进行梯度化处理，使得所述车道线的光强度从车道线的中心部分向边缘部分递减；

获取所述点云数据中与所述第一地理要素同类的第二地理要素之后，还包括：

对所述点云数据使用预设的算法提出所述车道线轮廓。

4.根据权利要求1所述的方法，按预设规则缩减所述参数间隔，以缩减后的参数间隔从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取多个第二位姿参数，确定具有所述第二位姿参数的道路图像与所述点云数据中的地理要素相匹配后的第二匹配评价值的最大值，包括：

按预设规则缩减所述参数间隔至参数间隔下限，得到多个缩减后的参数间隔；

分别以每个缩减后的参数间隔，从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取多个第二位姿参数；

分别获取具有所述第二位姿参数的道路图像与对应的点云数据相匹配后的用于表征地理要素匹配度的第二匹配评价值，得到第二匹配评价值的最大值。

5.根据权利要求1所述的方法，按预设规则缩减所述参数间隔，以缩减后的参数间隔从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取多个第二位姿参数，确定具有所述第二位姿参数的道路图像与所述点云数据中的地理要素相匹配后的第二匹配评价值的最大值，包括：

按预设规则缩减所述参数间隔得到一个缩减后的参数间隔，以缩减后的参数间隔，从第一匹配评价值中的最大值所对应的第一位姿参数为中心的预定范围内选取第二位姿参数；

获取具有所述第二位姿参数的道路图像与所述点云数据中的地理要素相匹配后的第二匹配评价值；

若得到的第二匹配评价值大于第一匹配评价值或大于上一次得到的第二匹配评价值，则返回继续执行按预设规则缩减所述参数间隔得到一个缩减后的参数间隔的步骤，直至得到的第二匹配评价值不大于上一次得到的第二匹配评价值，得到第二匹配评价值的最大值。

6.根据权利要求1所述的方法，所述分别获取具有各个所述第一位姿参数的道路图像与所述道路图像对应的点云数据相匹配后的第一匹配评价值之前，还包括：

根据所述道路图像的拍摄时间、拍摄道路图像的相机的惯导观测值以及所述相机的惯导初始标定参数插值确定所述道路图像的初始位姿；

根据所述初始位姿在点云数据中进行空间索引，确定与所述道路图像对应的点云数据。

7.一种道路图像与点云数据匹配方法，包括：

根据权利要求1～6任一所述的匹配参数确定方法获取所述道路图像的匹配参数；

8.一种道路图像与点云数据的匹配参数确定装置，包括：

9.一种道路图像与点云数据匹配装置，包括：

匹配参数获取模块，用于根据权利要求8所述的匹配参数确定装置获取所述道路图像的匹配参数；

10.一种道路图像与点云数据匹配系统，包括：服务器、图像采集设备和点云采集设备；

所述图像采集设备用于采集道路的道路图像；

所述点云采集设备用于采集道路的点云数据；

所述服务器包括如权利要求9所述的匹配装置。

11.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1～6中任一项所述的道路图像与点云数据匹配参数确定方法、权利要求7所述的道路图像与点云数据匹配方法。

12.一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1～6中任一项所述的道路图像与点云数据匹配参数确定方法、权利要求7所述的道路图像与点云数据匹配方法。