CN105678689B - 高精地图数据配准关系确定方法及装置 - Google Patents
高精地图数据配准关系确定方法及装置 Download PDFInfo
- Publication number
- CN105678689B CN105678689B CN201511029120.5A CN201511029120A CN105678689B CN 105678689 B CN105678689 B CN 105678689B CN 201511029120 A CN201511029120 A CN 201511029120A CN 105678689 B CN105678689 B CN 105678689B
- Authority
- CN
- China
- Prior art keywords
- data
- lane line
- feature point
- point set
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims description 16
- 230000005477 standard model Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 11
- 238000005259 measurement Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G06T3/14—
Abstract
本发明实施例公开了一种高精地图数据配准关系确定方法及装置,所述方法包括:获取激光雷达点云数据中与目标位置对应的第一特征点集;获取图像数据中与所述目标位置对应的第二特征点集;将所述第一特征点集与所述第二特征点集进行配对,并根据配对结果确定所述激光雷达点云数据与所述图像数据之间的配准关系。本发明实施例通过采用上述技术方案,不需要设置特定的标定场,也不需要人工测量靶点的位置就可以确定激光雷达点云数据与图像数据之间的配准关系,不但可以减少激光雷达点云数据与图像数据进行配准时所需的工作量,还可以有效地提高激光雷达点云数据与图像数据的配准精度,提高用户体验。
Description
技术领域
本发明涉及数据处理技术,尤其涉及一种高精地图数据配准关系确定方法及装置。
背景技术
随着定位导航技术的发展,电子地图已成为人们日常生活中必不可少的定位导航工具。
采集电子地图数据时,需要采集激光雷达(Lidar)点云数据和图像数据。因为图像数据包含很多物体元素特征,但是缺少三维位置信息特征;而雷达点云数据包含三维位置信息特征,但是缺少物体的元素特征,所以激光雷达点云数据和图像数据采集完成后需要将二者进行配准才能得到高精的电子地图。将激光雷达点云数据与图像数据进行配准时需要寻找图像与激光雷达点云之间的配准关系。现有技术中获取图像与激光雷达点云之间的配准关系时采用的主要方法是人工标记点方法,在图像中标记出特定的靶点,然后用全站仪测得这些靶点的真实三维坐标以及摄像机的位置。
但是采用人工标记点方法获取配准关系需要特定的标定场,且需要人工测量靶点和摄像机的位置,测量过程耗费大量的人力且测量时容易出现误差,影响图像数据与激光雷达点云数据配准的精度。
发明内容
有鉴于此,本发明实施例提供一种高精地图数据配准关系确定方法及装置,以解决现有技术中获取图像数据与激光雷达点云数据配准关系时需较多工作量且测量精度低的问题。
第一方面,本发明实施例提供了一种高精地图数据配准关系确定方法,包括:
获取激光雷达点云数据中与目标位置对应的第一特征点集;
获取图像数据中与所述目标位置对应的第二特征点集;
将所述第一特征点集与所述第二特征点集进行配对,并根据配对结果确定所述激光雷达点云数据与所述图像数据之间的配准关系。
第二方面,本发明实施例还提供了一种高精地图数据配准关系确定装置,包括:
第一特征点集获取模块,用于获取激光雷达点云数据中与设定目标位置对应的第一特征点集;
第二特征点集获取模块,用于获取图像数据中与所述目标位置对应的第二特征点集;
配准关系确定模块,用于将所述第一特征点集与所述第二特征点集进行配对,并根据配对结果确定所述激光雷达点云数据与所述图像数据之间的配准关系。
本发明实施例提供的地图数据配准关系的确定技术方案,通过获取与目标位置对应的第一特征点集和第二特征点集,将第一特征点集与第二特征点集进行配对,根据配对结果确定激光雷达点云数据与图像数据的配准关系,无需人工测量靶点的位置即可完成图像数据与激光雷达点云数据配准,不但可以减少人工测量所需的工作量,还可以避免人工测量时产生的误差,从而提高激光雷达点云数据与图像数据配准时的精度,提高用户体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例一提供的一种高精地图数据配准关系确定方法的流程图;
图2为本发明实施例二提供的一种高精地图数据配准关系确定方法的流程图;
图3为本发明实施例三提供的一种高精地图数据配准关系确定方法的流程图;
图4为本发明实施例四提供的一种高精地图数据配准关系确定方法的流程图;
图5为本发明实施例五提供的一种高精地图数据配准关系确定装置的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
本发明实施例一提供一种高精地图数据配准关系确定方法。该方法可以由高精地图数据配准关系确定装置执行,其中该装置可由软件和/或硬件实现。图1是本发明实施例一提供的高精地图数据配准关系确定方法的流程图。如图1所示,所述方法具体包括如下操作:
S110、获取激光雷达点云数据中与目标位置对应的第一特征点集。
激光雷达是一种以发射激光光束来探测目标的位置、速度等特征量的雷达系统,一般由发射系统、接收系统和信息处理等部分组成。其中,发射系统通常由激光器(如二氧化碳激光器、半导体激光器及固体激光器等)和光学扩束单元等组成;接收系统可以为各种形式的光电探测器,如光电倍增管、半导体光电二极管、红外和可见光多元探测器件等。
点云通常指的是通过测量仪器等得到的目标外观表面的点数据的集合。根据激光测量原理得到的点云信息通常包含物体表面采样点的三维坐标(X,Y,Z)和激光发射强度(Intensity)。当一束激光照射到物体表面时,所反射的激光会携带方位、距离等信息。若将激光光束按照某种轨迹进行扫描,且边扫描边记录反射的激光点信息,则能够得到大量的激光点,这些激光点就可以形成点云。
示例性的,通过激光雷达获得目标位置点云数据的过程可以为:发射系统向目标位置发射激光探测信号并通过信号处理模块记录发射的激光探测信号的水平方向偏航角α(激光信号与经过发射系统正前方直线且与水平面垂直的面的夹角)和俯仰角θ(激光信号与水平面之间的夹角);接收系统接收从目标位置返回的信号(目标回波)并通过信号处理模块记录信号返回的时间和强度;信号处理模块将接收系统接收到的信号与发射系统发射的信号进行比较和处理从而获得目标位置的相关信息,如目标距离、方位、高度、姿态和/或形状等参数;信号处理模块将目标位置的相关信息进行处理从而得到多个包含空间点三维坐标的三维数据点,将这些数据点与每一点返回的脉冲的强度进行组合从而得到目标位置的激光雷达点云数据。优选的,所得到的点云数据中每个点的信息可以包含该点的空间坐标(X,Y,Z)和该点的激光反射强度(I)。
进一步的,所述目标位置为车道线角点位置。
示例性的,所述目标位置指的是具有易识别、易测量和配性明显的物体,例如可以为道路两边的标牌、地面文字等,此处不作限定。但是,考虑到所选用物体的常见性和对其进行识别时的难易程度,优选的,所述目标位置为车道线角点位置。其中,角点为极值点,即在某方面数据特别突出的点,而车道线角点指的是车道线外围轮廓线的拐点位置。示例性的,可以选用车道线中的虚线部分作为目标位置来确定激光雷达点云数据和图像数据的配准关系,此时车道线虚线部分可以看成是由一个一个小矩形组成的,每个小矩形具有四个顶点,这些顶点即为车道线的角点。
在提取车道线角点时,可以首先提取出车道线的特征点,然后再根据相应的算法确定车道线的角点位置。示例性的,从激光雷达点云数据中提取车道线角点的过程可以为:剔除原始激光点云数据中包含的非地面信息;从剩余地面点云数据中提取出表示车道线轮廓的点云并根据反射激光的强度将提取出的点进行分类;提取与车道线反射激光强度信息相匹配的类并提取该类中的线性特征;结合车道线虚线部分的几何语义特征进行车道线的精确提取;计算相邻线段的交点将其确定为车道线的角点。
S120、获取图像数据中与所述目标位置对应的第二特征点集。
示例性的,某位置的图像可以通过摄像机、照相机等设备对目标位置进行摄像/拍照获得,然后对得到的图像进行数字化处理即可得到表征该位置相关信息(如颜色、距离、形状等)的点。所获得的点的位置可以用图像像素点的二维坐标表示,也可以用图像像素点的齐次坐标坐标表示。其中,齐次坐标是将一个原本n维的向量转化为一个n+1维的向量后的坐标,例如,二维点(x,y)的齐次坐标表示为(hx,hy,h),由此可见,一个向量的齐次坐标表示是不唯一的,齐次坐标的h取不同的值都表示的是同一个点,比如齐次坐标(8,4,2)和(4,2,1)表示的都是二维点(4,2)。如果已知某点的齐次坐标表达式[X Y H],则可以通过对其进行正常化处理:得到该点的二维坐标(x,y)。例如,已知某点齐次坐标为[27189],则可以对其进行正常化处理得到其二维坐标为(3,2)。引入齐次坐标可以合并矩阵运算中的乘法和加法,减少对数据进行处理时所需的运算量,因此,优选的,本发明实施例可以采用图像像素点的齐次坐标来表示点的位置。
S130、将所述第一特征点集与所述第二特征点集进行配对,并根据配对结果确定所述激光雷达点云数据与所述图像数据之间的配准关系。
示例性的,激光雷达点云数据与图像数据之间的配准关系可以用3×4的矩阵P表示,通常,同一采集设备所对应的P值是唯一的。根据摄像机成像原理可知,激光雷达点云数据与图像数据之间存在如下关系:x_img=P*X,其中,x_img为目标位置某像素点的齐次坐标,X为激光雷达点云数据中同一点在摄像机坐标系中的位置坐标,由此可知,若已知图像数据中某位置像素点的齐次坐标x_img和该位置对应的激光雷达点云数据中的点的位置坐标X,就可以得到激光雷达点云数据与图像数据之间的配准关系P。
优选的,将所述第一特征点集与所述第二特征点集进行配对,并根据配对结果确定所述激光雷达点云数据与所述图像数据之间的配准关系包括:将所述第一特征点集与所述第二特征点集中与同一位置点对应的数据进行配对,生成N组匹配对,其中,第i组匹配对中包括:第一特征点Xi以及第二特征点x_imgi,i∈[1,N],N>1;根据公式:x_imgi=P*X,构造N个方程组,其中,P为设定行列的矩阵;将基于所述N个方程组计算得到的P作为所述激光雷达点云数据与所述图像数据之间的配准矩阵,以表征所述激光雷达点云数据与所述图像数据之间的配准关系。
示例性的,若已知激光雷达点云数据坐标(X,Y,Z)与图像数据坐标(x,y)的值如表1所示,则将其带入公式x_imgi=P*X中构造方程组可以求得该组激光雷达点云数据与图像数据的配准关系为:P1,1=5258.0800493416145,P1,2=3851.1912499102609,P1,3=483.79815794514747,P1,4=454.23326056861117,P2,1=-631.37239344792727,P2,2=3977.5342028458754,P2,3=5027.6188248598955,P2,4=1948.7998521562411,P3,1=-0.080344050778627024,P3,2=-7.8022564895586992,P3,3=0.36856450565957427,P3,4=1.0000000000000000。
表1
优选的,在将所述第一特征点集与所述第二特征点集中与同一位置点对应的数据进行配对的同时,还包括:基于随机抽样一致算法滤除所述第一特征点集与所述第二特征点集中误配对的点。
示例性的,基于随机抽样一致(Randoum Sample Consensus,RANSAC)算法滤除第一特征点集与第二特征点集中午配对的点的过程可以为:从配对的点中随机选取若干对组成一个子集,假设该子集中的点均为正确配对的点(即局内点);估计适合于该子集包含点的模型;用得到的模型测试子集以外的配对的点,如果所测试的点适用于估计的模型,则认为它也是局内点;测试完成后,用所有假设的局内点重新估计模型并通过估计局内点与模型的错误率来评估模型;重复上述步骤,获得较为理想的模型,去除该模型下的非局内点,即去除第一特征点集与第二特征点集中误配对的点。
本发明实施例一中提供的高精地图数据配准关系确定方法,分别获取激光雷达点云数据和图像数据中与目标位置对应的第一特征点集和第二特征点集,将两个特征点集中表征同一位置的点进行配对,根据配对结果确定激光雷达点云数据与图像数据之间的配准关系。本发明实施例通过采用上述技术方案,无需人工测量靶点位置即可确定激光雷达点云数据与图像数据之间的配准关系,不但可以减少人工测量靶点位置时所需的工作量,还可以避免人工测量产生的误差,提高激光雷达点云数据与图像数据的配准精度,从而提高地图的显示精度,提高用户体验。
实施例二
本发明实施例二提供一种高精地图数据配准关系确定方法,本实施例在上述实施例的基础上进行优化,在本实施例中,将获取激光雷达点云数据中与目标位置对应的第一特征点集具体优化为:基于设定直线拟合算法,提取所述激光雷达点云数据中的直线段;根据车道线在实际道路中的位置,识别出所述直线段中包括的车道线;分别计算与同一条车道线对应的各数据点的曲率,将曲率满足设定阈值条件的数据点作为与车道线角点对应的数据存储于所述第一特征点集中。
图2所示为本发明实施例二提供的高精地图数据配准关系确定方法的流程图,相应的,本实施例的方法包括如下操作:
S210、基于设定直线拟合算法,提取所述激光雷达点云数据中的直线段。
其中,拟合指的是已知某函数的若干离散函数值{f1,f2,…,fn},通过调整该函数中若干待定系数f(λ1,λ2,…λn),获得与已知点集的差别最小的函数的过程。如果待定函数是线性函数,则称之为线性拟合;如果待定函数是非线性函数,则称之为非线性拟合。示例性的,由于车道线为矩形结构,构成车道线的四个边都是直线段,因此,在获取激光雷达点云数据中与车道线角点对应的特征点时,可以首先采用直线拟合的方法提取激光雷达点云数据中的直线段以备后续操作。
S220、根据车道线在实际道路中的位置,识别出所述直线段中包括的车道线。
优选的,可以选用车道线中的虚线部分来确定激光雷达点云数据与图像数据的配准关系。而基于激光雷达点云数据拟合出的直线段中既包括组成车道线实线部分外围轮廓的各条线段,又包括组成车道线虚线部分外围轮廓的各条线段,还包括组成导向车道线等非矩形车道线外围轮廓的各条线段,因此,在识别车道线时可以首先确定车道线虚线部分在道路中的实际位置,然后从根据激光雷达点云数据拟合出的直线段中提取与车道线虚线部分位置相匹配的直线段,并将各直线段组成的矩形记录为车道线的虚线部分。
S230、计算同一条车道线中的各数据点的曲率,将曲率满足设定阈值条件的数据点作为与车道线角点对应的数据存储于所述第一特征点集中。
曲率(Curvature)指的是曲线上某点的切点方向角对弧长的转动率,曲率用来表征曲线偏离直线的程度,曲率越大,表示曲线的弯曲程度越大。获取第一特征点集时可以通过计算车道线上各点的曲率来确定车道线角点,例如,可以利用车道线上某点前后臂的夹角的余弦值来估算该点的曲率,并将局部曲率最大的点确定为车道线的角点。在获得各个车道线的角点后,可以将各车道线角点的坐标、激光反射强度等信息进行存储从而形成第一特征点集。
S240、获取图像数据中与所述目标位置对应的第二特征点集。
S250、将所述第一特征点集与所述第二特征点集进行配对,并根据配对结果确定所述激光雷达点云数据与所述图像数据之间的配准关系。
本发明实施例二中提供的高精地图数据配准关系确定方法,基于直线拟合算法提取激光雷达点云中的直线段,识别直线段中的车道线,计算车道线各数据点的曲率从而确定车道线角点。本发明实施例通过采用上述技术方案,可以有效的减少从激光雷达点云数据中提取车道线角点时所需的运算量,提高获取第一特征点集的速度,从而减少确定激光雷达点云数据与图像数据的配准关系时用户的等待时间,提高用户体验。
实施例三
图3为本发明实施例三提供的一种高精地图数据配准关系确定方法的流程图,本实施例以上述实施例为基础进行优化,在本实施例中,将获取激光雷达点云数据中与目标位置对应的第一特征点集具体优化为:基于卷积神经网络算法,训练与车道线角点对应的标准模型;将所述激光雷达点云数据与所述标准模型进行匹配,获取与车道线角点对应的数据存储于所述第一特征点集中。
相应的,如图3所示,本实施例所提供的方法包括如下操作:
S310、基于卷积神经网络算法,训练与车道线角点对应的标准模型。
卷积神经网络(Convolutional Neural Networks,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,一般应用于对图像的处理。其中,卷积(Convolution)是一种通过两个函数f和g生成第三个函数的数学算法,用于表征函数f和函数g经过翻转和平移之后重叠部分的面积,若f(x)和g(x)为可以积分的函数,则其卷积可以表示为若f(n)和g(n)是离散函数,则其卷积为神经网络(Neural Networks,NNs)是一种应用类似大脑神经突触联接的结构进行信息处理的数据模型,其通常依靠系统的复杂程度,通过调整内部大量节点之间的相互连接的关系,从而达到处理信息的目的。在图像处理中,卷积神经网络可以通过采用局部感知和参数共享的方法来降低图像中参数的个数,从而加快图像处理的速度。
示例性的,基于卷积神经网络算法,训练与车道线角点对应的模型的过程可以为:在车道线角点三维数据集合中随机抽取一些离散的点构成一个子集,假设该子集中的点均为车道线的角点;利用该子集中的点训练出一个初始模型;判断车道线角点三维数据集合中的其他数据点是否适用于该模型,若适用于该模型的三维数据个数超过一定阈值,则可以认为该模型为标准模型,否则,将车道线角点三维数据集合中的其他点加入子集中重进对模型进行估计,调整模型的参数,直至适用于模型的三维数据个数符合上述阈值的要求。
S320、将所述激光雷达点云数据与所述标准模型进行匹配,获取与车道线角点对应的数据存储于所述第一特征点集中。
示例性的,可以首先去除激光雷达点云数据中的非地面点云数据,然后将剩余点云数据与标准模型进行匹配,若某点与标准模型匹配成功,则将该点确定为车道线角点并将该点的数据信息存入第一特征点集中;若匹配失败,则去除该点。
S330、获取图像数据中与所述目标位置对应的第二特征点集。
S340、将所述第一特征点集与所述第二特征点集进行配对,并根据配对结果确定所述激光雷达点云数据与所述图像数据之间的配准关系。
本发明实施例三提供的高精地图数据配准关系确定方法,基于卷积神经网络算法训练与车道线角点对应的模型,将激光雷达点云数据与车道线模型进行匹配从而得到车道线的角点。本发明实施例通过采用上述技术方案,不但可以保证激光雷达点云数据与图像数据配准关系的精度,还可以提高从激光雷达点云数据中获取车道线角点的速度,从而减少确定激光雷达点云数据与图像数据的配准关系时所需要的时间,提高用户体验。
实施例四
图4所示为本发明实施例四提供的一种高精地图数据配准关系确定方法的流程图,本实施例在上述实施例的基础上进行优化,进一步的,将所述获取图像数据中与所述目标位置对应的第二特征点集具体优化为:将所述图像数据进行灰度化处理,并基于设定图像识别算法获取灰度化的车道线图像;对所述灰度化的二维车道线图像进行训练,识别出所述二维车道线图像中的多个角点;获取与各所述角点对应的数据存储于所述第二特征点集中。
相应的,如图4所示,本实施例的方法包括如下操作:
S410、获取激光雷达点云数据中与目标位置对应的第一特征点集。
S420、将所述图像数据进行灰度化处理,并基于设定图像识别算法获取灰度化的二维车道线图像。
在RGB彩色模型中,如果R=G=B时,则彩色表示一种灰度颜色,其中R=G=B的值称为灰度值,灰度值的范围为0-255。对彩色图像进行灰度化的方法通常可分为分量法、最大值法、平均值法和加权平均值法四种,本发明实施例中可以选用上述四种方法中的任意一种或多种对图像数据进行灰度化处理,也可以选用除上述四种以外的方法对图像数据进行灰度化处理,此处不作限定。
示例性的,可以采用如下过程获取灰度化的车道线:将灰度化后的图像进行二值化处理,得到只有黑和白的视觉效果的图像数据;将该图像数据进行边缘化检测,得到车道线的轮廓线;将得到的车道线轮廓线进行边缘增强,从而得到可以很容易进行辨别的车道线图像。其中,二值化指的是将图像上的像素点的灰度值设置为0或255,使图像整体呈现出明显的只有黑和白的视觉效果的过程;边缘检测指的是对图像中亮度变化明显的点进行标识从而使其更能够准确反映图像属性的过程;边缘增强是图像增强处理的一种,是一种将图像相邻区域的亮度值相差较大的边缘处加以突出强调的技术方法,经过边缘增强后的图像能够更清晰地显示出不同的物体的边界以便于对不同的物体进行识别及对物体的分布范围进行确定。因为车道线主要集中在图像下半部分,因此在获取灰度化的车道线时可以只对图像数据下半部分进行处理,从而减少获取灰度化的车道线时所需的运算量。
S430、对所述灰度化的二维车道线图像进行训练,识别出所述二维车道线图像中的多个角点。
示例性的,可以首先随机选取样本数据,根据样本数据训练出识别车道线角点的模型并记录车道线模型的各个参数;然后将灰度化的二维车道线图像数据输入得到的车道线模型中,此时模型的输出结果即为二维车道线图像中的车道线角点。
S440、获取与各角点对应的数据存储于所述第二特征点集中。
示例性的,可以各车道线角点的二维位置坐标(x,y)存储在第二特征点集中。
S450、将所述第一特征点集与所述第二特征点集进行配对,并根据配对结果确定所述激光雷达点云数据与所述图像数据之间的配准关系。
本发明实施例四提供的高精地图数据配准关系确定方法,将二维图像数据进行灰度化处理并获取灰度化的车道线图像,对灰度化的车道线图像进行训练识别二维图像数据中的车道线角点,将各个车道线角点对应的数据信息存储在第二特征点集中。本发明实施例通过采用上述技术方案,在保证激光雷达点云数据与图像数据配准精度的同时,还可以有效地降低从二维图像数据中获取车道线角点所需的时间,提高确定激光雷达点云数据与图像数据配准关系时的速度,从而减少用户的等待时间,提高用户体验。
实施例五
图5为本发明实施例五提供的一种高精地图数据配准关系确定装置的结构图,该装置可由软件和/或硬件实现,可通过执行高精地图数据配准关系确定方法来确定激光雷达点云数据与图像数据之间的配准关系。如图5所示,该装置包括:
第一特征点集获取模块510,用于获取激光雷达点云数据中与设定目标位置对应的第一特征点集;
第二特征点集获取模块520,用于获取图像数据中与所述目标位置对应的第二特征点集;
配准关系确定模块530,用于将所述第一特征点集与所述第二特征点集进行配对,并根据配对结果确定所述激光雷达点云数据与所述图像数据之间的配准关系。
本实施例的技术方案,通过分别获取激光雷达点云数据和图像数据中与目标位置对应的第一特征点集和第二特征点集,将两个特征点集中表征同一位置的点进行配对,根据配对结果确定激光雷达点云数据与图像数据之间的配准关系。本发明实施例通过采用上述技术方案,无需人工测量靶点位置即可确定激光雷达点云数据与图像数据之间的配准关系,不但可以减少人工测量靶点位置时所需的工作量,还可以避免人工测量产生的误差,提高激光雷达点云数据与图像数据的配准精度,从而提高地图的显示精度,提高用户体验。
优选的,所述目标位置可以为车道线角点位置。
优选的,所述第一特征点集获取模块可以包括:直线段提取单元,用于基于设定直线拟合算法,提取所述激光雷达点云数据中的直线段;车道线识别单元,用于根据车道线在实际道路中的位置,识别出所述直线段中包括的车道线;第一角点确定单元,用于计算同一条车道线中的各数据点的曲率,将曲率满足设定阈值条件的数据点作为与车道线角点对应的数据存储于所述第一特征点集中。或者,所述第一特征点集获取模块包括:标准模型训练单元,用于基于卷积神经网络算法,训练与车道线角点对应的标准模型;第二角点确定单元,用于将所述激光雷达点云数据与所述标准模型进行匹配,获取与车道线角点对应的数据存储于所述第一特征点集中。
优选的,所述第二特征点集获取模块可以包括:车道线处理单元,用于将所述图像数据进行灰度化处理,并基于设定图像识别算法获取灰度化的二维车道线图像;车道线训练单元,对所述灰度化的二维车道线图像进行训练,识别出所述二维车道线图像中的多个角点;车道线角点存储单元,获取与各角点对应的数据存储于所述第二特征点集中。
优选的,所述配准关系确定模块可以包括:匹配对获取单元,用于将所述第一特征点集与所述第二特征点集中与同一位置点对应的数据进行配对,生成N组匹配对,其中,第i组匹配对中包括:第一特征点Xi以及第二特征点x_imgi,i∈[1,N],N>1;方程组构造单元,用于根据公式:x_imgi=P*X,构造N个方程组,其中,P为设定行列的矩阵;配准关系获取单元,用于将基于所述N个方程组计算得到的P作为所述激光雷达点云数据与所述图像数据之间的配准矩阵,以表征所述激光雷达点云数据与所述图像数据之间的配准关系。
优选的,所述装置还可以包括:误配对去除模块,用于基于随机抽样一致算法滤除所述第一特征点集与所述第二特征点集中误配对的点。
本发明实施例提供的高精地图数据配准关系确定装置可执行本发明任意实施例所提供的高精地图数据配准关系确定方法,具备与高精地图数据配准关系确定方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的高精地图数据配准关系确定方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种高精地图数据配准关系确定方法,其特征在于,包括:
获取激光雷达点云数据中与目标位置对应的第一特征点集,所述激光雷达点云数据包含三维位置信息特征和激光反射强度,所述目标位置为车道线角点位置;
获取图像数据中与所述目标位置对应的第二特征点集,所述第二特征点集用图像像素点的齐次坐标表示;
将所述第一特征点集中三维位置信息特征与所述第二特征点集进行配对,并根据配对结果确定所述激光雷达点云数据与所述图像数据之间的配准关系;
获取激光雷达点云数据中与目标位置对应的第一特征点集包括:
基于设定直线拟合算法,提取所述激光雷达点云数据中的直线段;
根据车道线在实际道路中的位置,识别出所述直线段中包括的车道线;
计算同一条车道线中的各数据点的曲率,将曲率满足设定阈值条件的数据点作为与车道线角点对应的数据存储于所述第一特征点集中。
2.根据权利要求1所述的方法,其特征在于,获取激光雷达点云数据中与目标位置对应的第一特征点集包括:
基于卷积神经网络算法,训练与车道线角点对应的标准模型;
将所述激光雷达点云数据与所述标准模型进行匹配,获取与车道线角点对应的数据存储于所述第一特征点集中。
3.根据权利要求1所述的方法,其特征在于,获取图像数据中与所述目标位置对应的第二特征点集包括:
将所述图像数据进行灰度化处理,并基于设定图像识别算法获取灰度化的二维车道线图像;
对所述灰度化的二维车道线图像进行训练,识别出所述二维车道线图像中的多个角点;
获取与各角点对应的数据存储于所述第二特征点集中。
4.根据权利要求1所述的方法,其特征在于,将所述第一特征点集与所述第二特征点集进行配对,并根据配对结果确定所述激光雷达点云数据与所述图像数据之间的配准关系包括:
将所述第一特征点集与所述第二特征点集中与同一位置点对应的数据进行配对,生成N组匹配对,其中,第i组匹配对中包括:第一特征点Xi以及第二特征点x_imgi,i∈[1,N],N>1;
根据公式:x_imgi=P*X,构造N个方程组,其中,P为设定行列的矩阵;
将基于所述N个方程组计算得到的P作为所述激光雷达点云数据与所述图像数据之间的配准矩阵,以表征所述激光雷达点云数据与所述图像数据之间的配准关系。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
基于随机抽样一致算法滤除所述第一特征点集与所述第二特征点集中误配对的点。
6.一种高精地图数据配准关系确定装置,其特征在于,包括:
第一特征点集获取模块,用于获取激光雷达点云数据中与设定目标位置对应的第一特征点集,所述激光雷达点云数据包含三维位置信息特征和激光反射强度,所述目标位置为车道线角点位置;
第二特征点集获取模块,用于获取图像数据中与所述目标位置对应的第二特征点集,所述第二特征点集用图像像素点的齐次坐标表示;
配准关系确定模块,用于将所述第一特征点集中三维位置信息特征与所述第二特征点集进行配对,并根据配对结果确定所述激光雷达点云数据与所述图像数据之间的配准关系;
所述第一特征点集获取模块包括:
直线段提取单元,用于基于设定直线拟合算法,提取所述激光雷达点云数据中的直线段;
车道线识别单元,用于根据车道线在实际道路中的位置,识别出所述直线段中包括的车道线;
第一角点确定单元,用于计算同一条车道线中的各数据点的曲率,将曲率满足设定阈值条件的数据点作为与车道线角点对应的数据存储于所述第一特征点集中。
7.根据权利要求6所述的装置,其特征在于,所述第一特征点集获取模块包括:
标准模型训练单元,用于基于卷积神经网络算法,训练与车道线角点对应的标准模型;
第二角点确定单元,用于将所述激光雷达点云数据与所述标准模型进行匹配,获取与车道线角点对应的数据存储于所述第一特征点集中。
8.根据权利要求6所述的装置,其特征在于,所述第二特征点集获取模块包括:
车道线处理单元,用于将所述图像数据进行灰度化处理,并基于设定图像识别算法获取灰度化的二维车道线图像;
车道线训练单元,对所述灰度化的二维车道线图像进行训练,识别出所述二维车道线图像中的多个角点;
车道线角点存储单元,获取与各角点对应的数据存储于所述第二特征点集中。
9.根据权利要求6所述的装置,其特征在于,所述配准关系确定模块包括:
匹配对获取单元,用于将所述第一特征点集与所述第二特征点集中与同一位置点对应的数据进行配对,生成N组匹配对,其中,第i组匹配对中包括:第一特征点Xi以及第二特征点x_imgi,i∈[1,N],N>1;
方程组构造单元,用于根据公式:x_imgi=P*X,构造N个方程组,其中,P为设定行列的矩阵;
配准关系获取单元,用于将基于所述N个方程组计算得到的P作为所述激光雷达点云数据与所述图像数据之间的配准矩阵,以表征所述激光雷达点云数据与所述图像数据之间的配准关系。
10.根据权利要求9所述的装置,其特征在于,还包括:
误配对去除模块,用于基于随机抽样一致算法滤除所述第一特征点集与所述第二特征点集中误配对的点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511029120.5A CN105678689B (zh) | 2015-12-31 | 2015-12-31 | 高精地图数据配准关系确定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511029120.5A CN105678689B (zh) | 2015-12-31 | 2015-12-31 | 高精地图数据配准关系确定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105678689A CN105678689A (zh) | 2016-06-15 |
CN105678689B true CN105678689B (zh) | 2020-01-31 |
Family
ID=56298421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511029120.5A Active CN105678689B (zh) | 2015-12-31 | 2015-12-31 | 高精地图数据配准关系确定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105678689B (zh) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530338B (zh) * | 2016-10-31 | 2019-02-05 | 武汉纺织大学 | 生物组织非线性形变前后mr影像特征点匹配方法及系统 |
CN109983507B (zh) | 2016-12-21 | 2023-12-05 | 英特尔公司 | 经由二维地图进行基于大规模cnn回归的定位 |
CN107194957B (zh) * | 2017-04-17 | 2019-11-22 | 武汉光庭科技有限公司 | 智能驾驶中激光雷达点云数据与车辆信息融合的方法 |
CN108732554B (zh) * | 2017-04-18 | 2020-12-11 | 百度在线网络技术(北京)有限公司 | 激光雷达标定方法和装置 |
CN108955670B (zh) * | 2017-05-25 | 2021-02-09 | 百度在线网络技术(北京)有限公司 | 信息获取方法和装置 |
KR101858902B1 (ko) * | 2017-06-26 | 2018-05-16 | 한국도로공사 | 컴포넌트를 활용한 점군 데이터의 객체 위치정보 추출 시스템 |
CN109840463B (zh) * | 2017-11-27 | 2021-03-30 | 北京图森未来科技有限公司 | 一种车道线识别方法和装置 |
TWI657407B (zh) * | 2017-12-07 | 2019-04-21 | 財團法人資訊工業策進會 | 利用遞歸神經網路的三維點雲追蹤裝置及方法 |
CN108196260B (zh) * | 2017-12-13 | 2021-08-10 | 北京汽车集团有限公司 | 无人驾驶车辆多传感器融合系统的测试方法和装置 |
CN108564653B (zh) * | 2018-03-16 | 2022-05-10 | 中国传媒大学 | 基于多Kinect的人体骨架追踪系统及方法 |
US10684132B2 (en) * | 2018-03-19 | 2020-06-16 | Here Global B.V. | Generation and update of a lane network graph model |
CN110400363A (zh) * | 2018-04-24 | 2019-11-01 | 北京京东尚科信息技术有限公司 | 基于激光点云的地图构建方法和装置 |
CN110412530B (zh) * | 2018-04-27 | 2021-09-17 | 深圳市优必选科技有限公司 | 一种识别充电桩的方法、装置及机器人 |
CN108764187B (zh) * | 2018-06-01 | 2022-03-08 | 百度在线网络技术(北京)有限公司 | 提取车道线的方法、装置、设备、存储介质以及采集实体 |
CN109100731B (zh) * | 2018-07-17 | 2022-11-11 | 重庆大学 | 一种基于激光雷达扫描匹配算法的移动机器人定位方法 |
CN109214314B (zh) * | 2018-08-17 | 2022-03-29 | 宽凳(北京)科技有限公司 | 一种车道线自动融合匹配算法 |
CN110148196B (zh) | 2018-09-12 | 2022-03-25 | 腾讯大地通途(北京)科技有限公司 | 一种图像处理方法、装置以及相关设备 |
CN109343061B (zh) | 2018-09-19 | 2021-04-02 | 百度在线网络技术(北京)有限公司 | 传感器标定方法、装置、计算机设备、介质和车辆 |
CN109459734B (zh) * | 2018-10-30 | 2020-09-11 | 百度在线网络技术(北京)有限公司 | 一种激光雷达定位效果评估方法、装置、设备及存储介质 |
CN111656136B (zh) * | 2018-11-09 | 2023-09-29 | 北京嘀嘀无限科技发展有限公司 | 使用激光雷达的车辆定位系统 |
CN111489411B (zh) * | 2019-01-29 | 2023-06-20 | 北京百度网讯科技有限公司 | 线条绘制方法、装置、图像处理器、显卡及车辆 |
US11594011B2 (en) * | 2019-01-30 | 2023-02-28 | Baidu Usa Llc | Deep learning-based feature extraction for LiDAR localization of autonomous driving vehicles |
CN109901142B (zh) * | 2019-02-28 | 2021-03-30 | 东软睿驰汽车技术(沈阳)有限公司 | 一种标定方法及装置 |
CN111695379B (zh) * | 2019-03-13 | 2023-09-26 | 长沙智能驾驶研究院有限公司 | 基于立体视觉的地面分割方法、装置、车载设备及存储介质 |
CN110136182B (zh) * | 2019-05-28 | 2021-06-04 | 北京百度网讯科技有限公司 | 激光点云与2d影像的配准方法、装置、设备和介质 |
CN110148164B (zh) * | 2019-05-29 | 2021-10-26 | 阿波罗智能技术(北京)有限公司 | 转换矩阵生成方法及装置、服务器及计算机可读介质 |
CN110148099B (zh) * | 2019-05-29 | 2021-09-10 | 北京百度网讯科技有限公司 | 投影关系的修正方法及装置、电子设备、计算机可读介质 |
CN112154445A (zh) * | 2019-09-19 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 高精度地图中车道线的确定方法和装置 |
WO2021056339A1 (zh) * | 2019-09-26 | 2021-04-01 | 深圳市大疆创新科技有限公司 | 定位方法、系统及可移动平台 |
CN111126211B (zh) * | 2019-12-13 | 2023-08-29 | 北京四维图新科技股份有限公司 | 标牌识别方法和装置、电子设备 |
CN111168669B (zh) * | 2019-12-26 | 2021-12-03 | 上海高仙自动化科技发展有限公司 | 机器人控制方法、机器人和可读存储介质 |
CN111311709B (zh) * | 2020-02-05 | 2023-06-20 | 北京三快在线科技有限公司 | 一种生成高精地图的方法及装置 |
CN111696115B (zh) * | 2020-04-29 | 2023-04-14 | 山东省国土测绘院 | 一种基于点云扫描线的斑马线角点提取方法及系统 |
CN111667545B (zh) * | 2020-05-07 | 2024-02-27 | 东软睿驰汽车技术(沈阳)有限公司 | 高精度地图生成方法、装置、电子设备及存储介质 |
CN112180347B (zh) * | 2020-09-09 | 2021-12-03 | 湖北亿咖通科技有限公司 | 外方位元素的标定方法、设备、电子装置和存储介质 |
CN112684468A (zh) * | 2020-12-11 | 2021-04-20 | 江苏新冠亿科技有限公司 | 一种基于2d激光雷达的平面建图定位方法 |
CN113176544B (zh) * | 2021-03-05 | 2022-11-11 | 河海大学 | 一种边坡雷达影像与地形点云的误匹配校正方法 |
CN113409459B (zh) * | 2021-06-08 | 2022-06-24 | 北京百度网讯科技有限公司 | 高精地图的生产方法、装置、设备和计算机存储介质 |
CN113724388B (zh) * | 2021-09-03 | 2023-09-05 | 北京百度网讯科技有限公司 | 高精地图的生成方法、装置、设备以及存储介质 |
CN114719873B (zh) * | 2022-06-02 | 2022-09-02 | 四川省公路规划勘察设计研究院有限公司 | 一种低成本精细地图自动生成方法、装置及可读介质 |
CN116523973A (zh) * | 2023-01-10 | 2023-08-01 | 北京长木谷医疗科技股份有限公司 | 骨骼配准方法及装置 |
CN116664575B (zh) * | 2023-07-31 | 2023-11-03 | 厦门微图软件科技有限公司 | 一种基于点云配准的缺陷检测方法、装置以及设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101320089A (zh) * | 2007-06-05 | 2008-12-10 | 通用汽车环球科技运作公司 | 用于车辆动力估计的雷达、激光雷达和摄像机增强的方法 |
CN102073990A (zh) * | 2010-11-26 | 2011-05-25 | 中国科学院遥感应用研究所 | 一种遥感图像自动几何纠正的系统框架和方法 |
CN103260013A (zh) * | 2013-05-30 | 2013-08-21 | 水木路拓科技(北京)有限公司 | 基于视频图像处理技术的路网交通卫星地图视频显示系统 |
KR20150101009A (ko) * | 2014-02-24 | 2015-09-03 | 주식회사 한화 | 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법 |
-
2015
- 2015-12-31 CN CN201511029120.5A patent/CN105678689B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101320089A (zh) * | 2007-06-05 | 2008-12-10 | 通用汽车环球科技运作公司 | 用于车辆动力估计的雷达、激光雷达和摄像机增强的方法 |
CN102073990A (zh) * | 2010-11-26 | 2011-05-25 | 中国科学院遥感应用研究所 | 一种遥感图像自动几何纠正的系统框架和方法 |
CN103260013A (zh) * | 2013-05-30 | 2013-08-21 | 水木路拓科技(北京)有限公司 | 基于视频图像处理技术的路网交通卫星地图视频显示系统 |
KR20150101009A (ko) * | 2014-02-24 | 2015-09-03 | 주식회사 한화 | 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
CN105678689A (zh) | 2016-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105678689B (zh) | 高精地图数据配准关系确定方法及装置 | |
CN111553859B (zh) | 一种激光雷达点云反射强度补全方法及系统 | |
CN111429514B (zh) | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 | |
US11255973B2 (en) | Method and apparatus for extracting lane line and computer readable storage medium | |
Daftry et al. | Building with drones: Accurate 3D facade reconstruction using MAVs | |
CN104484648B (zh) | 基于轮廓识别的机器人可变视角障碍物检测方法 | |
CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
US11195064B2 (en) | Cross-modal sensor data alignment | |
CN110873879A (zh) | 一种多源异构传感器特征深度融合的装置及方法 | |
Tsai et al. | Optimising the selection of samples for robust lidar camera calibration | |
CN113050074B (zh) | 无人驾驶环境感知中相机与激光雷达标定系统及标定方法 | |
CN110889829A (zh) | 一种基于鱼眼镜头的单目测距方法 | |
CN114972968A (zh) | 基于多重神经网络的托盘识别和位姿估计方法 | |
Wang et al. | Acmarker: Acoustic camera-based fiducial marker system in underwater environment | |
CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
CN111856445A (zh) | 一种目标检测方法、装置、设备及系统 | |
Jindal et al. | Bollard segmentation and position estimation from lidar point cloud for autonomous mooring | |
CN113219472A (zh) | 一种测距系统和方法 | |
CN104484647B (zh) | 一种高分辨率遥感图像云高度检测方法 | |
CN116309882A (zh) | 一种面向无人叉车应用的托盘检测和定位方法及系统 | |
CN116309817A (zh) | 一种基于rgb-d相机的托盘检测与定位方法 | |
CN113313725B (zh) | 含能材料药桶的桶口识别方法及系统 | |
CN115546216A (zh) | 一种托盘检测方法、装置、设备及存储介质 | |
CN114761998A (zh) | 通过神经网络的自适应学习从图像确定深度的方法及其系统 | |
Rasyidy et al. | A Framework for Road Boundary Detection based on Camera-LIDAR Fusion in World Coordinate System and Its Performance Evaluation Using Carla Simulator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |