CN117593736A - 高精地图资料的精度检测方法、装置、设备及介质 - Google Patents
高精地图资料的精度检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117593736A CN117593736A CN202311359518.XA CN202311359518A CN117593736A CN 117593736 A CN117593736 A CN 117593736A CN 202311359518 A CN202311359518 A CN 202311359518A CN 117593736 A CN117593736 A CN 117593736A
- Authority
- CN
- China
- Prior art keywords
- image
- point cloud
- dimensional
- points
- characteristic points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000274965 Cyrestis thyodamas Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开实施例公开了一种高精地图资料的精度检测方法、装置、设备及介质,该方法包括:获取待检测区域的点云数据和图像数据;提取所述图像数据中目标类型的地图要素的图像二维特征点,以及提取所述点云数据中所述目标类型的地图要素的点云三维特征点;将所述目标类型的地图要素的图像二维特征点和所述点云三维特征点进行匹配,得到同一坐标系下匹配的图像特征点和点云特征点;确定所述匹配的图像特征点和点云特征点之间的匹配误差;根据所述匹配的图像特征点和点云特征点之间的匹配误差,确定所述高精地图资料的精度。该技术方案的精度检测更全面,检测结果更有效。
Description
技术领域
本公开涉及高精地图数据处理技术领域,具体涉及一种高精地图资料的精度检测方法、装置、设备及介质。
背景技术
相对于普通地图,高精地图可以提供更高精度,内容更为丰富的地图信息,高精地图的精度主要依赖于采集的高精地图资料的精度,由于采集设备的设备误差等原因会导致采集的高精地图资料有一定误差,因而需要检测高精地图资料的精度。目前,相关方案是通常计算点云厚度来衡量高精地图资料的精度,比如说,采集一个平面对应的点云,其点云厚度实际为0,但是点云采集设备采集的点云有一定的厚度,这就说明采集的点云数据有误差;但是依据点云厚度进行检测实际只能发现跟点云采集设备相关的误差,无法发现与图像采集设备相关的误差。
发明内容
为了解决相关技术中的问题,本公开实施例提供一种高精地图资料的精度检测方法、装置、设备及介质。
第一方面,本公开实施例中提供了一种高精地图资料的精度检测方法。
具体地,所述高精地图资料的精度检测方法,包括:
获取待检测区域的点云数据和图像数据;
提取所述图像数据中目标类型的地图要素的图像二维特征点,以及提取所述点云数据中所述目标类型的地图要素的点云三维特征点;
将所述目标类型的地图要素的图像二维特征点和所述点云三维特征点进行匹配,得到同一坐标系下匹配的图像特征点和点云特征点;
确定所述匹配的图像特征点和点云特征点之间的匹配误差;
根据所述匹配的图像特征点和点云特征点之间的匹配误差,确定所述高精地图资料的精度。
第二方面,本公开实施例中提供了一种高精地图资料的精度检测装置,包括:
数据获取模块,被配置为获取待检测区域的点云数据和图像数据;
特征提取模块,被配置为提取所述图像数据中目标类型的地图要素的图像二维特征点,以及提取所述点云数据中所述目标类型的地图要素的点云三维特征点;
匹配模块,被配置为将所述目标类型的地图要素的图像二维特征点和所述点云三维特征点进行匹配,得到同一坐标系下匹配的图像特征点和点云特征点;
误差确定模块,被配置为确定所述匹配的图像特征点和点云特征点之间的匹配误差;
精度确定模块,被配置为根据所述匹配的图像特征点和点云特征点之间的匹配误差,确定所述高精地图资料的精度。
第三方面,本公开实施例提供了一种电子设备,包括存储器和处理器,其中,所述存储器用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器执行以实现如第一方面中任一项所述的方法。
第四方面,本公开实施例中提供了一种计算机可读存储介质,其上存储有计算机指令,该计算机指令被处理器执行时实现如第一方面中任一项所述的方法。
根据本公开实施例提供的技术方案,可以在获取待检测区域的点云数据和图像数据后,提取所述图像数据中目标类型的地图要素的图像二维特征点,以及提取所述点云数据中目标类型的地图要素的点云三维特征点;然后,将所述目标类型的地图要素的图像二维特征点和点云三维特征点转换至同一坐标系下,得到同一坐标系下匹配的图像特征点和点云特征点,确定匹配的图像特征点和点云特征点之间的匹配误差,根据所述匹配的图像特征点和点云特征点之间的匹配误差,就可以确定所述高精地图资料的精度;如此,通过点云数据和图像数据之间匹配特征点的匹配误差来确定高精地图资料的精度,可以同时检测点云采集设备和图像采集设备采集地图资料时的测量精度,精度检测更全面,检测结果更有效。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
结合附图,通过以下非限制性实施方式的详细描述,本公开的其它特征、目的和优点将变得更加明显。在附图中:
图1示出根据本公开的实施例的高精地图资料的精度检测方法的流程图;
图2A示出一种采用四邻域法提取该目标类型的地图要素的轮廓点的示意图;
图2B示出一种相似三角形计算像素点实际距离示意图;
图3示出根据本公开的实施例的高精地图资料的精度检测装置的结构框图;
图4示出根据本公开的实施例的电子设备的结构框图;
图5示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
具体实施方式
下文中,将参考附图详细描述本公开的示例性实施例,以使本领域技术人员可容易地实现它们。此外,为了清楚起见,在附图中省略了与描述示例性实施例无关的部分。
在本公开中,应理解,诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
如上文所述,相对于普通地图,高精地图可以提供更高精度,内容更为丰富的地图信息,高精地图的精度主要依赖于采集的高精地图资料的精度,由于采集设备的设备误差等原因会导致采集的高精地图资料有一定误差,因而需要检测高精地图资料的精度。目前,相关方案是通常计算点云厚度来衡量高精地图资料的精度,比如说,采集一个平面对应的点云,其点云厚度实际为0,但是点云采集设备采集的点云有一定的厚度,这就说明采集的点云数据有误差;但是依据点云厚度进行检测实际只能发现跟点云采集设备相关的误差,无法发现与图像采集设备相关的误差。
本公开提供了一种高精地图资料的精度检测方法,该方法可以同时提取点云的点云三维特征点和图像的图像二维特征点,然后通过坐标转换获取同一坐标下点云和图像对应的特征点,计算同一坐标下点云和图像对应的特征点之间的匹配误差,并基于该匹配误差来确定采集的高精地图资料的精度,该精度检测可以检测点云采集设备和图像采集设备采集地图要素时的测量精度,检测更全面,检测结果更有效。
图1示出根据本公开的实施例的高精地图资料的精度检测方法的流程图。如图1所示,所述高精地图资料的精度检测方法包括以下步骤S101-S105:
在步骤S101中,获取待检测区域的点云数据和图像数据;
在步骤S102中,提取所述图像数据中目标类型的地图要素的图像二维特征点,以及提取所述点云数据中目标类型的地图要素的点云三维特征点;
在步骤S103中,将所述目标类型的地图要素的图像二维特征点和所述点云三维特征点进行匹配,得到同一坐标系下匹配的图像特征点和点云特征点;
在步骤S104中,确定所述匹配的图像特征点和点云特征点之间的匹配误差;
在步骤S105中,根据所述匹配的图像特征点和点云特征点之间的匹配误差,确定所述高精地图资料的精度。
在一种可能的实施方式中,该高精地图资料的精度检测方法适用于可执行高精地图资料的精度检测的计算机、计算设备、服务器、服务器集群等设备。
在一种可能的实施方式中,在制作或更新某预定区域的高精地图时,可以派遣一辆或多辆采集车在预定区域的道路上行驶,该采集车上搭载有采集设备可以在采集车的行驶过程中采集高精地图资料,比如说,该采集车上可以搭载图像采集设备如摄像头来采集图像数据,可以搭载点云采集设备如激光雷达来采集点云数据。
在一种可能的实施方式中,在检测高精地图资料的精度时,可以分区域进行检测,故可以先确定待检测区域,然后从采集车采集的高精地图资料中获取待检测区域的点云数据和图像数据。
在一种可能的实施方式中,可以使用图像目标检测算法或图像识别算法从待检测区域的图像数据的各帧图像中识别目标类型的地图要素的图像,然后采用图像特征点提取算法从目标类型的地图要素的图像中提取所述目标类型的地图要素的图像二维特征点。该目标类型的地图要素可以是高精地图中常见的地图要素,比如说该目标类型的地图要素可以是车道线、道路指示标识、交通指示牌等各种类型的地图要素。该图像二维特征点指的是目标类型的地图要素的图像中的明显点,可以表明定地图要素的图像形状等各种特征的点。
在一种可能的实施方式中,可以使用点云目标识别算法或点云目标检测算法从待检测区域的点云数据中识别目标类型的地图要素的点云数据,然后采用点云特征点提取算法从目标类型的地图要素的点云数据中提取所述目标类型的地图要素的点云三维特征点。该点云三维特征点指的是目标类型的地图要素的点云数据中的明显点,可以表明该目标类型的地图要素形状等各种特征的点。
在一种可能的实施方式中,提取的图像二维特征点是位于图像坐标系(二维坐标系)下点坐标,提取的点云三维特征点是位于世界坐标系下或激光雷达坐标下的三维坐标点,若对这两种特征点进行匹配,就需要点图投影,将点云三维特征点和图像而且特征点置于同一坐标系下进行匹配。该图像坐标系指的是以相机光轴与成像平面的交点为原点的二维坐标系,该世界坐标系指的是以真实世界中的固定点比如说本初子午线上的某点为原点建立的真实世界中的三维坐标系,该激光雷达坐标系是以激光雷达为原点建立的三维坐标系。
在一种可能的实施方式中,该点云采集设备可以为激光雷达,该激光雷达的标定参数包括激光雷达的内参(如激光雷达的光电特性、扫描角度和分辨率等)和外参(如激光雷达相对采集车的位置和朝向等),该激光雷达的内参主要用于激光雷达坐标系与激光发射器坐标之间的转换,该激光雷达坐标系是以激光雷达为原点建立的三维坐标系,该激光发射器坐标系是以激光发射器为原点建立的三维坐标系。该图像采集设备为相机,该相机的标定参数就是相机的内参(如相机的焦距、像素间距等参数)和外参(如相机相对采集车的位置和朝向),该相机的内参主要用于相机坐标系与图像坐标系之间的转换,该相机的外参主要用于相机坐标系与世界坐标系之间的转换。
在一种可能的实施方式中,可以使用点云采集设备的标定参数以及图像采集设备的标定参数来进行坐标转换,将所述目标类型的地图要素的图像二维特征点和点云三维特征点转换至同一坐标系下。比如说,可以使用相机的内参和外参,将所述目标类型的地图要素的图像二维特征点至世界坐标系下,得到目标类型的地图要素的图像二维特征点在现实世界中的三维位置点即图像特征点;使用激光雷达的外参,将所述目标类型的地图要素的激光雷达坐标系下的点云三维特征点转换至世界坐标系下,得到目标类型的地图要素的点云三维特征点在现实世界中的三维位置点即点云特征点,如此可以得到世界坐标系下三维的图像特征点和点云特征点。
在一种可能的实施方式中,将所述目标类型的地图要素的图像二维特征点和点云三维特征点转换至同一坐标系的转换方案,除了上述使用点云采集设备的标定参数以及图像采集设备的标定参数来进行坐标转换外,还可以使用预先训练好的坐标转换模型来进行,比如说,该预先训练好的坐标转换模型用于从目标类型的地图要素在世界坐标系下的点云三维特征点转换为图像坐标系下的点云特征点,此时,可以使用该预先训练好的坐标转换模型将所述目标类型的地图要素在世界坐标系下的点云三维特征点转换至图像坐标系下的点云特征点(此时的点云特征点为点云二维特征点),图像二维特征点是图像坐标系下的图像二维特征点,已获取不需要进行坐标转换,如此即可得到图像坐标系下二维的点云特征点和图像特征点,该预先训练好的坐标转换模型可以使用该点云采集设备采集的世界坐标系下的点云三维位置点和该图像采集设备采集的与其该点云三维位置点匹配图像位置点进行训练得到。
在一种可能的实施方式中,可以将同一坐标系下的图像特征点和点云特征点进行匹配,将同一位置点对应的图像特征点和点云特征点匹配在一起,得到匹配的图像特征点和点云特征点,可以计算匹配的图像特征点和点云特征点之间的匹配误差,比如说计算在预定坐标系下的匹配的图像特征点和点云特征点之间相差的距离,该预定坐标系下可以是图像坐标系、世界坐标系或激光雷达坐标系等等坐标系。
在一种可能的实施方式中,可以根据同一坐标系下匹配的图像特征点和点云特征点之间的匹配误差,确定所述高精地图资料的精度,如果大部分匹配的图像特征点和点云特征点之间的匹配误差较大,说明采集的图像数据和点云数据不准确,精度异常,如果大部分匹配的图像特征点和点云特征点之间的匹配误差较小,在误差允许范围内,则说明采集的图像数据和点云数据的精度正常,可以用来进行高精地图制作或更新。
这里需要说明的是,本实施方式中提取的是同一个目标类型的地图要素,比如说,目标类型为车道线时,可以提取图像数据中全部车道线的图像二维特征点和点云数据中全部车道线的点云三维特征点进行匹配和精度确定。在一些情况下,可能出现采集的图像数据中全部的车道线为车道线1、车道线2和车道线3,而采集的点云数据中全部的车道线为车道线1、车道线2、车道线3和车道线4,此时,只有车道线1、车道线2和车道线3对应的图像特征点和点云特征点可以匹配成功,车道线4对应的点云特征点没有匹配成功的图像特征点,此时可以使用匹配成功的车道线1、车道线2和车道线3的图像特征点和点云特征点之间的匹配误差来确定高精地图资料的精度。
本实施方式可以在获取待检测区域的点云数据和图像数据后,提取所述图像数据中目标类型的地图要素的图像二维特征点,以及提取所述点云数据中目标类型的地图要素的点云三维特征点;然后,可以根据图像采集设备的标定参数和点云采集设备的标定参数,将所述目标类型的地图要素的图像二维特征点和点云三维特征点转换至同一坐标系下进行匹配,得到同一坐标系下匹配的图像特征点和点云特征点;确定匹配的图像特征点和点云特征点之间的匹配误差,根据所述匹配的图像特征点和点云特征点之间的匹配误差,就可以确定所述高精地图资料的精度;如此,通过点云数据和图像数据之间匹配特征点的匹配误差来确定高精地图资料的精度,可以同时检测点云采集设备和图像采集设备采集地图资料时的测量精度,精度检测更全面,检测结果更有效。
在一种可能的实施方式中,所述提取所述图像数据中目标类型的地图要素的图像二维特征点,包括:
从所述图像数据中确定目标类型的地图要素的图像;
从所述目标类型的地图要素的图像中提取所述目标类型的地图要素的轮廓点;
所述提取所述点云数据中目标类型的地图要素的点云三维特征点,包括:
提取所述点云数据中目标类型的地图要素的轮廓点云。
在该实施方式中,可以使用图像目标检测算法或图像识别算法从待检测区域的图像数据的各帧图像中识别目标类型的地图要素的图像,也可以使用预先训练好的图像目标检测模型从图像数据中提取所述目标类型的地图要素的图像,该图像目标检测模型可以是深度神经网络学习模型,可以获取人工标注有目标类型的地图要素的样本图像,使用该样本图像来训练得到该深度神经网络学习模型,该深度神经网络学习模型的输入为图像,输出为该输入的图像中的目标类型的地图要素的图像;使用该图像目标检测模型进行目标图像提取,提取效果更稳定。
在该实施方式中,该图像二维特征点可以是该目标类型的地图要素的轮廓点,可以从所述目标类型的地图要素的图像中提取所述目标类型的地图要素的轮廓,组成该目标类型的地图要素轮廓的二维图像像素点即为轮廓点。可以采用四邻域法提取该目标类型的地图要素的轮廓点,即针对每个像素点,获取其前后左右的像素点,如果其前后左右的像素点中有一个像素点为背景区域(即除了该目标类型的地图要素的图像之外的区域)的像素点,则该像素点被标记为轮廓点。示例的,图2A示出一种采用四邻域法提取该目标类型的地图要素的轮廓点的示意图,如图2A所示,获取到目标类型的地图要素的图像后,可以将该目标类型的地图要素20的图像内的像素点的像素值设为1,背景区域21即除了该目标类型的地图要素的图像之外的区域的像素点的像素值设为0,轮廓点201的像素值为1,该轮廓点201的前后左右存在有一个像素值为0的像素点,如此可以得到轮廓点。
在该实施方式中,由于后续需要图像特征点与点云特征点匹配,故在图像提取的是目标类型的地图要素的轮廓点的情况下,从点云数据中提取的特征点也需要是目标类型的地图要素的轮廓点云,该轮廓点云指的是该目标类型的地图要素的轮廓处的点云数据,示例的,可以从点云数据中确定目标类型的地图要素的点云数据,然后从该目标类型的地图要素的点云数据中提取该目标类型的地图要素的轮廓处的点云数据。
本实施方式中提取的图像二维特征点和点云三维特征点是该目标类型的地图要素的轮廓处的特征点,如此提取的特征点数量合适,既可以保证后续匹配的特征点的数量,也可以最大程度地反应该目标类型的地图要素的特征。
在一种可能的实施方式中,从点云数据中确定目标类型的地图要素的点云数据,进而提取该目标类型的地图要素的轮廓处的点云数据,需要进行三维计算,提取方案复杂,而且直接从点云数据中提取可能不准确,故为了简化计算,提取更准确,所述提取所述点云数据中所述目标类型的地图要素的轮廓点云,包括:
将所述点云数据进行二维栅格化处理,得到点云图像;
从所述点云图像中确定所述目标类型的地图要素的点云图像;
从所述目标类型的地图要素的点云图像中提取所述目标类型的地图要素的点云图像轮廓点;
将所述目标类型的地图要素的点云图像轮廓点进行坐标转换,得到所述目标类型的地图要素的轮廓点云。
在该实施方式中,该二维栅格化处理指的是将点云数据投影到地平面上,然后用预定分辨率的栅格对投影点云进行空间划分,得到二维的点云图像。此时,可以记录世界坐标系下的三维点云坐标投影至二维点云图像的转换矩阵Tg_w,以便后续逆转换。
在该实施方式中,可以使用图像目标检测算法或图像识别算法从该点云图像中识别该目标类型的地图要素的点云图像,然后从所述目标类型的地图要素的图像中提取所述目标类型的地图要素的轮廓,组成该目标类型的地图要素轮廓的二维点云即为点云图像轮廓点。这里需要说明的是,也可以采用四邻域法提取该目标类型的地图要素的点云图像轮廓点。
在该实施方式中,提取的点云图像轮廓点是二维点云图像中的轮廓点,可以通过记录的转换矩阵Tg_w的逆矩阵Tg_w-1即Tw_g,将该点云图像轮廓点转换为世界坐标系下的轮廓点云即三维点云坐标。
本实施方式先将点云数据转化为二维的点云图像,从点云图像中提取目标类型的地图要素的点云图像轮廓点,然后再坐标转换成目标类型的地图要素的轮廓点云,与直接从点云数据中提取轮廓点云相比,提取结果更准确。
在一种可能的实施方式中,所述将所述目标类型的地图要素的图像二维特征点和所述点云三维特征点进行匹配,得到同一坐标系下匹配的图像特征点和点云特征点,包括:
根据图像采集设备的标定参数和点云采集设备的标定参数,将所述目标类型的地图要素的点云三维特征点转换至图像坐标系下的点云二维特征点;
将所述图像坐标系下的图像二维特征点与点云二维特征点进行匹配,得到匹配的图像二维特征点和点云二维特征点,所述图像特征点为所述图像二维特征点,所述点云特征点为所述点云二维特征点。
在该实施方式中,在该点云三维特征点为世界坐标系下的坐标点时,可以先根据该图像采集设备即相机的外参和点云采集设备即激光雷达的外参,确定相机和激光雷达的相对位置关系,根据该相对位置关系进行坐标转换,得到该目标类型的地图要素的点云三维特征点在相机坐标系下的三维位置点,然后根据该相机的内参,进行坐标转换,可以将该相机坐标系下的三维位置点转换为该图像坐标系下的二维位置点即点云二维特征点,这样就将该目标类型的地图要素的点云三维特征点转换至图像坐标系下的点云特征点。而目标类型的地图要素的图像二维特征点就是图像坐标系下的图像特征点,如此就得到图像坐标系下的图像特征点和点云特征点也即图像二维特征点和点云二维特征点。当然在该点云三维特征点为激光雷达坐标系下的坐标点时,可以先根据激光雷达的内参进行坐标转换,将该激光雷达坐标系下点云三维特征点转换为世界坐标系下的点云三维特征点,后续转换过程与上述一致。
示例的,假设对点云数据进行栅格化处理得到点云图像后,提取出目标类型的地图要素的点云图像轮廓点为Pgrid,此时,坐标转换得到的图像坐标系下的点云二维特征点Pimg的公式可以如下所示:
Pimg=Pgrid*Tw_g*Tcamera_lidar*Tinc;
其中,Tg_w为世界坐标系下的三维点云坐标投影至二维点云图像的转换矩阵Tg_w,Tcamera_lidar为根据相机的外参和激光雷达的外参计算得到的相机和激光雷达的相对位置关系,Tinc为相机的内参。
在该实施方式中,可以将图像坐标系下的图像二维特征点和点云二维特征点进行匹配,将同一位置点对应的图像二维特征点和点云二维特征点匹配在一起,得到匹配的图像二维特征点和点云二维特征点,比如说,可以获取图像坐标系下与所述点云二维特征点之间的距离最近且距离不超过预定值的图像二维特征点与该点云二维特征点匹配。
本实施方式在检测数据精度的过程中需要通过点云采集设备和图像采集设备的标定参数来进行转换至同一坐标下进行匹配,这就同时检测了点云采集设备和图像采集设备的标定精度,精度检测更全面,检测结果更有效。
在一种可能的实施方式中,所述将所述图像二维特征点与所述点云二维特征点进行匹配,得到匹配的图像二维特征点和点云二维特征点,包括:
在所述图像坐标系下,查找距离所述点云二维特征点最近的图像二维特征点;
计算所述点云二维特征点与距离所述点云二维特征点最近的图像特征点之间在世界坐标下的误差距离;
若所述误差距离小于等于预定距离阈值,则确定所述点云二维特征点与距离所述点云二维特征点最近的图像二维特征点匹配成功;否则,匹配失败。
在该实施方式中,在转换至同一图像坐标系下后,可以在同一个图像空间下查找距离所述点云二维特征点最近的图像二维特征点,距离该点云二维特征点最近的图像二维特征点最有可能是与该点云二维特征点匹配的图像二维特征点。
在该实施方式中,可以计算所述点云二维特征点与距离所述点云二维特征点最近的图像二维特征点之间在世界坐标下的误差距离,其计算步骤可以如下:
S1,计算同一图像坐标系下,所述点云二维特征点与距离所述点云二维特征点最近的图像特征点之间像素距离dimage;
S2,计算点云二维特征点的深度depth(即点云二维特征点在相机坐标系下与坐标原点(相机)的距离),如公式2所示:
其中,(x,y,z)为点云二维特征点在相机坐标系下的三维坐标值;
S3,已知相机像元的大小c,相机的焦距f,则根据相似三角形可以计算出(如图2B所示),现实世界中对应的两点的误差距离dworld,如公式3所示:
在该实施方式中,如果该误差距离小于等于预定距离阈值,说明点云二维特征点与图像二维特征点之间的误差较小,可以确定所述点云二维特征点与距离所述点云二维特征点最近的图像二维特征点匹配成功;如果该误差距离大于预定距离阈值,说明点云二维特征点与图像二维特征点之间的误差较大,可以确定所述点云二维特征点与距离所述点云二维特征点最近的图像二维特征点匹配失败。
在一种可能的实施方式中,所述确定所述匹配的图像特征点和点云特征点之间的匹配误差,包括:
将匹配的所述图像特征点和所述点云特征点之间在世界坐标下的误差距离确定为所述匹配的图像特征点和点云特征点之间的匹配误差。
在该实施方式中,可以将该匹配的所述图像特征点和所述点云特征点之间在世界坐标系下的误差距离即上述的dworld作为其匹配误差,如此得到的匹配误差更准确,可以更真实地反应图像和点云之间的差异。
在一种可能的实施方式中,所述根据所述匹配的图像特征点和点云特征点之间的匹配误差,确定所述高精地图资料的精度,包括:
针对所述图像数据中的一帧图像,计算所述图像中的图像特征点和与其匹配的点云特征点之间的匹配误差的误差平均值;
响应于所述图像中匹配成功的图像特征点的数量超过预设数量阈值,且所述图像对应的误差平均值大于预设误差阈值,确定所述图像的精度异常。
在该实施方式中,针对所述图像数据中的一帧图像,可以计算所述图像中的图像特征点和与其匹配的点云特征点之间的匹配误差的平均值作为该帧图像对应的误差平均值e,计算公式如下公式所示:
其中,n表示该帧图像有n个图像特征点匹配成功,dworldi表示第i个图像特征点和与其匹配的点云特征点之间的匹配误差。
在该实施方式中,若所述图像中匹配成功的图像特征点的数量超过预设数量阈值,且所述图像对应的误差平均值大于预设误差阈值,则说明该帧图像不能与点云正确匹配,该帧图像的精度异常;若所述图像中匹配成功的图像特征点的数量超过预设数量阈值,但所述图像对应的误差平均值小于等于预设误差阈值,则说明该帧图像可以与点云正确匹配,该帧图像的精度正常;若所述图像中匹配成功的图像特征点的数量未超过预设数量阈值,由于匹配点太少,判定精度的可信度太低,不能判断该图像的精度是否异常。这里需要说明的是,本实施方式是以一帧图像为单位进行精度检测的,在检测到一帧图像与点云数据匹配异常时,可以确定该帧图像的精度异常,这同时也表明该帧图像对应的点云数据的精度也可能是异常的。
在一种可能的实施方式中,所述从所述点云图像中提取所述目标类型的地图要素的点云图像,包括:
使用预先训练好的要素提取模型,从所述点云图像中提取所述目标类型的地图要素的点云图像。
在该实施方式中,该要素提取模型可以是深度神经网络学习模型,该要素提取模型的输入为点云图像,输出为该点云图像中目标类型的地图要素的点云图像,将点云图像输入至该要素提取模型,执行该要素提取模型,可以得到该要素提取模型输出的该目标类型的地图要素的点云图像。
在该实施方式中,可以获取人工标注有目标类型的地图要素的样本点云图像,使用该样本点云图像来训练得到该要素提取模型,在训练过程中可以不断调整该要素提取模型的模型参数,直至该要素提取模型输出的样本图像中目标类型的地图要素的图像的正确率超过预定值,即可得到训练好的要素提取模型。
在一种可能的实施方式中,该目标类型的地图要素可以是车道线,该车道线属于鲁棒性好且明显的道路标识,使用车道线做目标类型的地图要素可以更准确地提取和匹配,精度计算效果更好。
本实施方式中使用该要素提取模型进行目标类型的地图要素的提取,提取效果更稳定。
图3示出根据本公开的实施例的高精地图资料的精度检测装置的结构框图。其中,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图3所示,所述高精地图资料的精度检测装置包括:
数据获取模块301,被配置为获取待检测区域的点云数据和图像数据;
特征提取模块302,被配置为提取所述图像数据中目标类型的地图要素的图像二维特征点,以及提取所述点云数据中所述目标类型的地图要素的点云三维特征点;
匹配模块303,被配置为将所述目标类型的地图要素的图像二维特征点和所述点云三维特征点进行匹配,得到同一坐标系下匹配的图像特征点和点云特征点;
误差确定模块304,被配置为确定所述匹配的图像特征点和点云特征点之间的匹配误差;
精度确定模块305,被配置为根据所述匹配的图像特征点和点云特征点之间的匹配误差,确定所述高精地图资料的精度。
在一种可能的实施方式中,所述特征提取模块中提取所述图像数据中所述目标类型的地图要素的图像二维特征点的部分可以被配置为:
从所述图像数据中确定目标类型的地图要素的图像;
从所述目标类型的地图要素的图像中提取所述目标类型的地图要素的轮廓点;
所述特征提取模块中提取所述点云数据中所述目标类型的地图要素的点云三维特征点的部分可以被被配置为:
提取所述点云数据中所述目标类型的地图要素的轮廓点云。
在一种可能的实施方式中,所述特征提取模块中提取所述点云数据中所述目标类型的地图要素的轮廓点云的部分可以被被配置为:
将所述点云数据进行二维栅格化处理,得到点云图像;
从所述点云图像中确定所述目标类型的地图要素的点云图像;
从所述目标类型的地图要素的点云图像中提取所述目标类型的地图要素的点云图像轮廓点;
将所述目标类型的地图要素的点云图像轮廓点进行坐标转换,得到所述目标类型的地图要素的轮廓点云。
在一种可能的实施方式中,所述坐标转换模块被配置为:
根据图像采集设备的标定参数和点云采集设备的标定参数,将所述目标类型的地图要素的点云三维特征点转换至图像坐标系下的点云二维特征点;
将所述图像坐标系下的图像二维特征点与点云二维特征点进行匹配,得到匹配的图像二维特征点和点云二维特征点,所述图像特征点为所述图像二维特征点,所述点云特征点为所述点云二维特征点。
在一种可能的实施方式中,所述匹配模块被配置为:
在所述图像坐标系下,查找距离所述点云二维特征点最近的图像二维特征点;
计算所述点云二维特征点与距离所述点云二维特征点最近的图像特征点之间在世界坐标下的误差距离;
若所述误差距离小于等于预定距离阈值,则确定所述点云二维特征点与距离所述点云二维特征点最近的图像二维特征点匹配成功;否则,匹配失败。
在一种可能的实施方式中,所述误差确定模块305被配置为:
将匹配的所述图像特征点和所述点云特征点之间在世界坐标下的误差距离确定为所述匹配的图像特征点和点云特征点之间的匹配误差。
在一种可能的实施方式中,所述精度确定模块被配置为:
针对所述图像数据中的一帧图像,计算所述图像中的图像特征点和与其匹配的点云特征点之间的匹配误差的误差平均值;
响应于所述图像中匹配成功的图像特征点的数量超过预设数量阈值,且所述图像对应的误差平均值大于预设误差阈值,确定所述图像精度异常。
在一种可能的实施方式中,所述特征提取模块中从所述点云图像中提取所述目标类型的地图要素的点云图像的部分被配置为:
使用预先训练好的要素提取模型,从所述点云图像中提取所述目标类型的地图要素的点云图像。
在一种可能的实施方式中,所述目标类型的地图要素为车道线。
本装置实施方式中提及的技术术语和技术特征相同或相似,对于本装置中涉及的技术术语和技术特征的解释和说明可参考上述方法实施方式的解释的说明,此处不再赘述。
本公开还公开了一种电子设备,图4示出根据本公开的实施例的电子设备的结构框图。
如图4所示,所述电子设备400包括存储器401和处理器402,其中,存储器401用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令被所述处理器402执行以实现根据本公开的实施例的方法。
图5示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
如图5所示,计算机系统500包括处理单元501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行上述实施例中的各种处理。在RAM 503中,还存储有计算机系统500操作所需的各种程序和数据。处理单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。其中,所述处理单元501可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地,根据本公开的实施例,上文描述的方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括计算机指令,该计算机指令被处理器执行时实现上文所述的方法步骤。在这样的实施例中,该计算机程序产品可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面,本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (11)
1.一种高精地图资料的精度检测方法,包括:
获取待检测区域的点云数据和图像数据;
提取所述图像数据中目标类型的地图要素的图像二维特征点,以及提取所述点云数据中所述目标类型的地图要素的点云三维特征点;
将所述目标类型的地图要素的图像二维特征点和所述点云三维特征点进行匹配,得到同一坐标系下匹配的图像特征点和点云特征点;
确定所述匹配的图像特征点和点云特征点之间的匹配误差;
根据所述匹配的图像特征点和点云特征点之间的匹配误差,确定所述高精地图资料的精度。
2.根据权利要求1所述的方法,其中,所述提取所述图像数据中目标类型的地图要素的图像二维特征点,包括:
从所述图像数据中确定目标类型的地图要素的图像;
从所述目标类型的地图要素的图像中提取所述目标类型的地图要素的轮廓点;
所述提取所述点云数据中所述目标类型的地图要素的点云三维特征点,包括:
提取所述点云数据中所述目标类型的地图要素的轮廓点云。
3.根据权利要求2所述的方法,其中,所述提取所述点云数据中所述目标类型的地图要素的轮廓点云,包括:
将所述点云数据进行二维栅格化处理,得到点云图像;
从所述点云图像中确定所述目标类型的地图要素的点云图像;
从所述目标类型的地图要素的点云图像中提取所述目标类型的地图要素的点云图像轮廓点;
将所述目标类型的地图要素的点云图像轮廓点进行坐标转换,得到所述目标类型的地图要素的轮廓点云。
4.根据权利要求1所述的方法,其中,所述将所述目标类型的地图要素的图像二维特征点和所述点云三维特征点进行匹配,得到同一坐标系下匹配的图像特征点和点云特征点,包括:
根据图像采集设备的标定参数和点云采集设备的标定参数,将所述目标类型的地图要素的点云三维特征点转换至图像坐标系下的点云二维特征点;
将所述图像坐标系下的图像二维特征点与所述点云二维特征点进行匹配,得到匹配的图像二维特征点和点云二维特征点,所述图像特征点为所述图像二维特征点,所述点云特征点为所述点云二维特征点。
5.根据权利要求4所述的方法,所述将所述图像二维特征点与所述点云二维特征点进行匹配,得到匹配的图像二维特征点和点云二维特征点,包括:
在所述图像坐标系下,查找距离所述点云二维特征点最近的图像二维特征点;
计算所述点云二维特征点与距离所述点云二维特征点最近的图像特征点之间在世界坐标下的误差距离;
若所述误差距离小于等于预定距离阈值,则确定所述点云二维特征点与距离所述点云二维特征点最近的图像二维特征点匹配成功;否则,匹配失败。
6.根据权利要求1所述的方法,其中,所述确定所述匹配的图像特征点和点云特征点之间的匹配误差,包括:
将匹配的所述图像特征点和所述点云特征点之间在世界坐标下的误差距离确定为所述匹配的图像特征点和点云特征点之间的匹配误差。
7.根据权利要求1所述的方法,其中,所述根据所述匹配的图像特征点和点云特征点之间的匹配误差,确定所述高精地图资料的精度,包括:
针对所述图像数据中的一帧图像,计算所述图像中的图像特征点和与其匹配的点云特征点之间的匹配误差的误差平均值;
响应于所述图像中匹配成功的图像特征点的数量超过预设数量阈值,且所述图像对应的误差平均值大于预设误差阈值,确定所述图像精度异常。
8.根据权利要求1至7任一项所述的方法,其中,所述目标类型的地图要素为车道线。
9.一种高精地图资料的精度检测装置,其中,
数据获取模块,被配置为获取待检测区域的点云数据和图像数据;
特征提取模块,被配置为提取所述图像数据中目标类型的地图要素的图像二维特征点,以及提取所述点云数据中所述目标类型的地图要素的点云三维特征点;
匹配模块,被配置为将所述目标类型的地图要素的图像二维特征点和所述点云三维特征点进行匹配,得到同一坐标系下匹配的图像特征点和点云特征点;
误差确定模块,被配置为确定所述匹配的图像特征点和点云特征点之间的匹配误差;
精度确定模块,被配置为根据所述匹配的图像特征点和点云特征点之间的匹配误差,确定所述高精地图资料的精度。
10.一种电子设备,包括存储器和处理器;其中,所述存储器用于存储一条或多条计算机指令,所述一条或多条计算机指令被所述处理器执行以实现权利要求1至8任一项所述的方法步骤。
11.一种计算机可读存储介质,其上存储有计算机指令,其中,该计算机指令被处理器执行时实现权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311359518.XA CN117593736A (zh) | 2023-10-19 | 2023-10-19 | 高精地图资料的精度检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311359518.XA CN117593736A (zh) | 2023-10-19 | 2023-10-19 | 高精地图资料的精度检测方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117593736A true CN117593736A (zh) | 2024-02-23 |
Family
ID=89914089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311359518.XA Pending CN117593736A (zh) | 2023-10-19 | 2023-10-19 | 高精地图资料的精度检测方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117593736A (zh) |
-
2023
- 2023-10-19 CN CN202311359518.XA patent/CN117593736A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11255973B2 (en) | Method and apparatus for extracting lane line and computer readable storage medium | |
CN111179358B (zh) | 标定方法、装置、设备及存储介质 | |
US10580164B2 (en) | Automatic camera calibration | |
CN105678689B (zh) | 高精地图数据配准关系确定方法及装置 | |
US8325979B2 (en) | Method and apparatus for detecting objects from terrestrial based mobile mapping data | |
US10909395B2 (en) | Object detection apparatus | |
CN111260615B (zh) | 基于激光和机器视觉融合的无人机桥梁表观病害检测方法 | |
CN110879994A (zh) | 基于形状注意力机制的三维目测检测方法、系统、装置 | |
CN112257605B (zh) | 基于自标注训练样本的三维目标检测方法、系统及装置 | |
CN104574393A (zh) | 一种三维路面裂缝图像生成系统和方法 | |
CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
CN114692720B (zh) | 基于鸟瞰图的图像分类方法、装置、设备及存储介质 | |
WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
CN113255578B (zh) | 交通标识的识别方法及装置、电子设备和存储介质 | |
CN112634368A (zh) | 场景目标的空间与或图模型生成方法、装置及电子设备 | |
CN116245937A (zh) | 货物堆垛的堆高预测方法及装置、设备、存储介质 | |
CN114119682A (zh) | 一种激光点云和图像配准方法及配准系统 | |
CN113808103A (zh) | 基于图像处理的路面坑洼自动检测方法、设备和存储介质 | |
CN112837404B (zh) | 一种平面对象的三维信息的构建方法及装置 | |
CN116385994A (zh) | 一种三维道路线提取方法及相关设备 | |
CN117593736A (zh) | 高精地图资料的精度检测方法、装置、设备及介质 | |
CN114858134A (zh) | 基于目标位置信息的单目摄像头测距方法及可读存储介质 | |
CN114694107A (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
CN112767458B (zh) | 激光点云与图像的配准的方法及系统 | |
Rasyidy et al. | A Framework for Road Boundary Detection based on Camera-LIDAR Fusion in World Coordinate System and Its Performance Evaluation Using Carla Simulator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |