CN116597168B - 车载激光点云与全景影像的匹配方法、装置、设备及介质 - Google Patents
车载激光点云与全景影像的匹配方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116597168B CN116597168B CN202310878154.XA CN202310878154A CN116597168B CN 116597168 B CN116597168 B CN 116597168B CN 202310878154 A CN202310878154 A CN 202310878154A CN 116597168 B CN116597168 B CN 116597168B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- vehicle
- panoramic image
- cloud data
- mounted laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001914 filtration Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 abstract description 13
- 238000004364 calculation method Methods 0.000 abstract description 11
- 239000013598 vector Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种车载激光点云与全景影像的匹配方法、装置、设备及介质，涉及视觉定位技术领域，所述方法包括：获取第一车载激光点云数据，以及全景影像图；对第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据；将第二车载激光点云数据投影至全景影像图中，并将投影至全景影像图中的目标投影像素点滤除；确定第二车载激光点云数据中的第二点云点与全景影像图中的像素点的对应关系，完成第一车载激光点云数据与全景影像图的匹配。本发明可以降低将点云数据向全景影像进行投影的计算负担，而且得到的匹配结果可以较为真实地反映全景影像的像素与点云的对应关系，从而可以提高视觉定位的精度。
Description
技术领域
本发明涉及视觉定位技术领域，尤其涉及一种车载激光点云与全景影像的匹配方法、装置、设备及介质。
背景技术
集成有车载激光雷达与全景相机的移动采集平台是近年来发展迅速的一类测绘采集系统。车载激光雷达生成区域内的点云地图，全景相机获得一系列车辆轨迹点处拍摄得到的全景影像。将点云地图与全景影像两类数据进行信息匹配融合，可以得到点云高密度高精度的空间信息以及相机丰富的纹理和语义信息，实现两种传感器的优势互补。
现有的点云与全景影像的匹配方法通常是将点云映射到全景影像的像素坐标系，保留坐标系内点云点与像素点的对应关系，即完成了两者的匹配，得到的匹配结果可以应用于视觉定位导航等领域。
然而，在实际应用中，一方面，由于车载激光雷达产生的点云地图数据量较庞大，若直接将点云向全景影像进行投影会产生较大的计算负担；另一方面，全景相机拍摄得到的全景影像中有部分物体处于被遮挡的位置，而点云地图本质是离散的点，将其投影到全景影像上时，被遮挡的部分点云会错误的对应到描述遮挡物的一些像素点上，从而对后续的视觉定位产生干扰，影响定位精度。
发明内容
针对现有技术存在的问题，本发明提供一种车载激光点云与全景影像的匹配方法、装置、设备及介质。
第一方面，本发明提供一种车载激光点云与全景影像的匹配方法，包括：
获取第一车载激光点云数据，以及全景影像图；
对所述第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据；
将所述第二车载激光点云数据投影至所述全景影像图中，并将投影至所述全景影像图中的目标投影像素点滤除，所述目标投影像素点为所述第二车载激光点云数据中包括的第一点云点在所述全景影像图中对应的投影像素点，所述第一点云点为被遮挡物体的点云点；
确定所述第二车载激光点云数据中的第二点云点与所述全景影像图中的像素点的对应关系，完成所述第一车载激光点云数据与所述全景影像图的匹配，所述第二点云点为所述第二车载激光点云数据中包括的除所述第一点云点之外的其余点云点。
可选地，根据本发明提供的一种车载激光点云与全景影像的匹配方法，所述将所述第二车载激光点云数据投影至所述全景影像图中，并将投影至所述全景影像图中的目标投影像素点滤除，包括：
将所述第二车载激光点云数据投影至所述全景影像图中，并对所述第二车载激光点云数据中包括的各点云点进行遍历，并将当前遍历到的点云点作为目标点云点；
确定所述目标点云点在所述全景影像图中对应的第一投影像素点，并将所述全景影像图中距离所述第一投影像素点小于第一阈值的像素点作为临近像素点；
将所述临近像素点转化为世界坐标系下的临近点云点，并确定所述目标点云点分别到相机中心点以及各所述临近点云点之间的夹角，所述相机中心点为采集所述全景影像图的相机的成像中心；
在确定所有所述夹角中的最小夹角小于第二阈值的情况下，确定所述目标点云点为所述第一点云点，并确定所述第一投影像素点为所述目标投影像素点；
将投影至所述全景影像图中的所述目标投影像素点滤除。
可选地，根据本发明提供的一种车载激光点云与全景影像的匹配方法，所述对所述第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据，包括：
利用降采样算法，将所述第一车载激光点云数据的点云密度降低至预设密度，获得所述第二车载激光点云数据。
可选地，根据本发明提供的一种车载激光点云与全景影像的匹配方法，所述将所述第二车载激光点云数据投影至所述全景影像图中之前，所述方法还包括：
利用噪点滤波算法，将所述第二车载激光点云数据中的点云离群点滤除，获得滤波之后的所述第二车载激光点云数据。
可选地，根据本发明提供的一种车载激光点云与全景影像的匹配方法，所述将所述第二车载激光点云数据投影至所述全景影像图中之前，所述方法还包括：
利用点云地面分割算法，分离出所述第二车载激光点云数据中的非地面点云数据，并将所述非地面点云数据作为所述第二车载激光点云数据。
可选地，根据本发明提供的一种车载激光点云与全景影像的匹配方法，所述将所述第二车载激光点云数据投影至所述全景影像图中，包括：
将所述第二车载激光点云数据转换至相机坐标系下的第三车载激光点云数据；
根据球心投影坐标公式，将所述第三车载激光点云数据转换至球面坐标系下的第四车载激光点云数据；
在所述全景影像图对应的像素坐标系下，对所述第四车载激光点云数据进行转换，获得所述第二车载激光点云数据中包括的各点云点在所述全景影像图中对应的投影像素点。
第二方面，本发明还提供一种车载激光点云与全景影像的匹配装置，包括：
获取模块，用于获取第一车载激光点云数据，以及全景影像图；
降采样模块，用于对所述第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据；
投影模块，用于将所述第二车载激光点云数据投影至所述全景影像图中，并将投影至所述全景影像图中的目标投影像素点滤除，所述目标投影像素点为所述第二车载激光点云数据中包括的第一点云点在所述全景影像图中对应的投影像素点，所述第一点云点为被遮挡物体的点云点；
确定模块，用于确定所述第二车载激光点云数据中的第二点云点与所述全景影像图中的像素点的对应关系，完成所述第一车载激光点云数据与所述全景影像图的匹配，所述第二点云点为所述第二车载激光点云数据中包括的除所述第一点云点之外的其余点云点。
可选地，根据本发明提供的一种车载激光点云与全景影像的匹配装置，所述投影模块具体用于：
将所述第二车载激光点云数据投影至所述全景影像图中，并对所述第二车载激光点云数据中包括的各点云点进行遍历，并将当前遍历到的点云点作为目标点云点；
确定所述目标点云点在所述全景影像图中对应的第一投影像素点，并将所述全景影像图中距离所述第一投影像素点小于第一阈值的像素点作为临近像素点；
将所述临近像素点转化为世界坐标系下的临近点云点，并确定所述目标点云点分别到相机中心点以及各所述临近点云点之间的夹角，所述相机中心点为采集所述全景影像图的相机的成像中心；
在确定所有所述夹角中的最小夹角小于第二阈值的情况下，确定所述目标点云点为所述第一点云点，并确定所述第一投影像素点为所述目标投影像素点；
将投影至所述全景影像图中的所述目标投影像素点滤除。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述车载激光点云与全景影像的匹配方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述车载激光点云与全景影像的匹配方法。
本发明提供的车载激光点云与全景影像的匹配方法、装置、设备及介质，通过对获取的第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据，进而将第二车载激光点云数据投影至全景影像图中，同时将投影至全景影像图中的目标投影像素点滤除，该目标投影像素点为第二车载激光点云数据中包括的第一点云点在全景影像图中对应的投影像素点，第一点云点为被遮挡物体的点云点，然后确定第二车载激光点云数据中的除第一点云点之外的其余点云点与全景影像图中的像素点的对应关系，完成第一车载激光点云数据与全景影像图的匹配；由于本发明对获取的第一车载激光点云数据进行了降采样处理，可以降低将点云数据向全景影像进行投影的计算负担，而且将投影至全景影像图中的被遮挡物体的点云点对应的投影像素点滤除，完成点云数据与全景影像的匹配，其得到的匹配结果可以较为真实地反映全景影像的像素与点云的对应关系，从而可以提高视觉定位的精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的车载激光点云与全景影像的匹配方法的流程示意图之一；
图2是本发明提供的全景影像去遮挡的原理示意图；
图3是本发明提供的车载激光点云与全景影像的匹配方法的流程示意图之二；
图4是本发明提供的车载激光点云与全景影像的匹配装置的结构示意图；
图5是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
下面结合附图对本发明提供的车载激光点云与全景影像的匹配方法、装置、设备及介质进行示例性的介绍。
图1是本发明提供的车载激光点云与全景影像的匹配方法的流程示意图之一，如图1所示，该方法包括：
步骤100，获取第一车载激光点云数据，以及全景影像图；
步骤110，对所述第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据；
步骤120，将所述第二车载激光点云数据投影至所述全景影像图中，并将投影至所述全景影像图中的目标投影像素点滤除，所述目标投影像素点为所述第二车载激光点云数据中包括的第一点云点在所述全景影像图中对应的投影像素点，所述第一点云点为被遮挡物体的点云点；
步骤130，确定所述第二车载激光点云数据中的第二点云点与所述全景影像图中的像素点的对应关系，完成所述第一车载激光点云数据与所述全景影像图的匹配，所述第二点云点为所述第二车载激光点云数据中包括的除所述第一点云点之外的其余点云点。
需要说明的是，本发明实施例提供的车载激光点云与全景影像的匹配方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性地，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、可穿戴设备、超级移动个人计算机（Ultra-mobile Personal Computer，UMPC）、上网本或者个人数字助理（Personal Digital Assistant，PDA）等，非移动电子设备可以为服务器、网络附属存储器（Network Attached Storage，NAS）、个人计算机（PersonalComputer，PC）、电视机（Television，TV）、柜员机或者自助机等，本发明实施例对此不作具体限定。
下面以计算机执行本发明提供的车载激光点云与全景影像的匹配方法为例，详细说明本发明实施例的技术方案。
具体地，为了克服现有技术直接将点云向全景影像进行投影会产生较大的计算负担，而且被遮挡的部分点云会错误的对应到描述遮挡物的一些像素点上，从而对后续的视觉定位产生干扰，影响定位精度的缺陷，本发明通过对获取的第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据，进而将第二车载激光点云数据投影至全景影像图中，同时将投影至全景影像图中的目标投影像素点滤除，该目标投影像素点为第二车载激光点云数据中包括的第一点云点在全景影像图中对应的投影像素点，第一点云点为被遮挡物体的点云点，然后确定第二车载激光点云数据中的除第一点云点之外的其余点云点与全景影像图中的像素点的对应关系，完成第一车载激光点云数据与全景影像图的匹配；由于本发明对获取的第一车载激光点云数据进行了降采样处理，可以降低将点云数据向全景影像进行投影的计算负担，而且将投影至全景影像图中的被遮挡物体的点云点对应的投影像素点滤除，完成点云数据与全景影像的匹配，其得到的匹配结果可以较为真实地反映全景影像的像素与点云的对应关系，从而可以提高视觉定位的精度。
可选地，可以使用集全景相机、惯性测量单元（Inertial Measurement Unit，IMU）、激光扫描仪和全球导航卫星系统（Global Navigation Satellite System，GNSS）于一体的移动采集车，实景采集原始数据，该原始数据包括车载激光点云数据和全景影像序列，还可以包括定位定姿系统（Position and Orientation System，POS）数据。
可选地，可以通过对采集到的车载激光点云数据和全景影像序列，以及定位定姿系统数据进行解算，得到包含有时间戳信息的世界坐标系下对应场景的第一车载激光点云数据、全景相机中心轨迹，以及每个轨迹点对应的全景影像图。
需要说明的是，车载激光雷达产生的车载激光点云数据量庞大，若直接将其向全景影像图进行投影会产生较大的计算负担，因此，在本发明实施例中，对第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据，再将第二车载激光点云数据投影至全景影像图中，可以降低投影产生的计算负担。
可选地，所述对所述第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据，包括：
利用降采样算法，将所述第一车载激光点云数据的点云密度降低至预设密度，获得所述第二车载激光点云数据。
具体地，在本发明实施例中，可以利用降采样算法，将第一车载激光点云数据的点云密度降低至预设密度，获得第二车载激光点云数据，其中，预设密度可以基于实际应用进行适应性设置，本发明实施例对此不作具体限定。
需要说明的是，可以利用任意一种能够对点云数据进行降采样的算法，例如利用最邻近体素滤波算法，将第一车载激光点云数据的点云密度降低至预设密度，获得第二车载激光点云数据。
可以理解的是，本发明实施例通过降低车载激光点云数据的密度，进而降低将车载激光点云数据向全景影像图进行投影产生的计算负担。
可选地，所述将所述第二车载激光点云数据投影至所述全景影像图中之前，所述方法还包括：
利用噪点滤波算法，将所述第二车载激光点云数据中的点云离群点滤除，获得滤波之后的所述第二车载激光点云数据。
具体地，在本发明实施例中，在将第二车载激光点云数据投影至全景影像图中之前，可以先利用噪点滤波算法，将第二车载激光点云数据中的点云离群点滤除，获得滤波之后的第二车载激光点云数据。
可选地，可以利用任意一种能够滤除车载激光点云数据中的噪声点的算法，例如利用统计滤波算法将第二车载激光点云数据中的点云离群点滤除，获得滤波之后的第二车载激光点云数据。
需要说明的是，离群点是指一个时间序列或者样本点中，远离样本的一般水平的极端大值和极端小值，还有与其他样本点的一般行为或特征不一致的点。在本发明实施例中，离群点即可以理解为是噪声点。
需要说明的是，原始点云数据中包含大量的噪声点，其对于后续的定位不能提供有价值的信息，因此，本发明实施例通过利用噪点滤波算法，将第二车载激光点云数据中的点云离群点滤除，可以进一步降低车载激光点云数据的密度，进而可以进一步降低将车载激光点云数据向全景影像图进行投影产生的计算负担。
可选地，所述将所述第二车载激光点云数据投影至所述全景影像图中之前，所述方法还包括：
利用点云地面分割算法，分离出所述第二车载激光点云数据中的非地面点云数据，并将所述非地面点云数据作为所述第二车载激光点云数据。
具体地，在本发明实施例中，在将第二车载激光点云数据投影至全景影像图中之前，还可以利用点云地面分割算法，分离出第二车载激光点云数据中的非地面点云数据，并将分离出的非地面点云数据作为第二车载激光点云数据。
可选地，可以利用任意一种能够将车载激光点云数据中的地面点云数据和非地面点云数据分离开的点云地面分割算法，例如利用“布料”滤波算法(Cloth SimulationFilter，CSF)，分离出第二车载激光点云数据中的非地面点云数据，并将分离出的非地面点云数据作为第二车载激光点云数据。
需要说明的是，原始点云数据中包含有大量的地面点云，其对于后续的定位不能提供有价值的信息，因此，本发明实施例通过利用点云地面分割算法，分离出第二车载激光点云数据中的非地面点云数据，并将分离出的非地面点云数据作为第二车载激光点云数据，而将分离出的地面点云数据剔除，可以进一步降低车载激光点云数据的密度，进而可以进一步降低将车载激光点云数据向全景影像图进行投影产生的计算负担。
需要说明的是，直接获取到的原始点云数据中包含整个扫描实景的点云数据信息，数据量大，噪点等无用信息较多。因此，本发明实施例为了提高车载激光点云数据向全景影像图投影的效率和精度，首先对原始点云数据进行预处理，包括：首先读取原始点云场景数据，利用降采样算法，将原始点云场景数据的密度降至预设密度；其次利用噪点滤波算法，去除点点云场景数据中的离群点等无意义点；然后利用地面分割算法，分离出非地面点云数据；进而读取相机轨迹数据，基于区域分割算法（例如直通滤波），设定合适的向全景影像投影的场景范围，分割出每一个轨迹点大致对应的点云信息；最后保存点云数据，生成每一帧全景影像图对应的点云文件。
需要说明的是，由于点云信息是从整体真实场景中分割而来，可能存在相机拍摄视角中被遮挡的物体的点云信息投影至全景影像图中的情况，这部分投影点不符合物理现实，应予以滤除，因此在本发明实施例中，在将第二车载激光点云数据投影至全景影像图的过程中，同时将投影至全景影像图中的目标投影像素点滤除，该目标投影像素点为第二车载激光点云数据中包括的第一点云点在全景影像图中对应的投影像素点，第一点云点为被遮挡物体的点云点。
可选地，在完成第二车载激光点云数据向全景影像图投影之后，即可确定第二车载激光点云数据中的第二点云点与全景影像图中的像素点的对应关系，完成第一车载激光点云数据与全景影像图的匹配，其中第二点云点为第二车载激光点云数据中包括的除第一点云点之外的其余点云点。
本发明提供的车载激光点云与全景影像的匹配方法，通过对获取的第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据，进而将第二车载激光点云数据投影至全景影像图中，同时将投影至全景影像图中的目标投影像素点滤除，该目标投影像素点为第二车载激光点云数据中包括的第一点云点在全景影像图中对应的投影像素点，第一点云点为被遮挡物体的点云点，然后确定第二车载激光点云数据中的除第一点云点之外的其余点云点与全景影像图中的像素点的对应关系，完成第一车载激光点云数据与全景影像图的匹配；由于本发明对获取的第一车载激光点云数据进行了降采样处理，可以降低将点云数据向全景影像进行投影的计算负担，而且将投影至全景影像图中的被遮挡物体的点云点对应的投影像素点滤除，完成点云数据与全景影像的匹配，其得到的匹配结果可以较为真实地反映全景影像的像素与点云的对应关系，从而可以提高视觉定位的精度。
可选地，所述将所述第二车载激光点云数据投影至所述全景影像图中，包括：
将所述第二车载激光点云数据转换至相机坐标系下的第三车载激光点云数据；
根据球心投影坐标公式，将所述第三车载激光点云数据转换至球面坐标系下的第四车载激光点云数据；
在所述全景影像图对应的像素坐标系下，对所述第四车载激光点云数据进行转换，获得所述第二车载激光点云数据中包括的各点云点在所述全景影像图中对应的投影像素点。
具体地，在本发明实施例中，为了实现将第二车载激光点云数据投影至全景影像图中，可以首先将第二车载激光点云数据转换至相机坐标系下的第三车载激光点云数据，然后根据球心投影坐标公式，将第三车载激光点云数据转换至球面坐标系下的第四车载激光点云数据，进而在全景影像图对应的像素坐标系下，对第四车载激光点云数据进行转换，获得第二车载激光点云数据中包括的各点云点在全景影像图中对应的投影像素点，即可完成第二车载激光点云数据向全景影像图的投影。
可选地，可以首先将第二车载激光点云数据中各点云点的坐标统一至以相机中心为原点的相机坐标系下，点云在世界坐标系与相机坐标系之间的旋转平移关系如公式（1）所示：
（1）
其中，是点云在世界坐标系的坐标，/>是点云在相机坐标系下的坐标，矩阵/>、/>分别是世界坐标系相对相机坐标系的旋转矩阵和平移矩阵，其为固有参数可通过标定获得。
然后根据球心投影公式，将点云从相机坐标系转换至球面坐标系，如公式（2）和公式（3）所示：
（2）
（3）
其中，是点云在球面坐标系下的坐标，可以理解为球面上的经纬度。
进而将点云从球面坐标系转换至全景影像图对应的像素坐标系，如公式（4）所示：
（4）
其中，是点云在像素坐标系下的坐标，/>是全景影像图对应的球面半径，/>是全景影像图的像素宽度。通过上述公式（1）-（4），可以将每一帧场景中的点云信息投影至全景影像图上的对应位置。
可选地，所述将所述第二车载激光点云数据投影至所述全景影像图中，并将投影至所述全景影像图中的目标投影像素点滤除，包括：
将所述第二车载激光点云数据投影至所述全景影像图中，并对所述第二车载激光点云数据中包括的各点云点进行遍历，并将当前遍历到的点云点作为目标点云点；
确定所述目标点云点在所述全景影像图中对应的第一投影像素点，并将所述全景影像图中距离所述第一投影像素点小于第一阈值的像素点作为临近像素点；
将所述临近像素点转化为世界坐标系下的临近点云点，并确定所述目标点云点分别到相机中心点以及各所述临近点云点之间的夹角，所述相机中心点为采集所述全景影像图的相机的成像中心；
在确定所有所述夹角中的最小夹角小于第二阈值的情况下，确定所述目标点云点为所述第一点云点，并确定所述第一投影像素点为所述目标投影像素点；
将投影至所述全景影像图中的所述目标投影像素点滤除。
具体地，在本发明实施例中，为了实现将第二车载激光点云数据投影至全景影像图中的同时，将投影至全景影像图中的目标投影像素点滤除，可以首先将第二车载激光点云数据投影至全景影像图中，同时对第二车载激光点云数据中包括的各点云点进行遍历，并将当前遍历到的点云点作为目标点云点，然后确定目标点云点在全景影像图中对应的第一投影像素点，并将全景影像图中距离第一投影像素点小于第一阈值的像素点作为临近像素点，进而将临近像素点转化为世界坐标系下的临近点云点，并确定目标点云点分别到相机中心点以及各临近点云点之间的夹角，在确定所有夹角中的最小夹角小于第二阈值的情况下，确定目标点云点为第一点云点，并确定第一投影像素点为目标投影像素点，并将投影至全景影像图中的目标投影像素点滤除。
需要说明的是，在本发明实施例中，相机中心点为采集全景影像图的相机的成像中心。
可选地，在本发明实施例中，可以在投影过程中，遍历第二车载激光点云数据中包括的各点云点，若确定全景影像图中的某一像素点对应多个点云点，则仅保留距离相机中心点最近的点云点。
可选地，在本发明实施例中，可以基于向量夹角滤除被遮挡点，判断一待处理点云点是否为被遮挡点，首先构建相机中心点相对该点云点的向量，如公式（5）所示：
（5）
其中，是待处理点云点在世界坐标系下的坐标，/>是相机中心点的世界坐标，/>、/>和/>分别是待处理点云点到相机中心点的向量在坐标轴三个方向上的归一化分量，/>是待处理点云点到相机中心点的向量的模。
然后根据此点（待处理点云点）对应的像素坐标，设定半径阈值，寻找阈值范围内所有像素作为临近像素。对这些临近像素，查询其对应的点云点的世界坐标，计算该点相对待处理点云点的向量，如公式（6）所示：
（6）
其中，是临近像素对应的点云点在世界坐标系下的坐标，/>、和/>分别是待处理点云点到临近像素对应的点云点的向量在坐标轴三个方向上的归一化分量，/>是待处理点云点到临近像素对应的点云点的向量的模。
最后计算两向量（待处理点云点到相机中心点的向量，以及待处理点云点到临近像素对应的点云点的向量）的夹角，如公式（7）所示：
（7）
其中，是待处理点云点分别到相机中心点和临近像素对应的点云点之间的夹角。
例如，图2是本发明提供的全景影像去遮挡的原理示意图，如图2所示，待处理点云点到相机中心点/>的向量，与待处理点云点到其中一个临近像素对应的点云点/>的向量，形成一个夹角，其中，/>表示待处理点云点/>在球面坐标系下的坐标。
可以确定待处理点云点与半径阈值内的临近像素对应的点云点产生的最小夹角，设定夹角筛选阈值/>，若该最小夹角小于/>，则判断该待处理点云点为不可见点，作为被遮挡点滤除，不在全景影像投影上体现。
对于完成遮挡判断的所有点云点，保留产生的非遮挡点云点与全景影像图中的像素点的对应关系，以数据库文件的形式输出一系列像素点与点云点的对应关系，即全景影像图中的部分像素点与其对应的点云点在世界坐标系下的空间位置，从而完成车载激光点云数据与全景影像图的匹配。
图3是本发明提供的车载激光点云与全景影像的匹配方法的流程示意图之二，如图3所示，该方法包括：
步骤300，获取车载激光点云与全景影像图；
步骤310，对车载激光点云进行单帧场景分割，并进行预处理操作，例如进行降采样、噪点滤波及非地面点云分割等；
步骤320，将车载激光点云投影至全景影像图；
步骤330，点云映射去遮挡，即将投影至全景影像图中的被遮挡点云滤除；
步骤340，点云与影像坐标匹配，即确定车载激光点云中的各点云点与全景影像图中的各像素点的对应关系，完成车载激光点云与全景影像图的匹配。
具体地，在本发明实施例中，可以首先利用搭载有激光雷达与全景相机的移动采集车获取场景的点云地图、行车轨迹以及每个轨迹点对应的全景影像数据，然后对点云地图进行点云单帧场景分割与预处理，获得每个轨迹点对应的点云场景，此过程去除了原始点云中的地面点云以及噪声点等对于定位无价值的点云数据，且生成了每张全景影像对应的点云场景，提高了点云影像匹配的效率；进一步通过球心投影完成点云向全景影像的映射，基于点云映射去遮挡算法去除被遮挡的无效投影点云，完成点云与影像的匹配，该匹配结果可以较为真实地反映基于视觉图像的像素与点云的对应关系。基于匹配结果，可以实现选取全景影像中主要的目标像素点，查询到对应点云点在世界坐标系下的空间位置坐标，从而为视觉定位提供坚实的数据基础。
本发明提供的车载激光点云与全景影像的匹配方法，通过对获取的第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据，进而将第二车载激光点云数据投影至全景影像图中，同时将投影至全景影像图中的目标投影像素点滤除，该目标投影像素点为第二车载激光点云数据中包括的第一点云点在全景影像图中对应的投影像素点，第一点云点为被遮挡物体的点云点，然后确定第二车载激光点云数据中的除第一点云点之外的其余点云点与全景影像图中的像素点的对应关系，完成第一车载激光点云数据与全景影像图的匹配；由于本发明对获取的第一车载激光点云数据进行了降采样处理，可以降低将点云数据向全景影像进行投影的计算负担，而且将投影至全景影像图中的被遮挡物体的点云点对应的投影像素点滤除，完成点云数据与全景影像的匹配，其得到的匹配结果可以较为真实地反映全景影像的像素与点云的对应关系，从而可以提高视觉定位的精度。
下面对本发明提供的车载激光点云与全景影像的匹配装置进行描述，下文描述的车载激光点云与全景影像的匹配装置与上文描述的车载激光点云与全景影像的匹配方法可相互对应参照。
图4是本发明提供的车载激光点云与全景影像的匹配装置的结构示意图，如图4所示，该装置包括：获取模块410、降采样模块420、投影模块430和确定模块440；其中：
获取模块410用于获取第一车载激光点云数据，以及全景影像图；
降采样模块420用于对所述第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据；
投影模块430用于将所述第二车载激光点云数据投影至所述全景影像图中，并将投影至所述全景影像图中的目标投影像素点滤除，所述目标投影像素点为所述第二车载激光点云数据中包括的第一点云点在所述全景影像图中对应的投影像素点，所述第一点云点为被遮挡物体的点云点；
确定模块440用于确定所述第二车载激光点云数据中的第二点云点与所述全景影像图中的像素点的对应关系，完成所述第一车载激光点云数据与所述全景影像图的匹配，所述第二点云点为所述第二车载激光点云数据中包括的除所述第一点云点之外的其余点云点。
本发明提供的车载激光点云与全景影像的匹配装置，通过对获取的第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据，进而将第二车载激光点云数据投影至全景影像图中，同时将投影至全景影像图中的目标投影像素点滤除，该目标投影像素点为第二车载激光点云数据中包括的第一点云点在全景影像图中对应的投影像素点，第一点云点为被遮挡物体的点云点，然后确定第二车载激光点云数据中的除第一点云点之外的其余点云点与全景影像图中的像素点的对应关系，完成第一车载激光点云数据与全景影像图的匹配；由于本发明对获取的第一车载激光点云数据进行了降采样处理，可以降低将点云数据向全景影像进行投影的计算负担，而且将投影至全景影像图中的被遮挡物体的点云点对应的投影像素点滤除，完成点云数据与全景影像的匹配，其得到的匹配结果可以较为真实地反映全景影像的像素与点云的对应关系，从而可以提高视觉定位的精度。
可选地，所述投影模块430具体用于：
将所述第二车载激光点云数据投影至所述全景影像图中，并对所述第二车载激光点云数据中包括的各点云点进行遍历，并将当前遍历到的点云点作为目标点云点；
确定所述目标点云点在所述全景影像图中对应的第一投影像素点，并将所述全景影像图中距离所述第一投影像素点小于第一阈值的像素点作为临近像素点；
将所述临近像素点转化为世界坐标系下的临近点云点，并确定所述目标点云点分别到相机中心点以及各所述临近点云点之间的夹角，所述相机中心点为采集所述全景影像图的相机的成像中心；
在确定所有所述夹角中的最小夹角小于第二阈值的情况下，确定所述目标点云点为所述第一点云点，并确定所述第一投影像素点为所述目标投影像素点；
将投影至所述全景影像图中的所述目标投影像素点滤除。
可选地，所述降采样模块420具体用于：
利用降采样算法，将所述第一车载激光点云数据的点云密度降低至预设密度，获得所述第二车载激光点云数据。
可选地，所述装置还包括噪点滤波模块，所述噪点滤波模块用于：
利用噪点滤波算法，将所述第二车载激光点云数据中的点云离群点滤除，获得滤波之后的所述第二车载激光点云数据。
可选地，所述装置还包括点云分割模块，所述点云分割模块用于：
利用点云地面分割算法，分离出所述第二车载激光点云数据中的非地面点云数据，并将所述非地面点云数据作为所述第二车载激光点云数据。
可选地，所述投影模块430还具体用于：
将所述第二车载激光点云数据转换至相机坐标系下的第三车载激光点云数据；
根据球心投影坐标公式，将所述第三车载激光点云数据转换至球面坐标系下的第四车载激光点云数据；
在所述全景影像图对应的像素坐标系下，对所述第四车载激光点云数据进行转换，获得所述第二车载激光点云数据中包括的各点云点在所述全景影像图中对应的投影像素点。
在此需要说明的是，本发明实施例提供的上述车载激光点云与全景影像的匹配装置，能够实现上述车载激光点云与全景影像的匹配方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图5是本发明提供的电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行上述各方法所提供的车载激光点云与全景影像的匹配方法，该方法包括：
获取第一车载激光点云数据，以及全景影像图；
对所述第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据；
将所述第二车载激光点云数据投影至所述全景影像图中，并将投影至所述全景影像图中的目标投影像素点滤除，所述目标投影像素点为所述第二车载激光点云数据中包括的第一点云点在所述全景影像图中对应的投影像素点，所述第一点云点为被遮挡物体的点云点；
确定所述第二车载激光点云数据中的第二点云点与所述全景影像图中的像素点的对应关系，完成所述第一车载激光点云数据与所述全景影像图的匹配，所述第二点云点为所述第二车载激光点云数据中包括的除所述第一点云点之外的其余点云点。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的车载激光点云与全景影像的匹配方法，该方法包括：
获取第一车载激光点云数据，以及全景影像图；
对所述第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据；
将所述第二车载激光点云数据投影至所述全景影像图中，并将投影至所述全景影像图中的目标投影像素点滤除，所述目标投影像素点为所述第二车载激光点云数据中包括的第一点云点在所述全景影像图中对应的投影像素点，所述第一点云点为被遮挡物体的点云点；
确定所述第二车载激光点云数据中的第二点云点与所述全景影像图中的像素点的对应关系，完成所述第一车载激光点云数据与所述全景影像图的匹配，所述第二点云点为所述第二车载激光点云数据中包括的除所述第一点云点之外的其余点云点。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的车载激光点云与全景影像的匹配方法，该方法包括：
获取第一车载激光点云数据，以及全景影像图；
对所述第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据；
将所述第二车载激光点云数据投影至所述全景影像图中，并将投影至所述全景影像图中的目标投影像素点滤除，所述目标投影像素点为所述第二车载激光点云数据中包括的第一点云点在所述全景影像图中对应的投影像素点，所述第一点云点为被遮挡物体的点云点；
确定所述第二车载激光点云数据中的第二点云点与所述全景影像图中的像素点的对应关系，完成所述第一车载激光点云数据与所述全景影像图的匹配，所述第二点云点为所述第二车载激光点云数据中包括的除所述第一点云点之外的其余点云点。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种车载激光点云与全景影像的匹配方法，其特征在于，包括：
获取第一车载激光点云数据，以及全景影像图；
对所述第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据；
将所述第二车载激光点云数据投影至所述全景影像图中，并将投影至所述全景影像图中的目标投影像素点滤除，所述目标投影像素点为所述第二车载激光点云数据中包括的第一点云点在所述全景影像图中对应的投影像素点，所述第一点云点为被遮挡物体的点云点；
确定所述第二车载激光点云数据中的第二点云点与所述全景影像图中的像素点的对应关系，完成所述第一车载激光点云数据与所述全景影像图的匹配，所述第二点云点为所述第二车载激光点云数据中包括的除所述第一点云点之外的其余点云点；
所述将所述第二车载激光点云数据投影至所述全景影像图中，并将投影至所述全景影像图中的目标投影像素点滤除，包括：
将所述第二车载激光点云数据投影至所述全景影像图中，并对所述第二车载激光点云数据中包括的各点云点进行遍历，并将当前遍历到的点云点作为目标点云点；
确定所述目标点云点在所述全景影像图中对应的第一投影像素点，并将所述全景影像图中距离所述第一投影像素点小于第一阈值的像素点作为临近像素点；
将所述临近像素点转化为世界坐标系下的临近点云点，并确定所述目标点云点分别到相机中心点以及各所述临近点云点之间的夹角，所述相机中心点为采集所述全景影像图的相机的成像中心；
在确定所有所述夹角中的最小夹角小于第二阈值的情况下，确定所述目标点云点为所述第一点云点，并确定所述第一投影像素点为所述目标投影像素点；
将投影至所述全景影像图中的所述目标投影像素点滤除。
2.根据权利要求1所述的车载激光点云与全景影像的匹配方法，其特征在于，所述对所述第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据，包括：
利用降采样算法，将所述第一车载激光点云数据的点云密度降低至预设密度，获得所述第二车载激光点云数据。
3.根据权利要求1所述的车载激光点云与全景影像的匹配方法，其特征在于，所述将所述第二车载激光点云数据投影至所述全景影像图中之前，所述方法还包括：
利用噪点滤波算法，将所述第二车载激光点云数据中的点云离群点滤除，获得滤波之后的所述第二车载激光点云数据。
4.根据权利要求1所述的车载激光点云与全景影像的匹配方法，其特征在于，所述将所述第二车载激光点云数据投影至所述全景影像图中之前，所述方法还包括：
利用点云地面分割算法，分离出所述第二车载激光点云数据中的非地面点云数据，并将所述非地面点云数据作为所述第二车载激光点云数据。
5.根据权利要求1-4任一项所述的车载激光点云与全景影像的匹配方法，其特征在于，所述将所述第二车载激光点云数据投影至所述全景影像图中，包括：
将所述第二车载激光点云数据转换至相机坐标系下的第三车载激光点云数据；
根据球心投影坐标公式，将所述第三车载激光点云数据转换至球面坐标系下的第四车载激光点云数据；
在所述全景影像图对应的像素坐标系下，对所述第四车载激光点云数据进行转换，获得所述第二车载激光点云数据中包括的各点云点在所述全景影像图中对应的投影像素点。
6.一种车载激光点云与全景影像的匹配装置，其特征在于，包括：
获取模块，用于获取第一车载激光点云数据，以及全景影像图；
降采样模块，用于对所述第一车载激光点云数据进行降采样处理，获得第二车载激光点云数据；
投影模块，用于将所述第二车载激光点云数据投影至所述全景影像图中，并将投影至所述全景影像图中的目标投影像素点滤除，所述目标投影像素点为所述第二车载激光点云数据中包括的第一点云点在所述全景影像图中对应的投影像素点，所述第一点云点为被遮挡物体的点云点；
确定模块，用于确定所述第二车载激光点云数据中的第二点云点与所述全景影像图中的像素点的对应关系，完成所述第一车载激光点云数据与所述全景影像图的匹配，所述第二点云点为所述第二车载激光点云数据中包括的除所述第一点云点之外的其余点云点；
所述投影模块具体用于：
将所述第二车载激光点云数据投影至所述全景影像图中，并对所述第二车载激光点云数据中包括的各点云点进行遍历，并将当前遍历到的点云点作为目标点云点；
确定所述目标点云点在所述全景影像图中对应的第一投影像素点，并将所述全景影像图中距离所述第一投影像素点小于第一阈值的像素点作为临近像素点；
将所述临近像素点转化为世界坐标系下的临近点云点，并确定所述目标点云点分别到相机中心点以及各所述临近点云点之间的夹角，所述相机中心点为采集所述全景影像图的相机的成像中心；
在确定所有所述夹角中的最小夹角小于第二阈值的情况下，确定所述目标点云点为所述第一点云点，并确定所述第一投影像素点为所述目标投影像素点；
将投影至所述全景影像图中的所述目标投影像素点滤除。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述车载激光点云与全景影像的匹配方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述车载激光点云与全景影像的匹配方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310878154.XA CN116597168B (zh) | 2023-07-18 | 2023-07-18 | 车载激光点云与全景影像的匹配方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310878154.XA CN116597168B (zh) | 2023-07-18 | 2023-07-18 | 车载激光点云与全景影像的匹配方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116597168A CN116597168A (zh) | 2023-08-15 |
| CN116597168B true CN116597168B (zh) | 2023-11-17 |
Family
ID=87590353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310878154.XA Active CN116597168B (zh) | 2023-07-18 | 2023-07-18 | 车载激光点云与全景影像的匹配方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597168B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194983A (zh) * | 2017-05-16 | 2017-09-22 | 华中科技大学 | 一种基于点云与影像数据的三维可视化方法和系统 |
| CN112465732A (zh) * | 2020-11-27 | 2021-03-09 | 武汉大学 | 一种车载激光点云与序列全景影像的配准方法 |
| CN113240755A (zh) * | 2021-07-12 | 2021-08-10 | 中国海洋大学 | 基于街景图像与车载激光融合的城市场景构图方法及系统 |
| CN115329111A (zh) * | 2022-10-11 | 2022-11-11 | 齐鲁空天信息研究院 | 一种基于点云与影像匹配的影像特征库构建方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11885886B2 (en) * | 2020-10-23 | 2024-01-30 | Ford Global Technologies, Llc | Systems and methods for camera-LiDAR fused object detection with LiDAR-to-image detection matching |
-
2023
- 2023-07-18 CN CN202310878154.XA patent/CN116597168B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194983A (zh) * | 2017-05-16 | 2017-09-22 | 华中科技大学 | 一种基于点云与影像数据的三维可视化方法和系统 |
| CN112465732A (zh) * | 2020-11-27 | 2021-03-09 | 武汉大学 | 一种车载激光点云与序列全景影像的配准方法 |
| CN113240755A (zh) * | 2021-07-12 | 2021-08-10 | 中国海洋大学 | 基于街景图像与车载激光融合的城市场景构图方法及系统 |
| CN115329111A (zh) * | 2022-10-11 | 2022-11-11 | 齐鲁空天信息研究院 | 一种基于点云与影像匹配的影像特征库构建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116597168A (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135455B (zh) | 影像匹配方法、装置及计算机可读存储介质 | |
| CN107705333B (zh) | 基于双目相机的空间定位方法及装置 | |
| CN112444242B (zh) | 一种位姿优化方法及装置 | |
| CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
| US20150138322A1 (en) | Image processing device and its control method, imaging apparatus, and storage medium | |
| CN111222395A (zh) | 目标检测方法、装置与电子设备 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| WO2012126500A1 (en) | 3d streets | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN110998671B (zh) | 三维重建方法、装置、系统和存储介质 | |
| CN112348921A (zh) | 一种基于视觉语义点云的建图方法及系统 | |
| CN111340922A (zh) | 定位与地图构建的方法和电子设备 | |
| AliAkbarpour et al. | Fast structure from motion for sequential and wide area motion imagery | |
| US20230040550A1 (en) | Method, apparatus, system, and storage medium for 3d reconstruction | |
| CN114419568A (zh) | 一种基于特征融合的多视角行人检测方法 | |
| CN114556425A (zh) | 定位的方法、设备、无人机和存储介质 | |
| CN113012084A (zh) | 无人机影像实时拼接方法、装置及终端设备 | |
| CN116597168B (zh) | 车载激光点云与全景影像的匹配方法、装置、设备及介质 | |
| CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
| WO2022156652A1 (zh) | 交通工具运动状态评估方法、装置、设备以及介质 | |
| CN115164900A (zh) | 一种基于全向相机的城市环境下视觉辅助导航方法及系统 | |
| CN114690226A (zh) | 基于载波相位差分技术辅助的单目视觉测距方法及系统 | |
| CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
| CN113361552B (zh) | 定位方法及装置 | |
| CN116704037B (zh) | 一种基于图像处理技术的卫星失锁重定位方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |