CN112561841A - 激光雷达和相机的点云数据融合方法、装置 - Google Patents
激光雷达和相机的点云数据融合方法、装置 Download PDFInfo
- Publication number
- CN112561841A CN112561841A CN202011410104.1A CN202011410104A CN112561841A CN 112561841 A CN112561841 A CN 112561841A CN 202011410104 A CN202011410104 A CN 202011410104A CN 112561841 A CN112561841 A CN 112561841A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- laser
- camera
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000001131 transforming effect Effects 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 abstract description 16
- 238000005259 measurement Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 11
- 230000009466 transformation Effects 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种激光雷达和相机的点云数据融合方法、装置，所述方法包括：控制激光雷达以第一预设频率进行激光点云数据采集，并控制相机以第二预设频率进行图像点云数据采集；获取激光雷达相邻两帧点云数据间相机采集的图像点云数据；对图像点云数据进行处理以获取三维特征点；获取三维特征点处的激光点云数据和图像点云数据，并建立匹配关系；根据匹配关系将图像点云数据的坐标变换到激光雷达坐标系，以进行数据融合。该方法通可以获取高质量的点云，提高了点云分辨率，且融合性能与激光雷达与视觉传感器间的相对位姿的测量精度无关，不受相机内参变化和相机与激光雷达间外参变化影响，稳定性、鲁棒性较强。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种激光雷达和相机的点云数据融合方法、一种激光雷达和相机的点云数据融合装置、一种计算机设备和一种非临时性计算机可读存储介质。
背景技术
随着人工智能、大数据的不断发展，无人驾驶同样得到了广泛的关注，无人驾驶技术未来在辅助驾驶、解决城市问题、减少交通事故等起到关键的作用。
目前无人驾驶领域的定位和导航，主要使用的传感器有很多种，使用较广泛的是摄像机和三维激光雷达，在使用激光雷达进行定位和导航的过程中，需要将激光雷达与视觉传感器进行标定，将激光雷达的点云投影到图像进行激光雷达和相机的点云数据融合。
相关技术中，融合方式又主要是根据激光雷达点云在图像中的投影位置，推测激光雷达点云的色彩信息，利用带颜色信息的点云数据，完成后续的目标检测、识别、跟踪等应用；或者基于激光雷达点云在图像中的投影位置，根据激光雷达点云的三维坐标信息，推测其周围的图像像素的三维坐标信息，利用带三维坐标信息的图像数据，完成后续的目标检测、跟踪、识别等应用。
然而，上述数据融合的性能主要取决于激光雷达与视觉传感器间相对位姿标定的准确程度，即使静态标定可以取得足够的标定精度，但在用于无人驾驶车辆时，车辆行驶过程中的震动、颠簸会导致相对位姿的改变，进而影响数据融合的性能。
发明内容
本发明为解决上述技术问题，提供了一种激光雷达和相机的点云数据融合方法，该方法通过获取激光雷达相邻两帧数据间相机采集的图像点云数据，可以获取高质量的点云，并以此进行激光点云数据和图像点云数据间的匹配、融合，提高了点云分辨率，且融合性能与激光雷达与视觉传感器间的相对位姿的测量精度无关，不受相机内参变化和相机与激光雷达间外参变化影响，应用于无人驾驶车辆时，针对车辆行驶过程中常见的震动、颠簸等情况具有较强的鲁棒性。
本发明还提出一种激光雷达和相机的点云数据融合装置。
本发明还提出一种计算机设备。
本发明还提出一种非临时性计算机可读存储介质。
本发明采用的技术方案如下：
本发明第一方面实施例提出了一种激光雷达和相机的点云数据融合方法，包括以下步骤：控制所述激光雷达以第一预设频率进行点云数据采集得到激光点云数据，并控制所述相机以第二预设频率进行点云数据采集得到图像点云数据，其中所述第一预设频率小于所述第二预设频率；获取所述激光雷达相邻两帧激光点云数据间所述相机采集的图像点云数据；对所述图像点云数据进行三维重建、视觉里程计以获取三维特征点；获取所述三维特征点处的特征点激光点云数据和所述三维特征点处的特征点图像点云数据，并建立所述特征点激光点云数据和所述特征点图像点云数据间的匹配关系；根据所述匹配关系将所述图像点云数据的坐标变换到激光雷达坐标系，并将所述图像点云数据叠加到所述激光点云数据中。
根据本发明的一个实施例，所述第一预设频率为10帧/秒，所述第二预设频率为30帧/秒。
根据本发明的一个实施例，通过EPnP(一种3d-2d位姿估计算法)方法建立所述特征点激光点云数据和所述特征点图像点云数据间的匹配关系。
本发明第二方面实施例提出了一种激光雷达和相机的点云数据融合装置，包括：采集模块，所述采集模块用于控制所述激光雷达以第一预设频率进行点云数据采集得到激光点云数据，并控制所述相机以第二预设频率进行点云数据采集得到图像点云数据，其中所述第一预设频率小于所述第二预设频率；获取模块，所述获取模块用于获取所述激光雷达相邻两帧激光点云数据间所述相机采集的图像点云数据；处理模块，所述处理模块用于对所述图像点云数据进行三维重建、视觉里程计以获取三维特征点；建立模块，所述建立模块用于获取所述三维特征点处的特征点激光点云数据和所述三维特征点处的特征点图像点云数据，并建立所述特征点激光点云数据和所述特征点图像点云数据间的匹配关系；融合模块，所述融合模块用于根据所述匹配关系将所述图像点云数据的坐标变换到激光雷达坐标系，并将所述图像点云数据叠加到所述激光点云数据中。
根据本发明的一个实施例，所述第一预设频率为10帧/秒，所述第二预设频率为30帧/秒。
根据本发明的一个实施例，所述建立模块具体通过EPnP方法建立所述特征点激光点云数据和所述特征点图像点云数据间的匹配关系。
本发明的第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本发明第一方面实施例所述的激光雷达和相机的点云数据融合方法。
本发明的第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例所述的激光雷达和相机的点云数据融合方法，。
本发明的有益效果：
本发明通过获取激光雷达相邻两帧数据间相机采集的图像点云数据，可以获取高质量的点云，并以此进行激光点云数据和图像点云数据间的匹配、融合，提高了点云分辨率，且融合性能与激光雷达与视觉传感器间的相对位姿的测量精度无关，不受相机内参变化和相机与激光雷达间外参变化影响，应用于无人驾驶车辆时，针对车辆行驶过程中常见的震动、颠簸等情况具有较强的鲁棒性。
附图说明
图1是根据本发明一个实施例的激光雷达和相机的点云数据融合方法的流程图；
图2是根据本发明一个实施例的激光雷达和相机的点云数据融合装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明一个实施例的激光雷达和相机的点云数据融合方法的流程图。如图1所示，该方法包括以下步骤：
S1，控制激光雷达以第一预设频率进行点云数据采集得到激光点云数据，并控制相机以第二预设频率进行点云数据采集得到图像点云数据。其中，第一预设频率小于第二预设频率。
在本发明的一个实施例中，第一预设频率可以为10帧/秒，第二预设频率可以为30帧/秒。
S2，获取激光雷达相邻两帧激光点云数据间相机采集的图像点云数据。
例如，如果激光雷达以10帧/秒进行激光点云数据采集，相机以30帧/秒进行图像点云数据采集，那么激光雷达相邻两帧激光数据间隔100毫秒，100毫秒可以收到3帧相机采集的图像点云数据。
S3，对图像点云数据进行三维重建、视觉里程计处理以获取三维特征点。
S4，获取三维特征点处的特征点激光点云数据和三维特征点处的特征点图像点云数据，并建立特征点激光点云数据和特征点图像点云数据间的匹配关系。
S5，根据匹配关系将图像点云数据的坐标变换到激光雷达坐标系，并将图像点云数据叠加到激光点云数据中。
具体的，控制激光雷达以第一预设频率进行激光点云数据采集，并控制相机以第二预设频率进行图像点云数据采集，例如，激光雷达以10帧/秒进行激光点云数据采集，相机以30帧/秒进行图像点云数据采集。获取激光雷达相邻两帧激光点云数据间相机采集的多帧图像点云数据，对此图像点云数据进行三维重建、视觉里程计等处理，以获取产生的三维特征点，特征点集中在具有显著性的位置，如指示牌的边缘、车道线的边缘、交通灯的立杆等，同样激光雷达也会在这些位置产生高质量点云，两种方式产生的点云间存在一个仿射变换(指两组匹配特征间存在的坐标变换，该变换包含平移、尺度等)，由于激光雷达和相机的FOV(Field Of View，视场角)是相似的，因此两种方式产生的点云间数据存在高度的重复性，因此很容易建立两种点云间的匹配关系，从而计算出仿射变换，根据仿射变换将图像点云数据的坐标变换到激光雷达坐标系，再将相机产生的图像点云数据叠加到激光雷达产生的激光点云数据中，由此，完成激光雷达和相机的点云数据融合。
由此，该方法通过获取激光雷达相邻两帧数据间相机采集的图像点云数据，可以获取高质量的点云，并以此进行激光点云数据和图像点云数据间的匹配、融合，提高了点云分辨率，增强了激光雷达的点云信息，且融合性能与激光雷达与视觉传感器间的相对位姿的测量精度无关，不受相机内参变化和相机与激光雷达间外参变化影响，应用于无人驾驶车辆时，针对车辆行驶过程中常见的震动、颠簸等情况具有较强的鲁棒性，并且，本发明的图像特征的三维坐标具有真实尺度。
根据本发明的一个实施例，通过EPnP方法建立特征点激光点云数据和特征点图像点云数据间的匹配关系。
具体的，可以采用EPnP方法求解激光雷达与相机之间的旋转矩阵R和平移向量t，根据旋转矩阵R和平移向量t即可建立激光点云数据和图像点云数据间的匹配关系。EPnP具体为现有技术，本发明中不再进行赘述。
综上所述，根据本发明实施例的激光雷达和相机的点云数据融合方法，控制激光雷达以第一预设频率进行激光点云数据采集，并控制相机以第二预设频率进行图像点云数据采集，其中第一预设频率小于第二预设频率，获取激光雷达相邻两帧激光点云数据间相机采集的图像点云数据，对图像点云数据进行处理以获取三维特征点，获取三维特征点处的特征点激光点云数据和三维特征点处的特征点图像点云数据，并建立特征点激光点云数据和特征点图像点云数据间的匹配关系，根据匹配关系将图像点云数据的坐标变换到激光雷达坐标系，并将图像点云数据叠加到激光点云数据中。由此，该方法通过获取激光雷达相邻两帧数据间相机采集的图像点云数据，可以获取高质量的点云，并以此进行激光点云数据和图像点云数据间的匹配、融合，提高了点云分辨率，且融合性能与激光雷达与视觉传感器间的相对位姿的测量精度无关，不受相机内参变化和相机与激光雷达间外参变化影响，应用于无人驾驶车辆时，针对车辆行驶过程中常见的震动、颠簸等情况具有较强的鲁棒性，并且，本发明的图像特征的三维坐标具有真实尺度。
与上述的激光雷达和相机的点云数据融合方法相对应，本发明还提出一种激光雷达和相机的点云数据融合装置。由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节可参照上述的方法实施例，本发明中不再进行赘述。
图2是根据本发明一个实施例的激光雷达和相机的点云数据融合装置的方框示意图，如图2所示，该装置包括：采集模块1、获取模块2、处理模块3、建立模块4、融合模块5。
其中，采集模块1用于控制激光雷达以第一预设频率进行点云数据采集得到图像点云数据，并控制相机以第二预设频率进行点云数据采集得到图像点云数据，其中第一预设频率小于第二预设频率；获取模块2用于获取激光雷达相邻两帧激光点云数据间相机采集的图像点云数据；处理模块3用于对图像点云数据进行三维重建、视觉里程计处理以获取三维特征点；建立模块4用于获取三维特征点处的特征点激光点云数据和三维特征点处的特征点图像点云数据，并建立特征点激光点云数据和特征点图像点云数据间的匹配关系；融合模块5用于根据匹配关系将图像点云数据的坐标变换到激光雷达坐标系，并将图像点云数据叠加到激光点云数据中。
根据本发明的一个实施例，第一预设频率可以为10帧/秒，第二预设频率可以为30帧/秒。
根据本发明的一个实施例，建立模块4具体通过EPnP方法建立激光雷达采集的点云数据和相机采集的点云数据间的匹配关系。
根据本发明实施例的激光雷达和相机的点云数据融合装置，通过采集模块控制激光雷达以第一预设频率进行点云数据采集得到激光点云数据，并控制相机以第二预设频率进行点云数据采集得到图像点云数据，其中第一预设频率小于第二预设频率，获取模块获取激光雷达相邻两帧激光点云数据间相机采集的图像点云数据，处理模块对图像点云数据进行处理以获取三维特征点，建立模块获取三维特征点处的特征点激光点云数据和三维特征点处的特征点图像点云数据，并建立特征点激光点云数据和特征点图像点云数据间的匹配关系，融合模块根据匹配关系将图像点云数据的坐标变换到激光雷达坐标系，并将图像点云数据叠加到激光点云数据中。由此，该装置通过获取激光雷达相邻两帧数据间相机采集的图像点云数据，可以获取高质量的点云，并以此进行激光点云数据和图像点云数据间的匹配、融合，提高了点云分辨率，且融合性能与激光雷达与视觉传感器间的相对位姿的测量精度无关，不受相机内参变化和相机与激光雷达间外参变化影响，应用于无人驾驶车辆时，针对车辆行驶过程中常见的震动、颠簸等情况具有较强的鲁棒性，并且，本发明的图像特征的三维坐标具有真实尺度。
此外，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本发明上述的激光雷达和相机的点云数据融合方法。
根据本发明实施例的计算机设备，存储在存储器上的计算机程序被处理器执行时，控制激光雷达以第一预设频率进行激光点云数据采集，并控制相机以第二预设频率进行图像点云数据采集，其中第一预设频率小于第二预设频率，获取激光雷达相邻两帧激光点云数据间相机采集的图像点云数据，对图像点云数据进行处理以获取三维特征点，获取三维特征点处的特征点激光点云数据和三维特征点处的特征点图像点云数据，并建立特征点激光点云数据和特征点图像点云数据间的匹配关系，根据匹配关系将图像点云数据的坐标变换到激光雷达坐标系，并将图像点云数据叠加到激光点云数据中。由此，通过获取激光雷达相邻两帧数据间相机采集的图像点云数据，可以获取高质量的点云，并以此进行激光点云数据和图像点云数据间的匹配、融合，提高了点云分辨率，且融合性能与激光雷达与视觉传感器间的相对位姿的测量精度无关，不受相机内参变化和相机与激光雷达间外参变化影响，应用于无人驾驶车辆时，针对车辆行驶过程中常见的震动、颠簸等情况具有较强的鲁棒性，并且，本发明的图像特征的三维坐标具有真实尺度。
本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明上述的激光雷达和相机的点云数据融合方法。
根据本发明实施例的非临时性计算机可读存储介质，存储在其上的计算机程序被处理器执行时，控制激光雷达以第一预设频率进行激光点云数据采集，并控制相机以第二预设频率进行图像点云数据采集，其中第一预设频率小于第二预设频率，获取激光雷达相邻两帧激光点云数据间相机采集的图像点云数据，对图像点云数据进行处理以获取三维特征点，获取三维特征点处的特征点激光点云数据和三维特征点处的特征点图像点云数据，并建立特征点激光点云数据和特征点图像点云数据间的匹配关系，根据匹配关系将图像点云数据的坐标变换到激光雷达坐标系，并将图像点云数据叠加到激光点云数据中。由此，通过获取激光雷达相邻两帧数据间相机采集的图像点云数据，可以获取高质量的点云，并以此进行激光点云数据和图像点云数据间的匹配、融合，提高了点云分辨率，且融合性能与激光雷达与视觉传感器间的相对位姿的测量精度无关，不受相机内参变化和相机与激光雷达间外参变化影响，应用于无人驾驶车辆时，针对车辆行驶过程中常见的震动、颠簸等情况具有较强的鲁棒性，并且，本发明的图像特征的三维坐标具有真实尺度。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种激光雷达和相机的点云数据融合方法，其特征在于，包括以下步骤：
控制所述激光雷达以第一预设频率进行点云数据采集得到激光点云数据，并控制所述相机以第二预设频率进行点云数据采集得到图像点云数据，其中所述第一预设频率小于所述第二预设频率；
获取所述激光雷达相邻两帧激光点云数据间所述相机采集的图像点云数据；
对所述图像点云数据进行三维重建、视觉里程计处理以获取三维特征点；
获取所述三维特征点处的特征点激光点云数据和所述三维特征点处的特征点图像点云数据，并建立所述特征点激光点云数据和所述特征点图像点云数据间的匹配关系；
根据所述匹配关系将所述图像点云数据的坐标变换到激光雷达坐标系，并将所述图像点云数据叠加到所述激光点云数据中。
2.根据权利要求1所述的激光雷达和相机的点云数据融合方法，其特征在于，所述第一预设频率为10帧/秒，所述第二预设频率为30帧/秒。
3.根据权利要求1所述的激光雷达和相机的点云数据融合方法，其特征在于，通过EPnP方法建立所述特征点激光点云数据和所述特征点图像点云数据间的匹配关系。
4.一种激光雷达和相机的点云数据融合装置，其特征在于，包括：
采集模块，所述采集模块用于控制所述激光雷达以第一预设频率进行点云数据采集得到激光点云数据，并控制所述相机以第二预设频率进行点云数据采集得到图像点云数据，其中所述第一预设频率小于所述第二预设频率；
获取模块，所述获取模块用于获取所述激光雷达相邻两帧激光点云数据间所述相机采集的图像点云数据；
处理模块，所述处理模块用于对所述图像点云数据进行三维重建、视觉里程计处理以获取三维特征点；
建立模块，所述建立模块用于获取所述三维特征点处的特征点激光点云数据和所述三维特征点处的特征点图像点云数据，并建立所述特征点激光点云数据和所述特征点图像点云数据间的匹配关系；
融合模块，所述融合模块用于根据所述匹配关系将所述图像点云数据的坐标变换到激光雷达坐标系，并将所述图像点云数据叠加到所述激光点云数据中。
5.根据权利要求4所述的激光雷达和相机的点云数据融合装置，其特征在于，所述第一预设频率为10帧/秒，所述第二预设频率为30帧/秒。
6.根据权利要求4所述的激光雷达和相机的点云数据融合装置，其特征在于，所述建立模块具体通过EPnP方法建立所述特征点激光点云数据和所述特征点图像点云数据间的匹配关系。
7.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现根据权利要求1-3中任一项所述的激光雷达和相机的点云数据融合方法。
8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-3中任一项所述的激光雷达和相机的点云数据融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011410104.1A CN112561841A (zh) | 2020-12-04 | 2020-12-04 | 激光雷达和相机的点云数据融合方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011410104.1A CN112561841A (zh) | 2020-12-04 | 2020-12-04 | 激光雷达和相机的点云数据融合方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112561841A true CN112561841A (zh) | 2021-03-26 |
Family
ID=75048643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011410104.1A Pending CN112561841A (zh) | 2020-12-04 | 2020-12-04 | 激光雷达和相机的点云数据融合方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112561841A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160330A (zh) * | 2021-04-16 | 2021-07-23 | 上海交通大学 | 基于端到端的相机与激光雷达标定方法、系统及介质 |
| CN113362247A (zh) * | 2021-06-11 | 2021-09-07 | 山东大学 | 一种激光融合多目相机的语义实景三维重建方法及系统 |
| CN114413849A (zh) * | 2021-12-09 | 2022-04-29 | 国网辽宁省电力有限公司经济技术研究院 | 一种输变电工程三维地理信息数据处理方法及装置 |
| CN114609591A (zh) * | 2022-03-18 | 2022-06-10 | 湖南星晟智控科技有限公司 | 一种基于激光点云数据的数据处理方法 |
| WO2022262594A1 (zh) * | 2021-06-15 | 2022-12-22 | 同方威视技术股份有限公司 | 跟随目标的方法、装置、机器人及计算机可读存储介质 |
| WO2023138697A1 (zh) * | 2022-01-20 | 2023-07-27 | 探维科技(北京)有限公司 | 基于图像融合激光的雷达系统扫描方法及装置 |
| CN116758006A (zh) * | 2023-05-18 | 2023-09-15 | 广州广检建设工程检测中心有限公司 | 脚手架质量检测方法及装置 |
| CN116839555A (zh) * | 2023-08-30 | 2023-10-03 | 山东科技大学 | 一种基于摄影测量与激光点融合的海洋波浪测量方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859154A (zh) * | 2019-01-31 | 2019-06-07 | 深兰科技（上海）有限公司 | 一种数据融合方法、装置、设备及介质 |
| US20200018852A1 (en) * | 2018-07-12 | 2020-01-16 | Toyota Research Institute, Inc. | System and method for calibrating a lidar and a camera together using semantic segmentation |
| CN111045017A (zh) * | 2019-12-20 | 2020-04-21 | 成都理工大学 | 一种激光和视觉融合的巡检机器人变电站地图构建方法 |
| CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及系统 |
| CN111505606A (zh) * | 2020-04-14 | 2020-08-07 | 武汉大学 | 多相机与激光雷达系统相对位姿检校方法及装置 |
| CN111595333A (zh) * | 2020-04-26 | 2020-08-28 | 武汉理工大学 | 视觉惯性激光数据融合的模块化无人车定位方法及系统 |
| CN111652179A (zh) * | 2020-06-15 | 2020-09-11 | 东风汽车股份有限公司 | 基于点线特征融合激光的语义高精地图构建与定位方法 |
| CN111856436A (zh) * | 2020-07-02 | 2020-10-30 | 大连理工大学 | 一种多线激光雷达和红外相机的联合标定装置及标定方法 |
-
2020
- 2020-12-04 CN CN202011410104.1A patent/CN112561841A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200018852A1 (en) * | 2018-07-12 | 2020-01-16 | Toyota Research Institute, Inc. | System and method for calibrating a lidar and a camera together using semantic segmentation |
| CN109859154A (zh) * | 2019-01-31 | 2019-06-07 | 深兰科技（上海）有限公司 | 一种数据融合方法、装置、设备及介质 |
| CN111045017A (zh) * | 2019-12-20 | 2020-04-21 | 成都理工大学 | 一种激光和视觉融合的巡检机器人变电站地图构建方法 |
| CN111340797A (zh) * | 2020-03-10 | 2020-06-26 | 山东大学 | 一种激光雷达与双目相机数据融合检测方法及系统 |
| CN111505606A (zh) * | 2020-04-14 | 2020-08-07 | 武汉大学 | 多相机与激光雷达系统相对位姿检校方法及装置 |
| CN111595333A (zh) * | 2020-04-26 | 2020-08-28 | 武汉理工大学 | 视觉惯性激光数据融合的模块化无人车定位方法及系统 |
| CN111652179A (zh) * | 2020-06-15 | 2020-09-11 | 东风汽车股份有限公司 | 基于点线特征融合激光的语义高精地图构建与定位方法 |
| CN111856436A (zh) * | 2020-07-02 | 2020-10-30 | 大连理工大学 | 一种多线激光雷达和红外相机的联合标定装置及标定方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160330A (zh) * | 2021-04-16 | 2021-07-23 | 上海交通大学 | 基于端到端的相机与激光雷达标定方法、系统及介质 |
| CN113362247B (zh) * | 2021-06-11 | 2023-08-15 | 山东大学 | 一种激光融合多目相机的语义实景三维重建方法及系统 |
| CN113362247A (zh) * | 2021-06-11 | 2021-09-07 | 山东大学 | 一种激光融合多目相机的语义实景三维重建方法及系统 |
| WO2022262594A1 (zh) * | 2021-06-15 | 2022-12-22 | 同方威视技术股份有限公司 | 跟随目标的方法、装置、机器人及计算机可读存储介质 |
| CN114413849A (zh) * | 2021-12-09 | 2022-04-29 | 国网辽宁省电力有限公司经济技术研究院 | 一种输变电工程三维地理信息数据处理方法及装置 |
| CN114413849B (zh) * | 2021-12-09 | 2023-10-31 | 国网辽宁省电力有限公司经济技术研究院 | 一种输变电工程三维地理信息数据处理方法及装置 |
| WO2023138697A1 (zh) * | 2022-01-20 | 2023-07-27 | 探维科技(北京)有限公司 | 基于图像融合激光的雷达系统扫描方法及装置 |
| CN114609591A (zh) * | 2022-03-18 | 2022-06-10 | 湖南星晟智控科技有限公司 | 一种基于激光点云数据的数据处理方法 |
| CN114609591B (zh) * | 2022-03-18 | 2022-12-20 | 湖南星晟智控科技有限公司 | 一种基于激光点云数据的数据处理方法 |
| CN116758006A (zh) * | 2023-05-18 | 2023-09-15 | 广州广检建设工程检测中心有限公司 | 脚手架质量检测方法及装置 |
| CN116758006B (zh) * | 2023-05-18 | 2024-02-06 | 广州广检建设工程检测中心有限公司 | 脚手架质量检测方法及装置 |
| CN116839555A (zh) * | 2023-08-30 | 2023-10-03 | 山东科技大学 | 一种基于摄影测量与激光点融合的海洋波浪测量方法 |
| CN116839555B (zh) * | 2023-08-30 | 2023-12-08 | 山东科技大学 | 一种基于摄影测量与激光点融合的海洋波浪测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112561841A (zh) | 激光雷达和相机的点云数据融合方法、装置 | |
| JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| US11762071B2 (en) | Multi-mode multi-sensor calibration | |
| CN111192331B (zh) | 一种激光雷达和相机的外参标定方法及装置 | |
| US9275458B2 (en) | Apparatus and method for providing vehicle camera calibration | |
| CN107167826B (zh) | 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法 | |
| CN110530372B (zh) | 定位方法、路径确定方法、装置、机器人及存储介质 | |
| EP3032818B1 (en) | Image processing device | |
| CN111830953A (zh) | 车辆自定位方法、装置及系统 | |
| JP6278791B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
| KR20200071960A (ko) | 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치 | |
| CN111105695B (zh) | 地图制作方法、装置、电子设备及计算机可读存储介质 | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| JP2003178309A (ja) | 移動量推定装置 | |
| CN114943952A (zh) | 多相机重叠视域下障碍物融合方法、系统、设备和介质 | |
| Weigel et al. | Vehicle tracking with lane assignment by camera and lidar sensor fusion | |
| CN112446915A (zh) | 一种基于图像组的建图方法及装置 | |
| US10249056B2 (en) | Vehicle position estimation system | |
| JP6370234B2 (ja) | 地図データ生成装置、地図データ生成方法及び地図データ生成用コンピュータプログラムならびに車両位置検出装置 | |
| CN115718304A (zh) | 目标对象检测方法、装置、车辆及存储介质 | |
| JP5557036B2 (ja) | 退出判定装置、退出判定プログラム及び退出判定方法 | |
| US20230098314A1 (en) | Localizing and updating a map using interpolated lane edge data | |
| CN114998436A (zh) | 对象标注方法、装置、电子设备及存储介质 | |
| Hedi et al. | A system for vehicle surround view | |
| JP2002005656A (ja) | 位置検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |