CN113281770A - 坐标系关系获取方法及装置 - Google Patents
坐标系关系获取方法及装置 Download PDFInfo
- Publication number
- CN113281770A CN113281770A CN202110592711.2A CN202110592711A CN113281770A CN 113281770 A CN113281770 A CN 113281770A CN 202110592711 A CN202110592711 A CN 202110592711A CN 113281770 A CN113281770 A CN 113281770A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- image block
- image
- laser radar
- target vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000009466 transformation Effects 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 10
- 230000006870 function Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Manufacturing & Machinery (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明实施例提供一种坐标系关系获取方法及装置。本发明实施例通过根据目标车辆上的激光雷达采集的多帧激光雷达点云数据，生成激光点云图，所述多帧激光雷达点云数据对应多个不同的采集角度，根据所述目标车辆上的单目摄像头在所述多个不同的采集角度采集的多幅图像点云数据，生成稠密点云图，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，利用匹配的图像块获得两个坐标系之间更加准确的对应关系，提高了激光雷达坐标系与单目摄像头坐标系标定的准确性。
Description
技术领域
本发明涉及无人驾驶技术领域，尤其涉及一种坐标系关系获取方法及装置。
背景技术
激光雷达和单目摄像头都是无人驾驶车辆上重要的环境感知设备。其中，单目摄像头在无人驾驶中的功能主要有车道线检测、障碍物检测(相当于把障碍物识别以及对障碍物进行分类)以及交通标志的识别(比如识别红绿灯和限速牌)。激光雷达在无人驾驶中的功能主要有路沿检测、障碍物识别(对静态物体和动态物体的识别)以及定位和地图创建。
在实际应用中，需要获取无人驾驶车辆上激光雷达坐标系与单目摄像头坐标系之间的对应关系，以便对激光雷达坐标系和单目摄像头坐标系进行标定。
相关技术基于8点法(即8对点，其中，每对点包括单目摄像头拍摄图像中的像素点与该点对应的激光雷达点云数据)来获取激光雷达坐标系与单目摄像头坐标系之间的对应关系。这种技术中，点对的获取难度非常大，而且准确性低，这导致获取的激光雷达坐标系与单目摄像头坐标系之间的对应关系准确性低，影响了标定的准确性。
发明内容
为克服相关技术中存在的问题，本发明提供了一种坐标系关系获取方法及装置，提高激光雷达坐标系与单目摄像头坐标系标定的准确性。
根据本发明实施例的第一方面，提供一种坐标系关系获取方法，包括：
根据目标车辆上的激光雷达采集的多帧激光雷达点云数据，生成激光点云图；所述多帧激光雷达点云数据对应多个不同的采集角度；
根据所述目标车辆上的单目摄像头在所述多个不同的采集角度采集的多幅图像点云数据，生成稠密点云图；
基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
示例性地，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用迭代最近点算法ICP，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
示例性地，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用正态分布变换NDT，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
示例性地，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用高斯混合模型，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
示例性地，所述多个不同的采集角度的连线形成闭合环，所述闭合环包围目标物体。
根据本发明实施例的第二方面，提供一种坐标系关系获取装置，包括：
第一生成模块，用于根据目标车辆上的激光雷达采集的多帧激光雷达点云数据，生成激光点云图；所述多帧激光雷达点云数据对应多个不同的采集角度；
第二生成模块，用于根据所述目标车辆上的单目摄像头在所述多个不同的采集角度采集的多幅图像点云数据，生成稠密点云图；
确定模块，用于基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
示例性地，所述确定模块具体用于：
利用迭代最近点算法ICP，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
示例性地，所述确定模块具体用于：
利用正态分布变换NDT，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
示例性地，所述确定模块具体用于：
利用高斯混合模型，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
示例性地，所述多个不同的采集角度的连线形成闭合环，所述闭合环包围目标物体。
本发明实施例提供的技术方案可以包括以下有益效果：
本发明实施例，通过根据目标车辆上的激光雷达采集的多帧激光雷达点云数据，生成激光点云图，所述多帧激光雷达点云数据对应多个不同的采集角度，根据所述目标车辆上的单目摄像头在所述多个不同的采集角度采集的多幅图像点云数据，生成稠密点云图，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，利用匹配的图像块获得两个坐标系之间更加准确的对应关系，提高了激光雷达坐标系与单目摄像头坐标系标定的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。
图1是本发明实施例提供的坐标系关系获取方法的流程示例图。
图2是本发明实施例提供的坐标系关系获取装置的功能方块图。
图3是本发明实施例提供的电子设备的一个硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
在本发明实施例使用的术语是仅仅出于描述特定本发明实施例的目的，而非旨在限制本发明实施例。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
激光雷达和单目摄像头这两种环境感知设备，分别有各自的优缺点。单目摄像头的优点是成本低廉，用单目摄像头做算法开发的人员也比较多，技术相对比较成熟。单目摄像头的劣势是：第一，获取准确的三维信息非常难，对于单目摄像头来说几乎不可能；第二，单目摄像头受环境光限制比较大。
而激光雷达的优点在于，其探测距离较远，而且能够准确获取物体的三维信息；另外它的稳定性相当高，鲁棒性好。但目前激光雷达成本较高。
在应用方面，单目摄像头和激光雷达都可用于进行车道线检测。除此之外，激光雷达还可用于路牙检测。对于车牌识别以及道路两边，比如限速牌和红绿灯的识别，主要还是用单目摄像头来完成。如果对障碍物的识别，单目摄像头可以很容易通过深度学习把障碍物进行细致分类。但对激光雷达而言，它对障碍物只能分一些大类，但对物体运动状态的判断主要靠激光雷达完成。
由于激光雷达和单目摄像头都有各自的优缺点，因此在实际应用中，往往将这二者的数据进行融合来使用，以提高无人驾驶车辆的环境感知和场景理解能力。
为了将激光雷达和单目摄像头这二者的数据进行融合，需要对激光雷达坐标系与单目摄像头坐标系进行标定，即获得激光雷达坐标系与单目摄像头坐标系之间的对应关系。标定的准确性对于数据融合的质量具有重要的影响，对于无人驾驶技术的可用性具有重要意义。因此，如何提高激光雷达坐标系与单目摄像头坐标系标定的准确性，是无人驾驶领域一个亟待解决的重要问题。
为了解决上述的问题，本发明实施例提供了一种坐标系关系获取方法。
下面通过实施例对本发明的坐标系关系获取方法进行详细说明。
图1是本发明实施例提供的坐标系关系获取方法的流程示例图。如图1所示，本实施例中，坐标系关系获取方法可以包括：
S101，根据目标车辆上的激光雷达采集的多帧激光雷达点云数据，生成激光点云图；所述多帧激光雷达点云数据对应多个不同的采集角度。
S102，根据所述目标车辆上的单目摄像头在所述多个不同的采集角度采集的多幅图像点云数据，生成稠密点云图。
S103，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
本实施例中，目标车辆上设置有单目摄像头和激光雷达。
在一个示例中，所述多个不同的采集角度的连线形成闭合环，所述闭合环包围目标物体。
例如可以令目标车辆环绕几何形状较为复杂的物体行驶一周(或者在该物体的多个角度采集点云数据，不必环绕)，采集多帧激光雷达点云数据。同时，单目摄像头采集多幅图像点云数据。
其中，稠密点云图中的每个点为基于单目摄像头采集的多帧二维图像中的像素点的自身位置变化而生成的三维点。
激光点云图和稠密点云图均为三维点云图。
其中，可以采用相关技术中的激光点云图生成方式根据多帧激光雷达点云数据生成激光点云图，此处不再赘述。
其中，可以采用相关技术中的稠密点云图生成方式根据多幅图像点云数据生成稠密点云图，此处不再赘述。
在一个示例中，步骤S103可以包括：
利用迭代最近点算法ICP(Iterative Closest Point)，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
假设有两组点集P和Q，P和Q分别为稠密点云图中的图像块和激光点云图中的图像块。则获取激光雷达坐标系与单目摄像头坐标系之间的对应关系的问题转换为找一组转换矩阵R和T，使得P中的每一个点经过变化后同Q中的最近点的误差之和最小。用数学的话描述就是最小化如下面公式(1)所示的目标函数：
其中，qi是Q中的点，pi是P中的点，R和T为转换矩阵。
通过求解公式(1)所示的目标函数，即可得到转换矩阵R和T，转换矩阵R和T即为激光雷达坐标系与单目摄像头坐标系之间的对应关系。
其中，求解公式(1)所示的目标函数可以采用相关技术中的求解方法，例如奇异值分解SVD(Singular Value Decomposition)方法，此处不再赘述。
在一个示例中，步骤S103可以包括：
利用正态分布变换NDT(Normal Distribution Transform)，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
很多的配准算法，例如前述的ICP算法，前提都是环境大部分是不变的，但是完全不变的环境其实也是很少的，比如一辆车飞驰而过，一个人走过等等。因此，在实际应用中更多应该考虑的是允许小部分差异的配准，这时候ICP算法就会出现一些问题，而NDT则可以很好地解决细微差。
与ICP不同，NDT假设点云服从正态分布，找一个姿态，使得当前扫描点位于参考扫描平面上的可能性最大。假设当前扫描得到的点云为
用空间转换函数
来表示使用姿态
变换来移动
此时的目标是最大化似然函数，如公式(2)所示：
可以采用相关技术中的求解方法求解公式(2)，例如采用牛顿法求解公式(2)，此处不再赘述。
在一个示例中，步骤S103可以包括：
利用高斯混合模型，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
关于高斯混合模型请参考相关技术的说明，此处不再赘述。
本发明实施例提供的坐标系关系获取方法，通过根据目标车辆上的激光雷达采集的多帧激光雷达点云数据，生成激光点云图，所述多帧激光雷达点云数据对应多个不同的采集角度，根据所述目标车辆上的单目摄像头在所述多个不同的采集角度采集的多幅图像点云数据，生成稠密点云图，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，利用匹配的图像块获得两个坐标系之间更加准确的对应关系，提高了激光雷达坐标系与单目摄像头坐标系标定的准确性。
基于上述的方法实施例，本发明实施例还提供了相应的装置、设备及存储介质实施例。
图2是本发明实施例提供的坐标系关系获取装置的功能方块图。如图2所示，本实施例中，坐标系关系获取装置可以包括：
第一生成模块210，用于根据目标车辆上的激光雷达采集的多帧激光雷达点云数据，生成激光点云图；所述多帧激光雷达点云数据对应多个不同的采集角度；
第二生成模块220，用于根据所述目标车辆上的单目摄像头在所述多个不同的采集角度采集的多幅图像点云数据，生成稠密点云图；
确定模块230，用于基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，所述确定模块具体用于：
利用迭代最近点算法ICP，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，所述确定模块具体用于：
利用正态分布变换NDT，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，所述确定模块具体用于：
利用高斯混合模型，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，所述多个不同的采集角度的连线形成闭合环，所述闭合环包围目标物体。
本发明实施例还提供了一种电子设备。图3是本发明实施例提供的电子设备的一个硬件结构图。本实施例的电子设备可以安装于无人驾驶车辆上。如图3所示，电子设备包括：内部总线301，以及通过内部总线连接的存储器302，处理器303和外部接口304，其中，
所述存储器302，用于存储坐标系关系获取逻辑对应的机器可读指令；
所述处理器303，用于读取存储器302上的机器可读指令，并执行所述指令以实现如下操作：
根据目标车辆上的激光雷达采集的多帧激光雷达点云数据，生成激光点云图；所述多帧激光雷达点云数据对应多个不同的采集角度；
根据所述目标车辆上的单目摄像头在所述多个不同的采集角度采集的多幅图像点云数据，生成稠密点云图；
基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用迭代最近点算法ICP，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用正态分布变换NDT，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用高斯混合模型，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，所述多个不同的采集角度的连线形成闭合环，所述闭合环包围目标物体。
本发明实施例还提供一种无人驾驶系统，所述无人驾驶系统包括前述的任一种电子设备。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如下操作：
根据目标车辆上的激光雷达采集的多帧激光雷达点云数据，生成激光点云图；所述多帧激光雷达点云数据对应多个不同的采集角度；
根据所述目标车辆上的单目摄像头在所述多个不同的采集角度采集的多幅图像点云数据，生成稠密点云图；
基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用迭代最近点算法ICP，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用正态分布变换NDT，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用高斯混合模型，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，所述多个不同的采集角度的连线形成闭合环，所述闭合环包围目标物体。
本发明实施例还提供一种无人驾驶系统，该系统部署于目标车辆上，该系统包括激光雷达和电子设备，其中：
所述激光雷达，用于为目标车辆在预设时间段内采集多帧激光雷达点云数据；
所述电子设备，用于：
根据目标车辆上的激光雷达采集的多帧激光雷达点云数据，生成激光点云图；所述多帧激光雷达点云数据对应多个不同的采集角度；
根据所述目标车辆上的单目摄像头在所述多个不同的采集角度采集的多幅图像点云数据，生成稠密点云图；
基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用迭代最近点算法ICP，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用正态分布变换NDT，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用高斯混合模型，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
在一个示例性的实现过程中，所述多个不同的采集角度的连线形成闭合环，所述闭合环包围目标物体。
对于装置和设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
Claims (10)
1.一种坐标系关系获取方法，其特征在于，包括：
根据目标车辆上的激光雷达采集的多帧激光雷达点云数据，生成激光点云图；所述多帧激光雷达点云数据对应多个不同的采集角度；
根据所述目标车辆上的单目摄像头在所述多个不同的采集角度采集的多幅图像点云数据，生成稠密点云图；
基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
2.根据权利要求1所述的方法，其特征在于，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用迭代最近点算法ICP，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
3.根据权利要求1所述的方法，其特征在于，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用正态分布变换NDT，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
4.根据权利要求1所述的方法，其特征在于，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系，包括：
利用高斯混合模型，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
5.根据权利要求1所述的方法，其特征在于，所述多个不同的采集角度的连线形成闭合环，所述闭合环包围目标物体。
6.一种坐标系关系获取装置，其特征在于，包括：
第一生成模块，用于根据目标车辆上的激光雷达采集的多帧激光雷达点云数据，生成激光点云图；所述多帧激光雷达点云数据对应多个不同的采集角度；
第二生成模块，用于根据所述目标车辆上的单目摄像头在所述多个不同的采集角度采集的多幅图像点云数据，生成稠密点云图；
确定模块，用于基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
7.根据权利要求6所述的装置，其特征在于，所述确定模块具体用于：
利用迭代最近点算法ICP，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
8.根据权利要求6所述的装置，其特征在于，所述确定模块具体用于：
利用正态分布变换NDT，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
9.根据权利要求6所述的装置，其特征在于，所述确定模块具体用于：
利用高斯混合模型，基于所述激光点云图中的第一图像块和所述稠密点云图中与所述第一图像块匹配的第二图像块，确定所述目标车辆上的激光雷达坐标系与单目摄像头坐标系之间的对应关系。
10.根据权利要求6所述的装置，其特征在于，所述多个不同的采集角度的连线形成闭合环，所述闭合环包围目标物体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110592711.2A CN113281770A (zh) | 2021-05-28 | 2021-05-28 | 坐标系关系获取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110592711.2A CN113281770A (zh) | 2021-05-28 | 2021-05-28 | 坐标系关系获取方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113281770A true CN113281770A (zh) | 2021-08-20 |
Family
ID=77282360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110592711.2A Pending CN113281770A (zh) | 2021-05-28 | 2021-05-28 | 坐标系关系获取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113281770A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023040437A1 (zh) * | 2021-09-18 | 2023-03-23 | 北京京东乾石科技有限公司 | 路牙确定方法、装置、设备以及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160070981A1 (en) * | 2014-09-08 | 2016-03-10 | Kabushiki Kaisha Topcon | Operating device, operating system, operating method, and program therefor |
| CN109813310A (zh) * | 2019-03-11 | 2019-05-28 | 中南大学 | 地下作业设备定位方法、装置、系统及存储介质 |
| CN109859154A (zh) * | 2019-01-31 | 2019-06-07 | 深兰科技（上海）有限公司 | 一种数据融合方法、装置、设备及介质 |
| CN109920011A (zh) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
| CN110226186A (zh) * | 2016-12-26 | 2019-09-10 | 宝马股份公司 | 一种用于表示地图元素的方法和装置以及基于此定位车辆/机器人的方法和装置 |
| CN110378905A (zh) * | 2018-07-20 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 角点提取、匹配的神经网络和方法及设备标定方法和装置 |
| CN110741282A (zh) * | 2019-08-21 | 2020-01-31 | 深圳市速腾聚创科技有限公司 | 外参标定方法、装置、计算设备以及计算机存储介质 |
| CN111369630A (zh) * | 2020-02-27 | 2020-07-03 | 河海大学常州校区 | 一种多线激光雷达与相机标定的方法 |
| CN111638499A (zh) * | 2020-05-08 | 2020-09-08 | 上海交通大学 | 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法 |
| CN111665826A (zh) * | 2019-03-06 | 2020-09-15 | 北京奇虎科技有限公司 | 基于激光雷达与单目相机的深度图获取方法及扫地机器人 |
| CN111678534A (zh) * | 2019-03-11 | 2020-09-18 | 武汉小狮科技有限公司 | 一种结合rgbd双目深度相机、imu和多线激光雷达的联合标定平台和方法 |
| CN112504123A (zh) * | 2020-12-07 | 2021-03-16 | 重庆顺泰铁塔制造有限公司 | 一种用于输电塔板件自动化检测设备和方法 |
| CN112837384A (zh) * | 2021-03-01 | 2021-05-25 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆标记方法、装置和电子设备 |
| CN113269857A (zh) * | 2021-05-28 | 2021-08-17 | 东软睿驰汽车技术（沈阳）有限公司 | 坐标系关系获取方法及装置 |
-
2021
- 2021-05-28 CN CN202110592711.2A patent/CN113281770A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160070981A1 (en) * | 2014-09-08 | 2016-03-10 | Kabushiki Kaisha Topcon | Operating device, operating system, operating method, and program therefor |
| CN110226186A (zh) * | 2016-12-26 | 2019-09-10 | 宝马股份公司 | 一种用于表示地图元素的方法和装置以及基于此定位车辆/机器人的方法和装置 |
| CN110378905A (zh) * | 2018-07-20 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 角点提取、匹配的神经网络和方法及设备标定方法和装置 |
| CN109859154A (zh) * | 2019-01-31 | 2019-06-07 | 深兰科技（上海）有限公司 | 一种数据融合方法、装置、设备及介质 |
| CN111665826A (zh) * | 2019-03-06 | 2020-09-15 | 北京奇虎科技有限公司 | 基于激光雷达与单目相机的深度图获取方法及扫地机器人 |
| CN109813310A (zh) * | 2019-03-11 | 2019-05-28 | 中南大学 | 地下作业设备定位方法、装置、系统及存储介质 |
| CN111678534A (zh) * | 2019-03-11 | 2020-09-18 | 武汉小狮科技有限公司 | 一种结合rgbd双目深度相机、imu和多线激光雷达的联合标定平台和方法 |
| CN109920011A (zh) * | 2019-05-16 | 2019-06-21 | 长沙智能驾驶研究院有限公司 | 激光雷达与双目摄像头的外参标定方法、装置及设备 |
| CN110741282A (zh) * | 2019-08-21 | 2020-01-31 | 深圳市速腾聚创科技有限公司 | 外参标定方法、装置、计算设备以及计算机存储介质 |
| CN111369630A (zh) * | 2020-02-27 | 2020-07-03 | 河海大学常州校区 | 一种多线激光雷达与相机标定的方法 |
| CN111638499A (zh) * | 2020-05-08 | 2020-09-08 | 上海交通大学 | 基于激光雷达反射强度点特征的相机-激光雷达相对外参标定方法 |
| CN112504123A (zh) * | 2020-12-07 | 2021-03-16 | 重庆顺泰铁塔制造有限公司 | 一种用于输电塔板件自动化检测设备和方法 |
| CN112837384A (zh) * | 2021-03-01 | 2021-05-25 | 东软睿驰汽车技术（沈阳）有限公司 | 车辆标记方法、装置和电子设备 |
| CN113269857A (zh) * | 2021-05-28 | 2021-08-17 | 东软睿驰汽车技术（沈阳）有限公司 | 坐标系关系获取方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 郑艳;刘伟;: "车道保持系统中轨迹跟踪算法的研究", 汽车电器, no. 11, 20 November 2018 (2018-11-20), pages 32 - 35 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023040437A1 (zh) * | 2021-09-18 | 2023-03-23 | 北京京东乾石科技有限公司 | 路牙确定方法、装置、设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109461211B (zh) | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 | |
| CN112419494B (zh) | 用于自动驾驶的障碍物检测、标记方法、设备及存储介质 | |
| CA3027921C (en) | Integrated sensor calibration in natural scenes | |
| CN111830953B (zh) | 车辆自定位方法、装置及系统 | |
| WO2020102944A1 (zh) | 点云处理方法、设备及存储介质 | |
| Siegemund et al. | A temporal filter approach for detection and reconstruction of curbs and road surfaces based on conditional random fields | |
| US10909395B2 (en) | Object detection apparatus | |
| CN110826499A (zh) | 物体空间参数检测方法、装置、电子设备及存储介质 | |
| JP7389729B2 (ja) | 障害物検知装置、障害物検知システム及び障害物検知方法 | |
| CN111932627B (zh) | 一种标识物绘制方法及系统 | |
| CN114761997A (zh) | 目标检测方法、终端设备和介质 | |
| El Bouazzaoui et al. | Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization | |
| CN113450334B (zh) | 一种水上目标检测方法、电子设备及存储介质 | |
| CN110197104B (zh) | 基于车辆的测距方法及装置 | |
| CN114820809A (zh) | 一种参数确定方法、设备以及计算机存储介质 | |
| CN110717457A (zh) | 用于车辆的行人位姿解算方法 | |
| CN113281770A (zh) | 坐标系关系获取方法及装置 | |
| KR102249381B1 (ko) | 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법 | |
| Dai et al. | Enhanced Object Detection in Autonomous Vehicles through LiDAR—Camera Sensor Fusion. | |
| CN114830185A (zh) | 借助于神经网络的位置确定 | |
| CN114384486A (zh) | 一种数据处理方法及装置 | |
| CN114898144B (zh) | 一种基于相机和毫米波雷达数据的自动对齐方法 | |
| CN113269857A (zh) | 坐标系关系获取方法及装置 | |
| Madake et al. | Visualization of 3D Point Clouds for Vehicle Detection Based on LiDAR and Camera Fusion | |
| CN113792645A (zh) | 一种融合图像和激光雷达的ai眼球 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |