CN114415133A - 激光雷达-相机外参标定方法、装置、设备及存储介质 - Google Patents

激光雷达-相机外参标定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114415133A
CN114415133A CN202210062573.1A CN202210062573A CN114415133A CN 114415133 A CN114415133 A CN 114415133A CN 202210062573 A CN202210062573 A CN 202210062573A CN 114415133 A CN114415133 A CN 114415133A
Authority
CN
China
Prior art keywords
point cloud
data
entropy
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210062573.1A
Other languages
English (en)
Inventor
贾继浩
祖渊
朱栋栋
王太兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
White Rhino Zhida Beijing Technology Co ltd
Original Assignee
White Rhino Zhida Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by White Rhino Zhida Beijing Technology Co ltd filed Critical White Rhino Zhida Beijing Technology Co ltd
Priority to CN202210062573.1A priority Critical patent/CN114415133A/zh
Publication of CN114415133A publication Critical patent/CN114415133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种激光雷达‑相机外参标定方法、装置、设备及存储介质，用于解决传统的激光雷达‑相机标定方法有的需要依靠人工手动调整，比较耗费时间；有的是依靠标定板或者标定间等外部设施配合算法进行标定，场地的限制较大的技术问题。本发明包括：通过所述激光雷达采集周边环境的点云数据；通过所述相机采集所述周边环境的图像数据；根据所述点云数据计算点云熵，以及根据所述图像数据计算图像熵，并根据所述点云数据和所述图像数据计算联合熵；根据所述点云熵、所述图像熵和所述联合熵生成所述点云数据与图像数据的互信息；以所述互信息为配准程度衡量指标，采用powell算法求解激光雷达‑相机标定外参。

Description

激光雷达-相机外参标定方法、装置、设备及存储介质
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种激光雷达-相机外参标定方法、装置、设备及存储介质。
背景技术
在无人驾驶系统中，感知往往是最基础的一项工作，只有完整感知到周围的路况、障碍物等，才能进行下一步的决策。目前自动驾驶的车辆通常会用激光雷达和相机作为主要的传感器。
激光雷达可以获得环境的空间信息，对外界光线无依赖，但难以获得色彩信息，并且激光雷达得到的点相对稀疏。而相机虽然对环境光依赖强，但是获取到的信息相对稠密，色彩信息也可以获取，总体信息量更大。因此将两种传感器的输出融合起来是常见的做法。融合两者的方式通常是将激光雷达给出的点云作为世界坐标系中的点，通过外参调整至相机坐标系下，再通过相机的内参将其转换到图像坐标系下。
然而，在实际场景中，车辆在生产后可能会因为硬件松动、运输影响等因素导致原本稳定的外参发生变化，需要重新进行标定。
传统的激光雷达-相机标定方法有的需要依靠人工手动调整，比较耗费时间；有的是依靠标定板或者标定间等外部设施配合算法进行标定，场地的限制较大。
发明内容
本发明提供了一种激光雷达-相机外参标定方法、装置、设备及存储介质，用于解决传统的激光雷达-相机标定方法有的需要依靠人工手动调整，比较耗费时间；有的是依靠标定板或者标定间等外部设施配合算法进行标定，场地的限制较大的技术问题。
本发明提供了一种激光雷达-相机外参标定方法，应用于车载系统，所述车载系统与激光雷达、相机通信；所述方法包括：
通过所述激光雷达采集周边环境的点云数据；
通过所述相机采集所述周边环境的图像数据；
根据所述点云数据计算点云熵，以及根据所述图像数据计算图像熵，并根据所述点云数据和所述图像数据计算联合熵；
根据所述点云熵、所述图像熵和所述联合熵生成所述点云数据与图像数据的互信息；
以所述互信息为配准程度衡量指标，采用powell算法求解激光雷达-相机标定外参。
可选地，所述通过所述激光雷达采集周边环境的点云数据的步骤，包括：
通过所述激光雷达对周边环境进行数据采集，得到多帧点云帧；
采用多帧所述点云帧构建稠密点云，得到点云数据。
可选地，所述图像数据处于图像坐标系下；所述根据所述点云数据计算点云熵，以及根据所述图像数据计算图像熵，并根据所述点云数据和所述图像数据计算联合熵的步骤，包括：
采用所述相机的初始外参将所述点云数据转换至所述相机的相机坐标系下，得到点云相机数据；
采用所述相机的标定内参将所述点云相机数据转换到所述图像坐标系下，得到点云图像数据；
在所述图像数据中匹配所述点云图像数据的图像对应数据；
采用所述点云图像数据计算点云熵；
采用所述图像对应数据计算图像熵；
采用所述点云图像数据和所述图像对应数据计算联合熵。
可选地，所述点云图像数据包括多个点云投影；所述采用所述点云图像数据计算点云熵的步骤，包括：
获取各个所述点云投影的强度值；
统计所有所述点云投影的强度值概率分布；
根据所述强度值概率分布计算点云熵。
可选地，所述图像对应数据包括多个像素点；所述采用所述图像对应数据计算图像熵的步骤，包括：
获取各个所述像素点的灰度值；
统计所有所述像素点的灰度值概率分布；
根据所述灰度值概率分布计算图像熵。
可选地，所述采用所述点云图像数据和所述图像对应数据计算联合熵的步骤，包括：
根据所述点云图像数据的所有点云投影的强度值及对应的所述图像对应数据的像素点的灰度值，计算联合熵。
本发明还提供了一种激光雷达-相机外参标定装置，应用于车载系统，所述车载系统与激光雷达、相机通信；所述装置包括：
点云数据采集模块，用于通过所述激光雷达采集周边环境的点云数据；
图像数据采集模块，用于通过所述相机采集所述周边环境的图像数据；
熵计算模块，用于根据所述点云数据计算点云熵，以及根据所述图像数据计算图像熵，并根据所述点云数据和所述图像数据计算联合熵；
互信息生成模块，用于根据所述点云熵、所述图像熵和所述联合熵生成所述点云数据与图像数据的互信息；
标定模块，用于以所述互信息为配准程度衡量指标，采用powell算法求解激光雷达-相机标定外参。
可选地，所述点云数据采集模块，包括：
采集子模块，用于通过所述激光雷达对周边环境进行数据采集，得到多帧点云帧；
点云数据生成子模块，用于采用多帧所述点云帧构建稠密点云，得到点云数据。
本发明还提供了一种电子设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行如上任一项所述的激光雷达-相机外参标定方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行如上任一项所述的激光雷达-相机外参标定方法。
从以上技术方案可以看出，本发明具有以下优点：本发明首先通过激光雷达采集周边环境的点云数据和图像数据，然后通过点云数据和图像数据分别计算点云熵、图像熵及两者之间的联合熵，以通过点云熵、图像熵和联合熵计算点云数据和图像数据之间的互信息，并结合算法对互信息进行处理以实现激光雷达-相机的外参标定。从而无需标定板或者标定间等外部设施进行数据采集后进行标定，降低了标定过程对场地的要求。同时无需人工手动调整，减少了标定时间，提高了标定效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种激光雷达-相机外参标定方法的步骤流程图；
图2为本发明另一实施例提供的一种激光雷达-相机外参标定方法的步骤流程图；
图3为本发明实施例提供的一种激光雷达-相机外参标定装置的结构框图。
具体实施方式
本发明实施例提供了一种激光雷达-相机外参标定方法、装置、设备及存储介质，用于解决传统的激光雷达-相机标定方法有的需要依靠人工手动调整，比较耗费时间；有的是依靠标定板或者标定间等外部设施配合算法进行标定，场地的限制较大的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的一种激光雷达-相机外参标定方法的步骤流程图。
本发明提供的一种激光雷达-相机外参标定方法，应用于车载系统，车载系统与激光雷达、相机通信；其中：
车载系统是管理和控制车载硬件与车载软件资源的程序系统，是直接运行在AB上的最基本的系统软件，任何上层软件，HMI，数据连接都必须在操作系统的支持下才能运行。
激光雷达：是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号(激光束)，然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，从而对目标进行探测、跟踪和识别。它由激光发射机、光学接收机、转台和信息处理系统等组成，激光器将电脉冲变成光脉冲发射出去，光接收机再把从目标反射回来的光脉冲还原成电脉冲，送到显示器。本发明的激光雷达设置在车载系统所在车辆的车身上，用于采集周边的环境信息。
相机：本发明实施例的相机是指安装在车身上，可采集周边环境的图像的图像采集设备。
本发明具体可以包括以下步骤：
步骤101，通过激光雷达采集周边环境的点云数据；
步骤102，通过相机采集周边环境的图像数据；
传统的激光雷达-相机标定方法需要依靠标定板或者标定件等外部设施辅助进行数据采集，以配合算法进行标定，场地限制较大。
有鉴于此，本发明实施例不对采集的对象进行约束，而是通过激光雷达采集周边环境的环境数据生成点云数据，以及通过相机采集周边环境的图像数据，并建立两者之间的关联，以达到类似标定板或标定间的效果，从而无需事先设定标定板及标定间。
其中，采集的环境对象一般为建筑物等体积较大、区域分明的物体。
步骤103，根据点云数据计算点云熵，以及根据图像数据计算图像熵，并根据点云数据和图像数据计算联合熵；
熵，可以看作一个系统“混乱程度”的度量。
在本发明实施例中，可以计算点云数据的点云熵、图像数据的图像熵、以及点云数据与图像数据之间的联合熵，以通过点云熵、图像熵和联合熵来计算点云数据与图像数据之间的关联关系。
步骤104，根据点云熵、图像熵和联合熵生成点云数据与图像数据的互信息；
互信息(Mutual Information，MI)是信息论里一种有用的信息度量，它可以看成一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。
在本发明实施例中，可以根据点云数据的点云熵、图像数据的图像熵、以及点云数据与图像数据之间的联合熵来生成点云数据与图像数据间的互信息。
步骤105，以互信息为配准程度衡量指标，采用powell算法求解激光雷达-相机标定外参。
Powell算法是一种有效的直接搜索方法，这种方法本质上是共轭方向法。Powell算法把整个计算过程分成若干个阶段，每一个阶段(一轮迭代)有n+1次一位搜索组成。在算法的每一阶段中,先依次沿着已知的n个方向搜索，得一个最好点,然后沿着本阶段的初点与该最好点连线方向进行搜索，求得这一阶段的最好点。再用最后的搜索方向取代前n个方向之一，开始下一阶段的迭代。
在生成点云数据与图像数据之间的联合熵后，可以以互信息为配准程度衡量指标，采用powell算法求解激光雷达-相机标定外参。
需要说明的是，基于Powell算法对互信息进行处理，来生成标定外参，是本领域技术人员的常规操作，此处不再赘述。
本发明首先通过激光雷达采集周边环境的点云数据和图像数据，然后通过点云数据和图像数据分别计算点云熵、图像熵及两者之间的联合熵，以通过点云熵、图像熵和联合熵计算点云数据和图像数据之间的互信息，并结合算法对互信息进行处理以实现激光雷达-相机的外参标定。从而无需标定板或者标定间等外部设施进行数据采集后进行标定，降低了标定过程对场地的要求。同时无需人工手动调整，减少了标定时间，提高了标定效率。
请参阅图2，图2为本发明另一实施例提供的一种激光雷达-相机外参标定方法的步骤流程图。具体可以包括以下步骤：
步骤201，通过激光雷达对周边环境进行数据采集，得到多帧点云帧；
步骤202，采用多帧点云帧构建稠密点云，得到点云数据；
在实际应用中，在无人车上为了节省计算资源与成本往往会采集较为稀疏的点云，但是稀疏的点云对于MI配置有较大的负面影响，首先其会影响强度值的分布，使得通过算法求解结果偏差较大；其次MI关于位姿的函数会呈现更强的非凸性质，在接近真值的位置局部搜索也难以收敛。
有鉴于此，可以选择根据一段时间内采集的稀疏点云构建出较为稠密的点云，即采集周边环境一定时间段内的多帧激光雷达数据，生成多帧点云帧，并进一步通过多帧点云帧构建稠密点云，得到点云数据。然后与相机图像进行配准。
在实际应用中，构建稠密点云的思路可以有以下两种：
一是将连续的稀疏点云以其中某一帧为基准，利用ICP算法进行配准，得到稠密点云。
ICP(Iterative Closest Point，最近点迭代算法)，其特征在于，通过求取源点云和目标点云之间的对应点对，基于对应点对构造旋转平移矩阵，并利用所求矩阵，将源点云变换到目标点云的坐标系下，估计变换后源点云与目标点云的误差函数，若误差函数值大于阀值，则迭代进行上述运算直到满足给定的误差要求。
二是利用车本身的定位系统，将采集到的多帧点云都转换到世界坐标系下，再将世界坐标系中的数据转换到激光雷达坐标系，即可得到稠密点云和图像的数据对。
方法一的优点在于不依赖定位，只要激光雷达和相机的数据即可，但是只能找稀疏点云所对应的图像。方法二依赖定位系统，但是对于图像的选择比较自由，并且精度也相对更高一些。
步骤203，通过相机采集周边环境的图像数据；
步骤204，根据点云数据计算点云熵，以及根据图像数据计算图像熵，并根据点云数据和图像数据计算联合熵；
在本发明实施例中，可以计算点云数据的点云熵、图像数据的图像熵、以及点云数据与图像数据之间的联合熵，以通过点云熵、图像熵和联合熵来生成点云数据与图像数据之间的互信息。
在一个示例中，图像数据处于图像坐标系下；根据点云数据计算点云熵，以及根据图像数据计算图像熵，并根据点云数据和图像数据计算联合熵的步骤，可以包括以下子步骤：
S41，采用相机的初始外参将点云数据转换至相机的相机坐标系下，得到点云相机数据；
在本发明实施例中，首先可以根据已知的初始外参，即激光雷达与相机的设计值，生成RT(Rotation and Translation，旋转平移矩阵)，其中，R为3*3的旋转矩阵，T为雷达坐标系原点和相机坐标系原点在x、y、z三个方向的相对位移量，两者也可以结合即为4*4的旋转平移矩阵RT。具体函数表示如下：
Figure BDA0003478804350000081
Figure BDA0003478804350000082
Figure BDA0003478804350000083
其中，t1、t2、t3分别是x、y、z三个方向上的平移量。
接着，基于初始外参的RT，可以将点云数据从激光雷达坐标系Pl转换至相机坐标系下，得到点云相机数据Pc。具体转换公式如下：
Figure BDA0003478804350000091
S42，采用相机的标定内参将点云相机数据转换到图像坐标系下，得到点云图像数据；
在获取到点云相机数据后，可以用相机的标定内参K将Pc转换到图像坐标系下，得到点云图像数据Px，此时图像数据上的像素点与点云图像数据处于同一个坐标系下。具体的函数表达如下：
Figure BDA0003478804350000092
Figure BDA0003478804350000093
其中，fx和fy分别为点云相机数据在x方向和y方向上的像距；cx，cy分别为点云相机数据在x方向和y方向上的中心点平移距离，(u、v、1)为点云图像数据Px在图像坐标系下的具体坐标，(xc、yc、zc)为点云相机数据Pc的在相机坐标系下具体的三维坐标。
S43，在图像数据中匹配点云图像数据的图像对应数据；
S44，采用点云图像数据计算点云熵；
在获取到点云图像数据后，可以将其与图像数据进行匹配，得到与点云图像数据对应的图像对应数据。然后采用点云图像数据计算点云熵、采用图像对应数据计算图像熵、以及采用点云图像数据和图像对应数据计算联合熵。
在一个示例中，点云图像数据包括多个点云头像，采用点云图像数据计算点云熵的步骤可以包括以下子步骤：
S441，获取各个点云投影的强度值；
S442，统计所有点云投影的强度值概率分布；
S443，根据强度值概率分布计算点云熵。
在本发明实施例中，强度值是激光雷达除了距离信息返回的另一个值，是激光雷达发出的激光照射在物体表面返回的强度大小。
基于点云图像数据中的各个点云投影的强度值，可以统计所有点云投影的强度概率分布。在具体实现中，可以将每个点云投影的强度值统一映射到0-255区间内，遍历统计0-255每个值的点云投影的数量，得到直方图C(X)，然后根据已有的直方图C(n)即可求出点云投影的强度值概率分布P(X)。具体过程如下所示，其中N＝255。
Figure BDA0003478804350000101
在计算得到强度值概率分布后，可通过以下公式计算得到下述公式计算得到点云熵H(X)，其中X为强度值：
Figure BDA0003478804350000102
S45，采用图像对应数据计算图像熵；
在一个示例中，图像对应数据包括多个像素点；采用图像对应数据计算图像熵的步骤，可以包括以下子步骤：
S451，获取各个像素点的灰度值；
S452，统计所有像素点的灰度值概率分布；
S453，根据灰度值概率分布计算图像熵。
灰度值：由于景物各点的颜色及亮度不同，摄成的图像上各点会呈现不同程度的灰色。把白色与黑色之间按对数关系分成若干级，范围一般从0到255，白色为255，黑色为0；不同的数值即代表了不同的灰度值。
灰度值概率分布P(Y)以及图像熵H(Y)的计算过程分别与强度值概率分布P(X)和点云熵H(X)的计算过程类似，此处不再赘述，其中Y为灰度值。
S46，采用点云图像数据和图像对应数据计算联合熵。
在一个示例中，采用点云图像数据和图像对应数据计算联合熵的步骤，包括：
S461，根据点云图像数据的所有点云投影的强度值及对应的图像对应数据的像素点的灰度值，计算联合熵。
在具体实现中，可以根据点云图像数据的所有点云投影的强度值及对应的图像对应数据的像素点的灰度值来计算两者的联合概率分布，并进一步基于联合概率分布计算联合熵，具体过程如下：
Figure BDA0003478804350000111
Figure BDA0003478804350000112
其中，X、Y分别为强度值和灰度值，C(i，j)为已知的直方图；N＝255，M＝255。
步骤205，根据点云熵、图像熵和联合熵生成点云数据与图像数据的互信息；
在本发明实施例中，可以根据点云数据的点云熵、图像数据的图像熵、以及点云数据与图像数据之间的联合熵来生成点云数据与图像数据间的互信息。
具体可以通过以下公式计算得到：
I(X,Y)＝H(X)+H(Y)-H(X,Y)
其中，I(X,Y)为点云数据与图像数据的互信息。
步骤206，以互信息为配准程度衡量指标，采用powell算法求解激光雷达-相机标定外参。
在生成点云数据与图像数据之间的联合熵后，可以以互信息为配准程度衡量指标，采用powell算法求解激光雷达-相机标定外参。
需要说明的是，基于Powell算法对互信息进行处理，来生成标定外参，是本领域技术人员的常规操作，此处不再赘述。
本发明首先通过激光雷达采集周边环境的点云数据和图像数据，然后通过点云数据和图像数据分别计算点云熵、图像熵及两者之间的联合熵，以通过点云熵、图像熵和联合熵计算点云数据和图像数据之间的互信息，并结合算法对互信息进行处理以实现激光雷达-相机的外参标定。从而无需标定板或者标定间等外部设施进行数据采集后进行标定，降低了标定过程对场地的要求。同时无需人工手动调整，减少了标定时间，提高了标定效率。
请参阅图3，图3为本发明实施例提供的一种激光雷达-相机外参标定装置的结构框图。
本发明实施例提供了一种激光雷达-相机外参标定装置，应用于车载系统，车载系统与激光雷达、相机通信；装置包括：
点云数据采集模块301，用于通过激光雷达采集周边环境的点云数据；
图像数据采集模块302，用于通过相机采集周边环境的图像数据；
熵计算模块303，用于根据点云数据计算点云熵，以及根据图像数据计算图像熵，并根据点云数据和图像数据计算联合熵；
互信息生成模块304，用于根据点云熵、图像熵和联合熵生成点云数据与图像数据的互信息；
标定模块305，用于以互信息为配准程度衡量指标，采用powell算法求解激光雷达-相机标定外参。
在本发明实施例中，点云数据采集模块301，包括：
采集子模块，用于通过激光雷达对周边环境进行数据采集，得到多帧点云帧；
点云数据生成子模块，用于采用多帧点云帧构建稠密点云，得到点云数据。
在本发明实施例中，图像数据处于图像坐标系下；熵计算模块303，包括：
采用相机的初始外参将点云数据转换至相机的相机坐标系下，得到点云相机数据；
点云图像数据生成子模块，用于采用相机的标定内参将点云相机数据转换到图像坐标系下，得到点云图像数据；
图像对应数据匹配子模块，用于在图像数据中匹配点云图像数据的图像对应数据；
点云熵计算子模块，用于采用点云图像数据计算点云熵；
图像熵计算子模块，用于采用图像对应数据计算图像熵；
联合熵计算子模块，用于采用点云图像数据和图像对应数据计算联合熵。
在本发明实施例中，点云图像数据包括多个点云投影；点云熵计算子模块，包括：
强度值获取单元，用于获取各个点云投影的强度值；
强度值概率分布统计单元，用于统计所有点云投影的强度值概率分布；
点云熵计算单元，用于根据强度值概率分布计算点云熵。
在本发明实施例中，图像对应数据包括多个像素点；图像熵计算子模块，包括：
灰度值获取单元，用于获取各个像素点的灰度值；
灰度值概率分布统计单元，用于统计所有像素点的灰度值概率分布；
图像熵计算单元，用于根据灰度值概率分布计算图像熵。
在本发明实施例中，联合熵计算子模块，包括：
联合熵计算单元，用于根据点云图像数据的所有点云投影的强度值及对应的图像对应数据的像素点的灰度值，计算联合熵。
本发明实施例还提供了一种电子设备，设备包括处理器以及存储器：
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行本发明实施例的激光雷达-相机外参标定方法。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本发明实施例的激光雷达-相机外参标定方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种激光雷达-相机外参标定方法，其特征在于，应用于车载系统，所述车载系统与激光雷达、相机通信；所述方法包括：
通过所述激光雷达采集周边环境的点云数据；
通过所述相机采集所述周边环境的图像数据；
根据所述点云数据计算点云熵，以及根据所述图像数据计算图像熵，并根据所述点云数据和所述图像数据计算联合熵；
根据所述点云熵、所述图像熵和所述联合熵生成所述点云数据与图像数据的互信息；
以所述互信息为配准程度衡量指标，采用powell算法求解激光雷达-相机标定外参。
2.根据权利要求1所述的方法，其特征在于，所述通过所述激光雷达采集周边环境的点云数据的步骤，包括：
通过所述激光雷达对周边环境进行数据采集，得到多帧点云帧；
采用多帧所述点云帧构建稠密点云，得到点云数据。
3.根据权利要求1所述的方法，其特征在于，所述图像数据处于图像坐标系下；所述根据所述点云数据计算点云熵，以及根据所述图像数据计算图像熵，并根据所述点云数据和所述图像数据计算联合熵的步骤，包括：
采用所述相机的初始外参将所述点云数据转换至所述相机的相机坐标系下，得到点云相机数据；
采用所述相机的标定内参将所述点云相机数据转换到所述图像坐标系下，得到点云图像数据；
在所述图像数据中匹配所述点云图像数据的图像对应数据；
采用所述点云图像数据计算点云熵；
采用所述图像对应数据计算图像熵；
采用所述点云图像数据和所述图像对应数据计算联合熵。
4.根据权利要求3所述的方法，其特征在于，所述点云图像数据包括多个点云投影；所述采用所述点云图像数据计算点云熵的步骤，包括：
获取各个所述点云投影的强度值；
统计所有所述点云投影的强度值概率分布；
根据所述强度值概率分布计算点云熵。
5.根据权利要求4所述的方法，其特征在于，所述图像对应数据包括多个像素点；所述采用所述图像对应数据计算图像熵的步骤，包括：
获取各个所述像素点的灰度值；
统计所有所述像素点的灰度值概率分布；
根据所述灰度值概率分布计算图像熵。
6.根据权利要求5所述的方法，其特征在于，所述采用所述点云图像数据和所述图像对应数据计算联合熵的步骤，包括：
根据所述点云图像数据的所有点云投影的强度值及对应的所述图像对应数据的像素点的灰度值，计算联合熵。
7.一种激光雷达-相机外参标定装置，其特征在于，应用于车载系统，所述车载系统与激光雷达、相机通信；所述装置包括：
点云数据采集模块，用于通过所述激光雷达采集周边环境的点云数据；
图像数据采集模块，用于通过所述相机采集所述周边环境的图像数据；
熵计算模块，用于根据所述点云数据计算点云熵，以及根据所述图像数据计算图像熵，并根据所述点云数据和所述图像数据计算联合熵；
互信息生成模块，用于根据所述点云熵、所述图像熵和所述联合熵生成所述点云数据与图像数据的互信息；
标定模块，用于以所述互信息为配准程度衡量指标，采用powell算法求解激光雷达-相机标定外参。
8.根据权利要求7所述的装置，其特征在于，所述点云数据采集模块，包括：
采集子模块，用于通过所述激光雷达对周边环境进行数据采集，得到多帧点云帧；
点云数据生成子模块，用于采用多帧所述点云帧构建稠密点云，得到点云数据。
9.一种电子设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-6任一项所述的激光雷达-相机外参标定方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-6任一项所述的激光雷达-相机外参标定方法。
CN202210062573.1A 2022-01-19 2022-01-19 激光雷达-相机外参标定方法、装置、设备及存储介质 Pending CN114415133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210062573.1A CN114415133A (zh) 2022-01-19 2022-01-19 激光雷达-相机外参标定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210062573.1A CN114415133A (zh) 2022-01-19 2022-01-19 激光雷达-相机外参标定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114415133A true CN114415133A (zh) 2022-04-29

Family

ID=81275730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210062573.1A Pending CN114415133A (zh) 2022-01-19 2022-01-19 激光雷达-相机外参标定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114415133A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115595A (zh) * 2022-06-30 2022-09-27 东北林业大学 一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115595A (zh) * 2022-06-30 2022-09-27 东北林业大学 一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法
CN115115595B (zh) * 2022-06-30 2023-03-03 东北林业大学 一种面向森林火灾监测的机载激光雷达和红外相机的实时标定方法

Similar Documents

Publication Publication Date Title
CN106940704B (zh) 一种基于栅格地图的定位方法及装置
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
WO2020083307A1 (en) Method, apparatus, and storage medium for obtaining depth image
CN105335955A (zh) 对象检测方法和对象检测装置
Munoz-Banon et al. Targetless camera-lidar calibration in unstructured environments
WO2021195886A1 (zh) 距离确定方法、可移动平台及计算机可读存储介质
CN113160327A (zh) 一种点云补全的实现方法和系统
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
CN110428461B (zh) 结合深度学习的单目slam方法及装置
CN114415133A (zh) 激光雷达-相机外参标定方法、装置、设备及存储介质
Jung et al. A novel 2.5 D pattern for extrinsic calibration of tof and camera fusion system
El Bouazzaoui et al. Enhancing rgb-d slam performances considering sensor specifications for indoor localization
CN116188893A (zh) 基于bev的图像检测模型训练及目标检测方法和装置
CN111654626B (zh) 一种包含深度信息的高分辨率相机
Herau et al. MOISST: Multimodal Optimization of Implicit Scene for SpatioTemporal Calibration
CN113052890A (zh) 一种深度真值获取方法、装置、系统及深度相机
Shanmugam et al. A machine-vision-based real-time sensor system to control weeds in agricultural fields
US20230104937A1 (en) Absolute scale depth calculation device, absolute scale depth calculation method, and computer program product
CN112509058B (zh) 外参的计算方法、装置、电子设备和存储介质
WO2022040940A1 (zh) 标定方法、装置、可移动平台及存储介质
CN114370871A (zh) 一种可见光定位与激光雷达惯性里程计的紧耦合优化方法
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
KR20230036651A (ko) 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법
CN111982071B (zh) 一种基于tof相机的3d扫描方法及系统
US11967117B2 (en) Cloud-based training and camera correction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination