CN111415385B - 激光雷达和多线阵相机组合系统的相对位姿参数优化方法 - Google Patents

激光雷达和多线阵相机组合系统的相对位姿参数优化方法 Download PDF

Info

Publication number
CN111415385B
CN111415385B CN202010134586.6A CN202010134586A CN111415385B CN 111415385 B CN111415385 B CN 111415385B CN 202010134586 A CN202010134586 A CN 202010134586A CN 111415385 B CN111415385 B CN 111415385B
Authority
CN
China
Prior art keywords
coordinate system
linear array
array camera
object space
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010134586.6A
Other languages
English (en)
Other versions
CN111415385A (zh
Inventor
黄玉春
李亚楠
张博
陈玉曦
陈宇飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010134586.6A priority Critical patent/CN111415385B/zh
Publication of CN111415385A publication Critical patent/CN111415385A/zh
Application granted granted Critical
Publication of CN111415385B publication Critical patent/CN111415385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种激光雷达和多线阵相机组合系统的相对位姿参数优化方法，属于多传感器融合领域，利用激光雷达数据以及激光雷达、线阵相机坐标系与世界坐标系的转换关系得到各线阵相机的物方点云集；结合线阵相机内外方位元素及成像方式计算点云集的像点坐标，并利用影像对点云集赋灰度值，计算相邻两个线阵相机的物方重叠区，生成物方重叠区图像，计算重叠区图像相似度。依据智能优化算法调整线阵相机坐标系和世界坐标系之间的转换关系，以物方影像非重叠区内物体形变程度最小以及重叠区内相似度最大为准则优化线阵相机的外参，得到多个线阵相机坐标系之间的转换关系，用于影像拼接和隧道量测，此优化方法具有足够的精度和稳定性。

Description

激光雷达和多线阵相机组合系统的相对位姿参数优化方法
技术领域
本发明属于多传感器融合领域，更具体地，涉及一种激光雷达和多个线阵相机组合系统的相对位姿参数优化方法。
背景技术
在多传感器融合领域中，传感器之间的坐标系转换关系是至关重要的信息，对实际工程应用有着重要的意义。例如，在进行隧道裂缝检测的时候，由于隧道衬砌断面较大，为达到较高的裂缝检测精度，需通过多个线阵相机来实现隧道衬砌表面的覆盖，每相邻两个相机之间存在一定的重叠区域。为了直观的展示隧道衬砌表面的病害，需要把多个线阵相机的图片数据进行拼接，即把数张有重叠区域的、不同视角的图像拼成一幅大型的无缝高分辨率图像。现实中的隧道壁表面一般比较光滑，特征较少，基于特征点匹配的拼接方法往往不起作用。故需用多个线阵相机同时对隧道面进行影像数据采集，结合单线激光扫描仪采集的激光数据进行几何拼接，得到整个隧道面的全景影像，此方法可以提高隧道裂缝检测的精度和效率。
因此，如何高精度和高效地进行激光雷达和多个线阵相机组合系统的相机外参优化是目前亟需解决的技术难题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种激光雷达和多线阵相机组合系统的相对位姿参数优化方法，由此解决如何高精度和高效地进行激光雷达和多线阵相机组合系统的相对位姿参数优化的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种激光雷达和多线阵相机组合系统的相对位姿参数优化方法，包括：
(1)生成每个线阵相机拍摄范围内的物方点云集，并利用隧道影像分别对各所述物方点云集进行灰度赋值，以赋予点云纹理信息得到目标物方点云集；
(2)根据各所述目标物方点云集得到相邻两个线阵相机之间的物方拍摄重叠区，生成物方重叠区图像，并计算所述物方重叠区图像的相似度；
(3)修改各线阵相机坐标系与世界坐标系的关系，转至步骤(2)，直到所述相似度达到预设阈值或修改值达到预设参数修改范围，得到各所述线阵相机坐标系与世界坐标系的转换关系的最优参数，进而得到各所述线阵相机坐标系之间和各所述线阵相机坐标系与激光雷达坐标系的转换关系。
优选地，步骤(1)包括：
(1.1)对激光雷达数据进行曲线拟合，以线阵相机成像触发间距为固定间隔对所述激光雷达数据进行插值，生成加密二维激光点，并按照逆时针方向对所述加密二维激光点进行编号，将带有编号的加密二维激光点进行拟合后得到的曲线展成直线构建目标坐标轴，在所述目标坐标轴中，激光点号坐标轴为L轴，车行距离作为Z轴，将各所述加密二维激光点转换成激光雷达坐标系下的三维坐标点，根据激光雷达坐标系和世界坐标系之间的转换关系，将激光雷达坐标系下的各三维坐标点转换至世界坐标系，对世界坐标系下的各三维坐标点以线阵相机成像触发间距为固定间隔沿Z轴扩展，使世界坐标系下的物方规则点云集Z轴数值的分布范围大于线阵相机采集的影像对应的隧道断面拍摄范围，利用物方规则点云集生成拍摄断面，得到世界坐标系下的断面规则点云；
(1.2)根据世界坐标系和各线阵相机坐标系之间的转换关系，结合所述世界坐标系下的断面规则点云得到每个线阵相机的第一线影像对应的物方点云集；
(1.3)根据每个线阵相机的第一线影像对应的物方点云集以线阵相机成像触发间距为固定间隔向世界坐标系的Y轴反方向扩展，生成各线阵相机的拍摄范围点云集，根据每个线阵相机的拍摄范围点云集对应的像点坐标和每个线阵相机采集的隧道断面影像对每个线阵相机的拍摄范围点云集进行灰度赋值，赋予点云纹理信息，得到目标物方点云集。
优选地，步骤(1.2)包括：
根据世界坐标系和各线阵相机坐标系之间的转换关系，得到线阵相机扫描面方程，根据所述线阵相机扫描面方程得到世界坐标系下的断面规则点云中各点与每个线阵相机扫描面的距离，依据线阵相机成像触发间距设置阈值，若目标点对应的距离小于所述阈值，则判定所述目标点能够被拍摄到，再根据线阵相机成像方式结合相机的内外参得到所述目标点对应的像点坐标，进而生成线阵相机第一线影像对应的物方点云集。
优选地，步骤(2)包括：
(2.1)根据每个线阵相机对应的目标物方点云集，计算相邻两个线阵相机在世界坐标系的XOY坐标系下的矩形重叠区范围；
(2.2)对相邻两个线阵相机的矩形重叠区范围内的物方点云坐标进行分析，得到世界坐标系Y轴上的范围以及激光点号坐标系L轴上的范围，以此构建一个规则的重叠区格网，并按照最近邻准则根据每个线阵相机的物方点云灰度值生成相邻两个线阵相机的物方重叠区图像，进而计算物方重叠区图像的相似度。
优选地，步骤(3)包括：
(3.1)确定参数调整方向，依据调整方向调整每个线阵相机坐标系与世界坐标系的关系，并重新转入步骤(2)，计算新的物方重叠区图像的相似度；
(3.2)不断调整各线阵相机坐标系和世界坐标系之间的转换关系，选取物方影像非重叠区内物体形变程度最小以及重叠区内相似度最大的一组参数作为最终的线阵相机坐标系和世界坐标系之间的转换参数，进而根据激光雷达坐标系与世界坐标系的关系计算出每个线阵相机坐标系和激光雷达坐标系的转换关系以及各线阵相机坐标系之间的转换关系。
优选地，步骤(3.1)包括：
以满足物方影像非重叠区内物体形变程度最小为约束条件，使物方重叠区图像相似度最大为目标的目标函数，根据所述目标函数确定参数调整方向，依据调整方向调整每个线阵相机坐标系与世界坐标系的关系，并重新转入步骤(2)，计算新的物方重叠区图像的相似度。
优选地，参数调整包括R调整和T调整，其中，R调整是修改世界坐标系与线阵相机坐标系之间的旋转关系；T调整是修改世界坐标系与线阵相机坐标系之间的平移关系。
优选地，所述根据所述目标函数确定参数调整方向，依据调整方向调整每个线阵相机坐标系与世界坐标系的关系，包括：
根据初始的线阵相机坐标系与世界坐标系的转换关系及所述目标函数确定每个待调整变量趋近最优值的方向，以该方向为基础对待调整参数进行调整，将调整后的所有参数组合进行重叠区相似度的计算，选取物方重叠区图像相似度最大的一组参数作为第一次调整的最优参数；
根据第一次调整的最优参数及所述目标函数确定每个待调整变量趋近最优值的方向，以该方向为基础对第一次调整的最优参数进行调整，将调整后的所有参数组合进行重叠区相似度的计算，选取物方重叠区图像相似度最大的一组参数作为第二次调整的最优参数；
根据第二次调整的最优参数及所述目标函数确定每个待调整变量趋近最优值的方向，以该方向为基础对第二次调整的最优参数进行调整，将调整后的所有参数组合进行重叠区相似度的计算，选取物方重叠区图像相似度最大的一组参数作为最终的线阵相机坐标系和世界坐标系之间的转换参数。
按照本发明的另一方面，提供了一种激光雷达和多线阵相机组合系统的相对位姿参数优化装置，包括：
物方点云集获取模块，用于生成每个线阵相机拍摄范围内的物方点云集，并利用隧道影像分别对各所述物方点云集进行灰度赋值，以赋予点云纹理信息得到目标物方点云集；
相似度计算模块，用于根据各所述目标物方点云集得到相邻两个线阵相机之间的物方拍摄重叠区，生成物方重叠区图像，并计算所述物方重叠区图像的相似度；
参数优化模块，用于修改各线阵相机坐标系与世界坐标系的关系，并返回执行所述相似度计算模块的操作，直到所述相似度达到预设阈值或修改值达到预设参数修改范围，得到各所述线阵相机坐标系与世界坐标系的转换关系的最优参数，进而得到各所述线阵相机坐标系之间和各所述线阵相机坐标系与激光雷达坐标系的转换关系。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明基于激光雷达和多个线阵相机组合系统，对多线阵相机的外参进行优化得到相机与相机和相机与激光雷达之间的坐标系转换关系，对隧道影像拼接和隧道量测起着关键性作用，该优化方法在工程测量中具有较强的可实施性，同时具有高度的稳定性和足够的精度。
附图说明
图1是本发明实施例提供的一种激光雷达和多线阵相机组合系统的相对位姿参数优化方法的流程示意图；
图2是本发明实施例提供的一种激光雷达和多个线阵相机组合系统以及相关坐标系示意图；
图3是本发明实施例提供的一种装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示是本发明实施例提供的一种激光雷达和多线阵相机组合系统的相对位姿参数优化方法的流程示意图，包括以下步骤：
(1)生成每个线阵相机拍摄范围内的物方点云集，并利用隧道影像对各物方点云赋予纹理信息；
(2)根据各物方点云的纹理信息得到各相邻线阵相机之间的物方点云的重叠区范围，生成重叠区图像，并计算各重叠区图像的相似度；
(3)修改各线阵相机坐标系与世界坐标系的关系，转至步骤(2)，直到相似度达到预设阈值或修改值达到预设参数修改范围，对每个线阵相机坐标系与世界坐标系的转换关系参数取最优，得到线阵相机坐标系之间和线阵相机坐标系与激光雷达坐标系的转换关系。
在本发明实施例中，步骤(1)可以通过以下方式实现：
(1.1)对实际采集的单线激光雷达数据进行曲线拟合，以线阵相机成像触发间距为固定间隔对激光雷达数据进行插值，生成加密二维激光点，模拟隧道纵切面轮廓，并按照逆时针方向对加密激光点进行编号，将带有编号的加密激光点进行拟合后得到的曲线展成直线构建新的坐标轴，激光点号坐标轴为L轴。以车行距离0m作为Z轴数值，将加密二维激光点转换成激光雷达坐标系下的三维坐标点，记RTWL为激光雷达坐标系和世界坐标系之间的转换关系，根据RTWL将激光雷达坐标系下的模拟隧道纵切面轮廓的点云集转换至世界坐标系，对世界坐标系下的点云集同样以线阵相机成像触发间距为固定间隔沿Z轴扩展，使世界坐标系下的物方规则点云集Z轴数值的分布范围远大于线阵相机采集的影像对应的隧道断面拍摄范围，利用物方规则点云集生成拍摄断面；
(1.2)记RTCW为世界坐标系和线阵相机坐标系之间的转换关系，根据RTCW计算每个线阵相机的第一线影像对应的物方点云集。
具体地，利用RTCW计算线阵相机扫描面方程，求模拟隧道纵切面轮廓的物方规则点云集与每个线阵相机扫描面的距离，依据线阵相机成像触发间距设置阈值，若得到的距离结果小于阈值，则判定该点可以被拍摄到，再根据线阵相机成像方式结合相机的内外参得到该点对应的像点坐标，生成线阵相机第一线影像对应的物方拍摄范围点云集；
(1.3)根据每个线阵相机第一线影像对应的物方拍摄范围点云集以线阵相机成像触发间距为固定间隔向世界坐标系Y轴反方向(车行方向)扩展，生成该线阵相机的拍摄范围点云集，根据每个线阵相机的相机拍摄范围点云集对应的像点坐标和每个线阵相机采集的隧道断面影像对每个线阵相机对应的拍摄范围点云集进行灰度赋值，赋予点云纹理信息，得到真实的隧道断面，如图2所示，生成的新的点云集形如P(Xw,Yw,Zw,x,y,Lp,Gray)，其中，Xw,Yw,Zw表示线阵相机物方点在世界坐标系下的坐标；x,y表示P点对应的像点坐标；Lp表示P点在新建物方图像坐标系L轴上的激光点号坐标值；Gray表示线阵相机物方P点对应的像点灰度值。
在本发明实施例中，步骤(2)可以通过以下方式实现：
(2.1)根据步骤(1)得到的每个相机对应的物方点云集，计算相邻两个线阵相机在世界坐标系的XOY坐标系下的矩形重叠区范围；
(2.2)对相邻两个线阵相机重叠区范围内的物方点云坐标进行分析，得到世界坐标系Y轴上的范围y1,y2以及激光点号坐标系L轴上的范围l1,l2，以此构建一个规则的重叠区格网，并按照最近邻准则根据每个线阵相机的物方点云灰度值生成相邻两个线阵相机的物方重叠区图像；
(2.3)以归一化相关系数等为准则计算物方重叠区图像的相似度。
在本发明实施例中，步骤(3)可以通过以下方式实现：
(3.1)利用智能优化搜索算法计算参数调整方向，依据该方向调整每个线阵相机坐标系与世界坐标系的关系RTCW，并重新转入步骤(2)，计算新的物方重叠区图像相似度；
其中，参数调整采取由粗到精的策略，每次调整的方向由智能优化搜索算法计算，步长和范围由经验值给出。线阵相机外参优化的目标是在满足物方影像非重叠区内物体形变程度极小的约束条件下，使物方重叠区图像相似度最大。依此构建带有约束条件的目标函数，需要优化的参数为每个线阵相机坐标系与世界坐标系的转换关系。
参数调整方法包括R调整和T调整。其中R调整是修改世界坐标系与线阵相机坐标系之间的旋转关系；T调整主要修改的是世界坐标系与线阵相机坐标系之间的平移关系。
第一次调整为粗调。具体地，由智能优化搜索算法，如遗传算法、差分进化算法、粒子群算法等，根据初始的线阵相机坐标系与世界坐标系的转换关系RTCW计算每个变量趋近最优值的方向，以该方向为基础对待优化参数进行调整。第一次调整的旋转角度调整范围为-2°～2°，步长为0.05°。记t0为平移关系初始值。平移距离调整范围为t0-0.2m～t0+0.2m，步长为0.05m。将此范围内的所有参数组合进行重叠区相似度的计算，选取其中物方重叠区图像相似度最大的一组参数RT′CW作为第一次粗调的最优结果。
第二次调整的转换关系初始值为第一次调整的最优参数RT′CW，由智能优化搜索算法根据RT′CW计算每个变量趋近最优值的方向，以该方向为基础对RT′CW进行调整。第二次调整的旋转角度调整范围变为-0.5°～0.5°，步长为0.05°。平移距离调整范围为t0-0.1m～t0+0.1m，步长为0.01m。本次调整得到的物方重叠区图像相似度最大的一组参数RT″CW为第二次调整的最优结果。
第三次调整的转换关系初始值为第二次调整的最优参数RT″CW，由智能优化搜索算法根据RT″CW计算每个变量趋近最优值的方向，以该方向为基础对RT″CW进行调整。第三次调整的旋转角度调整范围变为-0.1°～0.1°，步长为0.005°。平移距离调整范围为t0-0.02m～t0+0.02m，步长为0.005m。本次调整得到的物方重叠区图像相似度最大的一组参数RT″′CW为第三次调整的最优结果。
(3.2)不断调整线阵相机坐标系和世界坐标系之间的转换关系，选取物方影像非重叠区内物体形变程度最小以及重叠区内相同物体成像差异最小的一组参数作为优化结果，认为该组参数是具有一定精度和工程应用价值的线阵相机坐标系和世界坐标系之间的转换参数，并且可以根据激光雷达坐标系与世界坐标系的关系RTWL计算出每个线阵相机和激光雷达坐标系的转换关系以及线阵相机坐标系之间的转换关系。
如图3所示是本发明实施例提供的一种装置结构示意图，包括：
物方点云集获取模块，用于生成每个线阵相机拍摄范围内的物方点云集，并利用隧道影像分别对各物方点云集进行灰度赋值，以赋予点云纹理信息得到目标物方点云集；
相似度计算模块，用于根据各目标物方点云集得到相邻两个线阵相机之间的物方拍摄重叠区，生成物方重叠区图像，并计算物方重叠区图像的相似度；
参数优化模块，用于修改各线阵相机坐标系与世界坐标系的关系，并返回执行相似度计算模块的操作，直到相似度达到预设阈值或修改值达到预设参数修改范围，得到各线阵相机坐标系与世界坐标系的转换关系的最优参数，进而得到各线阵相机坐标系之间和各线阵相机坐标系与激光雷达坐标系的转换关系。
其中，各模块的具体实施方式可以参考上述方法实施例的描述，本发明实施例将不再复述。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种激光雷达和多线阵相机组合系统的相对位姿参数优化方法，其特征在于，包括：
(1)生成每个线阵相机拍摄范围内的物方点云集，并利用隧道影像分别对各所述物方点云集进行灰度赋值，以赋予点云纹理信息得到目标物方点云集；
(2)根据各所述目标物方点云集得到相邻两个线阵相机之间的物方拍摄重叠区，生成物方重叠区图像，并计算所述物方重叠区图像的相似度；
(3)修改各线阵相机坐标系与世界坐标系的关系，转至步骤(2)，直到所述相似度达到预设阈值或修改值达到预设参数修改范围，得到各所述线阵相机坐标系与世界坐标系的转换关系的最优参数，进而得到各所述线阵相机坐标系之间和各所述线阵相机坐标系与激光雷达坐标系的转换关系；
其中，步骤(1)包括：
(1.1)对激光雷达数据进行曲线拟合，以线阵相机成像触发间距为固定间隔对所述激光雷达数据进行插值，生成加密二维激光点，并按照逆时针方向对所述加密二维激光点进行编号，将带有编号的加密二维激光点进行拟合后得到的曲线展成直线构建目标坐标轴，在所述目标坐标轴中，激光点号坐标轴为L轴，车行距离作为Z轴，将各所述加密二维激光点转换成激光雷达坐标系下的三维坐标点，根据激光雷达坐标系和世界坐标系之间的转换关系，将激光雷达坐标系下的各三维坐标点转换至世界坐标系，对世界坐标系下的各三维坐标点以线阵相机成像触发间距为固定间隔沿Z轴扩展，使世界坐标系下的物方规则点云集Z轴数值的分布范围大于线阵相机采集的影像对应的隧道断面拍摄范围，利用物方规则点云集生成拍摄断面，得到世界坐标系下的断面规则点云；
(1.2)根据世界坐标系和各线阵相机坐标系之间的转换关系，结合所述世界坐标系下的断面规则点云得到每个线阵相机的第一线影像对应的物方点云集；
(1.3)根据每个线阵相机的第一线影像对应的物方点云集以线阵相机成像触发间距为固定间隔向世界坐标系的Y轴反方向扩展，生成各线阵相机的拍摄范围点云集，根据每个线阵相机的拍摄范围点云集对应的像点坐标和每个线阵相机采集的隧道断面影像对每个线阵相机的拍摄范围点云集进行灰度赋值，赋予点云纹理信息，得到目标物方点云集。
2.根据权利要求1所述的方法，其特征在于，步骤(1.2)包括：
根据世界坐标系和各线阵相机坐标系之间的转换关系，得到线阵相机扫描面方程，根据所述线阵相机扫描面方程得到世界坐标系下的断面规则点云中各点与每个线阵相机扫描面的距离，依据线阵相机成像触发间距设置阈值，若目标点对应的距离小于所述阈值，则判定所述目标点能够被拍摄到，再根据线阵相机成像方式结合相机的内外参得到所述目标点对应的像点坐标，进而生成线阵相机第一线影像对应的物方点云集。
3.根据权利要求1或2所述的方法，其特征在于，步骤(2)包括：
(2.1)根据每个线阵相机对应的目标物方点云集，计算相邻两个线阵相机在世界坐标系的XOY坐标系下的矩形重叠区范围；
(2.2)对相邻两个线阵相机的矩形重叠区范围内的物方点云坐标进行分析，得到世界坐标系Y轴上的范围以及激光点号坐标系L轴上的范围，以此构建一个规则的重叠区格网，并按照最近邻准则根据每个线阵相机的物方点云灰度值生成相邻两个线阵相机的物方重叠区图像，进而计算物方重叠区图像的相似度。
4.根据权利要求3所述的方法，其特征在于，步骤(3)包括：
(3.1)确定参数调整方向，依据调整方向调整每个线阵相机坐标系与世界坐标系的关系，并重新转入步骤(2)，计算新的物方重叠区图像的相似度；
(3.2)不断调整各线阵相机坐标系和世界坐标系之间的转换关系，选取物方影像非重叠区内物体形变程度最小以及重叠区内相似度最大的一组参数作为最终的线阵相机坐标系和世界坐标系之间的转换参数，进而根据激光雷达坐标系与世界坐标系的关系计算出每个线阵相机坐标系和激光雷达坐标系的转换关系以及各线阵相机坐标系之间的转换关系。
5.根据权利要求4所述的方法，其特征在于，步骤(3.1)包括：
以满足物方影像非重叠区内物体形变程度最小为约束条件，使物方重叠区图像相似度最大为目标的目标函数，根据所述目标函数确定参数调整方向，依据调整方向调整每个线阵相机坐标系与世界坐标系的关系，并重新转入步骤(2)，计算新的物方重叠区图像的相似度。
6.根据权利要求5所述的方法，其特征在于，参数调整包括R调整和T调整，其中，R调整是修改世界坐标系与线阵相机坐标系之间的旋转关系；T调整是修改世界坐标系与线阵相机坐标系之间的平移关系。
7.根据权利要求5或6所述的方法，其特征在于，所述根据所述目标函数确定参数调整方向，依据调整方向调整每个线阵相机坐标系与世界坐标系的关系，包括：
根据初始的线阵相机坐标系与世界坐标系的转换关系及所述目标函数确定每个待调整变量趋近最优值的方向，以该方向为基础对待调整参数进行调整，将调整后的所有参数组合进行重叠区相似度的计算，选取物方重叠区图像相似度最大的一组参数作为第一次调整的最优参数；
根据第一次调整的最优参数及所述目标函数确定每个待调整变量趋近最优值的方向，以该方向为基础对第一次调整的最优参数进行调整，将调整后的所有参数组合进行重叠区相似度的计算，选取物方重叠区图像相似度最大的一组参数作为第二次调整的最优参数；
根据第二次调整的最优参数及所述目标函数确定每个待调整变量趋近最优值的方向，以该方向为基础对第二次调整的最优参数进行调整，将调整后的所有参数组合进行重叠区相似度的计算，选取物方重叠区图像相似度最大的一组参数作为最终的线阵相机坐标系和世界坐标系之间的转换参数。
CN202010134586.6A 2020-03-02 2020-03-02 激光雷达和多线阵相机组合系统的相对位姿参数优化方法 Active CN111415385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010134586.6A CN111415385B (zh) 2020-03-02 2020-03-02 激光雷达和多线阵相机组合系统的相对位姿参数优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010134586.6A CN111415385B (zh) 2020-03-02 2020-03-02 激光雷达和多线阵相机组合系统的相对位姿参数优化方法

Publications (2)

Publication Number Publication Date
CN111415385A CN111415385A (zh) 2020-07-14
CN111415385B true CN111415385B (zh) 2022-03-11

Family

ID=71492772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010134586.6A Active CN111415385B (zh) 2020-03-02 2020-03-02 激光雷达和多线阵相机组合系统的相对位姿参数优化方法

Country Status (1)

Country Link
CN (1) CN111415385B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862879B (zh) * 2021-02-18 2023-07-07 中国矿业大学(北京) 一种基于tin模型的地铁隧道三维模型构建方法
CN113137952B (zh) * 2021-04-23 2021-11-12 交通运输部公路科学研究所 一种隧道断面测点的定位方法
CN115423933B (zh) * 2022-08-12 2023-09-29 北京城市网邻信息技术有限公司 户型图生成方法、装置、电子设备及存储介质
CN115343299B (zh) * 2022-10-18 2023-03-21 山东大学 一种轻量化公路隧道集成检测系统及方法
CN117132728B (zh) * 2023-10-26 2024-02-23 毫末智行科技有限公司 构建地图的方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127771A (zh) * 2016-06-28 2016-11-16 上海数联空间科技有限公司 基于激光雷达lidar点云数据获取隧道正射影像系统及方法
CN109949372A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种激光雷达与视觉联合标定方法
CN110360947A (zh) * 2019-06-24 2019-10-22 广州市奥特创通测控技术有限公司 一种基于矢量图像测量的车辆轮廓测量方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10104288B2 (en) * 2017-02-08 2018-10-16 Aspeed Technology Inc. Method and apparatus for generating panoramic image with stitching process
JP2020003236A (ja) * 2018-06-25 2020-01-09 株式会社リコー 測距装置、移動体、測距方法、測距システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127771A (zh) * 2016-06-28 2016-11-16 上海数联空间科技有限公司 基于激光雷达lidar点云数据获取隧道正射影像系统及方法
CN109949372A (zh) * 2019-03-18 2019-06-28 北京智行者科技有限公司 一种激光雷达与视觉联合标定方法
CN110360947A (zh) * 2019-06-24 2019-10-22 广州市奥特创通测控技术有限公司 一种基于矢量图像测量的车辆轮廓测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Efficient Measurement of Key-Cap Flatness for Computer Keyboards With a Multi-Line Structured Light Imaging Approach;Huisi Miao 等;《IEEE》;20190710;第10087-10098页 *
多线阵相机系统位姿高精度校准方法;刘源泂 等;《华中科技大学学报（自然科学版）》;20181130;第81-86页 *

Also Published As

Publication number Publication date
CN111415385A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN111415385B (zh) 激光雷达和多线阵相机组合系统的相对位姿参数优化方法
CN111429574B (zh) 基于三维点云和视觉融合的移动机器人定位方法和系统
CN109272537B (zh) 一种基于结构光的全景点云配准方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN112767490B (zh) 一种基于激光雷达的室外三维同步定位与建图方法
CN109186608B (zh) 一种面向重定位的稀疏化三维点云地图生成方法
JP2015201192A (ja) 物体の位置及び向きの検出
CN113012205A (zh) 一种基于多源数据融合的三维重建方法
CN104778688A (zh) 点云数据的配准方法及装置
CN110703230B (zh) 激光雷达与摄像头之间的位置标定方法
CN114419147A (zh) 一种救援机器人智能化远程人机交互控制方法及系统
CN107507127B (zh) 多视点三维点云的全局匹配方法和系统
CN113192200B (zh) 一种基于空三并行计算算法的城市实景三维模型的构建方法
US11600042B2 (en) Method for 3D reconstruction from satellite imagery
CN112904369A (zh) 机器人重定位方法、装置、机器人和计算机可读存储介质
CN115032648A (zh) 一种基于激光雷达密集点云的三维目标识别与定位方法
Wu et al. Viewpoint planning for freeform surface inspection using plane structured light scanners
CN114463521A (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
CN111376249B (zh) 移动设备定位系统、方法、装置及移动设备
CN115272248B (zh) 一种风机姿态的智能检测方法以及电子设备
Xue et al. Real-time 3D grid map building for autonomous driving in dynamic environment
Kwon et al. Development of optimized point cloud merging algorithms for accurate processing to create earthwork site models
CN112505723B (zh) 一种基于导航点选择的三维地图重建方法
Zhao et al. Design of 3D reconstruction system on quadrotor Fusing LiDAR and camera
CN113447948A (zh) 一种基于ros机器人的相机与多激光雷达融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant