CN110599541B - 一种对多传感器进行标定的方法、装置和存储介质 - Google Patents
一种对多传感器进行标定的方法、装置和存储介质 Download PDFInfo
- Publication number
- CN110599541B CN110599541B CN201910801224.5A CN201910801224A CN110599541B CN 110599541 B CN110599541 B CN 110599541B CN 201910801224 A CN201910801224 A CN 201910801224A CN 110599541 B CN110599541 B CN 110599541B
- Authority
- CN
- China
- Prior art keywords
- laser radar
- dimensional coordinate
- image
- camera
- calibration plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000005070 sampling Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种对多传感器进行标定的方法、装置和存储介质，具体为选取相机采样点，相机采样点为由机械臂控制的单目相机的摄像范围包括整块标定板时的机械臂的位置；将携带有单目相机和激光雷达的机械臂逐次移动至各个相机采样点,并在通过激光雷达采集到标定板的位置的三维坐标信息时，生成二维坐标图像；当在二维坐标图像中检测出由各个散点拟合的直线线段不连续时,在二维坐标图像中提取包含表示标定板的激光雷达数据，并作为待处理图像；计算激光雷达相对于单目相机的姿态标定参数。本申请实施例通过判断激光雷达是否采集到包括标定板的激光雷达数据，并计算激光雷达相对于单目相机的姿态标定参数，提升了标定的精确度。
Description
技术领域
本申请涉及计算机视觉领域，尤其涉及一种对多传感器进行标定的方法、装置和存储介质。
背景技术
相机作为计算机观察客观世界的重要途径之一，经常应用在图像测量过程以及机器视觉应用中。激光雷达能够提供较广范围且高精度的深度信息，相机可以捕获丰富的纹理和鲜艳的色彩信息，将深度信息和色彩信息结合在一起可以将真实世界三维重建出来，而三维重建在计算机视觉和机器人感知方面有着重要的作用，是自动驾驶、机器人同步定位与建图(simultaneous localization and mapping，SLAM)、三维视觉感知、房屋三维重建等应用的基础，激光雷达和相机的标定工作便能很好的将激光雷达的深度信息和相机的色彩信息更好的结合起来。而相机采集的图像一半都会存在畸变，如果不能正确的获得图像的内参和畸变参数，那么将会严重影响以图像为基础的视觉感知技术的应用。故需要对激光雷达和相机的相对姿态做标定。
进一步地，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为对多传感器进行标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中，相机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。
发明内容
本申请实施例提供了一种对多传感器进行标定的方法，克服了对单目相机和激光雷达进行标定时出现的标定不准确的问题，提升了标定的准确度。
该方法包括：
选取相机采样点，所述相机采样点为由机械臂控制的单目相机的摄像范围包括整块标定板时的机械臂的位置；
将携带有单目相机和激光雷达的所述机械臂逐次移动至各个所述相机采样点,并在通过所述激光雷达采集到所述标定板的位置的三维坐标信息时，将所述三维坐标信息转化为二维坐标信息，生成由表示所述标定板的位置的所述二维坐标信息的各个散点组成的二维坐标图像；
当在所述二维坐标图像中检测出由各个所述散点拟合的直线线段不连续时,在所述二维坐标图像中提取包含表示标定板的激光雷达数据，并作为待处理图像；
根据所述待处理图像，计算所述激光雷达相对于所述单目相机的姿态标定参数。
可选地，选取机械臂采样点，所述机械臂采样点为控制所述单目相机的机械臂的位置；
将携带有所述单目相机的所述机械臂逐次移动至各个所述机械臂采样点，并由所述单目相机逐次采集包括所述整块标定板的目标图像；
提取所述目标图像中的角点，并基于所述角点的图像坐标，计算所述单目相机的内参数和畸变参数，所述内参数为与所述单目相机自身特性相关的参数。
可选地，在所述标定板的几何中心添加定位码；
当所述单目相机逐次在所述机械臂采样点采集到包括所述定位码的采样图像时，基于所述定位码，计算所述单目相机相对于所述定位码的偏移信息，所述偏移信息包括旋转信息和平移信息；
根据所述偏移信息，调节所述机械臂，以使所述机械臂控制所述单目相机移动至每个所述机械臂采样点时，采集到的采样图像包括整块所述标定板，并保存为所述目标图像。
可选地，当在所述二维坐标图像中检测出由各个所述散点拟合的直线线段连续时，调整所述机械臂，以使所述激光雷达采集到包含表示所述标定板的激光雷达数据的待处理图像。
可选地，将所述待处理图像中的表示所述标定板的位置的激光雷达数据对应的所述二维坐标信息投影到三维坐标系中，并生成所述激光雷达数据在所述三维坐标系中的直线方程；
根据所述内参数和所述畸变参数，对所述目标图像进行去畸变处理，并在所述去畸变后的目标图像中提取所述标定板中的所述角点；
将所述角点的图像坐标在相机坐标系下进行变换，生成所述标定板在所述相机坐标系下的平面方程；
根据所述平面方程的法向量和所述直线方程，计算所述激光雷达相对于所述标定板的姿态标定参数。
可选地，将满足所述直线方程的任意数据点按照所述姿态标定参数进行变换，并投影至所述平面方程对应的平面中；
计算任意所述数据点在所述平面中的重投影误差和夹角误差，并将不满足第一预设阈值的所述重投影误差和/或不满足第二预设阈值的所述夹角误差分别对应的所述数据点的所述姿态标定参数删除，并计算所述姿态标定参数的最优解。
在本发明的另一个实施例中，提供了一种对多传感器进行标定的系统，该系统包括：
机械臂单元、抓取单元、标定板、激光雷达、单目相机和处理单元，所述机械臂单元与所述抓取单元连接，用于按照所述处理单元的指令控制所述抓取单元固定所述激光雷达和单目相机移动；
所述标定板用于为所述机械臂单元控制的所述激光雷达和所述单目相机提供进行识别的角点；
所述处理单元用于控制所述机械臂单元进行移动，以及对所述激光雷达和所述单目相机识别的数据进行分析，以计算所述激光雷达相对于所述单目相机的姿态标定参数。
在本发明的另一个实施例中，提供了一种对多传感器进行标定的装置，该装置包括：
选取模块，用于选取相机采样点，所述采样点为由机械臂控制的单目相机的摄像范围包括整块标定板时的机械臂的位置；
生成模块，用于将控制着单目相机和激光雷达的所述机械臂逐次移动至各个所述相机采样点,并在通过激光雷达采集到所述标定板的位置的三维坐标信息时，将所述三维坐标信息转化为二维坐标信息，生成由表示所述标定板的位置的所述二维坐标信息的各个散点组成的二维坐标图像；
提取模块，用于当在所述二维坐标图像中检测出由各个所述散点拟合的直线线段不连续时,在所述二维坐标图像中提取包含激光雷达数据的感兴趣区域，并作为待处理图像；
计算模块，用于根据所述待处理图像，计算所述激光雷达相对于所述单目相机的姿态标定参数。
在本发明的另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行上述一种对多传感器进行标定的方法中的各个步骤。
在本发明的另一个实施例中，提供了一种终端设备，包括处理器，所述处理器用于执行上述一种对多传感器进行标定的方法中的各个步骤。
如上可见，基于上述实施例，首先选取相机采样点，相机采样点为由机械臂控制的单目相机的摄像范围包括整块标定板时的机械臂的位置，其次，将携带有单目相机和激光雷达的机械臂逐次移动至各个相机采样点,并在通过激光雷达采集到标定板的位置的三维坐标信息时，将三维坐标信息转化为二维坐标信息，生成由表示标定板的位置的二维坐标信息的各个散点组成的二维坐标图像，然后，当在二维坐标图像中检测出由各个散点拟合的直线线段不连续时,在二维坐标图像中提取包含激光雷达数据的感兴趣区域，并作为待处理图像，最后，根据待处理图像，计算激光雷达相对于单目相机的姿态标定参数。本申请实施例通过在设置标定板作为参照物的固定环境中，当激光雷达和单目相机随着机械臂移动时，判断激光雷达是否采集到包括标定板的激光雷达数据，并根据采集到的激光雷达数据计算激光雷达相对于单目相机的姿态标定参数，提升了标定的精确度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例100所提供的一种对多传感器进行标定的方法的流程示意图；
图2a示出了本申请实施例200提供的激光雷达采集到标定板的位置信息时的示意图；
图2b示出了本申请提供的实施例201提供的激光雷达未采集到标定板的位置信息时的示意图；
图2c示出了本申请实施例202中示出的提取出的表示标定板的位置信息的激光雷达数据的示意图；
图3示出了本申请实施例300示出的一种对多传感器进行标定的方法的具体流程的示意图；
图4示出了本申请实施例400示出的一种定制化的标定板的示意图；
图5示出了本申请实施例500还提供一种对多传感器进行标定的系统的示意图；
图6示出了本申请实施例600还提供一种对多传感器进行标定的装置的示意图；
图7示出了本申请实施例700所提供的一种终端设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
基于现有技术中的问题，本申请实施例提供了一种对多传感器进行标定的方法，主要适用于计算机视觉和三维重建感知领域。本申请实施例中的一种对多传感器进行标定的方法，通过机械臂控制激光雷达和单目相机在选取的各个相机采样点采集待处理图像，并在激光雷达和单目相机随着机械臂移动时，判断激光雷达是否采集到包括标定板的激光雷达数据，并根据采集到的激光雷达数据计算激光雷达相对于单目相机的姿态标定参数，提升了标定的精确度。如图1所示，为本申请实施例100所提供的一种对多传感器进行标定的方法的流程示意图。其中，详细步骤如下：
S11，选取相机采样点。
本步骤中，相机采样点一般为控制单目相机的机械臂相对于标定板的位置。可选地，相机采样点的位置可以使机械臂控制的单目相机的摄像范围包括整块标定板，此时机械臂的位置为相机采样点。每个相机采样点均可以使机械臂控制的激光雷达采集到标定板的三维坐标信息。进一步地，根据标定板的大小设置多个相机采样点。
S12，将携带有单目相机和激光雷达的机械臂逐次移动至各个相机采样点,并在通过激光雷达采集到标定板的位置的三维坐标信息时，将三维坐标信息转化为二维坐标信息，生成由表示标定板的位置的二维坐标信息的各个散点组成的二维坐标图像。
本步骤中，本申请实施例中的多传感器主要包括激光雷达和单目相机，其中，激光雷达主要为单线激光雷达。单目相机和激光雷达固定在一起作为待标定设备，由机械臂进行控制并在选取了多个相机采样点后，依次移动至各个相机采样点。在各个相机采样点，单目相机的摄像范围均包括整个标定板。进一步地，由激光雷达在各个相机采样点发射探测信号，并接受返回的探测信号。当在激光雷达在相机采样点采集到三维坐标信息时，将三维坐标信息转化为二维坐标信息。可选地，根据实际标定环境确定将三维坐标信息转化为二维坐标信息的转化系数，根据转化系数，将在各个相机采样点上采集的三维坐标信息投影到二维平面上。
进一步地，激光雷达在各个相机采样点上采集的三维坐标信息转化为二维平面上表现为多个散点，由多个散点组成二维坐标图像。
S13，当在二维坐标图像中检测出由各个散点拟合的直线线段不连续时,在二维坐标图像中提取包含表示标定板的激光雷达数据，并作为待处理图像。
本步骤中，将激光雷达采集的三维坐标信息对应在二维平面上的各个散点拟合为直线线段。进一步地，利用直线检测算法在二维平面上检测直线线段。基于激光雷达测量距离的特性，当激光雷达采集的三维坐标信息中包括标定板的位置信息时，此时转化为二维坐标信息后，检测到的直线线段会出现不连续的情况。如图2a所示为本申请实施例200提供的激光雷达采集到标定板的位置信息时的示意图。其中，当在固定好标定板的室内环境中，当激光雷达发射的探测信号打到标定板上时，此时采集到的三维坐标信息转化为二维坐标信息的散点，对散点拟合后的直线线段不连续。如图2b所示为本申请实施例201提供的激光雷达未采集到标定板的位置信息时的示意图。其中，当激光雷达采集的三维坐标信息中不包括标定板的位置信息时，此时在设定的室内环境中，不存在其它不同的距离信息，采集的三维坐标信息在转化为二维坐标信息的散点后，对散点进行拟合后的直线线段是连续的。
进一步地，如图2c所示为本申请实施例202提供的提取出的表示标定板的位置信息的激光雷达数据的示意图，当检测到二维坐标图像中的散点拟合的直线线段不连续时，提取该段不连续的表示标定板的激光雷达数据的直线线段作为待处理图像。
S14，根据待处理图像，计算激光雷达相对于单目相机的姿态标定参数。
本步骤中，将待处理图像中的直线线段对应的激光雷达数据投影到三维空间，并计算直线线段对应的激光雷达数据在三维空间中的直线方程。进一步地，根据预先对单目相机进行标定时计算得到的单目相机的内参数和畸变参数，并对单目相机采集的包含整块标定板的目标图像进行去畸变处理。其中，单目相机的内参数一般为与单目相机自身相关的参数，如单目相机在X轴上的焦距fx，在Y轴上的焦距fy，相对光轴而言x方向上的偏移量cx和相对光轴而言Y方向上的偏移量cy。畸变参数D＝[k1,k2,p1,p2,k3]，其中，k1,k2,k3为感光元平面跟透镜不平行所导致的径向畸变系数，p1,p2为相机制作工艺导致的切向畸变系数。
进一步地，在无畸变的目标图像上提取标定板的角点，通过图像坐标和相机坐标系的变换可以得到标定板在相机坐标系下的平面方程。其中，标定板上的每个单元格作为独立的元素，检测每个黑色单元格的边，并将两个黑色单元格的交点作为角点的位置。通过激光雷达在三维空间中的直线方程和目标图像在相机坐标系下的平面方程，计算满足直线方程的任一数据点在平面方程上对应的点之间的关系，以得出激光雷达相对于单目相机的姿态标定参数。其中，姿态标定参数包括旋转信息和平移信息。
基于本申请的上述实施例，首先选取相机采样点，采样点为由机械臂控制的单目相机的摄像范围包括整块标定板时的机械臂的位置，其次，将控制着单目相机和激光雷达的机械臂逐次移动至各个相机采样点,并在通过激光雷达采集到标定板的位置的三维坐标信息时，将三维坐标信息转化为二维坐标信息，生成由表示标定板的位置的二维坐标信息的各个散点组成的二维坐标图像，然后，当在二维坐标图像中检测出由各个散点拟合的直线线段不连续时,在二维坐标图像中提取包含激光雷达数据的感兴趣区域，并作为待处理图像，最后，根据待处理图像，计算激光雷达相对于单目相机的姿态标定参数。本申请实施例通过在设置标定板作为参照物的固定环境中，当激光雷达和单目相机随着机械臂移动时，判断激光雷达是否采集到包括标定板的激光雷达数据，并根据采集到的激光雷达数据计算激光雷达相对于单目相机的姿态标定参数，提升了标定的精确度。
进一步地，如图3所示，为本申请实施例300提供的一种对多传感器进行标定的方法的具体流程的示意图。其中，该具体流程的详细过程如下：
S301，选取机械臂采样点，并由单目相机在机械臂采样点上采集采样图像。
这里，在本申请实施例中，对多传感器进行标定主要通过机械臂控制多传感器进行信息采集，以改善人工采集图像可能存在的采集效率低下以及每次的采样位置不固定等问题。机械臂采样点主要是指控制单目相机的机械臂相对于标定板的位置。由机械臂控制单目相机在各个机械臂采样点上采集采样图像。
S302，判断每张采样图像中是否包含整块标定板。
这里，传统的标定板一般会采用棋盘格阵列和圆形阵列，由于棋盘格阵列和圆形阵列的构成单元都是重复性的方形格或圆形格，不具备奇异性和排他性。因此，为了将在采样图像上检测到的角点坐标与其世界坐标相对应，需要检测到标定板中的所有角点，相机视野范围内应当可以检测到标定板上的所有角点。为了保证单目相机采集的采样图像中包含整块标定板，如图4所示，为本申请实施例400提供的一种定制化的标定板的示意图。可选地，在标定板的几何中心添加定位码，通过添加定位码表使得标定板具备方向性和定位功能。定位码可以是二维码的形式，可以通过识别二维码可以准确地判断单目相机相对于标定板的方位信息。
进一步地，可以通过定位码在每张采样图像中判断是否包括整块标定板。
S303，调整机械臂使得每张采样图像中包含整块标定板。
这里，当单目相机逐次在机械臂采样点采集到包括定位码的采样图像时，基于定位码，计算单目相机相对于定位码的偏移信息，偏移信息包括旋转信息和平移信息。进一步地，根据偏移信息，调节机械臂，以使机械臂控制单目相机移动至每个机械臂采样点时，采集到的采样图像包括整块标定板。
若采样图像中未包含整块标定板，则通过识别采样图像中的采集到的定位码，利用AprilTag视觉库来获取单目相机相对于定位码的变换矩阵T＝[Ri,Ti]，其中，Ri为采样图像对应的单目相机与标定板之间的旋转关系，Ti为采样图像对应的单目相机与标定板之间的平移关系。根据确定的变换矩阵提供的方位信息调节机械臂的位置，使得采样图像中可以包含整块标定板。
S304，将每张采样图像保存为目标图像。
这里，当每张采样图像中包括整块标定板时，将包括整块标定板的采样图像确定为目标图像，并将目标图像进行存储。
S305，在目标图像中提取角点，计算单目相机的内参数和畸变参数。
本步骤中，提取目标图像中的角点，并基于角点的图像坐标，计算单目相机的内参数和畸变参数，内参数为与单目相机自身特性相关的参数。
可选地，利用角点提取算法提取目标图像中采集的标定板的所有角点，然后通过张氏标定算法，N点透视(Perspective-n-point,PNP)算法来优化结果并得到相机的内参数。其中，在提取了角点的图像坐标后，为了获取更高的精度，可以将提取到的角点的像素精确到亚像素精度。进一步地，计算单目相机的内参数和畸变参数。其中，单目相机的内参数一般为与单目相机自身相关的参数，单目相机的内参数
其中，fx为单目相机在X轴上的焦距，fy为在Y轴上的焦距，cx为相对光轴而言x方向上的偏移量和相对光轴而言Y方向上的偏移量cy。畸变参数D＝[k1,k2,p1,p2,k3]，其中，k1,k2,k3为感光元平面跟透镜不平行所导致的径向畸变系数，p1,p2为相机制作工艺导致的切向畸变系数。
上述步骤S301至步骤S305为对单目相机进行标定的具体步骤。
S306，选取相机采样点。
这里，相机采样点为机械臂控制的单目相机的摄像范围包括整块标定板时的机械臂的位置。此时，机械臂除了控制单目相机之外，还控制激光雷达，激光雷达主要为单线激光雷达。
S307，将携带着单目相机和激光雷达的机械臂逐次移动至各个相机采样点，并判断激光雷达采集的三维坐标信息中是否包含标定板的位置。
本步骤中，机械臂抓取激光雷达和单目相机，逐次在选取的相机采样点对应的位置上移动。每当移动到一个相机采样点时，通过检测定位码判断单目相机的拍摄范围内包括整块标定板。进一步地，检测激光雷达是否采集到表示标定板的位置的三维坐标信息。
S308，当激光雷达采集到表示标定板的位置的三维坐标信息时，提取其中表示标定板的激光雷达数据，并作为待处理图像。
这里，在通过激光雷达采集到标定板的位置的三维坐标信息时，将三维坐标信息转化为二维坐标信息，生成由表示标定板的位置的二维坐标信息的各个散点组成的二维坐标图像。可选地，将表示标定板的位置的激光雷达数据P从三维空间投影到二维空间中，得到对应的像素坐标p。其中，p＝AP，A中的参数以及二维图像的大小是根据实际标定环境确定的。如定义二维坐标图像的高和宽为1600像素，A设定为
然后进行投影。
进一步地，在二维坐标图像中进行投影时，为了清晰的显示表示标定板的位置的激光雷达数据，将该二维坐标图像设置为黑色衬底，并将激光雷达数据投影到二维坐标图像上的像素坐标绘制成白色。基于投影生成的二维坐标图像，采用霍夫(Hough)直线检测算法在二维坐标图像中检测直线。可选地，激光雷达在各个相机采样点上采集的三维坐标信息转化为二维平面上表现为多个散点，由多个散点组成二维坐标图像。
进一步地，将激光雷达采集的三维坐标信息对应在二维平面上的各个散点拟合为直线线段。利用直线检测算法在二维平面上检测直线线段。基于激光雷达测量距离的特性，当激光雷达采集的三维坐标信息中包括标定板的位置信息时，此时转化为二维坐标信息后，检测到的直线线段会出现不连续的情况。如图2a所示为本申请实施例200提供的激光雷达采集到标定板的位置信息时的示意图。其中，当在固定好标定板的室内环境中，当激光雷达发射的探测信号打到标定板上时，此时采集到的三维坐标信息转化为二维坐标信息的散点，对散点拟合后的直线线段不连续。如图2b所示为本申请实施例201提供的激光雷达未采集到标定板的位置信息时的示意图。其中，当激光雷达采集的三维坐标信息中不包括标定板的位置信息时，此时在设定的室内环境中，不存在其它不同的距离信息，采集的三维坐标信息在转化为二维坐标信息的散点后，对散点进行拟合后的直线线段是连续的。如图2c所示为本申请实施例202提供的提取出的表示标定板的位置信息的激光雷达数据的示意图，当检测到二维坐标图像中的散点拟合的直线线段不连续时，提取该段不连续的表示标定板的激光雷达数据的直线线段作为待处理图像。
S309，当激光雷达未采集到表示标定板的位置的三维坐标信息时，调整机械臂以使激光雷达采集到包含表示标定板的激光雷达数据的待处理图像。
这里，当在二维坐标图像中检测出由各个散点拟合的直线线段连续时，调整机械臂，以使激光雷达采集到包含表示标定板的激光雷达数据的待处理图像。
S310，根据待处理图像，计算表示标定板的位置的激光雷达数据在三维空间中的直线方程。
这里，将待处理图像中的表示标定板的位置的激光雷达数据对应的二维坐标信息投影到三维坐标系中，并生成激光雷达数据在三维坐标系中的直线方程。具体的，若直线方程经过点(x0,y0,z0),方向向量为(a,b,c),则直线方程为
S311，根据目标图像中的提取的角点的坐标，计算标定板在相机坐标系下的平面方程。
本步骤中，根据内参数和畸变参数，对目标图像进行去畸变处理，并在去畸变后的目标图像中提取标定板中的所述角点，并将角点的图像坐标在相机坐标系下进行变换，生成标定板在相机坐标系下的平面方程。其中，进行去畸变处理的具体过程如下：
x′＝x×(1+k1×r+k2×r2+k3×r3)+2×p1×x×y+p2×(r+2×x2),
y′＝y×(1+k1×r+k2×r2+k3×r3)+2×p1×x×y+p2×(r+2×y2),其中，fx和fy分别是单目相机在X轴上的焦距和在Y轴上的焦距，u和v表示目标图像中任一数据点的像素坐标，u0和v0是相机中心点位置，x和y是归一化像素坐标。
进一步地，在去畸变后的目标图像上提取角点的坐标，将角点的坐标在相机坐标系下进行变换可以得到标定板在相机坐标系下的平面方程Ax+By+Cz+E＝0，其中，A,B,C是平面方程的法线方程，E是相机坐标系的原点到平面的距离。
S312，根据直线方程和平面方程，计算激光雷达和单目相机之间的姿态标定参数。
这里，根据平面方程Ax+By+Cz+E＝0，其法向定义为N＝[A,B,C]T，假定激光雷达相对于单目相机的姿态标定参数为
其中，R表示激光雷达和单目相机之间的旋转关系，t表示激光雷达和单目相机之间的平移关系。对于表示激光雷达数据的直线方程中的任意一个点P(x,y,z)在相机坐标系中对应的点为Pc(xc,yc,zc)之间存的关系为Pc＝RP+t。激光雷达打在标定板上的数据点P，在经过T变换后必然会落在标定板在相机坐标系的平面内，两者之间的关系为N×(RP+t)＝E。根据前述关系计算激光雷达和单目相机之间的姿态标定参数。
S313，计算姿态标定参数中的最优解。
这里，将满足直线方程的任意数据点按照姿态标定参数进行变换，并投影至平面方程对应的平面中，并计算任意数据点在平面中的重投影误差和夹角误差。其中，重投影误差为标定板上的激光雷达数据经过姿态变换参数变换后，与标定板的平面方程的投影距离误差。夹角误差为标定板上的激光雷达数据拟合出来的直线，经过姿态变换参数变换后与标定板的平面方程的夹角误差。将不满足第一预设阈值的重投影误差和/或不满足第二预设阈值的夹角误差分别对应的数据点的姿态标定参数删除，并计算姿态标定参数的最优解。具体的，对采集的n组数据，定义如下误差方程：
其中，Ni表示第n组数据的平面方程的法向量，i表示n组数据中的第i组数据，j表示第i组数据中激光雷达数据在标定板上的具体的第j个三维数据点。基于上述误差方程，按照最小二乘法计算姿态标定参数R和t的最优解。进一步地，将计算得出的姿态标定参数，将表示激光雷达数据的直线方程投影到平面方程内，并计算每个数据点的重投影误差和夹角误差，如下表1所示，为计算的多组数据的重投影误差和夹角误差。
| 数据标号 | 重投影误差(m) | 夹角误差(度°) |
| 1 | 0.00184679 | 0.232362 |
| 2 | 0.00350376 | 0.207830 |
| 3 | 0.00499186 | 0.168538 |
| 4 | 0.00944881 | 0.321653 |
| 5 | 0.00445413 | 0.171914 |
| 6 | 0.00051315 | 0.117762 |
| 7 | 0.00793007 | 0.243586 |
| 8 | 0.00386354 | 0.175711 |
| 9 | 0.00456825 | 0.325712 |
| 10 | 0.00325655 | 0.277121 |
| 11 | 0.00639005 | 0.109859 |
| 12 | 0.00110245 | 0.245911 |
| 13 | 0.00666287 | 0.257193 |
| 14 | 0.00718871 | 0.298508 |
| 15 | 0.00576027 | 0.252256 |
表1
进一步地，判断计算得出的重投影误差和夹角误差是否分别小于第一预设阈值和第二预设阈值。第一预设阈值和第二预设阈值的具体数值根据计算得到的重投影误差和夹角误差的具体数值确定。如果第Ni组数据的重投影误差或者角度偏移量较大且分别超过了第一预设阈值和第二预设阈值，可以把该组数据剔除后再重复之前的优化过程，以便得到最优R和t。利用最优的姿态标定参数，对激光雷达与单目相机进行标定。
基于上述实施例，实现一种对多传感器进行标定的方法。其中，通过机械臂夹持激光雷达和单目相机，实现对数据的自动化采集，不需要人工干预，比较适合大规模生产。另外，本申请提出了一种设置有定位码的标定板。可选地，在标定板的几何中心设置具有指向性的定位码。在机械臂移动时检测标定板，并在不能拍摄到完整的标定板时通过定位码来调整机械臂相对于标定板的位置，以确保整块标定板出现在单目相机的拍摄范围内。克服了在标定板没有方向性且当单目相机采集的标定板不完整时，该组图像可能会被作为舍弃的问题，提升了图像采集效率和利用率。
另外，当在对激光雷达和单目相机进行标定时，需要保证标定板在激光雷达和单目相机的视野范围内，单目相机可以通过图像来识别是否可以看到棋盘，但是激光雷达很难去判别是否将探测信号发射至标定板上。针对上述问题，通常需要人工在采集阶段和激光雷达数据提取阶段做干预，来确保采集的激光雷达数据中包含标定板的位置的信息。因此，本申请实施例通过设置一个固定场景，当激光雷达与单目相机跟随机械臂移动时，通过棋盘检测算法来确保激光雷达与单目相机可以一直观测到整块标定板，通过单目相机来定位激光雷达可以采集到关于标定板的位置的数据，并在未采集到关于标定板的位置的数据时调节机械臂来确保激光雷达和单目相机可以同时采集到关于标定板的位置的数据。
基于同一发明构思，如图5所示，本申请实施例500还提供一种对多传感器进行标定的系统，其中，该系统包括：
机械臂单元501、抓取单元502、标定板503、激光雷达504、单目相机505和处理单元506，机械臂单元501与抓取单元502连接，用于按照处理单元506的指令控制抓取单元502固定激光雷达504和单目相机505移动；
标定板503用于为机械臂单元501控制的激光雷达504和单目相机505提供进行识别的角点；
处理单元506用于控制机械臂单元501进行移动，以及对激光雷达504和单目相机505识别的数据进行分析，以计算激光雷达504相对于单目相机505的姿态标定参数。
对多传感器进行标定的系统主要由处理单元506、机械臂单元501、抓取单元502、激光雷达504、单目相机505和标定板503等组成。处理器单元506主要用来控制机械臂单元501移动、采集和识别激光雷达504和单目相机505的数据。机械臂单元501通过抓取单元502固定激光雷达504和单目相机505以进行关于标定板503的数据的采集，机械臂单元501可以进行大规模多传感器的标定工作。抓取单元502可以快速抓取待标定的激光雷达504和单目相机505。标定板503主要用于单目相机505的内参标定以及激光雷达504和单目相机505的外参标定。
基于同一发明构思，本申请实施例600还提供一种对多传感器进行标定的装置，其中，如图6所示，该装置包括：
选取模块61，用于选取相机采样点，相机采样点为由机械臂控制的单目相机的摄像范围包括整块标定板时的机械臂的位置；
生成模块62，用于将携带有单目相机和激光雷达的机械臂逐次移动至各个相机采样点,并在通过激光雷达采集到标定板的位置的三维坐标信息时，将三维坐标信息转化为二维坐标信息，生成由表示标定板的位置的二维坐标信息的各个散点组成的二维坐标图像；
提取模块63，用于当在二维坐标图像中检测出由各个散点拟合的直线线段不连续时,在二维坐标图像中提取包含激光雷达数据的感兴趣区域，并作为待处理图像；
计算模块64，用于根据待处理图像，计算激光雷达相对于单目相机的姿态标定参数。
本实施例中，选取模块61、生成模块62、提取模块63和计算模块64的具体功能和交互方式，可参见图1对应的实施例的记载，在此不再赘述。
如图7所示，本申请的又一实施例700还提供一种终端设备，包括处理器70，其中，处理器70用于执行上述一种对多传感器进行标定的方法的步骤。从图7中还可以看出，上述实施例提供的终端设备还包括非瞬时计算机可读存储介质71，该非瞬时计算机可读存储介质71上存储有计算机程序，该计算机程序被处理器70运行时执行上述一种对多传感器进行标定的方法的步骤。实际应用中，该终端设备可以是一台或多台计算机，只要包括上述计算机可读介质和处理器即可。
另外，本申请所述的方法步骤除了可以用对多传感器进行标定程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘和FLASH等，该存储介质上的计算机程序被运行时，能够执行上述的一种对多传感器进行标定的方法中的各个步骤。实际应用中，所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或多个程序被执行时，能够执行上述的一种对多传感器进行标定的方法中的各个步骤。
根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本申请附图中的流程图和框图，示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如，两个连接地表示的方框实际上可以基本并行地执行，它们有时也可以按照相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或者流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (9)
1.一种对多传感器进行标定的方法，其特征在于，包括：
选取相机采样点，所述相机采样点为由机械臂控制的单目相机的摄像范围包括整块标定板时的机械臂的位置；
将携带有所述单目相机和激光雷达的所述机械臂逐次移动至各个所述相机采样点，判断所述激光雷达采集的三维坐标信息中是否包含所述标定板的位置；并在通过所述激光雷达采集到所述三维坐标信息时，将所述三维坐标信息转化为二维坐标信息，生成由所述二维坐标信息的各个散点组成的二维坐标图像；
当在所述二维坐标图像中检测出由各个所述散点拟合的直线线段不连续时，在所述二维坐标图像中提取包含表示标定板的激光雷达数据，作为待处理图像；
根据所述待处理图像，计算所述激光雷达相对于所述单目相机的姿态标定参数。
2.根据权利要求1所述的方法，其特征在于，在所述选取 相机采样点的步骤之前，所述方法进一步包括：
选取机械臂采样点，所述机械臂采样点为控制所述单目相机的机械臂的位置；
将携带有所述单目相机的所述机械臂逐次移动至各个所述机械臂采样点，并由所述单目相机逐次采集包括所述整块标定板的目标图像；
提取所述目标图像中的角点，并基于所述角点的图像坐标，计算所述单目相机的内参数和畸变参数，所述内参数为与所述单目相机自身特性相关的参数。
3.根据权利要求2所述的方法，其特征在于，由单目相机逐次采集包括所述整块标定板的目标图像的步骤包括：
在所述标定板的几何中心添加定位码；
当所述单目相机逐次在所述机械臂采样点采集到包括所述定位码的采样图像时，基于所述定位码，计算所述单目相机相对于所述定位码的偏移信息，所述偏移信息包括旋转信息和平移信息；
根据所述偏移信息，调节所述机械臂，以使所述机械臂控制所述单目相机移动至每个所述机械臂采样点时，采集到的采样图像包括整块所述标定板，并保存为所述目标图像。
4.根据权利要求1所述的方法，其特征在于，在二维坐标图像中提取包含表示标定板的激光雷达数据的步骤和计算激光雷达相对于所述单目相机的姿态标定参数的步骤之间，所述方法进一步包括：
当在所述二维坐标图像中检测出由各个所述散点拟合的直线线段连续时，调整所述机械臂，以使所述激光雷达采集到包含表示所述标定板的激光雷达数据的待处理图像。
5.根据权利要求2所述的方法，其特征在于，计算激光雷达相对于所述单目相机的姿态标定参数的步骤包括：
将所述待处理图像中的表示所述标定板的位置的激光雷达数据对应的所述二维坐标信息投影到三维坐标系中，并生成所述激光雷达数据在所述三维坐标系中的直线方程；
根据所述内参数和所述畸变参数，对所述目标图像进行去畸变处理，并在所述去畸变后的目标图像中提取所述标定板中的所述角点；
将所述角点的图像坐标在相机坐标系下进行变换，生成所述标定板在所述相机坐标系下的平面方程；
根据所述平面方程的法向量和所述直线方程，计算所述激光雷达相对于所述标定板的姿态标定参数。
6.根据权利要求5所述的方法，其特征在于，所述计算激光雷达相对于所述标定板的姿态标定参数的步骤之后，所述方法进一步包括：
将满足所述直线方程的任意数据点按照所述姿态标定参数进行变换，并投影至所述平面方程对应的平面中；
计算任意所述数据点在所述平面中的重投影误差和夹角误差，并将不满足第一预设阈值的所述重投影误差和/或不满足第二预设阈值的所述夹角误差分别对应的所述数据点的所述姿态标定参数删除，并计算所述姿态标定参数的最优解。
7.一种对多传感器进行标定的装置，其特征在于，包括：
选取模块，用于选取相机采样点，所述相机采样点为由机械臂控制的单目相机的摄像范围包括整块标定板时的机械臂的位置；
生成模块，用于将携带有所述单目相机和激光雷达的所述机械臂逐次移动至各个所述相机采样点,判断所述激光雷达采集的三维坐标信息中是否包含所述标定板的位置；并在通过激光雷达采集到所述三维坐标信息时，将所述三维坐标信息转化为二维坐标信息，生成由所述二维坐标信息的各个散点组成的二维坐标图像；
提取模块，用于当在所述二维坐标图像中检测出由各个所述散点拟合的直线线段不连续时,在所述二维坐标图像中提取包含激光雷达数据的感兴趣区域，作为待处理图像；
计算模块，用于根据所述待处理图像，计算所述激光雷达相对于所述单目相机的姿态标定参数。
8.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至6任一项所述的一种对多传感器进行标定的方法中的各个步骤。
9.一种终端设备，其特征在于，包括处理器，所述处理器用于执行如权利要求1至6中任一项所述的一种对多传感器进行标定的方法中的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910801224.5A CN110599541B (zh) | 2019-08-28 | 2019-08-28 | 一种对多传感器进行标定的方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910801224.5A CN110599541B (zh) | 2019-08-28 | 2019-08-28 | 一种对多传感器进行标定的方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110599541A CN110599541A (zh) | 2019-12-20 |
| CN110599541B true CN110599541B (zh) | 2022-03-11 |
Family
ID=68855948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910801224.5A Active CN110599541B (zh) | 2019-08-28 | 2019-08-28 | 一种对多传感器进行标定的方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110599541B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111179358B (zh) * | 2019-12-30 | 2024-01-05 | 浙江商汤科技开发有限公司 | 标定方法、装置、设备及存储介质 |
| CN111429521B (zh) * | 2020-03-05 | 2021-12-21 | 深圳市镭神智能系统有限公司 | 相机与激光雷达的外参标定方法、装置、介质及电子设备 |
| CN113436265A (zh) * | 2020-03-08 | 2021-09-24 | 天津理工大学 | 红外热像仪与可见光相机的双目标定装置及其使用方法 |
| CN111680685B (zh) * | 2020-04-14 | 2023-06-06 | 上海高仙自动化科技发展有限公司 | 一种基于图像的定位方法、装置、电子设备及存储介质 |
| CN111627072B (zh) * | 2020-04-30 | 2023-10-24 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
| CN111750804B (zh) * | 2020-06-19 | 2022-10-11 | 浙江华睿科技股份有限公司 | 一种物体测量的方法及设备 |
| CN112017205B (zh) * | 2020-07-27 | 2021-06-25 | 清华大学 | 一种激光雷达和相机传感器空间位置自动标定方法及系统 |
| CN111735479B (zh) * | 2020-08-28 | 2021-03-23 | 中国计量大学 | 一种多传感器联合标定装置及方法 |
| CN112270713B (zh) * | 2020-10-14 | 2024-06-14 | 北京航空航天大学杭州创新研究院 | 标定方法以及装置、存储介质、电子装置 |
| CN112162263A (zh) * | 2020-10-26 | 2021-01-01 | 苏州挚途科技有限公司 | 传感器的联合标定方法、装置及电子设备 |
| CN112505663B (zh) * | 2020-11-25 | 2022-09-13 | 上海交通大学 | 用于多线激光雷达与相机联合标定的标定方法 |
| CN112562009A (zh) * | 2020-12-03 | 2021-03-26 | 深圳宇磐科技有限公司 | 一种相机设备参数和安装姿态参数自动标定方法及系统 |
| CN112710235B (zh) * | 2020-12-21 | 2022-08-26 | 阿波罗智联(北京)科技有限公司 | 结构光测量传感器的标定方法和装置 |
| CN113096108A (zh) * | 2021-04-21 | 2021-07-09 | 安徽声讯信息技术有限公司 | 一种用于接口测试的精准对接方法 |
| CN113391298B (zh) * | 2021-04-30 | 2023-09-22 | 深圳市安思疆科技有限公司 | 一种激光雷达的参数标定方法和装置 |
| CN113066136B (zh) * | 2021-06-03 | 2021-09-10 | 杭州灵西机器人智能科技有限公司 | 自动化标定方法、装置、电子设备及介质 |
| CN113744341A (zh) * | 2021-07-21 | 2021-12-03 | 北京旷视科技有限公司 | 机器人系统的相机位姿标定方法、装置和电子设备 |
| CN113808195B (zh) * | 2021-08-26 | 2024-04-12 | 领翌技术(横琴)有限公司 | 视觉定位方法、装置及存储介质 |
| CN115890638A (zh) * | 2021-09-30 | 2023-04-04 | 台达电子工业股份有限公司 | 自动化机械手臂系统 |
| CN114322767A (zh) * | 2021-12-29 | 2022-04-12 | 北京交通大学 | 基于多线拟合的空间多点定位方法、装置、设备及介质 |
| CN117218212B (zh) * | 2023-11-09 | 2024-02-13 | 杭州巨岩欣成科技有限公司 | 相机标定自适应调整方法、装置、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049912A (zh) * | 2012-12-21 | 2013-04-17 | 浙江大学 | 一种基于任意三面体的雷达-相机系统外部参数标定方法 |
| CN106228537A (zh) * | 2016-07-12 | 2016-12-14 | 北京理工大学 | 一种三维激光雷达与单目摄像机的联合标定方法 |
| CN109828262A (zh) * | 2019-03-15 | 2019-05-31 | 苏州天准科技股份有限公司 | 基于平面和空间特征的激光雷达与相机自动联合标定方法 |
| CN111311689A (zh) * | 2020-02-10 | 2020-06-19 | 清华大学 | 一种激光雷达与相机相对外参的标定方法及系统 |
-
2019
- 2019-08-28 CN CN201910801224.5A patent/CN110599541B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049912A (zh) * | 2012-12-21 | 2013-04-17 | 浙江大学 | 一种基于任意三面体的雷达-相机系统外部参数标定方法 |
| CN106228537A (zh) * | 2016-07-12 | 2016-12-14 | 北京理工大学 | 一种三维激光雷达与单目摄像机的联合标定方法 |
| CN109828262A (zh) * | 2019-03-15 | 2019-05-31 | 苏州天准科技股份有限公司 | 基于平面和空间特征的激光雷达与相机自动联合标定方法 |
| CN111311689A (zh) * | 2020-02-10 | 2020-06-19 | 清华大学 | 一种激光雷达与相机相对外参的标定方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| An Extrinsic Calibration Tool for Radar, Camera and Lidar;Joris Domhof et al.;《2019 International Conference on Robotics and Automation (ICRA)》;20190812;第8107-8113页 * |
| 移动机器人典型环境识别与运动控制方法及应用研究;刘宸;《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》;20190115;第I140-454页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110599541A (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599541B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
| CN110555889B (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
| CN111627072B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
| CN109977813B (zh) | 一种基于深度学习框架的巡检机器人目标定位方法 | |
| CN110580724B (zh) | 一种对双目相机组进行标定的方法、装置和存储介质 | |
| CN110570477B (zh) | 一种标定相机和旋转轴相对姿态的方法、装置和存储介质 | |
| CN107687855B (zh) | 机器人定位方法、装置及机器人 | |
| CN110599546A (zh) | 一种获取三维空间数据的方法、系统、装置和存储介质 | |
| CN112161619B (zh) | 位姿检测方法、三维扫描路径规划方法和检测系统 | |
| CN109977466B (zh) | 一种三维扫描视点规划方法、装置及计算机可读存储介质 | |
| CN111191625A (zh) | 一种激光-单目视觉融合的物体识别与定位方法 | |
| WO2015065660A1 (en) | Mapping damaged regions on objects | |
| CN108214487A (zh) | 基于双目视觉和激光雷达的机器人目标定位和抓取方法 | |
| CN103733022A (zh) | 3d机器视觉扫描信息提取系统 | |
| CN109911481B (zh) | 面向冶金机器人接插的仓架目标视觉识别定位方法和系统 | |
| CN110930442B (zh) | 基于标定块的机器人手眼标定中关键点位置确定方法与装置 | |
| CN114492070A (zh) | 一种高精度测绘地理信息虚拟仿真技术与装置 | |
| CN112809668A (zh) | 一种机械臂自动手眼标定的方法及系统、终端 | |
| CN110640303B (zh) | 高精度视觉定位系统及其定位校准方法 | |
| CN111627070A (zh) | 一种对旋转轴进行标定的方法、装置和存储介质 | |
| CN115063762A (zh) | 车道线的检测方法、装置、设备及存储介质 | |
| CN111399634A (zh) | 一种手势引导物体识别的方法及装置 | |
| CN116465335A (zh) | 基于点云匹配的自动测厚方法和系统 | |
| WO2020047713A1 (en) | Method and apparatus for managing robot system | |
| CN114266822B (zh) | 基于双目机器人的工件质检方法、装置、机器人及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |