CN111627072A - 一种对多传感器进行标定的方法、装置和存储介质 - Google Patents
一种对多传感器进行标定的方法、装置和存储介质 Download PDFInfo
- Publication number
- CN111627072A CN111627072A CN202010363928.1A CN202010363928A CN111627072A CN 111627072 A CN111627072 A CN 111627072A CN 202010363928 A CN202010363928 A CN 202010363928A CN 111627072 A CN111627072 A CN 111627072A
- Authority
- CN
- China
- Prior art keywords
- processed
- calibration
- image
- parameter
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000005070 sampling Methods 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000013519 translation Methods 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 6
- 230000036544 posture Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011031 large-scale manufacturing process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
本申请公开了一种对多传感器进行标定的方法、装置和存储介质,具体为在选取的至少一个第一采样位置,通过多线激光雷达采集激光雷达数据,以及通过图像采集设备采集包含整块标定板的第一待处理图像,基于第一待处理图像,计算图像采集设备相对于标定板的第一姿态标定参数,基于激光雷达数据,计算标定板的拟合平面方程,根据第一姿态标定参数和拟合平面方程,计算多线激光雷达相对于图像采集设备的第二姿态标定参数。本申请实施例通过判断多线激光雷达是否采集到包括标定板的激光雷达数据,并根据采集到的激光雷达数据和图像采集设备采集到的与标定板相关的数据,计算多线激光雷达相对于图像采集设备的姿态标定参数,提升了标定精度。
Description
技术领域
本申请涉及计算机视觉领域,尤其涉及一种对多传感器进行标定的方法、装置和存储介质。
背景技术
相机作为计算机观察客观世界的重要途径之一,经常应用在图像测量过程以及机器视觉应用中。激光雷达能够提供较广范围且高精度的深度信息,相机可以捕获丰富的纹理和鲜艳的色彩信息,将深度信息和色彩信息结合在一起可以将真实世界三维重建出来,而三维重建在计算机视觉和机器人感知方面有着重要的作用,是自动驾驶、机器人同步定位与建图(simultaneous localization and mapping,SLAM)、三维视觉感知、房屋三维重建等应用的基础,激光雷达和相机的标定工作便能很好的将激光雷达的深度信息和相机的色彩信息更好的结合起来。而相机采集的图像一半都会存在畸变,如果不能正确的获得图像的内参和畸变参数,那么将会严重影响以图像为基础的视觉感知技术的应用。故需要对激光雷达和相机的相对姿态做标定。
进一步地,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为对多传感器进行标定(或摄像机标定)。无论是在图像测量或者机器视觉应用中,相机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。目前针对多线激光雷达和相机的标定主要分为手动标定和自动标定。其中手动标定一般需要专业的技术人员对数据做采集和标注才能实现多线激光雷达和相机的标定,而自动化的标定方案主要针对自动驾驶领域的多线激光雷达和相机的标定,并不适用于普通三维重建领域的数据采集设备的标定。
发明内容
本申请实施例提供了一种对多传感器进行标定的方法,克服了在三维重建领域中,手动对图像采集设备和多线激光雷达进行标定时出现的标定不准确的问题,提升了标定精度。
该方法包括:
在选取的至少一个第一采样位置,通过多线激光雷达采集激光雷达数据,以及通过图像采集设备采集包含整块标定板的第一待处理图像;
基于所述第一待处理图像,计算所述图像采集设备相对于所述标定板的第一姿态标定参数;
基于所述激光雷达数据,计算所述标定板的拟合平面方程;
根据所述第一姿态标定参数和所述拟合平面方程,计算所述多线激光雷达相对于所述图像采集设备的第二姿态标定参数。
可选地,选取至少一个第二采样位置;
所述图像采集设备分别在至少一个所述第二采样位置上采集包含所述标定板的所述第二待处理图像;
提取所述第二待处理图像中的角点,并基于所述第二待处理图像中的角点的图像坐标,计算所述图像采集设备的相机内参和畸变参数。
可选地,基于所述图像采集设备的所述相机内参和所述畸变参数,对至少一个所述第一待处理图像进行去畸变处理;
在经过所述去畸变处理的至少一个所述第一待处理图像中提取所述标定板的角点;
分别获取所述标定板的角点在图像坐标系下的第一像素坐标和第一三维坐标;
基于所述相机内参,所述第一像素坐标和所述第一三维坐标,计算所述图像采集设备相对于所述标定板的第一旋转参数和第一平移参数;
基于所述第一旋转参数,计算所述图像采集设备相对于所述标定板的所述第一姿态标定参数,所述第一姿态标定参数包括所述标定板在所述图像采集设备的相机坐标系下的旋转方向向量和偏转角度。
可选地,遍历所述多线激光雷达的至少一条激光束采集的所述激光雷达数据中包含的数据点,并当相邻的所述数据点之间的距离在第一预设阈值内时,将所述在预设阈值内的所述相邻的数据点进行聚类,生成为所述激光束对应的待处理线段;
基于所述待处理线段,拟合表示所述标定板的所述拟合平面方程。
可选地,计算至少一条所述待处理线段的长度,并提取长度在第一预设范围内的所述待处理线段;
在所述长度在所述第一预设范围内的所述待处理线段中筛选出方向向量的夹角的度数在第二预设范围内且相邻的所述待处理线段之间的距离在第二预设阈值内的所述待处理线段,并生成表示所述标定板的待处理拟合平面;
将所述待处理拟合平面与所述标定板的面积进行比较,并选取其中与所述标定板的面积最接近的所述待处理拟合平面作为所述拟合平面;
基于所述拟合平面,生成表示所述标定板的所述拟合平面方程。
可选地,基于所述第一姿态标定参数和所述拟合平面方程,计算所述多线激光雷达相对于所述图像采集设备的所述第二旋转参数;
基于所述第一平移参数和所述拟合平面方程,计算所述多线激光雷达相对于所述图像采集设备的所述第二平移参数。
可选地,将所述多线激光雷达采集的任意数据点按照所述第二姿态标定参数进行变换,并投影至所述拟合平面方程对应的平面中;
计算任意所述数据点在所述平面中的重投影误差和夹角误差,并将不满足第三预设阈值的所述重投影误差和/或不满足第四预设阈值的所述夹角误差分别对应的所述数据点的所述第二姿态标定参数删除,并计算所述第二姿态标定参数的最优解。
在本发明的另一个实施例中,提供了一种对多传感器进行标定的装置,该装置包括:
第一采集模块,用于在选取的至少一个第一采样位置,通过多线激光雷达采集激光雷达数据,以及通过图像采集设备采集包含整块标定板的第一待处理图像;
第一计算模块,用于基于所述第一待处理图像,计算所述图像采集设备相对于所述标定板的第一姿态标定参数;
第二计算模块,用于基于所述激光雷达数据,计算所述标定板的拟合平面方程;
第三计算模块,用于根据所述第一姿态标定参数和所述拟合平面方程,计算所述多线激光雷达相对于所述图像采集设备的第二姿态标定参数。
可选地,所述装置进一步包括:
选取模块,用于选取至少一个第二采样位置;
第二采集模块,用于所述图像采集设备分别在至少一个所述第二采样位置上采集包含所述标定板的所述第二待处理图像;
第四计算模块,用于提取所述第二待处理图像中的角点,并基于所述第二待处理图像中的角点的图像坐标,计算所述图像采集设备的相机内参和畸变参数。
可选地,所述第一计算模块包括:
去畸变单元,用于基于所述图像采集设备的所述相机内参和所述畸变参数,对至少一个所述第一待处理图像进行去畸变处理;
提取单元,用于在经过所述去畸变处理的至少一个所述第一待处理图像中提取所述标定板的角点;
获取单元,用于分别获取所述标定板的角点在图像坐标系下的第一像素坐标和第一三维坐标;
第一计算单元,用于基于所述相机内参,所述第一像素坐标和所述第一三维坐标,计算所述图像采集设备相对于所述标定板的第一旋转参数和第一平移参数;
第二计算单元,用于基于所述第一旋转参数,计算所述图像采集设备相对于所述标定板的所述第一姿态标定参数,所述第一姿态标定参数包括所述标定板在所述图像采集设备的相机坐标系下的旋转方向向量和偏转角度。
可选地,所述第二计算模块包括:
生成单元,用于遍历所述多线激光雷达的至少一条激光束采集的所述激光雷达数据中包含的数据点,并当相邻的所述数据点之间的距离在第一预设阈值内时,将所述在预设阈值内的所述相邻的数据点进行聚类,生成为所述激光束对应的待处理线段;
拟合单元,用于基于所述待处理线段,拟合表示所述标定板的所述拟合平面方程。
可选地,所述拟合单元包括:
计算子单元,用于计算至少一条所述待处理线段的长度,并提取长度在第一预设范围内的所述待处理线段;
第一生成子单元,用于在所述长度在所述第一预设范围内的所述待处理线段中筛选出方向向量的夹角的度数在第二预设范围内且相邻的所述待处理线段之间的距离在第二预设阈值内的所述待处理线段,并生成表示所述标定板的待处理拟合平面;
选取子单元,用于将所述待处理拟合平面与所述标定板的面积进行比较,并选取其中与所述标定板的面积最接近的所述待处理拟合平面作为所述拟合平面;
第二生成子单元,用于基于所述拟合平面,生成表示所述标定板的所述拟合平面方程。
可选地,所述第三计算模块包括:
第三计算单元,用于基于所述第一姿态标定参数和所述拟合平面方程,计算所述多线激光雷达相对于所述图像采集设备的所述第二旋转参数;
第四计算单元,用于基于所述第一平移参数和所述拟合平面方程,计算所述多线激光雷达相对于所述图像采集设备的所述第二平移参数。
可选地,所述装置进一步包括:
投影模块,用于将所述多线激光雷达采集的任意数据点按照所述第二姿态标定参数进行变换,并投影至所述拟合平面方程对应的平面中;
第五计算模块,用于计算任意所述数据点在所述平面中的重投影误差和夹角误差,并将不满足第三预设阈值的所述重投影误差和/或不满足第四预设阈值的所述夹角误差分别对应的所述数据点的所述第二姿态标定参数删除,并计算所述第二姿态标定参数的最优解。
在本发明的另一个实施例中,提供了一种非瞬时计算机可读存储介质,所述非瞬时计算机可读存储介质存储指令,所述指令在由处理器执行时使得所述处理器执行上述一种对多传感器进行标定的方法中的各个步骤。
在本发明的另一个实施例中,提供了一种终端设备,包括处理器,所述处理器用于执行上述一种对多传感器进行标定的方法中的各个步骤。
如上可见,基于上述实施例,首先在选取的至少一个第一采样位置,通过多线激光雷达采集激光雷达数据,以及通过图像采集设备采集包含整块标定板的第一待处理图像,其次,基于第一待处理图像,计算图像采集设备相对于标定板的第一姿态标定参数,进一步地,基于激光雷达数据,计算标定板的拟合平面方程,最后,根据第一姿态标定参数和拟合平面方程,计算多线激光雷达相对于图像采集设备的第二姿态标定参数。本申请实施例通过在设置标定板作为参照物的固定环境中,判断多线激光雷达是否采集到包括标定板的激光雷达数据,并根据采集到的激光雷达数据和图像采集设备采集到的与标定板相关的数据,计算多线激光雷达相对于图像采集设备的姿态标定参数,提升了标定精度。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例100所提供的一种对多传感器进行标定的方法的流程示意图;
图2示出了本申请实施例200提供的标定板的示意图;
图3示出了本申请实施例300示出的一种对多传感器进行标定的方法的具体流程的示意图;
图4示出了本申请实施例400还提供一种对多传感器进行标定的装置的示意图;
图5示出了本申请实施例500所提供的一种终端设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
基于现有技术中的问题,本申请实施例提供了一种对多传感器进行标定的方法,主要适用于计算机视觉和三维重建感知领域。本申请实施例中的一种对多传感器进行标定的方法,通过机械臂控制多线激光雷达和图像采集设备在选取的各个采样点分别采集待处理图像和激光雷达数据,在激光雷达数据中提取关于标定板的点运数据,以及在待处理图像中定位标定板,并进一步计算多线激光雷达相对于图像采集设备的姿态标定参数,以提升标定的精确度。下面以具体实施例对本发明的技术方案进行详细说明,其中的几个具体实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。如图1所示,为本申请实施例100所提供的一种对多传感器进行标定的方法的流程示意图。其中,详细步骤如下:
S11,在选取的至少一个第一采样位置,通过多线激光雷达采集激光雷达数据,以及通过图像采集设备采集包含整块标定板的第一待处理图像。
本步骤中,本申请实施例中的多传感器主要包括多线激光雷达和图像采集设备。其中,图像采集设备和多线激光雷达固定在一起作为待标定设备。第一采样位置一般为控制图像采集设备和多线激光雷达的机械臂相对于标定板的位置,也可以为机械臂抓取标定板移动的位置。可选地,第一采样位置可以使图像采集设备的摄像范围包括整块标定板,且每个第一采样位置均可以使多线激光雷达采集到标定板的激光雷达数据。具体的,机械臂可以抓取标定板在预先设定的至少一个第一采样位置上逐个移动,或者由机械臂抓取图像采集设备和多线激光雷达在预先设定的至少一个采样位置上逐个移动。其中,第一采样位置一般可以满足标定板与机械臂携带的设备的距离分布在1m-6m范围内。可选地,机械臂可以抓取标定板在多线激光雷达和相机视野内以俯仰、倾斜、偏转、远近等姿态出现,
进一步地,在各个第一采样点,由多线激光雷达发射探测信号,并接受返回的探测信号,以采集激光雷达数据。同时,图像采集设备采集包括整块标定板的第一待处理图像。
S12,基于第一待处理图像,计算图像采集设备相对于标定板的第一姿态标定参数。
本步骤中,图像采集设备在采集到第一待处理图像后,在每一张待处理图像中检测采集到的标定板上的角点。可选地,如图2所示,为本申请实施例200所示出的标定板的示意图。其中,标定板可以为圆形单元格,或者为四边形单元格。当标定板为圆形单元格时,每个圆形单元格的几何中心作为标定板的角点的位置。当标定板为四边形单元格时,每个黑色四边形或白色四边形的几何中心为标定板的角点的位置。
进一步地,基于检测到的角点,获取角点在图像采集设备的图像坐标系下的像素坐标和三维坐标。根据角点的像素坐标和三维坐标,计算图像采集设备在第一采样位置时与标定板的第一姿态标定参数。其中,第一姿态标定参数包括第一旋转参数和第一平移参数。
S13,基于激光雷达数据,计算标定板的拟合平面方程。
本步骤中,当多线激光雷达在第一采样位置采集到激光雷达数据时,将激光雷达数据中的三维坐标信息转化为二维坐标信息。其中,多线激光雷达采集的激光雷达数据中包含表示标定板的位置的数据。可选地,根据实际标定环境确定将三维坐标信息转化为二维坐标信息的转化系数,根据转化系数,将在各个第一采样位置上采集的三维坐标信息投影到二维平面上。进一步地,多线激光雷达的每个激光束在各个第一采样位置上采集的三维坐标信息转化在二维平面上表现为多个数据点。将多线激光雷达的每个激光束采集的三维坐标信息对应在二维平面上的各个数据点拟合为直线线段。进一步地,利用直线检测算法在二维平面上检测直线线段,筛选出满足预设条件的直线线段拟合表示标定板的拟合平面,并计算拟合平面的拟合平面方程。
S14,根据第一姿态标定参数和拟合平面方程,计算多线激光雷达相对于图像采集设备的第二姿态标定参数。
本步骤中,基于标定板与图像采集设备标定的第一姿态标定参数中的第一旋转参数,以及多线激光雷法确定的拟合平面方程,根据奇异值分解(Singular ValueDecomposition,SVD)得到图像采集设备和多线激光雷达的第二姿态标定参数。其中,第二姿态标定参数包括第二旋转参数和第二平移参数。
如上所述,首先在选取的至少一个第一采样位置,通过多线激光雷达采集激光雷达数据,以及通过图像采集设备采集包含整块标定板的第一待处理图像,其次,基于第一待处理图像,计算图像采集设备相对于标定板的第一姿态标定参数,进一步地,基于激光雷达数据,计算标定板的拟合平面方程,最后,根据第一姿态标定参数和拟合平面方程,计算激光雷达相对于图像采集设备的第二姿态标定参数。本申请实施例通过在设置标定板作为参照物的固定环境中,判断多线激光雷达是否采集到包括标定板的激光雷达数据,并根据采集到的激光雷达数据和图像采集设备采集到的与标定板相关的数据,计算多线激光雷达相对于图像采集设备的姿态标定参数,提升了标定精度。
进一步地,如图3所示,为本申请实施例300提供的一种对多传感器进行标定的方法的具体流程的示意图。其中,该具体流程的详细过程如下:
S301,选取至少一个第二采样位置。
这里,选取第二采样位置是为计算图像采集设备的相机内参和畸变参数。可选地,第二采样位置为标定板的摆放位置。本申请实施例通过保持图像采集设备的位置固定,将第二标定板分别移动至各个第二采样位置。其中,第二采样位置均在图像采集设备的图像采集视野中。
S302,图像采集设备在至少一个第二采样位置采集包含标定板的第二待处理图像。
这里,在每个第二采样位置,图像采集设备采集第二待处理图像。其中,保持图像采集设备的位置固定不动,在每个第二采样位置采集第二待处理图像,每个第二待处理图像中包括整块标定板。这里用于计算图像采集设备的相机内参和畸变参数的标定板可与图2中所示的标定板一样。进一步地,图像采集设备在至少一个第二采样位置采集包含标定板的第二待处理图像。
S303,根据第二待处理图像,计算图像采集设备的相机内参和畸变参数。
本步骤中,首先提取第二待处理图像中的角点,并基于第二待处理图像中的角点的图像坐标,计算图像采集设备的相机内参和畸变参数。具体的,利用角点提取算法提取第二待处理图像中的角点。基于提取的角点,计算图像采集设备的相机内参和畸变参数。可选地,通过张氏标定算法,N点透视(Perspective-n-point,PNP)算法来优化结果并得到图像采集设备的相机内参和畸变参数。其中,在提取了角点的图像坐标后,为了获取更高的精度,可以将提取到的角点的像素精确到亚像素精度。
进一步地,相机内参为与图像采集设备自身相关的参数,相机内参可以表示为 其中,fx为图像采集设备的摄像头在X轴上的焦距,fy为在Y轴上的焦距,cx为相对光轴而言x方向上的偏移量和相对光轴而言Y方向上的偏移量cy。图像采集设备的畸变参数D=[k1,k2,p1,p2,k3],其中,k1,k2,k3为感光元平面跟透镜不平行所导致的径向畸变系数,p1,p2为相机制作工艺导致的切向畸变系数。
上述步骤S301至步骤S303为对图像采集设备进行标定的具体步骤。
S304,选取至少一个第一采样位置。
这里,第一采样位置一般为控制图像采集设备和多线激光雷达的机械臂相对于标定板的位置,也可以为机械臂抓取标定板移动的位置。可选地,第一采样位置可以使图像采集设备的摄像范围包括整块标定板,且每个第一采样位置均可以使多线激光雷达采集到标定板的激光雷达数据。
S305,通过多线激光雷达采集激光雷达数据,以及通过图像采集设备采集包含整块标定板的第一待处理图像。
这里,在本申请实施例中,对多传感器进行标定可以通过机械臂控制多传感器在各个第一采样位置进行信息采集,或者通过机械臂控制标定板在各个第一采样位置移动,以改善人工采集图像可能存在的采集效率低下以及每次的采样位置不固定等问题。进一步地,多线激光雷法采集激光雷达数据,以及图像采集设备采集包含整块标定板的第一待处理图像。
S306,对第一待处理图像进行去畸变处理。
本步骤中,根据相机内参和畸变参数对第一待处理图像进行去畸变处理。可选地,将可能存在畸变的第一待处理图像中的至少一个角点的图像坐标经过畸变参数变换,投影到无畸变的图像坐标系下,得到无畸变的图像。去畸变的具体过程如下:
x1′=x1×(1+k1×r1+k2×r1 2+k3×r1 3)+2×p1×x1×y1+p2×(r1+2×x1 2),
y1′=y1×(1+k1×r1+k2×r1 2+k3×r1 3)+2×p1×x1×y1+p2×(r1+2×y1 2),
其中,u0和v0是图像采集设备的摄像头的中心点位置,u1和v1表示第一待处理图像上任意角点的像素坐标,r1为归一像素半径的平方,x1和y1是归一化像素坐标。
S307,计算图像采集设备相对于标定板的第一旋转参数和第一平移参数。
这里,首先在经过去畸变处理的至少一个第一待处理图像中提取标定板的角点。其次,分别获取标定板的角点在图像坐标系下的第一像素坐标和第一三维坐标。最后,基于相机内参,第一像素坐标和第一三维坐标,计算图像采集设备相对于标定板的第一姿态标定参数,其中,第一姿态标定参数包括第一旋转参数和第一平移参数。
其中,在去畸变后的第一待处理图像中检测标定板的角点。这里可以通过计算第一待处理图像上每个像素的梯度的强度和方向(考虑到第一待处理图像中存在的噪点会对像素的真实梯度值有较大干扰,因此首先需要对图像做低通滤波处理来消除图像中的噪点),然后对梯度的强度和方向进行聚类处理。可选地,若标定板为图2中所示的由至少一个方形单元格组成的样式时,对第一待处理图像做二值化处理,将图像上的像素点的灰度值设置为0或255,使整张第一待处理图像呈现出明显的黑白效果。然后采用霍夫直线检测算法提取感兴趣的线段,在第一待处理图像中拟合直线并检测出方形单元格。可选地,基于第一待处理图像上相邻的两个像素都存在一条边,边的权值为梯度方向之差,根据边的权值对所有的边进行排列,最后会根据边的权值做边的合并,进而实现第一待处理图像中线段的初步提取。进一步地,提取方形单元格的几何中心作为角点的位置并进行亚像素处理。
若标定板为图2中所示的由至少一个圆形单元格格组成的样式时,首先对每一张第一待处理图像进行自适应的二值化处理,将第一待处理图像上的像素点的灰度值设置为0或255,使采样图像呈现出明显的黑白效果。然后采用霍夫直线检测算法拟合圆形,在采样图像中检测出圆形单元格并进行亚像素处理,提取圆形单元格的几何中心作为角点的坐标。
进一步地,获取至少一个角点的第一像素坐标和第一三维坐标。其中,第一像素坐标是第一待处理图像中的每个角点的二维像素坐标,第一三维坐标是每个角点在标定板坐标系下的三维坐标。由于标定板的每个角点之间的物理尺寸是已知的,可以根据至少一个角点的第一像素坐标和第一三维坐标,通过PNP优化求解得到标定板在图像采集设备的相机坐标系下的第一旋转参数和第一平移参数。具体的计算过程为如下所示的公式:
其中,(xc,yc)是图像坐标系下的角点的第一像素坐标,(Xw,Yw,Zw)是标定板坐标系下的第一三维坐标,R1为图像采集设备在第一采样位置时图像采集设备与标定板在的相机坐标系下的第一旋转参数,t1为标定板在图像采集设备的相机坐标系下的第一平移参数。
S308,基于第一旋转参数,计算图像采集设备相对于标定板的第一姿态标定参数。
本步骤中,第一姿态标定参数包括标定板在图像采集设备的相机坐标系下的旋转方向向量和偏转角度。其中,在第一采样位置时的图像采集设备的变换矩阵为T1=[R1 t1]。可选地,基于罗德里格旋转公式(Rodrigues'rotation formula)的逆变换得到第一旋转参数的偏转角度和旋转方向向量,具体的计算公式如下:
其中,生成标定板在图像采集设备的相机坐标系下的旋转方向向量rx,ry,rz,θ是偏转角度。
S309,在多线激光雷达采集的激光雷达数据中提取待处理线段。
本步骤中,遍历多线激光雷达的至少一条激光束采集的激光雷达数据中包含的数据点,并当相邻的数据点之间的距离在第一预设阈值内时,将在预设阈值内的相邻的数据点进行聚类,生成为激光束对应的待处理线段。可选地,多线激光雷达发出的多条激光束在至少一个第一采用位置采集激光雷达数据后,基于激光雷达测量距离的特性,当多线激光雷达采集的激光雷达数据中包括标定板的位置信息时,每束激光线采集的数据点以距离的远近做聚类可以生成多条分段线段作为待处理线段。其中,相邻的数据点之间的距离所在的第一预设阈值可以根据经验事先确定。
S310,筛选出表示标定板的待处理线段,并生成表示标定板的待处理拟合平面。
这里,针对待处理线段,首先计算至少一条待处理线段的长度,并提取长度在第一预设范围内的待处理线段。其次,在长度在第一预设范围内的待处理线段中筛选出方向向量在第二预设范围内且相邻的待处理线段之间的距离在第二预设阈值内的待处理线段,并生成表示标定板的待处理拟合平面。
可选地,基于激光雷达测量距离的特性,在测量空间中采集激光雷达数据时,针对远近不同的物体,聚类生成的待处理线段在三维空间中的前后位置不同,对应的待处理线段的长度不同。因此,计算至少一条待处理线段的长度Lidar,并判断待处理线段的长度Lidar是否在第一预设范围内。可选地,假设标定板的尺寸是(w,h),则采集到标定板的激光雷达数据中聚类后的待处理线段的长度Lidar应满足第一预设范围w-σ<=Lidar<=w+σ,其中,σ为宽限值。
进一步地,在满足前述第一预设范围的待处理线段中筛选表示标定板的位置的待处理线段。可选地,在多线激光雷达中的多束激光束采集到标定板时,多条待处理线段中相邻的待处理线段之间的距离较小,且多条待处理线段的方向向量几乎一致即相邻方向向量的夹角的度数也较小。因此,在长度在第一预设范围内的待处理线段中筛选出方向向量的夹角的度数在第二预设范围内且相邻的待处理线段之间的距离在第二预设阈值内的待处理线段。可选地,若待处理线段的直线方程经过点(x0,y0,z0),方向向量为(a,b,c),则直线方程为 若两个待处理线段的方向向量分别是a和b,那么方向向量之间的夹角夹角θ的数值在第二预设范围内。若该待处理线段到多线激光雷达的中心的距离为D,已知相邻的待处理线段之间的夹角θ为2°,则相邻待处理线段之间的距离应该小于第二预设阈值PI为圆周率。其中,为了增大第二预设阈值,可以设置较高的夹角度数,如将设置为3。第二预设范围和第二预设阈值可以根据经验值确定。
进一步地,基于上述条件筛选出表示标定板的位置的待处理线段对应的直线方程,拟合生成表示标定板的待处理拟合平面,
S311,计算待处理拟合平面的面积。
这里,将待处理拟合平面中的待处理线段的长度Lidar和在该待处理拟合平面中相距最远的两条待处理线段之间的距离值J相乘,得到该待处理拟合平面的面积Lidar*J。
S312,判断待处理拟合平面的面积与标定板的实际面积的面积差是否在第三预设范围内。
这里,第三预设范围可以基于经验值确定。
S313,在满足第三预设范围的待处理拟合平面中筛选出面积与标定板的面积最接近的待处理拟合平面作为拟合平面,并生成标定板的拟合平面方程。
这里,基于前述待处理线段的直线方程,拟合生成表示标定板的待处理拟合平面,并生成相应的平面方程Ax+By+Cz+E=0,其中,A,B,C是拟合平面方程的法线方程,E是激光雷达的中心到拟合平面的距离。
S314,剔除面积差不在第三预设范围内的待处理拟合平面的数据。
S315,计算激光雷达相对于图像采集设备的第二姿态标定参数。
这里,基于第一姿态标定参数和拟合平面方程,计算多线激光雷达相对于图像采集设备的第二旋转参数,以及,基于第一平移参数和拟合平面方程,计算多线激光雷达相对于图像采集设备的第二平移参数。
可选地,根据拟合平面方程Ax+By+Cz+E=0,其法向定义为N=[A,B,C]T,若多线激光雷达相对于图像采集设备的第二姿态标定参数为其中,R2表示多线激光雷达和图像采集设备之间的第二旋转参数,t2表示多线激光雷达和图像采集设备之间的第二平移参数。对于表示拟合平面方程中的任意一个点P(x,y,z)在图像采集设备的相机坐标系中对应的点为Pc(xc,yc,zc)之间存的关系为Pc=R2P+t2。多线激光雷达打在标定板上的数据点P,在经过T2变换后必然会落在标定板在相机坐标系的平面内,两者之间的关系为N×(R2P+t2)=E。根据前述关系计算多线激光雷达和图像采集设备之间的第二姿态标定参数。对第一姿态标定参数和拟合平面方程进行SVD算法,计算得出多线激光雷达相对于图像采集设备的第二旋转参数Rcl,然后基基于第一平移参数和拟合平面方程,计算多线激光雷达相对于图像采集设备的第二平移参数tcl。
S316,计算第二姿态标定参数中的最优解。
这里,将多线激光雷达采集的任意数据点按照第二姿态标定参数进行变换,并投影至拟合平面方程对应的平面中。然后,计算任意数据点在平面中的重投影误差和夹角误差,并将不满足第三预设阈值的重投影误差和/或不满足第四预设阈值的夹角误差分别对应的数据点的第二姿态标定参数删除,并计算第二姿态标定参数的最优解。可选地,将满足拟合平面方程的任意数据点按照姿态标定参数进行变换,并投影至拟合平面方程对应的平面中,计算任意数据点在平面中的重投影误差和夹角误差。其中,重投影误差为标定板上的激光雷达数据经过第二姿态变换参数变换后,与标定板的拟合平面方程的投影距离误差。夹角误差为标定板上的激光雷达数据拟合出来的直线,经过第二姿态变换参数变换后与标定板的平面方程的夹角误差。将不满足第三预设阈值的重投影误差和/或不满足第四预设阈值的夹角误差分别对应的数据点的第二姿态标定参数删除,并计算第二姿态标定参数的最优解。具体的,对采集的n组数据,定义如下误差方程:
其中,Ni表示第n组数据的拟合平面方程的法向量,i表示n组数据中的第i组数据,j表示第i组数据中激光雷达数据在标定板上的具体的第j个三维数据点。基于上述误差方程,按照最小二乘法计算第二姿态标定参数R2和t2的最优解。进一步地,将计算得出的第二姿态标定参数,将表示多线激光雷达数据的直线方程投影到拟合平面方程内,并计算每个数据点的重投影误差和夹角误差。
进一步地,判断计算得出的重投影误差和夹角误差是否分别小于第三预设阈值和第四预设阈值。第三预设阈值和第四预设阈值的具体数值根据计算得到的重投影误差和夹角误差的具体数值确定。如果第Ni组数据的重投影误差或者角度偏移量较大且分别超过了第三预设阈值和第四预设阈值,可以把该组数据剔除后再重复之前的优化过程,以便得到最优R2和t2。利用最优的第二姿态标定参数,对多线激光雷达与图像采集设备进行标定。
基于上述实施例实现一种对多传感器进行标定的方法。其中,通过机械臂实现对数据的自动化采集,不需要人工干预,比较适合大规模生产。进一步地,当在对多线激光雷达和图像采集设备进行标定时,需要保证标定板在多线激光雷达和图像采集设备的视野范围内,图像采集设备可以通过图像来识别是否可以看到标定板,但是激光雷达很难去判别是否将探测信号发射至标定板上。针对上述问题,通常需要人工在采集阶段和激光雷达数据提取阶段做干预,来确保采集的激光雷达数据中包含标定板的位置的信息。然后,在图像采集设备采集的图像中定位标定板,以及在多线激光雷达采集的激光雷达数据中提取表示标定板的点云数据。最后,基于标定板在图像采集设备中的第一姿态标定参数和在多线激光雷达中提取的拟合平面方程得到多线激光雷达相对于图像采集设备的第二旋转参数Rcl,以及,基于第一平移参数和拟合平面方程,计算多线激光雷达相对于图像采集设备的第二平移参数tcl。实现了三维重建领域多线激光雷达和图像采集设备的自动化标定,提升了标定精度。
基于同一发明构思,本申请实施例400还提供一种对多传感器进行标定的装置,其中,如图4所示,该装置包括:
第一采集模块41,用于在选取的至少一个第一采样位置,通过多线激光雷达采集激光雷达数据,以及通过图像采集设备采集包含整块标定板的第一待处理图像;
第一计算模块42,用于基于第一待处理图像,计算图像采集设备相对于标定板的第一姿态标定参数;
第二计算模块43,用于基于激光雷达数据,计算标定板的拟合平面方程;
第三计算模块44,用于根据第一姿态标定参数和拟合平面方程,计算激光雷达相对于图像采集设备的第二姿态标定参数。
本实施例中,第一采集模块41、第一计算模块42、第二计算模块43和第三计算模块44的具体功能和交互方式,可参见图1对应的实施例的记载,在此不再赘述。
可选地,该装置进一步包括:
选取模块45,用于选取至少一个第二采样位置;
第二采集模块46,用于图像采集设备分别在至少一个第二采样位置上采集包含标定板的第二待处理图像;
第四计算模块47,用于提取第二待处理图像中的角点,并基于第二待处理图像中的角点的图像坐标,计算图像采集设备的相机内参和畸变参数。
可选地,第一计算模块42包括:
去畸变单元,用于基于图像采集设备的相机内参和畸变参数,对至少一个第一待处理图像进行去畸变处理;
提取单元,用于在经过去畸变处理的至少一个第一待处理图像中提取标定板的角点;
获取单元,用于分别获取标定板的角点在图像坐标系下的第一像素坐标和第一三维坐标;
第一计算单元,用于基于相机内参,第一像素坐标和第一三维坐标,计算图像采集设备相对于标定板的第一旋转参数和第一平移参数;
第二计算单元,用于基于第一旋转参数,计算图像采集设备相对于标定板的第一姿态标定参数,第一姿态标定参数包括标定板在图像采集设备的相机坐标系下的旋转方向向量和偏转角度。
可选地,第二计算模块43包括:
生成单元,用于遍历多线激光雷达的至少一条激光束采集的激光雷达数据中包含的数据点,并当相邻的数据点之间的距离在第一预设阈值内时,将在预设阈值内的相邻的数据点进行聚类,生成为激光束对应的待处理线段;
拟合单元,用于基于待处理线段,拟合表示标定板的拟合平面方程。
可选地,拟合单元包括:
计算子单元,用于计算至少一条待处理线段的长度,并提取长度在第一预设范围内的待处理线段;
第一生成子单元,用于在长度在第一预设范围内的待处理线段中筛选出方向向量的夹角的度数在第二预设范围内且相邻的待处理线段之间的距离在第二预设阈值内的待处理线段,并生成表示标定板的待处理拟合平面;
选取子单元,用于将待处理拟合平面与标定板的面积进行比较,并选取其中与标定板的面积最接近的待处理拟合平面作为拟合平面;
第二生成子单元,用于基于拟合平面,生成表示标定板的拟合平面方程。
可选地,第三计算模块44包括:
第三计算单元,用于基于第一姿态标定参数和拟合平面方程,计算所述多线激光雷达相对于图像采集设备的第二旋转参数;
第四计算单元,用于基于第一平移参数和拟合平面方程,计算多线激光雷达相对于图像采集设备的第二平移参数。
可选地,该装置进一步包括:
投影模块48,用于将多线激光雷达采集的任意数据点按照第二姿态标定参数进行变换,并投影至拟合平面方程对应的平面中;
第五计算模块49,用于计算任意数据点在所述平面中的重投影误差和夹角误差,并将不满足第三预设阈值的重投影误差和/或不满足第四预设阈值的夹角误差分别对应的数据点的第二姿态标定参数删除,并计算第二姿态标定参数的最优解。
如图5所示,本申请的又一实施例500还提供一种终端设备,包括处理器501,其中,处理器501用于执行上述一种对多传感器进行标定的方法的步骤。从图5中还可以看出,上述实施例提供的终端设备还包括非瞬时计算机可读存储介质502,该非瞬时计算机可读存储介质502上存储有计算机程序,该计算机程序被处理器501运行时执行上述一种对多传感器进行标定的方法的步骤。实际应用中,该终端设备可以是一台或多台计算机,只要包括上述计算机可读介质和处理器即可。
另外,本申请所述的方法步骤除了可以用对多传感器进行标定程序来实现,还可以由硬件来实现,例如,可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘和FLASH等,该存储介质上的计算机程序被运行时,能够执行上述的一种对多传感器进行标定的方法中的各个步骤。实际应用中,所述的计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的,也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或多个程序被执行时,能够执行上述的一种对多传感器进行标定的方法中的各个步骤。
根据本申请公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件,或者上述的任意合适的组合,但不用于限制本申请保护的范围。在本申请公开的实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本申请附图中的流程图和框图,示出了按照本申请公开的各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或者代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应该注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同附图中所标准的顺序发生。例如,两个连接地表示的方框实际上可以基本并行地执行,它们有时也可以按照相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或者流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,即使这样的组合或结合没有明确记载于本申请中。特别地,在不脱离本申请精神和教导的情况下,本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合,所有这些组合和/或结合均落入本申请公开的范围。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种对多传感器进行标定的方法,其特征在于,包括:
在选取的至少一个第一采样位置,通过多线激光雷达采集激光雷达数据,以及通过图像采集设备采集包含整块标定板的第一待处理图像;
基于所述第一待处理图像,计算所述图像采集设备相对于所述标定板的第一姿态标定参数;
基于所述激光雷达数据,计算所述标定板的拟合平面方程;
根据所述第一姿态标定参数和所述拟合平面方程,计算所述多线激光雷达相对于所述图像采集设备的第二姿态标定参数。
2.根据权利要求1所述的方法,其特征在于,在所述计算所述图像采集设备相对于所述标定板的第一姿态标定参数的步骤之前,所述方法进一步包括:
选取至少一个第二采样位置;
所述图像采集设备分别在至少一个所述第二采样位置上采集包含所述标定板的所述第二待处理图像;
提取所述第二待处理图像中的角点,并基于所述第二待处理图像中的角点的图像坐标,计算所述图像采集设备的相机内参和畸变参数。
3.根据权利要求2所述的方法,其特征在于,所述计算所述图像采集设备相对于所述标定板的第一姿态标定参数的步骤包括:
基于所述图像采集设备的所述相机内参和所述畸变参数,对至少一个所述第一待处理图像进行去畸变处理;
在经过所述去畸变处理的至少一个所述第一待处理图像中提取所述标定板的角点;
分别获取所述标定板的角点在图像坐标系下的第一像素坐标和第一三维坐标;
基于所述相机内参,所述第一像素坐标和所述第一三维坐标,计算所述图像采集设备相对于所述标定板的第一旋转参数和第一平移参数;
基于所述第一旋转参数,计算所述图像采集设备相对于所述标定板的所述第一姿态标定参数,所述第一姿态标定参数包括所述标定板在所述图像采集设备的相机坐标系下的旋转方向向量和偏转角度。
4.根据权利要求1所述的方法,其特征在于,所述计算所述标定板的拟合平面方程的步骤包括:
遍历所述多线激光雷达的至少一条激光束采集的所述激光雷达数据中包含的数据点,并当相邻的所述数据点之间的距离在第一预设阈值内时,将所述在预设阈值内的所述相邻的数据点进行聚类,生成为所述激光束对应的待处理线段;
基于所述待处理线段,拟合表示所述标定板的所述拟合平面方程。
5.根据权利要求4所述的方法,其特征在于,所述拟合表示所述标定板的所述拟合平面方程的步骤包括:
计算至少一条所述待处理线段的长度,并提取长度在第一预设范围内的所述待处理线段;
在所述长度在所述第一预设范围内的所述待处理线段中筛选出方向向量的夹角的度数在第二预设范围内且相邻的所述待处理线段之间的距离在第二预设阈值内的所述待处理线段,并生成表示所述标定板的待处理拟合平面;
将所述待处理拟合平面与所述标定板的面积进行比较,并选取其中与所述标定板的面积最接近的所述待处理拟合平面作为所述拟合平面;
基于所述拟合平面,生成表示所述标定板的所述拟合平面方程。
6.根据权利要求3所述的方法,其特征在于,所述第二姿态标定参数包括第二旋转参数和第二平移参数,所述计算所述多线激光雷达相对于所述图像采集设备的第二姿态标定参数的步骤包括:
基于所述第一姿态标定参数和所述拟合平面方程,计算所述多线激光雷达相对于所述图像采集设备的所述第二旋转参数;
基于所述第一平移参数和所述拟合平面方程,计算所述多线激光雷达相对于所述图像采集设备的所述第二平移参数。
7.根据权利要求5所述的方法,其特征在于,所述计算所述多线激光雷达相对于所述图像采集设备的第二姿态标定参数的步骤之后,所述方法进一步包括:
将所述多线激光雷达采集的任意数据点按照所述第二姿态标定参数进行变换,并投影至所述拟合平面方程对应的平面中;
计算任意所述数据点在所述平面中的重投影误差和夹角误差,并将不满足第三预设阈值的所述重投影误差和/或不满足第四预设阈值的所述夹角误差分别对应的所述数据点的所述第二姿态标定参数删除,并计算所述第二姿态标定参数的最优解。
8.一种对多传感器进行标定的装置,其特征在于,包括:
采集模块,用于在选取的至少一个第一采样位置,通过多线激光雷达采集激光雷达数据,以及通过图像采集设备采集包含整块标定板的第一待处理图像;
第一计算模块,用于基于所述第一待处理图像,计算所述图像采集设备相对于所述标定板的第一姿态标定参数;
第二计算模块,用于基于所述激光雷达数据,计算所述标定板的拟合平面方程;
第三计算模块,用于根据所述第一姿态标定参数和所述拟合平面方程,计算所述多线激光雷达相对于所述图像采集设备的第二姿态标定参数。
9.一种非瞬时计算机可读存储介质,其特征在于,所述非瞬时计算机可读存储介质存储指令,所述指令在由处理器执行时使得所述处理器执行如权利要求1至7任一项所述的一种对多传感器进行标定的方法中的各个步骤。
10.一种终端设备,其特征在于,包括处理器,所述处理器用于执行如权利要求1至7中任一项所述的一种对多传感器进行标定的方法中的各个步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010363928.1A CN111627072B (zh) | 2020-04-30 | 2020-04-30 | 一种对多传感器进行标定的方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010363928.1A CN111627072B (zh) | 2020-04-30 | 2020-04-30 | 一种对多传感器进行标定的方法、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111627072A true CN111627072A (zh) | 2020-09-04 |
CN111627072B CN111627072B (zh) | 2023-10-24 |
Family
ID=72273000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010363928.1A Active CN111627072B (zh) | 2020-04-30 | 2020-04-30 | 一种对多传感器进行标定的方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111627072B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112162263A (zh) * | 2020-10-26 | 2021-01-01 | 苏州挚途科技有限公司 | 传感器的联合标定方法、装置及电子设备 |
CN112562405A (zh) * | 2020-11-27 | 2021-03-26 | 山东高速建设管理集团有限公司 | 一种雷达视频智能融合与预警方法及系统 |
CN112710235A (zh) * | 2020-12-21 | 2021-04-27 | 北京百度网讯科技有限公司 | 结构光测量传感器的标定方法和装置 |
CN113034615A (zh) * | 2021-03-30 | 2021-06-25 | 南方电网电力科技股份有限公司 | 一种用于多源数据融合的设备标定方法及相关装置 |
CN113256729A (zh) * | 2021-03-17 | 2021-08-13 | 广西综合交通大数据研究院 | 激光雷达与相机的外参标定方法、装置、设备及存储介质 |
CN113610929A (zh) * | 2021-08-09 | 2021-11-05 | 西安外事学院 | 一种相机与多线激光的联合标定方法 |
CN113687336A (zh) * | 2021-09-09 | 2021-11-23 | 北京斯年智驾科技有限公司 | 一种雷达标定方法、装置、电子设备和介质 |
JP2022039906A (ja) * | 2020-08-28 | 2022-03-10 | 中国計量大学 | マルチセンサによる複合キャリブレーション装置及び方法 |
CN114758005A (zh) * | 2022-03-23 | 2022-07-15 | 中国科学院自动化研究所 | 激光雷达与相机外参标定方法及装置 |
CN115712111A (zh) * | 2022-11-07 | 2023-02-24 | 北京斯年智驾科技有限公司 | 一种相机雷达联合标定方法、系统、电子装置、计算机设备及存储介质 |
CN116449393A (zh) * | 2023-06-15 | 2023-07-18 | 天津美腾科技股份有限公司 | 一种针对大中型料堆多传感器测量方法和系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016531281A (ja) * | 2013-07-02 | 2016-10-06 | マーティン ガイ | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 |
CN106228537A (zh) * | 2016-07-12 | 2016-12-14 | 北京理工大学 | 一种三维激光雷达与单目摄像机的联合标定方法 |
CN110363820A (zh) * | 2019-06-28 | 2019-10-22 | 东南大学 | 一种基于激光雷达、图像前融合的目标检测方法 |
CN110570477A (zh) * | 2019-08-28 | 2019-12-13 | 贝壳技术有限公司 | 一种标定相机和旋转轴相对姿态的方法、装置和存储介质 |
CN110599541A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
CN110865388A (zh) * | 2019-11-28 | 2020-03-06 | 芜湖汽车前瞻技术研究院有限公司 | 摄像机与激光雷达的联合标定方法、装置及存储介质 |
US20200089971A1 (en) * | 2018-09-19 | 2020-03-19 | Baidu Online Network Technology (Beijing) Co., Ltd. | Sensor calibration method and device, computer device, medium, and vehicle |
CN110969669A (zh) * | 2019-11-22 | 2020-04-07 | 大连理工大学 | 基于互信息配准的可见光与红外相机联合标定方法 |
CN110992356A (zh) * | 2019-12-17 | 2020-04-10 | 深圳辰视智能科技有限公司 | 目标对象检测方法、装置和计算机设备 |
-
2020
- 2020-04-30 CN CN202010363928.1A patent/CN111627072B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016531281A (ja) * | 2013-07-02 | 2016-10-06 | マーティン ガイ | 撮像装置のモデリングおよび校正のためのシステムおよびその方法 |
CN106228537A (zh) * | 2016-07-12 | 2016-12-14 | 北京理工大学 | 一种三维激光雷达与单目摄像机的联合标定方法 |
US20200089971A1 (en) * | 2018-09-19 | 2020-03-19 | Baidu Online Network Technology (Beijing) Co., Ltd. | Sensor calibration method and device, computer device, medium, and vehicle |
CN110363820A (zh) * | 2019-06-28 | 2019-10-22 | 东南大学 | 一种基于激光雷达、图像前融合的目标检测方法 |
CN110570477A (zh) * | 2019-08-28 | 2019-12-13 | 贝壳技术有限公司 | 一种标定相机和旋转轴相对姿态的方法、装置和存储介质 |
CN110599541A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
CN110969669A (zh) * | 2019-11-22 | 2020-04-07 | 大连理工大学 | 基于互信息配准的可见光与红外相机联合标定方法 |
CN110865388A (zh) * | 2019-11-28 | 2020-03-06 | 芜湖汽车前瞻技术研究院有限公司 | 摄像机与激光雷达的联合标定方法、装置及存储介质 |
CN110992356A (zh) * | 2019-12-17 | 2020-04-10 | 深圳辰视智能科技有限公司 | 目标对象检测方法、装置和计算机设备 |
Non-Patent Citations (1)
Title |
---|
许小徐等: "智能汽车激光雷达和相机数据融合系统标定", vol. 41, no. 41, pages 79 - 86 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022039906A (ja) * | 2020-08-28 | 2022-03-10 | 中国計量大学 | マルチセンサによる複合キャリブレーション装置及び方法 |
JP7072759B2 (ja) | 2020-08-28 | 2022-05-23 | 中国計量大学 | マルチセンサによる複合キャリブレーション装置及び方法 |
CN112162263A (zh) * | 2020-10-26 | 2021-01-01 | 苏州挚途科技有限公司 | 传感器的联合标定方法、装置及电子设备 |
CN112562405A (zh) * | 2020-11-27 | 2021-03-26 | 山东高速建设管理集团有限公司 | 一种雷达视频智能融合与预警方法及系统 |
CN112710235A (zh) * | 2020-12-21 | 2021-04-27 | 北京百度网讯科技有限公司 | 结构光测量传感器的标定方法和装置 |
CN113256729A (zh) * | 2021-03-17 | 2021-08-13 | 广西综合交通大数据研究院 | 激光雷达与相机的外参标定方法、装置、设备及存储介质 |
CN113034615A (zh) * | 2021-03-30 | 2021-06-25 | 南方电网电力科技股份有限公司 | 一种用于多源数据融合的设备标定方法及相关装置 |
CN113610929B (zh) * | 2021-08-09 | 2023-08-18 | 西安外事学院 | 一种相机与多线激光的联合标定方法 |
CN113610929A (zh) * | 2021-08-09 | 2021-11-05 | 西安外事学院 | 一种相机与多线激光的联合标定方法 |
CN113687336A (zh) * | 2021-09-09 | 2021-11-23 | 北京斯年智驾科技有限公司 | 一种雷达标定方法、装置、电子设备和介质 |
CN114758005A (zh) * | 2022-03-23 | 2022-07-15 | 中国科学院自动化研究所 | 激光雷达与相机外参标定方法及装置 |
CN115712111A (zh) * | 2022-11-07 | 2023-02-24 | 北京斯年智驾科技有限公司 | 一种相机雷达联合标定方法、系统、电子装置、计算机设备及存储介质 |
CN116449393A (zh) * | 2023-06-15 | 2023-07-18 | 天津美腾科技股份有限公司 | 一种针对大中型料堆多传感器测量方法和系统 |
CN116449393B (zh) * | 2023-06-15 | 2023-09-22 | 天津美腾科技股份有限公司 | 一种针对大中型料堆多传感器测量方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111627072B (zh) | 2023-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110599541B (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
CN111627072A (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
CN110555889B (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
CN110570477B (zh) | 一种标定相机和旋转轴相对姿态的方法、装置和存储介质 | |
CN110580724B (zh) | 一种对双目相机组进行标定的方法、装置和存储介质 | |
JP6573354B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5612916B2 (ja) | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム | |
CN112476434A (zh) | 一种基于协作机器人的视觉3d取放方法及系统 | |
CN106469448B (zh) | 利用3d视觉进行自动化工业检查 | |
CN110599546A (zh) | 一种获取三维空间数据的方法、系统、装置和存储介质 | |
CN112161619B (zh) | 位姿检测方法、三维扫描路径规划方法和检测系统 | |
CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
CN111476841B (zh) | 一种基于点云和图像的识别定位方法及系统 | |
CN110189257B (zh) | 点云获取的方法、装置、系统及存储介质 | |
JP2014511772A (ja) | ロボットシステムにおいてピッキング動作後にセンサ測定値を無効にする方法 | |
CN115609591B (zh) | 一种基于2D Marker的视觉定位方法和系统、复合机器人 | |
CN107527368B (zh) | 基于二维码的三维空间姿态定位方法与装置 | |
CN109035170A (zh) | 基于单网格图分段映射的自适应广角图像校正方法及装置 | |
CN111627071B (zh) | 一种测量电机旋转精度的方法、装置和存储介质 | |
CN114972421A (zh) | 车间物料识别追踪与定位方法、系统 | |
CN111627070A (zh) | 一种对旋转轴进行标定的方法、装置和存储介质 | |
JP2730457B2 (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
CN107680035B (zh) | 一种参数标定方法和装置、服务器及可读存储介质 | |
JPH1079029A (ja) | 立体情報検出方法及びその装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |