CN111192331B - 一种激光雷达和相机的外参标定方法及装置 - Google Patents
一种激光雷达和相机的外参标定方法及装置 Download PDFInfo
- Publication number
- CN111192331B CN111192331B CN202010271375.7A CN202010271375A CN111192331B CN 111192331 B CN111192331 B CN 111192331B CN 202010271375 A CN202010271375 A CN 202010271375A CN 111192331 B CN111192331 B CN 111192331B
- Authority
- CN
- China
- Prior art keywords
- point
- laser
- laser radar
- camera
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明公开了一种激光雷达和相机的外参标定方法及装置,用以解决现有的外参标定方法的外参标定结果的准确性和一致性低的问题。所述激光雷达和相机的外参标定方法,应用于机器人,所述激光雷达和所述相机固定在所述机器人上,在机器人摄像范围内以及激光雷达扫描范围内,设有预设标定板,所述方法包括:采集同步的激光雷达数据和图像数据;获取每个图像数据中的预设标定板的指定角点及其坐标,获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标;将每对同步的激光雷达数据和图像数据中,对应的所述激光点和所述角点确定为一个点对,并根据预设规则选择预设数量的点对;根据选择的点对的各点坐标,确定所述激光雷达和所述相机的外参。
Description
技术领域
本发明涉及机器人领域,尤其涉及一种激光雷达和相机的外参标定方法及装置。
背景技术
在AGV(Automated Guided Vehicle,自动导引车)等物流机器人领域,通常使用单线激光雷达进行定位,由于单线激光雷达信息量少,不能完成语义导航等要求,通常需要配合使用视觉传感器进行辅助定位、路径规划和导航等。在图像数据和激光雷达数据融合的过程中,需要统一两者之间的坐标系,对两者之间的外参进行标定。
现有的外参标定方法可以分为两类:一类是通过相机拍摄的图像自动或手动获取场景中的角点或者轮廓点,通过特定的装置,如机械手臂等来寻找角点对应的激光点数据,通过获取的点对计算外参。另一类是通过相机拍摄的图像计算相机在全局坐标系下的位置,再根据激光雷达数据计算激光雷达在全局坐标系下的位置,通过坐标转化的方法得到相机和激光雷达之间的外参,其中,通常可以利用SLAM(Simultaneous Localization AndMapping,即时定位与地图构建)等方法计算相机以及激光雷达在全局坐标系下的位置。
采用点对的方法需要提供较为准确的点对对应关系,然而,通过手工调节需要的点对对应关系,自动化程度不高,也不能保证点对对应关系的准确性,进而影响外参标定结果的准确性。采用坐标转化的方法的精度不仅仅依赖于数据本身的精度,还依赖于SLAM等方法的精度影响,且标定结果一致性低。
发明内容
为了解决的现有的外参标定方法的外参标定结果的准确性和一致性低的问题,本发明实施例提供了一种激光雷达和相机的外参标定方法及装置。
第一方面,本发明实施例提供了一种激光雷达和相机的外参标定方法,应用于机器人,所述激光雷达和所述相机固定在所述机器人上,且在所述机器人摄像范围内以及所述激光雷达扫描范围内,设有预设标定板,且所述标定板上具有指定角点,所述激光雷达与所述指定角点等高,所述方法包括:
采集同步的激光雷达数据和图像数据;
获取每个图像数据中的预设标定板的指定角点及其坐标,以及获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标;
将每对同步的激光雷达数据和图像数据中,对应的所述激光点和所述角点确定为一个点对,并根据预设规则选择预设数量的点对;
根据选择的点对的各点坐标,确定所述激光雷达和所述相机的外参。
本发明实施例提供的激光雷达和相机的外参标定方法,应用于机器人,所述激光雷达和所述相机固定在所述机器人上,且在所述机器人摄像范围内以及所述激光雷达扫描范围内,设有预设标定板,且所述标定板上具有指定角点,所述激光雷达与所述指定角点等高,所述机器人采集同步的安装在所述机器人上的激光雷达扫描的雷达数据和安装在所述机器人上的相机拍摄的图像数据,获取每个图像数据中的预设标定板的指定角点及其坐标,以及获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标,将每对同步的激光雷达数据和图像数据中,对应的所述激光点和所述角点确定为一个点对,并根据预设规则选择预设数量的点对,进而,根据所述选择的点对的各点坐标确定激光雷达和相机的外参,进行外参标定,根据上述激光雷达和相机的外参标定方法,能够自动提取图像中的角点和对应的激光数据中的激光点,自动化程度高,且获取角点对应的激光点的方式准确度较高,进而,提高了外参标定结果的准确性和一致性。
较佳地,根据以下步骤确定激光雷达数据和图像数据同步:
获取激光雷达数据的第一时间戳和图像数据的第二时间戳;
当确定所述第一时间戳与所述第二时间戳之间的差值小于第一预设阈值时,确定所述激光雷达数据和所述图像数据同步。
较佳地,获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标,具体包括:
针对每个激光雷达数据,获取所述激光雷达数据中的每个激光点到所述激光坐标系中心的距离;
当确定所述距离大于第二预设阈值或者小于第三预设阈值时,剔除对应的激光点;
从剩余的激光点中选择距离所述激光坐标系中心最近的激光点,并获取所述激光点坐标。
较佳地,根据预设规则选择预设数量的点对,具体包括:
在选择点对时,分别计算当前待选点对中的角点与已选择的各历史点对中的各角点之间的第一欧式距离,以及所述点对中的激光点与已选择的各历史点对中的各激光点之间的第二欧式距离;
当确定每一第一欧式距离和每一第二欧式距离均大于或等于第四预设阈值时,则选择所述待选点对。
较佳地,根据选择的点对的各点坐标,确定所述激光雷达和所述相机的外参,具体包括:
分别将各点对中的激光点的坐标和角点的坐标代入以下公式计算所述外参:
pc=K(Rps+t)
其中,R,t表示所述激光雷达和所述相机的外参;
pc表示角点的坐标,pc=(u,v,1)T;
ps表示激光点的坐标,ps=(x,y,0)T;
第二方面,本发明实施例提供了一种激光雷达和相机的外参标定装置,应用于机器人,所述激光雷达和所述相机固定在所述机器人上,所述机器人的前方预设范围内设置有预设标定板,所述相机拍摄的图像数据中包含所述预设标定板,所述激光雷达与所述预设标定板的指定角点等高,所述激光雷达在任意位置均能扫描到所述指定角点,所述装置包括:
采集单元,用于采集同步的激光雷达数据和图像数据;
获取单元,用于获取每个图像数据中的预设标定板的指定角点及其坐标,以及获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标;
选择单元,用于将每对同步的激光雷达数据和图像数据中,对应的所述激光点和所述角点确定为一个点对,并根据预设规则选择预设数量的点对;
标定单元,用于根据选择的点对的各点坐标,确定所述激光雷达和所述相机的外参。
较佳地,所述采集单元,具体用于根据以下步骤确定激光雷达数据和图像数据同步:获取激光雷达数据的第一时间戳和图像数据的第二时间戳;当确定所述第一时间戳与所述第二时间戳之间的差值小于第一预设阈值时,确定所述激光雷达数据和所述图像数据同步。
较佳地,所述获取单元,具体用于针对每个激光雷达数据,获取所述激光雷达数据中的每个激光点到所述激光坐标系中心的距离;当确定所述距离大于第二预设阈值或者小于第三预设阈值时,剔除对应的激光点;从剩余的激光点中选择距离所述激光坐标系中心最近的激光点,并获取所述激光点坐标。
较佳地,所述选择单元,具体用于在选择点对时,分别计算当前待选点对中的角点与已选择的各历史点对中的各角点之间的第一欧式距离,以及所述点对中的激光点与已选择的各历史点对中的各激光点之间的第二欧式距离;当确定每一第一欧式距离和每一第二欧式距离均大于或等于第四预设阈值时,则选择所述待选点对。
较佳地,所述标定单元,具体用于分别将各点对中的激光点的坐标和角点的坐标代入以下公式计算所述外参:
pc=K(Rps+t)
其中,R,t表示所述激光雷达和所述相机的外参;
pc表示角点的坐标,pc=(u,v,1)T;
ps表示激光点的坐标,ps=(x,y,0)T;
本发明提供的激光雷达和相机的外参标定装置的技术效果可以参见上述第一方面或第一方面的各个实现方式的技术效果,此处不再赘述。
第三方面,本发明实施例提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现本发明所述的激光雷达和相机的外参标定方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明所述的激光雷达和相机的外参标定方法中的步骤。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明实施例提供的激光雷达和相机的外参标定方法的实施流程示意图;
图2为本发明实施例中,确定激光雷达数据和图像数据同步的实施流程示意图;
图3为一种ArUco tag的示意图;
图4为本发明实施例中,获取激光雷达数据中距离激光坐标系中心最近的激光点及其坐标的实施流程示意图;
图5为本发明实施例中,选择点对的实施流程示意图;
图6为本发明实施例提供的激光雷达和相机的外参标定装置的结构示意图;
图7为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了解决的现有的外参标定方法的外参标定结果的准确性和一致性低的问题,本发明实施例提供了一种激光雷达和相机的外参标定方法及装置。
以下结合说明书附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明,并且在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
如图1所示,其为本发明实施例提供的激光雷达和相机的外参标定方法的实施流程示意图,所述方法应用于机器人,所述激光雷达和所述相机固定在所述机器人上,且在所述机器人摄像范围内以及所述激光雷达扫描范围内,设有预设标定板,且所述标定板上具有指定角点,所述激光雷达与所述指定角点等高,可以包括以下步骤:
S11、采集同步的激光雷达数据和图像数据。
具体实施时,激光雷达和相机固定在机器人上,本发明实施例中的激光雷达可以为单线激光雷达,相机可以为单目相机,机器人可以为AGV等物流机器人。在激光雷达扫描和相机拍摄图像之前,预先在所述机器人摄像范围内以及所述激光雷达扫描范围内,设置一个预设标定板,且所述标定板上具有指定角点,即预先在机器人前方的待拍摄环境中放置一个预设标定板,所述标定板的放置位置满足以下条件:垂直于地面放置,所述标定板的指定角点与激光雷达的中心点等高,使得所述激光雷达在任意位置均能扫描到所述指定角点,并保证当机器人在所述标定板前无规则运动时,所述标定板的指定角点在激光雷达数据中距离机器人中心点最近,并且,使得相机拍摄的图像数据中包含所述预设标定板,其中,预设标定板可以采用ArUco(Augmented Reality library from the University ofCordoba,科尔多瓦大学增强现实库)tag(标签)标定板,也可以采用黑白棋盘格标定板等,本发明实施例对此不作限定。本发明实施例中,以ArUco tag标定板为例进行说明。
具体实施时,机器人采集同步的激光雷达扫描的激光雷达数据和相机拍摄的图像数据。
具体地,通过如图2所示的流程确定激光雷达数据和图像数据同步,可以包括以下步骤:
S21、获取激光雷达数据的第一时间戳和图像数据的第二时间戳。
具体实施时,机器人获取激光雷达数据的时间戳(记为第一时间戳)和图像数据的时间戳(记为第二时间戳)。
S22、当确定所述第一时间戳与所述第二时间戳之间的差值小于第一预设阈值时,确定所述激光雷达数据和所述图像数据同步。
具体实施时,如果所述第一时间戳与所述第二时间戳之间的差值小于第一预设阈值时,则确定所述激光雷达数据和所述图像数据同步。其中,第一预设阈值可以根据经验值预先设置,可以设置为一个较小的值,例如:1ms,本发明实施例对此不作限定。
具体地,当|ts-tc|<t0时,确定所述激光雷达数据和所述图像数据同步,其中,ts为图像数据的时间戳,tc为激光雷达数据的时间戳,t0为第一预设阈值。
S12、获取每个图像数据中的预设标定板的指定角点及其坐标,以及获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标。
具体实施时,机器人获取每个图像数据中的预设标定板的指定角点及其所述角点的像素坐标,所述角点记为pc,其像素坐标为:pc=(u,v,1)T。如图3所示,其为一种ArUcotag的示意图,指定角点可以设置为编号为0的角点,即图中左上角对应的角点,其中,指定角点可以为任意指定,本发明实施例对此不作限定。
具体实施时,机器人获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标。
具体地,根据如图4所示的流程获取激光雷达数据中距离激光坐标系中心最近的激光点及其坐标,可以包括以下步骤:
S31、针对每个激光雷达数据,获取所述激光雷达数据中的每个激光点到激光坐标系中心的距离。
具体实施时,针对每个激光雷达数据,根据所述激光雷达数据中的每个激光点的坐标获取所述每个激光点到激光坐标系中心的距离。
S32、当确定所述距离大于第二预设阈值或者小于第三预设阈值时,剔除对应的激光点。
具体实施时,剔除到激光坐标系中心的距离大于第二预设阈值的激光点,以及剔除到激光坐标系中心的距离小于第三预设阈值的激光点。其中,为保证标定精度和点对提取的准确度,可以根据经验自行设定第二预设阈值和第三预设阈值,例如,第二预设阈值可以取值为2米,第三预设阈值可以取值为0.1米,本发明实施例对此不作限定。
S33、从剩余的激光点中选择距离所述激光坐标系中心最近的激光点,并获取所述激光点坐标。
具体实施时,剔除到激光坐标系中心的距离大于第二预设阈值的激光点,以及剔除到激光坐标系中心的距离小于第三预设阈值的激光点后,从所述激光雷达数据中剩余的激光点中选择距离所述激光坐标系中心最近的激光点,并获取所述激光点坐标,所述激光点记为ps,其坐标为:ps=(x,y,0)T。
S13、将每对同步的激光雷达数据和图像数据中,对应的所述激光点和所述角点确定为一个点对,并根据预设规则选择预设数量的点对。
具体实施时,机器人将每对同步的激光雷达数据和图像数据中,对应的所述激光点和所述角点确定为一个点对,并根据预设规则选择预设数量的点对,其中,预设数量可以根据需要自行设定,本发明实施例对此不作限定。
具体地,根据如图5所示的流程选择点对,可以包括以下步骤:
S41、在选择点对时,分别计算当前待选点对中的角点与已选择的各历史点对中的各角点之间的第一欧式距离,以及所述点对中的激光点与已选择的各历史点对中的各激光点之间的第二欧式距离。
具体实施时,机器人在选择点对时,分别计算当前待选点对中的角点与已选择的各历史点对中的各角点之间的欧式距离,记为第一欧式距离,以及所述点对中的激光点与已选择的各历史点对中的各激光点之间的欧式距离,记为第二欧式距离。
具体地,当前待选点对为:pairi=(pci,psi),已选择的历史点对集合为:P={pair1(pc1,ps1),pair2(pc2,ps2),……,pairm(pcm,psm)},其中,m为已选择的历史点对的个数,pci与pc1,pc2,……,pcm的欧式距离分别记为:dc1,dc2,……,dcm,则dc1=||pci-pc1||2,dc2=||pci-pc2||2,……,dcm=||pci-pcm||2;psi与ps1,ps2,……,psm的欧式距离分别记为:ds1,ds2,……,dsm,则ds1=||psi-ps1||2,ds2=||psi-ps2||2,……,dsm=||psi-psm||2。
S42、当确定每一第一欧式距离和每一第二欧式距离均大于或等于第四预设阈值时,则选择所述待选点对。
具体实施时,机器人当确定每一第一欧式距离和每一第二欧式距离均大于或等于第四预设阈值时,则选择所述待选点对,其中,第四预设阈值可以根据需要自行设定,以保证点对的选取更加合理,避免陷入局部最优化。
具体地,当dc1,dc2,……,dcm以及ds1,ds2,……,dsm均大于或等于第四预设阈值时,则选择所述待选点对。
S14、根据选择的点对的各点坐标,确定所述激光雷达和所述相机的外参。
具体实施时,机器人根据选择的点对的各点坐标,确定所述激光雷达和所述相机的外参,进行外参标定。
具体地,分别将各点对中的激光点的坐标和角点的坐标代入以下公式计算所述外参:
pc=K(Rps+t)
其中,R,t表示所述激光雷达和所述相机的外参;
pc表示角点的坐标,pc=(u,v,1)T;
ps表示激光点的坐标,ps=(x,y,0)T;
较佳地,可以利用最小二乘优化算法获得外参R和t的优化结果。
进一步地,可以验证标定是否成功。
具体地,根据外参标定结果将所述激光雷达数据重投影到图像中,计算重投影误差,如果所述重投影误差小于等于第五预设阈值,则确定标定成功,否则,清除选择的历史点对,重复步骤S12~S14,重新进行外参标定,直至标定成功。
进一步地,可以获得标定结果的可视化效果。
具体地,在标定成功后,获得标定结果R和t,对于采集的某一时刻的激光雷达数据{ps1(x,y,0)T,ps2(x,y,0)T,……,psn(x,y,0)T},其中,n表示所述激光雷达数据中的激光点的个数,ps1(x,y,0)T,ps2(x,y,0)T,……,psn(x,y,0)T分别表示各激光点的坐标,将激光雷达数据转换到相机坐标系下,转换方法如下:其中,j=1,2,……,n,psj表示第j个激光点,pcj表示第j个激光点对应的相机坐标系下的坐标,将pcj画在图像中,即可得到激光雷达和相机标定结果的可视化效果,根据标定结果的可视化,更容易判断标定结果是否可靠。
本发明实施例提供的激光雷达和相机的外参标定方法,应用于机器人,所述激光雷达和所述相机固定在所述机器人上,且在所述机器人摄像范围内以及所述激光雷达扫描范围内,设有预设标定板,且所述标定板上具有指定角点,所述激光雷达与所述指定角点等高,所述机器人采集同步的安装在所述机器人上的激光雷达扫描的雷达数据和安装在所述机器人上的相机拍摄的图像数据,获取每个图像数据中的预设标定板的指定角点及其坐标,以及获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标,将每对同步的激光雷达数据和图像数据中,对应的所述激光点和所述角点确定为一个点对,并根据预设规则选择预设数量的点对,进而,根据所述选择的点对的各点坐标确定激光雷达和相机的外参,进行外参标定,根据上述激光雷达和相机的外参标定方法,能够自动提取图像中的角点和对应的激光数据中的激光点,自动化程度高,且获取角点对应的激光点的方式准确度较高,进而,提高了外参标定结果的准确性和一致性。
基于同一发明构思,本发明实施例还提供了一种激光雷达和相机的外参标定装置,由于上述激光雷达和相机的外参标定装置解决问题的原理与激光雷达和相机的外参标定方法相似,因此上述装置的实施可以参见方法的实施,重复之处不再赘述。
如图6所示,其为本发明实施例提供的激光雷达和相机的外参标定装置的结构示意图,所述装置应用于机器人,所述激光雷达和所述相机固定在所述机器人上,且在所述机器人摄像范围内以及所述激光雷达扫描范围内,设有预设标定板,且所述标定板上具有指定角点,所述激光雷达与所述指定角点等高,所述装置可以包括:
采集单元51,用于采集同步的激光雷达数据和图像数据;
获取单元52,用于获取每个图像数据中的预设标定板的指定角点及其坐标,以及获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标;
选择单元53,用于将每对同步的激光雷达数据和图像数据中,对应的所述激光点和所述角点确定为一个点对,并根据预设规则选择预设数量的点对;
标定单元54,用于根据选择的点对的各点坐标,确定所述激光雷达和所述相机的外参。
较佳地,所述采集单元51,具体用于根据以下步骤确定激光雷达数据和图像数据同步:获取激光雷达数据的第一时间戳和图像数据的第二时间戳;当确定所述第一时间戳与所述第二时间戳之间的差值小于第一预设阈值时,确定所述激光雷达数据和所述图像数据同步。
较佳地,所述获取单元52,具体用于针对每个激光雷达数据,获取所述激光雷达数据中的每个激光点到所述激光坐标系中心的距离;当确定所述距离大于第二预设阈值或者小于第三预设阈值时,剔除对应的激光点;从剩余的激光点中选择距离所述激光坐标系中心最近的激光点,并获取所述激光点坐标。
较佳地,所述选择单元53,具体用于在选择点对时,分别计算当前待选点对中的角点与已选择的各历史点对中的各角点之间的第一欧式距离,以及所述点对中的激光点与已选择的各历史点对中的各激光点之间的第二欧式距离;当确定每一第一欧式距离和每一第二欧式距离均大于或等于第四预设阈值时,则选择所述待选点对。
较佳地,所述标定单元54,具体用于分别将各点对中的激光点的坐标和角点的坐标代入以下公式计算所述外参:
pc=K(Rps+t)
其中,R,t表示所述激光雷达和所述相机的外参;
pc表示角点的坐标,pc=(u,v,1)T;
ps表示激光点的坐标,ps=(x,y,0)T;
基于同一技术构思,本发明实施例还提供了一种电子设备600,参照图7所示,电子设备600用于实施上述方法实施例记载的激光雷达和相机的外参标定方法,该实施例的电子设备600可以包括:存储器601、处理器602以及存储在所述存储器中并可在所述处理器上运行的计算机程序,例如激光雷达和相机的外参标定程序。所述处理器执行所述计算机程序时实现上述各个激光雷达和相机的外参标定方法实施例中的步骤,例如图1所示的步骤S11。或者,所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如51。
本发明实施例中不限定上述存储器601、处理器602之间的具体连接介质。本申请实施例在图7中以存储器601、处理器602之间通过总线603连接,总线603在图7中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。所述总线603可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器601可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器601也可以是非易失性存储器(non-volatilememory),例如只读存储器,快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)、或者存储器601是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器601可以是上述存储器的组合。
处理器602,用于实现如图1所示的一种激光雷达和相机的外参标定方法,包括:
所述处理器602,用于调用所述存储器601中存储的计算机程序执行如图1中所示的步骤S11、采集同步的激光雷达数据和图像数据,步骤S12、获取每个图像数据中的预设标定板的指定角点及其坐标,以及获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标,步骤S13、将每对同步的激光雷达数据和图像数据中,对应的所述激光点和所述角点确定为一个点对,并根据预设规则选择预设数量的点对,和步骤S14、根据选择的点对的各点坐标,确定所述激光雷达和所述相机的外参。
本申请实施例还提供了一种计算机可读存储介质,存储为执行上述处理器所需执行的计算机可执行指令,其包含用于执行上述处理器所需执行的程序。
在一些可能的实施方式中,本发明提供的激光雷达和相机的外参标定方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在电子设备上运行时,所述程序代码用于使所述电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的激光雷达和相机的外参标定方法中的步骤,例如,所述电子设备可以执行如图1中所示的步骤S11、采集同步的激光雷达数据和图像数据,步骤S12、获取每个图像数据中的预设标定板的指定角点及其坐标,以及获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标,步骤S13、将每对同步的激光雷达数据和图像数据中,对应的所述激光点和所述角点确定为一个点对,并根据预设规则选择预设数量的点对,和步骤S14、根据选择的点对的各点坐标,确定所述激光雷达和所述相机的外参。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本发明的实施方式的用于激光雷达和相机的外参标定的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在计算设备上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了装置的若干单元或子单元,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种激光雷达和相机的外参标定方法,应用于机器人,其特征在于,所述激光雷达和所述相机固定在所述机器人上,且在所述机器人摄像范围内以及所述激光雷达扫描范围内,设有预设标定板,所述标定板为ArUco tag标定板,且所述标定板上具有指定角点,所述标定板的指定角点与激光雷达的中心点等高,所述标定板的指定角点在激光雷达数据中距离机器人中心点最近,所述方法包括:
采集同步的激光雷达数据和图像数据;
获取每个图像数据中的预设标定板的指定角点及其坐标,以及获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标;
获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标,具体包括:针对每个激光雷达数据,获取所述激光雷达数据中的每个激光点到所述激光坐标系中心的距离;当确定所述距离大于第二预设阈值或者小于第三预设阈值时,剔除对应的激光点;从剩余的激光点中选择距离所述激光坐标系中心最近的激光点,并获取所述激光点坐标;
针对每对同步的激光雷达数据和图像数据,将所述激光雷达数据中的所述距离激光坐标系中心最近的激光点和所述图像数据中的所述角点确定为一个点对,并根据预设规则选择预设数量的点对;根据预设规则选择预设数量的点对,具体包括:在选择点对时,分别计算当前待选点对中的角点与已选择的各历史点对中的各角点之间的第一欧式距离,以及所述点对中的激光点与已选择的各历史点对中的各激光点之间的第二欧式距离;当确定每一第一欧式距离和每一第二欧式距离均大于或等于第四预设阈值时,则选择所述待选点对;
根据选择的点对的各点坐标,确定所述激光雷达和所述相机的外参。
2.如权利要求1所述的方法,其特征在于,根据以下步骤确定激光雷达数据和图像数据同步:
获取激光雷达数据的第一时间戳和图像数据的第二时间戳;
当确定所述第一时间戳与所述第二时间戳之间的差值小于第一预设阈值时,确定所述激光雷达数据和所述图像数据同步。
4.一种激光雷达和相机的外参标定装置,应用于机器人,其特征在于,所述激光雷达和所述相机固定在所述机器人上,且在所述机器人摄像范围内以及所述激光雷达扫描范围内,设有预设标定板,所述标定板为ArUco tag标定板,且所述标定板上具有指定角点,所述标定板的指定角点与激光雷达的中心点等高,所述标定板的指定角点在激光雷达数据中距离机器人中心点最近,所述装置包括:
采集单元,用于采集同步的激光雷达数据和图像数据;
获取单元,用于获取每个图像数据中的预设标定板的指定角点及其坐标,以及获取每个激光雷达数据中距离激光坐标系中心最近的激光点及其坐标;
所述获取单元,具体用于针对每个激光雷达数据,获取所述激光雷达数据中的每个激光点到所述激光坐标系中心的距离;当确定所述距离大于第二预设阈值或者小于第三预设阈值时,剔除对应的激光点;从剩余的激光点中选择距离所述激光坐标系中心最近的激光点,并获取所述激光点坐标;
选择单元,用于针对每对同步的激光雷达数据和图像数据,将所述激光雷达数据中的所述距离激光坐标系中心最近的激光点和所述图像数据中的所述角点确定为一个点对,并根据预设规则选择预设数量的点对;
所述选择单元,具体用于在选择点对时,分别计算当前待选点对中的角点与已选择的各历史点对中的各角点之间的第一欧式距离,以及所述点对中的激光点与已选择的各历史点对中的各激光点之间的第二欧式距离;当确定每一第一欧式距离和每一第二欧式距离均大于或等于第四预设阈值时,则选择所述待选点对;
标定单元,用于根据选择的点对的各点坐标,确定所述激光雷达和所述相机的外参。
5.如权利要求4所述的装置,其特征在于,
所述采集单元,具体用于根据以下步骤确定激光雷达数据和图像数据同步:获取激光雷达数据的第一时间戳和图像数据的第二时间戳;当确定所述第一时间戳与所述第二时间戳之间的差值小于第一预设阈值时,确定所述激光雷达数据和所述图像数据同步。
7.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~3任一项所述的激光雷达和相机的外参标定方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1~3任一项所述的激光雷达和相机的外参标定方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010271375.7A CN111192331B (zh) | 2020-04-09 | 2020-04-09 | 一种激光雷达和相机的外参标定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010271375.7A CN111192331B (zh) | 2020-04-09 | 2020-04-09 | 一种激光雷达和相机的外参标定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111192331A CN111192331A (zh) | 2020-05-22 |
CN111192331B true CN111192331B (zh) | 2020-09-25 |
Family
ID=70708695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010271375.7A Active CN111192331B (zh) | 2020-04-09 | 2020-04-09 | 一种激光雷达和相机的外参标定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111192331B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111882655B (zh) * | 2020-06-19 | 2023-07-18 | 杭州易现先进科技有限公司 | 三维重建的方法、装置、系统、计算机设备和存储介质 |
CN112184828B (zh) * | 2020-08-21 | 2023-12-05 | 阿波罗智联(北京)科技有限公司 | 激光雷达与摄像头的外参标定方法、装置及自动驾驶车辆 |
CN111814769A (zh) * | 2020-09-02 | 2020-10-23 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种信息采集方法、装置、终端设备及存储介质 |
CN112270713B (zh) * | 2020-10-14 | 2024-06-14 | 北京航空航天大学杭州创新研究院 | 标定方法以及装置、存储介质、电子装置 |
CN112669393B (zh) * | 2020-12-31 | 2021-10-22 | 中国矿业大学 | 一种激光雷达与相机联合标定方法 |
CN112873280B (zh) * | 2021-01-11 | 2022-10-25 | 上海思岚科技有限公司 | 一种用于机器人的传感器的标定方法及设备 |
CN113256729B (zh) * | 2021-03-17 | 2024-06-18 | 广西综合交通大数据研究院 | 激光雷达与相机的外参标定方法、装置、设备及存储介质 |
CN113172658A (zh) * | 2021-04-09 | 2021-07-27 | 北京猎户星空科技有限公司 | 一种机器人的定位方法、装置、设备及介质 |
CN113884278B (zh) * | 2021-09-16 | 2023-10-27 | 杭州海康机器人股份有限公司 | 一种线激光设备的系统标定方法和装置 |
CN114152201B (zh) * | 2021-11-04 | 2023-10-17 | 深圳橙子自动化有限公司 | 激光测高仪标定方法和装置、电子设备及存储介质 |
CN114384501B (zh) * | 2022-03-23 | 2022-07-26 | 山东大学 | 批量生产的机器人激光雷达安装位置高度标定方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9369689B1 (en) * | 2015-02-24 | 2016-06-14 | HypeVR | Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video |
CN108765328B (zh) * | 2018-05-18 | 2021-08-27 | 凌美芯(北京)科技有限责任公司 | 一种高精度多特征平面模板及其畸变优化和标定方法 |
CN110161485B (zh) * | 2019-06-13 | 2021-03-26 | 同济大学 | 一种激光雷达与视觉相机的外参标定装置 |
CN110675431B (zh) * | 2019-10-08 | 2020-09-11 | 中国人民解放军军事科学院国防科技创新研究院 | 一种融合图像和激光点云的三维多目标跟踪方法 |
-
2020
- 2020-04-09 CN CN202010271375.7A patent/CN111192331B/zh active Active
Non-Patent Citations (1)
Title |
---|
成像激光雷达与摄像机外部位置关系的标定;胡峰等;《光学精密工程》;20110430;第19卷(第4期);938-943 * |
Also Published As
Publication number | Publication date |
---|---|
CN111192331A (zh) | 2020-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111192331B (zh) | 一种激光雷达和相机的外参标定方法及装置 | |
EP3505869B1 (en) | Method, apparatus, and computer readable storage medium for updating electronic map | |
CN108764187B (zh) | 提取车道线的方法、装置、设备、存储介质以及采集实体 | |
JP2018163654A (ja) | 電気通信インベントリ管理のためのシステムおよび方法 | |
WO2019126950A1 (zh) | 一种定位方法、云端服务器、终端、系统、电子设备及计算机程序产品 | |
CN114898313B (zh) | 驾驶场景的鸟瞰图生成方法、装置、设备及存储介质 | |
CN110231832B (zh) | 用于无人机的避障方法和避障装置 | |
CN114037762B (zh) | 基于图像与高精度地图配准的实时高精度定位方法 | |
KR20200094646A (ko) | V2x 정보 융합을 이용하여 hd 맵을 업데이트하기 위한 자차량 위치 결정을 수행하는 방법 및 장치 | |
CN112036359B (zh) | 一种车道线的拓扑信息获得方法、电子设备及存储介质 | |
CN112329846A (zh) | 激光点云数据高精度标注方法及系统、服务器及介质 | |
CN114494466B (zh) | 外参标定方法、装置及设备、存储介质 | |
US20220215576A1 (en) | Information processing device, information processing method, and computer program product | |
CN113776520B (zh) | 地图构建、使用方法、装置、机器人和介质 | |
US20210156710A1 (en) | Map processing method, device, and computer-readable storage medium | |
CN110853098A (zh) | 机器人定位方法、装置、设备及存储介质 | |
CN113190564A (zh) | 地图更新系统、方法及设备 | |
CN116386373A (zh) | 车辆定位方法、装置、存储介质及电子设备 | |
CN116626700A (zh) | 一种机器人定位方法、装置、电子设备和存储介质 | |
CN116386002A (zh) | 一种鱼眼可行驶区域评测方法及装置 | |
US20200349740A1 (en) | Method and device for identifying stereoscopic object, and vehicle and storage medium | |
CN112097742A (zh) | 一种位姿确定方法及装置 | |
CN117132904A (zh) | 实时飞行位置定位方法、装置、飞行器以及存储介质 | |
CN116266402A (zh) | 对象自动标注方法、装置、电子设备及存储介质 | |
CN112906665A (zh) | 交通标线融合方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |