CN110246184A - 一种车载相机外参确定方法、装置、设备及系统 - Google Patents

一种车载相机外参确定方法、装置、设备及系统 Download PDF

Info

Publication number
CN110246184A
CN110246184A CN201810185257.7A CN201810185257A CN110246184A CN 110246184 A CN110246184 A CN 110246184A CN 201810185257 A CN201810185257 A CN 201810185257A CN 110246184 A CN110246184 A CN 110246184A
Authority
CN
China
Prior art keywords
marker
camera
vehicle
coordinate
positional relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810185257.7A
Other languages
English (en)
Other versions
CN110246184B (zh
Inventor
杨硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201810185257.7A priority Critical patent/CN110246184B/zh
Priority to PCT/CN2019/076915 priority patent/WO2019170066A1/zh
Publication of CN110246184A publication Critical patent/CN110246184A/zh
Application granted granted Critical
Publication of CN110246184B publication Critical patent/CN110246184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

本发明实施例提供了一种车载相机外参确定方法、装置、设备及系统,方法包括:相邻车载相机所对应的标定图像中包含同一标记物,针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置,根据该位置,确定该车载相机与所识别的标记物之间的位置关系,所确定的位置关系中包含同一标记物与不同车载相机之间的位置关系,因此,可以以一个标记物为基准,将多个车载相机转换同一坐标系中,在该同一坐标系中,确定多个车载相机与车身的位置关系。可见,本方案中,只需要相邻车载相机对同一标记物进行采集,并不需要固定车辆停放位置及标记物位置,提高了获取外参的准确度。

Description

一种车载相机外参确定方法、装置、设备及系统
技术领域
本发明涉及辅助驾驶技术领域,特别是涉及一种车载相机外参确定方法、装置、设备及系统。
背景技术
辅助驾驶系统中通常包含多个车载相机,该多个车载相机设置在车身的不同位置,以采集不同方向的图像;利用该多个车载相机的参数,将该不同方向的图像拼接成大视角的图像展示给驾驶者,可以起到辅助驾驶的作用。
车载相机的参数包括外参,外参即为车载相机与车身之间的位置关系。获取车载相机外参的方案一般包括:将车辆停放在指定位置,在车辆附近的另一指定位置处设置标记物,预先确定车辆停放位置与标记物所在位置之间的位置关系;该车辆中设置的每个车载相机都对准标记物进行图像采集,根据所采集图像中标记物的位置以及该预先确定的位置关系,计算车载相机的外参。
上述获取车载相机外参的方案中,车辆停放位置及标记物所在位置都是固定的,如果车辆停放位置与指定位置稍有偏离,则获取的外参准确度较低。
发明内容
本发明实施例的目的在于提供一种车载相机外参确定方法、装置、设备及系统,以提高获取外参的准确度。
为达到上述目的,本发明实施例提供一种车载相机外参确定方法,包括:
获取每个车载相机对应的标定图像;其中,所述标定图像根据所对应的车载相机采集的图像得到,相邻车载相机所对应的标定图像中包含同一标记物;
针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置,根据所述位置,确定该车载相机与所识别的标记物之间的位置关系;
根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将所述多个车载相机转换至同一坐标系中;
在所述同一坐标系中,确定所述多个车载相机与车身的位置关系。
可选的,所述获取每个车载相机对应的标定图像,可以包括:
获取多个车载相机采集的原始图像;
对所获取的多张原始图像进行畸变校正,得到多张标定图像。
可选的,所述根据所述位置,确定该车载相机与所识别的标记物之间的位置关系,可以包括:
在标记物所在的世界坐标系中,构建标记物的协方差矩阵;
根据所述协方差矩阵,得到标记物的初始旋转矩阵和初始平移向量;
利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵及所述初始平移向量进行迭代优化,得到该车载相机与标记物之间的位置关系。
可选的,所述根据所述协方差矩阵,得到标记物的初始旋转矩阵和初始平移向量,可以包括:
计算所述协方差矩阵的最小特征值对应的特征向量、以及所述协方差矩阵的坐标均值;
利用所述特征向量及所述坐标均值,变换得到标记物的初始旋转矩阵;
根据所述初始旋转矩阵及所述坐标均值,计算标记物的初始平移向量;
所述利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵及所述初始平移向量进行迭代优化,得到该车载相机与标记物之间的位置关系,可以包括:
利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵及所述初始平移向量进行迭代优化,得到标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的映射关系;
根据所述映射关系以及该车载相机的内参,得到该车载相机与标记物之间的位置关系。
可选的,所述获取每个车载相机对应的标定图像,可以包括:
获取第一相机对应的第一标定图像、第二相机对应的第二标定图像以及第三相机对应的第三标定图像;其中,所述第一标定图像中包含第一标记物,所述第二标定图像中包含所述第一标记物和第二标记物,所述第三标定图像中包含所述第二标记物;
所述根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将所述多个车载相机转换至同一坐标系中,可以包括:
根据所述第二相机与所述第一标记物的位置关系以及所述第二相机与所述第二标记物的位置关系,将所述第二标记物所在的世界坐标系转换至所述第一标记物所在的世界坐标系,得到每个车载相机在所述第一标记物所在的世界坐标系中的坐标。
可选的,所述获取每个车载相机对应的标定图像,可以包括:
获取前相机对应的前标定图像、左相机对应的左标定图像、右相机对应的右标定图像以及后相机对应的后标定图像;其中,所述前标定图像中包含左前侧标记物和右前侧标记物,所述左标定图像中包含所述左前侧标记物和左后侧标记物,所述右标定图像中包含所述右前侧标记物和右后侧标记物,所述后标定图像中包含所述左后侧标记物和所述右后侧标记物;
所述根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将所述多个车载相机转换至同一坐标系中,可以包括:
根据所述前相机与所述左前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述前相机的坐标;
根据所述前相机与所述左前侧标记物的位置关系以及所述前相机与所述右前侧标记物的位置关系,将所述右前侧标记物所在的世界坐标系转换至所述左前侧标记物所在的世界坐标系,再结合所述右相机与所述右前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述右相机的坐标;
根据所述左相机与所述左前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述左相机的坐标;
根据所述左相机与所述左前侧标记物的位置关系以及所述左相机与所述左后侧标记物的位置关系,将所述左后侧标记物所在的世界坐标系转换至所述左前侧标记物所在的世界坐标系,再结合所述后相机与所述左后侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述后相机的坐标。
可选的,在所述同一坐标系中,确定所述多个车载相机与车身的位置关系,可以包括:
在所述左前侧标记物所在的世界坐标系中,根据所述前相机的第一坐标、所述后相机的第二坐标、所述左相机的第三坐标以及所述右相机的第四坐标,计算车身中心位置的第五坐标、以及车身旋转角;
根据所述第一坐标与所述第五坐标及所述车身旋转角,得到所述前相机与车身的位置关系;
根据所述第二坐标与所述第五坐标及所述车身旋转角,得到所述后相机与车身的位置关系;
根据所述第三坐标与所述第五坐标及所述车身旋转角,得到所述左相机与车身的位置关系;
根据所述第四坐标与所述第五坐标及所述车身旋转角,得到所述右相机与车身的位置关系。
为达到上述目的,本发明实施例还提供一种车载相机外参确定装置,包括:
获取模块,用于获取每个车载相机对应的标定图像;其中,所述标定图像根据所对应的车载相机采集的图像得到,相邻车载相机所对应的标定图像中包含同一标记物;
识别模块,用于针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置;
第一确定模块,用于根据所述位置,确定该车载相机与所识别的标记物之间的位置关系;
转换模块,用于根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将所述多个车载相机转换至同一坐标系中;
第二确定模块,用于在所述同一坐标系中,确定所述多个车载相机与车身的位置关系。
可选的,所述获取模块,具体可以用于:
获取多个车载相机采集的原始图像;
对所获取的多张原始图像进行畸变校正,得到多张标定图像。
可选的,所述第一确定模块,可以包括:
构建子模块,用于在标记物所在的世界坐标系中,构建标记物的协方差矩阵;
获得子模块,用于根据所述协方差矩阵,得到标记物的初始旋转矩阵和初始平移向量;
迭代子模块,用于利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵及所述初始平移向量进行迭代优化,得到该车载相机与标记物之间的位置关系。
可选的,所述获得子模块,具体可以用于:
计算所述协方差矩阵的最小特征值对应的特征向量、以及所述协方差矩阵的坐标均值;利用所述特征向量及所述坐标均值,变换得到标记物的初始旋转矩阵;根据所述初始旋转矩阵及所述坐标均值,计算标记物的初始平移向量;
所述迭代子模块,具体可以用于:
利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵及所述初始平移向量进行迭代优化,得到标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的映射关系;根据所述映射关系以及该车载相机的内参,得到该车载相机与标记物之间的位置关系。
可选的,所述获取模块,具体可以用于:
获取第一相机对应的第一标定图像、第二相机对应的第二标定图像以及第三相机对应的第三标定图像;其中,所述第一标定图像中包含第一标记物,所述第二标定图像中包含所述第一标记物和第二标记物,所述第三标定图像中包含所述第二标记物;
所述转换模块,具体可以用于:
根据所述第二相机与所述第一标记物的位置关系以及所述第二相机与所述第二标记物的位置关系,将所述第二标记物所在的世界坐标系转换至所述第一标记物所在的世界坐标系,得到每个车载相机在所述第一标记物所在的世界坐标系中的坐标。
可选的,所述获取模块,具体可以用于:
获取前相机对应的前标定图像、左相机对应的左标定图像、右相机对应的右标定图像以及后相机对应的后标定图像;其中,所述前标定图像中包含左前侧标记物和右前侧标记物,所述左标定图像中包含所述左前侧标记物和左后侧标记物,所述右标定图像中包含所述右前侧标记物和右后侧标记物,所述后标定图像中包含所述左后侧标记物和所述右后侧标记物;
所述转换模块,具体可以用于:
根据所述前相机与所述左前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述前相机的坐标;
根据所述前相机与所述左前侧标记物的位置关系以及所述前相机与所述右前侧标记物的位置关系,将所述右前侧标记物所在的世界坐标系转换至所述左前侧标记物所在的世界坐标系,再结合所述右相机与所述右前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述右相机的坐标;
根据所述左相机与所述左前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述左相机的坐标;
根据所述左相机与所述左前侧标记物的位置关系以及所述左相机与所述左后侧标记物的位置关系,将所述左后侧标记物所在的世界坐标系转换至所述左前侧标记物所在的世界坐标系,再结合所述后相机与所述左后侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述后相机的坐标。
可选的,所述第二确定模块,具体可以用于:
在所述左前侧标记物所在的世界坐标系中,根据所述前相机的第一坐标、所述后相机的第二坐标、所述左相机的第三坐标以及所述右相机的第四坐标,计算车身中心位置的第五坐标、以及车身旋转角;
根据所述第一坐标与所述第五坐标及所述车身旋转角,得到所述前相机与车身的位置关系;
根据所述第二坐标与所述第五坐标及所述车身旋转角,得到所述后相机与车身的位置关系;
根据所述第三坐标与所述第五坐标及所述车身旋转角,得到所述左相机与车身的位置关系;
根据所述第四坐标与所述第五坐标及所述车身旋转角,得到所述右相机与车身的位置关系。
为达到上述目的,本发明实施例还提供一种电子设备,包括处理器和存储器;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一种车载相机外参确定方法。
为达到上述目的,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种车载相机外参确定方法。
为达到上述目的,本发明实施例还提供一种辅助驾驶系统,包括:处理设备及多个车载相机;
每个车载相机,用于将采集的图像发送至所述处理设备;
所述处理设备,用于根据所述多个车载相机采集的图像,得到所述多个车载相机对应的标定图像;其中,相邻车载相机所对应的标定图像中包含同一标记物;针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置,根据所述位置,确定该车载相机与所识别的标记物之间的位置关系;根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将所述多个车载相机转换至同一坐标系中;在所述同一坐标系中,确定所述多个车载相机与车身的位置关系。
应用本发明所示实施例,相邻车载相机所对应的标定图像中包含同一标记物,针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置,根据该位置,确定该车载相机与所识别的标记物之间的位置关系,所确定的位置关系中包含同一标记物与不同车载相机之间的位置关系,因此,可以以一个标记物为基准,将多个车载相机转换同一坐标系中,在该同一坐标系中,确定多个车载相机与车身的位置关系。可见,本方案中,只需要相邻车载相机对同一标记物进行采集,并不需要固定车辆停放位置及标记物位置,提高了获取外参的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车载相机外参确定方法的流程示意图;
图2为本发明实施例提供的成像示意图;
图3为本发明实施例提供的一种应用场景示意图;
图4为本发明实施例提供的一种车身位置示意图;
图5为本发明实施例提供的一种车载相机外参确定装置的结构示意图;
图6为本发明实施例提供的一种电子设备的结构示意图;
图7为本发明实施例提供的一种辅助驾驶系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决上述技术问题,本发明实施例提供了一种车载相机外参确定方法、装置、设备及系统。该方法可以应用于与多个车载相机通信连接的处理设备,或者也可以应用于任意一个车载相机,该车载相机与其他车载相机通信连接。
下面首先对本发明实施例提供的车载相机外参确定方法进行详细说明。下面内容中以执行主体为与多个车载相机通信连接的处理设备为例进行说明。
图1为本发明实施例提供的一种车载相机外参确定方法的流程示意图,包括:
S101:获取每个车载相机对应的标定图像。其中,所述标定图像根据所对应的车载相机采集的图像得到,相邻车载相机所对应的标定图像中包含同一标记物
作为一种实施方式,可以直接获取车载相机采集到的原始图像作为标定图像;或者,作为另一种实施方式,可以获取多个车载相机采集的原始图像,对所获取的多张原始图像进行畸变校正,得到多张标定图像。
如果车载相机为鱼眼相机,则可以利用如下算式,对原始图像也就是鱼眼图像进行畸变校正,得到标定图像:
a=Xc/Zc;b=Yc/Zc;r2=a2+b2;θ=arctan(r);
θd=θ(1+k1θ2+k2θ4+k3θ6+k4θ8);x′=(θd/r)a;y′=(θd/r)b;
u=fx(x′+αy′)+cx;v=fyy′+cy
其中,Xc、Yc、Zc表示相机坐标系中的坐标,X、Y、Z表示世界坐标系中的坐标,k1-k4表示车载相机的内参畸变系数,u,v表示图像坐标系中的成像坐标;a,b表示校正图像中的坐标;x′,y′表示畸变后的坐标,R1表示世界坐标系下坐标转换到相机坐标系下坐标的旋转量,T1表示世界坐标系下坐标转换到相机坐标系下坐标的平移量。
如果车载相机为非鱼眼相机,且符合针孔模型,则可以利用如下算式,对原始图像进行畸变校正,得到标定图像:
x′=x/z;y'=y/z;r2=x'2+y′2
u=fx*x″+cx;v=fy*y″+cy
其中,x、y、z表示相机坐标系中的坐标,X、Y、Z表示世界坐标系中的坐标,k1-k6表示车载相机的内参畸变系数,p1、p2表示内参切向畸变系数,cx和cy为相机内参中的主点坐标,主点也就是相机主光轴与像平面相交的点,u,v表示图像坐标系中的成像坐标;x″,y″表示畸变后的坐标。R1表示世界坐标系下坐标转换到相机坐标系下坐标的旋转量,T1表示世界坐标系下坐标转换到相机坐标系下坐标的平移量。
S102:针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置,根据该位置,确定该车载相机与所识别的标记物之间的位置关系。
举例来说,标记物可以为标定布、棋盘格等物体,如果标记物为棋盘格,则可以通过黑白相间的方格,识别出图像中的标记物,也就得到在标记物在图像坐标系中的位置。
以一个车载相机为例来说,S102可以包括:在标记物所在的世界坐标系中,构建标记物的协方差矩阵;根据所述协方差矩阵,得到标记物的初始旋转矩阵R和初始平移向量T;利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵R及所述初始平移向量T进行迭代优化,得到该车载相机与标记物之间的位置关系。
具体来说,在标记物所在的世界坐标系中,构建标记物的协方差矩阵之后,可以计算所述协方差矩阵的最小特征值对应的特征向量、以及所述协方差矩阵的坐标均值;利用所述特征向量及所述坐标均值,变换得到标记物的初始旋转矩阵R;再根据所述初始旋转矩阵R及所述坐标均值,计算标记物的初始平移向量T;利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵R及所述初始平移向量T进行迭代优化,得到标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的映射关系;根据所述映射关系以及该车载相机的内参,得到该车载相机与标记物之间的位置关系。
其中,得到初始旋转矩阵R及初始平移向量T后,可以根据R、T的偏导数据构造雅克比矩阵,再利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差最小原理,对R、T进行多次迭代优化,得到优化后的R、T。具体的迭代次数可以根据实际情况进行设定。得到了优化后的R、T,也就得到了标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的映射关系。
根据车载相机的内参,可以得到图像坐标系与相机坐标系之间的转换关系,结合上述“标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的映射关系”,便得到了相机坐标系与标记物所在的世界坐标系之间的转换关系,也就是车载相机与标记物之间的位置关系。
如图2所示,假设车身后侧设置有一台相机,相机坐标系为XcYcZc坐标系,标记物所在的世界坐标系为XYZ坐标系;相机对准标记物进行图像采集,将采集的图像进行畸变校正后,得到标定图像,该标定图像的图像坐标系为uv坐标系,其中,c点为标定图像的中心点。
根据车载相机的内参,可以得到图像坐标系(uv坐标系)与相机坐标系(XcYcZc坐标系)之间的转换关系,结合上述得到的图像坐标系(uv坐标系)与标记物所在的世界坐标系(XYZ坐标系)的映射关系,便得到了相机坐标系(XcYcZc坐标系)与标记物所在的世界坐标系(XYZ坐标系)之间的转换关系,也就是车载相机与标记物之间的位置关系。
S103:根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将该多个车载相机转换至同一坐标系中。
由于S102中所确定的位置关系中包含同一标记物与不同车载相机之间的位置关系,因此,可以以一个标记物为基准,将多个车载相机转换同一坐标系中。
作为一种实施方式,S101可以包括:获取第一相机对应的第一标定图像、第二相机对应的第二标定图像以及第三相机对应的第三标定图像;其中,所述第一标定图像中包含第一标记物,所述第二标定图像中包含所述第一标记物和第二标记物,所述第三标定图像中包含所述第二标记物;
这种情况下,S102中确定出第一相机与第一标记物的位置关系、第二相机与第一标记物的位置关系、第二相机与第二标记物的位置关系、第三相机与第二标记物的位置关系;
S103包括:根据所述第二相机与所述第一标记物的位置关系以及所述第二相机与所述第二标记物的位置关系,将所述第二标记物所在的世界坐标系转换至所述第一标记物所在的世界坐标系,得到每个车载相机在所述第一标记物所在的世界坐标系中的坐标。
本实施方式中,以三个相机为例,介绍了将三个相机转换至同一坐标系的具体过程。如果车载相机的数量大于三,将多个车载相机转换至同一坐标系中的过程也类似,均可参考本实施方式。举例来说,假设存在四个车载相机,可以先利用本实施方式,将其中三个车载相机转换到同一坐标系中,剩余一个车载相机与该三个车载相机中至少一个车载相机相邻,相邻相机之间对应的图像中包含同一标记物,因此,可以基于相邻相机与该同一标记物的位置关系,将剩余一个车载相机也转换到该同一坐标系中。五个车载相机或者更多车载相机的情况类似,不再一一列举。
假设根据第二相机与第一标记物的位置关系,得到第二相机在第一标记物所在的世界坐标系中的坐标为P1(x1,y1,z1);根据第二相机与第二标记物的位置关系,得到第二相机在第二标记物所在的世界坐标系中的坐标为P2(x2,y2,z2),利用如下算式,将第二标记物所在的世界坐标系转换至第一标记物所在的世界坐标系:
举例来说,假设车身前侧、后侧、左侧、右侧分别设置一车载相机,为了方便描述,将前侧设置的相机称为前相机,将后侧设置的相机称为后相机,将左侧设置的相机称为左相机,将右侧设置的相机称为右相机;将左前侧标记物记为标记物1,将右前侧标记物记为标记物2,将左后侧标记物记为标记物3,将右后侧标记物记为标记物4。
如图3所示,车身周围存在四个标记物,前相机可以对标记物1和标记物2进行图像采集,后相机对标记物3和4进行图像采集,左相机可以对标记物1和标记物3进行图像采集,右相机可以对标记物2和标记物4进行图像采集。
获取前相机对应的前标定图像、左相机对应的左标定图像、右相机对应的右标定图像以及后相机对应的后标定图像;其中,前标定图像中包含标记物1和标记物2,后标定图像中包含标记物3和标记物4,左标定图像中包含标记物1和标记物3,右标定图像中包含标记物2和标记物4。
确定出前相机与标记物1和标记物2的位置关系,后相机与标记物3和标记物4的位置关系,左相机与标记物1和标记物3的位置关系,右相机与标记物2和标记物4的位置关系。
根据前相机与标记物1的位置关系,确定出前相机在标记物1所在世界坐标系中的坐标,记为A;根据前相机与标记物2的位置关系,确定出前相机在标记物2所在世界坐标系中的坐标,记为B;根据A和B之间的关系,将标记物2所在的世界坐标系转换至标记物1所在的世界坐标系。
根据左相机与标记物1的位置关系,确定出左相机在标记物1所在世界坐标系中的坐标,记为C;根据左相机与标记物3的位置关系,确定出左相机在标记物3所在世界坐标系中的坐标,记为D;根据C和D之间的关系,将标记物3所在的世界坐标系转换至标记物1所在的世界坐标系。
根据右相机与标记物2的位置关系、以及上述得到的标记物1所在的世界坐标系与标记物2所在的世界坐标系之间的转换关系,便可以在标记物1所在的世界坐标系中,确定出右相机的坐标。
根据后相机与标记物3的位置关系、以及上述得到的标记物1所在的世界坐标系与标记物3所在的世界坐标系之间的转换关系,便可以在标记物1所在的世界坐标系中,确定出后相机的坐标。
这样,便将四个车载相机都转换至标记物1所在的世界坐标系。
举例来说,对于普通小型汽车来说,可以在车身的前后左右分别设置一个车载相机,也就是共设置了四个车载相机;而对于较大型的汽车,如公交车、卡车、大巴车等,由于车身较长,可以在车辆身左右两侧设置多对对称的车载相机,或者,左右两侧设置的车载相机也可以不对称分布,车载相机的分布情况具体不做限定。
如果相机数量较多,一些情况下,需要将标记物4所在的世界坐标系转换至标记物1所在的世界坐标系,可以采用如下任意一种方式:
第一种,根据后相机与标记物3的位置关系,确定出后相机在标记物3所在世界坐标系中的坐标,记为E;根据后相机与标记物4的位置关系,确定出后相机在标记物4所在世界坐标系中的坐标,记为F;根据E和F之间的关系、以及上述内容中得到的标记物3所在的世界坐标系与标记物1所在的世界坐标系之间的转换关系,将标记物4所在的世界坐标系转换至标记物1所在的世界坐标系。
第二种,根据右相机与标记物2的位置关系,确定出右相机在标记物2所在世界坐标系中的坐标,记为G;根据右相机与标记物4的位置关系,确定出右相机在标记物4所在世界坐标系中的坐标,记为H;根据G和H之间的关系、以及上述内容中得到的标记物2所在的世界坐标系与标记物1所在的世界坐标系之间的转换关系,将标记物4所在的世界坐标系转换至标记物1所在的世界坐标系。
然后可以利用标记物1所在的世界坐标系与标记物4所在的世界坐标系之间的转换关系,可以将在标记物1所在的世界坐标系中,确定更多相机的坐标。
S104:在该同一坐标系中,确定该多个车载相机与车身的位置关系。
对于普通小型汽车来说,可以在车身左右对称设置一对车载相机(左相机和右相机),并将该对车载相机设置于车身长度一半处,另外,在车身前侧、且位于车身宽度一半处设置一个车载相机(前相机);这样,在同一坐标系中,确定左相机及右相机的坐标,左右相机坐标的中间点坐标即为车身中心坐标,根据车身中心坐标与前相机坐标的连线,可以确定车身旋转角。比如,可以将该连线与南北方向的夹角作为车身旋转角,也可以将连线与东西方向的夹角作为车身旋转角,等等,具体不做限定。
或者,延续图3中的例子,车身前侧、后侧、左侧、右侧分别设置一车载相机,且在左前侧标记物所在的世界坐标系中,分别确定出各个车载相机的坐标;这种情况下,S104包括:
在所述左前侧标记物所在的世界坐标系中,根据所述前相机的第一坐标、所述后相机的第二坐标、所述左相机的第三坐标以及所述右相机的第四坐标,计算车身中心位置的第五坐标、以及车身旋转角;
根据所述第一坐标与所述第五坐标及所述车身旋转角,得到所述前相机与车身的位置关系;
根据所述第二坐标与所述第五坐标及所述车身旋转角,得到所述后相机与车身的位置关系;
根据所述第三坐标与所述第五坐标及所述车身旋转角,得到所述左相机与车身的位置关系;
根据所述第四坐标与所述第五坐标及所述车身旋转角,得到所述右相机与车身的位置关系。
如图3所示,左右相机对称设置,而前后相机非对称设置。作左相机与右相机的连线,记为L1,作L1的中垂线L2,过前相机作L1的垂线D1,过后相机作L1的垂线D2,计算D1与D2的中点,也就是计算(D1+D2)/2,过D1与D2的中点作L2的垂线L3,L2与L3的交点即为车身中心位置的坐标,也就是第五坐标。L2与水平线或者垂直线的夹角、或者L3与水平线或者垂直线的夹角均可作为车身旋转角。
如图4所示,假设坐标原点为标记物1所在位置,在该坐标系中确定出Ov点的坐标,也就是计算车身中心位置的坐标,也就是上述第五坐标,在该坐标系中确定出前后相机连线的中垂线L2与坐标Hw的夹角θ,也就是车身旋转角。得到了车身中心位置的坐标与车身旋转角,也就是得到了车身与标记物1之间的位置关系,而上面内容中已经得到了每个车载相机在标记物1所在的世界坐标系中的坐标,也就是得到了每个车载相机与标记物1之间的位置关系,因此,便得到了每个车载相机与车身的位置关系。
应用本发明图1所示实施例,相邻车载相机所对应的标定图像中包含同一标记物,针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置,根据该位置,确定该车载相机与所识别的标记物之间的位置关系,所确定的位置关系中包含同一标记物与不同车载相机之间的位置关系,因此,可以以一个标记物为基准,将多个车载相机转换同一坐标系中,在该同一坐标系中,确定多个车载相机与车身的位置关系。可见,本方案中,一方面,只需要相邻车载相机对同一标记物进行采集,并不需要固定车辆停放位置及标记物位置,提高了获取外参的准确度;另一方面,在同一坐标系中,确定多个车载相机与车身的位置关系,标定效率较高。
与上述方法实施例相对应,本发明实施例还提供一种车载相机外参确定装置,如图5所示,包括:
获取模块501,用于获取每个车载相机对应的标定图像;其中,所述标定图像根据所对应的车载相机采集的图像得到,相邻车载相机所对应的标定图像中包含同一标记物;
识别模块502,用于针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置;
第一确定模块503,用于根据所述位置,确定该车载相机与所识别的标记物之间的位置关系;
转换模块504,用于根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将所述多个车载相机转换至同一坐标系中;
第二确定模块505,用于在所述同一坐标系中,确定所述多个车载相机与车身的位置关系。
作为一种实施方式,获取模块501,具体可以用于:
获取多个车载相机采集的原始图像;
对所获取的多张原始图像进行畸变校正,得到多张标定图像。
作为一种实施方式,第一确定模块503,可以包括:构建子模块、获得子模块和迭代子模块(图中未示出),其中,
构建子模块,用于在标记物所在的世界坐标系中,构建标记物的协方差矩阵;
获得子模块,用于根据所述协方差矩阵,得到标记物的初始旋转矩阵和初始平移向量;
迭代子模块,用于利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵及所述初始平移向量进行迭代优化,得到该车载相机与标记物之间的位置关系。
作为一种实施方式,所述获得子模块,具体可以用于:
计算所述协方差矩阵的最小特征值对应的特征向量、以及所述协方差矩阵的坐标均值;利用所述特征向量及所述坐标均值,变换得到标记物的初始旋转矩阵;根据所述初始旋转矩阵及所述坐标均值,计算标记物的初始平移向量;
所述迭代子模块,具体可以用于:
利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵及所述初始平移向量进行迭代优化,得到标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的映射关系;根据所述映射关系以及该车载相机的内参,得到该车载相机与标记物之间的位置关系。
作为一种实施方式,获取模块501,具体可以用于:
获取第一相机对应的第一标定图像、第二相机对应的第二标定图像以及第三相机对应的第三标定图像;其中,所述第一标定图像中包含第一标记物,所述第二标定图像中包含所述第一标记物和第二标记物,所述第三标定图像中包含所述第二标记物;
转换模块504,具体可以用于:
根据所述第二相机与所述第一标记物的位置关系以及所述第二相机与所述第二标记物的位置关系,将所述第二标记物所在的世界坐标系转换至所述第一标记物所在的世界坐标系,得到每个车载相机在所述第一标记物所在的世界坐标系中的坐标。
作为一种实施方式,获取模块501,具体可以用于:
获取前相机对应的前标定图像、左相机对应的左标定图像、右相机对应的右标定图像以及后相机对应的后标定图像;其中,所述前标定图像中包含左前侧标记物和右前侧标记物,所述左标定图像中包含所述左前侧标记物和左后侧标记物,所述右标定图像中包含所述右前侧标记物和右后侧标记物,所述后标定图像中包含所述左后侧标记物和所述右后侧标记物;
转换模块504,具体可以用于:
根据所述前相机与所述左前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述前相机的坐标;
根据所述前相机与所述左前侧标记物的位置关系以及所述前相机与所述右前侧标记物的位置关系,将所述右前侧标记物所在的世界坐标系转换至所述左前侧标记物所在的世界坐标系,再结合所述右相机与所述右前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述右相机的坐标;
根据所述左相机与所述左前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述左相机的坐标;
根据所述左相机与所述左前侧标记物的位置关系以及所述左相机与所述左后侧标记物的位置关系,将所述左后侧标记物所在的世界坐标系转换至所述左前侧标记物所在的世界坐标系,再结合所述后相机与所述左后侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述后相机的坐标。
作为一种实施方式,第二确定模块505,具体可以用于:
在所述左前侧标记物所在的世界坐标系中,根据所述前相机的第一坐标、所述后相机的第二坐标、所述左相机的第三坐标以及所述右相机的第四坐标,计算车身中心位置的第五坐标、以及车身旋转角;
根据所述第一坐标与所述第五坐标及所述车身旋转角,得到所述前相机与车身的位置关系;
根据所述第二坐标与所述第五坐标及所述车身旋转角,得到所述后相机与车身的位置关系;
根据所述第三坐标与所述第五坐标及所述车身旋转角,得到所述左相机与车身的位置关系;
根据所述第四坐标与所述第五坐标及所述车身旋转角,得到所述右相机与车身的位置关系。
应用本发明图5所示实施例,相邻车载相机所对应的标定图像中包含同一标记物,针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置,根据该位置,确定该车载相机与所识别的标记物之间的位置关系,所确定的位置关系中包含同一标记物与不同车载相机之间的位置关系,因此,可以以一个标记物为基准,将多个车载相机转换同一坐标系中,在该同一坐标系中,确定多个车载相机与车身的位置关系。可见,本方案中,只需要相邻车载相机对同一标记物进行采集,并不需要固定车辆停放位置及标记物位置,提高了获取外参的准确度。
本发明实施例还提供了一种电子设备,该电子设备可以包括:处理器和存储器;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现上述任一种车载相机外参确定方法。
举例来说,该电子设备可以如图6所示,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信,
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的程序时,实现上述任一种车载相机外参确定方法。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种车载相机外参确定方法。
本发明实施例还提供一种辅助驾驶系统,如图7所示,包括:处理设备及多个车载相机:车载相机1、车载相机2……车载相机N;其中,
每个车载相机,用于将采集的图像发送至所述处理设备;
所述处理设备,用于根据所述多个车载相机采集的图像,得到所述多个车载相机对应的标定图像;其中,相邻车载相机所对应的标定图像中包含同一标记物;针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置,根据所述位置,确定该车载相机与所识别的标记物之间的位置关系;根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将所述多个车载相机转换至同一坐标系中;在所述同一坐标系中,确定所述多个车载相机与车身的位置关系。
该处理设备还可以用于执行上述任一种车载相机外参确定方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图5所示的车载相机外参确定装置实施例、图6所示的电子设备实施例、图7所示的辅助驾驶系统实施例、以及上述计算机可读存储介质实施例而言,由于其基本相似于图1-4所示的车载相机外参确定方法实施例,所以描述的比较简单,相关之处参见图1-4所示的车载相机外参确定方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (17)

1.一种车载相机外参确定方法,其特征在于,包括:
获取每个车载相机对应的标定图像;其中,所述标定图像根据所对应的车载相机采集的图像得到,相邻车载相机所对应的标定图像中包含同一标记物;
针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置,根据所述位置,确定该车载相机与所识别的标记物之间的位置关系;
根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将所述多个车载相机转换至同一坐标系中;
在所述同一坐标系中,确定所述多个车载相机与车身的位置关系。
2.根据权利要求1所述的方法,其特征在于,所述获取每个车载相机对应的标定图像,包括:
获取多个车载相机采集的原始图像;
对所获取的多张原始图像进行畸变校正,得到多张标定图像。
3.根据权利要求1所述的方法,其特征在于,所述根据所述位置,确定该车载相机与所识别的标记物之间的位置关系,包括:
在标记物所在的世界坐标系中,构建标记物的协方差矩阵;
根据所述协方差矩阵,得到标记物的初始旋转矩阵和初始平移向量;
利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵及所述初始平移向量进行迭代优化,得到该车载相机与标记物之间的位置关系。
4.根据权利要求3所述的方法,其特征在于,所述根据所述协方差矩阵,得到标记物的初始旋转矩阵和初始平移向量,包括:
计算所述协方差矩阵的最小特征值对应的特征向量、以及所述协方差矩阵的坐标均值;
利用所述特征向量及所述坐标均值,变换得到标记物的初始旋转矩阵;
根据所述初始旋转矩阵及所述坐标均值,计算标记物的初始平移向量;
所述利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵及所述初始平移向量进行迭代优化,得到该车载相机与标记物之间的位置关系,包括:
利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵及所述初始平移向量进行迭代优化,得到标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的映射关系;
根据所述映射关系以及该车载相机的内参,得到该车载相机与标记物之间的位置关系。
5.根据权利要求1所述的方法,其特征在于,所述获取每个车载相机对应的标定图像,包括:
获取第一相机对应的第一标定图像、第二相机对应的第二标定图像以及第三相机对应的第三标定图像;其中,所述第一标定图像中包含第一标记物,所述第二标定图像中包含所述第一标记物和第二标记物,所述第三标定图像中包含所述第二标记物;
所述根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将所述多个车载相机转换至同一坐标系中,包括:
根据所述第二相机与所述第一标记物的位置关系以及所述第二相机与所述第二标记物的位置关系,将所述第二标记物所在的世界坐标系转换至所述第一标记物所在的世界坐标系,得到每个车载相机在所述第一标记物所在的世界坐标系中的坐标。
6.根据权利要求1所述的方法,其特征在于,所述获取每个车载相机对应的标定图像,包括:
获取前相机对应的前标定图像、左相机对应的左标定图像、右相机对应的右标定图像以及后相机对应的后标定图像;其中,所述前标定图像中包含左前侧标记物和右前侧标记物,所述左标定图像中包含所述左前侧标记物和左后侧标记物,所述右标定图像中包含所述右前侧标记物和右后侧标记物,所述后标定图像中包含所述左后侧标记物和所述右后侧标记物;
所述根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将所述多个车载相机转换至同一坐标系中,包括:
根据所述前相机与所述左前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述前相机的坐标;
根据所述前相机与所述左前侧标记物的位置关系以及所述前相机与所述右前侧标记物的位置关系,将所述右前侧标记物所在的世界坐标系转换至所述左前侧标记物所在的世界坐标系,再结合所述右相机与所述右前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述右相机的坐标;
根据所述左相机与所述左前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述左相机的坐标;
根据所述左相机与所述左前侧标记物的位置关系以及所述左相机与所述左后侧标记物的位置关系,将所述左后侧标记物所在的世界坐标系转换至所述左前侧标记物所在的世界坐标系,再结合所述后相机与所述左后侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述后相机的坐标。
7.根据权利要求6所述的方法,其特征在于,在所述同一坐标系中,确定所述多个车载相机与车身的位置关系,包括:
在所述左前侧标记物所在的世界坐标系中,根据所述前相机的第一坐标、所述后相机的第二坐标、所述左相机的第三坐标以及所述右相机的第四坐标,计算车身中心位置的第五坐标、以及车身旋转角;
根据所述第一坐标与所述第五坐标及所述车身旋转角,得到所述前相机与车身的位置关系;
根据所述第二坐标与所述第五坐标及所述车身旋转角,得到所述后相机与车身的位置关系;
根据所述第三坐标与所述第五坐标及所述车身旋转角,得到所述左相机与车身的位置关系;
根据所述第四坐标与所述第五坐标及所述车身旋转角,得到所述右相机与车身的位置关系。
8.一种车载相机外参确定装置,其特征在于,包括:
获取模块,用于获取每个车载相机对应的标定图像;其中,所述标定图像根据所对应的车载相机采集的图像得到,相邻车载相机所对应的标定图像中包含同一标记物;
识别模块,用于针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置;
第一确定模块,用于根据所述位置,确定该车载相机与所识别的标记物之间的位置关系;
转换模块,用于根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将所述多个车载相机转换至同一坐标系中;
第二确定模块,用于在所述同一坐标系中,确定所述多个车载相机与车身的位置关系。
9.根据权利要求8所述的装置,其特征在于,所述获取模块,具体用于:
获取多个车载相机采集的原始图像;
对所获取的多张原始图像进行畸变校正,得到多张标定图像。
10.根据权利要求8所述的装置,其特征在于,所述第一确定模块,包括:
构建子模块,用于在标记物所在的世界坐标系中,构建标记物的协方差矩阵;
获得子模块,用于根据所述协方差矩阵,得到标记物的初始旋转矩阵和初始平移向量;
迭代子模块,用于利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵及所述初始平移向量进行迭代优化,得到该车载相机与标记物之间的位置关系。
11.根据权利要求10所述的装置,其特征在于,所述获得子模块,具体用于:
计算所述协方差矩阵的最小特征值对应的特征向量、以及所述协方差矩阵的坐标均值;利用所述特征向量及所述坐标均值,变换得到标记物的初始旋转矩阵;根据所述初始旋转矩阵及所述坐标均值,计算标记物的初始平移向量;
所述迭代子模块,具体用于:
利用标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的重投影误差,将所述初始旋转矩阵及所述初始平移向量进行迭代优化,得到标记物在标定图像中的坐标与在标记物所在的世界坐标系中的坐标之间的映射关系;根据所述映射关系以及该车载相机的内参,得到该车载相机与标记物之间的位置关系。
12.根据权利要求8所述的装置,其特征在于,所述获取模块,具体用于:
获取第一相机对应的第一标定图像、第二相机对应的第二标定图像以及第三相机对应的第三标定图像;其中,所述第一标定图像中包含第一标记物,所述第二标定图像中包含所述第一标记物和第二标记物,所述第三标定图像中包含所述第二标记物;
所述转换模块,具体用于:
根据所述第二相机与所述第一标记物的位置关系以及所述第二相机与所述第二标记物的位置关系,将所述第二标记物所在的世界坐标系转换至所述第一标记物所在的世界坐标系,得到每个车载相机在所述第一标记物所在的世界坐标系中的坐标。
13.根据权利要求12所述的装置,其特征在于,所述获取模块,具体用于:
获取前相机对应的前标定图像、左相机对应的左标定图像、右相机对应的右标定图像以及后相机对应的后标定图像;其中,所述前标定图像中包含左前侧标记物和右前侧标记物,所述左标定图像中包含所述左前侧标记物和左后侧标记物,所述右标定图像中包含所述右前侧标记物和右后侧标记物,所述后标定图像中包含所述左后侧标记物和所述右后侧标记物;
所述转换模块,具体用于:
根据所述前相机与所述左前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述前相机的坐标;
根据所述前相机与所述左前侧标记物的位置关系以及所述前相机与所述右前侧标记物的位置关系,将所述右前侧标记物所在的世界坐标系转换至所述左前侧标记物所在的世界坐标系,再结合所述右相机与所述右前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述右相机的坐标;
根据所述左相机与所述左前侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述左相机的坐标;
根据所述左相机与所述左前侧标记物的位置关系以及所述左相机与所述左后侧标记物的位置关系,将所述左后侧标记物所在的世界坐标系转换至所述左前侧标记物所在的世界坐标系,再结合所述后相机与所述左后侧标记物的位置关系,在所述左前侧标记物所在的世界坐标系中,确定所述后相机的坐标。
14.根据权利要求13所述的装置,其特征在于,所述第二确定模块,具体用于:
在所述左前侧标记物所在的世界坐标系中,根据所述前相机的第一坐标、所述后相机的第二坐标、所述左相机的第三坐标以及所述右相机的第四坐标,计算车身中心位置的第五坐标、以及车身旋转角;
根据所述第一坐标与所述第五坐标及所述车身旋转角,得到所述前相机与车身的位置关系;
根据所述第二坐标与所述第五坐标及所述车身旋转角,得到所述后相机与车身的位置关系;
根据所述第三坐标与所述第五坐标及所述车身旋转角,得到所述左相机与车身的位置关系;
根据所述第四坐标与所述第五坐标及所述车身旋转角,得到所述右相机与车身的位置关系。
15.一种电子设备,其特征在于,包括处理器和存储器;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-7任一所述的方法步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
17.一种辅助驾驶系统,其特征在于,包括:处理设备及多个车载相机;
每个车载相机,用于将采集的图像发送至所述处理设备;
所述处理设备,用于根据所述多个车载相机采集的图像,得到所述多个车载相机对应的标定图像;其中,相邻车载相机所对应的标定图像中包含同一标记物;针对每个车载相机,在该车载相机对应的标定图像中识别标记物的位置,根据所述位置,确定该车载相机与所识别的标记物之间的位置关系;根据所确定的每个车载相机与标记物之间的位置关系,以一个标记物为基准,将所述多个车载相机转换至同一坐标系中;在所述同一坐标系中,确定所述多个车载相机与车身的位置关系。
CN201810185257.7A 2018-03-07 2018-03-07 一种车载相机外参确定方法、装置、设备及系统 Active CN110246184B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810185257.7A CN110246184B (zh) 2018-03-07 2018-03-07 一种车载相机外参确定方法、装置、设备及系统
PCT/CN2019/076915 WO2019170066A1 (zh) 2018-03-07 2019-03-05 一种车载相机外参确定方法、装置、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810185257.7A CN110246184B (zh) 2018-03-07 2018-03-07 一种车载相机外参确定方法、装置、设备及系统

Publications (2)

Publication Number Publication Date
CN110246184A true CN110246184A (zh) 2019-09-17
CN110246184B CN110246184B (zh) 2021-06-11

Family

ID=67846857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810185257.7A Active CN110246184B (zh) 2018-03-07 2018-03-07 一种车载相机外参确定方法、装置、设备及系统

Country Status (2)

Country Link
CN (1) CN110246184B (zh)
WO (1) WO2019170066A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815719A (zh) * 2020-07-20 2020-10-23 北京百度网讯科技有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
CN113327292A (zh) * 2021-06-11 2021-08-31 杭州鸿泉物联网技术股份有限公司 车载环视设备标定方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985118A (zh) * 2014-04-28 2014-08-13 无锡观智视觉科技有限公司 一种车载环视系统摄像头参数标定方法
CN104050650A (zh) * 2014-06-19 2014-09-17 湖北汽车工业学院 基于坐标变换的完整成像的图像拼接方法
US8860818B1 (en) * 2013-07-31 2014-10-14 Apple Inc. Method for dynamically calibrating rotation offset in a camera system
US20150092058A1 (en) * 2013-10-01 2015-04-02 Application Solutions (Electronics and Vision) Ltd. System, Vehicle and Method for Online Calibration of a Camera on a Vehicle
CN104833372A (zh) * 2015-04-13 2015-08-12 武汉海达数云技术有限公司 一种车载移动测量系统高清全景相机外参数标定方法
CN105631853A (zh) * 2015-11-06 2016-06-01 湖北工业大学 车载双目相机标定及参数验证方法
CN105654422A (zh) * 2015-12-23 2016-06-08 北京观著信息技术有限公司 点云配准方法和系统
CN106570907A (zh) * 2016-11-22 2017-04-19 海信集团有限公司 一种相机标定方法及装置
CN106846410A (zh) * 2016-12-20 2017-06-13 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN107133988A (zh) * 2017-06-06 2017-09-05 科大讯飞股份有限公司 车载全景环视系统中摄像头的标定方法及标定系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4820221B2 (ja) * 2006-06-29 2011-11-24 日立オートモティブシステムズ株式会社 車載カメラのキャリブレーション装置およびプログラム
CN103593836A (zh) * 2012-08-14 2014-02-19 无锡维森智能传感技术有限公司 一种摄像头参数计算方法及相机确定车体姿态的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8860818B1 (en) * 2013-07-31 2014-10-14 Apple Inc. Method for dynamically calibrating rotation offset in a camera system
US20150092058A1 (en) * 2013-10-01 2015-04-02 Application Solutions (Electronics and Vision) Ltd. System, Vehicle and Method for Online Calibration of a Camera on a Vehicle
CN103985118A (zh) * 2014-04-28 2014-08-13 无锡观智视觉科技有限公司 一种车载环视系统摄像头参数标定方法
CN104050650A (zh) * 2014-06-19 2014-09-17 湖北汽车工业学院 基于坐标变换的完整成像的图像拼接方法
CN104833372A (zh) * 2015-04-13 2015-08-12 武汉海达数云技术有限公司 一种车载移动测量系统高清全景相机外参数标定方法
CN105631853A (zh) * 2015-11-06 2016-06-01 湖北工业大学 车载双目相机标定及参数验证方法
CN105654422A (zh) * 2015-12-23 2016-06-08 北京观著信息技术有限公司 点云配准方法和系统
CN106570907A (zh) * 2016-11-22 2017-04-19 海信集团有限公司 一种相机标定方法及装置
CN106846410A (zh) * 2016-12-20 2017-06-13 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
CN107133988A (zh) * 2017-06-06 2017-09-05 科大讯飞股份有限公司 车载全景环视系统中摄像头的标定方法及标定系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUNCHAO ZHU ET AL: "Research on calibration method of the panoramic stereo sphere vision system", 《2015 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION (ICMA)》 *
ZHONGLONG XIONG ET AL: "Research of bird"s-eye panoramic view for vehicle parking", 《2011 INTERNATIONAL CONFERENCE ON MULTIMEDIA TECHNOLOGY》 *
杨东升等: "基于平行面多靶标标定的单目大视场平面测量", 《光学学报》 *
郑忠慧: "车载全景视觉系统的研究与实现", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815719A (zh) * 2020-07-20 2020-10-23 北京百度网讯科技有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
CN111815719B (zh) * 2020-07-20 2023-12-22 阿波罗智能技术(北京)有限公司 图像采集设备的外参数标定方法、装置、设备及存储介质
CN113327292A (zh) * 2021-06-11 2021-08-31 杭州鸿泉物联网技术股份有限公司 车载环视设备标定方法及装置

Also Published As

Publication number Publication date
CN110246184B (zh) 2021-06-11
WO2019170066A1 (zh) 2019-09-12

Similar Documents

Publication Publication Date Title
CN108765498B (zh) 单目视觉跟踪方法、装置及存储介质
CN111223038B (zh) 一种车载环视图像的自动拼接方法及显示装置
CN109741455B (zh) 一种车载立体全景显示方法、计算机可读存储介质及系统
CN109559349B (zh) 一种用于标定的方法和装置
US10666860B2 (en) Image processor, image processing method and program, and imaging system
WO2020062434A1 (zh) 一种相机外部参数的静态标定方法
CN110349219A (zh) 一种相机外参标定方法及装置
CN110288527B (zh) 一种车载环视相机全景鸟瞰图生成方法
CN109003235A (zh) 光场图像的校正方法、计算机可读存储介质、及电子终端
CN108510551A (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN107492125A (zh) 汽车鱼眼镜头环视图像的处理方法
CN103679693A (zh) 一种多相机单视图标定装置及其标定方法
CN110246184A (zh) 一种车载相机外参确定方法、装置、设备及系统
CN110956585B (zh) 全景图像拼接方法、装置以及计算机可读存储介质
CN109035134A (zh) 全景图像拼接方法、装置、电子设备及存储介质
CN114549666B (zh) 一种基于agv的环视图像拼接标定方法
CN113658262B (zh) 相机外参标定方法、装置、系统及存储介质
CN100416466C (zh) 单目视觉半实物仿真系统及方法
CN111964665B (zh) 基于车载环视图像的智能车定位方法、系统及存储介质
CN110021035A (zh) Kinect深度相机的标记物及基于该标记物的虚拟标记物跟踪方法
CN110910311A (zh) 一种基于二维码的多路环视相机自动拼接方法
CN116258752A (zh) 配准方法、配准装置、电子设备和计算机可读存储介质
CN115601449A (zh) 标定方法、环视图像生成方法、装置、设备及存储介质
CN116205986A (zh) 车载环视相机外参的标定方法、装置、计算机设备及介质
CN102519435B (zh) 全景影像采集测量系统和全景影像空间测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant