CN115511974A - 一种车载双目相机的快速外参标定方法 - Google Patents
一种车载双目相机的快速外参标定方法 Download PDFInfo
- Publication number
- CN115511974A CN115511974A CN202211203763.7A CN202211203763A CN115511974A CN 115511974 A CN115511974 A CN 115511974A CN 202211203763 A CN202211203763 A CN 202211203763A CN 115511974 A CN115511974 A CN 115511974A
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate system
- vehicle
- coordinates
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
本发明公开了一种车载双目相机的快速外参标定方法,包括步骤:S1、对车载双目相机进行标定获取相机内参,并根据理想视差图计算相机视差,车载双目相机包括左相机和右相机;S2、根据相机视差确定目标点在相机坐标系下的坐标;S3、利用左相机获取的消失点计算相机的位姿,消失点为标定后的左相机采集的图像中车辆行驶车道线的交点,相机的位姿包括俯仰角和偏航角;S4、根据俯仰角和偏航角获取相机的旋转矩阵;S5、利用目标点在相机坐标系下的坐标和相机的旋转矩阵R确定世界坐标系下目标点的实际坐标。该方法便于在开放道路场景下或实时行驶过程中进行相机外参标定,有助于提高位姿估计准确度,从而提高车辆行驶安全性。
Description
技术领域
本发明属于机器视觉技术领域,具体涉及一种车载双目相机的快速外参标定方法。
背景技术
在双目ADAS或者自动驾驶领域,通常会使用相机感知车辆周围的障碍或者道路表示,应用于相机图像上的检测及跟踪常用参考相机坐标系,需要将其转换至车辆坐标系也就是世界坐标系下,从而实现车辆的危险预警以及控制。相机的内参以及相机和车辆坐标系之间的相对关系(外参),显著影响了相机感知周围环境的精度,如何快速有效的对相机的内外参进行标定是车载辅助驾驶系统量产的重要环节。业内已经对相机外参标定进行广泛深入的研究,但是在ADAS应用领域仍然存在以下挑战:在车辆维修或后装市场相机安装时,如何在开放道路场景下进行外参标定;在车辆长时间的使用后,相机外参随着时间推移而逐渐变化如何及时在行驶过程中调整相机外参。
发明内容
本发明的目的在于针对上述问题,提出一种车载双目相机的快速外参标定方法,便于在开放道路场景下或实时行驶过程中进行外参标定,方便快捷,有助于提高位姿估计准确度,从而提高车辆行驶安全性。
为实现上述目的,本发明所采取的技术方案为:
本发明提出的一种车载双目相机的快速外参标定方法,包括如下步骤:
S1、对车载双目相机进行标定获取相机内参,并根据理想视差图计算相机视差,车载双目相机包括左相机和右相机;
S2、根据相机视差确定目标点在相机坐标系下的坐标(Xc,Yc,Zc)T,目标点为世界坐标系下的任一点;
S3、利用左相机获取的消失点计算相机的位姿,消失点为标定后的左相机采集的图像中车辆行驶车道线的交点,相机的位姿包括俯仰角pitch和偏航角yaw,计算如下:
pitch=arctan((v0-v)/fv)
式中,(u0,v0)为相机的光心位置坐标,(u,v)为消失点在像素坐标系下的坐标,fu=f/du,f为左相机和右相机的焦距,du为像素坐标系下u方向的像元尺寸,fv=f/dv,dv为像素坐标系下v方向的像元尺寸;
S4、根据俯仰角pitch和偏航角yaw获取相机的旋转矩阵R:
其中,
S5、利用目标点在相机坐标系下的坐标(Xc,Yc,Zc)T和相机的旋转矩阵R确定世界坐标系下目标点的实际坐标(Xw,Yw,Zw)T,公式如下:
式中,t为相机的平移矩阵,等于0向量。
优选地,目标点在相机坐标系下的坐标(Xc,Yc,Zc)T,计算如下:
S21、获取目标点的景深z:
式中,f为左相机和右相机的焦距,b为左相机和右相机的光心距,d为相机视差;
S22、计算目标点在相机坐标系下的坐标(Xc,Yc,Zc)T:
Xc=(x-Cx)*z/fx
Yc=(y-Cy)*z/fy
ZC=fx*b/d
式中,(x,y)为目标点在图像坐标系下的坐标,(Cx,Cy)为光心在图像坐标系下的坐标,fx=f/dx,dx为图像坐标系下x方向的像元尺寸,fy=f/dy,dy为图像坐标系下y方向的像元尺寸。
优选地,车载双目相机的快速外参标定方法还包括对获取的相机的旋转矩阵R进行验证,满足如下条件:
其中,
式中,vp为消失点在世界坐标系下的坐标,(xp,yp,1)T为消失点在相机坐标系下的归一化坐标,λ为消失点在相机坐标系下的深度,k为相机的内参矩阵,R为相机的旋转矩阵,t为相机的平移矩阵,且等于0,(Xwp,Ywp,Zwp)T为世界坐标系下消失点的实际坐标,fx=f/dx,dx为图像坐标系下x方向的像元尺寸,fy=f/dy,dy为图像坐标系下y方向的像元尺寸,(u0,v0)为相机的光心位置坐标。
与现有技术相比,本发明的有益效果为:
本申请首先对双目相机进行标定获得相机内参并根据理想视差图得到相机拍摄物体的真实深度,然后基于车道线定位到单一消失点计算车载双目相机外参,即车辆的位姿,从而根据相机坐标系的目标点坐标得到世界坐标系下目标点的实际坐标,可应用于车载辅助驾驶系统上,实现车载相机测高测距等,便于在开放道路场景下或实时行驶过程中进行外参标定,方便快捷,有助于提高位姿估计准确度,从而提高车辆行驶安全性。
附图说明
图1为本发明车载双目相机的快速外参标定方法的流程图;
图2为本发明车载双目相机的理想视差图;
图3为本发明消失点在相机坐标系、图像坐标系和像素坐标系的成像示意图;
图4为本发明像素坐标系、图像坐标系、相机坐标系和世界坐标系的转换关系图;
图5为本发明车辆在世界坐标系下的欧拉角示意图;
图6为本发明车辆行驶过程中的车道线检测示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是在于限制本申请。
本申请涉及到以下四个坐标系,如图4所示:
Ow-Xw YwZw:世界坐标系,描述相机位置,单位m;
Oc-Xc YcZc:相机坐标系,光心为原点,单位m;
o-xy:图像坐标系,光心为图像中点,单位mm;
uv:像素坐标系,原点为图像左上角,单位pixel;
P:世界坐标系中的一点,即为生活中真实的一点;
p:点P在图像中的成像点,在图像坐标系中的坐标为(x,y),在像素坐标系中的坐标为(u,v);
f:相机的焦距,等于o与Oc的距离。
如图1-6所示,一种车载双目相机的快速外参标定方法,包括如下步骤:
S1、对车载双目相机进行标定获取相机内参,并根据理想视差图计算相机视差,车载双目相机包括左相机和右相机。
对相机进行标定是为了进行基线矫正得到相机的内参以及两相机之间的相对位置关系,如根据相机的内参得到相机的光心位置(u0,v0),为本领域人员熟知技术,如采用matlab工具箱进行双目标定,标定拍摄的图片尽量将标定板铺满整个平面,还可采用opencv工具等进行双目标定。通过理想视差图得到目标点的真实深度值,如图2所示,根据相似三角形可得相应的比例关系:
因为是在理想坐标系下,所以满足:
图2中,f为左相机和右相机的焦距,b为左相机和右相机的光心距,设T为目标点,TL是目标点在左相机成像面的投影点,TR是目标点在右相机的成像面的投影点,d为相机视差,理想视差图中目标点的y方向坐标一致,所以只需要计算x坐标的差值即可,得到的差值也就是相机视差d,xL为目标点T在左相机的像素坐标TL的横坐标,xR为目标点T在右相机的像素坐标TR的横坐标,xc为左相机的光心(即相机主点)横坐标,xD为右相机的光心(即相机主点)横坐标。
S2、根据相机视差确定目标点在相机坐标系下的坐标(Xc,Yc,Zc)T,目标点为世界坐标系下的任一点。
在一实施例中,目标点在相机坐标系下的坐标(Xc,Yc,Zc)T,计算如下:
S21、获取目标点的景深z:
式中,f为左相机和右相机的焦距,b为左相机和右相机的光心距,d为相机视差;
S22、计算目标点在相机坐标系下的坐标(Xc,Yc,Zc)T:
Xc=(x-Cx)*z/fx
Yc=(y-Cy)*z/fy
ZC=fx*b/d
式中,(x,y)为目标点在图像坐标系下的坐标,(Cx,Cy)为光心在图像坐标系下的坐标,fx=f/dx,dx为图像坐标系下x方向的像元尺寸,fy=f/dy,dy为图像坐标系下y方向的像元尺寸。
S3、利用左相机获取的消失点计算相机的位姿,消失点为标定后的左相机采集的图像中车辆行驶车道线的交点,相机的位姿包括俯仰角pitch和偏航角yaw,计算如下:
pitch=arctan((v0-v)/fv)
式中,(u0,v0)为相机的光心位置坐标,(u,v)为消失点在像素坐标系下的坐标,fu=f/du,f为左相机和右相机的焦距,du为像素坐标系下u方向的像元尺寸,fv=f/dv,dv为像素坐标系下v方向的像元尺寸。
其中,在标定后的相机(一般为左相机)采集的图像中找到车辆行驶中的车道线,车道线的交点即为消失点。在双目ADAS中世界坐标系(Xw,Yw,Zw)T定义为:以默认的理想的相机坐标系为世界坐标系,也就是车辆坐标系,所以相机坐标系与世界坐标系之间只存在旋转关系,也就是相机安装位置与车辆位置之间的旋转关系,并不存在位移关系t,所以只需要计算相机外参的旋转矩阵R即可,t为0向量。
而旋转矩阵R中引入了欧拉角概念,欧拉角包括偏航角yaw、俯仰角pitch和滚动角roll,实际的相机帧和默认相机帧之间的一般旋转可以通过以下方式进行描述,如图5所示。首先在世界坐标系Ow-Xw YwZw下围绕Zw轴旋转一个角度称之为滚动角roll(γ),然后旋转另一个角度围绕Xw轴称之为俯仰角pitch(α),最后围绕Yw旋转一个角度称之为偏航角yaw(β)。但是在车辆行驶过程中和车道线基本是保持平行的,但是如果我们用相机拍摄道路是会发现相机拍摄的车道线并不平行,这些现实空间中的平行线在图像中的交点称为消失点。
消失点是两条平行的车道线经透视变换会相交成一点,如图6所示的检测车道线的交点就是消失点,通俗来讲就是在现实世界空间中平行的两条线,在图像中相交的点,而理想世界坐标系(也就是目标坐标系)中光心与车道线消失点所重合,需要将实际的相机坐标进行旋转将实际的相机光心与消失点重合,而此时所旋转的欧拉角就是要求的相机外参所需的参数。矫正之后就能够将相机坐标系的Zc轴与地面的车道线平行。所以可知相机坐标系在位姿矫正后与世界坐标系的无穷远处重合。由世界坐标系与相机坐标系之间的关系可知:矫正位姿的目标就是求实际相机坐标系与世界坐标系(也就是理想相机坐标系),综上只需要计算相机的俯仰角和偏航角即可。
如图3所示,根据图像的两条车道线延长的交点得到像素平面(简称像平面,即像素坐标系)下的消失点P,根据小孔成像的几何原理分别画出几何成像图。P′为像平面上消失点P的投影点,设P′在像素坐标系uv下的坐标为(u,v),Oc为相机标定确定的光心,即根据相机的内参得到相机的光心位置(u0,v0),P′y为P′在y轴上投影点,所以相机的俯仰角pitch可根据P′和O的坐标以及焦距f进行计算得到:
俯仰角pitch=∠P′yOOc即P′y与Oc的连线与光心轴OcO之间的夹角;
偏航角yaw=∠P′yOcP′即P′y与Oc的连线与线段OcP′之间的夹角。
因为车辆实行驶在水平路面上的位姿角度以及所处的坐标系如图5所示,故滚动角roll可忽略,默认为单位阵,当pitch>0时为俯角,当pitch<0时为仰角当yaw>0时为相机左偏,当yaw<0时为相机右偏。
S4、根据俯仰角pitch和偏航角yaw获取相机的旋转矩阵R:
其中,
在一实施例中,车载双目相机的快速外参标定方法还包括对获取的相机的旋转矩阵R进行验证,满足如下条件:
其中,
式中,vp为消失点在世界坐标系下的坐标,(xp,yp,1)T为消失点在相机坐标系下的归一化坐标,λ为消失点在相机坐标系下的深度,k为相机的内参矩阵,R为相机的旋转矩阵,t为相机的平移矩阵,且等于0,(Xwp,Ywp,Zwp)T为世界坐标系下消失点的实际坐标,fx=f/dx,dx为图像坐标系下x方向的像元尺寸,fy=f/dy,dy为图像坐标系下y方向的像元尺寸,(u0,v0)为相机的光心位置坐标。
其中,消失点在相机坐标系下的深度即相机看到的物体与自身的直线距离。相机坐标系是以相机光心为原点并以世界坐标系光轴为深度轴。因为从单目相机图片无法得到深度,故在相机标定时只能得到归一化坐标,也就是一条基于深度的射线方程代表射线的投影坐标。而双目相机则可根据相机视差计算相机的深度。所以可以根据单目相机的成像原理,在不考虑相机镜头产生畸变的情况下,可以根据图像的两条车道线延长的交点得到像平面下也就是像素坐标系下的相机消失点Vp,R即为车辆外参矩阵也就是相机的位姿。
S5、利用目标点在相机坐标系下的坐标(Xc,Yc,Zc)T和相机的旋转矩阵R确定世界坐标系下目标点的实际坐标(Xw,Yw,Zw)T,公式如下:
式中,t为相机的平移矩阵,等于0向量。
根据上述公式即可获取世界坐标系(车辆坐标系)下的目标点的实际位置,其中,Yw为世界坐标系下目标点的高度,Zw为世界坐标系下目标点相对于车辆的深度,Xw为世界坐标系下目标点的横向坐标。
本申请首先对双目相机进行标定获得相机内参并根据理想视差图得到相机拍摄物体的真实深度,然后基于车道线定位到单一消失点计算车载双目相机外参,即车辆的位姿,从而根据相机坐标系的目标点坐标得到世界坐标系下目标点的实际坐标,可应用于车载辅助驾驶系统上,实现车载相机测高测距等,便于在开放道路场景下或实时行驶过程中进行外参标定,方便快捷,有助于提高位姿估计准确度,从而提高车辆行驶安全性。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请描述较为具体和详细的实施例,但并不能因此而理解为对申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (3)
1.一种车载双目相机的快速外参标定方法,其特征在于:所述车载双目相机的快速外参标定方法包括如下步骤:
S1、对车载双目相机进行标定获取相机内参,并根据理想视差图计算相机视差,所述车载双目相机包括左相机和右相机;
S2、根据相机视差确定目标点在相机坐标系下的坐标(Xc,Yc,Zc)T,所述目标点为世界坐标系下的任一点;
S3、利用左相机获取的消失点计算相机的位姿,所述消失点为标定后的左相机采集的图像中车辆行驶车道线的交点,所述相机的位姿包括俯仰角pitch和偏航角yaw,计算如下:
pitch=arctan((v0-v)/fv)
式中,(u0,v0)为相机的光心位置坐标,(u,v)为消失点在像素坐标系下的坐标,fu=f/du,f为左相机和右相机的焦距,du为像素坐标系下u方向的像元尺寸,fv=f/dv,dv为像素坐标系下v方向的像元尺寸;
S4、根据俯仰角pitch和偏航角yaw获取相机的旋转矩阵R:
其中,
S5、利用目标点在相机坐标系下的坐标(Xc,Yc,Zc)T和相机的旋转矩阵R确定世界坐标系下目标点的实际坐标(Xw,Yw,Zw)T,公式如下:
式中,t为相机的平移矩阵,等于0向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211203763.7A CN115511974A (zh) | 2022-09-29 | 2022-09-29 | 一种车载双目相机的快速外参标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211203763.7A CN115511974A (zh) | 2022-09-29 | 2022-09-29 | 一种车载双目相机的快速外参标定方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115511974A true CN115511974A (zh) | 2022-12-23 |
Family
ID=84509083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211203763.7A Withdrawn CN115511974A (zh) | 2022-09-29 | 2022-09-29 | 一种车载双目相机的快速外参标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115511974A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681776A (zh) * | 2023-05-30 | 2023-09-01 | 元橡科技(北京)有限公司 | 一种双目相机的外参标定方法和系统 |
CN116823958A (zh) * | 2023-04-20 | 2023-09-29 | 阿波罗智联(北京)科技有限公司 | 车载相机的偏航角估计方法、装置、设备、车辆及介质 |
CN117036505A (zh) * | 2023-08-23 | 2023-11-10 | 长和有盈电子科技(深圳)有限公司 | 车载摄像头在线标定方法及系统 |
-
2022
- 2022-09-29 CN CN202211203763.7A patent/CN115511974A/zh not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116823958A (zh) * | 2023-04-20 | 2023-09-29 | 阿波罗智联(北京)科技有限公司 | 车载相机的偏航角估计方法、装置、设备、车辆及介质 |
CN116681776A (zh) * | 2023-05-30 | 2023-09-01 | 元橡科技(北京)有限公司 | 一种双目相机的外参标定方法和系统 |
CN116681776B (zh) * | 2023-05-30 | 2024-02-23 | 元橡科技(北京)有限公司 | 一种双目相机的外参标定方法和系统 |
CN117036505A (zh) * | 2023-08-23 | 2023-11-10 | 长和有盈电子科技(深圳)有限公司 | 车载摄像头在线标定方法及系统 |
CN117036505B (zh) * | 2023-08-23 | 2024-03-29 | 长和有盈电子科技(深圳)有限公司 | 车载摄像头在线标定方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115511974A (zh) | 一种车载双目相机的快速外参标定方法 | |
CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
US8134608B2 (en) | Imaging apparatus | |
JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
CN112906449B (zh) | 基于稠密视差图的路面坑洼检测方法、系统和设备 | |
KR101592740B1 (ko) | 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 | |
US9357208B2 (en) | Method and system for dynamically calibrating vehicular cameras | |
US6381360B1 (en) | Apparatus and method for stereoscopic image processing | |
KR101023275B1 (ko) | 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛 | |
US20160098815A1 (en) | Imaging surface modeling for camera modeling and virtual view synthesis | |
CN111336951B (zh) | 用于校准图像传感器的外部参数的方法和设备 | |
WO2015045329A1 (ja) | 車両周辺画像表示装置及びカメラの調整方法 | |
CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
JP6602982B2 (ja) | 車載カメラ、車載カメラの調整方法、車載カメラシステム | |
TW201403553A (zh) | 自動校正鳥瞰影像方法 | |
CN112819711B (zh) | 一种基于单目视觉的利用道路车道线的车辆反向定位方法 | |
TW201443827A (zh) | 鏡頭影像校正系統及鏡頭影像校正方法 | |
CN112489106A (zh) | 基于视频的车辆尺寸测量方法、装置、终端及存储介质 | |
CN110766761A (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
JP4682830B2 (ja) | 車載画像処理装置 | |
KR101035538B1 (ko) | 실시간 차선위치정보 획득장치 및 방법 | |
CN111382591A (zh) | 一种双目相机测距校正方法及车载设备 | |
CN109712200B (zh) | 一种基于最小二乘原理及边长推算的双目定位方法及系统 | |
CN116740192A (zh) | 一种车载环视系统的标定方法、标定系统及智能汽车 | |
JP2018136739A (ja) | キャリブレーション装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20221223 |
|
WW01 | Invention patent application withdrawn after publication |