CN113160336B - 一种简易标定环境下的车载环视相机标定方法 - Google Patents

一种简易标定环境下的车载环视相机标定方法 Download PDF

Info

Publication number
CN113160336B
CN113160336B CN202110511210.7A CN202110511210A CN113160336B CN 113160336 B CN113160336 B CN 113160336B CN 202110511210 A CN202110511210 A CN 202110511210A CN 113160336 B CN113160336 B CN 113160336B
Authority
CN
China
Prior art keywords
coordinate system
camera
calibration
vehicle
world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110511210.7A
Other languages
English (en)
Other versions
CN113160336A (zh
Inventor
陈禹行
李振
史艳辉
梁义辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yihang Yuanzhi Technology Co Ltd
Original Assignee
Beijing Yihang Yuanzhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yihang Yuanzhi Technology Co Ltd filed Critical Beijing Yihang Yuanzhi Technology Co Ltd
Priority to CN202110511210.7A priority Critical patent/CN113160336B/zh
Publication of CN113160336A publication Critical patent/CN113160336A/zh
Application granted granted Critical
Publication of CN113160336B publication Critical patent/CN113160336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种简易标定环境下的车载环视相机标定方法，具体包括以下步骤：(1)确定标定场地；(2)采用角点检测方法对图像上的特征点进行检测；(3)对初始外参进行标定；(4)根据重投影误差迭代地进行同一标定图案上所有特征点的整体调整，根据调整后的世界坐标值重新计算相机外参；(5)根据重投影误差迭代地进行特征点的独立调整，根据调整后的世界坐标值重新计算相机外参；(6)世界坐标系和车辆坐标系变换，将相对于世界坐标系的外参转换到相对于车体坐标系。该方法通过迭代的方式对特征点世界坐标进行修正，改善由于标定图案尺寸不精确、标定图案介质伸缩形变、标定图案介质褶皱等因素导致标定精度下降的技术问题。

Description

一种简易标定环境下的车载环视相机标定方法
技术领域
本发明属于自动驾驶汽车技术、汽车辅助驾驶技术领域，具体涉及一种为障碍物检测、车位检测以及自动泊车技术提供支持的车载环视相机的标定方法。
背景技术
近年来我国汽车行业发展迅速，汽车行业正向着“电动化”、“网联化”、“智能化”和“共享化”方向快速发展。自动驾驶是汽车未来的发展趋势，目前汽车正在从辅助驾驶阶段向完全的自动驾驶阶段进行过渡。目前市场上销售的汽车或多或少的具备一些辅助驾驶功能，例如AEB(自动紧急煞车系统)、ACC(自适应巡航)、LDWS(车道偏离预警系统)、BSD(盲区监测系统)、SVM(环视全景系统)等。环视全景系统可以监控车辆周围360度区域，显示周边盲区信息，是辅助用户车辆驾驶、泊车的有效工具，深受用户欢迎。在以前只有高端车才具有环视全景系统功能，但目前有些中低端车型也开始配备这个功能，可以预见在未来环视全景功能会成为所有出厂车的标配。
全景环视系统的原理是将车辆前、后、左、右四个摄像头采集的图像拼接成全景视图，拼接图像的质量与环视相机内参和外参标定结果的准确程度息息相关。如果相机内外参的标定结果是不精确的，会导致拼接成的全景图像质量不好，这样会严重影响用户体验，而且还会给车辆行驶带来安全隐患。相机内参是相机的固有参数，在使用过程中一般认为是不变的。车载相机的内参标定工作一般由相机模组厂商来完成，模组厂商将标定的内参结果写入到相机本身的存储器中，在使用相机时，用户可以从相机存储器中读取到相机的内参。因此，全景环视系统的标定工作重点是标定四路相机的外参(本说明书下文中所说的相机标定，一般是指相机的外参标定，如果是指内参标定，会特别说明)。
现有出厂车辆的环视相机标定是在标定车间完成的。一般在标定车间的地面上喷涂(或铺设)高精度的标定图案。环视相机标定过程中，标定图案上特征点在标定区域中的位置被认为是精确地已知量，通过在环视相机图像上检测特征点，并与现实空间的特征点进行匹配，基于鱼眼相机成像原理并应用特定的方法可以标定出相机的外参数。例如：中国专利CN106697110A公开的“一种环视系统的工厂下线标定装置”。然而，标定车间尺寸较大，占用空间，投入很大，建造需要比较高昂的成本，且一般不会为刚开始研发、测试阶段的车辆、车型建立专门的标定车间。通常的做法是，将特征图案印刷到特定材质的纸或布上面，标定时将其铺设在车辆的四周。例如：中国专利CN110660105A公开的“一种全景环视系统的标定参数优化方法及装置”。但由于各种因素，会导致标定图案上特征点的位置不是非常精确的，这些因素包括打印的标定图案尺寸不精确、标定图案介质伸缩形变、标定图案介质褶皱等等；而不准确的特征点位置会对外参标定的结果产生负面影响。
发明内容
本发明的目的在于提供一种简易标定环境下的车载环视相机标定方法，该方法通过迭代的方式对特征点世界坐标进行修正，改善由于标定图案尺寸不精确、标定图案介质伸缩形变、标定图案介质褶皱等因素导致标定精度下降的技术问题。
为实现上述目的，本发明采用如下技术方案：
一种简易标定环境下的车载环视相机标定方法，具体包括以下步骤：
步骤S1、确定标定场地
标定场地包括标定图案、车辆停放区域；所述车辆停放区域位于标定场地中心，相机标定时，车辆停放在车辆停放区域的正中心，车辆方向和车辆停放区域一致；
步骤S2、采用角点检测方法对图像上的特征点进行检测，之后将标定图案中特征点的图像坐标系转换到相机的归一化平面坐标系，去畸变；
步骤S3、初始外参标定
由于地面上的点在世界坐标系中的Z坐标值为0，因此地面特征点去除Z值后的齐次世界坐标(Xw，Yw，1)和特征点去畸变后的相机归一化平面坐标(x，y，1)之间的线性变换关系，可以用一个单应矩阵
Figure BDA0003060367940000021
来表示；
Figure BDA0003060367940000022
利用四对及四对以上的特征点可以计算得到单应矩阵H，根据单应矩阵H得到相机外参R,t；
步骤S4、根据重投影误差迭代地进行同一标定图案上所有特征点的整体调整；
步骤S4.1、计算每个标定图案上所有特征点的重投影误差
步骤S4.2、选择重投影误差最大的标定图案，对特征点的世界坐标进行整体调整；
标定图案世界坐标的调整可以分解为围绕中心旋转、中心平移两部分；
Figure BDA0003060367940000023
其中，Pwi(Xwi，Ywi)为标定图案上的某个特征点i的世界坐标，P′wi(X′wi，Y′wi)为特征点i调整后的世界坐标；
Figure BDA0003060367940000031
为标定图案中心的世界坐标；
Figure BDA0003060367940000032
n为每个标定图案上的特征数量；
标定图案位置的调整方程包含三个未知量：旋转角度θ，平移量Tx、Ty；
具体的优化过程如下：
(1)固定两个相机的外参为当前计算值，利用非线性优化方法，计算使得重投影误差最小的参数θ，Tx，Ty值；
(θ，Tx，Ty)＝argminerr(θ，Tx，Ty)
(2)利用θ，Tx，Ty的最优化值，根据公式计算特征点调整后的世界坐标值P′wi，之后按照步骤S3的方法重新计算两相机的外参；
(3)按照步骤S4.1方法重新计算标定图案的重投影误差，并更新标定图案的重投影误差值；
(4)将以上过程进行重复的迭代优化，迭代结束条件包括两条：(a)迭次次数超过一定数值；(b)重投影误差不再减少，或者减少量小于阈值；满足其中的一条，则迭代结束；
步骤S5、根据重投影误差迭代地进行特征点的独立调整；
步骤S5.1、计算每个特征点的重投影误差；
步骤S5.2、选择重投影误差最大的特征点，对特征点的世界坐标进行独立调整；
计算每一个特征点的重投影误差，选取重投影误差最大的特征点，调整此特征点的位置，
调整公式如下：
Figure BDA0003060367940000033
特征点位置的调整包含两个未知量：平移量Tx、Ty；
具体的优化过程如下：
(1)固定两个相机的外参为当前计算值，利用非线性优化方法，计算使得重投影误差最小的参数Tx，Ty值；
(2)利用Tx，Ty的最优化值，根据公式计算特征点调整后的世界坐标值P′wi，之后按照步骤S3的方法重新计算两相机的外参；
(3)按照步骤S5.1方法重新计算特征点的重投影误差；
(4)将以上过程进行重复的迭代优化，迭代结束条件包括两条：(a)迭次次数超过一定数值；(b)重投影误差不再减少，或者减少量小于阈值,满足其中的一条，则迭代结束；
步骤S6、世界坐标系和车辆坐标系变换
根据步骤S5计算出来的相机外参，可得到四路相机在世界坐标系中的位置，由于相机装配在车体上的位置是设计好的，因此可以确定四路相机在车体坐标系上的位置；根据相机在两个坐标系位置的不同，可以确定车体坐标系和世界坐标系之间的转换矩阵TWB，如果某路相机相对世界坐标系的外参为RCW，tCW，令
Figure BDA0003060367940000041
TCW称为相机相对于世界坐标系的变换矩阵；
那么，此相机相对于车体坐标系的变换矩阵为
TCB＝TcW·TWB。
作为本发明的优选，所述标定场地确定后在标定场地的周围增加黑色隔离带。
作为本发明的优选，所述标定图案是四个矩形，每个矩形上面具有多个特征点，四个矩形对称的摆放在车辆停放区域的四个角。
作为本发明的优选，步骤S2对图像上的特征点进行检测时，使用Harris或Shi-Tomasi角点检测方法。
作为本发明的优选，步骤S4.2和步骤S5.2所述的非线性优化方法包括采用LM、高斯牛顿、梯度下降算法。
作为本发明的优选，步骤S4.1计算每个标定图案上所有特征点的重投影误差的过程如下：
在标定场地每个角落的标定图案可以同时被相邻的两个相机观察到，标定图案上的某个特征点i在相机j中的重投影误差定义为
errij＝(uij-uij')2+(vij-vij')2
其中，(uij，vij)为特征点i在相机j图像中的坐标；(uij′，vij′)为特征点i的世界坐标结合相机内外参重新投影到相机j中的图像坐标；
计算每个标定图案上所有点在两个相机中重投影均方误差
Figure BDA0003060367940000042
其中，n为每个标定图案上的特征点数量；erri1+erri2为特征点i在可被观测到的两个相机中的重投影误差和。
作为本发明的优选，步骤S6世界坐标系和车辆坐标系变换过程如下：
某点在世界坐标系下坐标和车体坐标系下坐标之间的转换由公式表示：
Figure BDA0003060367940000051
其中，
Figure BDA0003060367940000052
为某点在世界坐标系下坐标；/>
Figure BDA0003060367940000053
为某点在车体坐标系下坐标；
θ表示坐标系之间的旋转，Tx、Ty表示坐标系之间的偏移量；
由计算出来的前后相机的外参，得到前后相机在世界坐标系中的位置
PWF＝-RF T*tF
PWB＝-RB T*tB
其中，(RF，tF)为前相机的外参，RF为旋转矩阵，tF为平移向量；(RB，tB)为后相机的外参，RB为旋转矩阵，tB为平移向量；
由装配信息，可以确定前后相机在车体坐标系中的位置PBF，PBB；
车头方向矢量为：
vW＝(PWF-PWB)
vB＝(PBF-PBB)
vW为车头方向矢量在世界坐标系下的表示；vB为车头方向矢量在车体坐标系下的表示；
θ可以由两坐标系下的车头方向矢量在水平面的角度差确定：
Figure BDA0003060367940000054
前后相机的中心点为：
CW＝(PWF+PWB)/2
CB＝(PBF+PBB)/2
CW为前后相机的中心点在世界坐标系下的表示；CB为前后相机的中心点在车体坐标系下的表示；
Tx、Ty可以由两坐标系下的前后相机中心点在水平面的位置偏差确定；
Figure BDA0003060367940000055
计算得到θ、Tx、Ty后，可以求得车体坐标系到世界坐标系的转换矩阵TWB；
Figure BDA0003060367940000056
如果某路相机相对世界坐标系的外参为RCW，tCW，令
Figure BDA0003060367940000061
TCW称为相机相对于世界坐标系的变换矩阵；
那么，此相机相对于车体坐标系的变换矩阵为：
TCB＝TcW·TWB。
本发明的优点和积极效果是：
1.本发明提供的标定方法把特征点的世界坐标认为是不精确的，提出了修正特征点世界坐标的环视相机标定方法，该方法通过迭代的方法对特征点世界坐标进行修正，在特征点位置修正时，利用多个特征点的整体修正和单点独立修正来改善由于标定图案尺寸不精确、标定图案介质伸缩形变、标定图案介质褶皱等因素导致标定精度下降的技术难题。
2.本发明提供的标定方法将世界坐标系和车辆坐标系进行了区分，降低了由于两坐标系不重合导致的标定误差。
3.本发明提供的标定方法不限于某个相机模型，对于Kannala-Brandt模型、MEI相机模型、Scaramuzza相机模型等均适用，适用范围广。
附图说明
图1为本发明标定场地示意图；
图2为本发明相机标定流程图；
图3为本发明相机外参计算流程图；
图4为本发明矩形标定图案整体误差示意图；
图5为本发明矩形标定图案整体调整示意图；
图6为本发明矩形标定图案世界坐标整体调整流程图；
图7为本发明特征点世界坐标独立调整流程图；
图8为本发明世界坐标系和车辆坐标系示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参阅图1至图8，本发明提供的一种简易标定环境下的车载环视相机标定方法，具体包括以下步骤：
步骤S1、确定标定场地
标定场地包括标定图案2、车辆停放区域1；所述车辆停放区域1位于标定场地中心，相机标定时，车辆停放在此区域的正中心，车辆方向和此区域一致；所述标定图案2是四个矩形，每个矩形上面具有多个特征点，四个矩形对称的摆放在车辆停放区域1的四个角；另外，为减少周边环境对标定的影响，可在标定场地周围增加黑色隔离带3；
步骤S2、采用Harris、Shi-Tomasi等角点检测方法对图像上的特征点进行检测，之后将标定图案中特征点的图像坐标系转换到相机的归一化平面坐标系，去畸变；
步骤S3、初始外参标定
成像过程所涉及到的坐标系包括世界坐标系，车体坐标系，相机坐标系，相机的归一化平面坐标系，图像坐标系。车体坐标系的原点一般是车辆中心或者车辆后轴中心在地面上的投影点，Z轴向上，X、Y轴根据需要可任意指定。世界坐标系的原点在标定区域的中心，由于车辆停放的位置不可能完全精确，所以世界坐标系和车体坐标系一般不重合。由于相机成像过程的各个坐标系之间的变换关系以及相机畸变是相机标定的基本知识，在众多的公开文献中都要记录，这里不再叙述。
标定图案中特征点的世界坐标是特征点在定义的世界坐标系中的位置，但由于打印的标定图案尺寸不精确、标定图案介质伸缩形变、标定图案介质褶皱等原因，其位置是不精确的。初始时，将特征点的世界坐标设定为理想值，之后再对其进行优化。
由于地面上的点在世界坐标系中的Z坐标值为0，因此地面特征点去除Z值后的齐次世界坐标(Xw，Yw，1)和特征点去畸变后的相机归一化平面坐标(x，y，1)之间的线性变换关系，可以用一个单应矩阵
Figure BDA0003060367940000071
来表示；
Figure BDA0003060367940000072
利用四对及四对以上的特征点可以计算得到单应矩阵H，根据单应矩阵H得到相机外参R，t(见图3)；文献Z.Zheng,“A Flexible New Technique for Camera Calibration”,IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11),Nov.2000,pp.1330-1334.中详细叙述了如何计算单应矩阵，以及由单应矩阵得到相机外参R，t。
步骤S4、根据重投影误差迭代地进行同一矩形标定图案上所有特征点的整体调整；这一步主要调整每个矩形标定图案的整体偏移，如图4所示，矩形标定图案摆放位置相对理想位置有旋转和中心偏移两种误差；
步骤S4.1、计算每个矩形标定图案上所有特征点的平均重投影误差
在标定场地每个角落的矩形标定图案可以同时被相邻的两个相机观察到，图中相机1可以看到矩形标定图案1和矩形标定图案2，相机2可以看到矩形标定图案1和矩形标定图案3，矩形标定图案上的某个特征点i在相机j中的重投影误差定义为；
errij＝(uij-uij')2+(vij-vij')2 (2)
其中，(uij，vij)为特征点i在相机j图像中的坐标；(uij′，vij′)为特征点i的世界坐标结合相机内外参重新投影到相机j中的图像坐标；
计算每个矩形标定图案上所有点在两个相机中重投影均方误差
Figure BDA0003060367940000081
其中，n为每个矩形标定图案上的特征点数量；erri1+erri2为特征点i在可被观测到的两个相机中的重投影误差和。
步骤S4.2、选择重投影误差最大的标定图案，对特征点的世界坐标进行整体调整；
选取重投影均方误差最大的标定图案，本实施例称为矩形标定图案1，其相邻的两个矩形标定图案为矩形标定图案2、矩形标定图案3；在此次迭代优化过程中，认为矩形标定图案2和矩形标定图案3的位置是较为精确地而不调整，只调整矩形标定图案1的位置；可以看到矩形标定图案1的相机为相机1、相机2，相机1可以看到矩形标定图案1和矩形标定图案2，相机2可以看到矩形标定图案1和矩形标定图案3(见图5)。
矩形标定图案位置(即世界坐标)的调整可以分解为围绕中心旋转、中心平移两部分：
Figure BDA0003060367940000082
其中，Pwi(Xwi，Ywi)为矩形标定图案上的某个特征点i的世界坐标，P′wi(X′wi，Y′wi)为特征点i调整后的世界坐标；
Figure BDA0003060367940000083
为矩形标定图案中心
Figure BDA0003060367940000084
n为每个矩形标定图案上的特征数量；
矩形标定图案位置的调整方程包含三个未知量：旋转角度θ，平移量Tx、Ty；
具体的优化过程如图6所示，具体步骤是：
(1)固定两个相机的外参为当前计算值，利用非线性优化方法，计算使得重投影均方误差最小的参数θ，Tx，Ty值，非线性优化方法可以采用LM、高斯牛顿等算法；
(θ，Tx，Ty)＝argminerr(θ，Tx，Ty) (6)
(2)利用θ，Tx，Ty的最优化值，根据公式(4)计算特征点调整后的世界坐标值P′wi，根据步骤S3的方法重新计算两相机的外参；
(3)按照步骤S4.1方法重新计算矩形标定图案1的重投影均方误差，并更新矩形标定图案1的重投影均方误差值；
(4)将以上过程进行重复的迭代优化，迭代结束条件包括两条：(a)迭次次数超过一定数值，例如1000次；(b)重投影均方误差不再减少，或者减少量小于阈值；满足其中的一条，则迭代结束；
步骤S5、根据重投影误差迭代地进行特征点的独立调整；
步骤S5.1、按照公式(2)计算每个特征点的重投影误差；
步骤S5.2、选择重投影误差最大的特征点，对特征点的世界坐标进行独立调整；
计算每一个特征点的重投影误差，选取重投影误差最大的特征点，调整此特征点的位置，调整公式如下：
Figure BDA0003060367940000091
特征点位置的调整包含两个未知量：平移量Tx、Ty；
具体的优化过程如图7所示，具体步骤是：
(1)固定两个相机的外参为当前计算值，利用非线性优化方法，计算使得重投影误差最小的参数Tx，Ty值；非线性优化方法可以采用LM、高斯牛顿等算法；
(2)利用Tx，Ty的最优化值，根据公式计算特征点调整后的世界坐标值P′wi，之后按照步骤S3的方法重新计算两相机的外参；
(3)按照步骤S5.1方法重新计算特征点的重投影误差；
(4)将以上过程进行重复的迭代优化，迭代结束条件包括两条：(a)迭次次数超过一定数值，例如1000次；(b)重投影误差不再减少，或者减少量小于阈值，满足其中的一条，则迭代结束；
步骤S6、世界坐标系和车辆坐标系变换
由于车辆停放位置不完全精确，以及原始定义的世界坐标系原点和车辆坐标系原点不一致，因此两个坐标系存在一定的偏差，如图8所示，浅灰色坐标轴表示世界坐标系Ow(Xw，Yw)，深灰色坐标系轴表示车体坐标系Ob(Xb，Yb)。实际应用中一般需要的是相机相对于车体坐标系的外参，因此需要将相对于世界坐标系的外参转换到相对于车体坐标系。
某点在世界坐标系下坐标和车体坐标系下坐标之间的转换由公式表示：
Figure BDA0003060367940000101
其中，
Figure BDA0003060367940000102
为某点在世界坐标系下坐标；/>
Figure BDA0003060367940000103
为某点在车体坐标系下坐标；θ表示坐标系之间的旋转，Tx、Ty表示坐标系之间的偏移量；
由步骤S5计算出来的相机外参，得到四路相机在世界坐标系中的位置，由于相机装配在车体上的位置是设计好的，因此可以确定四路相机在车体坐标系上的位置；根据相机在两个坐标系位置的不同，可以确定世界坐标系和车体坐标系之间的转换关系，任取两路相机就可以确定此关系，此处以选取前后相机为例：
由计算出来的前后相机的外参，得到前后相机在世界坐标系中的位置
PWF＝-RF T*tF
PWB＝-RB T*tB
其中，(RF，tF)为前相机的外参，RF为旋转矩阵，tF为平移向量；(RB，tB)为后相机的外参，RB为旋转矩阵，tB为平移向量；
由装配信息，可以确定前后相机在车体坐标系中的位置PBF，PBB；
车头方向矢量为：
vW＝(PWF-PWB)
vB＝(PBF-PBB)
vW为车头方向矢量在世界坐标系下的表示；vB为车头方向矢量在车体坐标系下的表示；
θ可以由两坐标系下的车头方向矢量在水平面的角度差确定；
Figure BDA0003060367940000104
前后相机的中心点为：
CW＝(PWF+PWB)/2
CB＝(PBF+PBB)/2
CW为前后相机的中心点在世界坐标系下的表示；CB为前后相机的中心点在车体坐标系下的表示；
Tx、Ty可以由两坐标系下的前后相机中心点在水平面的位置偏差确定；
Figure BDA0003060367940000105
计算得到θ、Tx、Ty后，可以求得车体坐标系到世界坐标系的转换矩阵TWB；
Figure BDA0003060367940000111
如果某路相机相对世界坐标系的外参为RCW，tCW，令
Figure BDA0003060367940000112
TCW称为相机相对于世界坐标系的变换矩阵；
那么，此相机相对于车体坐标系的变换矩阵为
TCB＝TcW·TWB (13)
本申请在对相机标定过程中，将特征点的世界坐标认为是不精确的，提出了修正特征点世界坐标的环视相机标定方法，改善了由于标定图案尺寸不精确、标定图案介质伸缩形变、标定图案介质褶皱等因素导致标定精度下降的问题；另外，本申请在标定过程中将世界坐标系和车辆坐标系进行了区分，降低了由于两坐标系不重合导致的标定误差。

Claims (7)

1.一种简易标定环境下的车载环视相机标定方法，其特征在于，具体包括以下步骤：
步骤S1、确定标定场地
标定场地包括标定图案、车辆停放区域；所述车辆停放区域位于标定场地中心，相机标定时，车辆停放在车辆停放区域的正中心，车辆方向和车辆停放区域一致；
步骤S2、采用角点检测方法对图像上的特征点进行检测，之后将标定图案中特征点的图像坐标系转换到相机的归一化平面坐标系，去畸变；
步骤S3、初始外参标定
由于地面上的点在世界坐标系中的Z坐标值为0，因此地面特征点去除Z值后的齐次世界坐标(Xw，Yw，1)和特征点去畸变后的相机归一化平面坐标(x，y，1)之间的线性变换关系，可以用一个单应矩阵
Figure FDA0003060367930000011
来表示；
Figure FDA0003060367930000012
利用四对及四对以上的特征点可以计算得到单应矩阵H，根据单应矩阵H得到相机外参R,t；
步骤S4、根据重投影误差迭代地进行同一标定图案上所有特征点的整体调整；
步骤S4.1、计算每个标定图案上所有特征点的重投影误差
步骤S4.2、选择重投影误差最大的标定图案，对特征点的世界坐标进行整体调整；
标定图案世界坐标的调整可以分解为围绕中心旋转、中心平移两部分；
Figure FDA0003060367930000013
其中，Pwi(Xwi，Ywi)为标定图案上的某个特征点i的世界坐标，P′wi(X′wi，Y′wi)为特征点i调整后的世界坐标；
Figure FDA0003060367930000014
为标定图案中心的世界坐标；
Figure FDA0003060367930000015
n为每个标定图案上的特征数量；
标定图案位置的调整方程包含三个未知量：旋转角度θ，平移量Tx、Ty；
具体的优化过程如下：
(1)固定两个相机的外参为当前计算值，利用非线性优化方法，计算使得重投影误差最小的参数θ，Tx，Ty值；
(θ，Tx，Ty)*＝arg min err(θ，Tx，Ty)
(2)利用θ，Tx，Ty的最优化值，根据公式计算特征点调整后的世界坐标值P′wi，之后按照步骤S3的方法重新计算两相机的外参；
(3)按照步骤S4.1方法重新计算标定图案的重投影误差，并更新标定图案的重投影误差值；
(4)将以上过程进行重复的迭代优化，迭代结束条件包括两条：(a)迭次次数超过一定数值；(b)重投影误差不再减少，或者减少量小于阈值；满足其中的一条，则迭代结束；
步骤S5、根据重投影误差迭代地进行特征点的独立调整；
步骤S5.1、计算每个特征点的重投影误差；
步骤S5.2、选择重投影误差最大的特征点，对特征点的世界坐标进行独立调整；
计算每一个特征点的重投影误差，选取重投影误差最大的特征点，调整此特征点的位置，调整公式如下：
Figure FDA0003060367930000021
特征点位置的调整包含两个未知量：平移量Tx、Ty；
具体的优化过程如下：
(1)固定两个相机的外参为当前计算值，利用非线性优化方法，计算使得重投影误差最小的参数Tx，Ty值；
(2)利用Tx，Ty的最优化值，根据公式计算特征点调整后的世界坐标值P′wi，之后按照步骤S3的方法重新计算两相机的外参；
(3)按照步骤S5.1方法重新计算特征点的重投影误差；
(4)将以上过程进行重复的迭代优化，迭代结束条件包括两条：(a)迭次次数超过一定数值；(b)重投影误差不再减少，或者减少量小于阈值,满足其中的一条，则迭代结束；
步骤S6、世界坐标系和车辆坐标系变换
根据步骤S5计算出来的相机外参，可得到四路相机在世界坐标系中的位置，由于相机装配在车体上的位置是设计好的，因此可以确定四路相机在车体坐标系上的位置；根据相机在两个坐标系位置的不同，可以确定车体坐标系和世界坐标系之间的转换矩阵TWB，如果某路相机相对世界坐标系的外参为RCW，tCW，令
Figure FDA0003060367930000031
TCW称为相机相对于世界坐标系的变换矩阵；
那么，此相机相对于车体坐标系的变换矩阵为
TCB＝TCW·TWB。
2.根据权利要求1所述的车载环视相机标定方法，其特征在于，所述标定场地确定后在标定场地的周围增加黑色隔离带。
3.根据权利要求1所述的车载环视相机标定方法，其特征在于，所述标定图案是四个矩形，每个矩形上面具有多个特征点，四个矩形对称的摆放在车辆停放区域的四个角。
4.根据权利要求1所述的车载环视相机标定方法，其特征在于，步骤S2对图像上的特征点进行检测时，使用Harris或Shi-Tomasi角点检测方法。
5.根据权利要求1所述的车载环视相机标定方法，其特征在于，步骤S4.2和步骤S5.2所述的非线性优化方法包括采用LM、高斯牛顿、梯度下降算法。
6.根据权利要求1所述的车载环视相机标定方法，其特征在于，步骤S4.1计算每个标定图案上所有特征点的重投影误差的过程如下：
在标定场地每个角落的标定图案可以同时被相邻的两个相机观察到，标定图案上的某个特征点i在相机j中的重投影误差定义为
errij＝(uij-uij′)2+(vij-vij′)2
其中，(uij，vij)为特征点i在相机j图像中的坐标；(uij′，vij′)为特征点i的世界坐标结合相机内外参重新投影到相机j中的图像坐标；
计算每个标定图案上所有点在两个相机中重投影均方误差
Figure FDA0003060367930000032
其中，n为每个标定图案上的特征点数量；erri1+erri2为特征点i在可被观测到的两个相机中的重投影误差和。
7.根据权利要求1所述的车载环视相机标定方法，其特征在于，步骤S6世界坐标系和车辆坐标系变换过程如下：
某点在世界坐标系下坐标和车体坐标系下坐标之间的转换由公式表示：
Figure FDA0003060367930000041
其中，
Figure FDA0003060367930000042
为某点在世界坐标系下坐标；/>
Figure FDA0003060367930000043
为某点在车体坐标系下坐标；
θ表示坐标系之间的旋转，Tx、Ty表示坐标系之间的偏移量；
由计算出来的前后相机的外参，得到前后相机在世界坐标系中的位置
PWF＝-RF T*tF
PWB＝-RB T*tB
其中，(RF，tF)为前相机的外参，RF为旋转矩阵，tF为平移向量；(RB，tB)为后相机的外参，RB为旋转矩阵，tB为平移向量；
由装配信息，可以确定前后相机在车体坐标系中的位置PBF，PBB；
车头方向矢量为：
vW＝(PWF-PWB)
vB＝(PBF-PBB)
vW为车头方向矢量在世界坐标系下的表示；vB为车头方向矢量在车体坐标系下的表示；
θ可以由两坐标系下的车头方向矢量在水平面的角度差确定：
Figure FDA0003060367930000044
前后相机的中心点为：
CW＝(PWF+PWB)/2
CB＝(PBF+PBB)/2
CW为前后相机的中心点在世界坐标系下的表示；CB为前后相机的中心点在车体坐标系下的表示；
Tx、Ty可以由两坐标系下的前后相机中心点在水平面的位置偏差确定；
Figure FDA0003060367930000045
计算得到θ、Tx、Ty后，可以求得车体坐标系到世界坐标系的转换矩阵TWB；
Figure FDA0003060367930000046
如果某路相机相对世界坐标系的外参为RCW，tCW，令
Figure FDA0003060367930000051
TCW称为相机相对于世界坐标系的变换矩阵；
那么，此相机相对于车体坐标系的变换矩阵为：
TCB＝TCW·TWB。
CN202110511210.7A 2021-05-11 2021-05-11 一种简易标定环境下的车载环视相机标定方法 Active CN113160336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110511210.7A CN113160336B (zh) 2021-05-11 2021-05-11 一种简易标定环境下的车载环视相机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110511210.7A CN113160336B (zh) 2021-05-11 2021-05-11 一种简易标定环境下的车载环视相机标定方法

Publications (2)

Publication Number Publication Date
CN113160336A CN113160336A (zh) 2021-07-23
CN113160336B true CN113160336B (zh) 2023-07-07

Family

ID=76874639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110511210.7A Active CN113160336B (zh) 2021-05-11 2021-05-11 一种简易标定环境下的车载环视相机标定方法

Country Status (1)

Country Link
CN (1) CN113160336B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808221B (zh) * 2021-09-26 2023-09-01 杭州环峻科技有限公司 一种全景环带相机的标定方法及标定系统
CN114286075A (zh) * 2021-12-01 2022-04-05 北京新奥特图腾科技有限公司 校正参数调整方法、装置、电子设备及可读介质
CN114202588B (zh) * 2021-12-09 2022-09-23 纵目科技（上海）股份有限公司 一种车载环视相机快速自动标定方法和装置
CN117314735B (zh) * 2023-09-26 2024-04-05 长光辰英(杭州)科学仪器有限公司 基于最小化重投影误差的全局优化坐标映射转换方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689585A (zh) * 2019-10-09 2020-01-14 北京百度网讯科技有限公司 多相机外参的联合标定方法、装置、设备和介质
GB202016444D0 (en) * 2020-10-16 2020-12-02 Slamcore Ltd Visual-inertial localisation in an existing map

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110689585A (zh) * 2019-10-09 2020-01-14 北京百度网讯科技有限公司 多相机外参的联合标定方法、装置、设备和介质
GB202016444D0 (en) * 2020-10-16 2020-12-02 Slamcore Ltd Visual-inertial localisation in an existing map

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于全景环视系统的车位检测技术的研究;王鹏飞;《cnki硕士电子期刊》;全文 *
检校场标定长焦航测相机参数;王欢;周凌;张鑫;高思远;初庭旭;乔彦峰;;光学精密工程(第02期);全文 *

Also Published As

Publication number Publication date
CN113160336A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN113160336B (zh) 一种简易标定环境下的车载环视相机标定方法
JP4555876B2 (ja) 車載カメラのキャリブレーション方法
CN110146869B (zh) 确定坐标系转换参数的方法、装置、电子设备和存储介质
JP4690476B2 (ja) 車載カメラの校正装置
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
EP2523163B1 (en) Method and program for calibrating a multicamera system
JP4636346B2 (ja) 車載カメラの校正装置、方法、及びプログラム
US9361687B2 (en) Apparatus and method for detecting posture of camera mounted on vehicle
US9986173B2 (en) Surround-view camera system (VPM) online calibration
EP1954063A2 (en) Apparatus and method for camera calibration, and vehicle
US10358086B2 (en) Vehicle periphery image display device and camera adjustment method
US20080181488A1 (en) Camera calibration device, camera calibration method, and vehicle having the calibration device
JP2010239409A (ja) 車載カメラの校正装置
JP5081313B2 (ja) 車載カメラの校正装置
CN110766761B (zh) 用于相机标定的方法、装置、设备和存储介质
CN112529966A (zh) 一种车载环视系统的在线标定方法及其车载环视系统
Chang et al. Auto-calibration around-view monitoring system
US20160121806A1 (en) Method for adjusting output video of rear camera for vehicles
CN114332142A (zh) 车载相机的外参标定方法、设备、系统及介质
CN110910311A (zh) 一种基于二维码的多路环视相机自动拼接方法
CN109523489B (zh) 一种生成俯视无畸变倒车影像的方法
JP2019129341A (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
KR101989370B1 (ko) 차선인식 기반의 svm 다이나믹 오토 캘리브레이션 방법
CN117557638A (zh) 一种基于多相机非公共视场腰型孔特征的位姿测量方法
JP2019199150A (ja) 牽引支援装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant