CN109903341B - 一种车载摄像机外参动态自标定方法 - Google Patents
一种车载摄像机外参动态自标定方法 Download PDFInfo
- Publication number
- CN109903341B CN109903341B CN201910073564.0A CN201910073564A CN109903341B CN 109903341 B CN109903341 B CN 109903341B CN 201910073564 A CN201910073564 A CN 201910073564A CN 109903341 B CN109903341 B CN 109903341B
- Authority
- CN
- China
- Prior art keywords
- camera
- calibration
- coordinates
- reference point
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 230000003068 static effect Effects 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 25
- 239000011159 matrix material Substances 0.000 claims description 112
- 239000013598 vector Substances 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000005316 response function Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000006467 substitution reaction Methods 0.000 claims description 7
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000002427 irreversible effect Effects 0.000 claims description 3
- 229940050561 matrix product Drugs 0.000 claims description 3
- 230000036544 posture Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 45
- 230000010365 information processing Effects 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007526 fusion splicing Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种车载摄像机外参动态自标定方法，涉及智能车辆信息处理技术领域，该方法在载体车辆上设置一正六边形黑白标定参照物，首先利用张氏标定法对静态载体车辆上监控摄像机的参数进行标定，获得摄像机内参与初始外参，进而结合参照物中各标定参照点的三维世界坐标计算各标定参照点的初始三维摄像机坐标；然后在监控摄像机工作过程中对动态变化的外参进行定时检测更新。本方法保持监控摄像机外参的准确可靠，为后续进行相关机器视觉应用提供标定准确性前提。
Description
技术领域
本发明涉及智能车辆信息处理技术领域，特别是一种基于特定几何参照物约束的车载摄像机外参动态自标定方法。
背景技术
随着我国智慧城市试点工作进程的不断推进，智能交通系统已成为交通事业发展的必然选择，其关键技术之一就是对车辆安全及辅助驾驶系统的研究。智能车辆作为智能交通系统的重要组成部分，其研究的主要目的在于降低日趋严重的交通事故发生率、提高现有道路交通系统的效率等。而机器视觉是智能车辆相关研究中的关键传感技术之一，车道线偏离预警、防撞预警及驾驶行为决策等辅助驾驶系统的实现，都在一定程度上依赖于车载摄像机等图像传感器所采集的数据信息。而机器视觉应用的关键环节通常是对摄像机成像模型的建立与模型参数的求解，即摄像机内参与外参的精确标定，其标定结果的准确性及标定算法的稳定性将直接影响摄像机工作所产生结果的精确性。
摄像机内参反映的是摄像机内部的投影模型结构，外参反映的是摄像机在三维世界中的位置与角度取向。由于载体车辆在行驶过程中常处于颠簸、侧倾等状态，固定于载体车辆上的监控摄像机在随车工作的过程中，其角度取向也不可避免的发生动态变化，即监控摄像机外参将持续产生微小偏差。在进行监控图像拼接等对摄像机外参准确性需求较高的应用时，摄像机外参的微小偏差将会导致图像处理结果的较大误差，同时增加图像处理算法的复杂度，不利于实现高实时性的机器视觉应用。
目前在实际应用中针对车载摄像机的标定方法主要分为两大类：依赖于标定物的静态标定法和应用于摄像机任意运动场景下的动态标定法。静态标定法如张氏标定法、RAC经典两步法等，通常具有求解简单、标定精度高的优点，但标定过程相对复杂，对标定物的制作精度要求较高，同时标定物的放置较大的限制了其应用场合，难以应用于车载摄像机动态外参的标定。动态标定法中如Caprile几何参数估计法、三正交消隐点标定法等一类方法，主要基于建筑或道路中的平行线消隐点和消隐线信息进行求解，减弱了对场景的约束，但在应用中其算法鲁棒性及标定精度通常需要进一步优化；而另一类动态标定法如分层逐步法、Triggs二次曲面标定法等，则主要基于图像序列间的绝对二次曲面等几何约束进行求解，不需要外在场景的约束，但其运算过程通常较为复杂，不利于车载环境下的广泛应用。现有车载监控摄像机在随车工作的过程中，存在由于小幅度偏转而导致的摄像机外参动态变化的情况。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种基于特定几何参照物约束的车载摄像机外参动态自标定方法，本方法保持监控摄像机外参的准确可靠，为后续进行相关机器视觉应用提供标定准确性前提。
本发明为解决上述技术问题采用以下技术方案：
根据本发明提出的一种基于特定几何参照物约束的车载摄像机外参动态自标定方法，包括以下步骤：
在载体车辆上设置一正六边形黑白标定参照物，并使其位于摄像机所覆盖范围内；
首先利用张氏标定法对静态载体车辆上摄像机的参数进行标定，获得摄像机内参与初始外参，进而结合参照物中各标定参照点的三维世界坐标计算各标定参照点的初始三维摄像机坐标；
然后在摄像机工作过程中对动态变化的外参进行定时检测更新：每次更新外参时首先提取该时刻摄像机所拍摄视频的帧图像，利用Harris角点检测算法提取帧图像中各标定参照点的二维图像像素坐标，其次结合各标定参照点的几何特征计算该时刻各标定参照点的三维摄像机坐标，然后结合前一次更新时刻各标定参照点的三维摄像机坐标，计算用于描述摄像机偏转程度的旋转矩阵，最后再结合前一次更新时刻的摄像机外参，计算此时摄像机的旋转矩阵外参，从而完成一次对摄像机动态外参的更新。
作为本发明所述的一种基于特定几何参照物约束的车载摄像机外参动态自标定方法进一步优化方案，获得摄像机内参与初始外参的具体过程如下：
摄像机内参及外参的初始静态标定：
针对静止状态下的载体车辆，应用张氏标定法对静态摄像机进行内参、外参的初始标定；内参包括：摄像机所采集帧图像在像素坐标系O0uv中u轴和v轴方向上的尺寸因子α、β，由于摄像机制造工艺而存在的坐标轴倾斜因子γ，和以毫米为单位的图像物理坐标系原点O1在以像素为单位的像素坐标系O0uv中的坐标(u0,v0)，其中u0为点O1在O0u轴方向上的坐标，v0为点O1在O0v轴方向上的坐标，下标0用于表示该坐标在像素坐标系O0uv中；外参包括：表示摄像机在世界坐标系OWXWYWZW中位姿的旋转矩阵R3×3＝[r1 r2 r3]和平移向量t＝(t1,t2,t3)T，其中r1、r2、r3分别为旋转矩阵R的三个列向量，t1、t2、t3分别为世界坐标系原点OW在摄像机坐标系三个坐标轴方向上的平移分量，上角标T表示转置。
作为本发明所述的一种基于特定几何参照物约束的车载摄像机外参动态自标定方法进一步优化方案，摄像机内参及外参的初始静态标定，具体如下：设置一个5×7黑白棋盘格标定板，通过移动标定板，在不同位置、不同角度、不同姿态下用摄像机拍摄10幅标定板图像，应用Harris角点检测算法对每一幅标定板图像检测提取其24个内角点的二维图像像素坐标，根据张氏标定法的参数解算方法计算摄像机的内参和每幅标定板图像对应的外参，由于摄像机工作时的世界坐标系OWXWYWZW建立在最后一幅标定板图像平面上，因而将由最后一幅标定板图像所解算出的外参作为摄像机的初始外参参数；最后利用Levenberg-Marquardt算法对所有得到的参数值进行最大似然估计，进一步迭代优化参数值的计算结果，最终得到摄像机成像的内参α、β、γ、u0、v0以及分别用矩阵形式表达的初始外参旋转矩阵R0＝[r10 r20 r30]、平移向量t＝(t1,t2,t3)T，其中r10、r20、r30分别为旋转矩阵列向量r1、r2、r3的初始值。
作为本发明所述的一种基于特定几何参照物约束的车载摄像机外参动态自标定方法进一步优化方案，标定参照点的初始三维摄像机坐标的计算如下：
在载体车辆上固定安装一个正六边形黑白几何标定参照物，并使其处于摄像机所覆盖范围内；以毫米为单位的三维世界坐标系OWXWYWZW建立于摄像机内参及外参的初始静态标定中所用最后一幅标定板图像平面上，即从摄像机拍摄角度，以最后一幅标定板图像位置的左上顶点为原点OW，以标定板图像平面为OWXWYW平面，OWXW轴沿标定板边缘水平指向载体车辆正向行驶的右侧，OWYW轴沿标定板边缘与载体车辆纵轴平行指向载体车辆内侧，并以右手螺旋定则确定OWZW轴方向；将初始静态标定中所用最后一幅标定板图像平面放置于正六边形黑白几何标定参照物位置，从而使各标定参照点均位于世界坐标系OWXWYW平面上；
测得参照物上7个标定参照点的三维世界坐标，第i个标定参照点的三维世界坐标表示为其中/>为第i个标定参照点在OWXW轴方向上的坐标，/>为第i个标定参照点在OWYW轴方向上的坐标，/>为第i个标定参照点在OWZW轴方向上的坐标；其次利用摄像机内参及外参的初始静态标定所得到的初始外参旋转矩阵R0＝[r10 r20r30]以及平移向量t＝(t1,t2,t3)T，建立世界坐标系OWXWYWZW与摄像机坐标系OCXCYCZC间的转换关系，从而计算7个标定参照点的初始三维摄像机坐标/>
其中为第i个标定参照点在摄像机坐标系中的OCXC轴方向上的初始坐标，/>为第i个标定参照点在OCYC轴方向上的初始坐标，/>为第i个标定参照点在OCZC轴方向上的初始坐标，上标0均表示该坐标为载体车辆开始工作前静止状态时的初始坐标，下标Ci则表示该坐标为第i个标定参照点在三维摄像机坐标系中的坐标，O1×3为1×3阶的零矩阵。
作为本发明所述的一种基于特定几何参照物约束的车载摄像机外参动态自标定方法进一步优化方案，摄像机动态外参的更新步骤如下：
步骤1、标定参照点检测：提取该次更新时刻摄像机所拍摄的图像，应用Harris角点检测算法对图像中的7个标定参照点坐标进行检测提取，计算得到此时7个标定参照点的图像像素坐标(ui,vi)，i＝1,2,…7；具体包含的子步骤为：
子步骤①：首先调用系统时钟开始计时，其次根据标定参照物的安装位置，在摄像机拍摄图像I(u,v)中固定选取一矩形角点检测区域；标定参照物位于图像左下角位置，故此时选取I(u,v)中左下角四分之一区域作为角点检测区域，I(u,v)中左下角四分之一区域即是距图像I(u,v)左边缘360像素内，且距下边缘288像素内的区域；并将该区域图像转换为灰度图Iab(u,v)，从而计算角点检测区域Iab(u,v)中各像素点灰度值在u、v两个方向的梯度Iu、Iv：
子步骤②：计算角点检测区域Iab(u,v)内各像素点周围窗口自相关矩阵M：
子步骤③：计算角点检测区域Iab(u,v)内各像素点的角点响应函数R(u,v)：
R(u,v)＝detM-k(traceM)2 (5)
其中，detM为矩阵M的行列式，traceM为矩阵M的迹，k为经验参数，选取角点响应函数R(u,v)大于预设阈值的像素点进行局部非极大值抑制，同时选取局部极大值点，即为区域Iab(u,v)内的角点；遍历Iab(u,v)中所有像素点的角点响应函数R(u,v)，设置检测所得的最大角点数为7，即选取角点响应函数值R(u,v)最大的7个角点为标定参照点，从而得到该次更新时刻各参照点的图像像素坐标(ui,vi)；
步骤2、计算各标定参照点的三维摄像机坐标根据摄像机成像的针孔模型，利用步骤1中检测所得各参照点图像像素坐标(ui,vi)以及摄像机内参及外参的初始静态标定中标定得到的摄像机内参α、β、γ、u0、v0，计算参照点在该次更新时刻对应的三维摄像机坐标；
首先构建标定参照点在摄像机坐标系OCXCYCZC与像素坐标系O0uv间的转换关系：
其中，为前一次更新时各标定参照点在摄像机坐标系OCZC轴上的坐标，i＝1,2,…,7，/>为此次更新时各标定参照点在摄像机坐标系OCZC轴上的坐标，ui为此次更新时第i个标定参照点在像素坐标系中O0u轴方向上的坐标，vi为此次更新时第i个标定参照点在像素坐标系中O0v轴方向上的坐标；由于内参矩阵的齐次形式为3×4的不可逆矩阵，因此首先得到用/>表示的各标定参照点摄像机坐标：
其中，为此次更新时第i个标定参照点在摄像机坐标系中OCXC轴方向上的坐标，/>为此次更新时第i个标定参照点在摄像机坐标系中OCYC轴方向上的坐标，/>为此次更新时第i个标定参照点在摄像机坐标系中OCZC轴方向上的坐标，并用下标i表示七个标定参照点的序号；其次利用7个标定参照点的空间几何特征，添加几何约束条件进行进一步解算；
根据标定参照点7点共面性质，建立约束方程：
根据式(7)对式(8)中进行代换，得到关于/>的四个非线性方程，并分别记为fj(Z′c)＝0，j＝1,2,3,4，其中/>为7维列向量，fj(Z′c)为关于Z′c的函数，如：
当i＝4时上式记为f1(Z′c)＝0，i＝5时上式记为f2(Z′c)＝0，i＝6时上式记为f3(Z′c)＝0，i＝7时上式记为f4(Z′c)＝0；
根据标定参照物对角线上三点共线性质，建立约束方程：
根据式(7)对式(9)中进行代换，得到关于/>的三个非线性方程，并分别记为fj(Z′c)＝0，j＝5,6,7，其中/>为7维列向量；
将fj(Z′c)＝0，j＝1,2,…,7组成含有7个未知数和7个方程的非线性方程组：
F(Z′c)＝[f1(Z′c),f2(Z′c),…,f7(Z′c)]T＝0 (10)
其中F(Z′c)为由fj(Z′c)＝0组成的函数矩阵，j＝1,2,…,7；利用牛顿迭代法对式(10)进行解算，设置最大迭代次数N，并置当前迭代次数k＝0，精度要求ε＝10-8，迭代初始值Z′c (0)取前一次外参更新后的各标定参照点摄像机坐标系Zc轴坐标，即首次外参更新时的迭代初始值Z′c (0)则取标定参照点初始三维摄像机坐标计算中所得到的各标定参照点初始摄像机坐标系Zc轴坐标，即/>其中/>为各标定参照点在三维摄像机坐标系ZC轴上的初始坐标；每次迭代时解算线性方程组：
其中Z′c (k)为第k次迭代时所用的近似解，F(Z′c (k))为由关于Z′c (k)的函数fj(Z′c (k))组成的函数矩阵，j＝1,2,…,7，J(Z′c (k))为F(Z′c (k))关于Z′c (k)的Jacobi矩阵，即Δ(k)表示第k次迭代时的误差，并置Z′c (k+1)＝Z′c (k)+Δ(k)；若|Δ(k)|<ε或k＝N，则停止迭代，Z′c (k+1)即为非线性方程组式(10)的解，否则置k＝k+1并重新解算式(11)；最终得到符合预设精度要求或迭代次数要求的解Z′c；
最后将由式(10)迭代解算出的结合式(7)计算得到该次更新时各标定参照点的三维摄像机坐标/>
步骤3、计算描述该次摄像机偏转的旋转矩阵RΔ：利用步骤2中计算得到的该时刻各标定参照点摄像机坐标并结合前一次更新时刻各标定参照点的摄像机坐标/>计算两次更新间隔中描述摄像机坐标系偏转的旋转矩阵RΔ，首次更新时则取标定参照点初始三维摄像机坐标计算中所得到的各参照点初始摄像机坐标值/>对坐标/>进行赋值，即/> 具体包含的子步骤为：
子步骤A：将偏转过程分解为摄像机坐标系首先绕Zc轴偏转角Δθ，之后绕Yc轴偏转角最后绕Xc轴偏转角Δψ，并根据该次更新及前一次更新时参照点的摄像机坐标建立坐标转换方程：
矩阵即为描述该次摄像机坐标系偏转程度的旋转矩阵，偏转角Δθ、/>Δψ取值范围为/>即其正弦取值范围为[-1,1]，余弦取值范围为[0,1]；
子步骤B：将方程(12)转化为一个最小二乘问题进行具体解算：首先用向量形式表示各参照点的摄像机坐标，取坐标向量坐标向量/>则方程(12)描述为RΔxi＝x′i，i＝1,2,…7；根据旋转矩阵的正交特性，将该方程转化为一个最小二乘问题进行解算：
其中I3为3阶单位矩阵；
其次由矩阵论中矩阵乘积的迹数性质将式①问题转换为：
其中X是由列向量xi组成的3×7坐标矩阵，i＝1,2,…7，X′是由列向量x′i组成的3×7坐标矩阵；
对矩阵XX′T进行奇异值分解：
XX′T＝U∑VT (15)
其中U、V均为3×3的正交阵，∑为3×3的对角阵；最后根据单位正交阵的性质解算式(11)问题得矩阵RΔ：
RΔ＝VUT (16)
步骤4、摄像机旋转矩阵外参更新：根据前一次更新后的摄像机旋转矩阵R，以及步骤3中所得到的描述该次摄像机偏转的旋转矩阵RΔ，计算此时摄像机坐标系相对于世界坐标系的旋转矩阵外参更新值R′，其中首次更新时则取摄像机内参及外参的初始静态标定中所得初始外参旋转矩阵R0对R进行赋值，即R＝R0：
R′＝RΔR (17)
该次计算完成后，将各参照点的摄像机坐标及旋转矩阵R进行参数值更新，i＝1,2,…7：取步骤2中计算所得该时刻各参照点的三维摄像机坐标/>对各参照点的摄像机坐标/>进行赋值，即/> 取式(17)计算所得旋转矩阵外参更新值R′对旋转矩阵外参R进行赋值，即R＝R’；
最后将当前计时器时间和更新周期进行比较，若当前计时不足更新周期，则继续等待，当系统时钟计时到达更新周期，则立即将计时器重置并返回步骤1中标定参照点检测，开始进行下一次旋转矩阵外参的更新。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)针对车载监控摄像机工作环境特点而提出，能够有效减少因摄像机动态偏转而带来的外参误差，为后续进行多种机器视觉应用提供标定准确性前提；
(2)根据监控摄像机的实际应用，采用定时更新方式对摄像机外参进行动态自标定，在保证应用效果的前提下减少了计算量，有利于推广应用；
(3)通过定时检测所设置标定参照点的坐标变化，计算监控摄像机在移动场景下的小幅度偏转程度，从而对监控摄像机动态外参进行定时计算更新，提高监控摄像机成像模型参数的准确度。
附图说明
图1为本发明提出的车载监控摄像机外参动态自标定方法的流程图。
图2为摄像机初始静态标定时所用的5×7黑白棋盘格标定板示意图。
图3为标定参照物示意图。
图4为应用于车载双摄像机视频图像拼接时摄像机及标定参照物的安装位置示例。
图5为应用于车载双摄像机视频图像拼接时的世界坐标系、摄像机坐标系及两图像坐标系间关系示意图。
图6、图7分别为车载双摄像机视频图像拼接应用中左、右摄像机同时提取的某一帧图像。
图8为普通道路环境下双摄像机视频图像的拼接结果。
图9为保持左摄像机位置及拍摄角度不变，右摄像机经小幅度偏转后提取的帧图像。
图10为右摄像机偏转后未经外参动态自标定的双摄像机视频图像拼接结果。
图11为偏转后的右摄像机经外参动态自标定后双摄像机视频图像拼接结果。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
目前我国车辆安全和辅助驾驶系统的研究不断取得新的进展，智能车辆的主要研究目的在于降低日趋严重的交通事故发生率、提高现有道路交通系统的效率等。而机器视觉是智能车辆相关研究中的关键传感技术之一，车道线偏离预警、防撞预警及驾驶行为决策等辅助驾驶系统的实现，都在一定程度上依赖于车载摄像机等图像传感器所采集的数据信息。而机器视觉应用的关键环节是对摄像机成像模型的建立与模型参数的求解，即摄像机内参与外参的精确标定，其标定结果的准确性及标定算法的稳定性直接影响摄像机工作所产生结果的精确性。
摄像机内参反映的是摄像机内部的投影模型结构，外参反映的是摄像机在三维世界中的位置与角度取向。由于载体车辆在行驶过程中常处于颠簸、侧倾等状态，固定于载体车辆上的监控摄像机在随车工作的过程中，其角度取向也不可避免的发生动态变化，即监控摄像机外参将持续产生微小偏差。在进行监控图像拼接等对摄像机外参准确性需求较高的应用时，摄像机外参的微小偏差将会导致图像处理结果的较大误差，同时增加图像处理算法的复杂度，不利于实现高实时性的机器视觉应用。
目前在实际应用中针对车载摄像机的标定方法主要分为两大类：依赖于标定物的静态标定法和应用于摄像机任意运动场景下的动态标定法。静态标定法如张氏标定法、RAC经典两步法等，通常具有求解简单、标定精度高的优点，但标定过程相对复杂，对标定物的制作精度要求较高，同时标定物的放置较大的限制了其应用场合，难以应用于车载摄像机动态外参的标定。动态标定法中如Caprile几何参数估计法、三正交消隐点标定法等一类方法，主要基于建筑或道路中的平行线消隐点和消隐线信息进行求解，减弱了对场景的约束，但在应用中其算法鲁棒性及标定精度通常需要进一步优化；而另一类动态标定法如分层逐步法、Triggs二次曲面标定法等，则主要基于图像序列间的绝对二次曲面等几何约束进行求解，不需要外在场景的约束，但其运算过程通常较为复杂，不利于车载环境下的广泛应用。
为解决上述存在的问题，本发明提出一种实用高效且有利于广泛应用的动态自标定方法，即一种基于特定几何参照物约束的车载监控摄像机外参动态自标定方法。当载体车辆处于颠簸等状态时，摄像机外参的微小偏差主要受摄像机角度变化的影响，而平移量的影响相对微弱，因此本发明仅针对外参中表示角度取向的旋转矩阵R进行自标定更新。首先利用张氏标定法对静态载体车辆上摄像机的成像参数进行标定，获得摄像机内参与初始外参；之后如附图3、4所示，在载体车辆上设置一正六边形黑白标定参照物，使其位于监控摄像机所覆盖范围内，并结合参照物中各标定参照点的三维世界坐标计算各标定参照点的初始三维摄像机坐标；然后在监控摄像机工作过程中对动态变化的外参进行定时检测更新：每次更新外参时首先提取该时刻监控摄像机所拍摄视频的帧图像，并检测提取帧图像中各标定参照点的二维图像像素坐标，其次结合其几何特征计算该时刻各标定参照点的三维摄像机坐标，然后结合前一次更新时刻各标定参照点的三维摄像机坐标，计算用于描述监控摄像机偏转程度的旋转矩阵，最后再结合前一次更新时刻的摄像机外参，计算此时监控摄像机的旋转矩阵外参，从而完成一次对监控摄像机动态外参的更新计算，为后续进行图像拼接等其他相关机器视觉应用提供标定准确性前提。图1为本发明提出的车载监控摄像机外参动态自标定方法的流程图；具体步骤包括：
1)摄像机内参及外参的初始静态标定
针对静止状态下的载体车辆，应用张氏标定法(详见参考文献“Zhang Z.Aflexible new technique for camera calibration[J].Pattern Analysis&MachineIntelligence IEEE Transactions on,2000,22(11):1330-1334.”)对静态监控摄像机进行内参、外参的初始标定。其中内参包括：摄像机所采集帧图像在像素坐标系O0uv中u轴和v轴方向上的尺寸因子α、β，由于摄像机制造工艺而存在的坐标轴倾斜因子γ，以毫米为单位的图像物理坐标系原点O1在以像素为单位的像素坐标系O0uv中的坐标(u0,v0)；外参则包括：表示摄像机在世界坐标系OWXWYWZW中位姿的旋转矩阵R3×3＝[r1 r2 r3]和平移向量t＝(t1,t2,t3)T，其中上角标T表示向量转置。
设置一个如附图2所示的5×7黑白棋盘格标定板，通过移动标定板，在不同位置、不同角度、不同姿态下用监控摄像机拍摄10幅静态标定板图像，应用Harris角点检测算法对每一幅静态标定板图像检测提取其24个内角点的二维图像像素坐标，根据张氏标定法的参数解算方法计算监控摄像机的内参和每幅标定板图像对应的外参，由于摄像机工作时的世界坐标系OWXWYWZW通常建立在最后一幅标定板图像所在平面上，因而将由最后一幅标定板图像所解算出的外参作为监控摄像机的初始外参参数。最后利用Levenberg-Marquardt算法对所有得到的参数值进行最大似然估计，进一步迭代优化参数值的计算结果，最终得到监控摄像机成像的内参α、β、γ、u0、v0以及分别用矩阵形式表达的初始外参R0＝[r10 r20r30]、t＝(t1,t2,t3)T，其中上角标T表示转置。
2)标定参照点初始三维摄像机坐标计算
如附图3、4所示，在载体车辆上固定安装一个正六边形黑白几何标定参照物，并使其处于监控摄像机所覆盖范围内。以毫米为单位的三维世界坐标系OWXWYWZW建立于“1)摄像机内参及外参的初始静态标定”中所用最后一幅标定板图像平面上，即从摄像机拍摄角度，以最后一幅标定板图像位置的左上顶点为原点OW，以标定板图像平面为OWXWYW平面，OWXW轴沿标定板边缘水平指向载体车辆正向行驶的右侧，OWYW轴沿标定板边缘与载体车辆纵轴平行指向载体车辆内侧，并以右手螺旋定则确定OWZW轴方向，如附图5所示。为便于计算，一般将初始静态标定中所用最后一幅标定板图像平面放置于正六边形黑白几何标定参照物位置，从而使各标定参照点均位于世界坐标系OWXWYW平面上。
所使用的正六边形标定参照物边长为50mm，首先结合其物理尺寸，可测得参照物上7个标定参照点(附图3中点1至点7)的三维世界坐标 其次利用“1)摄像机内参及外参的初始静态标定”所得到的初始外参旋转矩阵R0＝[r10 r20 r30]以及平移向量t＝(t1,t2,t3)T，建立世界坐标系OWXWYWZW与摄像机坐标系OCXCYCZC间的转换关系，从而计算7个标定参照点的初始摄像机坐标/>
3)摄像机外参动态自标定
针对处于移动场景下的载体车辆，对监控摄像机动态变化的旋转矩阵外参以TR＝2s为周期进行定时标定更新，每次更新时首先提取该时刻摄像机所拍摄视频的帧图像，对图像中正六边形黑白几何标定参照物上7个标定参照点的图像像素坐标进行检测提取，并计算此时各标定参照点的三维摄像机坐标，进而根据各标定参照点的摄像机坐标变化来描述监控摄像机的小幅度偏转，最后对监控摄像机旋转矩阵外参R进行更新计算。完成一次旋转矩阵外参更新的具体步骤为：
步骤1标定参照点检测：提取该次更新时刻监控摄像机所拍摄的帧图像(如附图7所示)，应用Harris角点检测算法对图像中的7个标定参照点坐标进行检测提取，计算得到此时7个标定参照点的图像像素坐标(ui,vi)(i＝1,2,…7)，具体包含的子步骤为：
子步骤①首先调用系统时钟开始计时，其次根据标定参照物的安装位置，在监控摄像机拍摄图像I(u,v)中固定选取一矩形角点检测区域。本发明中采用PAL制监控摄像头，所拍摄图像I(u,v)大小为720×576，以附图7为例，其中标定参照物位于图像左下角位置，故此时选取I(u,v)中左下角四分之一区域(即距图像I(u,v)左边缘360像素内，且距下边缘288像素内的区域)作为角点检测区域，并将该区域图像转换为灰度图Iab(u,v)，从而计算角点检测区域Iab(u,v)中各像素点灰度值在u、v两个方向的梯度Iu、Iv：
子步骤②计算角点检测区域Iab(u,v)内各像素点周围窗口自相关矩阵M：
子步骤③计算角点检测区域Iab(u,v)内各像素点的角点响应函数R(u,v)：
R(u,v)＝detM-k(traceM)2 (5)
其中detM为矩阵M的行列式，traceM为矩阵M的迹，k为经验参数，一般取k＝0.04。取大于某一阈值th的角点响应函数R(u,v)进行局部非极大值抑制，同时选取局部极大值点，即为区域Iab(u,v)内的角点。遍历Iab(u,v)中所有像素点的角点响应函数R(u,v)，设置检测所得的最大角点数为7，即选取角点响应函数值R(u,v)最大的7个角点为标定参照点，从而得到该次更新时刻各参照点的图像像素坐标(ui,vi)(i＝1,2,…7)。
步骤2各标定参照点的三维摄像机坐标计算：根据摄像机成像的针孔模型，利用步骤1中检测所得各参照点图像像素坐标(ui,vi)(i＝1,2,…7)以及“1)摄像机内参及外参的初始静态标定”中标定得到的摄像机内参α、β、γ、u0、v0，计算参照点在该次更新时刻对应的三维摄像机坐标。
首先构建各标定参照点在摄像机坐标系OCXCYCZC与像素坐标系O0uv间的转换关系：
其中内参矩阵的齐次形式为3×4的不可逆矩阵，因此首先得到用表示的各标定参照点摄像机坐标：/>
其次利用7个标定参照点的空间几何特征，添加几何约束条件进行进一步解算。
根据标定参照点7点共面性质，建立约束方程：
根据式(7)对式(8)中进行代换，得到关于/>的四个非线性方程，并分别记为fj(Z′c)＝0(j＝1,2,3,4)，其中/>为7维列向量，上角标T表示向量转置。
根据标定参照物对角线上三点共线性质，建立约束方程：
根据式(7)对式(9)中进行代换，得到关于/>的三个非线性方程，并分别记为fj(Z′c)＝0(j＝5,6,7)，其中/>为7维列向量，上角标T表示向量转置。
将fj(Z′c)＝0(j＝1,2,…,7)组成含有7个未知数和7个方程的非线性方程组：
F(Z′c)＝[f1(Z′c),f2(Z′c),…,f7(Z′c)]T＝0 (10)
利用牛顿迭代法对式(10)进行解算，取最大迭代次数N＝100，并置当前迭代次数k＝0，精度要求ε＝10-8，迭代初始值Z′c (0)取前一次外参更新后的各标定参照点摄像机坐标系Zc轴坐标，即上角标T表示向量转置，首次外参更新时的迭代初始值Z′c (0)则取“2)标定参照点初始三维摄像机坐标计算”中所得到的各标定参照点初始摄像机坐标系Zc轴坐标，即/> 上角标T表示向量转置。每次迭代时解算线性方程组：
J(Z′c (k))Δ(k)＝-F(Z′c (k)) (11)
其中Z′c (k)为第k次迭代时所用的近似解，J(Z′c (k))为F(Z′c (k))关于Z′c (k)的Jacobi矩阵，即Δ(k)表示第k次迭代时的误差，并置Z′c (k+1)＝Z′c (k)+Δ(k)。若|Δ(k)|<ε或k＝N，则停止迭代，Z′c (k+1)即为非线性方程组式(10)的解，否则置k＝k+1并重新解算式(11)。最终得到符合精度要求或迭代次数要求的近似解Z′c。/>
最后将由式(10)迭代解算出的结合式(7)计算得到该次更新时各标定参照点的三维摄像机坐标/>
步骤3描述该次摄像机偏转的旋转矩阵RΔ计算：利用步骤2中计算得到的该时刻各标定参照点摄像机坐标并结合前一次更新时刻各标定参照点的摄像机坐标/>计算两次更新间隔中描述摄像机坐标系偏转的旋转矩阵RΔ，首次更新时则取“2)标定参照点初始三维摄像机坐标计算”中所得到的各参照点初始摄像机坐标值/>对坐标/>进行赋值(即)。具体包含的子步骤为：
子步骤①为描述该次更新时摄像机的偏转程度，将偏转过程分解为摄像机坐标系首先绕Zc轴偏转角Δθ，之后绕Yc轴偏转角最后绕Xc轴偏转角Δψ，并根据该次更新及前一次更新时参照点的摄像机坐标建立坐标转换方程：
矩阵即为描述该次摄像机坐标系偏转程度的旋转矩阵，且由于监控摄像机在工作过程中的偏转为小幅度偏转，偏转角Δθ、/>Δψ取值范围为/>即其正弦取值范围为[-1,1]，余弦取值范围为[0,1]。
子步骤②将方程(12)转化为一个最小二乘问题进行具体解算：首先用向量形式表示各参照点的摄像机坐标，取坐标向量坐标向量/>其中上角标T均表示向量转置，则方程(12)可简单描述为RΔxi＝x′i(i＝1,2,…7)。根据旋转矩阵的正交特性，将该方程转化为一个最小二乘问题进行解算：
其次由矩阵论中矩阵乘积的迹数性质可将式①问题转换为：
其中X是由列向量xi(i＝1,2,…7)组成的3×7坐标矩阵，X′是由列向量x′i(i＝1,2,…7)组成的3×7坐标矩阵。
对矩阵XX′T进行奇异值分解：
XX′T＝U∑VT (15)
其中U、V均为3×3的正交阵，∑为3×3的对角阵。最后根据单位正交阵的性质解算式(14)问题可得矩阵RΔ：
RΔ＝VUT (16)
步骤4监控摄像机旋转矩阵外参更新：根据前一次更新后的监控摄像机旋转矩阵R，以及步骤3中所得到的描述该次摄像机偏转的旋转矩阵RΔ，计算此时摄像机坐标系相对于世界坐标系的旋转矩阵外参更新值R′，其中首次更新时则取“1)摄像机内参及外参的初始静态标定”中所得初始外参旋转矩阵R0对参数R进行赋值(即R＝R0)：
R′＝RΔR (17)
该次计算完成后，将各参照点的摄像机坐标及旋转矩阵R进行参数值更新：取步骤2中计算所得该时刻各参照点的三维摄像机坐标/>对各参照点摄像机坐标值/>进行赋值(即/>)，取式(17)计算所得旋转矩阵外参更新值R′对旋转矩阵外参R进行赋值(即R＝R’)。
最后将当前计时器时间和更新周期2s进行比较，若当前计时不足2s，则继续等待，当系统时钟计时到达2s，则立即将计时器重置并返回“步骤1标定参照点检测”开始进行下一次旋转矩阵外参的更新。
为验证本发明所提出的摄像机外参动态自标定方法的准确性，以双监控摄像机的视频图像拼接应用为例，在车载环境下进行标定准确性实验，实验基本情况说明如下：
实验系统组成：实验系统由软件拼接程序和硬件设备共同组成。双监控视频图像拼接程序是基于摄像机标定的拼接方法，首先对固定安装于载体车辆上的两监控摄像机分别应用张氏标定法进行内参及初始外参的标定，进而计算两摄像机间的透视变换矩阵，之后以左摄像机所拍摄画面为基准，对右摄像机所拍摄画面进行透视变换及融合拼接。在两监控摄像机工作过程中同时按照本发明所提出的摄像机外参动态自标定方法对旋转矩阵外参进行定时标定更新。系统软件程序均在Visual Studio 2013及Code Composer Studio5.3环境下进行开发。实验硬件设备主要包括德州仪器ICETEK-DM6437-A4开发评估板，内含一颗工作在600MHz的TMS320DM6437处理器以及TVP5158视频解码芯片等，同时配置瑞泰创新ICETEK-XDS100V2+仿真器、两个大宇威视PAL制摄像头及顶晶视讯TV显示器等相关配套设备。
实验设置：两PAL制摄像头所采集视频图像大小均为720×576像素。如附图4所示，实验时两摄像机水平固定安装于载体车辆前挡风玻璃顶部，并指向车辆前方进行监控拍摄，调整两摄像机方向使其拍摄画面中含有20％以上的重叠区域，本发明所用标定参照物置于载体车辆前引擎盖中央，且位于两摄像机拍摄的重叠区域内。
实验环境：在普通道路环境下进行基于标定的双摄像机视频图像拼接实验，在实验过程中始终保持两摄像机安装位置固定不变，两者均没有平移量变化，保持左侧摄像机拍摄角度不变，小幅度旋转右侧摄像机拍摄角度并观察视频图像拼接结果，从而检验本发明提出的外参动态自标定方法的准确性。
实验结果：如附图6至附图11所示，其中附图6、7分别为车载左、右两侧摄像机同时提取的某一帧图像，此时右侧摄像机外参旋转矩阵R没有摄像机偏转误差，两摄像机所拍摄图像的拼接结果如附图8所示，拼接结果具有较为良好的准确性和视觉效果。之后保持左侧摄像机位置及拍摄角度不变，右侧摄像机仅经小幅度旋转后提取的帧图像如附图9所示，此时旋转后的右侧摄像机未经过外参动态自标定处理，两摄像机所拍摄图像的拼接结果如附图10所示，接缝处存在明显的错位误差。再按照本发明所提出的外参动态自标定方法对旋转后的右侧摄像机进行处理，此时两摄像机所拍摄图像的拼接结果如附图11所示，拼接结果具有良好的准确性和视觉效果。根据旋转后的右侧摄像机在经外参动态自标定前后所提取视频图像的拼接效果，本发明提出的监控摄像机外参动态自标定方法具有良好的准确性，在右侧摄像机小幅度偏转的情况下仍然能够得到精确拼接的视频图像，可以满足视频图像拼接等相关机器视觉应用对摄像机标定准确性的要求。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。
Claims (2)
1.一种基于特定几何参照物约束的车载摄像机外参动态自标定方法，其特征在于，包括以下步骤：
在载体车辆上设置一正六边形黑白标定参照物，并使其位于摄像机所覆盖范围内；
首先利用张氏标定法对静态载体车辆上摄像机的参数进行标定，获得摄像机内参与初始外参，进而结合参照物中各标定参照点的三维世界坐标计算各标定参照点的初始三维摄像机坐标；
然后在摄像机工作过程中对动态变化的外参进行定时检测更新：每次更新外参时首先提取每次更新时刻下摄像机所拍摄视频的帧图像，利用Harris角点检测算法提取帧图像中各标定参照点的二维图像像素坐标，其次结合各标定参照点的几何特征计算该时刻各标定参照点的三维摄像机坐标，然后结合前一次更新时刻各标定参照点的三维摄像机坐标，计算用于描述摄像机偏转程度的旋转矩阵，最后再结合前一次更新时刻的摄像机外参，计算此时摄像机的旋转矩阵外参，从而完成一次对摄像机动态外参的更新；
获得摄像机内参与初始外参的具体过程如下：
摄像机内参及外参的初始静态标定：
针对静止状态下的载体车辆，应用张氏标定法对静态摄像机进行内参、外参的初始标定；内参包括：摄像机所采集帧图像在像素坐标系O0uv中u轴和v轴方向上的尺寸因子α、β，由于摄像机制造工艺而存在的坐标轴倾斜因子γ，和以毫米为单位的图像物理坐标系原点O1在以像素为单位的像素坐标系O0uv中的坐标(u0，v0)，其中u0为点O1在O0u轴方向上的坐标，v0为点O1在O0v轴方向上的坐标，下标0用于表示该坐标在像素坐标系O0uv中；外参包括：表示摄像机在世界坐标系OWXWYWZW中位姿的旋转矩阵R3×3＝[r1 r2 r3]和平移向量t＝(t1，t2，t3)T，其中r1、r2、r3分别为旋转矩阵R的三个列向量，t1、t2、t3分别为世界坐标系原点OW在摄像机坐标系三个坐标轴方向上的平移分量，上角标T表示转置；
摄像机内参及外参的初始静态标定，具体如下：设置一个5×7黑白棋盘格标定板，通过移动标定板，在不同位置、不同角度、不同姿态下用摄像机拍摄10幅标定板图像，应用Harris角点检测算法对每一幅标定板图像检测提取其24个内角点的二维图像像素坐标，根据张氏标定法的参数解算方法计算摄像机的内参和每幅标定板图像对应的外参，由于摄像机工作时的世界坐标系OWXWYWZW建立在最后一幅标定板图像平面上，因而将由最后一幅标定板图像所解算出的外参作为摄像机的初始外参参数；最后利用Levenberg-Marquardt算法对所有得到的参数值进行最大似然估计，进一步迭代优化参数值的计算结果，最终得到摄像机成像的内参α、β、γ、u0、v0以及分别用矩阵形式表达的初始外参旋转矩阵R0＝[r10r20 r30]、平移向量t＝(t1，t2，t3)T，其中r10、r20、r30分别为旋转矩阵列向量r1、r2、r3的初始值；
摄像机动态外参的更新步骤如下：
步骤1、标定参照点检测：提取该次更新时刻摄像机所拍摄的图像，应用Harris角点检测算法对图像中的7个标定参照点坐标进行检测提取，计算得到此时7个标定参照点的图像像素坐标(ui，vi)，i＝1，2，..7；具体包含的子步骤为：
子步骤①：首先调用系统时钟开始计时，其次根据标定参照物的安装位置，在摄像机拍摄图像I(u，v)中固定选取一矩形角点检测区域；标定参照物位于图像左下角位置，故此时选取I(u，v)中左下角四分之一区域作为角点检测区域，I(u，v)中左下角四分之一区域即是距图像I(u，v)左边缘360像素内，且距下边缘288像素内的区域；并将该区域图像转换为灰度图Iab(u，v)，从而计算角点检测区域Iab(u，v)中各像素点灰度值在u、v两个方向的梯度Iu、Iv：
子步骤②：计算角点检测区域Iab(u，v)内各像素点周围窗口自相关矩阵M：
子步骤③：计算角点检测区域Iab(u，v)内各像素点的角点响应函数R(u，v)：
R(u，v)＝detM-k(traceM)2 (5)
其中，detM为矩阵M的行列式，traceM为矩阵M的迹，k为经验参数，选取角点响应函数R(u，v)大于预设阈值的像素点进行局部非极大值抑制，同时选取局部极大值点，即为区域Iab(u，v)内的角点；遍历Iab(u，v)中所有像素点的角点响应函数R(u，v)，设置检测所得的最大角点数为7，即选取角点响应函数值R(u，v)最大的7个角点为标定参照点，从而得到该次更新时刻各参照点的图像像素坐标(ui，vi)；
步骤2、计算各标定参照点的三维摄像机坐标根据摄像机成像的针孔模型，利用步骤1中检测所得各参照点图像像素坐标(ui，vi)以及摄像机内参及外参的初始静态标定中标定得到的摄像机内参α、β、γ、u0、v0，计算参照点在该次更新时刻对应的三维摄像机坐标；
首先构建标定参照点在摄像机坐标系OCXCYCZC与像素坐标系O0uv间的转换关系：
其中，为前一次更新时各标定参照点在摄像机坐标系OCZC轴上的坐标，i＝1，2，...，7，/>为此次更新时各标定参照点在摄像机坐标系OCZC轴上的坐标，ui为此次更新时第i个标定参照点在像素坐标系中O0u轴方向上的坐标，vi为此次更新时第i个标定参照点在像素坐标系中O0v轴方向上的坐标；由于内参矩阵的齐次形式为3×4的不可逆矩阵，因此首先得到用/>表示的各标定参照点摄像机坐标：
其中，为此次更新时第i个标定参照点在摄像机坐标系中OCXC轴方向上的坐标，/>为此次更新时第i个标定参照点在摄像机坐标系中OCYC轴方向上的坐标，/>为此次更新时第i个标定参照点在摄像机坐标系中OCZC轴方向上的坐标，并用下标i表示七个标定参照点的序号；其次利用7个标定参照点的空间几何特征，添加几何约束条件进行进一步解算；
根据标定参照点7点共面性质，建立约束方程：
根据式(7)对式(8)中进行代换，得到关于/>的四个非线性方程，并分别记为fj(Z′c)＝0，j＝1，2，3，4，其中/>为7维列向量，fj(Z′c)为关于Z′c的函数，如：
i＝4，5，6，7
当i＝4时上式记为f1(Z′c)＝0，i＝5时上式记为f2(Z′c)＝0，i＝6时上式记为f3(Z′c)＝0，i＝7时上式记为f4(Z′c)＝0；
根据标定参照物对角线上三点共线性质，建立约束方程：
根据式(7)对式(9)中进行代换，得到关于/>的三个非线性方程，并分别记为fj(Z′c)＝0，j＝5，6，7，其中/>为7维列向量；
将fj(Z′c)＝0，j＝1，2，…，7组成含有7个未知数和7个方程的非线性方程组：
F(Z′c)＝[f1(Z′c)，f2(Z′c)，...，f7(Z′c)]T＝0 (10)
其中F(Z′c)为由fj(Z′c)＝0组成的函数矩阵，j＝1，2，...，7；利用牛顿迭代法对式(10)进行解算，设置最大迭代次数N，并置当前迭代次数k＝0，精度要求ε＝10-8，迭代初始值Z′c (0)取前一次外参更新后的各标定参照点摄像机坐标系Zc轴坐标，即首次外参更新时的迭代初始值Z′c (0)则取标定参照点初始三维摄像机坐标计算中所得到的各标定参照点初始摄像机坐标系Zc轴坐标，即/>其中/>为各标定参照点在三维摄像机坐标系ZC轴上的初始坐标；每次迭代时解算线性方程组：
J(Z′c (k))Δ(k)＝-F(Z′c (k)) (11)
其中Z′c (k)为第k次迭代时所用的近似解，F(Z′c (k))为由关于Z′c (k)的函数fj(Z′c (k))组成的函数矩阵，j＝1，2，...，7，J(Z′c (k))为F(Z′c (k))关于Z′c (k)的Jacobi矩阵，即Δ(k)表示第k次迭代时的误差，并置Z′c (k+1)＝Z′c (k)+Δ(k)；若|Δ(k)|＜ε或k＝N，则停止迭代，Z′c (k+1)即为非线性方程组式(10)的解，否则置k＝k+1并重新解算式(11)；最终得到符合预设精度要求或迭代次数要求的解Z′c；
最后将由式(10)迭代解算出的结合式(7)计算得到该次更新时各标定参照点的三维摄像机坐标/>
步骤3、计算描述该次摄像机偏转的旋转矩阵RΔ：利用步骤2中计算得到的该时刻各标定参照点摄像机坐标并结合前一次更新时刻各标定参照点的摄像机坐标计算两次更新间隔中描述摄像机坐标系偏转的旋转矩阵RΔ，首次更新时则取标定参照点初始三维摄像机坐标计算中所得到的各参照点初始摄像机坐标值/>对坐标/>进行赋值，即/> 具体包含的子步骤为：
子步骤A：将偏转过程分解为摄像机坐标系首先绕Zc轴偏转角Δθ，之后绕Yc轴偏转角最后绕Xc轴偏转角Δψ，并根据该次更新及前一次更新时参照点的摄像机坐标建立坐标转换方程：
矩阵即为描述该次摄像机坐标系偏转程度的旋转矩阵，偏转角Δθ、/>Δψ取值范围为/>即其正弦取值范围为[-1，1]，余弦取值范围为[0，1]；
子步骤B：将方程(12)转化为一个最小二乘问题进行具体解算：首先用向量形式表示各参照点的摄像机坐标，取坐标向量坐标向量/>则方程(12)描述为RΔxi＝x′i，i＝1，2，...7；根据旋转矩阵的正交特性，将该方程转化为一个最小二乘问题进行解算：
其中I3为3阶单位矩阵；
其次由矩阵论中矩阵乘积的迹数性质将式①问题转换为：
其中X是由列向量xi组成的3×7坐标矩阵，i＝1，2，...7，X′是由列向量x′i组成的3×7坐标矩阵；
对矩阵XX′T进行奇异值分解：
XX′T＝U∑VT (15)
其中U、V均为3×3的正交阵，∑为3×3的对角阵；最后根据单位正交阵的性质解算式(11)问题得矩阵RΔ：
RΔ＝VUT (16)
步骤4、摄像机旋转矩阵外参更新：根据前一次更新后的摄像机旋转矩阵R，以及步骤3中所得到的描述该次摄像机偏转的旋转矩阵RΔ，计算此时摄像机坐标系相对于世界坐标系的旋转矩阵外参更新值R′，其中首次更新时则取摄像机内参及外参的初始静态标定中所得初始外参旋转矩阵R0对R进行赋值，即R＝R0：
R′＝RΔR (17)
该次计算完成后，将各参照点的摄像机坐标及旋转矩阵R进行参数值更新，i＝1，2，...7：取步骤2中计算所得该时刻各参照点的三维摄像机坐标/>对各参照点的摄像机坐标/>进行赋值，即/> 取式(17)计算所得旋转矩阵外参更新值R′对旋转矩阵外参R进行赋值，即R＝R’；
最后将当前计时器时间和更新周期进行比较，若当前计时不足更新周期，则继续等待，当系统时钟计时到达更新周期，则立即将计时器重置并返回步骤1中标定参照点检测，开始进行下一次旋转矩阵外参的更新。
2.根据权利要求1所述的一种基于特定几何参照物约束的车载摄像机外参动态自标定方法，其特征在于，标定参照点的初始三维摄像机坐标的计算如下：
在载体车辆上固定安装一个正六边形黑白几何标定参照物，并使其处于摄像机所覆盖范围内；以毫米为单位的三维世界坐标系OWXWYWZW建立于摄像机内参及外参的初始静态标定中所用最后一幅标定板图像平面上，即从摄像机拍摄角度，以最后一幅标定板图像位置的左上顶点为原点OW，以标定板图像平面为OWXWYW平面，OWXW轴沿标定板边缘水平指向载体车辆正向行驶的右侧，OWYW轴沿标定板边缘与载体车辆纵轴平行指向载体车辆内侧，并以右手螺旋定则确定OWZW轴方向；将初始静态标定中所用最后一幅标定板图像平面放置于正六边形黑白几何标定参照物位置，从而使各标定参照点均位于世界坐标系OWXWYW平面上；
测得参照物上7个标定参照点的三维世界坐标，第i个标定参照点的三维世界坐标表示为其中/>为第i个标定参照点在OWXW轴方向上的坐标，/>为第i个标定参照点在OWYW轴方向上的坐标，/>为第i个标定参照点在OWZW轴方向上的坐标；其次利用摄像机内参及外参的初始静态标定所得到的初始外参旋转矩阵R0＝[r10 r20 r30]以及平移向量t＝(t1，t2，t3)T，建立世界坐标系OWXWYWZW与摄像机坐标系OCXCYCZC间的转换关系，从而计算7个标定参照点的初始三维摄像机坐标/>
其中为第i个标定参照点在摄像机坐标系中的OCXC轴方向上的初始坐标，/>为第i个标定参照点在OCYC轴方向上的初始坐标，/>为第i个标定参照点在OCZC轴方向上的初始坐标，上标0均表示该坐标为载体车辆开始工作前静止状态时的初始坐标，下标Ci则表示该坐标为第i个标定参照点在三维摄像机坐标系中的坐标，O1×3为1×3阶的零矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910073564.0A CN109903341B (zh) | 2019-01-25 | 2019-01-25 | 一种车载摄像机外参动态自标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910073564.0A CN109903341B (zh) | 2019-01-25 | 2019-01-25 | 一种车载摄像机外参动态自标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109903341A CN109903341A (zh) | 2019-06-18 |
| CN109903341B true CN109903341B (zh) | 2023-09-08 |
Family
ID=66944139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910073564.0A Active CN109903341B (zh) | 2019-01-25 | 2019-01-25 | 一种车载摄像机外参动态自标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109903341B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112652017B (zh) * | 2019-10-11 | 2024-03-29 | 中国科学院沈阳自动化研究所 | 基于相机和动态捕捉设备的外参标定方法 |
| CN110823252B (zh) * | 2019-11-06 | 2022-11-18 | 大连理工大学 | 一种多线激光雷达和单目视觉的自动标定方法 |
| CN111223038B (zh) * | 2019-12-02 | 2023-06-09 | 上海赫千电子科技有限公司 | 一种车载环视图像的自动拼接方法及显示装置 |
| CN111427028B (zh) * | 2020-03-20 | 2022-03-25 | 新石器慧通（北京）科技有限公司 | 参数监测方法、装置、设备和存储介质 |
| CN113516718A (zh) * | 2020-04-10 | 2021-10-19 | 富华科精密工业（深圳）有限公司 | 批量摄像装置外参标定方法及电子设备 |
| CN113570668A (zh) * | 2020-04-28 | 2021-10-29 | 富华科精密工业（深圳）有限公司 | 基于三线标定的摄像头外参标定方法及计算机装置 |
| CN111681285B (zh) * | 2020-06-09 | 2024-04-16 | 商汤集团有限公司 | 一种标定方法、装置、电子设备及存储介质 |
| CN111667540B (zh) * | 2020-06-09 | 2023-04-18 | 中国电子科技集团公司第五十四研究所 | 一种基于行人头部识别的多摄像机系统标定方法 |
| CN111803070A (zh) * | 2020-06-19 | 2020-10-23 | 浙江大华技术股份有限公司 | 身高测量方法及电子设备 |
| CN111986265B (zh) * | 2020-08-04 | 2021-10-12 | 禾多科技（北京）有限公司 | 用于标定相机方法、装置、电子设备和介质 |
| CN112184662B (zh) * | 2020-09-27 | 2023-12-15 | 成都数之联科技股份有限公司 | 应用于无人机图像拼接中的相机外参数初始方法及系统 |
| CN112308926B (zh) * | 2020-10-16 | 2023-03-31 | 易思维（杭州）科技有限公司 | 一种无公共视场的相机外参标定方法 |
| CN112435220B (zh) * | 2020-11-09 | 2023-06-20 | 西安交通大学 | 一种用于零件检测的自定位多孔特征移动窗口拼接方法 |
| CN112537301B (zh) * | 2020-11-30 | 2022-08-19 | 南通路远科技信息有限公司 | 智能驾驶交通载具的行车参照物选择方法、装置 |
| CN113093740A (zh) * | 2021-03-29 | 2021-07-09 | 杭州海康威视数字技术股份有限公司 | 一种参数标定方法、系统、装置及设备 |
| CN113428273B (zh) * | 2021-08-25 | 2021-12-28 | 纳恩博（常州）科技有限公司 | 车辆姿态感应控制方法和系统、车辆和电子设备 |
| CN114202588B (zh) * | 2021-12-09 | 2022-09-23 | 纵目科技（上海）股份有限公司 | 一种车载环视相机快速自动标定方法和装置 |
| CN114463439B (zh) * | 2022-01-18 | 2023-04-11 | 襄阳达安汽车检测中心有限公司 | 一种基于图像标定技术的车载相机修正方法及装置 |
| CN116704047B (zh) * | 2023-08-01 | 2023-10-27 | 安徽云森物联网科技有限公司 | 一种基于行人ReID的监控摄像设备位置的标定方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105389808A (zh) * | 2015-10-27 | 2016-03-09 | 郑州大学 | 一种基于二消失点的相机自标定方法 |
| US20160176343A1 (en) * | 2013-08-30 | 2016-06-23 | Clarion Co., Ltd. | Camera Calibration Device, Camera Calibration System, and Camera Calibration Method |
| CN108898638A (zh) * | 2018-06-27 | 2018-11-27 | 江苏大学 | 一种车载摄像头在线自动标定方法 |
-
2019
- 2019-01-25 CN CN201910073564.0A patent/CN109903341B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160176343A1 (en) * | 2013-08-30 | 2016-06-23 | Clarion Co., Ltd. | Camera Calibration Device, Camera Calibration System, and Camera Calibration Method |
| CN105389808A (zh) * | 2015-10-27 | 2016-03-09 | 郑州大学 | 一种基于二消失点的相机自标定方法 |
| CN108898638A (zh) * | 2018-06-27 | 2018-11-27 | 江苏大学 | 一种车载摄像头在线自动标定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109903341A (zh) | 2019-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903341B (zh) | 一种车载摄像机外参动态自标定方法 | |
| JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| CN107507235B (zh) | 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 | |
| WO2017135081A1 (ja) | 車載カメラ用校正システム | |
| CN112529966B (zh) | 一种车载环视系统的在线标定方法及其车载环视系统 | |
| CN113012237A (zh) | 一种毫米波雷达与视频监控摄像头联合标定方法 | |
| US11575873B2 (en) | Multispectral stereo camera self-calibration algorithm based on track feature registration | |
| CN110827361B (zh) | 基于全局标定架的相机组标定方法及装置 | |
| CN113223075A (zh) | 一种基于双目摄像头式的船舶高度测量系统及方法 | |
| CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
| CN111652937B (zh) | 车载相机标定方法和装置 | |
| CA3206206A1 (en) | Device and method for correspondence analysis in images | |
| CN116128919A (zh) | 基于极线约束的多时相图像异动目标检测方法及系统 | |
| CN115880369A (zh) | 线结构光3d相机和线阵相机联合标定的装置、系统及方法 | |
| CN115082555A (zh) | 一种rgbd单目相机的高精度位移实时测量系统及方法 | |
| CN114820810A (zh) | 一种基于Tsai氏相机平面标定算法的解析方法 | |
| JP6890293B2 (ja) | カメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラム | |
| Iida et al. | High-accuracy Range Image Generation by Fusing Binocular and Motion Stereo Using Fisheye Stereo Camera | |
| Knorr | Self-Calibration of Multi-Camera Systems for Vehicle Surround Sensing | |
| CN117523010B (zh) | 车辆的相机位姿确定方法、装置、计算机设备和存储介质 | |
| Wang et al. | A monocular ranging algorithm for detecting illegal vehicle jumping | |
| CN117036489B (zh) | 基于人工标识和四目全景相机的机器人定位方法及设备 | |
| CN113361544B (zh) | 图像采集设备及其外参修正方法、装置及存储介质 | |
| CN117152263A (zh) | 一种面向自动驾驶的异形车辆视觉统一方法及装置 | |
| JP3807338B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |