CN110807815B - 基于两组相互正交平行线对应消失点的快速水下标定方法 - Google Patents
基于两组相互正交平行线对应消失点的快速水下标定方法 Download PDFInfo
- Publication number
- CN110807815B CN110807815B CN201911044533.9A CN201911044533A CN110807815B CN 110807815 B CN110807815 B CN 110807815B CN 201911044533 A CN201911044533 A CN 201911044533A CN 110807815 B CN110807815 B CN 110807815B
- Authority
- CN
- China
- Prior art keywords
- distortion
- point
- image
- focal length
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 29
- 238000012937 correction Methods 0.000 claims abstract description 16
- 238000013519 translation Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000011160 research Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 3
- 239000003570 air Substances 0.000 description 29
- 239000013598 vector Substances 0.000 description 9
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
基于两组相互正交平行线对应消失点的快速水下标定方法，属于立体视觉处理的技术领域。本发明处理对象为空气中的实际焦距和水中的等效焦距，基于消失点的快速水下标定方法采用了如下技术方案：先拍摄得到标定图像,记为img‑distort。对图像进行径向畸变校正，得到图像记为img‑correct；再利用基于两组相互正交平行线对应消失点性质标定焦距，得到空气中的焦距fa和水中的等效焦距fw；然后根据公式算出等效空气介质中的图像；最后进行相机的标定位姿，得到旋转矩阵R和平移矩阵T。本发明利用两组相互正交方向的直线对应消失点性质构建与摄像机内参数相关联的方程，通过求解这些方程实现摄像机的自标定。整个求解过程完全线性化，简便且直观。
Description
技术领域
本发明涉及一种水下目标的标定方法，具体为基于两组相互正交平行线对应消失点的快速水下标定方法，属于立体视觉处理的技术领域。
背景技术
随着全球人口数量的不断增长和全球经济的发展，陆地的资源已经逐渐在枯竭，占地球面积71％的海洋具有人类所需要的丰富资源，海洋开发已成为世界各国最重要的战略之一。其中各种水下探测技术和设备的发展是海洋探测的关键。在众多的探测传感处理技术中，水下图像处理技术由于其能够最真实、最全面的还原水下环境状况且数据量丰富，从而在各项海洋探索研究中逐渐发挥越来越大的作用，成为最有发展前景的水下探测技术。
标定是视觉技术中最关键、最不可避免的过程之一，它的性能可以显著影响视觉系统的测量精度。传统的校准方法使用一个标定板为参考对象，先通过空间点的对应关系建立了一个方程组；然后对标定板进行了数学优化用于求解方程；最后得到相机的内部和外部参数。主要校准方法有三个：直接线性变换方法(Direct Linear Transformation)(Abdel-Aziz,Y.,et al.“Direct linear transformation into object spacecoordinates in close-range photogrammetry”,Proceedings of Symposium on Close-Range Photogrammetry,Falls Church,VA,USA,1971:pp.1-18.)、基于径向约束的两步方法(Tsai,R.Y.“An efficient and accurate camera calibration technique for 3Dmachine vision”,Proc CV PR’86,Miami Beach,Miami,USA,22-26June 1986:pp.364-374.)、张正友的校准方法(迟德霞，等人.“张正友法的摄像机标定试验”，中国农机化学报,2015，36(2),pp.287-289)。以上方法均适用于以空气作为介质的场景中。
相比较于空气介质，在水介质传播过程中光与水的相互作用明显，水对光的吸收和散射作用往往导致水下拍摄图片质量较低。同时水下作业时，相机需要被封闭安装在带有玻璃窗的防水罩中，那么经物体反射的光线入射到相机感光芯片的过程需经过水、玻璃和空气三种不同介质，从而产生折射现象。在以上多因素干扰下，以空气作为介质的相机模型已不适合表征水下成像过程，国内外研究机构对此的修正方法进行了有益探索。如2012年德国Kiel大学Anne Jordt-Sedlazeck等人在“Refractive calibration of underwatercameras(Computer Vision–ECCV 2012:pp.846-859.)”一文中采用综合分析法处理水中的图像，使几何参数的角点检测误差不受影响。与传统的基于局部导数的透视标定方法相比，该方法由于在优化步骤中采用了CMA-ES算法(Covariance Matrix AdaptationEvolutionary Strategies)，不容易陷入误差函数的局部极小值，但耗时较长。2013年加拿大Alberta大学Timothy Yau等人在“Underwater camera calibration using wavelengthtriangulation(Proceedings of the 26th IEEE Conference on Computer Vision andPattern Recognition(CVPR2013)，Portland,Oregon,USA,Jun23,2013-Jun 28,2013)”提出一种在折射过程中考虑了光的色散，并对模型参数施加不同波长光线满足三角关系的新约束的标定方法。与现有方法相比，该方法是建立在平折射相机模型对应于轴向相机的校准框架上的，虽然提高了测量精度，但没有进一步考虑算法的优化方法。2019年南京理工大学陈旭阳等人在“基于光线折射模型的水下图像转换算法研究(西北工业大学学报，2019，37(3):pp.471-478)”一文中针对现有图像转换算法因忽略光线二次折射所造成的转换误差，提出一种基于光线折射模型的水下图像转换转算法，大大降低了图像转换误差，其局限性在于必须将折射交界面设置在相机的外焦点处。另外以上标定技术一般会引入几个高阶畸变系数，但这些系数由于其复杂性会导致系统稳定性差、运行效率低、计算量大。
消失点是射影几何中一个非常重要的特征。就目前的研究现状来看，传统的基于消失点的自标定算法一般都要找到三个相互正交方向的消失点，从而要求场景中要存在三组相互正交的平行线(段成钢,等人.“一种基于三消隐点的摄像机自标定算法”,计测技术，2007，27(4):pp.20-21)。这种约束条件在实际中有时候不能被满足,导致其实用性不强。本发明利用两组相互正交方向的直线对应消失点性质构建与摄像机内参数相关联的方程，通过求解这些方程实现摄像机的自标定。整个求解过程完全线性化，简便且直观。
发明内容
为了克服现有技术和方法的不足，本发明提出一种基于两组相互正交平行线对应消失点的快速水下标定方法，该方法能够有效提高水下目标的标定速度。
本发明的目的是通过以下技术方案实现的，基于两组相互正交平行线对应消失点的快速水下标定方法，其数据处理对象为空气中的实际焦距和水中的等效焦距，包括以下步骤：
步骤1：径向畸变的校正；
1.1拍摄获取标定板图像img-distort；
1.2提取图像中的畸变坐标；
1.3计算畸变系数k；
1.4利用一阶径向畸变针孔模型矫正畸变，得到无畸变图像img-correct。
步骤2：基于两组相互正交平行线对应消失点性质的焦距标定；
2.1Hough变换提取直线；
2.2计算消失点w1、w2；
2.3用消失点正交的性质标定焦距，在空气中焦距得到fa，在水中等效焦距得到fw。
步骤3：空气介质中等效图像的计算；
步骤4：位姿的标定。
4.1旋转矩阵R的求解；
4.2平移矩阵T的求解。
所述步骤1)径向畸变的校正，为：
考虑镜头非线性畸变的摄像机标定需要使用非线性优化算法，而过多的引入非线性参数往往井不能提高精度，反而引起求解的不稳定；经研究发现，镜头畸变主要由径向畸变引起，一阶径向畸变足以描述失真情况，过多的引入参数反而会引起解的不稳定性；故选取一阶径向畸变针孔模型，仅考虑镜头的一阶径向畸变；描述线性畸变模型如下：
式中：k是一阶径向畸变系数，由于镜头畸变的影响，实际成像点为Pd(ud,vd)，而无畸变的理想成像点图像坐标应为Pu(uu,vu)，畸变中心(u0,v0)；
由于理想条件下任意直线成像后应也为直线，线性三维空间投影图像仍然是一条直线，所以利用这一特性，可解决图像畸变失真问题，具体方法如下：
设理想直线为L，并定义为y＝J·x+m，畸变曲线L'是在实数构成的畸变曲线成像点上；实际成像点坐标Pd(ud,vd)可以由畸变直线L'得到，校正后图像点坐标是Pu(uu,vu)；采用最小二乘法将n个点拟合到直线上，可得到理想的线性参数；
设实际成像点坐标Pdi(udi,vdi)，校正后图像点坐标为Pui(uui,vui)，由于图像点坐标与实际成像点横坐标值相等，即uui＝udi，所以Pui(uui,vui)可以写成Pui(udi,vui)，i从1到n,n为理想直线L上取样点数量；其中，udi表示理想直线L上第i个点的横坐标，也表示畸变曲线L'上第i个点的横坐标，J·udi+m表示理想直线L上第i个点的纵坐标，vdi表示畸变曲线L'上第i个点的纵坐标，即可对如下最小化问题进行求解:
根据最小二乘法对公式(2)求偏导，可得：
m和J可由公式(5)、(6)分别求得：
根据上述方法，能够得到理想的直线方程；失真度的数值大小表示失真的程度，失真度表示失真线与校正线之间的偏差；失真度的数值越小，失真线越靠近对齐线，实际像点离理想点越近，失真参数越接近实际；一般来说，失真度的测量是用距离的平方来定义的从直线到理想直线，其表达式如下：
对于公式(7)采用L-M(Levenberg-Marquardt)方法进行求解；通过对公式(1)和(7)联立成方程组，即求解三个未知数：畸变系数k和畸变中心(u0,v0)的数值。
优选的，所述步骤2中的基于两组相互正交平行线对应消失点性质的焦距标定，基于如下性质：如果邻空间两组平行线相互正交，则摄像机光心与这两组平行线的消失点的连线也相互正交：
如下三个坐标系，世界坐标系(XwYwZw)、图像坐标系(UOoV)、摄像机坐标系(OcXcYcZc)。
在世界坐标系XwYwZw中，正方形ABCD由为标定模板在空间中的4个世界坐标点A、B、C、D所构成，设正方形ABCD边长为l，则点A、B、C、D的坐标分别为：
A(0,l,0),B(l,l,0),C(l,0,0),D(0,0,0)，单位是毫米。
在图像坐标系UOoV中，a、b、c、d分别为点A、B、C、D在成像平面的图像坐标点，设a、b、c、d的图像坐标分别为：a(ua,va),b(ub,vb),c(uc,vc),d(ud,vd)，单位为像素。
正方形ABCD存在两个消失点，令两个消失点的图像坐标点分别为w1、w2，其在图像坐标系UOoV中的图像坐标表示为：w1(uw1,vw1)，w2(uw2,vw2)，单位是像素；消失点在摄像机坐标系OcXcYcZc下的空间坐标表示为W1(uW1,vW1,wW1)，W2(uW2,vW2,wW1)，单位是毫米。
采用摄像机针孔模型，设(u,v)为像素坐标，(x,y)为成像平面物理坐标，(XC,YC,ZC)为摄像机坐标系下的坐标，(XW,YW,ZW)为世界坐标系下的坐标。ξx和ξy分别表示单个像素在成像平面上x轴和y轴方向的物理尺寸，单位是毫米。
由成像关系可知，图像坐标系UOoV与世界坐标系XwYwZw的转换公式为：
其中，s是比例系数；
为内参矩阵，(u0,v0)为畸变中心的坐标,单位是像素；
其中，f为焦距,fx为图像水平轴的尺度因子，fy为图像垂直轴的尺度因子，单位是毫米；R＝[r1r2r3]为旋转矩阵，
为平移矩阵，R、T为外参矩阵。
本公式已知量包括：a、b、c、d的图像坐标(u,v)，分别为：a(ua,va),b(ub,vb),c(uc,vc),d(ud,vd)；A、B、C、D世界坐标系下的坐标(XW,YW,ZW)，分别为：A(0,l,0),B(l,l,0),C(l,0,0),D(0,0,0)；单个像素在成像平面上x轴和y轴方向的物理尺寸ξx和ξy；
欲求的未知量包括：畸变中心的坐标(u0,v0)、焦距f、图像水平轴的尺度因子fx、图像垂直轴的尺度因子fy、旋转矩阵R＝[r1r2r3]和平移矩阵
首先利用hough变换提取拍摄得到的图像中的直线ab、bc、cd、da；
然后分别计算ad和bc的交点为消失点w1的图像坐标w1(uw1,vw1)，ab和cd的交点为消失点w2图像坐标w2(uw2,vw2)；通过摄像机的外部参数矩阵，根据相机模型计算可得消失点在摄像机坐标系OcXcYcZc下的空间坐标W1、W2分别为[(uw1-u0)ξx,(vw1-v0)ξy,f]，[(uw2-u0)ξx,(vw2-v0)ξy,f]。
优选的，所述步骤2.3)用消失点正交的性质标定焦距：
根据消失点性质有
即
(uw1-u0)(uw2-u0)ξy 2+(vw1-v0)(vw2-v0)ξx 2+f2＝0 (9)
由此可求解出焦距f。
如果在空气中进行拍摄标定，依照公式(9)，焦距f则替换成fa，可以求出空气中焦距fa；如果在水中进行拍摄标定，依照公式(9)，焦距f则替换成fw，可以求出水中焦距fw。
优选的，所述步骤3)空气介质中等效图像的计算：
在空气中和水中分别标定得到实际的焦距OF1和水中的等效焦距OF2，由已知的水中图像点V坐标，根据△OF1U∽△OF2V'可以求出点空气中成像于图像平面的U的坐标：
式中fa是点S在空气介质中的焦距，fw为水中折射后的等效焦距，点U的坐标就是点S在空气介质中的图像坐标，点V的坐标是点S在水中折射的图像坐标；
最后根据点U的图像坐标和焦距fa可以求出S的实际位置。
本发明处理对象为空气中的实际焦距和水中的等效焦距，基于消失点的快速水下标定方法采用了如下技术方案：先拍摄得到标定图像,记为img-distort。对图像进行径向畸变校正，得到图像记为img-correct；再利用基于两组相互正交平行线对应消失点性质标定焦距，得到空气中的焦距fa和水中的等效焦距fw；然后根据公式算出等效空气介质中的图像；最后进行相机的标定位姿，得到旋转矩阵R和平移矩阵T。本发明利用两组相互正交方向的直线对应消失点性质构建与摄像机内参数相关联的方程，通过求解这些方程实现摄像机的自标定。整个求解过程完全线性化，简便且直观。
与现有技术相比，本发明有益效果是：基于两组相互正交平行线对应消失点的快速水下标定方法，不需要依赖于多种参数的计算，也不需要过分依赖多角度图像的拍摄操作，具有复杂度低和适用性强的优点。
附图说明
图1基于两组相互正交平行线对应消失点的快速水下标定方法流程图；
图2消失点的性质示意图；
图3标定板及径向畸变拍摄图；
图4水下折射模型示意图；
图5畸变曲线拟合为直线示意图。
具体实施方式
下面结合附图1和基于两组相互正交平行线对应消失点的快速水下标定方法对本发明的具体实施作进一步描述。
如图1所示，本发明基于两组相互正交平行线对应消失点的快速水下标定方法，包括以下步骤：
步骤1：径向畸变的校正。
因为在水下成像相对空气中会有更大的畸变，必须进行畸变校正。将畸变的图像进行校正后得到理想的图像，再利用理想的图像进行标定。径向畸变的校正的具体步骤如下：
1.1拍摄获取标定板图像img-distort
如图3(1)为标定板ABCD，图3(2)为拍摄标定板ABCD得到的畸变图像，记为img-distort。其中，由于镜头畸变的影响，实际成像点为Pd(ud,vd)，而无畸变的理想成像点图像坐标应为Pu(uu,vu)。
1.2提取图像中的畸变坐标
拍摄图像后，通过测量可获得4个点的畸变坐标值。
1.3计算畸变系数k
考虑镜头非线性畸变的摄像机标定需要使用非线性优化算法，而过多的引入非线性参数往往井不能提高精度，反而引起求解的不稳定。经研究发现，镜头畸变主要由径向畸变引起，一阶径向畸变足以描述失真情况，过多的引入参数反而会引起解的不稳定性。故选取一阶径向畸变针孔模型，仅考虑镜头的一阶径向畸变。描述线性畸变模型如下：
式中：k是一阶径向畸变系数，由于镜头畸变的影响，实际成像点为Pd(ud,vd)，而无畸变的理想成像点图像坐标应为Pu(uu,vu)，畸变中心(u0,v0)。
由于理想条件下任意直线成像后应也为直线。线性三维空间投影图像仍然是一条直线，所以利用这一特性，我们可解决图像畸变失真问题。具体方法如下：
设理想直线为L，并定义为y＝J·x+m，畸变曲线L'是在实数构成的畸变曲线成像点上。实际成像点坐标Pd(ud,vd)可以由畸变直线L'得到，校正后图像点坐标是Pu(uu,vu)；采用最小二乘法将n个点拟合到直线上，可得到理想的线性参数。为描述方便，如图5所示，设实际成像点坐标Pdi(udi,vdi)，校正后图像点坐标为Pui(uui,vui)，由于图像点坐标与实际成像点横坐标值相等，即uui＝udi，所以Pui(uui,vui)可以写成Pui(udi,vui)，i从1到n,n为理想直线L上取样点数量。其中，udi表示理想直线L上第i个点的横坐标，也表示畸变曲线L'上第i个点的横坐标，J·udi+m表示理想直线L上第i个点的纵坐标，vdi表示畸变曲线L'上第i个点的纵坐标，即可对如下最小化问题进行求解:
根据最小二乘法对公式(4)求偏导，可得：
m和J可由公式(7)、(8)分别求得：
根据上述方法，能够得到理想的直线方程。失真度的数值大小表示失真的程度，失真度表示失真线与校正线之间的偏差。失真度的数值越小，失真线越靠近对齐线，实际像点离理想点越近，失真参数越接近实际。一般来说，失真度的测量是用距离的平方来定义的从直线到理想直线，其表达式如下：
对于公式(9)采用L-M(Levenberg-Marquardt)方法进行求解。通过对公式(3)和(9)联立成方程组，即求解三个未知数：畸变系数k和畸变中心(u0,v0)的数值。
1.4利用一阶径向畸变针孔模型矫正畸变，得到无畸变图像img-correct。步骤2.基于两组相互正交平行线对应消失点性质的焦距标定
2.1Hough变换提取直线
首先利用hough变换提取拍摄得到的图像中的直线ab、bc、cd、da；
2.2计算消失点w1、w2
消失点的性质：连接摄像机光心与空间平行线在投影平面形成的消隐点的连线，必平行于空间平行线。若有两组平行直线，它们相互正交，则摄像机光心与这两组平行线的消失点的连线也相互正交，如图2所示。
如图2(1)所示为三个坐标系，从右向左分别为世界坐标系(OcXwYwZw)、图像坐标系(UOoV)、摄像机坐标系(XcYcZc)。
在世界坐标系XwYwZw中，正方形ABCD由为标定模板在空间中的4个世界坐标点A、B、C、D所构成，设正方形ABCD边长为l，则点A、B、C、D的坐标分别为：A(0,l,0),B(l,l,0),C(l,0,0),D(0,0,0)，单位是毫米。
在图像坐标系UOoV中，a、b、c、d分别为点A、B、C、D在成像平面的图像坐标点，设a、b、c、d的图像坐标分别为：a(ua,va),b(ub,vb),c(uc,vc),d(ud,vd)，单位为像素。
如图2(2)所示，正方形ABCD存在两个消失点，令两个消失点的图像坐标点分别为w1、w2，其在图像坐标系UOoV中的图像坐标表示为：w1(uw1,vw1)，w2(uw2,vw2)，单位为像素；消失点在摄像机坐标系OcXcYcZc下的空间坐标表示为W1(uW1,vW1，zW1)，W2(uW2,vW2,zW2)，单位是毫米，如图2(1)所示。
采用摄像机针孔模型，设(u,v)为像素坐标，(x,y)为成像平面物理坐标，(XC,YC,ZC)为摄像机坐标系下的坐标，(XW,YW,ZW)为世界坐标系下的坐标。ξx和ξy分别表示单个像素在成像平面上x轴和y轴方向的物理尺寸，单位是毫米。
由成像关系可知，图像坐标系UOoV与世界坐标系XwYwZw的转换公式为：
其中，s是比例系数；
为内参矩阵，(u0,v0)为畸变中心的坐标,单位是像素；
其中，f为焦距,fx为图像水平轴的尺度因子，fy为图像垂直轴的尺度因子，单位是毫米；
R＝[r1 r2 r3]为旋转矩阵，
为平移矩阵，R、T为外参矩阵。
本公式已知量包括：a、b、c、d的图像坐标(u,v)，分别为：a(ua,va),b(ub,vb),c(uc,vc),d(ud,vd)；A、B、C、D世界坐标系下的坐标(XW,YW,ZW)，分别为：A(0,l,0),B(l,l,0),C(l,0,0),D(0,0,0)；单个像素在成像平面上x轴和y轴方向的物理尺寸ξx和ξy；畸变中心的坐标(u0,v0)(步骤1.3已求得)；欲求的未知量为焦距f、图像水平轴的尺度因子fx、图像垂直轴的尺度因子fy、旋转矩阵R＝[r1 r2 r3]和平移矩阵
首先利用hough变换提取拍摄得到的图像中的直线ab、bc、cd、da；
然后分别计算ad和bc的交点为消失点w1的图像坐标w1(uw1,vw1)，ab和cd的交点为消失点w2图像坐标w2(uw2,vw2)；通过摄像机的外部参数矩阵，根据相机模型计算可得消失点在摄像机坐标系OcXcYcZc下的空间坐标W1、W2分别为[(uw1-u0)ξx,(vw1-v0)ξy,f]，[(uw2-u0)ξx,(vw2-v0)ξy,f]。
2.3用消失点正交的性质标定焦距
根据消失点性质有
(如图2(1)两条粗直线)，即
(uw1-u0)(uw2-u0)ξy 2+(vw1-v0)(vw2-v0)ξx 2+f2＝0 (9)
由此可求解出焦距f。
如果在空气中进行拍摄标定，依照公式(11)，焦距f则替换成fa，可以求出空气中焦距fa；如果在水中进行拍摄标定，依照公式(11)，焦距f则替换成fa，可以求出水中焦距fw。
步骤3.空气介质中等效图像的计算
有一点S，在空气中成像于图像平面U点，其焦距为OF1＝fa，当其位于水中时，由于光线的折射，其实际成像于V点，因此其在成像平面中显示的更大，在摄像机看到的像位于S'的位置，看起来更近了，如果在空气中也要是它的像看起来一样大，那么摄像机的焦距就要变的更大，因此作VV'⊥UV并与光线OS相交于VV'，OF2＝fw就是折射后的等效焦距。
由此可以作如下的计算，在空气中和水中分别标定得到实际的焦距OF1和水中的等效焦距OF2，由已知的水中图像点V坐标，根据△OF1U∽△OF2V'可以求出点空气中成像于图像平面的U的坐标：
式中fa是点S在空气介质中的焦距，fw为水中折射后的等效焦距，点U的坐标就是点S在空气介质中的图像坐标，点V的坐标是点S在水中折射的图像坐标。
最后根据点U的图像坐标和焦距fa可以求出S的实际位置。
如图4所示，根据求得的空气焦距fa和水中焦距fw，水中的畸变校正图像img-water-correct，按照公式(12)计算出空气中的等效图像，记为img-water2air。
步骤4：位姿的标定
4.1旋转矩阵R的求解
在摄像机坐标系下，设标定平面的方程为
EX+FY+GZ+H＝0 (11)
式中：E、F、G、H是表示该平面的参数，(E,F,G)为该平面的法向量，X,Y,Z表示该平面上点的三维坐标。
如图2所示，在图像坐标系UOoV中，a、b、c、d分别为点A、B、C、D在成像平面的图像坐标点，取标定板中的组成正方形4个点图像坐标，分别为a(ua,va),b(ub,vb),c(uc,vc),d(ud,vd)，单位为像素。
根据公式(10)成像定理和已求出的焦距，采用摄像机针孔模型，(u,v)为像素坐标，(x,y)为成像平面物理坐标，(XC,YC,ZC)为摄像机坐标系下的坐标，ξx和ξy分别表示一个像素在成像平面上x轴和y轴方向的物理尺寸。f是相机焦距，其中
得到
由于点在标定平面上，需满足式EX+FY+GZ+H＝0，因此：
ZC＝-H/(Eu/fx+Fv/fy+G) (14)
将ZC表达式代入XC、YC，得到：
将正方形的四个顶点的图像坐标a、b、c、d代入上式可得到四个顶点在摄像机坐标下的空间坐标E，F，G，H的表达式。
设正方形边长为l，根据正方形四条边相等的性质可以得到4个方程组；即
||AC||＝||BC||＝||CD||＝||AD||＝l (16)
由此可以解出E，F，G，H以及(XC,YC,ZC)的值；
旋转矩阵R＝[r1r2r3]是世界坐标系三个坐标轴在摄像机坐标系下的单位方向向量组成的矩阵，在图2(1)中，将右下角一点B确定为新的世界坐标系XW2YW2ZW2的原点，XW2轴方向向量和YW2轴方向向量分别与
和
的方向向量相同，ZW2轴方向向量与
所得向量的方向向量相同。在摄像机坐标系下，r1，r2分别与OCW1、OCW2的单位方向向量相同。
4.2平移矩阵T的求解
在图2(1)中，将右下角一点B确定为新的世界坐标系XW2YW2ZW2原点，求解
即为平移矩阵，即：
Claims (4)
1.基于两组相互正交平行线对应消失点的快速水下标定方法，其特征是，其数据处理对象为空气中的实际焦距和水中的等效焦距，包括以下步骤：
步骤1)径向畸变的校正：
1.1)拍摄获取标定板图像img-distort；
1.2)提取图像中的畸变坐标；
1.3)计算畸变系数k；
1.4)利用一阶径向畸变针孔模型矫正畸变，得到无畸变图像img-correct；
步骤2)基于两组相互正交平行线对应消失点性质的焦距标定：
2.1)Hough变换提取直线；
2.2)计算消失点w1、w2；
2.3)用消失点正交的性质标定焦距，在空气中焦距得到fa，在水中等效焦距得到fw；
步骤3)空气介质中等效图像的计算；
步骤4)位姿的标定：
4.1)旋转矩阵R的求解；
4.2)平移矩阵T的求解；
所述步骤1)径向畸变的校正，为：
考虑镜头非线性畸变的摄像机标定需要使用非线性优化算法，而过多的引入非线性参数往往井不能提高精度，反而引起求解的不稳定；经研究发现，镜头畸变主要由径向畸变引起，一阶径向畸变足以描述失真情况，过多的引入参数反而会引起解的不稳定性；故选取一阶径向畸变针孔模型，仅考虑镜头的一阶径向畸变；描述线性畸变模型如下：
式中：k是一阶径向畸变系数，由于镜头畸变的影响，实际成像点为Pd(ud,vd)，而无畸变的理想成像点图像坐标应为Pu(uu,vu)，畸变中心(u0,v0)；
由于理想条件下任意直线成像后应也为直线，线性三维空间投影图像仍然是一条直线，所以利用这一特性，可解决图像畸变失真问题，具体方法如下：
设理想直线为L，并定义为y＝J·x+m，畸变曲线L'是在实数构成的畸变曲线成像点上；实际成像点坐标Pd(ud,vd)可以由畸变直线L'得到，校正后图像点坐标是Pu(uu,vu)；采用最小二乘法将n个点拟合到直线上，可得到理想的线性参数；
设实际成像点坐标Pdi(udi,vdi)，校正后图像点坐标为Pui(uui,vui)，由于图像点坐标与实际成像点横坐标值相等，即uui＝udi，所以Pui(uui,vui)可以写成Pui(udi,vui)，i从1到n,n为理想直线L上取样点数量；其中，udi表示理想直线L上第i个点的横坐标，也表示畸变曲线L'上第i个点的横坐标，J·udi+m表示理想直线L上第i个点的纵坐标，vdi表示畸变曲线L'上第i个点的纵坐标，即可对如下最小化问题进行求解:
根据最小二乘法对公式(2)求偏导，可得：
m和J可由公式(5)、(6)分别求得：
根据上述方法，能够得到理想的直线方程；失真度的数值大小表示失真的程度，失真度表示失真线与校正线之间的偏差；失真度的数值越小，失真线越靠近对齐线，实际像点离理想点越近，失真参数越接近实际；一般来说，失真度的测量是用距离的平方来定义的从直线到理想直线，其表达式如下：
对于公式(7)采用L-M(Levenberg-Marquardt)方法进行求解；通过对公式(1)和(7)联立成方程组，即求解三个未知数：畸变系数k和畸变中心(u0,v0)的数值。
2.根据权利要求1所述的基于两组相互正交平行线对应消失点的快速水下标定方法，其特征是，所述步骤2.2)计算消失点w1、w2为：
首先利用hough变换提取拍摄得到的图像中的直线ab、bc、cd、da；
然后分别计算ad和bc的交点为消失点w1的图像坐标w1(uw1,vw1)，ab和cd的交点为消失点w2图像坐标w2(uw2,vw2)；通过摄像机的外部参数矩阵，根据相机模型计算可得消失点在摄像机坐标系OcXcYcZc下的空间坐标W1、W2分别为[(uw1-u0)ξx,(vw1-v0)ξy,f]，[(uw2-u0)ξx,(vw2-v0)ξy,f]。
3.根据权利要求2所述的基于两组相互正交平行线对应消失点的快速水下标定方法，其特征是，所述步骤2.3)用消失点正交的性质标定焦距：
根据消失点性质有
即
(uw1-u0)(uw2-u0)ξy 2+(vw1-v0)(vw2-v0)ξx 2+f2＝0 (9)
由此可求解出焦距f；
如果在空气中进行拍摄标定，依照公式(9)，焦距f则替换成fa，可以求出空气中焦距fa；如果在水中进行拍摄标定，依照公式(9)，焦距f则替换成fw，可以求出水中焦距fw。
4.根据权利要求3所述的基于两组相互正交平行线对应消失点的快速水下标定方法，其特征是，所述步骤3)空气介质中等效图像的计算：
在空气中和水中分别标定得到实际的焦距OF1和水中的等效焦距OF2，由已知的水中图像点V坐标，根据△OF1U∽△OF2V'可以求出点空气中成像于图像平面的U的坐标：
式中fa是点S在空气介质中的焦距，fw为水中折射后的等效焦距，点U的坐标就是点S在空气介质中的图像坐标，点V的坐标是点S在水中折射的图像坐标；
最后根据点U的图像坐标和焦距fa可以求出S的实际位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911044533.9A CN110807815B (zh) | 2019-10-30 | 2019-10-30 | 基于两组相互正交平行线对应消失点的快速水下标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911044533.9A CN110807815B (zh) | 2019-10-30 | 2019-10-30 | 基于两组相互正交平行线对应消失点的快速水下标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110807815A CN110807815A (zh) | 2020-02-18 |
| CN110807815B true CN110807815B (zh) | 2023-05-09 |
Family
ID=69489858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911044533.9A Active CN110807815B (zh) | 2019-10-30 | 2019-10-30 | 基于两组相互正交平行线对应消失点的快速水下标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110807815B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112802120B (zh) * | 2021-01-13 | 2024-02-27 | 福州视驰科技有限公司 | 基于非均匀分割累加表和正交消隐点的相机外参标定方法 |
| CN113012226A (zh) * | 2021-03-22 | 2021-06-22 | 浙江商汤科技开发有限公司 | 相机位姿的估计方法、装置、电子设备及计算机存储介质 |
| CN113744351B (zh) * | 2021-09-03 | 2023-11-28 | 上海交通大学 | 基于多介质折射成像的水下结构光测量标定方法及系统 |
| CN114640781B (zh) * | 2022-05-19 | 2022-08-23 | 山东省科学院海洋仪器仪表研究所 | 一种水下摄像机图像径向畸变校正装置及方法 |
| CN116342712B (zh) * | 2023-03-30 | 2024-04-05 | 中国科学院西安光学精密机械研究所 | 基于消失点一致性的空间相机在轨畸变系数标定方法、介质及设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101894366B (zh) * | 2009-05-21 | 2014-01-29 | 北京中星微电子有限公司 | 一种获取标定参数的方法、装置及一种视频监控系统 |
| CN102750697B (zh) * | 2012-06-08 | 2014-08-20 | 华为技术有限公司 | 一种参数标定方法及装置 |
| CN105389808A (zh) * | 2015-10-27 | 2016-03-09 | 郑州大学 | 一种基于二消失点的相机自标定方法 |
| CN108986172B (zh) * | 2018-07-25 | 2021-09-07 | 西北工业大学 | 一种面向小景深系统的单视图线性摄像机标定方法 |
-
2019
- 2019-10-30 CN CN201911044533.9A patent/CN110807815B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110807815A (zh) | 2020-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807815B (zh) | 基于两组相互正交平行线对应消失点的快速水下标定方法 | |
| CN105678742B (zh) | 一种水下相机标定方法 | |
| CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN110969667B (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
| CN109269430A (zh) | 基于深度提取模型的多株立木胸径被动测量方法 | |
| CN107886547B (zh) | 一种鱼眼相机标定方法及系统 | |
| CN108492333B (zh) | 基于星箭对接环图像信息的航天器姿态估计方法 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN110874854B (zh) | 一种基于小基线条件下的相机双目摄影测量方法 | |
| CN111080709B (zh) | 基于轨迹特征配准的多光谱立体相机自标定算法 | |
| CN111899290B (zh) | 一种联合偏振和双目视觉的三维重建方法 | |
| CN106971408A (zh) | 一种基于时空转换思想的摄像机标定方法 | |
| CN108154536A (zh) | 二维平面迭代的相机标定法 | |
| CN111080711A (zh) | 基于放大率的近似平行状态下显微成像系统的标定方法 | |
| Chan et al. | An improved method for fisheye camera calibration and distortion correction | |
| CN115082617A (zh) | 基于多视图优化的管道三维重建方法、装置及存储介质 | |
| CN115359127A (zh) | 一种适用于多层介质环境下的偏振相机阵列标定方法 | |
| Sun et al. | A fast underwater calibration method based on vanishing point optimization of two orthogonal parallel lines | |
| CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
| CN108981721B (zh) | 一种用于微纳卫星定姿的静态红外地球敏感器目标角确定方法 | |
| CN111968182B (zh) | 一种双目相机非线性模型参数的标定方法 | |
| CN111260736B (zh) | 一种空间相机内参在轨实时标定方法 | |
| CN110910457B (zh) | 基于角点特征的多光谱立体相机外参计算方法 | |
| RU2692970C2 (ru) | Способ калибровки видеодатчиков многоспектральной системы технического зрения | |
| CN113592953B (zh) | 一种基于特征点集的双目非合作目标位姿测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |