CN105678742A - 一种水下相机标定方法 - Google Patents

Abstract

本发明提供了一种水下相机标定方法，水下相机系统成像时光线按水-隔水平面-空气-相机透镜的顺序对水下成像的物理过程进行数学建模。空气和水中相机参数的不同之处在于，由于折射平面的存在，导致空气中的成像模型不能适用于水中，需要对水中相机的成像模型进行建模。本发明公开了一种高精度的水下相机标定方法，建立了水下折射成像模型，提出了一种基于Tsai氏标定算法的水下相机标定方法，能够准确计算出相机中心到折射平面的距离<i>d</i>及相机的内、外参数。本发明公开的水下相机标定算法能够广泛应用于水下探测和高精度水下物体测量中。

Description

一种水下相机标定方法

技术领域

本发明涉及基于视觉技术的水下探测和测量领域中，尤其涉及一种水下相机标定方法。

背景技术

作为海洋探测技术的一个重要工具，基于水下机器人的水下、深海探测正在被广泛使用。基于视觉技术的探测技术是其中最为重要的技术之一，在利用视觉技术的水下探测和测量中，由于水介质的存在，导致光线在进入相机时发生折射，在空气中的相机标定技术不能直接用于水下相机的标定。

由于折射现象的存在导致在水中的成像模型与空气中的不同，传统的相机标定算法如张氏标定，Tsai标定在水中不再适用。针对折射对成像的影响，国外学者有着不同的解决方法。首先是借助物理辅助的方法(SchechnerYY,KarpelN.RecoveryofUnderwaterVisibilityandStructurebyPolarizationAnalysis.IEEEJournalofOceanicEngineering,2005,30(3)：570-587)，该方法通过设计一个特殊的光学部件，该部件可以将相机的透镜成像中心转移到折射发生的平面处，即水下相机的防水外壳处，然后通过光学部件的特殊形状抵消发生的折射现象，但是由于该方法对光学部件的制作要求十分严格，由于工艺的限制，该方法很难很好的实现。

第二类方法是采用辅助平面的方法进行相机标定(NarasimhanSG,NayarSK.Structuredlightmethodsforunderwaterimaging:lightstripescanningandphotometricstereo,OCEANS,2005.ProceedingsofMTS/IEEE.2005:2610-2617)，通过增加一个辅助的标定板来确定光线入射前的方向向量，利用这一增加的已知量来对相机参数进行标定，由于该方法需要一个特殊的标定板，因此操作十分复杂。

第三类方法是把折射存在当成是焦距变化(FerreiraR,CosteiraJP,SantosJA.StereoReconstructionofaSubmergedScene.PatternRecognition&ImageAnalysis,2005,3522:102-109.)，因为入射光线的延长线最终会与摄像机的光轴相交于一点，假设入射光线延长线与成像平面的交点与折射后光线鱼光轴的交点相同，相机成像平面就需要后移也就是相当于拉长了摄像机焦距，根据Snell定律可以计算到关于入射角度的摄像机焦距变化，因为该变化与不同图像点的入射角度相关，不能将其当作线性的变化，所以该办法仍然会带来一定的误差，光线的入射角度越大，其在成像平面的成像点就会产生更大的误差。

第四类方法采用近似的方法把水下的折射造成的误差看做镜头的畸变(ShortisMR,HarveyES.DesignandCalibrationofAnUnderwaterStereo-videoSystemfortheMonitoringofMarineFaunaPopulations.InternationalArchivesPhotogrammetryandRemoteSensing,32(5,1998:792--799.)，该方法把折射产生的像素偏移误差近似看做是由镜头本身畸变产生的误差，通过标定出摄像机的畸变参数并对图像进行矫正操作来消除折射带来的影响。

第五类方法是使用物理模型的方法来描述水下成像过程，并根据成像模型开发相应的标定算法。Jordt-Sedlazeck提出了一种基于外壳的相机标定方法，使用优化的方法标定折射平面的法向量以及距离成像平面的距离(Jordt-SedlazeckA,KochR.RefractiveStructure-from-MotiononUnderwaterImages.IEEEInternationalConferenceonComputerVision,2013:57-64.)。Agrawal提出对多次折射成像进行了建模，并且使用五点算法用于求取包括折射率，每个折射平面的法向量以及折射平面距离成像平面的距离等参数(AgrawalA,RamalingamS,TaguchiY,etal.Atheoryofmultilayerflatrefractivegeometry,IEEEConferenceonComputerVisionandPatternRecognition,2012:3346-3353.)。

高新浩等提出了一种基于多层平面折射几何的水下相机标定方法(高新浩，黄茹楠，杨育林.水下相机标定算法研究,燕山大学大学报,2014,38(3):252-258)。王鑫提出水下摄像机两步标定法。先在空气环境中标定出摄像机基本成像参数，采用的是张正友棋盘格平面标定法；然后标定系统结构参数，在水下自由光轴成像模型基础上，将选取已知世界坐标的水下棋盘格参考点投影到成像平面，通过成型模型求取像点坐标，再通过最小化实际读取像点坐标与模型求得的像点坐标作为评价函数，经粒子群算法对其进行优化得到标定结果(王鑫,水下双目立体视觉定位系统研究,燕山大学硕士学位论文,2014)。李绪勇提出一种水下线结构光系统的标定方法(李绪勇，水下摄像机的建模与标定技术研究,中国海洋大学硕士学位论文,2010)。吴云峰、陈元杰提出了一种线性方法标定水下双目相机(吴云峰,水下机器人双目立体视觉技术研究,哈尔滨工程大学硕士学位论文,2006.陈元杰,水下机器人双目立体视觉定位系统研究,浙江大学硕士学位论文，2011).发明人在《水下摄像机标定技术的研究》中提出了水下摄像机非线性标定的基本模型(李洪生，水下摄像机标定技术的研究，哈尔滨工业大学硕士学位论文,2013)，本发明是在该方法基础上的进一步研究和完善，使得该技术能够应用于实际的水下测量系统。

传统的水下相机标定算法大多采用校正径向畸变的方式消除折射平面的影响，但这种方法只是利用径向畸变近似折射平面对成像的影响，但是由于不同像素点由折射带来的影响不同，因此无法用统一的畸变参数矫正整个图像，这样会带来非常明显的误差。基于物理模型的方法虽然能标定出较高精度的相机参数，但模型较复杂，计算复杂度高，部分优化算法需要合适的初始值，如相机中心到折射平面的距离，该参数对于水下相机标定至关重要，大部分方法都假设该参数已知，但事实上无法直接准确测量出该参数。李绪勇提出了一种两步法水下相机的标定方法，能够计算出相机光心到玻璃折射平面的距离，但该方法对水中折射处理采用一种对应的方法求取，因此对标定精度会有一定的影响。水下机器人双目系统的标定常应用于定位或导航，标定精度无法满足高精度测量的要求。

发明内容

为了解决现有技术中问题，本发明提供了一种水下相机标定方法，包括如下步骤：

第一步：在空气中标定出相机的内参，内参矩阵如下：

第二步：使用径向一致约束线性的求取摄像机的一部分外参，Tsai标定算法使用的是径向一致约束，

因为光线和光轴是共面的，可以得到摄像机坐标系下的坐标与成像点在图像中的物理坐标之间的对应关系：

其中

x_i＝(u-u₀)dx

y_i＝(v-v₀)dy

x_c＝r₁x_w+r₂y_w+r₃z_w+t_x(15)

y_c＝r₄x_w+r₅y_w+r₆z_w+t_y

z_c＝r₇x_w+r₈y_w+r₉z_w+t_z

r₁,…,r₉为旋转矩阵R的9个元素，将公式(15)表示的变量代入公式(14)中可求取摄像机的旋转矩阵和平移向量的前两个参数，

水下拍照时入射光线在折射发生前后的方向向量之间的对应关系为：

可以得到(α_aβ_aγ_a)^T和(α_wβ_wγ_w)^T及光轴的方向向量(001)^T的混合积：

因为入射光线在折射前后与摄像机的光轴共面，因此径向一致约束在水下成像中仍然成立；

第三步：利用水下成像模型公式(12)优化计算出相机中心到折射平面的距离d，公式(12)如下：

其中：

本发明的有益效果是：

本发明公开了一种高精度的水下相机标定方法，建立了水下折射成像模型，提出了一种基于Tsai氏标定算法的水下相机标定方法，能够准确计算出相机中心到折射平面的距离d及相机的内、外参数f，u₀，v₀和R，T。本发明公开的水下相机标定算法能够广泛应用于水下探测和高精度水下物体测量中。

附图说明

图1是本发明水下成像模型；

图2是本发明成像点与物理点对应模型；

图3是本发明两种类型的滤波器；

图4是本发明水下标定板及检测的亚像素角点。

具体实施方式

下面结合附图对本发明做进一步说明。

一种高精度的水下相机标定方法。水下相机系统成像时光线按水-隔水平面-空气-相机透镜的顺序对水下成像的物理过程进行数学建模。空气和水中相机参数的不同之处在于，由于折射平面的存在，导致空气中的成像模型不能适用于水中，需要对水中相机的成像模型进行建模。

入射光线在隔水平面处发生两次折射，但是折射并未改变在水中和在空气中的角度对比关系，而且由于隔水外壳制作的都非常的薄，因此在隔水外壳产生的折射对整个折射过程来说是可以忽略的，因此折射成像的过程如图1所示。

假设隔水外壳表面与相机成像平面平行，f为相机的焦距，d代表折射平面与相机中心间的距离，(α_w,β_w,γ_w)^T和(α_a,β_a,γ_a)^T分别代表入射光线折射前后的法向量，(x_r,y_r,z_r)^T为光线与折射平面的交点，θ_air和θ_water分别代表光线在空气中和在水中的时候与光轴之间的夹角，假设折射平面与摄像机光轴平行，则光轴的在摄像机坐标系下的法向量为(0,0,1)^T。将光线折射前后变化的法向量之间的关系表示为：

根据Snell定律和角度转换关系可以求得：

其中n_water,n_air分别为水和空气的折射率，由图1所示的三角函数关系得到：

可以计算出光线发生折射前后光线的法向量之间的关系为：

假设(x_u,y_u)^T为图像点的物理坐标因此可以求得入射光线折射后的方向向量为：

令可以计算折射之前入射光线的法向量与图像点坐标之间的关系为：

假设物体在摄像机坐标系下的坐标可以表示为如下形式：

其中[x_ry_rz_r]^T为入射光线与折射平面的交点在摄像机坐标系下的坐标，k为常数因子：

由公式(3)和公式(7)可以得到：

进一步得到摄像机坐标与物体像素点的物理坐标的关系为：

因为可以求得物体像素点的物理坐标为：

假设为摄像机的外参矩阵，为摄像的内参矩阵，则最后可以求得水下折射成像完整模型为：

其中：

该模型即为水下成像的非线性模型，该模型是建立在水下成像物理过程的基础之上，对整个水下成像过程进行描述，不存在任何近似，因此具有较高的标定精度。由于水下成像模型不再是线性的透视成像模型，因此空气中已有的标定算法不能继续使用，本发明公开了一种基于Tsai氏法的水下相机标定方法。

第一步：在空气中标定出相机的内参，内参矩阵代表的是摄像机的内部参数，是摄像机的固有属性，不会随着外在环境的变化而发生变化。

第二步：使用径向一致约束线性的求取摄像机的一部分外参，Tsai标定算法使用的是径向一致约束，图2表示的是径向一致约束的原理：

因为光线和光轴是共面的，可以得到摄像机坐标系下的坐标与成像点在图像中的物理坐标之间的对应关系：

其中

x_i＝(u-u₀)dx

y_i＝(v-v₀)dy

x_c＝r₁x_w+r₂y_w+r₃z_w+t_x(15)

y_c＝r₄x_w+r₅y_w+r₆z_w+t_y

z_c＝r₇x_w+r₈y_w+r₉z_w+t_z

r₁,…,r₉为旋转矩阵R的9个元素，将公式(15)表示的变量代入公式(14)中可求取摄像机的旋转矩阵和平移向量的前两个参数。

水下拍照时入射光线在折射发生前后的方向向量之间的对应关系为：

可以得到(α_aβ_aγ_a)^T和(α_wβ_wγ_w)^T及光轴的方向向量(001)^T的混合积：

因此入射光线在折射前后与摄像机的光轴共面，因此径向一致约束在水下成像中仍然成立。

第三步：利用水下成像模型公式(12)优化计算出相机中心到折射平面的距离d。

在前面两步中计算出相机的内参和分外参，然后在水下拍摄带有标志点的直角棋盘格标定板，采用我们在专利CN2015103905113公开的《一种复杂背景中的高性能相机全自动标定方法》中的方法提取亚像素精度的角点坐标。具体计算步骤如下：

根据棋盘格角点图像的特征，设计图3所示的滤波器组，其中Type1：AB、CD为轴对齐角点滤波器；Type2：AB、CD为旋转45°的角点滤波器，这两类滤波器能够检测到由于透视投影造成的变形棋盘格图像的角点。

采用图3所示的两种类型的滤波器组能够提高算法的速度，算法的稳定性也有所提高。首先采用图3所示的两种类型的四个滤波器对棋盘格图像进行滤波操作，然后计算角点的相似度值其中和表示滤波器类型i(i＝1，2)的两种可能反转(AB和CD)的似然度，为像素对于滤波器类型i的X滤波器的响应，和定义如下：

利用像素的相似度c构成似然图C，然后在C上利用非极大抑制方法获得检测的候选点，利用Sobel滤波结果得到加权方向直方图，并利用均值漂移得到两个主方向α₁和α₂，最后从边缘方向构造模板T，通过计算T和期望梯度的归一化互相关系数(NCC)得到棋盘格角点的得分值，并利用阈值T_corner计算出棋盘格角点的候选点。通过优化图像梯度g_p∈R²与矢量p-c的正交性得到亚像素精度的角点坐标：

其中N_I为角点11×11邻域像素。棋盘格的方向向量e₁∈R²和e₂∈R²通过最小化法向量和梯度方向得到：

此时，可以得到包括所有亚像素精度的棋盘格角点和图像上近似角点特征的点。采用基于能量函数最小化和种子点拓展的算法提取出棋盘格角点E(X，Y)＝min{E_corners(Y)+E_struct(X，Y)}，其中X＝{c₁，c₂，…，c_N}为图像中所有检测到的特征点，Y＝{y₁，y₂，…，y_N}为包含棋盘格角点和噪声的点集，为噪声点集，E_struct(X，Y)为棋盘格结构化角点函数。

计算出世界坐标系中的点M＝(x，y，z)^T与图像空间的点m＝(u，v)^T的坐标，齐次坐标分别表示为和利用公式(18)，利用最小二乘方法优化计算出相机中心到折射平面的距离d。水下标定板及提取的亚像素精度的棋盘格角点如图4所示。

为了更好的验证水下非线性模型以及改进的标定算法的准确性，通过设置水下摄像机距离折射平面的不同距离，进行了四组实验，每组实验中我们都拍摄两种不同的标定板图像，即立体标定板图像。使用改进的Tsai标定法进行水下摄像机进行标定，拍摄的水下标定板为立体标定板，标定得到的摄像机外参矩阵以及成像平面距离折射平面的距离。

表1水下相机标定结果

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (3)

1.一种水下相机标定方法，其特征在于：

第一步：在空气中标定出相机的内参，内参矩阵如下：

第二步：使用径向一致约束线性的求取摄像机的一部分外参，Tsai标定算法使用的是径向一致约束，

因为光线和光轴是共面的，可以得到摄像机坐标系下的坐标与成像点在图像中的物理坐标之间的对应关系：

其中

x_i＝(u-u₀)dx

y_i＝(v-v₀)dy

x_c＝r₁x_w+r₂y_w+r₃z_w+t_x(15)

y_c＝r₄x_w+r₅y_w+r₆z_w+t_y

z_c＝r₇x_w+r₈y_w+r₉z_w+t_z

r₁,…,r₉为旋转矩阵R的9个元素，将公式(15)表示的变量代入公式(14)中可求取摄像机的旋转矩阵和平移向量的前两个参数，

水下拍照时入射光线在折射发生前后的方向向量之间的对应关系为：

可以得到(α_aβ_aγ_a)^T和(α_wβ_wγ_w)^T及光轴的方向向量(001)^T的混合积：

因为入射光线在折射前后与摄像机的光轴共面，因此径向一致约束在水下成像中仍然成立；

第三步：利用水下成像模型公式(12)优化计算出相机中心到折射平面的距离d，公式(12)如下：

其中：n₀＝n_air/n_water,

2.根据权利要求1所述的一种水下相机标定方法，其特征在于：在水下拍摄带有标志点的直角棋盘格标定板，提取亚像素精度的角点坐标，具体计算步骤如下：根据棋盘格角点图像的特征，设计滤波器组，其中类型1：AB、CD为轴对齐角点滤波器；类型2：AB、CD为旋转45°的角点滤波器，首先采用两种类型的四个滤波器对棋盘格图像进行滤波操作，然后计算角点的相似度值其中和表示滤波器类型i(i＝1，2)的两种可能反转(AB和CD)的似然度，为像素对于滤波器类型i的X滤波器的响应，和定义如下：

利用像素的相似度c构成似然图C，然后在C上利用非极大抑制方法获得检测的候选点，利用Sobel滤波结果得到加权方向直方图，并利用均值漂移得到两个主方向α₁和α₂，最后从边缘方向构造模板T，通过计算T和期望梯度的归一化互相关系数得到棋盘格角点的得分值，并利用阈值τ_corner计算出棋盘格角点的候选点，通过优化图像梯度与矢量p-c的正交性得到亚像素精度的角点坐标：

其中N_I为角点11×11邻域像素，棋盘格的方向向量e₁∈R²和e₂∈R²通过最小化法向量和梯度方向得到：

此时，可以得到包括所有亚像素精度的棋盘格角点和图像上近似角点特征的点，采用基于能量函数最小化和种子点拓展的算法提取出棋盘格角点E(X，Y)＝min{E_corners(Y)+E_struct(X，Y)}，其中X＝{c₁，c₂，…，c_N}为图像中所有检测到的特征点，Y＝{y₁，y₂，…，y_N}为包含棋盘格角点和噪声的点集， 为噪声点集，E_struct(X，Y)为棋盘格结构化角点函数；

计算出世界坐标系中的点M＝(x，y，z)^T与图像空间的点m＝(u，v)^T的坐标，齐次坐标分别表示为和利用公式(12)，利用最小二乘方法优化计算出相机中心到折射平面的距离d。

3.根据权利要求1所述的一种水下相机标定方法，其特征在于：公式(12)得出方法如下：

假设隔水外壳表面与相机成像平面平行，f为相机的焦距，d代表折射平面与相机中心间的距离，(α_w,β_w,γ_w)^T和(α_a,β_a,γ_a)^T分别代表入射光线折射前后的法向量，(x_r,y_r,z_r)^T为光线与折射平面的交点，θ_air和θ_water分别代表光线在空气中和在水中的时候与光轴之间的夹角，假设折射平面与摄像机光轴平行，则光轴的在摄像机坐标系下的法向量为(0,0,1)^T，将光线折射前后变化的法向量之间的关系表示为：

根据Snell定律和角度转换关系可以求得：

其中n_water,n_air分别为水和空气的折射率，由三角函数关系得到：

可以计算出光线发生折射前后光线的法向量之间的关系为：

假设(x_u,y_u)^T为图像点的物理坐标因此可以求得入射光线折射后的方向向量为：

令可以计算折射之前入射光线的法向量与图像点坐标之间的关系为：

假设物体在摄像机坐标系下的坐标可以表示为如下形式：

其中[x_ry_rz_r]^T为入射光线与折射平面的交点在摄像机坐标系下的坐标，k为常数因子：

由公式(3)和公式(7)可以得到：

进一步得到摄像机坐标与物体像素点的物理坐标的关系为：

因为可以求得物体像素点的物理坐标为：

假设为摄像机的外参矩阵，为摄像的内参矩阵，则最后可以求得水下折射成像完整模型为：

其中：n₀＝n_air/n_water,