CN104482921A - 一种水面目标的测量方法 - Google Patents

Abstract

本发明一种水面目标的测量方法，涉及计算机视觉的三维测量，是利用带有校平的标定装置来确定参考平面与水面平行，根据摄像机的成像原理以及单视图计算机视觉理论，推导出一种水面目标的测量方法，步骤是：配置用于水面目标测量的设备、确定参考平面与水面平行、图像采集、计算摄像机的内参数和求解水面的法向量、需要时加之目标高度计算模型、度量重建、度量重建到欧氏重建和误差分析。本发明方法克服了现有水面目标的测量方法存在的费时费力且不安全，测量结果不稳定和测量方法复杂的缺陷。

Description

一种水面目标的测量方法

技术领域

本发明的技术方案涉及计算机视觉的三维测量，具体地说是一种水面目标的测量方法。

背景技术

由于水面的开阔性和复杂性，使水面目标的测量有一定的困难。从目前公开的文献和技术手段来看，水面目标的测量主要有以下两种方法：人工测量法和激光测量法。人工测量法费时费力，且不安全；激光测量法是一种非接触式测量方法，当激光光束射向水面时，一方面激光会射入水中产生非常大的能量损耗，另一方面，由于水的波动性，激光射入水中会产生较大的漫反射，导致测量结果不稳定。虽然三维测量方法已经应用于目标的测量，CN103376071A公开了三维测量系统与三维测量方法，CN102954770A披露了三维测量设备和三维测量方法，但是，这些三维测量方法均不能用于水面目标的测量。CN104061865A公开了一种航行船舶高度测量系统及其测量方法，但是存在测量方法复杂的缺陷。

发明内容

本发明所要解决的技术问题是：提供一种水面目标的测量方法，是采用带校平的标定装置来确定参考平面与水面平行，根据摄像机的成像原理以及单视图计算机视觉理论，推导出一种水面目标的测量方法，该方法克服了现有水面目标的测量方法存在的费时费力且不安全，测量结果不稳定和测量方法复杂的缺陷。

本发明解决该技术问题所采用的技术方案是：一种水面目标的测量方法，是利用带校平的标定装置来确定参考平面与水面平行，根据摄像机的成像原理以及单视图计算机视觉理论，推导出一种水面目标的测量方法，步骤如下：

第一步，配置用于水面目标测量的设备：

这些设备包括一个摄像机、带校平的标定装置、三脚架和长度为1m和宽度为5cm的长方形木片；

上述带校平的标定装置包括一个参考平面、一个棋盘格和两个水平尺，将一个规格为50cm×50cm的正方形塑料平板作为参考平面，在上面固定一个棋盘格和两个水平尺，棋盘格由9×7个黑白相间的28mm×28mm的正方形组成，放置在参考平面的中部偏右下方，两个水平尺的长度均为40cm，两个水平尺相互垂直，分别固定在参考平面的左边和上边；

第二步，确定参考平面与水面平行：

在水面上无大风浪的气象条件下，水面近似为平面，采用带校平的标定装置来确定参考平面和水面平行，具体方法是，通过调节该参考平面，使两个水平尺上的水平泡位于中心，以确定参考平面与水面平行；

第三步，图像采集：

将上述第一步配备的摄像机固定在三脚架的云台上，第一次拍摄是将第一步配备的棋盘格置于任意平面上，使用摄像机对该棋盘格进行多角度拍摄，拍摄十五张图像；第二次拍摄，将第一步带校平的标定装置置于水边合适的位置，调整参考平面使之与水面平行，通过调整三脚架的云台来调节摄像机的角度，使水面目标和该棋盘格在一张图像内，然后固定摄像机，多次水平移动三脚架，拍摄十张图像；第三次拍摄是在第二次拍摄的基础上，调整三脚架的位置，撤去带校平的标定装置，将第一步配备的长方形木片放入水中设定位置，用摄像机对水面目标和长方形木片进行拍摄，得到一张图像；

第四步，计算摄像机的内参数和求解水面的法向量：

空间任何一点P在图像上的成像位置用针孔模型近似表示，空间任何一点P在图像上的投影位置为p，p为光心C与空间任何一点P的连线PC与图像平面的交点，设P在世界坐标系下的坐标为(X_w,Y_w,Z_w)，它在摄像机坐标系下的坐标为(X_c,Y_c,Z_c)，投影位置为p点的坐标为(u,v)，摄像机的内参数为K，表示如下：

$K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]---\left(1\right),$

其中，f_x和f_y为摄像机在x轴和y轴方向的焦距，(u₀,v₀)为摄像机的主点坐标，

摄像机的外参数包括旋转矩阵R和平移矩阵t，旋转矩阵R表示为R＝[r₁ r₂ r₃]，根据中心摄影定理和张正友的摄像机平面标定法，得到如下公式：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{\λ}\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 1\end{array}\right]---\left(2\right),$

通过上述公式又得到：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{\λ}\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]---\left(3\right),$

利用第三步中第一次拍摄得到的十五张图像和利用matlab相机标定工具箱进行摄像机标定，得到摄相机的内参数K，并分别求取第三步中第二次拍摄过程中的十张图像的外参数旋转矩阵R和平移矩阵t，旋转矩阵R中的r₃为参考平面的法向量，将它设为r₃₀,r₃₁,r₃₂,…,r₃₉，求取最佳的参考平面法向量n，设n＝[n₁ n₂ n₃]^T，利用最小二乘法来求解n，n到r₃₀,r₃₁,r₃₂,…,r₃₉这10个向量的模之和为sum，令sum最小求解出参考平面的最佳法向量n，由于水面与参考平面平行，水面的法向量也为n；

第五步，需要时加之目标高度计算模型：

在有需要时，加之对水面目标的高度进行测量，方法是：设待测高度的目标点为P，P的背投影点为G，P在参考平面的垂点为M，这些点都是世界坐标系中的点，根据小孔成像原理，得到摄像机的光心C，C在参考平面的正投影点为O，P、C和G三点共线，M、G和O三点共线，PM的高度通过相似三角形得到，具体计算方法如下：

根据目标点P在摄像机成像图像上的成像点p，通过单应性矩阵映射，计算出G在参考平面上的物理坐标： $\mathrm{\λ}\tilde{G}=H^{-1}\tilde{p},$ H为单应矩阵， $\tilde{p}{=\left[\begin{array}{ccc}x& y& 1\end{array}\right]}^T,$ $\tilde{G}={\left[\begin{array}{ccc}X& Y& 1\end{array}\right]}^T,$ 通过二维测量，确G、M和O在参考平面上的物理坐标，从而确定GM、GO的距离：

$\frac{\left|\right|\mathrm{PM}\left|\right|}{\left|\right|\mathrm{CO}\left|\right|}=\frac{\left|\right|\mathrm{GM}\left|\right|}{\left|\right|\mathrm{GO}\left|\right|}---\left(4\right),$

通过上式，计算出目标点P的高度：

$\left|\right|\mathrm{PM}\left|\right|=\frac{\left|\right|\mathrm{GM}\left|\right|}{\left|\right|\mathrm{GO}\left|\right|}\left|\right|\mathrm{CO}\left|\right|---\left(5\right),$

第六步，度量重建：

在摄像机坐标系下，设摄像机光心C到摄像机坐标系下水面的距离为1，水面的法向量由上述第四步中得到，那么能够得到：

X×n＝1，

其中，X为摄像机坐标系下水面中的点，坐标为(X₀,Y₀,Z₀),得到

n₁*X₀+n₂*Y₀+n₃*Z₀＝1     (6)，

内参数已经在上述第四步中得到，建立摄像机坐标系和图像坐标系的关系：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{\λ}\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right]---\left(7\right),$

将上述公式(6)和公式(7)联立起来，得到

$\left[\begin{array}{ccc}{f}_x& 0& u_0-u\\ 0& f_y& v_0-v\\ n1& n2& n3\end{array}\right]\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]---\left(8\right),$

根据公式(8)，已知图像上点的坐标，就能解出点X的坐标；

第七步，度量重建到欧氏重建：

通过第六步求出水面上两点的坐标，进而得到两点距离，此距离与真实的距离相差一个尺度因子λ，尺度因子λ通过水面上的标志物来确定，标志物为放入水中的第一步配备的长方形木片，根据第三步第三次拍摄到的一张图像中找到表示长方形木片长度的两个点p₁和p₂，利用找到的图像上的两个点，根据第六步的方法，求解出这两个成像点在摄像机坐标系下的原点P₁(x₁,y₁,z₁)和P₂(x₂,y₂,z₂)，求解出两者间的距离d，

$d=\sqrt{(x_1-x_2)^2+(y_1-y_2)^2+(z_1-z_2)^2}---\left(9\right),$

尺度因子λ由上述距离d和木片的长度s得到，即λ＝s/d，在求解两点间的真实距离D时都要乘以这个尺度因子；

第八步，误差分析：

采用一种误差模型来对测量结果进行误差分析，当一幅图像被噪声污染后，图像上的点与真实值之间会有一定的偏差，用这些点计算出的三维空间中目标的几何距离也会有一定的偏差，假设被噪声影响前图像上的一点为p(x,y)，它是由摄像机坐标系下的P(X,Y,Z)映射到图像上的，p被噪声影响后的坐标记作：

其中表示在图像平面中x轴方向和y轴方向上的噪声，关于和的协方差矩阵表示为：

$\mathrm{Cov}=\left[\begin{array}{cc}{\mathrm{\σ}}_x^2& {\mathrm{\σ}}_{\mathrm{xy}}\\ {\mathrm{\σ}}_{\mathrm{yx}}& {\mathrm{\σ}}_y^2\end{array}\right]---\left(11\right),$

假设σ_xy＝σ_yx＝0，这表明和是相互独立的，通常来说，和是随机的高斯白噪声，均值为0，方差分别为σ_x和σ_y,

假设摄像机的内参数中f_x＝f_y＝f，摄像机的主点位置位于图片中心u₀＝0.5*u_max和v₀＝0.5*v_max，那么摄像机的内参数简单记作：

$K=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]---\left(12\right),$

图像中的点p首先经过平移p'＝[x-u₀ y-v₀]＝[x' y']，

根据P的求解条件，平面和反投影相交，得到如下的一个对应关系：

$\left[\begin{array}{ccc}f& 0& -x^{\′}\\ 0& f& -y^{\′}\\ n1& n2& n3\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]\left(13\right),$

其中，前面的3×3的矩阵设为A，根据公式(13)，得到P的坐标为 $P^T=\mathrm{inv}{\left(A\right)}^{*}\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right],$ 经过计算得到P的通解如下：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{x}^{\′}/(f*n3+n1*x^{\′}+n2*y^{\′})\\ y^{\′}/(f*n3+n1*x^{\′}+n2*y^{\′})\\ f/(f*n3+n1*x^{\′}+n2*y^{\′})\end{array}\right]---\left(14\right),$

假设点p被噪声影响，加上噪声后记作

那么求解出P的坐标将会变为：

$\left[\begin{array}{c}\tilde{X}\\ \tilde{Y}\\ \tilde{Z}\end{array}\right]=\left[\begin{array}{c}{\tilde{x}}^{\′}/(f*n3+n1*{\tilde{x}}^{\′}+n2*{\tilde{y}}^{\′})\\ {\tilde{y}}^{\′}/(f*n3+n1*{\tilde{x}}^{\′}+n2*{\tilde{y}}^{\′})\\ f/(f*n3+n1*{\tilde{x}}^{\′}+n2*{\tilde{y}}^{\′})\end{array}\right]---\left(15\right),$

令 $s_0=f*n3+n1*{\tilde{x}}^{\′}+n2*{\tilde{y}}^{\′}$ 那么

如公式(16)，将进行泰勒展开，舍弃二阶和二阶以上的项，得到

由此，得到X的误差：

由上式，计算的方差和均值，

公式(19)说明是无偏估计，并且的标准差与s₀密切相关，同理，得到和的均值和方差，那么

用上述误差分析方法求出带有噪声的点恢复成三维空间中的坐标和没有噪声的点恢复出的三维空间中的坐标(X,Y,Z)间的误差，同理，得到水面上两点间距离的误差和目标高度的误差，恢复三维空间的几何距离的误差还需要乘上尺度因子，

3δ误差分析方法的原则为，根据正态分布：

p(u-δ＜x≤u+δ)＝68.3％

p(u-2δ＜x≤u+2δ)＝95.4％

p(u-3δ＜x≤u+3δ)＝99.7％

该距离的误差分布在平均值正负3δ范围内的概率为99.7％，每次得到的测量误差都在这之间，通过进行泰勒展开舍弃高次项的方法结合3δ误差分析原理，对两点间的距离进行误差分析；

上述各个步骤中所述的摄像机均为第一步中配备的摄像机。

上述一种水面目标的测量方法，所述的摄像机为型号IXUS132的佳能数码相机，三脚架为云腾VT-888三脚架，水平尺均为40cm科胜牌水平尺。

本发明的有益效果如下：

与现有技术相比，本发明的突出的实质性特点是：本发明利用摄像机模型、射影几何原理以及单视图计算机视觉理论，推导出一种水面目标的测量方法。该方法不仅能实现水面目标的三维测量，进而计算出水面目标的面积或体积，且测量精度高，还能用于水面目标的三维定位。这些水面上的目标为船舶、水面建筑物、水面漂浮物或一些其他水面上的目标物。

与现有技术相比，本发明的显著进步如下：

(1)本发明方法是一种低价的无接触式的测量方法，克服了手动测量的不便性和危险性。

(2)本发明方法将理论结果进行泰勒展开去除高次项，加上3δ误差分析原理，进行误差分析，通过实验得到的测量值与真实值之间的误差在1％以内，证明本发明方法的测量精度非常高。

(3)本发明方法是一种水面目标的测量方法，根据实际需要，既能测量水面目标的面积，又能测量水面目标的体积，还能专门对目标的高度进行测量，用于测量船舶能否安全渡过桥洞和吃水深度，具有很高的实用性。与现有技术CN104061865A相比，本发明方法采用的测量方法更加简便。

(4)本发明方法能根据测量要求，调整摄像机的拍摄角度和摄像机的内参数，达到调节测量范围与测量精度的目的。

(5)本发明方法，通过测量水面目标到观测者的距离和方向，实现水面目标的三维定位。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1为本发明一种水面目标的测量方法的流程示意图。

图2为本发明一种水面目标的测量方法中所用测量设备安置的示意图。

图3为本发明一种水面目标的测量方法中带校平的标定装置的构成示意图。

图4为本发明一种水面目标的测量方法中的求解图片上点的坐标示意图。

图5为本发明一种水面目标的测量方法中高度计算方法的示意图。

图中，1.带校平的标定装置，2.摄像机，3.三脚架，4.水平尺，5.参考平面，6.棋盘格。

具体实施方式

图1所示实施例表明，本发明一种水面目标的测量方法的流程是：配置用于水面目标测量的设备→确定参考平面与水面平行→图像采集→计算摄像机的内参数和求解水面的法向量→需要时加之目标高度计算模型；度量重建→度量重建到欧氏重建→误差分析。

图2所示实施例表明，本发明一种水面目标的测量方法中所用测量设备的包括：带校平的标定装置1、摄像机2和三脚架3；使用时将摄像机2固定在三脚架3上，将三脚架3置于带校平的标定装置1的前面，调整好角度后，进行拍摄水面目标。

图3所示实施例表明，本发明一种水面目标的测量方法中带校平的标定装置的组成包括，两个水平尺4、参考平面5和棋盘格6，其中，参考平面5是规格为50cm×50cm的塑料平板；棋盘格6为由9×7个黑白颜色相间的正方形组成的棋盘格；将两个水平尺4和棋盘格6固定在参考平面5上；棋盘格6位于参考平面5中部偏右下方，两个水平尺4相互垂直，分别固定于参考平面5的左边和上边。

图4所示实施例显示本发明一种水面目标的测量方法中的计算图像中点的坐标示意图，其中C表示摄像机的光心，S1表示的是图像平面，S2表示的是摄像机坐标系下的平面。图中的Xc，Yc和Zc表示摄像机坐标系，摄像机坐标系下的平面S2上的一点P在图像平面S1上的成像点为p，f表示摄像机的焦距，设C到S2的距离为单位1。

图5所示实施例表明，本发明一种水面目标的测量方法中高度计算方法，设待测高度的目标点为P，P的背投影点为G，P在参考平面的垂点为M，这些点都是世界坐标系中的点，根据小孔成像原理，得到摄像机的光心C，C在参考平面的正投影点为O，P、C和G三点共线，M、G和O共线，PM的高度通过相似三角形得到，具体计算方法是：

根据目标点P在摄像机成像图像上的成像点p，通过单应性矩阵映射，计算出G在参考平面上的物理坐标： $\mathrm{\λ}\tilde{G}=H^{-1}\tilde{p},$ H为单应矩阵， $\tilde{p}={\left[\begin{array}{ccc}x& y& 1\end{array}\right]}^T,$ $\tilde{G}{=\left[\begin{array}{ccc}X& Y& 1\end{array}\right]}^T,$ 通过二维测量，确G、M和O在参考平面上的物理坐标，从而确定GM、GO的距离：

$\frac{\left|\right|\mathrm{PM}\left|\right|}{\left|\right|\mathrm{CO}\left|\right|}=\frac{\left|\right|\mathrm{GM}\left|\right|}{\left|\right|\mathrm{GO}\left|\right|}$

通过上式，计算出目标点P的高度：

$\left|\right|\mathrm{PM}\left|\right|=\frac{\left|\right|\mathrm{GM}\left|\right|}{\left|\right|\mathrm{GO}\left|\right|}\left|\right|\mathrm{CO}\left|\right|$

实施例1

第一步，配置用于水面目标测量的设备：

这些设备包括一个摄像机2、带校平的标定装置1、三脚架3和长度为1m和宽度为5cm的长方形木片；使用时将摄像机2固定在三脚架3上，将三脚架3置于带校平的标定装置1的前面，调整好角度后，进行拍摄水面目标，

上述带校平的标定装置1包括一个参考平面5、一个棋盘格6和两个水平尺4，将一个规格为50cm×50cm的正方形塑料平板作为参考平面5，在上面固定一个棋盘格6和两个水平尺4，棋盘格6由9×7个黑白相间的28mm×28mm的正方形组成，放置在参考平面5的中部偏右下方，两个水平尺4的长度均为40cm，两个水平尺4相互垂直，分别固定在参考平面5的左边和上边；长方形木片作为标志物为放入水中设定的位置；

第二步，确定参考平面与水面平行：

在水面上无大风浪的气象条件下，水面近似为平面，采用带校平的标定装置1来确定参考平面5和水面平行，具体方法是，通过调节该参考平面5，使两个水平尺4上的水平泡位于中心，以确定参考平面5与水面平行；

第三步，图像采集：

将上述第一步配备的摄像机2固定在三脚架3的云台上，第一次拍摄是将第一步配备的棋盘格6置于任意平面上，使用摄像机对该棋盘格6进行多角度拍摄，拍摄十五张图像；第二次拍摄，将第一步配备的带校平的标定装置1置于水边合适的位置，调整参考平面5使之与水面平行，通过调整三脚架3的云台来调节摄像机2的角度，使水面目标和该棋盘格6在一张图像内，然后固定摄像机2，多次水平移动三脚架3，拍摄十张图像；第三次拍摄是在第二次拍摄的基础上，调整三脚架3的位置，撤去带校平的标定装置1，将第一步配备的长方形木片放入水中设定位置，用摄像机2对水面目标和长方形木片进行拍摄，得到一张图像；

第四步，计算摄像机的内参数和求解水面的法向量：

空间任何一点P在图像上的成像位置用针孔模型近似表示，空间任何一点P在图像上的投影位置为p，p为光心C与空间任何一点P的连线PC与图像平面的交点，设P在世界坐标系下的坐标为(X_w,Y_w,Z_w)，它在摄像机2坐标系下的坐标为(X_c,Y_c,Z_c)，投影位置为p点的坐标为(u,v)，摄像机2的内参数为K，表示如下：

$K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]---\left(1\right),$

其中，f_x和f_y为摄像机2在x轴和y轴方向的焦距，(u₀,v₀)为摄像机2的主点坐标，

摄像机2的外参数包括旋转矩阵R和平移矩阵t，旋转矩阵R表示为R＝[r₁r₂r₃]，根据中心摄影定理和张正友的摄像机平面标定法，得到公式：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{\λ}\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 1\end{array}\right]---\left(2\right),$

通过上述公式又得到：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{\λ}\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]---\left(3\right),$

利用第三步中第一次拍摄得到的十五张图像和利用matlab相机标定工具箱进行摄像机2标定，得到摄相机2的内参数K，并分别求取第三步中第二次拍摄过程中的十张图像的外参数旋转矩阵R和平移矩阵t，旋转矩阵R中的r₃为参考平面5的法向量，将它设为r₃₀,r₃₁,r₃₂,…,r₃₉，求取最佳的参考平面5法向量n，设n＝[n₁ n₂ n₃]^T，利用最小二乘法LMSE来求解n，n到r₃₀,r₃₁,r₃₂,…,r₃₉这10个向量的模之和为sum，令sum最小求解出参考平面5的最佳法向量n，由于水面与参考平面5平行，水面的法向量也为n；

第五步，需要时加之目标高度计算模型：

在有需要时，加之对水面目标的高度进行测量，方法是：设待测高度的目标点为P，P的背投影点为G，P在参考平面5的垂点为M，这些点都是世界坐标系中的点，根据小孔成像原理，得到摄像机2的光心C，C在参考平面5的正投影点为O，P、C和G三点共线，M、G和O三点共线，PM的高度通过相似三角形得到，具体计算方法如下：

根据目标点P在摄像机2成像图像上的成像点p点，通过单应性矩阵映射，计算出G在参考平面5上的物理坐标：H为单应矩阵， $\tilde{p}={\left[\begin{array}{ccc}x& y& 1\end{array}\right]}^T,$ $\tilde{G}{=\left[\begin{array}{ccc}X& Y& 1\end{array}\right]}^T,$ H为单应矩阵，通过二维测量，确G、M和O在参考平面5上的物理坐标，从而确定GM、GO的距离：

$\frac{\left|\right|\mathrm{PM}\left|\right|}{\left|\right|\mathrm{CO}\left|\right|}=\frac{\left|\right|\mathrm{GM}\left|\right|}{\left|\right|\mathrm{GO}\left|\right|}---\left(4\right),$

通过上式，计算出目标点P的高度：

$\left|\right|\mathrm{PM}\left|\right|=\frac{\left|\right|\mathrm{GM}\left|\right|}{\left|\right|\mathrm{GO}\left|\right|}\left|\right|\mathrm{CO}\left|\right|---\left(5\right),$

第六步，度量重建：

在摄像机坐标系下，设摄像机2光心C到摄像机坐标系下水面的距离为1，水面的法向量由上述第四步中得到，那么能够得到：

X×n＝1

其中，X为摄像机坐标系下水面中的点，坐标为(X₀,Y₀,Z₀),得到

n₁*X₀+n₂*Y₀+n₃*Z₀＝1      (6)，

内参数已经在上述第四步中得到，建立摄像机坐标系和图像坐标系的关系：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{\λ}\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right]---\left(7\right),$

将上述公式(6)和公式(7)联立起来，得到

$\left[\begin{array}{ccc}{f}_x& 0& u_0-u\\ 0& f_y& v_0-v\\ n1& n2& n3\end{array}\right]\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]---\left(8\right),$

根据公式(8)，已知图像上点的坐标，就能解出点X的坐标；

第七步，度量重建到欧氏重建：

通过第六步求出水面上两点的坐标，进而得到两点距离，此距离与真实的距离相差一个尺度因子λ，尺度因子λ通过水面上的标志物来确定，标志物为放入水中的第一步配备的长方形木片，根据第三步第三次拍摄到的一张图像中找到长方形木片表示长的两个点p₁和p₂，利用找到的图像上的两个点，根据第六步的方法，求解出这两个成像点在摄像机坐标系下的原点P₁(x₁,y₁,z₁)和P₂(x₂,y₂,z₂)，求解出两者间的距离d，

$d=\sqrt{(x_1-x_2)^2+(y_1-y_2)^2+(z_1-z_2)^2}---\left(9\right),$

尺度因子λ由距离d和木片的长度s得到，即λ＝s/d，在求解两点间的真实距离D时都要乘以这个尺度因子；

第八步，误差分析：

采用一种误差模型来对测量结果进行误差分析，当一幅图像被噪声污染后，图像上的点与真实值之间会有一定的偏差，用这些点计算出的三维空间中目标的几何距离也会有一定的偏差，假设被噪声影响前图像上的一点为p(x,y)，它是由摄像机坐标系下的P(X,Y,Z)映射到图像上的，p被噪声影响后的坐标记作：

其中表示在图像平面中x轴方向和y轴方向上的噪声，关于和的协方差矩阵表示为：

$\mathrm{Cov}=\left[\begin{array}{cc}{\mathrm{\σ}}_x^2& {\mathrm{\σ}}_{\mathrm{xy}}\\ {\mathrm{\σ}}_{\mathrm{yx}}& {\mathrm{\σ}}_y^2\end{array}\right]---\left(11\right),$

假设σ_xy＝σ_yx＝0，这表明和是相互独立的，通常来说，和是随机的高斯白噪声，均值为0，方差分别为σ_x和σ_y,

假设摄像机2的内参数中f_x＝f_y＝f，摄像机2的主点位置位于图片中心u₀＝0.5*u_max和v₀＝0.5*v_max，那么摄像机2的内参数简单记作：

$K=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]---\left(12\right),$

图像中的点p首先经过平移p'＝[x-u₀ y-v₀]＝[x' y'],

根据P的求解条件，平面和反投影相交，得到一个对应关系：

$\left[\begin{array}{ccc}f& 0& -x^{\′}\\ 0& f& -y^{\′}\\ n1& n2& n3\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]\left(13\right),$

其中，前面的3×3的矩阵设为A，根据公式(13)，得到P的坐标为 $P^T=\mathrm{inv}{\left(A\right)}^{*}\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right],$ 经过计算得到P的通解如下：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{x}^{\′}/(f*n3+n1*x^{\′}+n2*y^{\′})\\ y^{\′}/(f*n3+n1*x^{\′}+n2*y^{\′})\\ f/(f*n3+n1*x^{\′}+n2*y^{\′})\end{array}\right]---\left(14\right)$

假设p被噪声影响，加上噪声后记作那么求解出的P的坐标将会变为：

$\left[\begin{array}{c}\tilde{X}\\ \tilde{Y}\\ \tilde{Z}\end{array}\right]=\left[\begin{array}{c}{\tilde{x}}^{\′}/(f*n3+n1*{\tilde{x}}^{\′}+n2*{\tilde{y}}^{\′})\\ {\tilde{y}}^{\′}/(f*n3+n1*{\tilde{x}}^{\′}+n2*{\tilde{y}}^{\′})\\ f/(f*n3+n1*{\tilde{x}}^{\′}+n2*{\tilde{y}}^{\′})\end{array}\right]---\left(15\right),$

令 $s_0=f*n3+n1*{\tilde{x}}^{\′}+n2*{\tilde{y}}^{\′}$ 那么

如公式(16)，将进行泰勒展开，舍弃二阶和二阶以上的项，得到

由此，得到X的误差

由上式，计算的方差和均值，

公式(19)说明是无偏估计，并且的标准差与s₀密切相关，同理，得到和的均值和方差，那么

用上述误差分析方法求出带有噪声的点恢复成三维空间中的坐标和没有噪声的点恢复出的三维空间中的坐标(X,Y,Z)间的误差，同理，得到水面上两点间距离的误差和目标高度的误差，恢复三维空间的几何距离的误差还需要乘上尺度因子，

3δ误差分析方法的原则为，根据正态分布：

p(u-δ＜x≤u+δ)＝68.3％

p(u-2δ＜x≤u+2δ)＝95.4％

p(u-3δ＜x≤u+3δ)＝99.7％

该距离的误差分布在平均值正负3δ范围内的概率为99.7％，每次得到的测量误差都在这之间，通过进行泰勒展开舍弃高次项的方法结合3δ误差分析原理，对两点间的距离进行误差分析；

上述各个步骤中所述的摄像机均为第一步中配备的摄像机2，其为型号IXUS132的佳能数码相机，三脚架3为云腾VT-888三脚架，水平尺4均为40cm科胜牌水平尺。

本实施例一种水面目标的测量方法在实际运用中，有效地测量了水面上目标的长度、宽度和高度，实现了水面目标的三维测量。与手动测量相比，本实施例的方法的测量误差在1％以内。本实施例的方法已被用于判断船舶能否安全渡过桥洞及测量船舶吃水深度。实施例2

本实施例是在实施例1中增加水面目标的面积测量功能，具体操作方法是：根据图像找到水面目标长度对应的两点和水面目标宽度的两点，根据实施例1中第六步和第七步的方法，求解出水面目标的长度和宽度，得到水面目标的面积＝长度×宽度。

实施例3

本实施例是在实施例1中增加水面目标的体积测量功能，具体操作方法是：根据图像找到水面目标长度对应的两点和水面目标宽度对应的两点，为了测量的准确性这些点用两条直线相交的方法得到，根据实施例1中第六步和第七步的方法，求解出水面目标的长度和宽度，从图像中找到代表目标高度的点，用两条直线相交的方法求出该点在水面上的垂点，根据实施例1中第五步、第六步和第七步，求解出目标的高度，得到水面目标的体积＝长度×宽度×高度。

实施例4

本实施例是在实施例1中增加目标定位的功能，具体操作方法是：根据实施例1中第五步、第六步和第七步的方法，通过求得水面目标上点的三维坐标和观测者位置的三维坐标，便能得到水面目标到观测者的距离和方向，通过此种方法对水面目标进行三维定位。实施例5

本实施例是在实施例1中增加调节测量范围和测量精度的功能，具体操作方法是：由于摄像机拍摄范围与拍摄角度、摄像机的焦距以及拍摄图像的像素有关系。摄像机的拍摄角度通过三脚架上的云台来控制，云台能够调节摄像机的倾斜度，摄像机能够选择不同的焦距和不同的像素进行拍摄，近景用短焦拍摄，远景用长焦拍摄，所选的焦距和像素不同摄像机对应的内参数不同。根据水面目标的测量要求，本实施例是在实施例1的第三步操作中进行调整摄像机的拍摄角度，在拍摄图像之前，调整摄像机的焦距和像素来调整摄像机的内参数，达到调节测量范围与测量精度的目的。

Claims (2)

1.一种水面目标的测量方法，其特征在于：是利用带有校平的标定装置来确定参考平面与水面平行，根据摄像机的成像原理以及单视图计算机视觉理论，推到出一种水面目标的测量方法，步骤如下：

第一步，配置用于水面目标测量的设备：

这些设备包括一个摄像机、带校平的标定装置、三脚架和长度为1m和宽度为5cm的长方形木片；

上述带校平的标定装置包括一个参考平面、一个棋盘格和两个水平尺，将一个规格为50cm×50cm的正方形塑料平板作为参考平面，在上面固定一个棋盘格和两个水平尺，棋盘格由9×7个黑白相间的28mm×28mm的正方形组成，放置在参考平面的中部偏右下方，两个水平尺的长度均为40cm，两个水平尺相互垂直，分别固定在参考平面的左边和上边；

第二步，确定参考平面与水面平行：

在水面上无大风浪的气象条件下，水面近似为平面，采用带校平的标定装置来确定参考平面和水面平行，具体方法是，通过调节该参考平面，使两个水平尺上的水平泡位于中心，以确定参考平面与水面平行；

第三步，图像采集：

将上述第一步配备的摄像机固定在三脚架的云台上，第一次拍摄是将第一步配备的棋盘格置于任意平面上，使用摄像机对该棋盘格进行多角度拍摄，拍摄十五张图像；第二次拍摄，将第一步配备的带校平的标定装置置于水边合适的位置，调整参考平面使之与水面平行，通过调整三脚架的云台来调节摄像机的角度，使水面目标和该棋盘格在一张图像内，然后固定摄像机，多次水平移动三脚架，拍摄十张图像；第三次拍摄是在第二次拍摄的基础上，调整三脚架的位置，撤去带校平的标定装置，将第一步配备的长方形木片放入水中设定位置，用摄像机对水面目标和长方形木片进行拍摄，得到一张图像；

第四步，计算摄像机的内参数和求解水面的法向量：

空间任何一点P在图像上的成像位置用针孔模型近似表示，空间任何一点P在图像上的投影位置为p，p为光心C与空间任何一点P的连线PC与图像平面的交点，设P在世界坐标系下的坐标为(X_w,Y_w,Z_w)，它在摄像机坐标系下的坐标为(X_c,Y_c,Z_c)，投影位置为p点的坐标为(u,v)，摄像机的内参数为K，表示如下：

$K=\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]---\left(1\right),$

其中，f_x和f_y为摄像机在x轴和y轴方向的焦距，(u₀,v₀)为摄像机的主点坐标，

摄像机的外参数包括旋转矩阵R和平移矩阵t，旋转矩阵R表示为 $R=\left[\begin{array}{ccc}{r}_1& r_2& r_3\end{array}\right],$ 根据中心摄影定理和张正友的摄像机平面标定法，得到如下公式：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{\λ}\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 1\end{array}\right]---\left(2\right),$

通过上述公式又得到：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{\λ}\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]---\left(3\right),$

利用第三步中第一次拍摄得到的十五张图像和利用matlab相机标定工具箱进行摄像机标定，得到摄相机的内参数K，并分别求取第三步中第二次拍摄过程中的十张图像的外参数旋转矩阵R和平移矩阵t，旋转矩阵R中的r₃为参考平面的法向量，将它设为r₃₀,r₃₁,r₃₂,…,r₃₉，求取最佳的参考平面法向量n，设n＝[n₁ n₂ n₃]^T，利用最小二乘法LMSE来求解n，n到r₃₀,r₃₁,r₃₂,…,r₃₉这10个向量的模之和为sum，令sum最小求解出参考平面的最佳法向量n，由于水面与参考平面平行，水面的法向量也为n；

第五步，需要时加之目标高度计算模型：

在有需要时，加之对水面目标的高度进行测量，方法是：设待测高度的目标点为P，P的背投影点为G，P在参考平面的垂点为M，这些点都是世界坐标系中的点，根据小孔成像原理，得到摄像机的光心C，C在参考平面的正投影点为O，P、C和G三点共线，M、G和O三点共线，PM的高度通过相似三角形得到，具体计算方法如下：

根据目标点P在摄像机成像图像上的成像点p点，通过单应性矩阵映射，计算出G在参考平面上的物理坐标： $\mathrm{\λ}\tilde{G}=H^{-1}\tilde{p},$ H为单应矩阵， $\tilde{p}={\left[\begin{array}{ccc}x& y& 1\end{array}\right]}^T,\tilde{G}={\left[\begin{array}{ccc}X& Y& 1\end{array}\right]}^T,$ H为单应矩阵，通过二维测量，确G、M和O在参考平面上的物理坐标，从而确定GM、GO的距离：

$\frac{\left|\right|\mathrm{PM}\left|\right|}{\left|\right|\mathrm{CO}\left|\right|}=\frac{\left|\right|\mathrm{GM}\left|\right|}{\left|\right|\mathrm{GO}\left|\right|}---\left(4\right),$

通过上式，计算出目标点P的高度：

$\left|\right|\mathrm{PM}\left|\right|=\frac{\left|\right|\mathrm{GM}\left|\right|}{\left|\right|\mathrm{GO}\left|\right|}\left|\right|\mathrm{CO}\left|\right|---\left(5\right),$

第六步，度量重建：

在摄像机坐标系下，设摄像机光心C到摄像机坐标系下水面的距离为1，水面的法向量由上述第四步中得到，那么能够得到：

X×n＝1，

其中，X为摄像机坐标系下水面中的点，坐标为(X₀,Y₀,Z₀),得到

n₁*X₀+n₂*Y₀+n₃*Z₀＝1                   (6)，

内参数已经在上述第四步中得到，建立摄像机坐标系和图像坐标系的关系：

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{\λ}\left[\begin{array}{ccc}{f}_x& 0& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right]---\left(7\right),$

将上述公式(6)和公式(7)联立起来，得到

$\left[\begin{array}{ccc}{f}_x& 0& u_0-u\\ 0& f_y& v_0-v\\ n1& n2& n3\end{array}\right]\left[\begin{array}{c}{X}_0\\ Y_0\\ Z_0\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]---\left(8\right),$

根据公式(8)，已知图像上点的坐标，就能解出点X的坐标；

第七步，度量重建到欧氏重建：

通过第六步求出水面上两点的坐标，进而得到两点距离，此距离与真实的距离相差一个尺度因子λ，尺度因子λ通过水面上的标志物来确定，标志物为放入水中的第一步配备的长方形木片，根据第三步第三次拍摄到的一张图像中找到表示长方形木片长度的两个点p₁和p₂，利用找到的图像上的两个点，根据第六步的方法，求解出这两个成像点在摄像机坐标系下的原点P₁(x₁,y₁,z₁)和P₂(x₂,y₂,z₂)，求解出两者间的距离d，

尺度因子λ由上述距离d和木片的长度s得到，即λ＝s/d，在求解两点间的真实距离D时都要乘以这个尺度因子；

第八步，误差分析：

采用一种误差模型来对测量结果进行误差分析，当一幅图像被噪声污染后，图像上的点与真实值之间会有一定的偏差，用这些点计算出的三维空间中目标的几何距离也会有一定的偏差，假设被噪声影响前图像上的一点为p(x,y)，它是由摄像机坐标系下的P(X,Y,Z)映射到图像上的，p被噪声影响后的坐标记作：

其中[∧x ∧y]表示在图像平面中x轴方向和y轴方向上的噪声，关于∧x和∧y的协方差矩阵表示为：

$\mathrm{Cov}=\left[\begin{array}{cc}{\mathrm{\σ}}_x^2& {\mathrm{\σ}}_{\mathrm{xy}}\\ {\mathrm{\σ}}_{\mathrm{yx}}& {\mathrm{\σ}}_y^2\end{array}\right]---\left(11\right),$

假设σ_xy＝σ_yx＝0，这表明∧x和∧y是相互独立的，通常来说，∧x和∧y是随机的高斯白噪声，均值为0，方差分别为σ_x和σ_y,

假设摄像机的内参数中f_x＝f_y＝f，摄像机的主点位置位于图片中心u₀＝0.5*u_max和v₀＝0.5*v_max，那么摄像机的内参数简单记作：

$K=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]---\left(12\right),$

图像中的点p首先经过平移p'＝[x-u₀ y-v₀]＝[x' y'],

根据P的求解条件，平面和反投影相交，得到如下的一个对应关系：

$\left[\begin{array}{ccc}f& 0& -x^{\′}\\ 0& f& -y^{\′}\\ n1& n2& n3\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right]---\left(13\right),$

其中，前面的3×3的矩阵设为A，根据公式(13)，得到P点的坐标为 $P^T=\mathrm{inv}\left(A\right)*\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right],$ 经过计算得到P的通解如下：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{c}{x}^{\′}/(f*n3+n1*x^{\′}+n2*y^{\′})\\ y^{\′}/(f*n3+n1*x^{\′}+n2*y^{\′})\\ f/(f*n3+n1*x^{\′}+n2*y^{\′})\end{array}\right]---\left(14\right),$

假设点p被噪声影响，加上噪声后记作那么求解出的P的坐标将会变为：

$\left[\begin{array}{c}\tilde{X}\\ \tilde{Y}\\ \tilde{Z}\end{array}\right]=\left[\begin{array}{c}{\tilde{x}}^{\′}/(f*n3+n1*{\tilde{x}}^{\′}+n2*{\tilde{y}}^{\′})\\ {\tilde{y}}^{\′}/(f*n3+n1*{\tilde{x}}^{\′}+n2*{\tilde{y}}^{\′})\\ f/(f*n3+n1*{\tilde{x}}^{\′}+n2*{\tilde{y}}^{\′})\end{array}\right]---\left(15\right),$

令 $s_0=f*n3+n1*{\tilde{x}}^{\′}+n2*{\tilde{y}}^{\′}$ 那么

如公式(16)，将进行泰勒展开，舍弃二阶和二阶以上的项，得到

由此，得到X的误差：

由上式，计算∧X的方差和均值，

公式(19)说明∧X是无偏估计，并且∧X的标准差与s₀密切相关，同理，得到∧Y和∧Z的均值和方差，那么

用上述误差分析方法求出带有噪声的点恢复成三维空间中的坐标和没有噪声的点恢复出的三维空间中的坐标(X,Y,Z)间的误差，同理，得到水面上两点间距离的误差和目标高度的误差，恢复三维空间的几何距离的误差还需要乘上尺度因子，

3δ误差分析方法的原则为，根据正态分布：

p(u-δ＜x≤u+δ)＝68.3％

p(u-2δ＜x≤u+2δ)＝95.4％

p(u-3δ＜x≤u+3δ)＝99.7％

该距离的误差分布在平均值正负3δ范围内的概率为99.7％，每次得到的测量误差都在这之间，通过进行泰勒展开舍弃高次项的方法结合3δ误差分析原理，对两点间的距离进行误差分析；

上述各个步骤中所述的摄像机均为第一步中配备的摄像机。

2.根据权利要求1所述一种水面目标的测量方法，其特征在于：所述的摄像机为型号IXUS132的佳能数码相机，三脚架为云腾VT-888三脚架，水平尺均为40cm科胜牌水平尺。