CN103929635A - 一种uuv纵横摇时的双目视觉图像补偿方法 - Google Patents

Abstract

本发明公开了一种能够补偿UUV纵横摇引起的水下作业目标在双目摄像机中的位置和姿态偏差的一种UUV纵横摇时的双目视觉图像补偿方法。包括以下几个步骤：实时采集左、右摄像机信息获得水下作业目标的原始图像；实时采集UUV罗经信息获得UUV纵横摇产生的横倾角和纵倾角；补偿水下作业目标在双目摄像机中的视觉图像因UUV纵横摇产生的偏差；对水下作业目标原始图像进行放射变换，实现UUV纵横摇时水下作业目标在左、右摄像机中视觉图像的补偿。本发明使双目摄像机对水下作业目标的位置和姿态测定更加准确，且图像补偿的精确度高、实时性好，有利于提高UUV对水下目标的定位精度和自主作业成功率。

Description

一种UUV纵横摇时的双目视觉图像补偿方法

技术领域

本发明属于一种UUV视觉图像补偿方法，尤其是能够补偿UUV纵横摇引起的水下作业目标在双目摄像机中的位置和姿态偏差的一种UUV纵横摇时的双目视觉图像补偿方法。

背景技术

无人水下航行器(Unmanned Underwater Vehicle，UUV)抵近海底执行油管勘测、光缆检修等水下自主作业时，采用水下双目摄像机寻找和定位水下作业目标。由于海流、海浪等因素的影响，UUV产生纵横摇，使水下作业目标在双目摄像机视觉图像中的位姿与景深产生偏差，将导致UUV水下自主作业的成功率降低，因此需要对UUV纵横摇引起的水下作业目标在双目摄像机中的视觉图像的偏差进行修正补偿。

利用UUV自身的推进装置进行纵横摇减摇是可行的双目视觉图像补偿措施。潘立鑫(《水下机器人近水面横摇减摇控制策略研究》，哈尔滨工程大学博士论文，2010年)基于Weis-Fogh机构的零航速减摇鳍装置进行横摇减摇，该方法需要将UUV推进系统投入工作，将会消耗UUV携带的能源，缩短UUV的有效航程，且通过推进装置进行减摇将会产生时间滞后，不满足UUV自主作业时基于水下目标图像导引与控制的实时性要求。

对UUV纵横摇时的双目视觉图像进行重构与复原处理是另一种有效的修正补偿措施。通过对现有的技术文献检索发现，董文德(《基于光纤陀螺颤振探测的图像复原技术研究》，浙江大学博士学位论文，2013年)提出了一种基于光纤陀螺颤振探测的点扩散函数(point-spread function,PSF)重构方法。该方案将两个敏感轴互相垂直的光纤陀螺与相机光轴进行刚性连接测得相机在曝光时间内的颤振角位置数据,进而根据物像关系得到像面上物像的运动轨迹并重构出PSF。该方法是基于图像重构原理，属于图像后处理范畴。

此外，哈尔滨工程大学的王晓娟(《基于视觉的AUV水下回收导引定位技术研究》，哈尔滨工程大学博士学位论文，2010年)提出一种有纵(横)倾时水下对接目标的单目四自由度定位方法。该方法解决了UUV有纵横摇时水下对接目标的定位问题，但是该方法针对的是单目摄像机，无需考虑双目摄像机的匹配，且该方法是对UUV纵横摇时的水下对接目标最终定位信息进行补偿，并未对图像本身进行修正。

发明内容

本发明的目的是提供具有高定位精度的一种UUV纵横摇时的双目视觉图像补偿方法。

本发明是通过以下技术方案实现的：

一种UUV纵横摇时的双目视觉图像补偿方法，包括以下几个步骤，

步骤一：建立UUV的船体坐标系o-xyz，以UUV重心为原点，船艏方向为x轴，右舷方向为y轴，竖直方向为z轴，测量出左摄像机在UUV上的安装位置(x_l,y_l,z_l)，右摄像机在UUV上的安装位置(x_r,y_r,z_r)，

建立位于摄像机光学中心前端焦距f处的成像坐标系o_o-uv，原点o_o为图像第一行第一列的像素中心，u轴平行于图像的行扫描线，v轴平行于图像的列扫描线，

建立摄像机坐标系o_c-x_cy_cz_c，o_c为摄像机光心，z_c轴为摄像机的主光轴，x_c轴和y_c轴分别与成像坐标系的u轴和v轴平行；

步骤二：实时采集左、右摄像机信息获得水下作业目标的原始图像；

步骤三：实时采集UUV罗经信息获得UUV纵横摇产生的横倾角和纵倾角；

步骤四：补偿水下作业目标在双目摄像机中的视觉图像因UUV横摇产生的偏差；

UUV横摇产生大小为的横倾角，产生左、右摄像机的光心坐标位置在船体坐标系下的竖直方向偏移Δh和水平方向偏移Δx，

左摄像机的竖直方向偏移Δh_l和水平方向偏移Δx_l为：

水下作业目标在左摄像机中补偿因横摇产生偏差后的图像坐标为：

左、右摄像机的光心坐标位置偏移量对称，左、右摄像机的主光轴偏转角相同，水下作业目标在右摄像机中补偿因横摇产生偏差后的图像坐标：

(T_u0,T_v0)为修正补偿前的图像坐标，(T_u,T_v)为修正补偿后的图像坐标，S_x为水平方向上单位像素的几何长度，f为摄像机焦距，式中的角标l、r分别表示左、右两个摄像机；

步骤五：补偿水下作业目标在双目摄像机中的视觉图像因UUV纵摇产生的偏差，

UUV纵摇时产生纵倾角θ，产生左、右摄像机的光心坐标位置在船体坐标系下的竖直方向偏移Δh₁和水平方向偏移Δd，左、右摄像机的竖直方向偏移Δh₁和水平方向偏移Δd均相同，

左摄像机的竖直方向偏移Δh₁和水平方向偏移Δd分别为：

$\left\{\begin{array}{c}{\mathrm{\Δh}}_1=\sin \·x_l-(1-\cos \mathrm{\θ})\·z_l\\ \mathrm{\Δd}=(1-\cos \mathrm{\θ})\·x_l+\sin \·z_l\end{array}\right.$

水下作业目标在左摄像机中补偿因纵摇产生偏差后的图像坐标为：

$\left[\begin{array}{c}{T}_{\mathrm{ul}}^{\text{'}}\\ T_{\mathrm{vl}}^{\text{'}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f_l+\mathrm{\Δh}}{f_l}& 0& 0\\ 0& \frac{f_l+\mathrm{\Δh}}{f_l}\·\frac{\cos ({\mathrm{\α}}_l+\mathrm{\θ})}{\cos \mathrm{\θ}}& \frac{f_l+\mathrm{\Δh}}{f_l}\·\frac{\cos ({\mathrm{\α}}_l+\mathrm{\θ})}{\cos \mathrm{\θ}}\\ 0& 0& \frac{S_{\mathrm{yl}}}{\mathrm{\Δd}}\end{array}\right]\·\left[\begin{array}{c}{T}_{u0}^{\text{'}}\\ T_{v0}^{\text{'}}\\ \frac{\mathrm{\Δd}}{S_{\mathrm{yl}}}\end{array}\right]$

水下作业目标在右摄像机中补偿因纵摇产生偏差后的图像坐标为：

$\left[\begin{array}{c}{T}_{\mathrm{ur}}^{\text{'}}\\ T_{\mathrm{vr}}^{\text{'}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f_r+\mathrm{\Δh}}{f_r}& 0& 0\\ 0& \frac{f_r+\mathrm{\Δh}}{f_r}\·\frac{\cos ({\mathrm{\α}}_r+\mathrm{\θ})}{\cos \mathrm{\θ}}& \frac{f_r+\mathrm{\Δh}}{f_r}\·\frac{\cos ({\mathrm{\α}}_l+\mathrm{\θ})}{\cos \mathrm{\θ}}\\ 0& 0& \frac{S_{\mathrm{yl}}}{\mathrm{\Δd}}\end{array}\right]\·\left[\begin{array}{c}{T}_{u0}^{\text{'}}\\ T_{v0}^{\text{'}}\\ \frac{\mathrm{\Δd}}{S_{\mathrm{yr}}}\end{array}\right]$

(T_u′₀,T_v′₀)为修正补偿前的图像坐标，(T_u′,T_v′)为修正补偿后的图像坐标，α为初始安装时摄像机竖直方向上的俯仰角，S为竖直方向上单位像素的几何长度，式中的角标l、r分别表示左、右两个摄像机；

步骤六：对水下作业目标原始图像进行放射变换，实现UUV纵横摇时水下作业目标在左、右摄像机中视觉图像的补偿。

本发明一种UUV纵横摇时的双目视觉图像补偿方法还可以包括：

1、水下作业目标在左、右摄像机中补偿因横摇产生偏差后的图像坐标的求取过程为：

对水下作业目标在左摄像机的视觉图像的水平方向偏移Δx_l进行修正：

$\left\{\begin{array}{c}{T}_{\mathrm{ul}1}=T_{\mathrm{ul}0}+\frac{{\mathrm{\Δx}}_l}{S_{\mathrm{xl}}}\\ T_{\mathrm{vl}1}=T_{\mathrm{vl}0}\end{array}\right.$

(T_ul0,T_vl0)为水平方向偏移修正补偿前的图像坐标，(T_ul1,T_vl1)为水平方向偏移修正补偿后的图像坐标，S_xl为水平方向上单位像素的几何长度，

对水下作业目标在左摄像机中的视觉图像的竖直方向偏移Δh_l进行修正：

$\left\{\begin{array}{c}{T}_{\mathrm{ul}2}=T_{\mathrm{ul}1}\·\frac{f_l}{f_l+{\mathrm{\Δh}}_l}\\ T_{\mathrm{vl}2}=T_{\mathrm{vl}1}\·\frac{f_l}{f_l+{\mathrm{\Δh}}_l}\end{array}\right.$

(T_ul2,T_vl2)为竖直方向偏移修正补偿后的图像坐标，f_l为左摄像机焦距，

对UUV横摇引起的左摄像机主光轴偏转角进行补偿：

(T_ul,T_vl)为主光轴偏转角修正补偿后的图像坐标，为初始安装时左摄像机偏离竖直方向上的夹角，

左、右摄像机的光心坐标位置偏移量对称，左、右摄像机的主光轴偏转角相同，水下作业目标在右摄像机中补偿因横摇产生偏差后的图像坐标的求取过程和在左摄像机下的求取过程相同。

2、水下作业目标在左、右摄像机中补偿因纵摇产生偏差后的图像坐标的求取过程为：

对图像由于左摄像机光心位置水平方向偏移Δd进行修正补偿：

$\left\{\begin{array}{c}{T}_{\mathrm{ul}1}^{\text{'}}=T_{\mathrm{ul}0}^{\text{'}}\\ T_{\mathrm{vl}1}^{\text{'}}=T_{\mathrm{vl}0}^{\text{'}}+\frac{\mathrm{\Δd}}{S_{\mathrm{yl}}}\end{array}\right.$

(T_u′_l0,T_v′_l0)为修正补偿前的图像坐标，(T_u′_l1,T_v′_l1)为对水平方向偏移Δd修正补偿后的图像坐标，S_yl为竖直方向上单位像素的几何长度，

对图像由于左摄像机光心位置竖直方向偏移Δh进行修正补偿：

$\left\{\begin{array}{c}{T}_{\mathrm{ul}2}^{\text{'}}=T_{\mathrm{ul}1}^{\text{'}}\·\frac{f_l+\mathrm{\Δh}}{f_l}\\ T_{\mathrm{vl}2}^{\text{'}}=T_{\mathrm{vl}1}^{\text{'}}\·\frac{f_l+\mathrm{\Δh}}{f_l}\end{array}\right.$

(T_u′_l2,T_v′_l2)为竖直方向偏移Δh修正补偿后的图像坐标，

对左摄像机的主光轴与原来位置产生偏转角θ进行补偿：

$\left\{\begin{array}{c}{T}_{\mathrm{ul}}^{\text{'}}=T_{\mathrm{ul}2}^{\text{'}}\\ t_{\mathrm{vl}}^{\text{'}}=T_{\mathrm{vl}2}^{\text{'}}\·\frac{\cos ({\mathrm{\α}}_l+\mathrm{\θ})}{\cos \mathrm{\θ}}\end{array}\right.$

(T_u′_l,T_v′_l)为主光轴偏转角θ修正补偿后的图像坐标，

左、右摄像机的竖直方向偏移Δh₁和水平方向偏移Δd均相同，水下作业目标在右摄像机中补偿因纵摇产生偏差后的图像坐标的求取过程和在左摄像机下的求取过程相同。

本发明的有益效果：

一种UUV纵横摇时的双目视觉图像补偿方法，使双目摄像机对水下作业目标的位置和姿态测定更加准确，提高作业目标视觉导引信号的精度，通过对UUV水下作业目标的图像进行仿射变换来补偿因UUV纵横摇产生的偏差，不需通过UUV推进装置进行纵横摇减摇，因而不影响UUV的续航力，且图像补偿的精确度高、实时性好，有利于提高UUV对水下目标的定位精度和自主作业成功率。

附图说明

图1是本法明的流程图。

图2是UUV船体坐标系的定义及产生横倾角时摄像机光心位置与成像平面的偏移。

图3是竖直方向上对光心坐标偏移量Δh的补偿。

图4是经水平平移与竖直放缩后的摄像机光心坐标和成像平面的位置。

图5是摄像机坐标系与成像坐标系的定义以及存在横倾角时图像坐标系的变换。

图6是产生纵倾角时摄像机光心位置与成像平面的偏移。

图7是纵倾时摄像机主光轴与光心坐标的偏移。

图8(a)是UUV未有纵横倾下的水下作业目标图像；图8(b)是UUV横摇、纵摇(同时存在时的水下作业目标图像。

图9(a)是图8(a)经图像预处理和边缘提取后的图像；图9(b)是8(b)经图像预处理和边缘提取后的图像。

图10(a)是UUV未有纵横倾时的水下作业目标图像；图10(b)是图9(b)经过仿射变换修正补偿后的图像。

图11(a)是经图像预处理和边缘提取后的未有纵横倾时的水下作业目标图像；图11(b)是经图像预处理和边缘提取并进行修正补偿后的图像。

具体实施方式

下面结合附图和实例对本发明做进一步的说明。

本发明采集UUV罗经信息获得UUV纵横摇产生的纵倾角和横倾角；根据UUV的尺度要素、双目摄像机在UUV上的安装要素以及UUV纵横倾角信息，计算UUV纵横摇引起的双目摄像机光心坐标偏移量和主光轴偏角，构建图像修正补偿齐次方程；采用虚拟图像仿射变化的方法，利用以上齐次补偿方程对水下作业目标在双目摄像机中的原始视觉图像进行仿射变换，补偿UUV纵横摇引起的视觉图像的偏差，从而获得更准确的水下作业目标的位置和姿态信息，如图1所示。

本发明对UUV纵横摇时的双目视觉图像补偿的核心思想是虚拟图像仿射变换，其过程描述如下：

(1)建立UUV船体坐标系(o-xyz)、成像坐标系(o_o-uv)与摄像机坐标系(o_c-x_cy_cz_c)

设UUV重心与几何中心重合，以UUV重心为原点，船艏方向为x轴，右舷方向为y轴，竖直方向为z轴建立船体坐标系(o-xyz)，并测量出左、右双目摄像机在UUV上的安装位置信息(x_l,y_l,z_l)、(x_r,y_r,z_r)，如图2所示。

建立成像坐标系(o_o-uv)，它位于摄像机光学中心前端f处(f为摄像机的焦距)，在摄像机与目标物之间建立一个以像素为单位的成像坐标系(o_o-uv)。原点o_o为图像第一行第一列的像素中心，u轴平行于图像的行扫描线，v轴平行于图像的列扫描线。每一个像素的坐标(u,v)分别是该像素在图像上的行数与列数，如图5所示。

摄像机坐标系(o_c-x_cy_cz_c)：摄像机坐标系的原点o_c为摄像机的镜头投影中心(摄像机光心)，z_c轴为摄像机的主光轴，x_c轴和y_c轴分别与图像坐标系的u轴和v轴平行，如图5所示。

(2)通过UUV水下双目摄像机实时采集作业目标的图像信息

(3)通过UUV的罗经信息实时获取UUV的横倾角和纵倾角

(4)计算得出左、右摄像机光心和主光轴因UUV纵横摇产生的坐标偏移量与偏转角；并推导出由于左、右摄像机光心坐标偏移与主光轴偏转所产生的水下作业目标在双目视觉图像中的位姿和景深偏差的修正补偿齐次方程

(Ⅰ)补偿水下作业目标在双目摄像机中的图像因UUV横摇产生的偏差

当UUV横摇产生大小为的横倾角时，将引起左、右摄像机的光心坐标位置在竖直方向和水平方向上分别产生Δh和Δx的偏移，且左右摄像机光心坐标位置偏移量对称。现以航行器左侧摄像机为例进行补偿计算，如图2所示，由几何关系可得出：

首先，对水下作业目标在左侧摄像机中的视觉图像由于光心位置在水平方向的偏移Δx_l引起的偏差进行修正补偿：

$\left\{\begin{array}{c}{T}_{\mathrm{ul}1}=T_{\mathrm{ul}0}+\frac{{\mathrm{\Δx}}_l}{S_{\mathrm{xl}}}\\ T_{\mathrm{vl}1}=T_{\mathrm{vl}0}\end{array}\right.---\left(2\right)$

其中：

(T_ul0,T_vl0)——修正补偿前的图像坐标；

(T_ul,T_vl)——修正补偿后的图像坐标；

S_xl——水平方向上单位像素的几何长度。

然后，对水下作业目标在左侧摄像机中的视觉图像由于光心位置在竖直方向的偏移Δh_l引起的偏差进行修正补偿：

$\left\{\begin{array}{c}{T}_{\mathrm{ul}}=T_{\mathrm{ul}0}\·\frac{f_l}{f_l+{\mathrm{\Δh}}_l}\\ T_{\mathrm{vl}}=T_{\mathrm{vl}0}\·\frac{f_l}{f_l+{\mathrm{\Δh}}_l}\end{array}\right.---\left(3\right)$

其中：

(T_ul0,T_vl0)——修正补偿前的图像坐标；

(T_ul,T_vl)——修正补偿后的图像坐标；

f_l——摄像机焦距。

因此，针对左侧摄像机光心坐标由于UUV横摇引起的偏差，其修正补偿齐次方程可表示为：

$\left[\begin{array}{c}{T}_{\mathrm{ul}}\\ T_{\mathrm{vl}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f_l}{f_l+\mathrm{\Δh}}& 0& 0\\ 0& \frac{f_l}{f_l+\mathrm{\Δh}}& 0\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 0\\ 0& 0& \frac{S_{\mathrm{xl}}}{\mathrm{\Δx}}\end{array}\right]\·\left[\begin{array}{c}{T}_{\mathrm{ul}0}\\ T_{\mathrm{vl}0}\\ \frac{\mathrm{\Δx}}{S_{\mathrm{xl}}}\end{array}\right]=\left[\begin{array}{ccc}\frac{f_l}{f_l+\mathrm{\Δh}}& 0& \frac{f_l}{f_l+\mathrm{\Δh}}\\ 0& \frac{f_l}{f_l+\mathrm{\Δh}}& 0\\ 0& 0& \frac{S_{\mathrm{xl}}}{\mathrm{\Δx}}\end{array}\right]\·\left[\begin{array}{c}{T}_{\mathrm{ul}0}\\ T_{\mathrm{vl}0}\\ \frac{\mathrm{\Δx}}{S_{\mathrm{xl}}}\end{array}\right]---\left(4\right)$

由对称性可知，针对右侧摄像机光心坐标由于UUV横摇引起的偏差，其修正补偿齐次方程可表示为：

$\left[\begin{array}{c}{T}_{\mathrm{ur}}\\ T_{\mathrm{vr}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f_r+\mathrm{\Δh}}{f_r\mathrm{\Δ}}& 0& 0\\ 0& \frac{f_r+\mathrm{\Δh}}{f_r\mathrm{\Δ}}& 0\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 0\\ 0& 0& \frac{S_{\mathrm{xr}}}{\mathrm{\Δx}}\end{array}\right]\·\left[\begin{array}{c}{T}_{\mathrm{ur}0}\\ T_{\mathrm{vr}0}\\ \frac{\mathrm{\Δx}}{S_{\mathrm{xr}}}\end{array}\right]=\left[\begin{array}{ccc}\frac{f_r+\mathrm{\Δh}}{f_l\mathrm{\Δ}}& 0& \frac{f_r+\mathrm{\Δh}}{f_r\mathrm{\Δ}}\\ 0& \frac{f_r+\mathrm{\Δh}}{f_r\mathrm{\Δ}}& 0\\ 0& 0& \frac{S_{\mathrm{xr}}}{\mathrm{\Δx}}\end{array}\right]\·\left[\begin{array}{c}{T}_{\mathrm{ur}0}\\ T_{\mathrm{vr}0}\\ \frac{\mathrm{\Δx}}{S_{\mathrm{xr}}}\end{array}\right]---\left(5\right)$

经过以上水平与竖直方向上的平移变换后，虚拟摄像机的光心坐标将平移回原来坐标位置。

但是，由于水下摄像机与UUV刚性相连，当UUV横摇产生横倾角时，摄像机的主光轴也与原来位置产生相同的偏转角，因此还需要进一步对UUV横摇引起的摄像机主光轴偏转角进行补偿。

如图5所示，经光心坐标变换补偿后的虚拟摄像机坐标系(X_C′-Y_C′-Z_C′)与未有横倾时的原始摄像机坐标系(X_C-Y_C-Z_C)间，其Y_C′与Y_C轴相互重合，但X_C与X_C′轴、Z_C′与Z_C轴均存在一个的夹角，使得摄像机虚拟成像平面中v′轴与未有横倾时的摄像机成像平面v轴相互平行，u′轴与u轴有一个的夹角。所以虚拟摄像机成像平面上的坐标点(u,v)与未有横倾时的原始摄像机成像平面上的点(u′,v′)间，v轴方向上的坐标值相等，仅需对u轴由于偏角所产生的偏移进行补偿即可，其补偿方程可表示为：

其中：

(T_ul0,T_vl0)——修正补偿前的图像坐标；

(T_ul,T_vl)——修正补偿后的图像坐标；

——初始安装时摄像机偏离竖直方向上的夹角。

最终，可以推导出水下作业目标在双目摄像机中的图像因UUV横摇产生的偏差补偿方程：

式中的角标l、r分别表示左、右两个水下摄像机。

(Ⅱ)补偿水下作业目标在双目摄像机中的图像因UUV纵摇产生的偏差

当UUV产生一个为θ的纵倾角时，UUV的船体坐标系(X_U-Y_U-Z_U)将旋转至(X_U′-Y_U′-Z_U′)，其中Y_U与Y_U′轴相重合，X_U与X_U′轴和Z_U与Z_U′轴均存在θ的倾斜角。如图6所示，设摄像机在船体坐标系下的安装坐标为(x,y,z)，摄像机光心位置坐标将在竖直方向产生Δh的偏移，沿船艏方向产生Δd的水平偏移，由几何关系可以得出：

$\left\{\begin{array}{c}\mathrm{\Δh}=\sin \mathrm{\θ}\·x-(1-\cos \mathrm{\θ})\·z\\ \mathrm{\Δd}=(1-\cos \mathrm{\θ})\·x+\sin \mathrm{\θ}\·z\end{array}\right.---\left(9\right)$

首先，对图像由于光心位置水平方向Δd的偏移进行修正补偿：

$\left\{\begin{array}{c}{T}_u=T_{u0}\\ T_v=T_{v0}+\frac{\mathrm{\Δd}}{S_y}\end{array}\right.---\left(10\right)$

其中：

(T_u0,T_v0)——修正补偿前的图像坐标；

(T_u,T_v)——修正补偿后的图像坐标；

S_y——竖直方向上单位像素的几何长度。

然后，对图像由于光心位置竖直方向Δh的偏移进行修正补偿：

$\left\{\begin{array}{c}{T}_u=T_{u0}\·\frac{f+\mathrm{\Δh}}{f}\\ T_v=T_{v0}\·\frac{f+\mathrm{\Δh}}{f}\end{array}\right.---\left(11\right)$

其中：

(T_u0,T_v0)——修正补偿前的图像坐标；

(T_u,T_v)——修正补偿后的图像坐标；

f——摄像机焦距。

最终，可推导出左(右)侧摄像机光心坐标由于UUV纵摇引起的修正补偿齐次方程：

$\left[\begin{array}{c}{T}_u\\ T_v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f+\mathrm{\Δh}}{f}& 0& 0\\ 0& \frac{f+\mathrm{\Δh}}{f}& 0\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 1\\ 0& 0& \frac{S_y}{\mathrm{\Δd}}\end{array}\right]\·\left[\begin{array}{c}{T}_{u0}\\ T_{v0}\\ \frac{\mathrm{\Δd}}{S_y}\end{array}\right]=\left[\begin{array}{ccc}\frac{f+\mathrm{\Δh}}{f}& 0& 0\\ 0& \frac{f+\mathrm{\Δh}}{f}& \frac{f+\mathrm{\Δh}}{f}\\ 0& 0& \frac{S_y}{\mathrm{\Δd}}\end{array}\right]\·\left[\begin{array}{c}{T}_{u0}\\ T_{v0}\\ \frac{\mathrm{\Δd}}{S_y}\end{array}\right]---\left(12\right)$

经过以上水平与竖直方向上的平移变换后，虚拟摄像机的光心坐标将平移至原来坐标位置。

与UUV横摇情况相同，由于摄像机与UUV刚性相连，当UUV产生纵倾角θ时，虚拟摄像机的主光轴也与原来位置产生θ的偏转角。

如图7所示，经光心坐标变换补偿后的虚拟摄像机坐标系(X_C′-Y_C′-Z_C′)与未有纵倾时的原始摄像机坐标系(X_C-Y_C-Z_C)间，其Y_C′与Y_C轴相互重合，但X_C与X_C′轴、Z_C′与Z_C轴均存在一个θ的夹角，使得摄像机虚拟成像平面中u′轴与未有纵倾时的摄像机成像平面u轴相互平行，v′轴与v轴有一个的夹角。所以虚拟摄像机成像平面上的坐标点(u,v)与未有纵倾时的原始摄像机成像平面上的点(u′,v′)间，u轴方向上的坐标值相等，仅需对v轴由于偏角θ所产生的偏移进行补偿即可，其补偿方程可表示为：

$\left\{\begin{array}{c}{T}_u=T_{u0}\\ T_v=T_{v0}\·\frac{\cos (\mathrm{\α}+\mathrm{\θ})}{\cos \mathrm{\θ}}\end{array}\right.---\left(13\right)$

其中：

(T_u0,T_v0)——修正补偿前的图像坐标；

(T_u,T_v)——修正补偿后的图像坐标；

α——初始安装时摄像机竖直方向上的俯仰角。

最终，可以求出左(右)摄像机由于纵倾角的补偿方程：

$\left[\begin{array}{c}{T}_{\mathrm{ul}\left(r\right)}\\ T_{\mathrm{vl}\left(r\right)}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f_{l\left(r\right)}+\mathrm{\Δh}}{f_{l\left(r\right)}}& 0& 0\\ 0& \frac{f_{l\left(r\right)}+\mathrm{\Δh}}{f_{l\left(r\right)}}\·\frac{\cos ({\mathrm{\α}}_{l\left(r\right)}+\mathrm{\θ})}{\cos \mathrm{\θ}}& \frac{f_{l\left(r\right)}+\mathrm{\Δh}}{f_{l\left(r\right)}}\·\frac{\cos ({\mathrm{\α}}_{l\left(r\right)}+\mathrm{\θ})}{\cos \mathrm{\θ}}\\ 0& 0& \frac{S_{\mathrm{yl}\left(r\right)}}{\mathrm{\Δd}}\end{array}\right]\·\left[\begin{array}{c}{T}_{u0}\\ T_{v0}\\ \frac{\mathrm{\Δd}}{S_{\mathrm{yl}\left(r\right)}}\end{array}\right]---\left(14\right)$

式中的角标l、r分别表示左、右两个水下摄像机。

(5)通过所获取的修正补偿方程对作业目标原始图像进行仿射变换，从而实现UUV纵横摇时作业目标双目视觉图像的补偿。

本发明面向UUV水下自主作业任务提出一种UUV纵横摇时的作业目标双目视觉图像补偿方法。UUV采用水下双目摄像机寻找和定位水下作业目标时，由于海流、海浪等因素的影响，UUV产生纵横摇，使作业目标在双目摄像机视觉图像中的位姿与景深产生偏差，需要进行实时修正。本发明的特点是：采用虚拟图像仿射变换的方法对作业目标图像进行实时补偿。本发明根据UUV的物理尺度、双目摄像机在UUV上的安装要素以及UUV罗经的纵横倾角信息，计算UUV纵横摇引起的双目摄像机光心坐标偏移量和主光轴偏角，构建图像修正补偿齐次方程，对作业目标在双目摄像机中的原始图像进行仿射变换，补偿UUV纵横摇引起的视觉图像的偏差。与利用UUV推进装置进行纵横摇摇减摇的技术途径相比，本方案不需投入UUV的推进系统，不会消耗UUV携带的能源；与属于图像后处理范畴的图像重构技术途径相比，本发明是从产生作业目标图像位姿与景深偏差的UUV纵横摇根源上进行补偿。本发明适用于UUV航行与悬停状态下利用双目摄像机寻找、定位水下作业目标与完成自主作业的全过程。

图2、图3中可以看出，由于UUV因横摇产生了横倾角光心坐标的偏移与主光轴的偏转将产生成像平面的偏差。由于左右摄像机相对于UUV纵剖面对称，现仅以UUV左侧摄像机为例对修正补偿进行详细说明。由公式(1)可以得出，UUV经过顺时针偏转角度后，左侧摄像机光心位置的竖直与水平偏移量Δh_l和Δx_l，并将其代入公式(2)、(3)可以实现对由于光心坐标位置偏移所采集图像的补偿，此时虚拟摄像机光心与原摄像机光心位置重合，但主光轴仍存在着的偏角，如图4所示。

针对图5由于存在大小为的横倾角时主光轴偏角问题，通过公式(6)实现对主光轴偏角的补偿，最终可以通过公式(7)、(8)的齐次补偿方程对原始图像进行仿射变换得到补偿后的图像。

图6中可以看出，由于UUV因纵摇产生了纵倾角θ，光心坐标的偏移与主光轴的偏转将产生成像平面的偏差。由公式(9)可以得出，摄像机光心位置的竖直与水平偏移量Δh和Δd，代入公式(10)、(11)可以实现对由于光心坐标位置偏移所采集图像的补偿，此时虚拟摄像机光心与原摄像机光心位置重合，但主光轴仍存在着θ的偏角，如图7所示。进而通过公示(13)实现对主光轴的偏角所产生误差的补偿，最终可以通过公式(14)的齐次补偿方程对原始图像进行仿射变换得到补偿后的图像。

在水池条件下开展了UUV水下作业目标图像因UUV纵横摇引起偏差的补偿试验。图8(a)为UUV无纵横摇时水下作业目标的原始图像；现模拟UUV纵横摇产生3度的纵倾角和横倾角，得到图8(b)；分别对图8(a)和8(b)进行图像预处理与边缘提取后得到图9(a)与图9(b)，将图9(a)与图9(b)进行比对，可以看出UUV纵横摇使图像产生了明显的偏移；利用公式(7)、(8)、(14)推导出水下作业目标双目视觉图像偏差的齐次补偿方程，并对图像进行仿射变换，得到修正补偿后的图10(b)，为了便于比对，图10(a)同时给出了UUV无纵横摇时水下作业目标的原始图像；再次通过图像预处理与边缘提取得到图11(a)与图11(b)，比对图11(a)与图11(b)，可以很明显的看出，原始图像最远点坐标为(416,187)，在有横、纵倾后坐标变为(383,230)，在经过虚拟图像仿射变换补偿后其坐标为(417,189)，误差小于5像素，从而实现了水下作业目标因UUV纵横摇在双目摄像机视觉图像中定位偏差的补偿，且补偿误差满足工程应用需求。

Claims (3)

1.一种UUV纵横摇时的双目视觉图像补偿方法，其特征在于：包括以下几个步骤，

步骤一：建立UUV的船体坐标系o-xyz，以UUV重心为原点，船艏方向为x轴，右舷方向为y轴，竖直方向为z轴，测量出左摄像机在UUV上的安装位置(x_l,y_l,z_l)，右摄像机在UUV上的安装位置(x_r,y_r,z_r)，

建立位于摄像机光学中心前端焦距f处的成像坐标系o_o-uv，原点o_o为图像第一行第一列的像素中心，u轴平行于图像的行扫描线，v轴平行于图像的列扫描线，

建立摄像机坐标系o_c-x_cy_cz_c，o_c为摄像机光心，z_c轴为摄像机的主光轴，x_c轴和y_c轴分别与成像坐标系的u轴和v轴平行；

步骤二：实时采集左、右摄像机信息获得水下作业目标的原始图像；

步骤三：实时采集UUV罗经信息获得UUV纵横摇产生的横倾角和纵倾角；

步骤四：补偿水下作业目标在双目摄像机中的视觉图像因UUV横摇产生的偏差；

UUV横摇产生大小为的横倾角，产生左、右摄像机的光心坐标位置在船体坐标系下的竖直方向偏移Δh和水平方向偏移Δx，

左摄像机的竖直方向偏移Δh_l和水平方向偏移Δx_l为：

水下作业目标在左摄像机中补偿因横摇产生偏差后的图像坐标为：

左、右摄像机的光心坐标位置偏移量对称，左、右摄像机的主光轴偏转角相同，水下作业目标在右摄像机中补偿因横摇产生偏差后的图像坐标：

(T_u0,T_v0)为修正补偿前的图像坐标，(T_u,T_v)为修正补偿后的图像坐标，S_x为水平方向上单位像素的几何长度，f为摄像机焦距，式中的角标l、r分别表示左、右两个摄像机；

步骤五：补偿水下作业目标在双目摄像机中的视觉图像因UUV纵摇产生的偏差，

UUV纵摇时产生纵倾角θ，产生左、右摄像机的光心坐标位置在船体坐标系下的竖直方向偏移Δh₁和水平方向偏移Δd，左、右摄像机的竖直方向偏移Δh₁和水平方向偏移Δd均相同，

左摄像机的竖直方向偏移Δh₁和水平方向偏移Δd分别为：

$\left\{\begin{array}{c}{\mathrm{\Δh}}_1=\sin \·x_l-(1-\cos \mathrm{\θ})\·z_l\\ \mathrm{\Δd}=(1-\cos \mathrm{\θ})\·x_l+\sin \·z_l\end{array}\right.$

水下作业目标在左摄像机中补偿因纵摇产生偏差后的图像坐标为：

$\left[\begin{array}{c}{T}_{\mathrm{ul}}^{\text{'}}\\ T_{\mathrm{vl}}^{\text{'}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f_l+\mathrm{\Δh}}{f_l}& 0& 0\\ 0& \frac{f_l+\mathrm{\Δh}}{f_l}\·\frac{\cos ({\mathrm{\α}}_l+\mathrm{\θ})}{\cos \mathrm{\θ}}& \frac{f_l+\mathrm{\Δh}}{f_l}\·\frac{\cos ({\mathrm{\α}}_l+\mathrm{\θ})}{\cos \mathrm{\θ}}\\ 0& 0& \frac{S_{\mathrm{yl}}}{\mathrm{\Δd}}\end{array}\right]\·\left[\begin{array}{c}{T}_{u0}^{\text{'}}\\ T_{v0}^{\text{'}}\\ \frac{\mathrm{\Δd}}{S_{\mathrm{yl}}}\end{array}\right]$

水下作业目标在右摄像机中补偿因纵摇产生偏差后的图像坐标为：

$\left[\begin{array}{c}{T}_{\mathrm{ur}}^{\text{'}}\\ T_{\mathrm{vr}}^{\text{'}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{f_r+\mathrm{\Δh}}{f_r}& 0& 0\\ 0& \frac{f_r+\mathrm{\Δh}}{f_r}\·\frac{\cos ({\mathrm{\α}}_r+\mathrm{\θ})}{\cos \mathrm{\θ}}& \frac{f_r+\mathrm{\Δh}}{f_r}\·\frac{\cos ({\mathrm{\α}}_l+\mathrm{\θ})}{\cos \mathrm{\θ}}\\ 0& 0& \frac{S_{\mathrm{yl}}}{\mathrm{\Δd}}\end{array}\right]\·\left[\begin{array}{c}{T}_{u0}^{\text{'}}\\ T_{v0}^{\text{'}}\\ \frac{\mathrm{\Δd}}{S_{\mathrm{yr}}}\end{array}\right]$

(T_u′₀,T_v′₀)为修正补偿前的图像坐标，(T_u′,T_v′)为修正补偿后的图像坐标，α为初始安装时摄像机竖直方向上的俯仰角，S为竖直方向上单位像素的几何长度，式中的角标l、r分别表示左、右两个摄像机；

步骤六：对水下作业目标原始图像进行放射变换，实现UUV纵横摇时水下作业目标在左、右摄像机中视觉图像的补偿。

2.根据权利要求1所述的一种UUV纵横摇时的双目视觉图像补偿方法，其特征在于：所述的水下作业目标在左、右摄像机中补偿因横摇产生偏差后的图像坐标的求取过程为：

对水下作业目标在左摄像机的视觉图像的水平方向偏移Δx_l进行修正：

$\left\{\begin{array}{c}{T}_{\mathrm{ul}1}=T_{\mathrm{ul}0}+\frac{{\mathrm{\Δx}}_l}{S_{\mathrm{xl}}}\\ T_{\mathrm{vl}1}=T_{\mathrm{vl}0}\end{array}\right.$

(T_ul0,T_vl0)为水平方向偏移修正补偿前的图像坐标，(T_ul1,T_vl1)为水平方向偏移修正补偿后的图像坐标，S_xl为水平方向上单位像素的几何长度，

对水下作业目标在左摄像机中的视觉图像的竖直方向偏移Δh_l进行修正：

$\left\{\begin{array}{c}{T}_{\mathrm{ul}2}=T_{\mathrm{ul}1}\·\frac{f_l}{f_l+{\mathrm{\Δh}}_l}\\ T_{\mathrm{vl}2}=T_{\mathrm{vl}1}\·\frac{f_l}{f_l+{\mathrm{\Δh}}_l}\end{array}\right.$

(T_ul2,T_vl2)为竖直方向偏移修正补偿后的图像坐标，f_l为左摄像机焦距，

对UUV横摇引起的左摄像机主光轴偏转角进行补偿：

(T_ul,T_vl)为主光轴偏转角修正补偿后的图像坐标，为初始安装时左摄像机偏离竖直方向上的夹角，

左、右摄像机的光心坐标位置偏移量对称，左、右摄像机的主光轴偏转角相同，水下作业目标在右摄像机中补偿因横摇产生偏差后的图像坐标的求取过程和在左摄像机下的求取过程相同。

3.根据权利要求1或2所述的一种UUV纵横摇时的双目视觉图像补偿方法，其特征在于：所述的水下作业目标在左、右摄像机中补偿因纵摇产生偏差后的图像坐标的求取过程为：

对图像由于左摄像机光心位置水平方向偏移Δd进行修正补偿：

$\left\{\begin{array}{c}{T}_{\mathrm{ul}1}^{\text{'}}=T_{\mathrm{ul}0}^{\text{'}}\\ T_{\mathrm{vl}1}^{\text{'}}=T_{\mathrm{vl}0}^{\text{'}}+\frac{\mathrm{\Δd}}{S_{\mathrm{yl}}}\end{array}\right.$

(T_u′_l0,T_v′_l0)为修正补偿前的图像坐标，(T_u′_l1,T_v′_l1)为对水平方向偏移Δd修正补偿后的图像坐标，S_yl为竖直方向上单位像素的几何长度，

对图像由于左摄像机光心位置竖直方向偏移Δh进行修正补偿：

$\left\{\begin{array}{c}{T}_{\mathrm{ul}2}^{\text{'}}=T_{\mathrm{ul}1}^{\text{'}}\·\frac{f_l+\mathrm{\Δh}}{f_l}\\ T_{\mathrm{vl}2}^{\text{'}}=T_{\mathrm{vl}1}^{\text{'}}\·\frac{f_l+\mathrm{\Δh}}{f_l}\end{array}\right.$

(T_u′_l2,T_v′_l2)为竖直方向偏移Δh修正补偿后的图像坐标，

对左摄像机的主光轴与原来位置产生偏转角θ进行补偿：

$\left\{\begin{array}{c}{T}_{\mathrm{ul}}^{\text{'}}=T_{\mathrm{ul}2}^{\text{'}}\\ t_{\mathrm{vl}}^{\text{'}}=T_{\mathrm{vl}2}^{\text{'}}\·\frac{\cos ({\mathrm{\α}}_l+\mathrm{\θ})}{\cos \mathrm{\θ}}\end{array}\right.$

(T_u′_l,T_v′_l)为主光轴偏转角θ修正补偿后的图像坐标，

左、右摄像机的竖直方向偏移Δh₁和水平方向偏移Δd均相同，水下作业目标在右摄像机中补偿因纵摇产生偏差后的图像坐标的求取过程和在左摄像机下的求取过程相同。