CN104052967A - 智能水下偏振目标深度图获取系统及其方法 - Google Patents

Abstract

本发明公开了一种智能水下偏振目标深度图获取系统及其方法，其包括图像采集模块，一相机、设置在所述相机前的旋转镜头、所述旋转镜头与激光发射/接收装置组成的联动装置、以及驱动所述联动装置的步进电机；控制模块，用于控制所述步进电机旋转来调整所述联动装置；图像处理模块，用于对输入的所述图像信息进行处理；存储模块，用来存放所述采集模块采集的所述图像信息和所述图像处理模块处理后的所述深度图像信息；显示模块，在所述控制模块的控制信号作用下将所述图像处理模块处理后得到的所述深度图像信息进行显示；电源模块，用于进行供电。通过本发明可以有效的实现水下目标深度图的获取与显示，并节省处理时间和存储空间。

Description

智能水下偏振目标深度图获取系统及其方法

技术领域

本发明涉及光学仪器技术领域，尤其涉及一种基于偏振识别的智能水下偏振目标深度图获取系统及其方法。

背景技术

传统的机器视觉是将立体的三维景物投影成平面的二维图像，在这个成像的过程中损失了深度信息，使得重构的三维景物不是唯一的，从而使机器视觉的发展受到了限制。因此，基于图像的深度信息获取具有重要的现实意义，将会大大推动机器视觉的发展。

目前深度信息获取大致分为两种：

一种是通过三维成像获得深度信息：例如激光雷达深度成像、立体视觉技术法。立体视觉中的双目立体视觉由于直接模仿了人和许多动物通过双眼获得景物的深度信息的方式，得到了更为深入的研究，但这类方法存在严格的匹配要求。

另一种是基于二维图像的深度信息获取技术。例如基于多幅图像的去雾方法，借助晴天和雾天场景的两幅图像作为参考图像来计算场景各点的深度比关系。这种方法需要涉及不同天气条件下获得的多幅场景图像，因此时效性比较差。He等人提出基于暗原色先验的去雾方法，获取场景信息。上述方法能实现单幅图像获取深度信息，但是求解过程相对复杂，因此实时性相对较差。

在水下场景中，深度信息对于水下目标检测和跟踪有着重要的作用，然而上述方法应用在水下时，存在着严重的不足，光在水体中传播时存在着严重的吸收和散射，目标信息无法到达采集设备，但是水下后向散射偏振光却包含目标的距离信息。

在此背景下，本发明针对水下场景应用需求，提供一种智能水下偏振目标深度图获取系统，通过偏振图像采集装置获得目标图像，基于后向散射光强方法，快捷的计算得到深度图。

发明内容

有鉴于此，本发明针对现有技术中存在的上述或其他缺陷，提供一种智能水下偏振目标深度图获取系统，可对水下目标的偏振图像、非偏振图像进行采集、计算、处理，从而能够得到目标的深度图。

本发明提供了一种针对水下环境的智能水下偏振成像与目标深度图获取系统，其特征在于：系统由图像采集模块、图像处理模块、控制模块、存储模块、显示模块、电源模块构成。所述的采集模块包括旋转镜头、相机、激光发射/接受装置、步进电机，相机前部安装旋转镜头，与激光发射/接收装置组成联动装置，通过控制模块触发步进电机控制偏振片角度，保证当激光发射/接收装置的激光发射端与接收端、镜面贴片处于同一垂直面时，精确得到所需偏振角度图像。所述的控制模块通过发送脉冲控制步进电机的旋转、图像处理模块的图像处理、存储模块的信息存储，显示模块的信息传输与显示。所述的图像处理模块内置有图像处理算法，对输入的采集图像进行处理，得到目标深度图。所述的存储模块是用来存放采集模块采集的图像信息和处理模块处理后的图像信息。所述的显示模块包含数-模转换器、显示屏，在控制模块的控制信号作用下将处理模块处理后得到的深度信息进行显示所述的电源模块对系统内的各个模块提供供电服务。

本发明的核心处理部分是：所述采集模块中旋转镜头与激光发射/接收装置相结合成联动装置，通过控制模块触发步进电机控制偏振片角度，保证当激光发射/接收装置的激光发射端与接收端、镜面贴片处于同一垂直面时，精确得到所需偏振角度图像并存储。所述图像处理模块是基于后向散射光强计算方法，得到水下目标的深度图。

所述旋转镜头包括以下部分：带有轴承的黑色旋转轮、非偏振片、0度偏振片、90度偏振片、镜面贴片。镜片固定在旋转轮的外边缘与旋转轮相互外切，且镜片中心线过旋转轮中心，三个镜片的中心线夹角为120度。镜面贴片贴在三条中心线上与旋转轮外边相内切。

所述图像处理模块中算法是基于后向散射光强可表述为：

步骤1、基于暗原色先验知识处理非偏振图像，选取其中暗原色值最大的10％像素区域作为背景区域。

步骤2、依据步骤1中的背景区域，做为0度偏振图像、90度偏振图像的背景区域，依据(4)式计算出后向散射光的偏振度：

$p_{\mathrm{scat}}=\mathrm{mean}\{(I_{\∞}^{\left|\right|}-I_{\∞}^{\⊥})/(I_{\∞}^{\left|\right|}+I_{\∞}^{\⊥})\}---\left(5\right)$

其中为0度偏振图像目标区域光强度，为90度偏振图像目标区域光强度。

步骤3、利用后向散射光的偏振度，以及0度偏振图像与90度偏振图像光强差，依据(5)式计算出非偏振图像中各像素点的后向散射光强：

步骤4、计算非偏图像的背景区域光强平均值，将其做为背景区域的后向散射光强B_∞。

步骤5、利用步骤3图像各像素点的后向散射光强和步骤4背景区域的后向散射光强，依据(6)式计算出R、G、B通道的目标深度信息：

Z^C _(x,y)＝-ln[1-B(x,y)/B_∞]/η  (7)

其中η为水体的衰减系数。

步骤6、将步骤5的各通道深度图进行平均，得到目标深度图：

Z_(x,y)＝(Z^R _(x,y)+Z^G _(x,y)+Z^B _(x,y))/3  (8)

其中Z^R _(x,y),Z^G _(x,y),Z^B _(x,y)为R、G、B颜色通道的深度信息。

本发明与现有技术相比，其优点在于：本发明依靠控制模块控制系统各部分，实现了图像的采集、处理，深度图像的获取、传送、显示、保存功能。该系统获得深度图信息较立体视觉获取深度信息更为方便，快捷。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据的具体实施例并结合附图，对本发明作进一步详细的说明，其中：

图1为本发明实施例装置结构框架示意图；

图2为本发明图1中控制模块具体框架示意图；

图3为本发明实施例联动装置结构示意图；

图4为本发明实施例深度计算流程示意图。

具体实施方式

图1为本发明实施例装置结构框架示意图。如图1所示，本发明提供一种智能水下偏振目标深度图获取系统，用于智能水下偏振成像与目标深度图获取，其主要包括图像采集模块、图像处理模块、控制模块、存储模块、显示模块、电源模块。

如图3所示，所述图像采集模块包括旋转镜头、相机、激光发射/接受装置、步进电机。如图2所示，所述的控制模块还包括采集控制模块，存储控制模块，图像处理控制模块，显示控制模块，其分别通过发送脉冲控制步进电机的旋转、图像处理模块的图像处理、存储模块的信息存储，显示模块的信息传输与显示。

所述的图像处理模块内置有图像处理算法，对输入的采集的图像经行处理，得到目标深度图。所述的存储模块是用来存放采集模块采集的的图像信息和处理模块处理后的图像信息。所述的显示模块包含数-模转换器、显示屏，在控制模块的控制信号作用下将处理模块处理后得到的深度信息进行显示，所述的电源模块对系统内的各个模块提供供电服务。

图3为本发明实施例联动装置结构示意图。如图3所示，所述的旋转镜头与激光发射/接收装置相结合成联动装置，旋转镜头包括以下部分：带有轴承的黑色旋转轮、非偏振片、0度偏振片、90度偏振片、镜面贴片。镜片固定在旋转轮的外边缘与旋转轮相互外切，且镜片中心线过旋转轮中心，三个镜片的中心线夹角为120度。镜面贴片贴在三条中心线上与旋转轮外边相内切。当激光出入射光线，镜面处于同一垂直平面时，激光接收装置接收到信号，由激光接收装置发送信号给控制单元，控制单元给步进电机脉冲，使步进电机带动镜头旋转。当激光接收装置接收到信号时，相机镜头前面非偏振片(0度偏振片、90度偏振片)的中心与相机镜头中心在一条直线上，所以能够精确地控制偏振角度，获得所需的图像。

控制模块功能包括采集控制模块、图像读写控制模块、图像处理控制模块、深度信息读写控制模块。下面详细叙述每个模块的功能：

采集控制模块完成对采集模块的控制，通过发送脉冲使步进电机旋转带动镜头旋转，当激光接收装置接收到激光信号时，由接收装置发送脉冲信号给采集控制模块，调用中断程序，使步进电机停止转动，同时发送触发信号到相机使相机曝光，中断结束后，步进电机正常工作。I²C总线完成对数据和控制信号的传递。

图像读写控制模块完成存储模块中图像数据的存储和读取功能，采集模块工作结束时，采集控制模块发送信号给图像读写控制模块，图像读写控制模块将采集的图像数据经过I²C总线存储到存储模块的原始数据区，当图像数据的存储结束后，图像读写控制模块接收到反馈信号，发送信号给图像处理模块，图像处理模块即执行从存数模块中进行图像数据的读取，用于深度图像的计算。

图像处理模块接收到反馈信号后，将存储模块算法存储区的算法程序和原始数据区的图像加载到图像处理模块中，对加载的图像进行基于后向散射光算法的计算，求得目标各像素的深度信息。处理结束后通过发送信号给图像读写控制模块，将处理好的深度信息存储到存储模块的处理数据区中。

深度信息读写控制模块完成深度图像的输出功能，当处理过程结束时，深度信息读写控制模块接收到信号，将图像处理模块中的数据，送入显示模块进行深度显示。

图4为本发明实施例深度计算流程示意图，如图4所示，本发明还提供了一种水下图像处理方法，其包括以下步骤：

步骤1，输入采集图像，具体方法如下：

1)调整装置中相机、旋转镜头(使激光照射在非偏振和90度偏振镜头轴之间)，接通电源，各模块为初始化状态。再将装置密封在防水罩中，将装置置于光照充足的水域，将相机镜头对准选定的目标。

2)控制模块内的采集控制模块发送脉冲使步进电机旋转带动镜头旋转，当激光接收装置接收到激光信号时(激光出入射光线，镜面处于同一垂直平面)，由接收装置发送脉冲信号给采集控制模块，调用中断程序，使步进电机停止转动，同时发送触发信号到相机使相机曝光，获取目标的非偏振图像。

3)中断程序调用结束后，返回主程序，重复步骤(2)获取目标的0度偏振照片。

4)中断程序调用结束后，返回主程序，重复步骤(2)获取目标的90度偏振照片。

5)采集模块工作结束时，采集控制模块发送信号给图像读写控制模块，图像读写控制模块将采集的图像数据经过I²C总线存储到存储模块的原始数据区。

6)预先将获取图像深度信息的算法存储在存储模块的算法存储区。

7)图像处理模块接收到反馈信号后，将存储模块算法存储区的算法程序和原始数据区的图像加载到图像处理模块中，对加载的图像进行基于后向散射光算法的计算，求得目标各像素的深度信息

算法程序和原始数据区的图像加载到图像处理模块中，对加载的图像进行基于后向散射光算法的计算，求得目标各像素的深度信息。主要包括如下步骤：

步骤2、基于暗原色先验知识，对输入非偏振图像进行暗原色处理，选取其中暗原色值最大的10％像素区域作为背景区域。

步骤3、简化水下成像模型为：I(x)＝J(x)*e^-ηz+B*(1-e^-ηz)。其中，I(x)是相机拍摄的非偏振照片的光强，J(x)为目标在理想状态(无水体散射、吸收)下的目标光强，B为水体后向散射光，η为水体的衰减系数，z为目标与相机的距离。

忽略目标的直接反射信号D和前向散射光信号F的偏振，将非偏振光强I分解为相互垂直的偏振光I^||、I^⊥(其中I^||为0度偏振图像光强度，I^⊥为90度偏振图像光强度)，根据非偏振照片光强公式S＝D+B(其中D为目标直接反射信号、B为后向散射光信号)得到

I^||＝S/2+B^||，I^⊥＝S/2+B⊥  (9)

其中B^||、B^⊥为平行和垂直时的后向散射光强度。

由于水体近似为均匀介质，假定水体的后向散射光的偏振度p_scat为常量。目标信号从无穷远的背景区域在传输过程中严重衰减，无法到达相机即S＝0。所以对于背景区域的各个像素点有

$I_{\∞}^{\left|\right|}=B_{\∞}^{\left|\right|},I_{\∞}^{\⊥}=B_{\∞}^{\⊥}---\left(10\right)$

将0度偏振片和90度偏振片相同的背景区域进行相加得到

$B_1=B_{\∞}^{\left|\right|}+B_{\∞}^{\⊥}---\left(11\right)$

将0度偏振片和90度偏振片相同的背景区域进行相减得到

                   (12)

依据式(13)计算出后向散射光的偏振度：

p_scat＝mean{B₂/B₁}  (13)

步骤4、计算非偏振图像中各像素的后向散射光的强度B_(x,y)。

由于后向散射光B可以分解为两个相互垂直的分量，所以

B_(x,y)＝B^⊥ _(x,y)+B^|| _(x,y)  (14)

依据式(13)，(14)，(15)计算出

步骤5、水体中后向散射光B强度随着距离Z的增加而减少。由公式(10)可得I_∞＝B_∞，计算非偏振照片背景区域光的强度I_∞,从而求出无穷远的后向散射光强度B_∞。

步骤6、计算R、G、B通道深度信息Z_(x,y)。

水体中分布大量的颗粒物，会在各个方向上都会造成后向散射光，为了便于计算，后向散射光的总和B为：

$B={\∫}_{\stackrel{-}{r}}B\left(\stackrel{\→}{r}\right)d\left(\stackrel{\→}{r}\right)=B_{\∞}(1-e^{-\mathrm{\ηz}})---\left(16\right)$

其中η为水体的衰减系数，z为目标与相机的距离，B_∞为无穷远的后向散射光强度即背景区域光强度。

依据式(17)计算深度信息R、G、B通道深度信息：

Z_(x,y)＝-ln[1-B_(x,y)/B_∞]/η  (17)

步骤7、分别对三个通道的图像进行步骤6的运算，求得Z^R _(x,y)、Z^G _(x,y)、Z^B _(x,y)，利用公式

Z_(x,y)＝(Z^R _(x,y)+Z^G _(x,y)+Z^B _(x,y))/3  (18)

求得目标的深度信息Z_(x,y)。

将上述步骤得到的深度信息存储到存储器模块的处理数据区中或显示深度图像。

通过数据总线将存储模块中处理数据区的数据，送入显示模块进行深度显示。显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而这些属于本发明的精神所引伸出的显而易见的变化或变动仍处于本发明的保护范围之内。

Claims (8)

1.一种智能水下偏振目标深度图获取系统，其包括：

图像采集模块，一相机、设置在所述相机前的旋转镜头、所述旋转镜头与激光发射/接收装置组成的联动装置、以及驱动所述联动装置的步进电机；

控制模块，用于控制所述步进电机旋转来调整所述联动装置，当所述激光接收装置的接收端接收到所述激光发射装置的发射端发出的激光，可得到目标偏振图像信息；

图像处理模块，用于对输入的所述图像信息进行处理，采用后向散射光强计算深度信息的方法得到水下目标的深度图像信息；

存储模块，用来存放所述采集模块采集的所述图像信息和所述图像处理模块处理后的所述深度图像图像信息；

显示模块，在所述控制模块的控制信号作用下将所述图像处理模块处理后得到的所述深度图像信息进行显示；

电源模块，连接所述偏振图像采集模块、所述控制模块、图像处理模块、存储模块，且用于进行供电。

2.如权利要求1所述的智能水下偏振目标深度图获取系统，其特征在于：所述旋转镜头还包括：带有轴承的旋转轮、非偏振片、0度偏振片、90度偏振片、3个镜面贴片，所述非偏振片、所述0度偏振片、所述90度偏振片均匀固定在所述旋转轮的外边缘，所述多个镜面贴片均匀贴在旋转轮内圆周上。

3.如权利要求2所述的智能水下偏振目标深度图获取系统，其特征在于:调整所述联动装置为通过所述处理器的控制信号控制所述步进电机旋转来控制所述偏振片的角度，当所述激光发射/接收装置的激光发射端与接收端、所述镜面贴片处于同一垂直面时，可得到所述目标偏振图像。

4.如权利要求2或3所述的智能水下偏振目标深度图获取系统，其特征在于：所述步进电机转动通过带动所述带有轴承的旋转轮驱动所述旋转镜头旋转，当任一所述偏振片/非偏振片旋转到相机前，所述激光发射装置发射激光照射到镜面贴片，所述激光接收装置接收到信号，步进电机停止转动，触发所述相机拍摄目标，获取所述偏振图像。

5.如权利要求2所述的智能水下偏振目标深度图获取系统，其特征在于：所述后向散射光强计算深度信息的方法为：

1)基于暗原色先验知识处理非偏振图像，选取其中暗原色值最大的10％像素区域作为背景区域；

2)根据所述背景区域，设为0度偏振图像、90度偏振图像的背景区域，依据式(1)计算出后向散射光的偏振度：

$p_{\mathrm{scat}}=\mathrm{mean}\{(I_{\∞}^{\left|\right|}-I_{\∞}^{\⊥})/(I_{\∞}^{\left|\right|}+I_{\∞}^{\⊥})\}---\left(1\right);$

其中,为0度偏振图像目标区域光强度，为90度偏振图像目标区域光强度；

3)利用后向散射光的偏振度，以及0度偏振图像与90度偏振图像光强差，依据式

(2)计算出非偏振图像中各像素点的后向散射光强：

为90度偏振图像像素光强度；

4)计算非偏图像的背景区域光强平均值，将其设为背景区域的后向散射光强B_∞；

5)利用步骤3)和步骤4)得到的图像中各像素点的后向散射光强和背景区域的后向散射光强，依据式(3)计算出R、G、B通道的目标深度信息：

Z^C _(x,y)＝-ln[1-B_(x,y)/B_∞/η  (3)；

其中，η为水体的衰减系数；

6)将步骤5）的各通道深度图进行平均，得到目标深度图；

Z_(x,y)＝(Z^R _(x,y)+Z^G _(x,y)+Z^B _(x,y))/3  (4)；

其中,Z^R _(x,y),Z^G _(x,y),Z^B _(x,y)为R、G、B颜色通道的深度信息。

6.一种如权利要求1-4任一项所述智能水下偏振目标深度图获取系统的智能水下偏振目标深度图获取方法，其包括以下步骤：

1)采集图像；

2)输入采集图像并基于暗原色先验知识进行背景区域划分；

3)利用偏振图像的背景区域的光强，计算出后向散射光的偏振度；

4)利用偏振图像的光强差和所求的后向散射光的偏振度进行除法运算，计算出图像中各像素点的后向散射光强；

5)利用选出的背景区域求得背景区域无穷远处的后向散射光强；

6)计算出各颜色通道的目标深度图；

7)对各通道深度图进行平均，得到目标深度图。

7.如权利要求6所述的智能水下偏振目标深度图获取方法，其特征在于：所述采集图像具体步骤如下：

a)调整相机、旋转镜头，使激光照射在非偏振和90度偏振镜头轴之间，接通电源，初始化各模块，将相机镜头对准选定的目标；

b)控制所述采集控制模块发送脉，冲使步进电机旋转带动镜头旋转，当激光接收装置接收到激光信号时，由接收装置发送脉冲信号给所述采集控制模块，调用中断程序，使步进电机停止转动，同时发送触发信号到相机，通过所述相机获取目标的非偏振图像；

c)中断程序调用结束后，重复步骤b)获取目标的0度偏振照片；

d)中断程序调用结束后，重复步骤b)获取目标的90度偏振照片；

e)采集模块工作结束时，采集控制模块发送信号给图像读写控制模块，图像读写控制模块将采集的图像数据经过总线存储到存储模块的原始数据区；

f)预先将获取图像深度信息的算法存储在存储模块的算法存储区；

g)图像处理模块接收到反馈信号后，将存储模块算法存储区的算法程序和原始数据区的图像加载到所述图像处理模块中，对加载的图像进行基于后向散射光强计算深度信息算法的计算，求得目标图像深度信息。

8.如权利要求6或7所述的智能水下偏振目标深度图获取方法，其特征在于：所述后向散射光强计算深度信息方法为：

1)基于暗原色先验知识处理非偏振图像，选取其中暗原色值最大的10％像素区域作为背景区域；

2)根据所述背景区域，设为0度偏振图像、90度偏振图像的背景区域，依据式(1)计算出后向散射光的偏振度：

$p_{\mathrm{scat}}=\mathrm{mean}\{(I_{\∞}^{\left|\right|}-I_{\∞}^{\⊥})/(I_{\∞}^{\left|\right|}+I_{\∞}^{\⊥})\}---\left(1\right);$

其中为0度偏振图像目标区域光强度，为90度偏振图像目标区域光强度；

3)利用后向散射光的偏振度，以及0度偏振图像与90度偏振图像光强差，依据式(2)计算出非偏振图像中各像素点的后向散射光强：

为90度偏振图像像素光强度；

4)计算非偏图像的背景区域光强平均值，将其做为背景区域的后向散射光强B_∞；

5)利用步骤3)和步骤4)得到的图像中各像素点的后向散射光强和背景区域的后向散射光强，依据式(3)计算出R、G、B通道的目标深度信息：

Z^C _(x,y)＝-ln[1-B_(x,y)/B_∞]/η  (3)；

其中η为水体的衰减系数；

6)将步骤5）的各通道深度图进行平均，得到目标深度图：

Z_(x,y)＝(Z^R _(x,y)+Z^G _(x,y)+Z^B _(x,y))/3  (4)；

其中Z^R _(x,y),Z^G _(x,y),Z^B _(x,y)为R、G、B颜色通道的深度信息。