CN102663697A - 一种水下彩色视频图像的增强方法 - Google Patents

Abstract

本发明公开了一种水下彩色视频图像的增强方法，包括以下步骤：根据可见光在水中的传播特性、像面上的光线组成及预期目标建立水下光学成像模型；根据暗原色的先验规律估算水下光学成像模型的吸收函数t(x，y)和散射参数A，将水下彩色视频图像I复原成图像J；依据基于Retinex理论的图像增强处理方法对复原图像J进行增强。本发明首次将暗原色先验规律和基于Retinex理论的图像处理方法相结合，先根据水下光学成像模型进行复原处理以去除散射引起的模糊噪声，再进行增强处理以锐化细节及调整偏色，相较于以往单纯的采用复原或增强的实现方式有更好的鲁棒性。

Description

一种水下彩色视频图像的增强方法

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种水下彩色视频图像的增强方法。

背景技术

电磁波是一种辐射波，可以在空气和真空中传播，而在空气以外的介质中迅速衰减，声波是一种机械波，需凭借介质进行传递，因此，目前海洋中探测和传递信息的主要载体是声波，其在海洋中的传播距离可达上万海里，且频率越低传播距离越远；现阶段声学设备普遍采用的频率最高约为MHz的数量级，而可见光的频率范围约为万GHz的数量级，因此，可见光图像相较于声纳图像可以表现更多的细节。所以，当前海洋中的通信、探测和定位主要凭借声学设备，而对于物体细节的观测则普遍采用可见光近距离成像的方式。基于可见光的水下彩色视频成像系统具有作用距离短、成像模糊、细节丢失及偏色等弊端，为了解决可视距离和成像质量这对矛盾，人们从两方面着手投入大量的精力进行解决：一种是基于“硬件”的改善，主要指基于海洋中“蓝绿窗口”这一物理特性的基于激光光源的水下成像系统，在能见度较好的水域可视距离增加，在能见度较差的水域距离增加不明显，且因体积、重量、耗电量大，有盲区，及图像清晰度差等原因限制了它的普及；另一种是基于“软件”的改善，即通过数字图像处理的方法进行增强，但仅限于借助数学手段去除噪声、提高对比度等等，鲁棒性差。

发明内容

为解决现有技术存在的上述问题，本发明的目的在于提供一种基于可见光在水中的传播特性及像面上的光线组成的基础上，能够有效改善能见度较差水域彩色视频图像模糊、细节丢失及偏色等问题的水下彩色视频图像增强方法，且具有较好的鲁棒性。

为实现上述发明目的，本发明采用如下的技术方案：

一种水下彩色视频图像的增强方法，包括以下步骤：

A、根据可见光在水中的传播特性、像面上的光线组成及预期目标建立水下光学成像模型如下式，

I(x，y)＝J(x，y)×t(x，y)+A(1-t(x，y))

式中，I(x，y)为所采集的水下彩色视频图像I，其中自变量x、y表示二维图像平面上像素点的位置坐标。J(x，y)t(x，y)表征物体表面反射光线直射到像面上没有被散射的部分，t(x，y)称为吸收函数；A(1-t(x，y))表征物体表面反射光线经单次或多次散射到达像面上的前向散射光，及水下照明光源投向水下物体时沿反方向投射到像面上的后向散射光，A称为散射参数；

B、由所采集的水下彩色视频图像I，根据暗原色的先验规律估算水下光学成像模型的吸收函数t(x，y)和散射参数A，从而实现对水下彩色视频图像I的复原，包括如下步骤：

B1、对读入的图像I进行分块并分别求取暗原色通道值，表达式为，

$I_i^{\mathrm{dark}}(x,y)=\min \left(\min \left(I_i^c(x,y)\right)\right)c\∈\{R,G,B\},x,y\∈{\mathrm{\φ}}_i(i=\mathrm{1,2},...n)$

其中，φ_i表示图像I的第i块方形区域，n为所分的块数，I^c表征图像I的红、绿、蓝RGB空间的一个颜色分量，

表征图像I的第i块方形区域内某一个颜色分量的灰度值，是指第i块方形区域内某一颜色分量灰度的最小值，图像I的暗原色通道值

表征为图像I的第i块方形区域内各点的灰度值均相等，且取值为该块方形区域内三个颜色分量中的最小灰度值；

B2、根据所求取的图像I的暗原色通道值

确定图像I的成像模型中的散射参数A，A的确定步骤为：

B21、将图像I的暗原色通道值由大到小进行排序；

B22、依次选取图像I的暗原色通道值

中较大的像素0.1％个所处的位置，作为备选区间；

B23、根据图像I的RGB空间颜色分量I^c获取图像I的亮度值I_v，表达式为，

$I_v=\frac{1}{3}(I^R+I^G+I^B)$

B24、在图像I中，在备选区间内，最大亮度值I_v即为图像I的成像模型中的散射参数A；

B3、对读入的图像I的RGB空间颜色分量I^c进行分块并分别求取暗原色通道值，表达式为，

$I_i^{\mathrm{cdark}}(x,y)=\min \left(I_i^c(x,y)\right)c\∈\{R,G,B\},x,y\∈{\mathrm{\φ}}_i(i=\mathrm{1,2},...n)$

其中，表征图像I^c的第i块方形区域内的灰度值，图像I^c的暗原色通道值

表征为图像I^c第i块方形区域内各点的灰度值均相等，且取值为该块方形区域内的最小灰度值；

B4、根据所求取的图像I的RGB空间颜色分量I^c的暗原色通道值

确定图像I^c成像模型中的散射参数A^c，A^c的确定步骤为：

B41、分别将图像I^c的暗原色通道值由大到小进行排序；

B42、分别依次选取图像I^c的暗原色通道值中较大的像素0.1％个，作为各自的备选区间；

B43、在图像I^c中，在备选区间内，最大的灰度值即为I^c成像模型中的散射参数A^c；

B5、根据所确定的散射参数A^c分块计算图像I成像模型中的吸收函数t_i(x，y)，表达式为，

$t_i(x,y)=1-\mathrm{\ω}\min \left(\min \left(\frac{I^c(x,y)}{A^c}\right)\right)c\∈\{R,G,B\},x,y\∈{\mathrm{\φ}}_i(i=\mathrm{1,2},...n)$

ω∈(0，1]，称为透视参数；

B6、将吸收函数和散射参数带入水下光学成像模型，由所采集的图像反推，从而实现对水下彩色视频图像的复原，表达式为，

$J_i(x,y)=\frac{I_i(x,y)-A}{\max (t_i(x,y),t_0)}+\mathrm{Ax},y\∈{\mathrm{\φ}}_i(i=\mathrm{1,2},...n)$

其中，t₀为当水下拍摄的图像中出现大片白色区域与暗原色规律不符时所设定的阈值，取值0.1；

C、依据基于Retinex理论的图像增强处理方法对上述复原图像J进行增强，具体步骤如下：

C1、获得上述复原图像J的RGB空间颜色分量J^c；

C2、分别对复原图像J的RGB空间颜色分量J^c进行增强；基于Retinex理论，将复原图像的颜色分量J^c看作是照射到景物上的入射光颜色分量和景物反射光颜色分量R^c的乘积，则R^c即为J^c的增强图像，表达式为，

$R^c(x,y)=\underset{k=1}{\overset{3}{\mathrm{\Σ}}}{w}_k{R}_k^{c}c\∈\{R,G,B\}$

其中，为基于第k个尺度下的尺度因子σ_k所获得的R^c，表达式由下式进行描述，

$\log R_k^c(x,y)=\log J^c(x,y)-\log \frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_k}}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}_k^2}}*J^c(x,y)c\∈\{R,G,B\},k=\mathrm{1,2,3}$

式中，*为卷积运算，k为尺度个数，σ_k称为第k个尺度的尺度因子，其值小，动态范围压缩好，其值大，色感一致性好，此处共有大、中、小三个尺度，分别选用σ_k＝250、σ_k＝80、σ_k＝15，w_k称为不同尺度下所复原颜色分量

的权重，取值w₁＝w₂＝w₃＝1/3；

C3、将增强图像的颜色分量R^c基于不同权重进行叠加，从而获得由图像I经复原、增强处理后的输出，其表达式为，

R(x，y)＝q^rR^R(x，y)+q^gR^G(x，y)+q^bR^B(x，y)

式中，q^r、q^g、q^b称为颜色分量R^c(x，y)的权重，应满足如下关系：

q^r＞q^g＞q^b

取值q^r∶q^g∶q^b＝4∶3∶2。

与现有技术相比，本发明的有益效果如下：

1)针对能见度较差水域，基于传统光源的水下光学成像系统可视距离短、成像模糊和偏色等问题，本发明首次采用先通过复原处理以去除散射引起的模糊噪声，再采用增强处理锐化细节及调整偏色的处理方式，相较于以往单纯的采用复原或增强的实现方式有更好的鲁棒性；

2)暗原色先验规律来自对户外无雾图像数据库的统计规律，可以有效的对单一大气图像去雾，基于Retinex理论的图像增强方法在动态范围压缩、边缘增强和颜色恒常性三方面都具有良好的特性，本发明首次将暗原色先验规律和基于Retinex理论的图像处理方法相结合，解决水下彩色视频图像模糊和偏色等问题。

附图说明

本发明共有附图3张，其中：

图1为可见光在水中的传播成像模型示意图；

图2为Retinex常规算法流程框图；

图3为水下彩色视频图像复原增强处理流程框图。

图中：1、水下摄像机，2、水下照明光源，3、水下物体，4、水中悬浮粒子，5、直射光线，6、前向散射光线，7、后向散射光线。

具体实施方式

一种水下彩色视频图像增强方法，先基于可见光在水中的传播特性及像面上的光线组成构建退化模型，应用暗原色先验规律复原图像，以去除由散射引起的模糊噪声，再兼顾水体对可见光吸收的不均匀性，应用Retinex理论(Retinex由视网膜Retina和大脑皮层Cortex两个词组组合而成)对图像进行增强，以锐化和丰富细节，从而改善了水下彩色视频图像成像模糊，细节丢失及偏色等问题，具有较好的鲁棒性，下面结合附图实施例对本发明作进一步详细描述：

如图1所示，水下照明光源2照射到水下物体3上的反射光线投射到水下摄像机1的图像传感器上进行成像，传感器上的光线组成共有三部分：①反射光线仅经过水体的衰减作用投射到传感器上的直射光线5；②反射光线经水中悬浮粒子4的单次或多次散射作用投射到传感器上的前向散射光线6；③水下照明光源2投向水下物体3时沿反方向投射到传感器上的后向散射光线7。由此，确定水下光学成像模型如下式所示，

I(x，y)＝J(x，y)×t(x，y)+A(1-t(x，y))

I(x，y)为所采集的水下彩色视频图像，J(x，y)t(x，y)表征图像上的直射光线4，它体现水体对反射光J(x，y)的吸收作用，因此t(x，y)被称作吸收函数，A(1-t(x，y))表征图像上的散射光线，即前向散射光线5和后向散射光线6，因此A被称作散射参数；

暗原色先验的规律是通过对户外无雾图像的观察得出的：在绝大多数非天空的局部区域里，总会存在某一些像素有至少一个颜色通道具有很低的值，换言之，该区域光强度的最小值是个很小的数。绝大部分水下图像都符合暗原色先验的规律。在水下环境中，造成暗原色中低通道值主要有三个因素：①水下各种复杂物体的投影或阴影；②色彩鲜艳的物体或表面，在RGB的三个通道中有些通道的值很低(比如绿色、红色或黄色的水下生物或者蓝色的水面)；③颜色较暗的物体或者表面，例如灰暗的石头。由此，绝大部分海洋环境中拍摄的图像是符合暗原色先验的规律的。在某些情况下可能会存在一些特殊的图像，使得暗原色先验的规律并不成立，如水下拍摄的图像中出现大片白色的区域时，可能在图像的某一小块区域内找不到值较低的颜色通道，因此需设定阈值将该区域剔除，此处设定阈值t₀＝0.1。

Retinex理论是以科学实验和分析为基础的图像增强算法，主要包含两方面内容：①物体的颜色是由物体对不同波长光线的反射能力决定的，而不是由反射光强度绝对值决定的；②物体的色彩不受光照非均匀性的影响，具有一致性。其基本思想是抛开低频变化的照射光的影响来获得高频反射光的性质，即物体的原本面貌，Retinex常规算法流程框图如图2所示，由复原后的水下彩色视频图像J的RGB空间颜色分量J^c经低通滤波后获得低频变化的照射光L^c，再对J^c的对数与L^c的对数的差取指数运算，其结果为具有高频特性的反射光R^c，采用高斯低通滤波函数具有较好的处理效果已经被学者们证实，但弊端是高斯低通滤波函数中尺度因子σ的选取不能同时兼顾动态范围和整体色感的一致性，尺度因子小，动态范围压缩大，呈现较好的细节，但整体色感的一致性差，尺度因子大，整体色感一致性好，但细节不清晰，为此，分别选用σ_k＝250、σ_k＝80、σ_k＝15大、中、小三个不同尺度因子的高斯低通滤波函数进行处理，再分别基于各自1/3尺度权重的叠加，则获得对复原后J的RGB空间颜色分量J^c增强处理后的图像R^c，再兼顾水体对可见光吸收的不均匀性，基于不同权重进行叠加，q^r、q^g、q^b分别表示增强处理后的颜色分量R^R(x，y)、R^G(x，y)、R^B(x，y)的权重，此处，q^r∶q^g∶q^b＝4∶3∶2。

本发明所提出的一种针对水下彩色视频图像复原增强处理流程框图如图3所示，包括如下步骤：

①分块计算图像I的暗原色通道值表达式为，

$I_i^{\mathrm{dark}}(x,y)=\min \left(\min \left(I_i^c(x,y)\right)\right)c\∈\{R,G,B\},x,y\∈{\mathrm{\φ}}_i(i=\mathrm{1,2},...n)$

②根据

确定图像I的成像模型中的散射参数A；

③对读入的图像I的RGB空间颜色分量I^c进行分块并分别求取暗原色通道值，表达式为，

$I_i^{\mathrm{cdark}}(x,y)=\min \left(I_i^c(x,y)\right)c\∈\{R,G,B\},x,y\∈{\mathrm{\φ}}_i(i=\mathrm{1,2},...n)$

④根据

确定图像I^c成像模型中的散射参数A^c；

⑤根据A^c分块计算图像I成像模型中的吸收函数t_i(x，y)，表达式为

$t_i(x,y)=1-0.95\min \left(\min \left(\frac{I^c(x,y)}{A^c}\right)\right)c\∈\{R,G,B\},x,y\∈{\mathrm{\φ}}_i(i=\mathrm{1,2},...n)$

⑥根据A和t_i(x，y)将原图像I分块复原为图像J，表达式为

$J_i(x,y)=\frac{I_i(x,y)-A}{\max (t_i(x,y),t_0)}+\mathrm{Ax},y\∈{\mathrm{\φ}}_i(i=\mathrm{1,2},...n)$

⑦将复原图像J的RGB空间颜色分量J^c进行增强处理，输出R^c，表达式为

$R^c(x,y)=\underset{k=1}{\overset{3}{\mathrm{\Σ}}}{w}_k{R}_c^{k}c\∈\{R,G,B\}$

其中，

的表达式由下式进行描述，

$\log R_k^c(x,y)=\log J^c(x,y)-\log \frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_k}}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}_k^2}}*J^c(x,y)c\∈\{R,G,B\},k=\mathrm{1,2,3}$

⑧将增强图像的颜色分量R^c基于不同权重进行叠加，输出R，表达式为，

R(x，y)＝q^rR^R(x，y)+q^gR^G(x，y)+q^bR^B(x，y)

式中，

q^r∶q^g∶q^b＝4∶3∶2

⑨R即为水下彩色视频图像I经复原、增强处理后的输出。

以上对本发明实施例所提供的一种水下彩色视频图像增强方法进行了详细的介绍，本文中应用了具体案例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，而对于本领域的一般技术人员，依据本发明的思想在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书所述不应理解为对本发明的限制。

Claims (1)

1.一种水下彩色视频图像的增强方法，其特征在于：包括以下步骤：

A、根据可见光在水中的传播特性、像面上的光线组成及预期目标建立水下光学成像模型如下式，

I(x，y)＝J(x，y)×t(x，y)+A(1-t(x，y))

式中，I(x，y)为所采集的水下彩色视频图像I，其中自变量x、y表示二维图像平面上像素点的位置坐标。J(x，y)t(x，y)表征物体表面反射光线直射到像面上没有被散射的部分，t(x，y)称为吸收函数；A(1-t(x，y))表征物体表面反射光线经单次或多次散射到达像面上的前向散射光，及水下照明光源投向水下物体时沿反方向投射到像面上的后向散射光，A称为散射参数；

B、由所采集的水下彩色视频图像I，根据暗原色的先验规律估算水下光学成像模型的吸收函数t(x，y)和散射参数A，从而实现对水下彩色视频图像I的复原，包括如下步骤：

B1、对读入的图像I进行分块并分别求取暗原色通道值，表达式为，

$I_i^{\mathrm{dark}}(x,y)=\min \left(\min \left(I_i^c(x,y)\right)\right)c\∈\{R,G,B\},x,y\∈{\mathrm{\φ}}_i(i=\mathrm{1,2},...n)$

其中，φ_i表示图像I的第i块方形区域，n为所分的块数，I^c表征图像I的红、绿、蓝RGB空间的一个颜色分量，表征图像I的第i块方形区域内某一个颜色分量的灰度值，

是指第i块方形区域内某一颜色分量灰度的最小值，图像I的暗原色通道值

表征为图像I的第i块方形区域内各点的灰度值均相等，且取值为该块方形区域内三个颜色分量中的最小灰度值；

B2、根据所求取的图像I的暗原色通道值

确定图像I的成像模型中的散射参数A，A的确定步骤为：

B21、将图像I的暗原色通道值由大到小进行排序；

B22、依次选取图像I的暗原色通道值

中较大的像素0.1％个所处的位置，作为备选区间；

B23、根据图像I的RGB空间颜色分量I^c获取图像I的亮度值I_v，表达式为，

$I_v=\frac{1}{3}(I^R+I^G+I^B)$

B24、在图像I中，在备选区间内，最大亮度值I_v即为图像I的成像模型中的散射参数A；

B3、对读入的图像I的RGB空间颜色分量I^c进行分块并分别求取暗原色通道值，表达式为，

其中，

表征图像I^c的第i块方形区域内的灰度值，图像I^c的暗原色通道值

表征为图像I^c第i块方形区域内各点的灰度值均相等，且取值为该块方形区域内的最小灰度值；

B4、根据所求取的图像I的RGB空间颜色分量I^c的暗原色通道值

确定图像I^c成像模型中的散射参数A^c，A^c的确定步骤为：

B41、分别将图像I^c的暗原色通道值由大到小进行排序；

B42、分别依次选取图像I^c的暗原色通道值中较大的像素0.1％个，作为各自的备选区间；

B43、在图像I^c中，在备选区间内，最大的灰度值即为I^c成像模型中的散射参数A^c；

B5、根据所确定的散射参数A^c分块计算图像I成像模型中的吸收函数t_i(x，y)，表达式为，

$t_i(x,y)=1-\mathrm{\ω}\min \left(\min \left(\frac{I^c(x,y)}{A^c}\right)\right)c\∈\{R,G,B\},x,y\∈{\mathrm{\φ}}_i(i=\mathrm{1,2},...n)$

ω∈(0，1]，称为透视参数；

B6、将吸收函数和散射参数带入水下光学成像模型，由所采集的图像反推，从而实现对水下彩色视频图像的复原，表达式为，

$J_i(x,y)=\frac{I_i(x,y)-A}{\max (t_i(x,y),t_0)}+\mathrm{Ax},y\∈{\mathrm{\φ}}_i(i=\mathrm{1,2},...n)$

其中，t₀为当水下拍摄的图像中出现大片白色区域与暗原色规律不符时所设定的阈值，取值0.1；

C、依据基于Retinex理论的图像增强处理方法对上述复原图像J进行增强，具体步骤如下：

C1、获得上述复原图像J的RGB空间颜色分量J^c；

C2、分别对复原图像J的RGB空间颜色分量J^c进行增强；基于Retinex理论，将复原图像的颜色分量J^c看作是照射到景物上的入射光颜色分量和景物反射光颜色分量R^c的乘积，则R^c即为J^c的增强图像，表达式为，

$R^c(x,y)=\underset{k=1}{\overset{3}{\mathrm{\Σ}}}{w}_k{R}_k^{c}c\∈\{R,G,B\}$

其中，

为基于第k个尺度下的尺度因子σ_k所获得的R^c，表达式由下式进行描述，

$\log R_k^c(x,y)=\log J^c(x,y)-\log \frac{1}{\sqrt{2\mathrm{\π}{\mathrm{\σ}}_k}}{e}^{-\frac{x^2+y^2}{2{\mathrm{\σ}}_k^2}}*J^c(x,y)c\∈\{R,G,B\},k=\mathrm{1,2,3}$

式中，*为卷积运算，k为尺度个数，σ_k称为第k个尺度的尺度因子，其值小，动态范围压缩好，其值大，色感一致性好，此处共有大、中、小三个尺度，分别选用σ_k＝250、σ_k＝80、σ_k＝15，w_k称为不同尺度下所复原颜色分量

的权重，取值w₁＝w₂＝w₃＝1/3；

C3、将增强图像的颜色分量R^c基于不同权重进行叠加，从而获得由图像I经复原、增强处理后的输出，其表达式为，

R(x，y)＝q^rR^R(x，y)+q^gR^G(x，y)+q^bR^B(x，y)

式中，q^r、q^g、q^b称为颜色分量R^c(x，y)的权重，应满足如下关系：

q^r＞q^g＞q^b

取值q^r∶q^g∶q^b＝4∶3∶2。

Images