CN106909925A - 一种水下图像目标检测方法 - Google Patents

Abstract

本发明公开一种水下图像目标检测方法，分别提取水下图像中的颜色、灰度及深度信息，作为水下图像目标检测模型的输入。在水下图像目标检测模型中分别计算水下图像中每个像素点颜色、灰度及深度信息的全局对比度并融合，生成多信息融合全局对比度。当像素点的多信息融合全局对比度大于一定阈值时认为该点属于目标所在的图像区域，以此判别出目标所在的图像区域，实现水下图像目标检测。该方法将图像深度信息引入到水下图像目标检测中，并通过与颜色、灰度信息的融合，能够克服水下高散射、强衰减光学环境中目标难以检测的瓶颈问题，准确地检测出水下图像目标。

Description

一种水下图像目标检测方法

技术领域

本发明涉及一种利用光学成像法而实现的水下图像目标检测方法，具体是利用水下图像颜色、灰度、深度信息多信息融合全局对比度实现水下图像目标检测的方法，属于图像处理技术领域。

背景技术

水下光学环境较为复杂，水下成像所面临的主要问题是：①水下成像光线的衰减、②水下成像光线的散射。在所成水下图像上表现为：①水下图像颜色信息畸变、②水下图像强度衰减及非均匀分布、③水下图像模糊。而目前的图像目标检测方法多是面向大气环境中清晰的图像，难以适应水下图像的特点，造成水下图像目标检测的正确率较低。为了解决这一问题，目前所采用的方法多是基于预处理的技术手段(如水下图像增强、水下图像恢复)以提高水下图像的质量，或通过引入视频序列中的运动信息以提高运动目标检测的准确性。如，文献[Foresti G L,Gentili S.A vision based systemfor objectdetectionin underwater images.International Journal of Pattern Recognitionand Artificial Intelligence,2000,14(02):167-188.]将水下图像恢复作为预处理并配合水下目标检测方法实现的水下图像目标检测。文献[王猛,杨杰,白洪亮.基于区域分割的水下目标实时识别系统.计算机仿真,2005,22(8):101-105.]首先运用去噪、图像均衡等方法对实时摄取的水下图像进行预处理，随后采用OTSU方法进行水下图像分割，以检测水下图像目标。文献[Walther D,Edgington D R,Koch C.Detection and tracking ofobjects in underwater video[C]CVPR2004,2004,1:I-544-I-549Vol.1.]提出了一种利用水下视频图像中的运动信息而检测运动图像目标的方法。上述方法所存在主要问题在于：①采用预处理的方法易引入新的噪声或导致水下图像的畸变，难以有效地提高水下图像目标检测的正确率，且会造成算法复杂度的显著提高。②采用运动信息的水下目标检测算法仅对视频运动目标有效，无法检测出单幅图像中的静态图像目标。

发明内容

发明目的：针对现有图像目标检测方法及水下图像目标检测方法在水下图像目标检测中所存在的问题，并考虑单幅水下图像中所包含的深度信息，综合利用水下图像中目标-背景在颜色信息上的对比度、目标-背景在灰度信息上的对比度、目标-背景在深度信息上的对比度，本发明提供了一种利用灰度、颜色及深度全局对比度及多信息融合全局对比度的水下图像目标检测方法。

技术方案：一种水下图像目标检测方法，包括如下部分：

(1)分别提取水下图像中的颜色、灰度及深度信息。

颜色信息选用水下图像L*a*b颜色空间中的颜色矢量[L，a，b]，灰度信息选用原始水下图像的灰度信息，深度信息由本发明所公开的基于图像分割的水下图像深度信息计算方法得到：

在人工光区域中：

如果x∈Π_a

在自然光区域中：

如果x∈Π_b

(2)水下图像颜色、灰度及深度信息全局对比度计算方法。

(3)水下图像多信息全局对比度计算方法。

(4)对多信息融合全局对比度进行归一化，得到水下图像的特征图像S′。

(5)对特征图像采用OTSU方法选择分割阈值Τ′，并采用阈值Τ′对特征图像S′进行分割，将分割结果作为水下图像目标检测结果。

有益效果：与现有技术相比，本发明提供的水下图像目标检测方法，首先，分别提取水下图像的颜色、灰度及深度信息。其次，计算水下图像中颜色信息的全局对比度、灰度信息的全局对比度、深度信息的全局对比度，并融合生成多信息融合全局对比度。最后，归一化多信息融合全局对比度生成特征图像并采用OTSU方法进行阈值的选择并对特征图像进行分割，实现水下图像目标检测。该方法将水下图像中的深度信息用于水下图像目标检测中，能够利用水下图像深度信息的全局对比度检测水下图像目标，检测的正确率较高。实施例证明本发明所公开的方法获得了较准确的水下目标检测结果。

附图说明

图1为本发明方法总体的流程图；

图2为本发明所公开方法所实现的水下图像目标检测结果，(a)为原始水下图像，(b)为灰度信息全局对比度，(c)为颜色信息全局对比度，(d)为深度信息全局对比度，(e)为多信息融合对比度，(f)为水下图像目标检测结果；

图3为水下图像深度计算结果，(a)为人工光补光条件下的水下图像，(b)为基于区域分割的水下图像深度计算，(c)为非区域的水下图像深度计算。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一、基于图像分割的水下图像深度信息计算方法

水下光学环境较为复杂，水下成像所面临的主要问题是：①水下成像光线的衰减、②水下成像光线的散射。为了解决这一问题，主要采用人工光补光的方法进行水下成像。而人工光补光成像会造成新的问题是：水下图像强度的非均匀分布。在这种条件下，非区域的水下图像深度估计方法无法准确地计算水下图像深度，如图3所示。针对这一问题，本发明公开了一种基于图像分割的水下图像深度信息计算方法。本方法采用暗信道模型进行图像分割，能够区分图像中不同区域中的光照成分，将水下图像分割为人造光区域及自然光区域，在不同的区域中分别进行深度估计。

采用暗信道模型的图像分割方法计算水下图像中每个像素点的暗信道。暗信道模型认为任意清晰图像中的像素点其邻域中必然包含至少一个像素点，该像素点至少包含一个颜色信道，该颜色信道的强度值趋近于零。因此，在水下图像中，任意像素点其邻域中必然包含至少一个像素点，该像素点至少包含一个颜色信道，该颜色信道的强度值为光幕光的强度值。区域中光幕光强度最大的点对应于该区域的背景光，根据背景光的差异区分水下图像中包含不同光照成分的不同图像区域：人工光区域及自然光区域。

<1>人工光区域暗信道模型

在水下，人工补光条件下水下图像中人工光区域中像素点的成像模型可以表示为：

I_x＝(B+L exp[-αr_x])ρ_xexp[-αr_x]+(B+β)(1-exp[-αr_x]) (1)

其中，I_x为水下图像像素点x的成像光线，B为自然背景光，L为人工光，r_x为水下图像像素点x的深度信息，α为水体的衰减系数，ρ_x为下图像像素点x位置处的目标反射率，β为人工光的散射光，(B+β)为人工背景光。

水下图像人工光区域中像素点x的暗信道可以表示为：

其中，B^dark、L^dark、α^dark、β^dark分别为成像光、自然背景光、人工光、水体衰减系数、反射率及人工光散射光在暗信道中的强度。根据暗信道模型人工光区域中像素点x的暗信道为该像素点的光幕光：

水下图像暗信道中的最大值对应于水下图像中深度最大的像素点，该位置处的r_x→+∞，则exp[-α^darkr_x]≈0，因此在人工光区域中暗信道的最大值为人工背景光，可以表示为：

<2>自然光区域暗信道模型

在水下，人工补光条件下水下图像中自然光区域中任意像素点x的成像模型可以表示为：

I_x＝Bρ_x exp[-αr_x]+B(1-exp[-αr_x]) (5)

根据<1>中所述暗信道模型的推导过程，水下图像中自然光区域中暗信道的最大值为自然背景光，可以表示为：

<3>自然背景光及人工背景光计算

在水下，人工补光条件下由于人工光照准目标，水下图像中人工光区域面积小于自然光区域面积。根据图像大小取前N个最大的暗信道：

其中，为水下图像中像素暗信道强度按照从大到小排列：

其中，为水下图像中图像所有像素点暗信道按照强度从大到小的排列计算，N的典型值取图像大小的10％。

中必然包含自然背景光B^dark及人工背景光B^dark+β^dark两种背景光。对这两种背景光，根据两个判决条件进行判决并分类。

判决条件一，在颜色信息上，自然背景光的颜色色调由于水体的光谱选择性吸收效应，暗信道必然位于红色信道：

其中color(·)为颜色信息，red为红色信道。

而在人工光区域中，由于人工散射光较强，人工背景光的颜色会发生偏移：

判决条件二，在强度信息上，由于人工光叠加，自然背景光B^dark强度小于人工背景光B^dark+β^dark强度，因此采用OTSU算法计算前N个最大的暗信道强度值的分类阈值Τ^dark，并以分类阈值Τ^dark区分两种背景光成分。

最终，综合这两种判决条件，可得如果且 如果且<4>水下图像分割

由于人工光补光，当水下图像像素点x的暗信道值强度大于自然背景光强度时，认为水下图像像素点x属于人工光区域Π_a，反之则属于自然光区域Π_b：

x∈Π_a如果

x∈Π_b如果

<5>基于水下图像分割的水下图像深度计算

在人工光区域中：

如果x∈Π_a (15)

其中，B^dark+β^dark为人工背景光，由式.12计算得到，α^dark为水体在暗信道的衰减系数，为图像像素点x在暗信道上的强度。

在自然光区域中：

如果x∈Π_b (16)

其中，B^dark为自然背景光，由式.11计算得到。

二、水下图像颜色、灰度及深度全局对比度及多信息全局对比度融合

将水下图像中的颜色、灰度及深度信息作为水下图像目标检测模型的输入，并分别计算三种信息的全局对比度，并融合生成多信息融合全局对比度。通过提取水下图像各像素点的深度信息建立了一种计算水下图像中各像素点深度信息全局对比度的计算方法，并将该深度信息的全局对比度同颜色、灰度信息的全局对比度融合，形成一种水下图像深度、颜色、灰度信息多信息融合全局对比度计算方法。

将水下图像中像素点x的颜色、灰度及深度信息的全局对比度分别表示为和水下图像多信息融合全局对比度S_x可通过累加的方法进行融合计算：

其中，颜色信息全局对比度灰度信息全局对比度和深度信息全局对比度的计算方法分别为：

其中，和分别为水下图像像素点x和y在L*a*b空间的颜色信息，为像素点x和y在L*a*b空间颜色信息间的对比度，计算为像素点x和y在L*a*b空间颜色信息间的欧式距离：

其中,L、a、b分别为L*a*b空间颜色信息的三个分量。

其中,和分别为水下图像像素点x和y的灰度信息，为水下图像像素点x和y灰度信息间的对比度，计算为和的绝对差：

其中，和分别为水下图像像素点x和y的深度信息，为水下图像像素点x和y深度信息间的对比度，计算为和的绝对差：

三、多信息融合全局对比度归一化及特征图像分割

采用多信息融合全局对比度归一化方法生成特征图像，该特征图像中像素x计算为：

其中，I为整幅水下图像。

最后，对特征图像S′采用OTSU方法选择特征图像S′的分割阈值Τ′，采用分割阈值Τ′对特征图像S′进行分割，将分割结果作为水下图像目标检测结果，如图2所示。

Claims (5)

1.一种水下图像目标检测方法，其特征在于：首先，计算水下图像中的颜色、灰度及深度信息，作为水下图像目标检测模型的输入；其次，在水下图像目标检测模型中分别计算图像中每个像素点颜色、灰度及深度信息的全局对比度，并融合生成多信息融合全局对比度；最后，在水下图像目标检测模型中将整幅水下图像中各像素点的多信息融合全局对比度归一化，生成多信息融合全局对比度特征图像，采用OTSU算法进行特征图像强度阈值的选择，当特征图像中像素点的强度大于阈值时，为该像素点属于目标所在的图像区域，以此判别出目标所在的图像区域，实现水下图像目标检测。

2.如权利要求1所述的水下图像目标检测方法，其特征在于：将水下图像中的颜色、灰度及深度信息作为水下图像目标检测模型的输入，并分别计算三种信息的全局对比度，并融合生成多信息融合全局对比度；通过提取水下图像各像素点的深度信息建立了一种计算水下图像中各像素点深度信息全局对比度的计算方法，并将该深度信息的全局对比度同颜色、灰度信息的全局对比度融合，形成一种水下图像深度、颜色、灰度信息多信息融合全局对比度计算方法；

将水下图像中像素点x的颜色、灰度及深度信息的全局对比度分别表示为和水下图像多信息融合全局对比度S_x可通过累加的方法进行融合计算：

$S_x=D_x^i+D_x^c+D_x^d---\left(1\right)$

其中，颜色信息全局对比度灰度信息全局对比度和深度信息全局对比度的计算方法分别为：

$D_x^c=\underset{\&ForAll;I_y\&Element;I}{\&Sigma;}D(I_x^c,I_y^c)=\underset{\&ForAll;I_y\&Element;I}{\&Sigma;}{({\left(I_x^c\left(L\right)-I_y^c\left(L\right)\right)}^2+{\left(I_x^c\left(a\right)-I_y^c\left(a\right)\right)}^2+{\left(I_x^c\left(b\right)-I_y^c\left(b\right)\right)}^2)}^{1/2}---\left(2\right)$

其中，和分别为水下图像像素点x和y在L*a*b空间的颜色信息，为像素点x和y在L*a*b空间颜色信息间的对比度，计算为像素点x和y在L*a*b空间颜色信息间的欧式距离：

${({\left(I_x^c\left(L\right)-I_y^c\left(L\right)\right)}^2+{\left(I_x^c\left(a\right)-I_y^c\left(a\right)\right)}^2+{\left(I_x^c\left(b\right)-I_y^c\left(b\right)\right)}^2)}^{1/2}---\left(3\right)$

其中,L、a、b分别为L*a*b空间颜色信息的三个分量；

$D_x^i=\underset{\&ForAll;I_y\&Element;I}{\&Sigma;}D(I_x^i,I_y^i)=\underset{\&ForAll;I_y\&Element;I}{\&Sigma;}\left|\right|I_x^i-I_y^i\left|\right|---\left(4\right)$

其中,和分别为水下图像像素点x和y的灰度信息，为水下图像像素点x和y灰度信息间的对比度，计算为和的绝对差：

$D_x^d=\underset{\&ForAll;I_y\&Element;I}{\&Sigma;}D(I_x^d,I_y^d)=\underset{\&ForAll;I_y\&Element;I}{\&Sigma;}\left|\right|I_x^d-I_y^d\left|\right|---\left(5\right)$

其中，和分别为水下图像像素点x和y的深度信息，为水下图像像素点x和y深度信息间的对比度，计算为和的绝对差：

3.如权利要求1所述的水下图像目标检测方法，其特征在于：采用了一种基于暗信道模型的图像分割方法，能够区分图像中不同区域中的光照成分，将水下图像分割为人造光区域及自然光区域，在不同的区域中分别进行深度估计；

区域中光幕光强度最大的点对应于该区域的背景光，根据背景光的差异区分水下图像中包含不同光照成分的不同图像区域：人工光区域及自然光区域；

<1>人工光区域暗信道模型

在水下，人工补光条件下水下图像中人工光区域中像素点的成像模型可以表示为：

I_x＝(B+L exp[-αr_x])ρ_xexp[-αr_x]+(B+β)(1-exp[-αr_x]) (6)

其中，I_x为水下图像像素点x的成像光线，B为自然背景光，L为人工光，r_x为水下图像像素点x的深度信息，α为水体的衰减系数，ρ_x为下图像像素点x位置处的目标反射率，β为人工光的散射光，(B+β)为人工背景光。

水下图像人工光区域中像素点x的暗信道可以表示为：

$\begin{array}{c}{I}_x^{dark}=\underset{c\&Element;\left\{r,g,b\right\}}{\min }\left(\underset{y\&Element;{\mathrm{\&Omega;}}_x}{\min }{I}^c\left(y\right)\right)\\ =\left(B^{dark}+L^{dark}\exp \&lsqb;-{\mathrm{\&alpha;}}^{dark}{r}_x\&rsqb;\right){\mathrm{\&rho;}}_y^{dark}\exp \&lsqb;-{\mathrm{\&alpha;}}^{dark}{r}_x\&rsqb;+\left(B^{dark}+{\mathrm{\&beta;}}^{dark}\right)\left(1-\exp \&lsqb;-{\mathrm{\&alpha;}}^{dark}{r}_x\&rsqb;\right)\end{array}---\left(7\right)$

其中，B^dark、L^dark、α^dark、β^dark分别为成像光、自然背景光、人工光、水体衰减系数、反射率及人工光散射光在暗信道中的强度；根据暗信道模型人工光区域中像素点x的暗信道为该像素点的光幕光：

$I_x^{dark}\&ap;(B^{dark}+{\mathrm{\&beta;}}^{dark})(1-\exp \&lsqb;-{\mathrm{\&alpha;}}^{dark}{r}_x\&rsqb;)---\left(8\right)$

水下图像暗信道中的最大值对应于水下图像中深度最大的像素点，该位置处的r_x→+∞，则exp[-α^darkr_x]≈0，因此在人工光区域中暗信道的最大值为人工背景光，可以表示为：

$\underset{x}{max}\left(I_x^{dark}\right)=B^{dark}+{\mathrm{\&beta;}}^{dark}---\left(9\right)$

<2>自然光区域暗信道模型

在水下，人工补光条件下水下图像中自然光区域中任意像素点x的成像模型可以表示为：

I_x＝Bρ_xexp[-αr_x]+B(1-exp[-αr_x]) (10)

根据<1>中所述暗信道模型的推导过程，水下图像中自然光区域中暗信道的最大值为自然背景光，可以表示为：

$\underset{x}{max}\left(I_x^{dark}\right)=B^{dark}---\left(11\right)$

<3>自然背景光及人工背景光计算

在水下，人工补光条件下由于人工光照准目标，水下图像中人工光区域面积小于自然光区域面积。根据图像大小取前N个最大的暗信道：

$\&lsqb;K_1^{dark},K_2^{dark},...,K_N^{dark}\&rsqb;---\left(12\right)$

其中，为水下图像中像素暗信道强度按照从大到小排列：

$K_n^{dark}=\underset{x}{sort}\left(I_x^{dark}\right)---\left(13\right)$

其中，为水下图像中图像所有像素点暗信道按照强度从大到小的排列计算；

中必然包含自然背景光B^dark及人工背景光B^dark+β^dark两种背景光。对这两种背景光，根据两个判决条件进行判决并分类；

判决条件一，在颜色信息上，自然背景光的颜色色调由于水体的光谱选择性吸收效应，暗信道必然位于红色信道：

$color\left(K_n^{dark}\right)=red---\left(14\right)$

其中color(·)为颜色信息，red为红色信道；

而在人工光区域中，由于人工散射光较强，人工背景光的颜色会发生偏移：

$color\left(K_n^{dark}\right)\&NotEqual;red---\left(15\right)$

判决条件二，在强度信息上，由于人工光叠加，自然背景光B^dark强度小于人工背景光B^dark+β^dark强度，因此采用OTSU算法计算前N个最大的暗信道强度值的分类阈值Τ^dark，并以分类阈值Τ^dark区分两种背景光成分；

最终，综合这两种判决条件，可得

如果且

如果且

<4>水下图像分割

由于人工光补光，当水下图像像素点x的暗信道值强度大于自然背景光强度时，认为水下图像像素点x属于人工光区域Π_a，反之则属于自然光区域Π_b：

x∈Π_a如果

x∈Π_b如果

4.如权利要求1所述的水下图像目标检测方法，其特征在于，采用基于图像区域的深度信息计算方法：

在人工光区域中：

如果x∈Π_a (20)

其中，B^dark+β^dark为人工背景光，由式.9计算得到，α^dark为水体在暗信道的衰减系数，为图像像素点x在暗信道上的强度；

在自然光区域中：

如果x∈Π_b (21)

其中，B^dark为自然背景光，由式11计算得到。

5.如权利要求1所述的水下图像目标检测方法，其特征在于，采用多信息融合全局对比度归一化方法生成特征图像，该特征图像中像素x计算为：

$S_x^{\&prime;}=\frac{S_x-\underset{y\&Element;I}{min}\left(S_y\right)}{\underset{y\&Element;I}{max}\left(S_y\right)-\underset{y\&Element;I}{\min }\left(S_y\right)}---\left(22\right)$

其中，I为整幅水下图像；

最后，对特征图像S′采用OTSU方法选择特征图像S′的分割阈值Τ′，采用分割阈值Τ′对特征图像S′进行分割，将分割结果作为水下图像目标检测结果。