CN109741285B - 一种水下图像数据集的构建方法及系统 - Google Patents

Abstract

本发明属于图像处理领域，公开了一种水下图像数据集的构建方法及系统,构建包含各种类型的水下模糊图像数据集，并基于人工标记方法建立其背景光数据集；同时，提出基于图像色彩度、对比度、梯度、锐度的四维面积评价指标对水下图像质量进行评价，从而构建水下高清图像数据集。本发明基于人类主观判别，能够保证输出水下背景光的准确性；本发明所构建的水下模糊图像数据集及其背景光数据集，可以作为水下图像复原研究中数据源和背景光估计基准；本发明的水下高清图像数据集构建方法简单、快速，所构建的水下图像数据集能够为基于深度学习的水下图像质量增强算法提供训练样本，所提出的水下图像质量评价方法可以用于水下图像质量评价。

Description

一种水下图像数据集的构建方法及系统

技术领域

本发明属于图像处理领域，尤其涉及一种水下图像数据集的构建方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

通过众包(Crowdsourcing)方法构建图像数据集。例如，ImageNet数据集(http://image-net.org/index)是目前深度学习图像领域应用最广泛的数据集之一，包括1400多万幅图片，涵盖2万多个类别。类似的数据集还包括加拿大先进技术研究院的CIFAR(http://www.cs.toronto.edu/～kriz/cifar.html)，Google的Open Images(https://storage.googleapis.com/openimages/web/index.html)，以及用于人脸识别的LFW(http://vis-www.cs.umass.edu/lfw/)等。众包方法能够构建非常庞大的数据集，但可能需要庞大的资金支持和维护人员，且可控性差。虽然此类数据集的数据量多、类别广，但数据集中的图像主要是自然光下的景物，且主要面向图像分类、定位、检测等研究，不适合开展水下图像质量优化研究。

通过主观方法构建质量评价数据集。广泛使用的图像质量评价数据集，例如LIVE和CSIQ，均采用标准化的主观质量评价方法，由一定数量的观察者对不同类型质量损伤的一组图像进行评分，记录MOS或DMOS(平均主观得分)和对应的图像。这种图像数据集主要针对图像编码、传输和显示带来的质量损失图像，且图像均为大气环境中的图像，同样不适用于水下图像的增强和复原。

目前，用于图像处理的大气环境下的图像数据集有很多，对于大气环境下图像清晰化方法和图像质量评价已有一个相对完善的体系。然而，由于水下图像特殊的成像原理，处理大气图像的方法和评价体系并不能直接用于水下图像。因此，构建一个公开的水下图像数据集是非常有必要的。可以通过Bing等图像搜索API获取大量的水下图像，这时构建一种快速、有效的水下图像质量评价模型就成了构建高质量水下图像数据集的关键。在评价水下彩色图像的质量时，通常从如下几个方面考虑：(a)与人的知觉有关；(b)适用于混浊水中拍摄的图像的典型失真类型；(c)水下图像增强方法的可靠性；(d)可以测量的相似图像内容中的失真程度；(e)计算复杂度低，可实时实现。对于RGB颜色空间各分量间的绝对变化，HVS对相对变化更为敏感。HVS对与相对性对比度的敏感程度随背景光照的变化而变化。在不同的区域内，得到了不同的对比度灵敏度的斜率。因此，相对亮度的显著差异为背景照明水平相关。因此，水下图像对比度测量是作为一个函数的相对对比度变化。边缘锐度可以看作是边缘像素上的对比度，因此在锐度评价中也采用了相对变化的度量。参数化对数图像处理(Parameterized Logarithmic Image Processing,PLIP)提供了与许多HVS属性，一致的非线性表示和处理操作，如亮度范围反演、韦伯定律、饱和度特征和上下文相关的心理物理符号。在水下对比度测量的公式中也考虑了PLIP操作。

目前，水下图像的客观评价仍然是一个挑战。大多数水下图像处理算法的结果都是通过使用人工观察者来评估其视觉效果。一些算法使用通用的图像质量评估方法，如PSNR、MSE和Michelson对比度来衡量增强性能。然而，这些质量评价方法并不是专门为水下图像设计的，将这些评价方法直接应用于水下图像的质量评价经常会失败。Trucco等人利用统计分析评价图像质量，为了获得真正性、假正性、相等错误率等统计值，需要对地面真值图像进行人工标注，但是该过程耗时且无法自动化。Hou等人提出了一种基于边缘加权灰度角(Grayscale Angles,GSAs)的客观测量方法，用于测量水下图像的模糊程度。在他们的方法中，边缘的梯度被用来测量锐度。直方图分析是评价水下图像质量的另一种方法。众所周知，具有视觉上吸引力的图像具有范围较广的直方图分布。然而，这种直方图比较方法只能得到分析性的结果，而不能得到定量的测量结果。为了克服这一局限性，一些方法假设梯度幅值直方图的分布是指数型的，除了在低梯度处有一个小峰对应于均匀背景。

目前尚未见公开的水下图像数据集，包括模糊的水下图像及背景点强度数据集和高质量的水下图像数据集。水下图像数据集是水下图像质量优化研究的基础，然而由于缺乏公开的数据集，目前相关技术研究各自采用不同的数据源进行性能分析，缺乏统一的评判基准。图像清晰化技术大致可以分为两类：图像增强方法和图像复原方法。图像增强方法并不考虑水下图像成像原理，主要通过调整图像像素值恢复图像更多的信息和细节。图像复原方法通常是基于水下成像的物理模型，分析水下图像退化机理，估计成像模型参数并以反补偿等方式恢复出清晰自然的水下图像。水下图像数据集在这两类图像清晰化技术中都起到了至关重要的作用。

He等人收集了5000张大气中的无雾图像，并将图像中存在天空的区域裁剪。从实验的结果观察到暗通道中有75％的像素值为零值，90％的像素强度低于25，这个统计数据给出了强力支持暗通道优先。因此，He等人得出这样的一个结论，大气中的无雾图像在RGB三通道中至少有一个颜色通道具有很低的强度值，从而提出了一种基于统计数据的暗通道先验(Dark Channel Prior,DCP)方法。水下图像增强也可看成水下模糊图像去雾，因此DCP方法也常用于恢复水下模糊图像，但由于水下图像特殊的成像模型，DCP并不能直接用来对水下图像去雾。Drews等人基于大气图像的统计分析及水下图像的成像原理，提出了水下暗通道先验(UDCP)，大大提高了水下图像复原效果，但是水下高清图像是如何选取的没有明确说明，也没有一个公开的数据集进行图像处理的进一步研究。

近年来，随着深度学习方面取得的重大成就，利用深度学习方法进行图像处理已经成为了一种不可阻挡的趋势，对于大气图像来讲，利用已有的公开的数据集，通过深度模型进行特征提取，可以很方便的实现图像的增强与复原。利用深度学习恢复退化的水下图像需要建模和估计许多参数，如光的吸收、散射和到目标的距离，这种输入很难从单个图像估计。对于水下图像的深度学习模型，只能用人工合成的水下图像数据集或者用某种已有算法增强后的图像集作为参考标签，利用这些数据集进行训练复原图像时，很容易产生较大的偏差，而且利用较少的数据集进行训练时并不能提取大量的图像信息和细节，致使复原的图像仍存在对比度低、色彩较差等问题，甚至根本不能作为训练样本。

综上所述，现有技术存在的问题是：

(1)大量已存在的图像数据集，主要包括自然光下或陆上的图像，且主要面向图像分类、标注、识别、检测等应用。由于水下图像的拍摄环境特殊，受光线吸收和散射、水体浑浊度等的影响成像情况复杂，陆上或自然光下的图像数据集不能替代水下图像。

(2)基于水下成像原理的水下图像复原方法，需要准确估计背景光强度。相关研究中仅通过少量水下图像的人眼观察和比较来说明背景光估计的优劣，但不同的人有不同的看法，不具有普遍性。缺乏有效的背景光构建方法。

(3)近几年，越来越多的深度学习方法被用来处理衰减的水下图像，然而由于目前并没有一个公开的水下图像数据集作为深度学习方法的训练样本，研究均采用人工合成的水下图像数据集或者用某种已有算法增强后的图像集作为参考标签。但是，水下图像成像原理复杂，这种人为干预方式产生的水下图像与实际水下图像存在较大偏差，限制了深度学习在水下图像实际应用领域的发展。

解决上述技术问题的难度：

数据集的构建在图像处理领域有着非常重要的作用，本发明主要是针对水下图像数据集的构建方法，主要包括水下图像背景光数据集的构建和水下清晰图像数据集的构建。

水下图像复原技术是基于光学物理成像模型进行反演计算，从而提高水下图像质量。背景光是图像复原模型中的重要参数之一，估计准确的背景光对于图像复原质量具有重要影响。目前存在各种背景光估计的算法，其计算结果也偏差较大，而且至今没有一组可以作为参考的背景光数据集。构建水下图像背景光数据集存在如下困难：至今没有模糊的水下图像数据集、没有一种具有鲁棒性的背景光估计方法。为此，本发明提出一种水下图像背景光数据集的构建方法，通过该方法构建的背景光数据集可用于检验或提高水下图像的复原的效果。

由于水下光照的吸收和散射、人工光源光线不均匀以及水自身的特性，所获得的水下图像普遍存在色差、对比度低、清晰度差等问题。要建立可以用于深度学习水下图像处理的训练样本，需要有高质量的水下图像作为标签，但是至今没有公开的高质量水下图像数据集，从收集大量水下图像到如何评判水下图像的质量是建立高清的水下图像数据集的难点。

为此，本发明提出一种水下高清图像数据集的构建方法，通过该方法能够快速对水下图像进行质量评估，并根据评估结果筛选和构建数据集。

解决上述技术问题的意义：

为基于水下图像复原技术提供重要的背景光基准，有助于研究更准确的水下图像复原技术；为水下图像研究者提供重要的数据来源，促进最新基于深度学习水下图像质量增强技术的发展，进而，将提升水下对象识别、水下探测的精度，提高海洋科技发展水平。

发明内容

针对现有技术存在的问题，本发明提供了一种水下图像数据集的构建方法及系统。通过本发明的方法构建的数据集不仅可以作为水下图像质量的评价基准，还可以用于生成各类受损水下图像，为水下图像增强方法提供数据基础。本发明提出的基于图像色彩度、对比度、梯度、锐度的四维面积评价指标能够用于水下图像质量分析和水下图像质量增强算法的评价。

本发明是这样实现的，一种水下图像数据集的构建方法，所述水下图像数据集的构建方法包括：

构建包含各种类型的水下模糊图像数据集，并基于人工标记方法建立水下图像背景光数据集；同时，基于对图像的色彩、对比度、梯度、锐度的计算及其围成的面积构建水下高清图像数据集。

进一步，所述水下图像数据集的构建方法具体包括

步骤一，水下图像筛选；

步骤二，背景光数据集的构建；

步骤三，高清水下图像数据集的构建。

进一步，步骤一具体包括：获取不同场景(包括单鱼、鱼群、珊瑚、考古等)的水下图像，水下图像包括模糊图像和高清图像。

进一步，步骤二具体包括：

步骤1：对收集到的1000张模糊的水下图片进行预处理，统一调整图像大小为400×600像素；

步骤2：背景点标注，依据背景点挑选原则，采用主观方法对背景光所在的点进行人工标注；

步骤3：数据集验证，从标注的1000张图片中随机选取200张，进行步骤2的操作。

进一步，步骤2包括：

步骤1：确定参与者。邀请了年龄为20-30岁之间的10名男生和10名女生作为参与者，这些参与者对视觉图像有一定的理解，但不是专业从事与图像或视觉相关研究的人。

步骤2：设置工具。采用统一计算机进行操作，计算机上运行自定义的软件协助参与者标注，软件主要功能包括：随机打乱给每位参与者显示的图片的顺序；显示每张图片；当用户点击图片时保存相关图片中的信息。

步骤3：进行人工标注。(a)将需要标注的图像以随机顺序逐一通过计算机屏幕展示给每位参与者；(b)根据背景应位于图像远处的原则，要求参与者用鼠标在图像上点击自己认为距离拍摄相机最远的点，计算机在后台记录每一个人选择的背景点位置及其对应的R、G、B三个通道的像素值；(c)将获取的数据进一步处理，去除20个背景光像素值中的最大和最小极值点，求出剩下的18个位置的像素值的平均值作为该图片的背景点的像素值，取18个点位置相对来讲居中的点为该图像的背景点。在人工标注背景点时，对于拍摄的近景图像，一般取边缘像素点为图像的背景点；对于拍摄相机距物体几乎在一个平面的图像，直接舍弃。

进一步，步骤三包括：

步骤1：图像质量属性获取；

步骤2：计算图像质量指标：通过步骤1中的方法，获得图像的四个属性值，将搜集到的500张高清图像依次进行步骤1的操作，获得每一张图像的四个属性值，求出每个属性列的最大和最小值，进行归一化处理；

步骤3：高清水下图像数据集：对求得的面积按照从大到小的顺序排列，按照获得的图像顺序对图质量进行分析；当图像的属性值围成的面积小于0.5时，图像的质量会出现明显的衰减；本阈值t＝0.5，将S>t的图像构成高清水下图像数据集。

进一步，步骤1具体包括：

(a)图像色彩度的获取；将彩色图像转换成rg，yb两个相反颜色空间：

rg＝R-G (1)

其中，(1)(2)式给出了两个相反的颜色空间rg、yb，其中R、G、B分别表示红色通道、绿色通道、蓝色通道；在(1)式中，rg是红色通道和绿色通道的差值；在(2)式中，yb是红色和绿色通道减去蓝色通道之和的一半；图像大小为K＝M×N，在计算最终的颜色度量Cor之前，计算rg、yb两个相反空间的标准差和平均值；如下式所述：

其中，u_rg、

表示rg颜色空间的均值和方差，用同样的方法求得yb颜色空间的均值和方差；进一步获得rgyb整个颜色空间的均值和方差；如下式所述：

最后，图像的色彩度描述如下：

Col＝σ_rgyb+0.3*u_rgyb (7)

公式(7)中的0.3为加权系数；

(b)梯度的获取：图像的梯度主要是描述图像的边缘特征，当梯度越大，边缘特征越明显，表示的颜色范围越大，图像更加清晰；在求图像梯度值时，把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导；数字图像中，使用差分来近似导数，公式如下：

d_x(i，j)＝I(I+1，j)-I(i，j) (8)

d_y(i，j)＝I(I，j+1)-I(i，j) (9)

其中，i,j表示图像中像素点的位置，d_x，d_y表示分别表示水平与竖直方向上的梯度值，grad为整个图像的梯度值；

(c)对比度的获取：对于水下图像，图像的对比度描述如下：

Con＝∑_δδ(i，j)²P_δ(i，j) (11)

其中，δ(i，j)＝|i-j|，即相邻像素间灰度差，P_δ(i，j)为相邻像素间的灰度差δ的像素分布概率；

锐度的获取：图像锐度描述如下：

进一步，步骤2进一步包括：

value＝(x_i-min)/(max-min) (13)

其中，x_i为表中每一列的值；归一化处理的好处将各个属性值限制在0-1区间内，方便结果间的对比；归一化处理之后，基于图像的四个属性值建立水平竖直的坐标系，四个方向分别表示四个属性值，将属性值围成的面积作为高清图像质量的评价指标；面积计算如下：

本发明的另一目的在于提供一种实施所述水下图像数据集的构建方法水下图像数据集的构建系统。

综上所述，本发明的优点及积极效果为：

(1)本发明的背景光数据集构建方法是基于人类主观判别，能够保证输出水下背景光的准确性，可以达到更好的图像复原效果。基于本方法构建的背景光用于水下图像复原，总体复原精度远远高于各种复原算法，对比结果如表2所示。其中，MABLs是基于本方法提供的人工标注背景光；所有对比方法都使用了相同的透射率参数值，该参数值来自于2017年Peng等人的方法；所有方法都基于简化的水下成像模型进行图像复原。因此，除背景光值不同外，其他条件相同。评价的指标包括：检验噪声的RMSE，检验结构相似性的SSIM，检验信息丰度保持的熵Entropy，检验图像空间质量的BRISQUE，检验水下图像质量的UCIQE。由表2可见，MABLs在不同评价指标下均达到了最优的图像复原效果，因此它不仅可以直接作为数据集使用，也可以作为水下图像复原方法对背景光估计效果的评价基准。

(2)本发明针对水下模糊图像的背景光数据集构建，采用了主观人工标注的方法，其标注方法的设计和实现目前尚无可对比的方法或数据集，因此本方法具有前瞻性；同时，本方法能够指导相关研究人员生成自己的水下图像背景光数据集，具有良好的通用性。通过本发明获得的背景光点如图3所示。

(3)本发明的水下高清图像数据集构建方法，提出了基于色彩度、梯度、锐度和对比度的四维面积评价指标，方法简单，且效果较好。方法能够从大量水下图像中快速筛选出高质量图像，组成水下高清图像集，用于相关研究的样本，图4给出了一些水下高清图像示例。此外，所提出的水下图像评价指标还可以用于水下图像的客观质量评价。图5是四幅水下图像原图及利用四种经典方法增强后的水下图像，对于这些图像利用本方法及三种其他方法Entropy,UICM和UCIQE进行评价，平均评价结果见表3。本方法与其他方法对图5(a)和5(f)的评价结果一致，分别是最差和最优；本方法结果中，图5(b)优于图5(c)和(d)，而Entropy和UICM方法均表示图5(b)略差。从主观上来看，图5(b)虽然去除绿色的效果不佳，但基本细节保持较好；而图5(c)整体偏暗，图5(d)过度增强引起失真，因此本方法评价结果更符合人的主观感受。

附图说明

图1是本发明实施例提供的种水下图像数据集的构建方法流程图。

图2是本发明实施例提供的种水下图像数据集的构建方法原理图。

图3是本发明实施例提供的人工标注背景点图。

图4是本发明实施例提供的高清水下图像数据集图。

图5是经典水下图像增强方法的复原结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

水下图像数据集是图像处理领域的重要基石，它可以促进图像复原技术的进一步发展，也可以提高图像复原的精度。在不同的场景或者不同的失真程度下，有效地恢复不同类型的水下图像是一项具有挑战性的工作。现有的水下图像恢复方法存在着对背景光强度和透射图(深度图)参数估计不准确和具有较高复杂性的问题。特别是图像中的白色物体、前景中的悬浮粒子、背景区域中的人造光或背景光较暗会导致很大的误差，从而导致复原的图像存在颜色和对比度失真等问题。

为解决上述技术问题，下面结合具体方案对本发明作进一步描述。

如图1所示，本发明实施例提供的种水下图像数据集的构建方法包括：

S101:水下图像筛选。

S102:背景光数据集的构建。

S103:高清水下图像数据集的构建。

步骤S101中，为了保证水下图像数据集来源的多样性，本发明从YouTube、谷歌、Pixabay、百度等网站进行搜集，获取大量不同场景的水下图像，例如：单鱼、鱼群、珊瑚、考古等。水下图像包括模糊图像和高清图像。模糊图像主要是指由于水下光照的吸收和散射、人工光源光线不均匀、水自身的特性及拍摄的物体所处的深度，图像出现对比度低、清晰度差不同程度的衰减，图像呈现蓝绿色或者绿色，主观上很难识别物体与背景。高清图像相比于模糊图像具有更好的对比度、色彩，以及人类视觉上的相对愉悦感受。最终经过数据集构建后保留下1500张图片，其中1000张模糊水下图像和500张高清图像。

步骤S102中，背景光数据集的构建：

背景光数据集对于图像复原有着重要作用，其准确性直接影响到对图像中对象的深度和光传输残差能量的估计的准确性。错误的背景光造成较差的图像复原效果，从而影响整体的视觉效果。下面给出构建背景光数据集的方法：

步骤1：对收集到的1000张模糊图片进行预处理，统一调整图像大小为400×600像素。

步骤2：背景点标注。采用主观方法对背景光所在的点进行人工标注。为保证实验结果的正确性，对标注主体、工具及操作流程进行了严格定义。

主体：邀请了年龄为20-30岁之间的10名男生和10名女生作为参与者，这些参与者对视觉图像有一定的理解，但不是专业从事与图像或视觉相关研究的人。

工具：采用统一计算机进行操作，计算机上运行自定义的软件协助参与者标注，软件主要功能包括：随机打乱给每位参与者显示的图片的顺序；显示每张图片；当用户点击图片时保存相关图片中的信息。

具体标注过程如下：((a)将需要标注的图像以随机顺序逐一通过计算机屏幕展示给每位参与者；(b)根据背景应位于图像远处的原则，要求参与者用鼠标在图像上点击自己认为距离拍摄相机最远的点，计算机在后台记录每一个人选择的背景点位置及其对应的R、G、B三个通道的像素值；(c)将获取的数据进一步处理，去除20个背景光像素值中的最大和最小极值点，求出剩下的18个位置的像素值的平均值作为该图片的背景点的像素值，取18个点位置相对来讲居中的点为该图像的背景点。在人工标注背景点时，对于拍摄的近景图像，一般取边缘像素点为图像的背景点；对于拍摄相机距物体几乎在一个平面的图像，直接舍弃。

步骤3：数据集验证。邀请5名从事图像或视频处理研究的专业人士，从标注的1000张图片中随机选取200张，进行步骤2的操作。5名专业人士得出的结果与参与者得出的背景点标注结果基本一致，表明步骤2得到的结果有效。

步骤S103中，高清水下图像数据集的构建：

目前，图像清晰化技术和基于深度学习方法的图像处理方法取得了重大进展。由于目前缺少公开的水下图像数据集，水下图像质量评价这方面仍然有一定的不足。水下图像受光的散射、吸收及水自身的特性等原因和特殊的成像原理，大气图像的评价方法并不能直接用来评价水下图像，仍缺少有效的、鲁棒的、高认可度的水下图像质量评价体系。本发明提出高清水下图像数据集的构建方法并给出评价标准。首先，通过相应的算法获取每一张图像的色彩度(colorfulness)、梯度(gradient)、对比度(contrast)、锐度(sharpness)，将获得的图像的四个属性值进行归一化处理；然后基于四个属性值围成的面积S，对S按照从大到小的顺序排列，结合人的主观评价与获取的S值设置一个阈值t，取S>t的图像为高清图像，构建一个高清水下图像数据集。

步骤1：图像质量属性获取：

(a)图像色彩度的获取。许多水下图像都有严重的色彩偏问题。当光在水中传播时，光的强度以指数形式迅速衰减，波长最长的可见光最先被吸收。红色光波长最长，最先被吸收，因此水下图像通常呈现蓝色或绿色的外表。此外，有限的照明条件也会导致图像饱和度降低。根据人类视觉对相反颜色的敏感度，首先将彩色图像转换成rg，yb两个相反颜色空间：

rg＝R-G (1)

其中，(1)(2)式给出了两个相反的颜色空间rg、yb，其中R、G、B分别表示红色通道、绿色通道、蓝色通道。在(1)式中，rg是红色通道和绿色通道的差值。在(2)式中，yb是红色和绿色通道减去蓝色通道之和的一半。接下来，假设图像大小为K＝M×N，在计算最终的颜色度量Cor之前，计算rg、yb两个相反空间的标准差和平均值。如下式所述：

其中，u_rg、

表示rg颜色空间的均值和方差，用同样的方法求得yb颜色空间的均值和方差。从而，进一步获得rgyb整个颜色空间的均值和方差。如下式所述：

最后，图像的色彩度可描述如下：

Col＝σ_rgyb+0.3*u_rgyb (7)

公式(7)中的0.3为加权系数。

(b)梯度的获取。图像的梯度主要是描述图像的边缘特征，当梯度越大，边缘特征越明显，从而可以表示的颜色范围越大，图像更加清晰。在求图像梯度值时，可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导。数字图像中，使用差分来近似导数，公式如下：

d_x(i，j)＝I(I+1，j)-I(i，j) (8)

d_y(i，j)＝I(I，j+1)-I(i，j) (9)

其中，i,j表示图像中像素点的位置，d_x，d_y表示分别表示水平与竖直方向上的梯度值，grad为整个图像的梯度值。

(c)对比度的获取。对比度对视觉效果的影响非常关键，一般来说对比度越大，图像越清晰醒目，色彩也越鲜明艳丽；而对比度小，则会让整个画面都灰蒙蒙的。高对比度对于图像的清晰度、细节表现、灰度层次表现都有很大帮助。对于水下图像，对比度下降通常是后向散射[12]引起的。图像的对比度描述如下。

Con＝∑_δδ(i，j)²P_δ(i，j) (11)

其中，δ(i，j)＝|i-j|，即相邻像素间灰度差，P_δ(i，j)为相邻像素间的灰度差δ的像素分布概率。

(d)锐度的获取。它是反映图像平面清晰度和图像边缘锐利程度的一个指标。如果将图像锐度进行适当的调高，图像平面上的细节对比度也更高，看起来更清楚。图像锐度描述如下。

步骤2：计算图像质量指标

通过步骤1中的方法，本发明可以获得图像的四个属性值，将搜集到的500张高清图像依次进行步骤1的操作，获得每一张图像的四个属性值，求出每个属性列的最大和最小值，进行归一化处理。描述如下。

value＝(x_i-min)/(max-min) (13)

其中，x_i为表中每一列的值。归一化处理的好处是将各个属性值限制在0-1区间内，方便结果间的对比，保证计算结果的正确性。归一化处理之后，本发明基于图像的四个属性值建立一个水平竖直的坐标系，四个方向分别表示四个属性值，将属性值围成的面积作为高清图像质量的评价指标。面积计算如下。

步骤3：高清水下图像数据集对求得的面积按照从大到小的顺序排列，按照获得的图像顺序对图质量进行主观判断。当图像具有较好的色彩，对比度清晰度，给人视觉上较好的感觉时，本发明就将其定义为高清图像，反之本发明就将其舍弃。通过一系列观察发现，当图像的属性值围成的面积小于0.5时，图像的质量会出现明显的衰减。因此，本发明取阈值t＝0.5，将S>t的图像构成高清水下图像数据集。

下面结合效果对本发明作进一步描述。

本发明构建一个包含各种类型的水下模糊图像数据集，并基于人工标记方法建立第一个水下图像背景光数据集。同时本发明也将构建一个高质量的水下图像数据集并提出一个评价标准，进一步选择可靠的高质量的水下图像。

本发明构建的水下图像数据集不但可以作为背景光的训练样本，而且构建的背景光的训练样本还可以直接进行水下光传输地图(Transmission Map)的估计。由于本发明的数据集完全来自自然水下图像，没有其他人工加工的成分，这样可以明显提高图像复原的效果，对于水下物种探究、海洋工程、考古遗物等各类图像均有良好的增强效果，同时有助于水下对象(如鱼类、海藻)特征提取、对象识别和跟踪，以及水下导航定位等。

水下图像质量在海洋工程和科学研究中起着至关重要的作用，如海洋生物监测、地质环境获取、海洋救援等。然而，当衰减图像用于水下考古、海洋生态研究、水下监控和水下目标跟踪等领域时，往往会影响到相关应用的性能。

本发明提出了一个高质量水下图像的评价指标，同时构建一个高清水下图像数据集，通过对图像的色彩、对比度、梯度、锐度的计算及以其围成的面积综合考虑四个维度的影响，结合人的主观评价，可以准确的给出评价结果，克服了现有方法的不足，无需参考图像，不受水下图像的退化类型所限制，准确性高，鲁棒性强，结果符合人类视觉感知。

下面结合实施例对本发明做进一步描述。

1)本发明提出的水下图像数据集的构建，分为两个方面进行：如图2所示。

构建MABLs数据集：

步骤1：对获取的模糊图像进行预处理，调整图像大小为400×600，打乱图像排列顺序。

步骤2：挑选观察者选取背景点，后台计算机记录标记的背景点位置，将得到的背景点进一步的处理。

步骤3：随机挑选200张图片，由专家通过同样的方法进行标注，验证背景点的标注位置，丢弃标记偏差大的背景点，剩下的图像构成MABLs数据集。

2)高清水下图像数据集：

步骤1：计算高清图像的色彩、梯度、锐度、对比度，计算机记录结果值；

步骤2：求得图像各个属性的最大最小值，进行归一化处理。

步骤3：计算图像属性值围成的面积S，并按照从大到小的顺序进行排列。

步骤4：进行主观评价，结合实验获得的S值，设置阈值t，丢弃小于阈值的图像，剩下的图像构成一个高清水下图像数据集。

下面结合实验结果对本发明做进一步描述。

实验结果：

人工标注背景点如图3所示。图(a)(b)(c)(d)(e)为选取的不同衰减程度的水下图像，分别呈现绿色、橙色、蓝色，图中方框标出的点为本发明选取的背景点。对于图(d)，属于拍摄的近景区域，整体上来看，仍有一个由近及远的过程，通过观察者的标注与专家的验证，最终确定背景点的位置如图所示。对于图(f)，本发明很难选取图像中物体中距离相机最远的点，在人工标注背景点时，直接丢弃。

高清水下图像数据集的示例如图4所示。这些图的属性值及其面积指标如表1所示。

表1是本发明实施例提供的高清水下图像评价指标对图4中图像的计算结果。

从实验数据的结果可以看出，图像的四个属性值围成的面积S一定程度可以体现图像的清晰度。图4中(a)(b)(c)(d)值偏大，图像的视觉效果明显较好，与人的主观判断相符，而(e)(f)亮度明显偏低，从整体来看，并不满足本发明视觉享受，在这里本发明设置的阈值为0.5，当S值大于阈值时，本发明就认为该图片为高清图片，反之抛弃。通过该评价准则本发明可以获得一个高清水下图像数据集。

证明部分(具体实施例/实验/仿真/药理学分析/能够证明本发明创造性的正面实验数据、证据材料、鉴定报告、商业数据、研发证据、商业合作证据等)

基于本方法构建的背景光用于水下图像复原，总体复原精度远远高于各种复原算法，对比结果如表2所示。其中，MABLs是基于本方法提供的人工标注背景光；所有对比方法都使用了相同的透射率参数值，该参数值来自于2017年Peng等人的方法；所有方法都基于简化的水下成像模型进行图像复原。因此，除背景光值不同外，其他条件相同。评价的指标包括：检验噪声的RMSE，检验结构相似性的SSIM，检验信息丰度保持的熵Entropy，检验图像空间质量的BRISQUE，检验水下图像质量的UCIQE。RMSE和BRISQUE值越小图像质量越好，其他指标值越大图像质量越好。由表1可见，MABLs在不同评价指标下均达到了最优的图像复原效果。

本方法提出了基于色彩度、梯度、锐度和对比度的四维面积评价指标进行水下高清图像数据集的构建，方法简单易性，且效果较好。方法能够从大量水下图像中快速筛选出高质量图像，组成水下高清图像集。图5及表3中的数据可以证明本方法提出的评价指标对于水下图像评价更准确、合理。图5是四幅水下图像原图及利用四种经典方法增强后的水下图像，对于这些图像利用本方法和熵值(ENTROPY)、水下图像质量评估(Underwater ImageQuality Metric,UIQM)、水下彩色图像质量评价模型(Underwater Color Image QualityMetric，UCIQM)进行评价对比，结果如表3所示。本方法与其他方法对图5(a)原图和5(f)RD的评价结果一致，分别是最差和最优；本方法结果中，图5(b)CLAHE优于图5(c)ICM和(d)UCM，而Entropy和UICM方法均表示图5(b)略差。从主观上来看，图5(b)虽然去除绿色的效果不佳，但基本细节保持较好；而图5(c)整体偏暗，图5(d)过度增强引起失真，因此本方法评价结果更符合人的主观感受。图5(e)FB图。

表2是本发明实施例提供的背景光数据集用于水下图像复原与其他水下图像复原的质量对比结果。

表3是本发明实施例提供的水下图像评价方法对图5中的水下图像评价的平均值，以及其他三种评价指标的评价结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种水下图像数据集的构建方法，其特征在于，所述水下图像数据集的构建方法包括：

构建包含各种类型的水下模糊图像数据集，并基于人工标记方法建立水下图像背景光数据集；同时，提出基于图像色彩度、对比度、梯度、锐度的四维面积评价指标对水下图像质量进行评价，从而构建水下高清图像数据集；

所述水下图像数据集的构建方法具体包括：

步骤一，水下图像筛选；

步骤二，背景光数据集的构建；

步骤三，高清水下图像数据集的构建；

步骤二具体包括：

步骤2.1：对收集到的1000张模糊图片进行预处理，统一调整图像大小为400×600像素；

步骤2.2：背景点标注，采用主观方法对背景光所在的点进行人工标注；

步骤2.3：数据集验证，从标注的1000张图片中随机选取200张，由专业人士进行步骤2.2的操作，对人工标注后的结果进行检验；

步骤2.2，具体包括：

采用统一计算机进行操作，计算机上运行自定义的软件协助参与者标注，随机打乱给每位参与者显示的图片的顺序；显示每张图片；当用户点击图片时保存相关图片中的信息；

具体标注过程包括：(a)将需要标注的图像以随机顺序逐一通过计算机屏幕展示给每位参与者；

(b)根据背景应位于图像远处的原则，要求参与者用鼠标在图像上点击自己认为距离拍摄相机最远的点，计算机在后台记录每一个人选择的背景点位置及其对应的R、G、B三个通道的像素值；

(c)将获取的数据进一步处理，去除20个背景光像素值中的最大和最小极值点，求出剩下的18个位置的像素值的平均值作为该图片的背景点的像素值，取18个点位置相对来讲居中的点为该图像的背景点；

在人工标注背景点时，对于拍摄的近景图像，取边缘像素点为图像的背景点；对于拍摄相机距物体几乎在一个平面的图像，直接舍弃。

2.如权利要求1所述的水下图像数据集的构建方法，其特征在于，步骤一具体包括：获取不同场景的水下图像，水下图像包括模糊图像和高清图像；不同场景包括单鱼、鱼群、珊瑚、考古。

3.如权利要求1所述的水下图像数据集的构建方法，其特征在于，步骤三包括：

步骤3.1：图像质量属性获取；

步骤3.2：计算图像质量指标：通过步骤3.1中的方法，获得图像的四个属性值，将搜集到的500张高清图像依次进行步骤3.1的操作，获得每一张图像的四个属性值，求出每个属性列的最大和最小值，进行归一化处理；

步骤3.3：高清水下图像数据集：对求得的面积按照从大到小的顺序排列，按照获得的图像顺序对图质量进行分析；当图像的属性值围成的面积小于0.5时，图像的质量会出现明显的衰减；本阈值t＝0.5，将S>t的图像构成高清水下图像数据集。

4.如权利要求3所述的水下图像数据集的构建方法，其特征在于，步骤3.1具体包括：

(a)图像色彩度的获取；将彩色图像转换成rg，yb两个相反颜色空间：

rg＝R-G (1)

其中，(1)(2)式给出了两个相反的颜色空间rg、yb，其中R、G、B分别表示红色通道、绿色通道、蓝色通道；在(1)式中，rg是红色通道和绿色通道的差值；在(2)式中，yb是红色和绿色通道减去蓝色通道之和的一半；图像大小为K＝M×N，在计算最终的颜色度量Cor之前，计算rg、yb两个相反空间的标准差和平均值；如下式：

其中，u_rg、

表示rg颜色空间的均值和方差，用同样的方法求得yb颜色空间的均值和方差；进一步获得rgyb整个颜色空间的均值和方差；如下式所述：

最后，图像的色彩度描述如下：

Col＝σ_rgyb+0.3*u_rgyb (7)

公式(7)中的0.3为加权系数；

(b)梯度的获取：图像的梯度主要是描述图像的边缘特征，当梯度越大，边缘特征越明显，表示的颜色范围越大，图像更加清晰；在求彩色图像梯度值时，首先将彩色图像转换到灰度空间，然后把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导；数字图像中，使用差分来近似导数，公式如下：

d_x(i，j)＝I(I+2，j)-I(i，j) (8)

d_y(i，j)＝I(I，j+1)-I(i，j) (9)

其中，i,j表示图像中像素点的位置，d_x，d_y表示分别表示水平与竖直方向上的梯度值，grad为整个图像的梯度值；

(c)对比度的获取：对于水下图像，图像的对比度描述如下：

Con＝∑_δδ(i，j)²P_δ(i，j) (11)

其中，δ(i，j)＝|i-j|，即相邻像素间灰度差，P_δ(i，j)为相邻像素间的灰度差δ的像素分布概率；

(d)锐度的获取：图像锐度描述如下：

5.如权利要求3所述的水下图像数据集的构建方法，其特征在于，步骤3.2进一步包括：

value＝(x_i-min)/(max-min) (13)

其中，x_i为表中每一列的值；归一化处理的好处将各个属性值限制在0-1区间内，方便结果间的对比；归一化处理之后，基于图像的四个属性值建立水平竖直的坐标系，四个方向分别表示四个属性值，将属性值围成的面积作为高清图像质量的评价指标；面积计算如下：

6.一种实施权利要求1所述水下图像数据集的构建方法水下图像数据集的构建系统。

Images