CN111079733A - 基于水下成像环境模型的数据增广方法 - Google Patents

Abstract

本发明涉及一种基于水下成像环境模型的数据增广方法，属于水下目标检测识别技术领域。不同程度的海洋湍流对水下图片成像质量的影响不同，针对这个问题采用基于湍流模型的数据增广方法,此方法可模拟不同程度的海洋湍流对水下图片成像的影响；水下图片通过水下机器人拍摄，不同的拍摄视角拍摄同一个目标存在不同，针对这个问题采用基于透视变换模型的数据增广方法，此方法可模拟同一目标不同的拍摄视角所拍摄的图片；水下拍摄时人造光的存在会使图片存在不均匀光照现象，针对这个问题采用基于不均匀光照模型的数据增广方法，此方法可模拟水下图片不同的不均匀光照现象。本发明提高了水下机器人深度学习目标识别的成功率。

Description

基于水下成像环境模型的数据增广方法

技术领域

本发明涉及一种基于水下成像环境模型的数据增广方法，属于水下目标检测识别技术领域。

背景技术

近年来，国家开始重视对海洋资源进行开发。对海洋资源的开发，离不开水下机器人作业技术的支持。海洋为人类提供了大量的优质食品蛋白资源，如海参、海胆、扇贝、海洋鱼类等。根据太平洋海胆和海参协会统计，我国对海参、海胆和扇贝等海产品的需求每年可达上百亿美元，并且以10％的速度高速增长。目前，自然养殖环境下海生物的捕捞主要由潜水员完成，但是人工捕捞具有成本高、效率低及潜水员安全性低等缺点，不符合海洋经济绿色发展、可持续发展的宗旨，所以海生物水下自主捕捞机器人取代人工捕捞将是一个崭新的思路，也将是未来海生物养殖、捕捞与抓取的一个发展趋势。研究人员已经对海生物捕捞机器人展开一定研究，例如专利文献“海珍品采捕机器人(CN201410686861.X)”主要通过海底行走，人工遥控机器人水下观察、抽吸完成海生物的捕捞。专利文献“海底生物捕捞机器人的自主导航和人机协同捕捞作业系统(CN201210553378.5)”和“一种仿生海底生物捕捞机器人(CN201210553365.8)”虽然在水下作业的导航和行走具备一定自主性，但依然依靠操作人员对路径规划、目标搜寻、捕捞指令等进行一定的干预，自主性有限。以上发明均难以实现对海生物的智能控制自主吸取捕获，在普通的渔民使用和推广上比较困难，需投入一定的人力和智力培训。

目前，计算机视觉已经在现实生活中的各个领域得到了应用。在水下机器人领域，计算机视觉技术能使水下机器人拥有更强的感知水下陌生环境的能力，从而使得水下机器人可以在陌生水下环境执行复杂水下任务的问题，包括目标检测、目标跟踪、回避障碍等，使水下机器人水下自主作业的能力得到了大大的提升。水下环境感知是水下机器人自主作业的第一步，具有机器人眼睛的作用，能够对机器人所处的水下环境进行感知、避障以及目标的检测和识别等等功能，其对水下机器人的自主作业起到至关重要的作用。这其中，目标识别和检测是水下环境感知的重要组成部分，使得目标识别和检测研究是计算机视觉技术在水下机器人中研究的重点。当前目标检测方法主要有传统方法和基于深度学习的方法两类。传统方法通过人工提取特征，然后人工设计分类器对特征进行分类及回归，从而进行目标检测识别。传统方法具有计算量小、计算速度快的优点，但也有识别准确率的缺点，影响后续水下机器人的自主控制。基于深度学习的目标检测识别方法，使用卷积神经网络提取特征，通过端到端的方法，利用神经网络对特征进行分类和回归，从而实现目标检测识别的功能。基于深度学习的方法具有识别准确率高的优点，但是其神经网络模型的训练需要大量的样本。然而，由于水下环境的复杂多变，水下目标图片的获取比较困难，大量水下目标图像的标注也需要大量的人力和物力，使得大量训练样本的获取有一定的困难。而如果在样本不足的条件下进行卷积神经网络的训练，得到是模型往往存在这泛化能力不强等问题。因此，如何在水下目标训练样本不足的条件下训练出一个泛化能力强的模型是目前亟需解决的一个难点。

发明内容

本发明的目的是为了解决如何在水下目标训练样本不足的条件下训练出一个泛化能力强的模型问题而提供一种基于水下成像环境模型的数据增广方法。

本发明的目的是这样实现的：一种基于水下成像环境模型的数据增广方法，具体包括以下步骤：

步骤一、针对水下湍流的存在对水下图片成像质量有衰减作用，不同程度的海洋湍流对水下图像的影响不同采用基于湍流模型的数据增广方法，模拟不同程度的海洋湍流对水下图片成像的影响；

步骤二、针对水下图片通过水下机器人拍摄，不同的拍摄视角拍摄同一个目标存在不同采用基于透视变换模型的数据增广方法，模拟同一目标不同的拍摄视角所拍摄的图片；

步骤三、针对水下拍摄光照不足时需要人造光辅助照明，人造光的存在会使图片存在不均匀光照现象采用基于不均匀光照模型的数据增广方法，模拟水下图片不同的不均匀光照现象。

本发明还包括这样一些结构特征：

1.步骤一所述基于湍流模型的数据增广方法是通过模拟不同程度的海洋湍流对图像的干扰进行数据增广，具体包括以下步骤：

步骤1.对图像使用湍流系数k处理得到图像复原的结果，维纳滤波复原图像的过程为：

式中，T(u,v)是湍流函数，

u和v表示像素点的坐标值，k是湍流系数；Q(u,v)是一个常量，G(u,v)是原始图像的傅里叶变换形式，

是复原后图像的傅里叶变换形式，复原后的图像可通过对

进行傅里叶逆变换处理得到；

步骤2.得到复原图像后，使用维纳滤波的逆过程来对图像模拟不同程度的海洋湍流对正常图像的衰减影响，达到模拟不同的海况下增广水下图片的目的；维纳滤波的逆过程定义为：

式中，F(u,v)是复原后图像的傅里叶变换形式，

是图片加湍流处理后的傅里叶变换形式。

2.步骤二所述基于透视变换模型的数据增广方法是通过模拟水下图像不同的拍摄视角进行数据增广，具体包括以下步骤：

步骤1.求解单应性矩阵，求解的方法为四点求解单应性矩阵的方法，通过选取4对以上的合适透视变换点对并用SVD分解方法求其解单应性矩阵H；求解公式为：

其中H代表三维坐标点在相机1到相机2的单应变换矩阵，

步骤2.得到单应性矩阵H后使用随机采样一致性即Random Sample Consensus,简称RANSAC方法对其进行优化，最后使用下式进行像平面之间的坐标点转换，实现对图片的透视变换，

3.步骤三所述基于不均匀光照模型的数据增广方法是模拟水中不均匀光照的现象进行数据增广，具体包括以下步骤：

步骤1.收集一批经典的水下不均匀光照图像，使用线性空间滤波方法的矩形平均滤波器来计算这些不均匀光照图片的光照强度分布模板E，

这个空间滤波操作的描述为：

式中，O表示不均匀光照图像，E表示提取得到的不均匀光照图像O的光照强度模板，X表示卷积核，它是一个单位矩阵，M和N表示卷积核X的长和宽，一般将M和N设为图像长和框的1/6。符号

表示矩阵卷积运算；

步骤2.计算光照强度模板E与其平均值a的差值模板D，计算公式为：

式中，m和n分别是模板E的宽和高，D是模板E和其平均值a的差值模板；

步骤3.将差值模板D与原图像I进行融合，达到模拟不均匀光照下的增广图片的目的，融合公式为：

式中，A是被增广图像。符号

表示矩阵加法运算。

与现有技术相比，本发明的有益效果是：本发明设计了一种水下成像环境模型的数据增广方法，该方法利用不同程度的海洋湍流对水下图像的衰减作用，基于透视变换模型的不同拍摄视角变化，不均匀光照模型的数据增广方法对水下成像模型进行数据增广，通过这三种数据增广方法，在训练数据不足的情况下，经实验验证可以用增广得到的训练数据训练出一个泛化能力较强的水下目标检测模型，从而实现少样本的水下机器人深度学习目标识别。该方法较大地降低了水下图像采集的成本，节约了水下图像采集的时间，提高了水下机器人深度学习目标识别的成功率。

附图说明

图1是不同海洋湍流系数k复原处理后的复原图像；

图2是不同海洋湍流系数增广后得到的图片；

图3是透视变换方法增广得到的图片；

图4是拍摄于青岛流清河海域的水下不均匀光照图片；

图5是不均匀光照图像提取得到的光照强度分布模板；

图6是不均匀光照模型增广得到的图像；

图7是基线方法(左)与融合数据方法(右)对海生物检测识别的可视化结果；

图8是不同数据增广方法对三类海生物检测识别的准确率-召回率曲线。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

本发明设计了一种水下成像环境模型的数据增广方法，该方法利用不同程度的海洋湍流对水下图像的衰减作用，基于透视变换模型的不同拍摄视角变化，不均匀光照模型的数据增广方法对水下成像模型进行数据增广，从而实现少样本的水下机器人深度学习目标识别。该方法较大地降低了水下图像采集的成本，节约了水下图像采集的时间，提高了水下机器人深度学习目标识别的成功率。

本发明对基于深度学习的水下目标检测识别方法进行了研究，针对水下训练样本不足的问题，提出了三种基于水下成像环境模型的数据增广方法：对解决海洋湍流，拍摄视角，不均匀光照的问题分别提出了基于湍流模型的数据增广方法，基于透视变换模型的数据增广方法，基于不均匀光照模型的数据增广方法。通过这三种数据增广方法，在训练数据不足的情况下，经实验验证可以用增广得到的训练数据训练出一个泛化能力较强的水下目标检测模型。实际应用与基于深度学习的水下目标检测识别方法，对于水下目标检测模型的训练工作有特别的意义。

a、本发明所提出的一种水下成像环境模型的数据增广方法，主要包括三个方面的数据增广方法：第一，水下湍流的存在对水下图片成像质量有衰减作用，不同程度的海洋湍流对水下图像的影响不同，针对这个问题提出了基于湍流模型的数据增广方法，这个方法用来模拟不同程度的海洋湍流对水下图片成像的影响。第二，水下图片通过水下机器人拍摄，不同的拍摄视角拍摄同一个目标存在不同，针对这个问题，提出了基于透视变换模型的数据增广方法，这个方法可以用来模拟同一目标不同的拍摄视角所拍摄的图片。第三，水下拍摄光照不足时需要人造光辅助照明，人造光的存在会使图片存在不均匀光照现象，因此提出基于不均匀光照模型的数据增广方法，该方法可以模拟水下图片不同的不均匀光照现象。

b、其中基于湍流模型的数据增广方法主要是通过模拟不同程度的海洋湍流对图像的干扰进行数据增广。首先对图像使用湍流系数k处理得到图像复原的结果，维纳滤波复原图像的过程如下：

式中，T(u,v)是湍流函数，

u和v表示像素点的坐标值，k是湍流系数；Q(u,v)是一个常量，G(u,v)是原始图像的傅里叶变换形式，

是复原后图像的傅里叶变换形式，复原后的图像可以通过对

进行傅里叶逆变换处理得到。

得到了复原图像以后，使用维纳滤波的逆过程来对图像模拟不同程度的海洋湍流对正常图像的衰减影响，从而达到模拟不同的海况下增广水下图片的目的。维纳滤波的逆过程定义如下：

式中，F(u,v)是复原后图像的傅里叶变换形式，

是图片加湍流处理后的傅里叶变换形式。

c、基于透视变换模型的数据增广方法主要是通过模拟水下图像不同的拍摄视角进行数据增广。首先求解单应性矩阵，求解的方法主要使用四点求解单应性矩阵的方法。通过选取4对以上的合适的透视变换点对并用SVD分解方法求其解单应性矩阵H。求解的公式如下：

其中H代表三维坐标点在相机1到相机2的单应变换矩阵，

得到单应性矩阵H后使用随机采样一致性(Random Sample Consensus,简称RANSAC)方法对其进行优化，最后使用公式(4)进行像平面之间的坐标点转换，从而实现对图片的透视变换。

d、基于不均匀光照模型的数据增广方法是模拟水中不均匀光照的现象进行数据增广。首先收集一批经典的水下不均匀光照图像，然后使用线性空间滤波方法的矩形平均滤波器来计算这些不均匀光照图片的光照强度分布模板E。

这个空间滤波操作的描述如下：

式中，O表示不均匀光照图像，E表示提取得到的不均匀光照图像O的光照强度模板。X表示卷积核，它是一个单位矩阵，M和N表示卷积核X的长和宽，一般将M和N设为图像长和框的1/6。符号

表示矩阵卷积运算。

其次计算光照强度模板E与其平均值a的差值模板D，计算公式如下：

式中，m和n分别是模板E的宽和高，D是模板E和其平均值a的差值模板。

最后将差值模板D与原图像I进行融合。公式如下：

式中，A是被增广图像。符号

表示矩阵加法运算。

结合图1，基于湍流模型的数据增广方法在使用时，首先需要对图像进行复原处理，通过选取一系列的湍流系数对图像进行维纳滤波处理图像，复原效果最好的图片所设定的湍流系数即为该图片拍摄时所处环境的海洋湍流系数k。

结合图2，上面所求到的海洋湍流系数k即为这批图像所在海域的湍流真实湍流系数k，接着用求得的真实湍流系数k对图像进行复原处理，最后合适的湍流系数使用图像复原的逆过程对图像进行数据增广得到不同程度海洋湍流影响下的增广图像。

结合图3，基于透视变换模型的数据增广方法在使用时，首先选取4对以上的合适的透视变换点对用SVD分解方法求其单应性矩阵H，得到单应性矩阵H后使用随机采用一致性(Random Sample Consensus,简称RANSAC)方法对其进行优化，最后使用公式(4)进行像平面之间的坐标点变换，从而实现对图片的透视变换。

结合图4-6，基于不均匀光照模型的数据增广方法在使用时，首先收集一批经典的水下不均匀光照图像，然后使用线性空间滤波方法的矩形平均滤波器来计算这些不均匀光照图片的光照强度分布模板E，之后计算光照强度模板E与其平均值a的差值模板D，最后将差值模板D与原图像I进行融合，即可得到不同不均匀光照强度模板E下增广得到的图片。

结合图7，融合数据方法通过将三种方法增广得到的数据合并，有更好的检测结果，相较基线方法，融合数据方法的检测结果更加准确。

结合图8，呈现了3个准确率-召回率曲线，分别对应海生物检测识别的三个种类-海参、海胆和扇贝。因为海胆、扇贝数据的饱和，数据增广方法对这两类目标的检测效果提示不太明显，但是对训练样本不足的海参，检测识别效果提升明显。

综上，本发明提出了三种基于水下成像环境模型的数据增广方法，主要用于解决在样本不足情况下训练一个泛化能力强的水下目标检测与识别模型的问题。基于深度学习的目标检测和识别方法依赖于大量的训练样本，对于水下环境而言，获取大量水下图片数据并标注这些数据是比较困难的。本发明对基于深度学习的水下目标检测识别方法进行了研究，针对水下训练样本不足的问题，提出了三种基于水下成像环境模型的数据增广方法：第一，水下湍流的存在对水下图片成像质量有衰减作用，不同程度的海洋湍流对水下图像的影响不同，针对这个问题提出了基于湍流模型的数据增广方法，这个方法用来模拟不同程度的海洋湍流对水下图片成像的影响。第二，水下图片通过水下机器人拍摄，不同的拍摄视角拍摄同一个目标存在不同，针对这个问题，提出了基于透视变换模型的数据增广方法，这个方法可以用来模拟同一目标不同的拍摄视角所拍摄的图片。第三，水下拍摄光照不足时需要人造光辅助照明，人造光的存在会使图片存在不均匀光照现象，因此提出基于不均匀光照模型的数据增广方法，该方法可以模拟水下图片不同的不均匀光照现象。通过这三种数据增广方法，在训练数据不足的情况下，经实验验证可以用增广得到的训练数据训练出一个泛化能力较强的水下目标检测模型。实际应用与基于深度学习的水下目标检测识别方法，对于水下目标检测模型的训练工作有特别的意义。

Claims (4)

1.一种基于水下成像环境模型的数据增广方法，其特征在于，具体包括以下步骤：

步骤一、针对水下湍流的存在对水下图片成像质量有衰减作用，不同程度的海洋湍流对水下图像的影响不同采用基于湍流模型的数据增广方法，模拟不同程度的海洋湍流对水下图片成像的影响；

步骤二、针对水下图片通过水下机器人拍摄，不同的拍摄视角拍摄同一个目标存在不同采用基于透视变换模型的数据增广方法，模拟同一目标不同的拍摄视角所拍摄的图片；

步骤三、针对水下拍摄光照不足时需要人造光辅助照明，人造光的存在会使图片存在不均匀光照现象采用基于不均匀光照模型的数据增广方法，模拟水下图片不同的不均匀光照现象。

2.根据权利要求1所述一种基于水下成像环境模型的数据增广方法，其特征在于：步骤一所述基于湍流模型的数据增广方法是通过模拟不同程度的海洋湍流对图像的干扰进行数据增广，具体包括以下步骤：

步骤1.对图像使用湍流系数k处理得到图像复原的结果，维纳滤波复原图像的过程为：

式中，T(u,v)是湍流函数，

u和v表示像素点的坐标值，k是湍流系数；Q(u,v)是一个常量，G(u,v)是原始图像的傅里叶变换形式，

是复原后图像的傅里叶变换形式，复原后的图像可通过对

进行傅里叶逆变换处理得到；

步骤2.得到复原图像后，使用维纳滤波的逆过程来对图像模拟不同程度的海洋湍流对正常图像的衰减影响，达到模拟不同的海况下增广水下图片的目的；维纳滤波的逆过程定义为：

式中，F(u,v)是复原后图像的傅里叶变换形式，

是图片加湍流处理后的傅里叶变换形式。

3.根据权利要求2所述一种基于水下成像环境模型的数据增广方法，其特征在于：步骤二所述基于透视变换模型的数据增广方法是通过模拟水下图像不同的拍摄视角进行数据增广，具体包括以下步骤：

步骤1.求解单应性矩阵，求解的方法为四点求解单应性矩阵的方法，通过选取4对以上的合适透视变换点对并用SVD分解方法求其解单应性矩阵H；求解公式为：

其中H代表三维坐标点在相机1到相机2的单应变换矩阵，

步骤2.得到单应性矩阵H后使用随机采样一致性即Random Sample Consensus,简称RANSAC方法对其进行优化，最后使用下式进行像平面之间的坐标点转换，实现对图片的透视变换，

4.根据权利要求3所述一种基于水下成像环境模型的数据增广方法，其特征在于：步骤三所述基于不均匀光照模型的数据增广方法是模拟水中不均匀光照的现象进行数据增广，具体包括以下步骤：

步骤1.收集一批经典的水下不均匀光照图像，使用线性空间滤波方法的矩形平均滤波器来计算这些不均匀光照图片的光照强度分布模板E，

这个空间滤波操作的描述为：

式中，O表示不均匀光照图像，E表示提取得到的不均匀光照图像O的光照强度模板，X表示卷积核，它是一个单位矩阵，M和N表示卷积核X的长和宽，一般将M和N设为图像长和框的1/6。符号

表示矩阵卷积运算；

步骤2.计算光照强度模板E与其平均值a的差值模板D，计算公式为：

式中，m和n分别是模板E的宽和高，D是模板E和其平均值a的差值模板；

步骤3.将差值模板D与原图像I进行融合，达到模拟不均匀光照下的增广图片的目的，融合公式为：

式中，A是被增广图像。符号

表示矩阵加法运算。

Images