CN108038832A - 一种水下图像增强方法及系统 - Google Patents
一种水下图像增强方法及系统 Download PDFInfo
- Publication number
- CN108038832A CN108038832A CN201711424318.2A CN201711424318A CN108038832A CN 108038832 A CN108038832 A CN 108038832A CN 201711424318 A CN201711424318 A CN 201711424318A CN 108038832 A CN108038832 A CN 108038832A
- Authority
- CN
- China
- Prior art keywords
- data
- network
- underwater picture
- underwater
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 70
- 230000000007 visual effect Effects 0.000 claims abstract description 27
- 230000001360 synchronised effect Effects 0.000 claims abstract description 8
- 238000004088 simulation Methods 0.000 claims description 42
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 238000005728 strengthening Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 2
- 230000007935 neutral effect Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims 2
- 230000004069 differentiation Effects 0.000 claims 1
- 230000032696 parturition Effects 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 239000008239 natural water Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于水下图像增强技术领域，提供了一种水下图像增强方法及系统，其中，方法包括：在水下播放视频；在水下拍摄所述视频，获得低质量水下图像数据；同步获取所述视频的高质量源图像数据和所述低质量水下图像数据，作为输入数据；对所述输入数据进行底层图像处理和高层视觉处理，得到重建后的高质量水下图像数据；其中，所述高质量源图像数据和所述低质量水下图像数据存在对应关系。本发明通过同步获取水下播放的视频的高质量源图像数据和拍摄所述视频得到的低质量水下图像数据，可以快速、便捷的获得大量水下训练数据，通过结合底层图像处理和高层视觉处理，可以更加有效的对底层图像进行增强。
Description
技术领域
本发明属于水下图像增强技术领域，尤其涉及一种水下图像增强方法及系统。
背景技术
水下拍摄的图像由于水体结构，水质浑浊、光照吸收、光线不足及成像设备等因素会出现有限的可视距离、低对比度、非均匀光照、模糊、光斑、色彩降维等劣化现象，水下图像增强算法可以提高水下图像质量，解决水下图像低对比度、模糊与色彩降维问题，增加水下图像细节，提升视觉效果。进几年，深度学习在图像的去雾、超分辨、去噪等底层处理中均取得成功应用。水下图像增强方法主要通过水下图像对训练网络及相关模型进行训练，使训练网络能够不断学习从而能够根据输入的低质量水下图像重建得到高质量水下图像。
然而，现有的水下训练数据的获取方式难以获取大量的接近真实水下图像的训练数据，现有的水下图像增强算法也无法对大量的训练数据进行训练并得到高质量的水下图像。
发明内容
有鉴于此，本发明实施例提供了一种水下图像增强方法及系统，以解决现有的水下训练数据的获取方式难以获取大量的接近真实水下图像的训练数据，以及现有的水下图像增强算法也无法对大量的训练数据进行训练并得到高质量的水下图像的问题。
本发明实施例的第一方面提供一种水下图像增强方法，其包括：
在水下播放视频；
在水下拍摄所述视频，获得低质量水下图像数据；
同步获取所述视频的高质量源图像数据和所述低质量水下图像数据，作为输入数据；
对所述输入数据进行底层图像处理和高层视觉处理，得到重建后的高质量水下图像数据；
其中，所述高质量源图像数据和所述低质量水下图像数据存在对应关系。
在一个实施例中，对所述输入数据进行底层图像处理和高层视觉处理，包括：
对所述输入数据进行不同尺度的滤波处理，提取所述输入数据的不同尺度特征；
通过所述输入数据的不同尺度特征对深度卷积神经网络进行训练直到收敛，回归出高质量水下图像数据；
通过所述深度卷积神经网络输出的数据对深度残差网络进行训练直到收敛，回归出所述输入数据的类别信息。
本发明的第二方面提供一种水下图像增强方法，其包括：
通过第一数据集和第二数据集对生成对抗网络进行训练，生成模拟水下图像数据；
通过所述模拟水下图像数据对端到端网络进行训练，得到重建后的高质量水下图像数据；
其中，所述第一数据集包括低质量水下图像数据，所述二数据集包括与所述低质量水下图像不存在对应关系的高质量自然图像数据。
本发明的第三方面提供一种水下图像增强方法，其包括：
对第一数据集进行预处理；
通过第一数据集和第二数据集对第一生成对抗网络进行训练，生成模拟水下图像数据；
通过预处理后的所述第一数据集和所述模拟水下图像数据对第二生成对抗网络进行训练，得到增强后的高质量水下图像数据；
其中，所述第一数据集包括低质量水下图像数据，所述第二数据集包括与所述低质量水下图像不存在对应关系的高质量自然图像数据。
本发明的第四方面提供一种水下图像增强系统，其包括水下视频播放器、水下摄像机、底层图像处理网络和高层视觉处理网络；
所述底层图像处理网络与所述水下视频播放器、所述水下摄像机和所述高层视觉处理网络连接；
所述水下视频播放器用于在水下播放视频；
所述水下摄像机用于在水下拍摄所述视频，获得低质量水下图像数据；
所述底层图像处理网络用于同步获取所述视频的高质量源图像数据和所述低质量水下图像数据，作为输入数据；
所述底层图像处理网络和所述高层视觉处理网络分别对所述输入数据进行底层图像处理和高层视觉处理，得到重建后的高质量水下图像数据；
其中，所述高质量源图像数据和所述低质量水下图像数据存在对应关系。
在一个实施例中，所述底层图像处理网络包括若干不同尺度的滤波器和深度卷积神经网络，所述高层视觉处理网络为深度残差网络；
所述若干不同尺度的滤波器与所述水下视频播放器、所述水下摄像机和所述深度卷积神经网络连接，所述深度残差网络与所述深度卷积神经网络连接；
所述若干不同尺度的滤波器用于对所述输入数据进行不同尺度的滤波处理，提取所述输入数据的不同尺度特征；
所述深度卷积神经网络用于通过所述输入数据的不同尺度特征进行训练直到收敛，回归出高质量水下图像数据；
所述深度残差网络用于通过所述深度卷积神经网络输出的数据进行训练直到收敛，回归出所述输入数据的类别信息。
本发明的第五方面提供一种水下图像增强系统，其包括生成对抗网络和端到端网络，所述生成对抗网络与所述端到端网络连接；
所述生成对抗网络用于对第一数据集和第二数据集进行训练，生成模拟水下图像数据；
所述端到端网络用于通过所述模拟水下图像数据进行训练，得到重建后的高质量水下图像数据；
其中，所述第一数据集包括低质量水下图像数据，所述二数据集包括与所述低质量水下图像数据不存在对应关系的高质量自然图像数据。
在一个实施例中，所述生成对抗网络由生成网络和判别网络组成。
本发明的第六方面提供一种水下图像增强系统，其包括水下图像预处理器、第一生成对抗网络和第二生成对抗网络；
所述第二生成对抗网络与所述水下图像预处理器和所述第一生成对抗网络连接：
所述水下图像预处理器用于对第一数据集进行预处理；
所述第一生成对抗网络用于通过所述第一数据集和第二数据集进行训练，生成模拟水下图像数据；
所述第二生成对抗网络用于通过预处理后的所述第一数据集和所述模拟水下图像数据进行训练，得到增强后的高质量水下图像数据；
其中，所述第一数据集包括低质量水下图像数据，所述二数据集包括与所述低质量水下图像数据不存在对应关系的高质量自然图像数据。
在一个实施例中，所述第一生成对抗网络由生成网络和判别网络组成，所述第二生成对抗网络由多个生成网络和对抗网络组成。
本发明实施例第一方面和第四方面通过同步获取水下播放的视频的高质量源图像数据和拍摄所述视频得到的低质量水下图像数据，可以快速、便捷的获得大量水下训练数据，通过结合底层图像处理和高层视觉(图像分类)处理，可以更加有效的对底层图像进行增强。
本发明实施例第二方面和第五方面通过生成对抗网络生成模拟水下图像数据，可以简单有效的获取接近真实的模拟水下图像数据作为训练数据，然后通过端到端网络训练，可以得到高质量水下图像数据。
本发明实施例第三方面和第六方面通过一个生成对抗网络生成模拟水下图像数据，可以简单有效的获取接近真实的模拟水下图像数据，然后通过另一个生成对抗网络对预处理的低质量水下图像数据和模拟水下图像数据进行训练，可以有效的增强网络学习能力，得到增强后的高质量水下图像数据。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的水下图像增强方法的流程示意图；
图2是本发明实施例二提供的水下图像增强方法的流程示意图；
图3是本发明实施例三提供的水下图像增强方法的流程示意图；
图4是本发明实施例四提供的水下图像增强系统的结构示意图；
图5是本发明实施例五提供的水下图像增强系统的结构示意图；
图6是本发明实施例六提供的水下图像增强系统的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
如图1所示，本实施例提供一种水下图像增强方法，其包括：
步骤S101：在水下播放视频。
在具体应用中，播放视频所采用的水下环境可以是自然水体的水下环境，也可以是通过向水箱或者游泳池等水载体中添加牛奶、水溶性颜料等污染物来模拟浑浊的水质的水下环境。可以通过将封闭防水的视频播放器放置于水下环境中来播放视频，该视频具体是高清的视频。视频播放器具体可以是防水显示器。
步骤S102：在水下拍摄所述视频，获得低质量水下图像数据。
在具体应用中，可以通过在水下环境中放置一台封闭防水的水下摄像机来同步拍摄播放的视频，由于水下环境的浑浊水质，拍摄得到的是低质量的水下图像数据。在拍摄视频时，通过调节摄像机和视频播放器之间的距离，可以快速方便的获得大量需要的训练数据。在研究其他水体中的数据时，也可以使用相同的方法，将视频播放器和摄像机放置于相应水体中，从而可以快速、便捷的获取大量水下训练数据。
步骤S103：同步获取所述视频的高质量源图像数据和所述低质量水下图像数据，作为输入数据。
在具体应用中，高质量源图像数据和低质量水下图像数据存在对应关系，通过对这些对应的数据进行并行训练，可以提高学习能力，通过同步获取源图像数据和水下图像数据可以得到一一对应的高质量源图像数据和低质量水下图像数据，源图像数据具体可以从视频播放器获取，也可以从向视频播放器输出源图像数据的设备获取。
步骤S104：对所述输入数据进行底层图像处理和高层视觉处理，得到重建后的高质量水下图像数据。
在具体应用中，通过对输入数据同时进行底层图像处理和高层视觉处理，实现对输入数据的并行处理，得到高质量水下图像数据。
在一个实施例中，步骤S104包括：
步骤S1041：对所述输入数据进行不同尺度的滤波处理，提取所述输入数据的不同尺度特征；
步骤S1042：通过所述输入数据的不同尺度特征对深度卷积神经网络进行训练直到收敛，回归出高质量水下图像数据；
步骤S1043：通过所述深度卷积神经网络输出的数据对深度残差网络进行训练直到收敛，回归出所述输入数据的类别信息。
在具体应用中，因为输入数据包括低质劣化的低质量水下图像数据，故需要提取足够丰富的输入信息，通过对输入数据进行不同尺度的滤波处理，可以提取出输入数据中的不同尺度特征，并且可以降低噪声和模糊的干扰。具体的可以根据实际需要选择任意数量的不同尺度的滤波器来实现滤波，例如，可以选用5个尺度分别为1×1、3×3、5×5、7×7、9×9的滤波器。
在具体应用中，可以选用以短连接(short-cut)形式构建的类似U形(U-net)结构的深度卷积神经网络来对输入数据进行训练，直到数据收敛，回归出高质量水下图像数据。
在具体应用中，将底层图像处理去除噪声与高层视觉(图像类别信息)处理的高层语义任务相结合，将深度卷积神经网络输出的数据作为高层视觉处理的输入数据，回归出输入数据的类别信息，可以更加有效的对底层图像进行重建得到高质量图像。
具体应用中，可以选用以短连接形式构建的深度残差网络对深度卷积神经网络的输出数据进行训练。这种短连接形式能够更好地的帮助网络学习图像特征，也使得网络更加容易收敛。
本实施例通过同步获取水下播放的视频的高质量源图像数据和拍摄所述视频得到的低质量水下图像数据，可以快速、便捷的获得大量水下训练数据，通过结合底层图像处理和高层视觉处理，可以更加有效的对底层图像进行增强，通过多尺度自适应的卷积神经网络，能够在降低噪声和去除模糊方面取得更好的效果。
实施例二
如图2所示，本实施例提供一种水下图像增强方法，其包括：
步骤S201：通过第一数据集和第二数据集对生成对抗网络进行训练，生成模拟水下图像数据。
在具体应用中，第一数据集包括低质量水下图像数据，第二数据集包括与低质量水下图像不存在对应关系的高质量自然图像数据。第一数据集中的低质量水下图像可以通过实施例一中的方式由水下摄像机来获取，也可以通过其他途径来获取。第二数据集中的高质量自然图像数据可以是任意的自然图像数据。
在具体应用中，通过生成对抗网络(GAN)进行训练，可以生成与第一数据集高度近似的模拟数据。
在一个实施例中，生成对抗网络由生成网络和判别网络组成，生成网络中会设置退化参数及照相机相应参数初始化，网络不断学习会生成与真实的第一数据集接近的模拟水下数据。
步骤S202：通过所述模拟水下图像数据对端到端网络进行训练，得到重建后的高质量水下图像数据。
在具体应用中，通过端到端网络训练，可以使其学习到第一数据集的退化参数，从而达到重建第一数据集的目的，获取高质量水下图像。
本发明实施例通过生成对抗网络生成模拟水下图像数据，可以简单有效的获取接近真实的模拟水下图像数据作为训练数据，然后通过端到端网络训练，可以得到高质量水下图像数据。
实施例三
如图3所示，本实施例提供一种水下图像增强方法，其包括：
步骤S301：对第一数据集进行预处理。
在具体应用中，可以通过任意的图像预处理模器件对第一数据集进行处理。
步骤S302：通过第一数据集和第二数据集对第一生成对抗网络进行训练，生成模拟水下图像数据。
在具体应用中，第一数据集包括低质量水下图像数据，第二数据集包括与低质量水下图像不存在对应关系的高质量自然图像数据。第一数据集中的低质量水下图像可以通过实施例一中的方式由水下摄像机来获取，也可以通过其他途径来获取。第二数据集中的高质量自然图像数据可以是任意的自然图像数据。
在具体应用中，通过第一生成对抗网络(GAN)进行训练，可以生成与第一数据集高度近似的模拟数据。
在一个实施例中，第一生成对抗网络由生成网络和判别网络组成，生成网络中会设置退化参数及照相机相应参数初始化，网络不断学习会生成与真实的第一数据集接近的模拟水下数据。
步骤S303：通过预处理后的所述第一数据集和所述模拟水下图像数据对第二生成对抗网络进行训练，得到增强后的高质量水下图像数据。
在一个实施例中，第一生成对抗网络由生成网络和判别网络组成，生成网络中会设置退化参数及照相机相应参数初始化，网络不断学习会生成与真实的第一数据集接近的模拟水下数据。
本实施例中，第二生成对抗网络通过不断的网络学习能够学到预处理的第一数据集到模拟水下图像数据的转化，从而获得增强后的高质量水下图像数据。通过将第一生成对抗网络生成的模拟水下数据和预处理的低质量水下图像数据共同作为第二生成对抗网络的输入数据，能够有效地增强网络的学习能力，使网络更容易地学习到水下数据分布特征。
在一个实施例中，第二生成对抗网络由多个生成网络和对抗网络组成，通过不断的学习，能够学到第一数据集到模拟水下图像数据之间的转化，从而得到增强后的高质量水下图像数据。
本实施例通过一个生成对抗网络生成模拟水下图像数据，可以简单有效的获取接近真实的模拟水下图像数据，然后通过另一个生成对抗网络对预处理的低质量水下图像数据和模拟水下图像数据进行训练，可以有效的增强网络学习能力，得到增强后的高质量水下图像数据。
实施例四
如图4所示，本实施例提供一种水下图像增强系统100，用于实现实施例一中的方法，其包括：
水下视频播放器101、水下摄像机102、底层图像处理网络103和高层视觉处理网络104；
底层图像处理网络103的输入端与水下视频播放器101和水下摄像机102连接，底层图像处理网络103的输出端和高层视觉处理网络104的输入端连接。
水下视频播放器101用于在水下播放视频；
水下摄像机102用于在水下拍摄视频，获得低质量水下图像数据；
底层图像处理网络103用于同步获取视频的高质量源图像数据和低质量水下图像数据，作为输入数据；
底层图像处理网络103和高层视觉处理网络104分别对输入数据进行底层图像处理和高层视觉处理，得到重建后的高质量水下图像数据；
其中，高质量源图像数据和低质量水下图像数据存在对应关系。
在一个实施例中，底层图像处理网络包括若干不同尺度的滤波器和深度卷积神经网络，高层视觉处理网络为深度残差网络；
若干不同尺度的滤波器与水下视频播放器、水下摄像机和深度卷积神经网络连接，深度残差网络与深度卷积神经网络连接；
若干不同尺度的滤波器用于对输入数据进行不同尺度的滤波处理，提取输入数据的不同尺度特征；
深度卷积神经网络用于通过输入数据的不同尺度特征进行训练直到收敛，回归出高质量水下图像数据；
深度残差网络用于通过深度卷积神经网络输出的数据进行训练直到收敛，回归出输入数据的类别信息。
在具体应用中，可以根据实际需要选择任意数量的不同尺度的滤波器来实现滤波，例如，可以选用5个尺度分别为1×1、3×3、5×5、7×7、9×9的滤波器。可以选用以短连接(short-cut)形式构建的类似U形(U-net)结构的深度卷积神经网络。可以选用以短连接形式构建的深度残差网络。
本实施例通过同步获取水下播放的视频的高质量源图像数据和拍摄所述视频得到的低质量水下图像数据，可以快速、便捷的获得大量水下训练数据，通过结合底层图像处理和高层视觉处理，可以更加有效的对底层图像进行增强，通过多尺度自适应的卷积神经网络，能够在降低噪声和去除模糊方面取得更好的效果。
实施例五
如图5所示，本实施例提供一种水下图像增强系统200，用于实现实施例二中的方法，其包括生成对抗网络201和端到端网络202，生成对抗网络201的输出端与端到端网络202的输入端连接。
生成对抗网络201用于对第一数据集和第二数据集进行训练，生成模拟水下图像数据；
端到端网络202用于通过模拟水下图像数据进行训练，得到重建后的高质量水下图像数据；
其中，第一数据集包括低质量水下图像数据，二数据集包括与低质量水下图像数据不存在对应关系的高质量自然图像数据。
在一个实施例中，生成对抗网络由生成网络和判别网络组成，生成网络中会设置退化参数及照相机相应参数初始化，网络不断学习会生成与真实的第一数据集接近的模拟水下数据。
本实施例通过生成对抗网络生成模拟水下图像数据，可以简单有效的获取接近真实的模拟水下图像数据作为训练数据，然后通过端到端网络训练，可以得到高质量水下图像数据。
实施例六
如图6所示，本实施例提供一种水下图像增强系统300，用于实现实施例三中的方法，其包括水下图像预处理器301，第一生成对抗网络302和第二生成对抗网络303；第二生成对抗网络303的第一输入端与水下图像预处理器301的输出端连接，第二生成对抗网络303的第二输入端与第一生成对抗网络302的输出端连接。
水下图像预处理器301用于对第一数据集进行预处理；
第一生成对抗网络302用于通过第一数据集和第二数据集进行训练，生成模拟水下图像数据；
第二生成对抗网络303用于通过预处理后的第一数据集和模拟水下图像数据进行训练，得到增强后的高质量水下图像数据；
其中，第一数据集包括低质量水下图像数据，二数据集包括与低质量水下图像数据不存在对应关系的高质量自然图像数据。
在具体应用中，第一数据集中的低质量水下图像可以通过实施例一中的方式由水下摄像机来获取，也可以通过其他途径来获取。第二数据集中的高质量自然图像数据可以是任意的自然图像数据。
在具体应用中，水下图像预处理器可以是任意的具有图像处理功能的图像处理器，用于对图像进行初步的模糊去噪处理，以提高图像质量。
在具体应用中，通过第一生成对抗网络(GAN)进行训练，可以生成与第一数据集高度近似的模拟数据。
在一个实施例中，第一生成对抗网络由生成网络和判别网络组成，生成网络中会设置退化参数及照相机相应参数初始化，网络不断学习会生成与真实的第一数据集接近的模拟水下数据。
在一个实施例中，第二生成对抗网络由多个生成网络和对抗网络组成，通过不断的学习，能够学到第一数据集到模拟水下图像数据之间的转化，从而得到增强后的高质量水下图像数据。
本实施例通过一个生成对抗网络生成模拟水下图像数据，可以简单有效的获取接近真实的模拟水下图像数据，然后通过另一个生成对抗网络对预处理的低质量水下图像数据和模拟水下图像数据进行训练，可以有效的增强网络学习能力，得到增强后的高质量水下图像数据。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种水下图像增强方法，其特征在于，包括：
在水下播放视频；
在水下拍摄所述视频，获得低质量水下图像数据；
同步获取所述视频的高质量源图像数据和所述低质量水下图像数据，作为输入数据；
对所述输入数据进行底层图像处理和高层视觉处理，得到重建后的高质量水下图像数据；
其中，所述高质量源图像数据和所述低质量水下图像数据存在对应关系。
2.如权利要求1所述的水下图像增强方法，其特征在于，对所述输入数据进行底层图像处理和高层视觉处理，包括：
对所述输入数据进行不同尺度的滤波处理，提取所述输入数据的不同尺度特征；
通过所述输入数据的不同尺度特征对深度卷积神经网络进行训练直到收敛，回归出高质量水下图像数据；
通过所述深度卷积神经网络输出的数据对深度残差网络进行训练直到收敛，回归出所述输入数据的类别信息。
3.一种水下图像增强方法，其特征在于，包括：
通过第一数据集和第二数据集对生成对抗网络进行训练，生成模拟水下图像数据；
通过所述模拟水下图像数据对端到端网络进行训练，得到重建后的高质量水下图像数据；
其中，所述第一数据集包括低质量水下图像数据，所述第二数据集包括与所述低质量水下图像不存在对应关系的高质量自然图像数据。
4.一种水下图像增强方法，其特征在于，包括：
对第一数据集进行预处理；
通过第一数据集和第二数据集对第一生成对抗网络进行训练，生成模拟水下图像数据；
通过预处理后的所述第一数据集和所述模拟水下图像数据对第二生成对抗网络进行训练，得到增强后的高质量水下图像数据；
其中，所述第一数据集包括低质量水下图像数据，所述第二数据集包括与所述低质量水下图像不存在对应关系的高质量自然图像数据。
5.一种水下图像增强系统，其特征在于，包括水下视频播放器、水下摄像机、底层图像处理网络和高层视觉处理网络；
所述底层图像处理网络与所述水下视频播放器、所述水下摄像机和所述高层视觉处理网络连接；
所述水下视频播放器用于在水下播放视频；
所述水下摄像机用于在水下拍摄所述视频，获得低质量水下图像数据；
所述底层图像处理网络用于同步获取所述视频的高质量源图像数据和所述低质量水下图像数据，作为输入数据；
所述底层图像处理网络和所述高层视觉处理网络分别对所述输入数据进行底层图像处理和高层视觉处理，得到重建后的高质量水下图像数据；
其中，所述高质量源图像数据和所述低质量水下图像数据存在对应关系。
6.如权利要求5所述的水下图像增强系统，其特征在于，所述底层图像处理网络包括若干不同尺度的滤波器和深度卷积神经网络，所述高层视觉处理网络为深度残差网络；
所述若干不同尺度的滤波器与所述水下视频播放器、所述水下摄像机和所述深度卷积神经网络连接，所述深度残差网络与所述深度卷积神经网络连接；
所述若干不同尺度的滤波器用于对所述输入数据进行不同尺度的滤波处理，提取所述输入数据的不同尺度特征；
所述深度卷积神经网络用于通过所述输入数据的不同尺度特征进行训练直到收敛，回归出高质量水下图像数据；
所述深度残差网络用于通过所述深度卷积神经网络输出的数据进行训练直到收敛，回归出所述输入数据的类别信息。
7.一种水下图像增强系统，其特征在于，包括生成对抗网络和端到端网络，所述生成对抗网络与所述端到端网络连接；
所述生成对抗网络用于对第一数据集和第二数据集进行训练，生成模拟水下图像数据；
所述端到端网络用于通过所述模拟水下图像数据进行训练，得到重建后的高质量水下图像数据；
其中，所述第一数据集包括低质量水下图像数据，所述二数据集包括与所述低质量水下图像数据不存在对应关系的高质量自然图像数据。
8.如权利要求7所述的水下图像增强系统，其特征在于，所述生成对抗网络由生成网络和判别网络组成。
9.一种水下图像增强系统，其特征在于，包括水下图像预处理器、第一生成对抗网络和第二生成对抗网络；
所述第二生成对抗网络与所述水下图像预处理器和所述第一生成对抗网络连接：
所述水下图像预处理器用于对第一数据集进行预处理；
所述第一生成对抗网络用于通过所述第一数据集和第二数据集进行训练，生成模拟水下图像数据；
所述第二生成对抗网络用于通过预处理后的所述第一数据集和所述模拟水下图像数据进行训练，得到增强后的高质量水下图像数据；
其中，所述第一数据集包括低质量水下图像数据，所述二数据集包括与所述低质量水下图像数据不存在对应关系的高质量自然图像数据。
10.如权利要求9所述的水下图像增强系统，其特征在于，所述第一生成对抗网络由生成网络和判别网络组成，所述第二生成对抗网络由多个生成网络和对抗网络组成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711424318.2A CN108038832A (zh) | 2017-12-25 | 2017-12-25 | 一种水下图像增强方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711424318.2A CN108038832A (zh) | 2017-12-25 | 2017-12-25 | 一种水下图像增强方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108038832A true CN108038832A (zh) | 2018-05-15 |
Family
ID=62101143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711424318.2A Pending CN108038832A (zh) | 2017-12-25 | 2017-12-25 | 一种水下图像增强方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108038832A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064477A (zh) * | 2018-07-06 | 2018-12-21 | 陕西师范大学 | 用改进的U-Net检测细胞核边缘的方法 |
| CN109118445A (zh) * | 2018-07-27 | 2019-01-01 | 杭州电子科技大学 | 一种基于多分支生成对抗网络的水下图像增强方法 |
| CN109284719A (zh) * | 2018-09-28 | 2019-01-29 | 成都臻识科技发展有限公司 | 一种基于机器学习的初始数据处理方法和系统 |
| CN109785252A (zh) * | 2018-12-25 | 2019-05-21 | 山西大学 | 基于多尺度残差密集网络夜间图像增强方法 |
| CN109829907A (zh) * | 2019-01-31 | 2019-05-31 | 浙江工业大学 | 一种基于深度学习的金属轴表面缺陷识别方法 |
| CN109993710A (zh) * | 2019-03-20 | 2019-07-09 | 西北工业大学 | 一种基于生成对抗网络的水下图像去噪方法 |
| CN110189268A (zh) * | 2019-05-23 | 2019-08-30 | 西安电子科技大学 | 基于gan网络的水下图像色彩校正方法 |
| CN110570358A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像增强方法和装置 |
| CN110852970A (zh) * | 2019-11-08 | 2020-02-28 | 南京工程学院 | 基于深度卷积生成对抗网络的水下机器人图像增强方法 |
| CN111860640A (zh) * | 2020-07-17 | 2020-10-30 | 大连海事大学 | 一种基于gan的特定海域数据集增广方法 |
| CN112102193A (zh) * | 2020-09-15 | 2020-12-18 | 北京金山云网络技术有限公司 | 图像增强网络的训练方法、图像处理方法及相关设备 |
| CN112465736A (zh) * | 2020-11-18 | 2021-03-09 | 武汉理工大学 | 一种用于港口船舶监控的红外视频图像增强方法 |
| CN112602088A (zh) * | 2018-09-06 | 2021-04-02 | Oppo广东移动通信有限公司 | 提高弱光图像的质量的方法、系统和计算机可读介质 |
| CN112889069A (zh) * | 2018-11-08 | 2021-06-01 | Oppo广东移动通信有限公司 | 用于提高低照度图像质量的方法、系统和计算机可读介质 |
| CN112906510A (zh) * | 2021-02-02 | 2021-06-04 | 中国水利水电科学研究院 | 一种渔业资源统计方法及系统 |
| CN113168684A (zh) * | 2018-11-26 | 2021-07-23 | Oppo广东移动通信有限公司 | 提升低亮度图像的质量的方法、系统和计算机可读介质 |
| CN113450261A (zh) * | 2020-03-25 | 2021-09-28 | 江苏翼视智能科技有限公司 | 一种基于条件生成对抗网络的单幅图像去雾方法 |
| CN113628121A (zh) * | 2020-05-06 | 2021-11-09 | 阿里巴巴集团控股有限公司 | 数据处理、训练多媒体数据的方法和装置 |
| CN114612580A (zh) * | 2022-03-15 | 2022-06-10 | 中国人民解放军国防科技大学 | 一种面向低质量相机的高清成像方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101329735A (zh) * | 2008-06-27 | 2008-12-24 | 北京中星微电子有限公司 | 一种手写签名鉴定设备及其方法 |
| CN102967264A (zh) * | 2012-12-07 | 2013-03-13 | 中国科学院新疆生态与地理研究所 | 一种基于数码图像技术获取灌木分枝长度的方法 |
| CN103954542A (zh) * | 2014-05-12 | 2014-07-30 | 中国计量学院 | 基于无参考图像清晰度评价的pm2.5浓度检测仪 |
| CN105825484A (zh) * | 2016-03-23 | 2016-08-03 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN106846261A (zh) * | 2016-12-21 | 2017-06-13 | 大连海事大学 | 基于卷积神经网络的水下图像处理方法 |
| WO2017106998A1 (en) * | 2015-12-21 | 2017-06-29 | Sensetime Group Limited | A method and a system for image processing |
| CN106930770A (zh) * | 2017-02-06 | 2017-07-07 | 西安科技大学 | 基于卷积神经网络的盾构机护盾间隙估计方法 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107437096A (zh) * | 2017-07-28 | 2017-12-05 | 北京大学 | 基于参数高效的深度残差网络模型的图像分类方法 |
| CN107507250A (zh) * | 2017-06-02 | 2017-12-22 | 北京工业大学 | 一种基于卷积神经网络的面色舌色图像颜色校正方法 |
-
2017
- 2017-12-25 CN CN201711424318.2A patent/CN108038832A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101329735A (zh) * | 2008-06-27 | 2008-12-24 | 北京中星微电子有限公司 | 一种手写签名鉴定设备及其方法 |
| CN102967264A (zh) * | 2012-12-07 | 2013-03-13 | 中国科学院新疆生态与地理研究所 | 一种基于数码图像技术获取灌木分枝长度的方法 |
| CN103954542A (zh) * | 2014-05-12 | 2014-07-30 | 中国计量学院 | 基于无参考图像清晰度评价的pm2.5浓度检测仪 |
| WO2017106998A1 (en) * | 2015-12-21 | 2017-06-29 | Sensetime Group Limited | A method and a system for image processing |
| CN105825484A (zh) * | 2016-03-23 | 2016-08-03 | 华南理工大学 | 一种基于深度学习的深度图像去噪及增强方法 |
| CN106127702A (zh) * | 2016-06-17 | 2016-11-16 | 兰州理工大学 | 一种基于深度学习的图像去雾算法 |
| CN106846261A (zh) * | 2016-12-21 | 2017-06-13 | 大连海事大学 | 基于卷积神经网络的水下图像处理方法 |
| CN106930770A (zh) * | 2017-02-06 | 2017-07-07 | 西安科技大学 | 基于卷积神经网络的盾构机护盾间隙估计方法 |
| CN107154023A (zh) * | 2017-05-17 | 2017-09-12 | 电子科技大学 | 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法 |
| CN107507250A (zh) * | 2017-06-02 | 2017-12-22 | 北京工业大学 | 一种基于卷积神经网络的面色舌色图像颜色校正方法 |
| CN107437096A (zh) * | 2017-07-28 | 2017-12-05 | 北京大学 | 基于参数高效的深度残差网络模型的图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| JIE LI ET AL.: "WaterGAN: Unsupervised Generative Network to Enable Real-time Color Correction of Monocular Underwater Images", IEEE ROBOTICS AND AUTOMATION LETTERS. PREPRINT VERSION, pages 105 - 109 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109064477A (zh) * | 2018-07-06 | 2018-12-21 | 陕西师范大学 | 用改进的U-Net检测细胞核边缘的方法 |
| CN109118445A (zh) * | 2018-07-27 | 2019-01-01 | 杭州电子科技大学 | 一种基于多分支生成对抗网络的水下图像增强方法 |
| CN109118445B (zh) * | 2018-07-27 | 2021-10-08 | 杭州电子科技大学 | 一种基于多分支生成对抗网络的水下图像增强方法 |
| CN110570358A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像增强方法和装置 |
| CN112602088A (zh) * | 2018-09-06 | 2021-04-02 | Oppo广东移动通信有限公司 | 提高弱光图像的质量的方法、系统和计算机可读介质 |
| CN112602088B (zh) * | 2018-09-06 | 2024-03-12 | Oppo广东移动通信有限公司 | 提高弱光图像的质量的方法、系统和计算机可读介质 |
| CN109284719A (zh) * | 2018-09-28 | 2019-01-29 | 成都臻识科技发展有限公司 | 一种基于机器学习的初始数据处理方法和系统 |
| CN112889069A (zh) * | 2018-11-08 | 2021-06-01 | Oppo广东移动通信有限公司 | 用于提高低照度图像质量的方法、系统和计算机可读介质 |
| US11887280B2 (en) | 2018-11-08 | 2024-01-30 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method, system, and computer-readable medium for improving quality of low-light images |
| CN112889069B (zh) * | 2018-11-08 | 2024-04-05 | Oppo广东移动通信有限公司 | 用于提高低照度图像质量的方法、系统和计算机可读介质 |
| CN113168684A (zh) * | 2018-11-26 | 2021-07-23 | Oppo广东移动通信有限公司 | 提升低亮度图像的质量的方法、系统和计算机可读介质 |
| CN113168684B (zh) * | 2018-11-26 | 2024-04-05 | Oppo广东移动通信有限公司 | 提升低亮度图像的质量的方法、系统和计算机可读介质 |
| CN109785252B (zh) * | 2018-12-25 | 2023-03-24 | 山西大学 | 基于多尺度残差密集网络夜间图像增强方法 |
| CN109785252A (zh) * | 2018-12-25 | 2019-05-21 | 山西大学 | 基于多尺度残差密集网络夜间图像增强方法 |
| CN109829907A (zh) * | 2019-01-31 | 2019-05-31 | 浙江工业大学 | 一种基于深度学习的金属轴表面缺陷识别方法 |
| CN109993710A (zh) * | 2019-03-20 | 2019-07-09 | 西北工业大学 | 一种基于生成对抗网络的水下图像去噪方法 |
| CN109993710B (zh) * | 2019-03-20 | 2022-03-11 | 西北工业大学 | 一种基于生成对抗网络的水下图像去噪方法 |
| CN110189268A (zh) * | 2019-05-23 | 2019-08-30 | 西安电子科技大学 | 基于gan网络的水下图像色彩校正方法 |
| CN110852970A (zh) * | 2019-11-08 | 2020-02-28 | 南京工程学院 | 基于深度卷积生成对抗网络的水下机器人图像增强方法 |
| CN113450261A (zh) * | 2020-03-25 | 2021-09-28 | 江苏翼视智能科技有限公司 | 一种基于条件生成对抗网络的单幅图像去雾方法 |
| CN113628121A (zh) * | 2020-05-06 | 2021-11-09 | 阿里巴巴集团控股有限公司 | 数据处理、训练多媒体数据的方法和装置 |
| CN113628121B (zh) * | 2020-05-06 | 2023-11-14 | 阿里巴巴集团控股有限公司 | 数据处理、训练多媒体数据的方法和装置 |
| CN111860640A (zh) * | 2020-07-17 | 2020-10-30 | 大连海事大学 | 一种基于gan的特定海域数据集增广方法 |
| CN112102193A (zh) * | 2020-09-15 | 2020-12-18 | 北京金山云网络技术有限公司 | 图像增强网络的训练方法、图像处理方法及相关设备 |
| CN112102193B (zh) * | 2020-09-15 | 2024-01-23 | 北京金山云网络技术有限公司 | 图像增强网络的训练方法、图像处理方法及相关设备 |
| CN112465736B (zh) * | 2020-11-18 | 2023-03-24 | 武汉理工大学 | 一种用于港口船舶监控的红外视频图像增强方法 |
| CN112465736A (zh) * | 2020-11-18 | 2021-03-09 | 武汉理工大学 | 一种用于港口船舶监控的红外视频图像增强方法 |
| CN112906510A (zh) * | 2021-02-02 | 2021-06-04 | 中国水利水电科学研究院 | 一种渔业资源统计方法及系统 |
| CN114612580A (zh) * | 2022-03-15 | 2022-06-10 | 中国人民解放军国防科技大学 | 一种面向低质量相机的高清成像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038832A (zh) | 一种水下图像增强方法及系统 | |
| CN110634108B (zh) | 一种基于元-循环一致性对抗网络的复合降质网络直播视频增强方法 | |
| Ancuti et al. | Ntire 2018 challenge on image dehazing: Methods and results | |
| Ancuti et al. | Ntire 2019 image dehazing challenge report | |
| CN107203985A (zh) | 一种端到端深度学习框架下的多曝光图像融合方法 | |
| CN111260584A (zh) | 基于gan网络的水下退化图像增强的方法 | |
| CN109903221A (zh) | 图像超分方法及装置 | |
| CN109859288A (zh) | 基于生成对抗网络的图像上色方法及装置 | |
| CN109003240A (zh) | 一种基于多尺度并行cnn的图像去噪方法 | |
| CN109035142A (zh) | 一种对抗网络结合航拍图像先验的卫星图像超分辨方法 | |
| CN106137532B (zh) | 一种图像处理方法 | |
| CN106408522A (zh) | 一种基于卷积对神经网络的图像去噪方法 | |
| CN106228512A (zh) | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 | |
| CN108510451A (zh) | 一种基于双层卷积神经网络的重建车牌的方法 | |
| CN106204468A (zh) | 一种基于ReLU卷积神经网络的图像去噪方法 | |
| CN109829868B (zh) | 一种轻量级深度学习模型图像去雾方法、电子设备及介质 | |
| CN109410149A (zh) | 一种基于并行特征提取的cnn去噪方法 | |
| CN106846261A (zh) | 基于卷积神经网络的水下图像处理方法 | |
| CN106255990A (zh) | 用于相机阵列的图像重对焦 | |
| CN104166967A (zh) | 提升视频图像清晰度的方法 | |
| CN110189268A (zh) | 基于gan网络的水下图像色彩校正方法 | |
| Sun et al. | Underwater image enhancement with reinforcement learning | |
| CN107221000A (zh) | 基于增强现实的针灸穴位可视化平台及其图像处理方法 | |
| CN112102186B (zh) | 一种水下视频图像实时增强方法 | |
| Mo et al. | DCA-CycleGAN: Unsupervised single image dehazing using dark channel attention optimized CycleGAN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |