CN111080531A - 一种水下鱼类图像的超分辨率重建方法、系统及装置 - Google Patents
一种水下鱼类图像的超分辨率重建方法、系统及装置 Download PDFInfo
- Publication number
- CN111080531A CN111080531A CN202010027630.3A CN202010027630A CN111080531A CN 111080531 A CN111080531 A CN 111080531A CN 202010027630 A CN202010027630 A CN 202010027630A CN 111080531 A CN111080531 A CN 111080531A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- fish
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000005286 illumination Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 67
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000750 progressive effect Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims 2
- 230000003321 amplification Effects 0.000 claims 1
- 238000003199 nucleic acid amplification method Methods 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 230000003042 antagnostic effect Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000009360 aquaculture Methods 0.000 description 4
- 244000144974 aquaculture Species 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Abstract
本发明实施例提供一种水下鱼类图像的超分辨率重建方法、系统及装置，该方法包括：获取水下相机拍摄的低分辨率鱼类原始图像；将低分辨率鱼类原始图像输入至图像超分辨率重建模型中的生成器网络，获取与低分辨率鱼类原始图像相对应的超分辨率重建后的高分辨率水下鱼类图像。该装置包括：水下相机、光源、光照度变送器以及控制处理器，光照度变送器能够感应环境的光线强度以通过控制处理器控制光源的光照强度为水下相机补光。本发明实施例通过构建生成判断网络模型，实现对于低分辨率鱼类原始图像的高分辨重建，解决了因养殖现场光照度低及不均匀、水体浑浊等原因导致采集的水下鱼类图像质量差的问题，为小目标鱼类检测提供准确的、连续一致的基础。
Description
技术领域
本发明涉及水产信息技术领域，尤其涉及一种水下鱼类图像的超分辨率重建方法、系统及装置。
背景技术
超分辨率(SR)重建技术是将低分辨率(LR)图片重建为较高分辨率(HR)图片的图像处理技术，其除了能提高图像感知质量外，还有助于改进目标检测等应用效果。由于水产养殖现场光照度低及不均匀、水体浑浊和摄像设备限制等原因导致采集到的水下鱼类图像质量较差。通过使用图像超分辨重建的方法有利于恢复所采集到的鱼类图像丢失的高频特征信息，使后续的用于小目标鱼类识别的图像具有更多目标信息特征，提高鱼类目标识别率。
目前，基于深度学习的超分辨率重建算法(如SRCNN，EDSR，VDSR，RCAN等)，其图像质量评价指标(Power Signal-to-Noise Ratio，简称PSNR)和结构性相似性指数(structural similarity index，简称SSIM)的测试数值有着明显的提高。但其损失函数是使用最小绝对值偏差或者是最小平方误差，导致生成的图像过于光滑，易丢失部分细节纹理信息。相比上述模型，对抗神经网络存在两个不同的网络，分别是对抗网络和识别网络，并且采用对抗训练的方式训练网络。GAN是一种生成式模型，相比较玻尔兹曼机和GSNs等其他生成模型，其不需要复杂的马尔科夫链，可以产生更加清晰，真实的样本。
但是，使用对抗神经网络旨在恢复图片纹理信息，提高图片的整体质量。目前常用的对抗神经网络有SRGAN、EnhanceNet、SRFeat和ESRGAN模型，相比SRCNN，FSRCNN，DRCN，DRRN等模型，其重建后的图片更加逼真。深层的网络结构带来了图像质量的提高。然而，随着层数的增加，模型收敛越加困难，模型效果越不稳定，重建后的图像亮度不一致，同时还导致浅层信息利用不足的情况。BN虽然加速了网络收敛速度，可以使用较大的学习率，但是却引进噪声导致重建后的图片伴随伪影，模型性能不稳定，难以适用于水下鱼类图像超分辨率重建。
基于现有技术在水下鱼类图像的超清晰重建上存在的诸多缺陷，亟需提供一种新的图像处理方法，在强化重建后图片亮度的监控和模型结构的稳定性的基础上，不仅产生更好的图像重建效果，还避免产生不真实的纹理。
发明内容
针对现有技术存在的上述问题，本发明实施例提供一种水下鱼类图像的超分辨率重建方法及系统，以实现对于水下鱼类图像的超分辨率重建。
第一方面，本发明实施例提供了一种水下鱼类图像的超分辨率重建方法，包括：获取水下相机拍摄的低分辨率鱼类原始图像；将获取的低分辨率鱼类原始图像输入至图像超分辨率重建模型中的生成器网络，获取与该低分辨率鱼类原始图像相对应的超分辨率重建后的高分辨率水下鱼类图像。
进一步地，本实施例在所述将所述低分辨率鱼类原始图像输入至图像超分辨率重建模型中的生成器网络之前，还包括：构建训练图像样本以及对应的高分辨率图像样本标签所组成的训练样本集；利用训练样本集对图像超分辨率重建模型进行预训练。
进一步地，上述构建训练图像样本以及对应的高分辨率图像样本标签所组成的训练样本集，包括：
将随机获取的原始尺寸大小的高分辨率鱼类图像，均匀裁剪成多个高分辨率子像素块，并将高分辨率子像素块与高分辨率鱼类图像构成高分辨率图像样本标签集合；基于Bicubic插值法，对每个高分辨率图像中间样本标签集合中的图像进行二倍率分辨率逐级缩小处理，获取训练图像样本集合；将高分辨率图像样本标签集合与训练图像样本集合中的图像按照相同位置一一对应为图像样本对，组建训练样本集。
进一步地，上述利用训练样本集对图像超分辨率重建模型进行预训练，包括：
构建图像超分辨率重建模型中的生成器网络和判别器网络，并结合水下鱼类图像的特点构造模型损失函数；提取任一所述图像样本对；基于生成器网络对图像样本对中的训练图像样本进行处理，获取中间高分辨率图像；基于判别器网络将所述中间高分辨率图像与图像样本对中的高分辨率图像样本标签进行相似度判别；根据相似度判别的结果，对模型损失函数的参数进行调整，直至图像超分辨率重建模型收敛；该判别器网络为相对论平均判别器网络。
进一步地，在本实施例中，生成器网络包括依次连接的第一卷积层、至少两个局部密集残差块、第二卷积层、两组上采样层以及第三卷积层。
上述基于生成器网络对所述图像样本对中的训练图像样本进行处理，获取中间高分辨率图像，包括：
将训练图像样本输入至第一卷积层，获取图像浅层特征；将图像浅层特征依次输入至局部密集残差块后，经过第二卷积层，完成图像特征的提取；将图像特征依次输入至上采样层，以每次放大两倍获取上采样滤波器参数；将上采样滤波器参数输入至第三卷积层，并结合训练图像样本，获取中间高分辨率图像。
进一步地，每个局部密集残差块包括将三个异形密集残差块去除原有的BN层后，依次连接构成；每个异形密集残差块由四层宽通道残差层密集跳跃连接和一层卷积层组成，每个宽通道残差层包括WDSR_B激活层和LeakyReLU激活层；WDSR_B激活层包括依次连接的卷积核为1*1的第四卷积层、ReLU激活层和卷积核为3*3的第五卷积层以及第六卷积层。
进一步地，上述基于判别器网络将中间高分辨率图像与所述图像样本对中的高分辨率图像样本标签进行相似度判别，包括：
将图像样本对中输入至所述判别器网络，依次经过卷积核为3×3的第八卷积层和第五LeakyReLU激活层；再依次经过卷积核为4*4、卷积步长为2的第九卷积层以及第六LeakyReLU激活层；再依次经过卷积核为3×3的第十卷积层和第七LeakyReLU激活层；再依次经过卷积核为8×8的第十一卷积层和第八LeakyReLU激活层；最后将结果输入至分类器，依次经过8192*100的线性变换器、第九LeakyReLU激活层和100×1的线性变换器；获取判别器网络输出的所述相似度判别的结果。
第二方面，本发明实施例提供一种水下鱼类图像的超分辨率重建系统，包括：
图像获取单元，用于接收水下相机拍摄的低分辨率鱼类原始图像；
图像重建单元，该图像重建单元上加载有图像超分辨率重建模型，用于根据低分辨率鱼类原始图像作为输入，输出与低分辨率鱼类原始图像相对应的超分辨率重建后的高分辨率水下鱼类图像。
第三方面，本发明实施例提供一种水下鱼类图像的超分辨率重建装置，包括：水下相机、光源、光照度变送器以及控制处理器，其中：
控制处理器上加载有如第二方面所述的水下鱼类图像的超分辨率重建系统；控制处理器与水下相机、光源和光照度变送器通过通信接口相连接；水下相机能够在控制处理器的控制下采集鱼群的水下图像；光源用于为水下相机补光；光照度变送器能够感应环境的光线强度并将光线强度信息传送给控制处理器；控制处理器还用于根据光线强度信息控制光源的开关以及调节光照强度。
第四方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行所述程序时实现如第一方面任一实施例所述的水下鱼类图像的超分辨率重建方法的步骤。
第五方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如如第一方面任一实施例所述的水下鱼类图像的超分辨率重建方法的步骤。
本发明实施例提供的水下鱼类图像的超分辨率重建方法、系统及方法，通过构建生成判断网络模型，实现对于低分辨率鱼类原始图像的高分辨重建，解决了因养殖现场光照度低及不均匀、水体浑浊等原因导致采集的水下鱼类图像质量差的问题，为小目标鱼类检测提供准确的、连续一致的基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种水下鱼类图像的超分辨率重建方法的流程示意图；
图2为本发明实施例提供的一种水下鱼类图像的超分辨率重建方法中的生成器的网络结构示意图；
图3为本发明实施例提供的一种水下鱼类图像的超分辨率重建方法中的异形密集残差块的网络结构示意图；
图4为本发明实施例提供的一种水下鱼类图像的超分辨率重建方法中的宽通道残差块的网络结构示意图；
图5为本发明实施例提供的一种水下鱼类图像的超分辨率重建方法中的判别器网络结构示意图；
图6为本发明实施例提供的一种水下鱼类图像的超分辨率重建系统的结构示意图；
图7为本发明实施例提供的一种水下鱼类图像的超分辨率重建装置的结构示意图；
图8为本发明实施例提供的电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种水下鱼类图像的超分辨率重建方法，包括但不限于以下步骤：
步骤S1：获取水下相机拍摄的低分辨率鱼类原始图像；
步骤S2：将低分辨率鱼类原始图像输入至图像超分辨率重建模型中的生成器网络，获取与低分辨率鱼类原始图像相对应的超分辨率重建后的高分辨率水下鱼类图像。
其中，由于水产养殖环境的复杂性，一般会导致水下相机拍摄的包含有水产鱼类的图像，会因水产养殖现场光照度低及不均匀、水体浑浊和摄像设备限制等原因造成分辨率低，导致后续利用获取的图片进行的小目标鱼类检测结果不准确。
在本发明实施例中，首先基于生成判断神经网络模型(又称：生成性对抗神经网络模型)，结合水底鱼类的特点构建图像超分辨率重建模型。
其中，生成性对抗神经网络模型(GANs)包括两个子模型，分别是生成器网络子模型和判别器网络子模型。其中，生成器网络是相对于判别器网络子模型定义的。生成器网络主要是用于模型分析，而判断器网络则主要是用于模型的训练。
基于上述实施例的内容，在本发明实施例中，在将低分辨率鱼类原始图像输入至图像超分辨率重建模型中的生成器网络之前，还包括：构建训练图像样本以及对应的高分辨率图像样本标签所组成的训练样本集；利用训练样本集对预建立的图像超分辨率重建模型进行预训练。
具体地，作为一种可选实施例，上述构建训练图像样本以及对应的高分辨率图像样本标签所组成的训练样本集，包括但不限于以下步骤：
首先，将随机获取的原始尺寸大小的高分辨率鱼类图像，均匀裁剪成多个高分辨率子像素块，并将高分辨率子像素块与所述高分辨率鱼类图像构成高分辨率图像样本标签集合。
进一步地，基于Bicubic插值法，对每个高分辨率图像中间样本标签集合中的图像进行二倍率分辨率逐级缩小处理，获取训练图像样本集合。
最后，将高分辨率图像样本标签集合与训练图像样本集合中的图像按照相同位置一一对应为图像样本对，组建训练样本集。
具体地，上述随机获取的原始尺寸大小的高分辨率鱼类图像的方式，可以是在模型训练阶段，随机获取多个不同拍摄状态下(例如不同光线条件、不同的水域、利用不同的水里相机拍摄)，水里相机所拍摄的相对清晰的鱼类图像。
作为一种具体实施例，将上述随机选取的高分辨率鱼类图像分别做如下处理：首先将原始尺寸大小的高分辨率鱼类图像(记为图像A)均裁剪成大小为128*128的子像素块(记为图像Bi，其中i为子像素块的编号)。
进一步地，对上述步骤中获取的图像A和图像Bi使用Bicubic插值法，进行1/2比例、1/4比例分辨率缩小，生成分辨率逐级以2倍率减少的一组图像(记为A’、A”和Bi’、Bi”)，以构成训练图像样本集合，该训练图像样本集合则包括：图像A、图像Bi、A’、A”和Bi’、Bi”。
进一步地，上述将高分辨率图像样本标签集合与训练图像样本集合中的图像按照相同位置一一对应为图像样本对，组建训练样本集，则具体为：
分别将A与A’或A”分别构成高分辨率/低分辨率相组合的图像样本对，并以此规律对训练图像样本集合中位于相同位置的其余图像作相同处理，则可以获取由多个图像样本对所组成的训练样本集。
本发明实施例提供的水下鱼类图像的超分辨率重建方法，利用Bicubic插值法对随机图像进行处理，获取组建高分辨率/低分辨率相组合的图像样本对用于对图像超分辨率重建模型进行训练，简化了训练样本集的获取方式，且在同一训练样本集包含有不同尺寸、不同像素的训练样本，有效的提高了所建立的图像超分辨率重建模型的收敛性和鲁棒性。
基于上述实施例的内容，作为一种可选实施例，上述利用训练样本集对图像超分辨率重建模型进行预训练，包括：构建图像超分辨率重建模型中的生成器网络和判别器网络，并结合水下鱼类图像的特点构造模型损失函数；提取任一所述图像样本对；基于生成器网络对图像样本对中的训练图像样本进行处理，获取中间高分辨率图像；基于判别器网络将中间高分辨率图像与图像样本对中的高分辨率图像样本标签进行相似度判别；根据相似度判别的结果，对模型损失函数的参数进行调整，直至图像超分辨率重建模型收敛；在本实施例中所使用的判别器网络为相对论平均判别器网络。
具体地，如图2所示，在本发明实施例中的生成器网络可以包括：依次连接的第一卷积层、至少两个局部密集残差块、第二卷积层、两组上采样层以及第三卷积层。
上述基于生成器网络对图像样本对中的训练图像样本进行处理，以获取中间高分辨率图像，具体可以包括以下步骤：
将训练图像样本输入至第一卷积层，获取图像浅层特征；将图像浅层特征依次输入至局部密集残差块后，经过第二卷积层，完成图像特征的提取；将图像特征依次输入至上采样层，以每次放大两倍获取上采样滤波器参数；将上采样滤波器参数输入至第三卷积层，并结合训练图像样本，获取中间高分辨率图像。
具体地，如图3所示，将任意图像样本对中低分辨率的训练图像样本作为生成器网络的输入，先通过一层卷积层得到图像浅层特征fn。
再次将上一步中的结果依次通过若干个局部密集残差块(RDB)，实现图像特征的提取，并输出fn+1；最后，将获取的fn+1分两步进行上采样，每次放大2倍学到上采样滤波器参数，得到最终输出的经过超分辨率处理的中间高分辨率图像。
进一步地，如图4所示，本发明实施例所提供的水下鱼类图像的超分辨率重建方法中的每个局部密集残差块具体可以包括：将三个异形密集残差块(VRDB)去除原有的BN层后，依次连接构成。
本发明实施例提供的水下鱼类图像的超分辨率重建方法，为了获得更加细腻的纹理信息，通过利用每三个通道扩展后的VRDB组成一个RDB模块，形成局部密集残差块，加速了网络的训练。
进一步地，如图5所示，本发明实施例所提供的水下鱼类图像的超分辨率重建方法中的每个VRDB可以由四层宽通道残差层密集跳跃连接和一层卷积层组成，每个宽通道残差层包括WDSR_B激活层和LeakyReLU激活层。
进一步地，如图6所示，本发明实施例所提供的水下鱼类图像的超分辨率重建方法中的每个WDSR_B激活层包括依次连接的卷积核为1*1的第四卷积层、ReLU激活层和卷积核为3*3的第五卷积层以及第六卷积层。
具体地，将上一步骤中获取的fn输入至具有更宽的WDSR_B激活层，获得更加丰富的纹理信息，再用LeakyReLU收尾完成图像局部的特征提取。并按上述步骤依次穿过另外3层WDSR_B和LeakyReLU构成的宽通道残差块(WDSR)再由跳连接的方式串起来，以进一步提取到更加深层的图像特征；最后，经过一层卷积层，学习到高频信息的图像特征后与fn相加得到fn+1。
在本实施例中，通过在每个WDSR_B激活层中引入并使用1*1的卷积层，在对输入的fn进行ReLU激活之前，将特征通道数扩大至6-9倍，实现了在依然保持所建立的生成器网络的高度非线性的同时，提高了浅层信息的利用率，使该生成器网络在预测密集像素时有更好的效果。
进一步地，在本发明实施例中，建立的图像超分辨率重建模型中的模型损失函数由对抗损失函数、感知损失函数和最小绝对值偏差组成，其中使用相对论平均判别器替代标准判别器构造新的对抗损失函数
并且通过VGG激活前约束特征而不是激活后的感知损失函数Lpercep，生成器网络的总损失函数可表示为：
其中，
L1是最小绝对值偏差，LG为评估恢复图像G(xi)和真实图像y1之间的最小绝对值偏差；λ,η为平衡不同损失项的系数。
进一步地，标准判别器网络D(x)可以表示为D(x)＝σ(C(x))，其中σ是sigmoid函数，是C(x)非变换判别器输出。相对论平均判别器DRa可以表示为
其中
表示在mini批处理中对所有假数据取平均值的操作，可以推导出判别器的损失函数的定义为：
由此，可以推导出本发明实施例所提供的图像超分辨率重建模型的对抗损失函数定义为
其中，xf＝G(xi)，xi代表输入的LR图像，生成器网络的对抗性损失包含xf和xr。
总之，本发明实施例所提供水下鱼类图像的超分辨率重建方法中的图像超分辨率重建模型在生成对抗网络训练过程中的总体优化目标为：
即：要求生成器函数损失最小，而判别器函数的损失最大。
在本发明实施例多提供的水下鱼类图像的超分辨率重建方法中，在损失函数的设计上，通过激活前约束特征而不是激活后的感知损失函数Lpercep，同时还使用了相对论平均判别器DRa代替标准判别器，提高判别器网络的鉴别能力。
需要说明的是，在本发明实施例多提供的水下鱼类图像的超分辨率重建方法中，在对该模型进行预训练的方式可以是：
在64位Windows10操作系统平台上，基于PyTorch-GPU1.4.0深度学习框架并使用Python3.5.2脚本语言构建鱼类图像超分辨率重建模型，使用一块NVIDIAGTX 1060GPU完成模型的训练。训练过程使用ADAM优化器训练,其中，初始化β1＝0.9,β2＝0.99(β1为控制权重分配的指数衰减率，β2为控制梯度平方的影响情况的指数衰减率)。学习率α初始化为10-4，每2×105个小批量更新衰减2倍训练生成器网络，训练迭代总次数为20万次，总训练时间约为48小时。
基于上述实施例的内容，如图5所示，作为一种可选实施例，上述基于判别器网络将中间高分辨率图像与图像样本对中的高分辨率图像样本标签进行相似度判别，包括但不限于以下步骤：
将图像样本对中输入至判别器网络，依次经过卷积核为3×3的第八卷积层和第五LeakyReLU激活层；再依次经过卷积核为4*4、卷积步长为2的第九卷积层以及第六LeakyReLU激活层；再依次经过卷积核为3×3的第十卷积层和第七LeakyReLU激活层；再依次经过卷积核为8×8的第十一卷积层和第八LeakyReLU激活层；最后，将结果输入至分类器，依次经过8192*100的线性变换器、第九LeakyReLU激活层和100×1的线性变换器；获取判别器网络输出的相似度判别的结果。
具体地，判别器网络以任一图像样本对作为输入，输入图像先依次经过卷积核为3×3和leakyrelu激活层；接着依次经过卷积核为4×4、卷积步长为2的卷积层、leakyrelu激活层；随后依次经过卷积核为3×3的卷积层、leakyrelu激活层；最终经过卷积核为8×8的卷积层、卷积步长为2的卷积层、leakyrelu激活层；激活后将其输入分类器，依次经过8192×100的线性变换器，LeakyReLU激活层和100×1的线性变换器得出网络输入的高分辨率图像判别为训练真实高分辨率图像或用于对应超分辨率重建鱼类图像的概率。
基于上述实施例的内容，如图6所示，本发明实施例提供一种水下鱼类图像的超分辨率重建系统，包括但不限于：
图像获取单元11和图像重建单元12；其中，图像获取单元11用于接收水下相机拍摄的低分辨率鱼类原始图像；图像重建单元12，图像重建单元12上加载有图像超分辨率重建模型，用于根据低分辨率鱼类原始图像作为输入，输出与低分辨率鱼类原始图像相对应的超分辨率重建后的高分辨率水下鱼类图像。
本发明实施例所提供的水下鱼类图像的超分辨率重建系统在实际运行的过程中执行如上述任一实施例所记载的水下鱼类图像的超分辨率重建方法，在此不作赘述。
本发明实施例所提供的水下鱼类图像的超分辨率重建系统，通过构建生成判断网络模型，实现对于低分辨率鱼类原始图像的高分辨重建，解决了因养殖现场光照度低及不均匀、水体浑浊等原因导致采集的水下鱼类图像质量差的问题，为小目标鱼类检测提供准确的、连续一致的基础。
进一步地，如图7所示，本发明实施例提供一种水下鱼类图像的超分辨率重建装置，包括：水下相机1、光源2、光照度变送器3以及控制处理器4；
其中，控制处理器4上加载有上述实施例中所述的水下鱼类图像的超分辨率重建系统；控制处理器4与水下相机1、光源2和光照度变送器3通过通信接口相连接；水下相机1能够在控制处理器4的控制下采集鱼群的水下图像；光源2用于为水下相机1补光；光照度变送器3能够感应环境的光线强度并将光线强度信息传送给控制处理器4；控制处理器4还用于根据光线强度信息控制光源的开关以及调节光照强度。
进一步地，光照度变送器3包括光照度传感器、微控制器以及通信接口，该微控制器与光照度传感器3和通信接口分别相连，微控制器能够控制光照度传感器3采集数据，并通过通信接口将光照度传感器采集的数据传递给控制处理器4。
综上所述，本实施例水下鱼类图像的超分辨率重建装置，根据光照度变送器采集到的光照强度数据，通过水下相机以及光源获取鱼群图像，然后由控制处理器对小目标鱼类图像进行对超分辨率重建，解决水产养殖现场光照度低及不均匀、水体浑浊和摄像设备等原因导致采集到的水下鱼类图像质量较差、以及基于深度学习的图像超分辨率模型性能不稳定，难以实际应用在水下鱼类图像重建上等问题，可以为后续的小目标鱼类检测提供基础。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：获取水下相机拍摄的低分辨率鱼类原始图像；将低分辨率鱼类原始图像输入至图像超分辨率重建模型中的生成器网络，获取与低分辨率鱼类原始图像相对应的超分辨率重建后的高分辨率水下鱼类图像。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的水下鱼类图像的超分辨率重建方法，例如包括：获取水下相机拍摄的低分辨率鱼类原始图像；将低分辨率鱼类原始图像输入至图像超分辨率重建模型中的生成器网络，获取与低分辨率鱼类原始图像相对应的超分辨率重建后的高分辨率水下鱼类图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的机或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种水下鱼类图像的超分辨率重建方法，其特征在于，包括：
获取水下相机拍摄的低分辨率鱼类原始图像；
将所述低分辨率鱼类原始图像输入至图像超分辨率重建模型中的生成器网络，获取与所述低分辨率鱼类原始图像相对应的超分辨率重建后的高分辨率水下鱼类图像。
2.根据权利要求1所述的水下鱼类图像的超分辨率重建方法，其特征在于，在所述将所述低分辨率鱼类原始图像输入至图像超分辨率重建模型中的生成器网络之前，还包括：
构建训练图像样本以及对应的高分辨率图像样本标签所组成的训练样本集；
利用所述训练样本集对所述图像超分辨率重建模型进行预训练。
3.根据权利要求2所述的水下鱼类图像的超分辨率重建方法，其特征在于，所述构建训练图像样本以及对应的高分辨率图像样本标签所组成的训练样本集，包括：
将随机获取的原始尺寸大小的高分辨率鱼类图像，均匀裁剪成多个高分辨率子像素块，并将所述高分辨率子像素块与所述高分辨率鱼类图像构成高分辨率图像样本标签集合；
基于Bicubic插值法，对每个所述高分辨率图像中间样本标签集合中的图像进行二倍率分辨率逐级缩小处理，获取训练图像样本集合；
将所述高分辨率图像样本标签集合与所述训练图像样本集合中的图像按照相同位置一一对应为图像样本对，组建所述训练样本集。
4.根据权利要求3所述的水下鱼类图像的超分辨率重建方法，其特征在于，所述利用所述训练样本集对所述图像超分辨率重建模型进行预训练，包括：
构建所述图像超分辨率重建模型中的生成器网络和判别器网络，并结合水下鱼类图像的特点构造模型损失函数；
提取任一所述图像样本对；
基于所述生成器网络对所述图像样本对中的训练图像样本进行处理，获取中间高分辨率图像；
基于所述判别器网络将所述中间高分辨率图像与所述图像样本对中的高分辨率图像样本标签进行相似度判别；
根据所述相似度判别的结果，对所述模型损失函数的参数进行调整，直至所述图像超分辨率重建模型收敛；
所述判别器网络为相对论平均判别器网络。
5.根据权利要求4所述的水下鱼类图像的超分辨率重建方法，其特征在于，所述生成器网络包括依次连接的第一卷积层、至少两个局部密集残差块、第二卷积层、两组上采样层以及第三卷积层；
所述基于所述生成器网络对所述图像样本对中的训练图像样本进行处理，获取中间高分辨率图像，包括：
将所述训练图像样本输入至所述第一卷积层，获取图像浅层特征；
将所述图像浅层特征依次输入至所述局部密集残差块后，经过所述第二卷积层，完成图像特征的提取；
将所述图像特征依次输入至所述上采样层，以每次放大两倍获取上采样滤波器参数；
将所述上采样滤波器参数输入至所述第三卷积层，并结合所述训练图像样本，获取所述中间高分辨率图像。
6.根据权利要求5所述的水下鱼类图像的超分辨率重建方法，其特征在于，每个所述局部密集残差块包括将三个异形密集残差块去除原有的BN层后，依次连接构成；
每个所述异形密集残差块由四层宽通道残差层密集跳跃连接和一层卷积层组成，每个所述宽通道残差层包括WDSR_B激活层和LeakyReLU激活层；
所述WDSR_B激活层包括依次连接的卷积核为1*1的第四卷积层、ReLU激活层和卷积核为3*3的第五卷积层以及第六卷积层。
7.根据权利要求4所述的水下鱼类图像的超分辨率重建方法，其特征在于，所述基于所述判别器网络将所述中间高分辨率图像与所述图像样本对中的高分辨率图像样本标签进行相似度判别，包括：
将所述图像样本对中输入至所述判别器网络，依次经过卷积核为3×3的第八卷积层和第五LeakyReLU激活层；
再依次经过卷积核为4*4、卷积步长为2的第九卷积层以及第六LeakyReLU激活层；
再依次经过卷积核为3×3的第十卷积层和第七LeakyReLU激活层；
再依次经过卷积核为8×8的第十一卷积层和第八LeakyReLU激活层；
最后将结果输入至分类器，依次经过8192*100的线性变换器、第九LeakyReLU激活层和100×1的线性变换器；
获取所述判别器网络输出的所述相似度判别的结果。
8.一种水下鱼类图像的超分辨率重建系统，其特征在于，包括：
图像获取单元，用于接收水下相机拍摄的低分辨率鱼类原始图像；
图像重建单元，所述图像重建单元上加载有图像超分辨率重建模型，用于根据所述低分辨率鱼类原始图像作为输入，输出与所述低分辨率鱼类原始图像相对应的超分辨率重建后的高分辨率水下鱼类图像。
9.一种水下鱼类图像的超分辨率重建装置，其特征在于，包括：水下相机、光源、光照度变送器以及控制处理器；
所述控制处理器上加载有如权利要求8所述的水下鱼类图像的超分辨率重建系统；
所述控制处理器与所述水下相机、所述光源和所述光照度变送器通过通信接口相连接；
所述水下相机能够在所述控制处理器的控制下采集鱼群的水下图像；所述光源用于为所述水下相机补光；所述光照度变送器能够感应环境的光线强度并将光线强度信息传送给所述控制处理器；
所述控制处理器还用于根据所述光线强度信息控制所述光源的开关以及调节光照强度。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述水下鱼类图像的超分辨率重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010027630.3A CN111080531B (zh) | 2020-01-10 | 2020-01-10 | 一种水下鱼类图像的超分辨率重建方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010027630.3A CN111080531B (zh) | 2020-01-10 | 2020-01-10 | 一种水下鱼类图像的超分辨率重建方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111080531A true CN111080531A (zh) | 2020-04-28 |
| CN111080531B CN111080531B (zh) | 2024-02-23 |
Family
ID=70322917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010027630.3A Active CN111080531B (zh) | 2020-01-10 | 2020-01-10 | 一种水下鱼类图像的超分辨率重建方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111080531B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597967A (zh) * | 2020-05-12 | 2020-08-28 | 北京大学 | 一种红外图像多目标行人识别方法 |
| CN113034361A (zh) * | 2021-03-03 | 2021-06-25 | 深圳市数字城市工程研究中心 | 一种基于改进esrgan的遥感影像超分重建方法 |
| CN113240586A (zh) * | 2021-06-17 | 2021-08-10 | 华北电力大学（保定） | 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法 |
| CN114049254A (zh) * | 2021-10-29 | 2022-02-15 | 华南农业大学 | 低像素牛头图像重建识别方法、系统、设备及存储介质 |
| CN116485713A (zh) * | 2023-03-01 | 2023-07-25 | 北京邮电大学 | 针对图像的计数方法、装置、电子设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN109903223A (zh) * | 2019-01-14 | 2019-06-18 | 北京工商大学 | 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 |
| CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
| CN110033410A (zh) * | 2019-03-28 | 2019-07-19 | 华中科技大学 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110189253A (zh) * | 2019-04-16 | 2019-08-30 | 浙江工业大学 | 一种基于改进生成对抗网络的图像超分辨率重建方法 |
| CN110570353A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
-
2020
- 2020-01-10 CN CN202010027630.3A patent/CN111080531B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180075581A1 (en) * | 2016-09-15 | 2018-03-15 | Twitter, Inc. | Super resolution using a generative adversarial network |
| CN109903223A (zh) * | 2019-01-14 | 2019-06-18 | 北京工商大学 | 一种基于稠密连接网络与生成式对抗网络的图像超分辨率方法 |
| CN109978762A (zh) * | 2019-02-27 | 2019-07-05 | 南京信息工程大学 | 一种基于条件生成对抗网络的超分辨率重建方法 |
| CN110033410A (zh) * | 2019-03-28 | 2019-07-19 | 华中科技大学 | 图像重建模型训练方法、图像超分辨率重建方法及装置 |
| CN110189253A (zh) * | 2019-04-16 | 2019-08-30 | 浙江工业大学 | 一种基于改进生成对抗网络的图像超分辨率重建方法 |
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110570353A (zh) * | 2019-08-27 | 2019-12-13 | 天津大学 | 密集连接生成对抗网络单幅图像超分辨率重建方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597967A (zh) * | 2020-05-12 | 2020-08-28 | 北京大学 | 一种红外图像多目标行人识别方法 |
| CN113034361A (zh) * | 2021-03-03 | 2021-06-25 | 深圳市数字城市工程研究中心 | 一种基于改进esrgan的遥感影像超分重建方法 |
| CN113034361B (zh) * | 2021-03-03 | 2022-10-14 | 深圳市数字城市工程研究中心 | 一种基于改进esrgan的遥感影像超分重建方法 |
| CN113240586A (zh) * | 2021-06-17 | 2021-08-10 | 华北电力大学（保定） | 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法 |
| CN114049254A (zh) * | 2021-10-29 | 2022-02-15 | 华南农业大学 | 低像素牛头图像重建识别方法、系统、设备及存储介质 |
| CN116485713A (zh) * | 2023-03-01 | 2023-07-25 | 北京邮电大学 | 针对图像的计数方法、装置、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111080531B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080531A (zh) | 一种水下鱼类图像的超分辨率重建方法、系统及装置 | |
| Agustsson et al. | Ntire 2017 challenge on single image super-resolution: Dataset and study | |
| CN106796716B (zh) | 用于为低分辨率图像提供超分辨率的设备和方法 | |
| JP2022548712A (ja) | フィーチャーピラミッドを融合した敵対的生成ネットワークによる画像ヘイズ除去方法 | |
| CN111062880A (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| CN108921942B (zh) | 对图像进行2d转制3d的方法及装置 | |
| CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 | |
| CN111242865A (zh) | 基于生成式对抗网络的眼底图像增强方法 | |
| CN111861894A (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
| CN111462012A (zh) | 一种基于条件生成对抗网络的sar图像仿真方法 | |
| CN114549308B (zh) | 面向感知的具有大感受野的图像超分辨率重建方法及系统 | |
| CN112528782B (zh) | 水下鱼类目标检测方法及装置 | |
| CN112766040B (zh) | 残余饵料的探测方法、设备、装置及可读存储介质 | |
| CN111415304A (zh) | 基于级联深度网络的水下视觉增强方法和装置 | |
| CN113379601A (zh) | 基于降质变分自编码器的真实世界图像超分辨方法及系统 | |
| CN113723317B (zh) | 3d人脸的重建方法、装置、电子设备和存储介质 | |
| CN113658040A (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
| CN114266898A (zh) | 一种基于改进EfficientNet的肝癌识别方法 | |
| CN112950480A (zh) | 一种融合多感受野和密集残差注意的超分辨率重建方法 | |
| CN115661459A (zh) | 一种使用差异信息的2D mean teacher模型 | |
| CN112489103B (zh) | 一种高分辨率深度图获取方法及系统 | |
| Yang et al. | RSAMSR: A deep neural network based on residual self-encoding and attention mechanism for image super-resolution | |
| CN115578624A (zh) | 农业病虫害模型构建方法、检测方法及装置 | |
| Peng et al. | MND-GAN: A Research on Image Deblurring Algorithm Based on Generative Adversarial Network | |
| Suresh et al. | A fast and efficient no-reference video quality assessment algorithm using video action recognition features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |