CN112053308A - 一种图像去模糊方法、装置、计算机设备及存储介质 - Google Patents
一种图像去模糊方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112053308A CN112053308A CN202011139149.XA CN202011139149A CN112053308A CN 112053308 A CN112053308 A CN 112053308A CN 202011139149 A CN202011139149 A CN 202011139149A CN 112053308 A CN112053308 A CN 112053308A
- Authority
- CN
- China
- Prior art keywords
- feature map
- convolution
- map obtained
- image
- convolution operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种图像去模糊方法、装置、计算机设备及存储介质，方法包括：将输入的模糊图像进行特征提取，分别得到4个不同尺度的特征图，进行多尺度细节恢复得到不同尺度下的细节特征图P1_2、P2_2、P3_2、P4_2；然后将P1_2、P2_2、P3_2与P4_2分别通过不同倍数的上采样操作，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；将模糊图像与清晰图像送入至鉴别网络进行训练，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络；将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。本发明能够有效解决因卷积网络过深而导致的效率问题与图像的细节恢复问题。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像去模糊方法、装置、计算机设备及存储介质。
背景技术
图像作为人类获取外界信息的一个重要途径，在现代社会中占据了非常重要的地位。然而，在图像的拍摄过程中经常会由于相机的抖动或者是场景中物体的运动，使得获取的图像出现模糊的现象，这将严重影响图像的使用及其后续的处理工作。
图像去模糊的目的就是使用一定的方法从退化的模糊图像中恢复出清晰的、包含丰富信息的图像。具体的，图像去模糊就是采取一定的数学手段，根据图像的质变原理和统计特征构建数学模型，通过对模型的求解将目标图像从质变图像中恢复出来，从而达到稳像目的。
但是现实生活中，模糊核是未知的，所以这类问题也被称为盲去模糊。目前图像去模糊有传统方法和深度学习的方法。传统方法中常用的就是使用正则化的方法，通过对模糊核进行估计进而转变成非盲去模糊问题来解决。虽然传统方法也取得了一定的效果，但是其受制于应用场景，因此还有待提升。随着人工智能的高速发展，基于深度学习的去模糊方法因不用估计模糊核而得到了广泛的应用。为了取得更好的效果，各种模型多注重于网络的深度与宽度。虽然取得不错的效果，但是模型参数过多，不利于训练与后续应用，整体效率较低。除此之外，现有卷积神经网络多注重图像整体效果的复原，这使得图像细节与纹理方面的复原效果一般。
发明内容
本发明的目的是提供一种图像去模糊方法、装置、计算机设备及存储介质，旨在解决现有图像去模糊方法效率低以及细节恢复效果不佳的问题。
第一方面，本发明实施例提供了一种基于多尺度卷积神经网络的图像去模糊方法，其包括：
将输入的模糊图像送入依次设置的第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块进行特征提取，分别得到4个不同尺度的特征图，表示为P1，P2，P3，P4；
对P4进行上采样操作，以及对P3进行卷积操作，然后将P4进行上采样操作得到的特征图与P3进行卷积操作得到的特征图按位置相加，得到特征图P3_1；
对P3_1进行上采样操作，以及对P2进行卷积操作，然后将P3_1进行上采样操作得到的特征图与P2进行卷积操作得到的特征图按位置相加，得到特征图P2_1；
对P2_1进行上采样操作，以及对P1进行卷积操作，然后将P2_1进行上采样操作得到的特征图与P1进行卷积操作得到的特征图按位置相加，得到特征图P1_2；
对P1_2进行下采样操作，以及对P2、P2_1进行卷积操作，然后将P1_2进行下采样操作得到的特征图、P2进行卷积操作得到的特征图与P2_1进行卷积操作得到的特征图按位置相加，得到特征图P2_2；
对P2_2进行下采样操作，以及对P3、P3_1进行卷积操作，然后将P2_2进行下采样操作得到的特征图、P3进行卷积操作得到的特征图与P3_1进行卷积操作得到的特征图按位置相加，得到特征图P3_2；
对P3_2进行下采样操作，以及对P4进行卷积操作，然后将P3_2进行下采样操作得到的特征图、P4进行卷积操作得到的特征图按位置相加，得到特征图P4_2；
将P1_2、P2_2、P3_2与P4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；
将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络；
将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。
第二方面，本发明实施例提供一种基于多尺度卷积神经网络的图像去模糊装置，其包括：
特征提取单元，用于将输入的模糊图像送入依次设置的第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块进行特征提取，分别得到4个不同尺度的特征图，表示为P1，P2，P3，P4；
第一上采样单元，用于对P4进行上采样操作，以及对P3进行卷积操作，然后将P4进行上采样操作得到的特征图与P3进行卷积操作得到的特征图按位置相加，得到特征图P3_1；
第二上采样单元，用于对P3_1进行上采样操作，以及对P2进行卷积操作，然后将P3_1进行上采样操作得到的特征图与P2进行卷积操作得到的特征图按位置相加，得到特征图P2_1；
第三上采样单元，用于对P2_1进行上采样操作，以及对P1进行卷积操作，然后将P2_1进行上采样操作得到的特征图与P1进行卷积操作得到的特征图按位置相加，得到特征图P1_2；
第一下采样单元，用于对P1_2进行下采样操作，以及对P2、P2_1进行卷积操作，然后将P1_2进行下采样操作得到的特征图、P2进行卷积操作得到的特征图与P2_1进行卷积操作得到的特征图按位置相加，得到特征图P2_2；
第二下采样单元，用于对P2_2进行下采样操作，以及对P3、P3_1进行卷积操作，然后将P2_2进行下采样操作得到的特征图、P3进行卷积操作得到的特征图与P3_1进行卷积操作得到的特征图按位置相加，得到特征图P3_2；
第三下采样单元，用于对P3_2进行下采样操作，以及对P4进行卷积操作，然后将P3_2进行下采样操作得到的特征图、P4进行卷积操作得到的特征图按位置相加，得到特征图P4_2；
输出单元，用于将P1_2、P2_2、P3_2与P4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；
训练单元，用于将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络；
复原单元，用于将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。
第三方面，本发明实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于多尺度卷积神经网络的图像去模糊方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的基于多尺度卷积神经网络的图像去模糊方法。
本发明实施例公开了一种图像去模糊方法、装置、计算机设备及存储介质，方法包括：将输入的模糊图像进行特征提取，分别得到4个不同尺度的特征图P1、P2、P3、P4，对得到的4个不同尺度的特征图进行多尺度细节恢复得到不同尺度下的细节特征图P1_2、P2_2、P3_2、P4_2；然后将P1_2、P2_2、P3_2与P4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；将模糊图像与清晰图像送入至鉴别网络进行训练，将训练好的SFBiNet网络(多尺度卷积神经网络)作为最终的模糊图像复原网络；将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。本发明实施例能够有效解决因卷积网络过深而导致的效率问题与图像的细节恢复问题。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于多尺度卷积神经网络的图像去模糊方法的流程示意图；
图2为本发明实施例提供的基于多尺度卷积神经网络的图像去模糊方法的原理示意图；
图3为本发明实施例提供的基于多尺度卷积神经网络的图像去模糊装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，本发明实施例提供一种基于多尺度卷积神经网络的图像去模糊方法，其包括步骤S101～S110：
S101、将输入的模糊图像送入依次设置的第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块进行特征提取，分别得到4个不同尺度的特征图，表示为P1，P2，P3，P4；
S102、对P4进行上采样操作，以及对P3进行卷积操作，然后将P4进行上采样操作得到的特征图与P3进行卷积操作得到的特征图按位置相加，得到特征图P3_1；
S103、对P3_1进行上采样操作，以及对P2进行卷积操作，然后将P3_1进行上采样操作得到的特征图与P2进行卷积操作得到的特征图按位置相加，得到特征图P2_1；
S104、对P2_1进行上采样操作，以及对P1进行卷积操作，然后将P2_1进行上采样操作得到的特征图与P1进行卷积操作得到的特征图按位置相加，得到特征图P1_2；
S105、对P1_2进行下采样操作，以及对P2、P2_1进行卷积操作，然后将P1_2进行下采样操作得到的特征图、P2进行卷积操作得到的特征图与P2_1进行卷积操作得到的特征图按位置相加，得到特征图P2_2；
S106、对P2_2进行下采样操作，以及对P3、P3_1进行卷积操作，然后将P2_2进行下采样操作得到的特征图、P3进行卷积操作得到的特征图与P3_1进行卷积操作得到的特征图按位置相加，得到特征图P3_2；
S107、对P3_2进行下采样操作，以及对P4进行卷积操作，然后将P3_2进行下采样操作得到的特征图、P4进行卷积操作得到的特征图按位置相加，得到特征图P4_2；
S108、将P1_2、P2_2、P3_2与P4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；
S109、将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络；
S110、将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。
首先，在所述步骤S101中，对输入的模糊图像进行不同尺度的特征提取，得到不同尺度的特征图。输入的模糊图像其尺寸可以是224×224。
在一实施例中，如图2所示，所述第一卷积模块由一个卷积核大小3×3、步长为2、通道数为64的卷积层和一个卷积核大小3×3、步长为2、通道数为64的最大池化层组成；所述第二卷积模块、第三卷积模块和第四卷积模块均由多个卷积结构(Block)组成；所述卷积结构包括：卷积核大小1×1的组卷积层、通道随机混合操作层、卷积核大小3×3的深度可分离卷积层、卷积核大小1×1的组卷积层、短路连接层。
一个Block处理过程是：首先是经过卷积核1×1的组卷积(group convolution)，这里设置group(组数)＝3；之后对组卷积得到的特征图进行channel shuffle(通道随机混合操作)；然后是经过卷积核为3×3的深度可分离卷积(主要是为了降低计算量)，紧接着经过卷积核为1×1的组卷积，最后是一个短路连接，将输入直接加到输出上。然后接着进行下一个Block的处理，以此类推。
在具体实施时，所述第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块按顺序依次前后相连，具体参数如表1所示：
表1
所述步骤S102和步骤S103的作用是生成中间特征图P3_1(对应图2中的P3_1)和P2_1(对应图2中的P2_1)。
在一实施例中，所述对P4(对应图2中的P4)进行上采样操作，以及对P3(对应图2中的P3)进行卷积操作，然后将P4进行上采样操作得到的特征图与P3进行卷积操作得到的特征图按位置相加，得到特征图P3_1，包括：对P4进行2倍上采样操作，以及对P3进行卷积核3×3、步长为1、填充值(padding，下同)为1的卷积操作，将P4进行上采样得到的特征图与P3进行卷积操作得到的特征图进行按位置相加，得到特征图P3_1。
所述对P3_1进行上采样操作，以及对P2(对应图2中的P2)进行卷积操作，然后将P3_1进行上采样操作得到的特征图与P2进行卷积操作得到的特征图按位置相加，得到特征图P2_1，包括：对P3_1进行2倍上采样操作，以及对P2进行卷积核3×3、步长为1、填充值(padding)为1的卷积操作，将P3_1进行上采样得到的特征图与P2进行卷积操作得到的特征图进行按位置相加，得到特征图P2_1。
所述步骤S104、S105、S106、S107的作用是根据中间特征图进行多尺度细节恢复，得到不同尺度下的细节特征图P1_2(对应图2中的P1_2)、P2_2(对应图2中的P2_2)、P3_2(对应图2中的P3_2)、P4_2(对应图2中的P4_2)。
在一实施例中，所述对P2_1进行上采样操作，以及对P1(对应图2中的P1)进行卷积操作，然后将P2_1进行上采样操作得到的特征图与P1进行卷积操作得到的特征图按位置相加，得到特征图P1_2，包括：将P2_1进行2倍上采样操作，以及对P1进行卷积核3×3、步长为1、填充值为1的卷积操作，然后将P2_1进行上采样操作得到的特征图与P1进行卷积操作得到的特征图按位置相加，得到特征图P1_2；
所述对P1_2进行下采样操作，以及对P2、P2_1进行卷积操作，然后将P1_2进行下采样操作得到的特征图、P2进行卷积操作得到的特征图与P2_1进行卷积操作得到的特征图按位置相加，得到特征图P2_2，包括：对P1_2进行2倍下采样操作，以及对P2进行卷积核3×3、步长为1、填充值为1的卷积操作，以及对P2_1进行卷积核3×3、步长为1、填充值为1的卷积操作，将P1_2进行下采样操作得到的特征图、P2进行卷积操作得到的特征图与P2_1进行卷积操作得到的特征图按位置相加，得到特征图P2_2；
所述对P2_2进行下采样操作，以及对P3、P3_1进行卷积操作，然后将P2_2进行下采样操作得到的特征图、P3进行卷积操作得到的特征图与P3_1进行卷积操作得到的特征图按位置相加，得到特征图P3_2，包括：对P2_2进行2倍下采样操作，对P3进行卷积核3×3、步长为1、填充值为1的卷积操作，以及对P3_1进行卷积核3×3、步长为1、填充值为1的卷积操作，然后将P2_2进行下采样操作得到的特征图、P3进行卷积操作得到的特征图与P3_1进行卷积操作得到的特征图按位置相加，得到特征图P3_2；
所述对P3_2进行下采样操作，以及对P4进行卷积操作，然后将P3_2进行下采样操作得到的特征图、P4进行卷积操作得到的特征图按位置相加，得到特征图P4_2，包括：对P3_2进行2倍下采样，对P4进行卷积核3×3、步长为1、填充值为1的卷积操作，然后将P3_2进行下采样操作得到的特征图、P4进行卷积操作得到的特征图按位置相加，得到特征图P4_2。
所述步骤S108的作用是将前面的细节特征图P1_2、P2_2、P3_2与P4_2分别进行不同倍数的上采样操作，得到与输入的模糊图像(即原始图片)尺寸相同的特征图，再将上述特征图按位置相加得到融合后的特征图。
在一实施例中，所述将P1_2、P2_2、P3_2与P4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像，包括：
将P1_2、P2_2、P3_2与P4_2分别通过4倍、8倍、16倍、32倍上采样操作得到与模糊图像尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积核3×3、步长为1、填充值为1的卷积操作得到最终的特征图。
所述步骤S109的作用是搭建鉴别网络，进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络。
在一实施例中，所述鉴别网络包含8个卷积层和一个全连接层，各卷积层中的填充值相同。
其余参数设置如下：
第一个卷积层：卷积核大小3×3，步长为2，通道数为64；
第二个卷积层：卷积核大小3×3，步长为2，通道数为128；
第三个卷积层：卷积核大小3×3，步长为2，通道数为256；
第四个卷积层：卷积核大小3×3，步长为1，通道数为256；
第五个卷积层：卷积核大小3×3，步长为2，通道数为512；
第六个卷积层：卷积核大小3×3，步长为1，通道数为512；
第七个卷积层：卷积核大小3×3，步长为2，通道数为512；
第八个卷积层：卷积核大小3×3，步长为1，通道数为512；
全连接层，通道数为512。
上述各层按第一个卷积层、第二个卷积层、第三个卷积层、第四个卷积层、第五个卷积层、第六个卷积层、第七个卷积层、第八个卷积层、全连接层的顺序依次相连。
在一实施例中，所述将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络，包括：
采用如下损失函数进行训练：
其中，x为模糊图像，G(x)为复原后的清晰图像，y为原始清晰图像，N为训练图像数量，C为图像通道数，W为图像宽度，H为图像高度。
从上可知，上述损失函数包括两部分，即对抗损失和内容损失两部分，这样最终训练得到的SFBiNet网络(多尺度卷积神经网络)，具有效率高以及图像细节复原更准确的优点，即在图像细节与纹理方面恢复效果更佳。在训练时，借助生成对抗网络进行训练，其中SFBiNet是生成器，并且搭建了一个鉴别网络。
针对卷积网络过深或过宽而导致的效率偏低问题，本发明实施例在残差网络的基础上引入组卷积与深度可分离卷积，提供了一种轻量型网络(即SFBiNet网络)，在保持精确度的情况下极大的提升了效率，该网络主要用于对原始图像进行提取特征提取。针对现有FPN(Feature Pyramid Networks)在细节复原方面的不足，该网络使用双向多尺度特征融合的方式进行图像细节的复原。
本发明实施例还提供一种基于多尺度卷积神经网络的图像去模糊装置，如图3所示，所述图像去模糊装置300包括：
特征提取单元301，用于将输入的模糊图像送入依次设置的第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块进行特征提取，分别得到4个不同尺度的特征图，表示为P1，P2，P3，P4；
第一上采样单元302，用于对P4进行上采样操作，以及对P3进行卷积操作，然后将P4进行上采样操作得到的特征图与P3进行卷积操作得到的特征图按位置相加，得到特征图P3_1；
第二上采样单元303，用于对P3_1进行上采样操作，以及对P2进行卷积操作，然后将P3_1进行上采样操作得到的特征图与P2进行卷积操作得到的特征图按位置相加，得到特征图P2_1；
第三上采样单元304，用于对P2_1进行上采样操作，以及对P1进行卷积操作，然后将P2_1进行上采样操作得到的特征图与P1进行卷积操作得到的特征图按位置相加，得到特征图P1_2；
第一下采样单元305，用于对P1_2进行下采样操作，以及对P2、P2_1进行卷积操作，然后将P1_2进行下采样操作得到的特征图、P2进行卷积操作得到的特征图与P2_1进行卷积操作得到的特征图按位置相加，得到特征图P2_2；
第二下采样单元306，用于对P2_2进行下采样操作，以及对P3、P3_1进行卷积操作，然后将P2_2进行下采样操作得到的特征图、P3进行卷积操作得到的特征图与P3_1进行卷积操作得到的特征图按位置相加，得到特征图P3_2；
第三下采样单元307，用于对P3_2进行下采样操作，以及对P4进行卷积操作，然后将P3_2进行下采样操作得到的特征图、P4进行卷积操作得到的特征图按位置相加，得到特征图P4_2；
输出单元308，用于将P1_2、P2_2、P3_2与P4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；
训练单元309，用于将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络；
复原单元310，用于将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。
上述装置部分的实施例与前述方法部分的实施例的内容对应，关于装置部分的实施例可参考前述方法部分实施例的描述，故此处不再赘述。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于多尺度卷积神经网络的图像去模糊方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的基于多尺度卷积神经网络的图像去模糊方法。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种基于多尺度卷积神经网络的图像去模糊方法，其特征在于，包括：
将输入的模糊图像送入依次设置的第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块进行特征提取，分别得到4个不同尺度的特征图，表示为P1，P2，P3，P4；
对P4进行上采样操作，以及对P3进行卷积操作，然后将P4进行上采样操作得到的特征图与P3进行卷积操作得到的特征图按位置相加，得到特征图P3_1；
对P3_1进行上采样操作，以及对P2进行卷积操作，然后将P3_1进行上采样操作得到的特征图与P2进行卷积操作得到的特征图按位置相加，得到特征图P2_1；
对P2_1进行上采样操作，以及对P1进行卷积操作，然后将P2_1进行上采样操作得到的特征图与P1进行卷积操作得到的特征图按位置相加，得到特征图P1_2；
对P1_2进行下采样操作，以及对P2、P2_1进行卷积操作，然后将P1_2进行下采样操作得到的特征图、P2进行卷积操作得到的特征图与P2_1进行卷积操作得到的特征图按位置相加，得到特征图P2_2；
对P2_2进行下采样操作，以及对P3、P3_1进行卷积操作，然后将P2_2进行下采样操作得到的特征图、P3进行卷积操作得到的特征图与P3_1进行卷积操作得到的特征图按位置相加，得到特征图P3_2；
对P3_2进行下采样操作，以及对P4进行卷积操作，然后将P3_2进行下采样操作得到的特征图、P4进行卷积操作得到的特征图按位置相加，得到特征图P4_2；
将P1_2、P2_2、P3_2与P4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；
将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络；
将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。
2.根据权利要求1所述的基于多尺度卷积神经网络的图像去模糊方法，其特征在于，所述第一卷积模块由一个卷积核大小3×3、步长为2、通道数为64的卷积层和一个卷积核大小3×3、步长为2、通道数为64的最大池化层组成；所述第二卷积模块、第三卷积模块和第四卷积模块均由多个卷积结构组成；所述卷积结构包括：卷积核大小1×1的组卷积层、通道随机混合操作层、卷积核大小3×3的深度可分离卷积层、卷积核大小1×1的组卷积层、短路连接层。
3.根据权利要求1所述的基于多尺度卷积神经网络的图像去模糊方法，其特征在于，所述对P4进行上采样操作，以及对P3进行卷积操作，然后将P4进行上采样操作得到的特征图与P3进行卷积操作得到的特征图按位置相加，得到特征图P3_1，包括：对P4进行2倍上采样操作，以及对P3进行卷积核3×3、步长为1、填充值为1的卷积操作，将P4进行上采样得到的特征图与P3进行卷积操作得到的特征图进行按位置相加，得到特征图P3_1；
所述对P3_1进行上采样操作，以及对P2进行卷积操作，然后将P3_1进行上采样操作得到的特征图与P2进行卷积操作得到的特征图按位置相加，得到特征图P2_1，包括：对P3_1进行2倍上采样操作，以及对P2进行卷积核3×3、步长为1、填充值为1的卷积操作，将P3_1进行上采样得到的特征图与P2进行卷积操作得到的特征图进行按位置相加，得到特征图P2_1。
4.根据权利要求3所述的基于多尺度卷积神经网络的图像去模糊方法，其特征在于，所述对P2_1进行上采样操作，以及对P1进行卷积操作，然后将P2_1进行上采样操作得到的特征图与P1进行卷积操作得到的特征图按位置相加，得到特征图P1_2，包括：将P2_1进行2倍上采样操作，以及对P1进行卷积核3×3、步长为1、填充值为1的卷积操作，然后将P2_1进行上采样操作得到的特征图与P1进行卷积操作得到的特征图按位置相加，得到特征图P1_2；
所述对P1_2进行下采样操作，以及对P2、P2_1进行卷积操作，然后将P1_2进行下采样操作得到的特征图、P2进行卷积操作得到的特征图与P2_1进行卷积操作得到的特征图按位置相加，得到特征图P2_2，包括：对P1_2进行2倍下采样操作，以及对P2进行卷积核3×3、步长为1、填充值为1的卷积操作，以及对P2_1进行卷积核3×3、步长为1、填充值为1的卷积操作，将P1_2进行下采样操作得到的特征图、P2进行卷积操作得到的特征图与P2_1进行卷积操作得到的特征图按位置相加，得到特征图P2_2；
所述对P2_2进行下采样操作，以及对P3、P3_1进行卷积操作，然后将P2_2进行下采样操作得到的特征图、P3进行卷积操作得到的特征图与P3_1进行卷积操作得到的特征图按位置相加，得到特征图P3_2，包括：对P2_2进行2倍下采样操作，对P3进行卷积核3×3、步长为1、填充值为1的卷积操作，以及对P3_1进行卷积核3×3、步长为1、填充值为1的卷积操作，然后将P2_2进行下采样操作得到的特征图、P3进行卷积操作得到的特征图与P3_1进行卷积操作得到的特征图按位置相加，得到特征图P3_2；
所述对P3_2进行下采样操作，以及对P4进行卷积操作，然后将P3_2进行下采样操作得到的特征图、P4进行卷积操作得到的特征图按位置相加，得到特征图P4_2，包括：对P3_2进行2倍下采样，对P4进行卷积核3×3、步长为1、填充值为1的卷积操作，然后将P3_2进行下采样操作得到的特征图、P4进行卷积操作得到的特征图按位置相加，得到特征图P4_2。
5.根据权利要求4所述的基于多尺度卷积神经网络的图像去模糊方法，其特征在于，所述将P1_2、P2_2、P3_2与P4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像，包括：
将P1_2、P2_2、P3_2与P4_2分别通过4倍、8倍、16倍、32倍上采样操作得到与模糊图像尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积核3×3、步长为1、填充值为1的卷积操作得到最终的特征图。
6.根据权利要求1所述的基于多尺度卷积神经网络的图像去模糊方法，其特征在于，所述将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络，包括：
采用如下损失函数进行训练：
其中，x为模糊图像，G(x)为复原后的清晰图像，y为原始清晰图像，N为训练图像数量，C为图像通道数，W为图像宽度，H为图像高度。
7.根据权利要求1所述的基于多尺度卷积神经网络的图像去模糊方法，其特征在于，所述鉴别网络包含8个卷积层和一个全连接层，各卷积层中的填充值相同。
8.一种基于多尺度卷积神经网络的图像去模糊装置，其特征在于，包括：
特征提取单元，用于将输入的模糊图像送入依次设置的第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块进行特征提取，分别得到4个不同尺度的特征图，表示为P1，P2，P3，P4；
第一上采样单元，用于对P4进行上采样操作，以及对P3进行卷积操作，然后将P4进行上采样操作得到的特征图与P3进行卷积操作得到的特征图按位置相加，得到特征图P3_1；
第二上采样单元，用于对P3_1进行上采样操作，以及对P2进行卷积操作，然后将P3_1进行上采样操作得到的特征图与P2进行卷积操作得到的特征图按位置相加，得到特征图P2_1；
第三上采样单元，用于对P2_1进行上采样操作，以及对P1进行卷积操作，然后将P2_1进行上采样操作得到的特征图与P1进行卷积操作得到的特征图按位置相加，得到特征图P1_2；
第一下采样单元，用于对P1_2进行下采样操作，以及对P2、P2_1进行卷积操作，然后将P1_2进行下采样操作得到的特征图、P2进行卷积操作得到的特征图与P2_1进行卷积操作得到的特征图按位置相加，得到特征图P2_2；
第二下采样单元，用于对P2_2进行下采样操作，以及对P3、P3_1进行卷积操作，然后将P2_2进行下采样操作得到的特征图、P3进行卷积操作得到的特征图与P3_1进行卷积操作得到的特征图按位置相加，得到特征图P3_2；
第三下采样单元，用于对P3_2进行下采样操作，以及对P4进行卷积操作，然后将P3_2进行下采样操作得到的特征图、P4进行卷积操作得到的特征图按位置相加，得到特征图P4_2；
输出单元，用于将P1_2、P2_2、P3_2与P4_2分别通过不同倍数的上采样操作得到与原始图片尺寸相同的特征图，再将得到的特征图按位置相加得到融合后的特征图，最后将融合后的特征图进行卷积操作得到复原后的清晰图像；
训练单元，用于将模糊图像与清晰图像送入至鉴别网络进行训练，从而构建得到多尺度卷积神经网络，将训练好的多尺度卷积神经网络作为最终的模糊图像复原网络；
复原单元，用于将目标模糊图像送入至所述模糊图像复原网络，输出复原后的目标清晰图像。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于多尺度卷积神经网络的图像去模糊方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于多尺度卷积神经网络的图像去模糊方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011139149.XA CN112053308B (zh) | 2020-10-22 | 2020-10-22 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011139149.XA CN112053308B (zh) | 2020-10-22 | 2020-10-22 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112053308A true CN112053308A (zh) | 2020-12-08 |
| CN112053308B CN112053308B (zh) | 2023-05-26 |
Family
ID=73605344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011139149.XA Active CN112053308B (zh) | 2020-10-22 | 2020-10-22 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112053308B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560979A (zh) * | 2020-12-24 | 2021-03-26 | 江苏禹盛科技有限公司 | 基于全卷积一阶目标检测的特征融合方法、设备及介质 |
| CN112614072A (zh) * | 2020-12-29 | 2021-04-06 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN113177896A (zh) * | 2021-05-20 | 2021-07-27 | 中国人民解放军国防科技大学 | 基于多路径精化融合神经网络的图像去除模糊方法 |
| CN116862800A (zh) * | 2023-07-11 | 2023-10-10 | 哈尔滨工业大学 | 一种大视场单透镜空变模糊图像复原方法和装置 |
| CN117745595A (zh) * | 2024-02-18 | 2024-03-22 | 珠海金山办公软件有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090242636A1 (en) * | 1997-07-15 | 2009-10-01 | Silverbrook Research Pty Ltd. | Processor for a print engine assembly having power management circuitry |
| CN106156781A (zh) * | 2016-07-12 | 2016-11-23 | 北京航空航天大学 | 排序卷积神经网络构建方法及其图像处理方法与装置 |
| CN108376387A (zh) * | 2018-01-04 | 2018-08-07 | 复旦大学 | 基于聚合膨胀卷积网络的图像去模糊方法 |
| CN108629743A (zh) * | 2018-04-04 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
| US10593021B1 (en) * | 2019-09-11 | 2020-03-17 | Inception Institute of Artificial Intelligence, Ltd. | Motion deblurring using neural network architectures |
| CN111553867A (zh) * | 2020-05-15 | 2020-08-18 | 润联软件系统(深圳)有限公司 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
| US20200265567A1 (en) * | 2019-02-18 | 2020-08-20 | Samsung Electronics Co., Ltd. | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames |
| CN111583143A (zh) * | 2020-04-30 | 2020-08-25 | 广州大学 | 一种复杂图像去模糊方法 |
-
2020
- 2020-10-22 CN CN202011139149.XA patent/CN112053308B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090242636A1 (en) * | 1997-07-15 | 2009-10-01 | Silverbrook Research Pty Ltd. | Processor for a print engine assembly having power management circuitry |
| CN106156781A (zh) * | 2016-07-12 | 2016-11-23 | 北京航空航天大学 | 排序卷积神经网络构建方法及其图像处理方法与装置 |
| CN108376387A (zh) * | 2018-01-04 | 2018-08-07 | 复旦大学 | 基于聚合膨胀卷积网络的图像去模糊方法 |
| CN108629743A (zh) * | 2018-04-04 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
| US20200265567A1 (en) * | 2019-02-18 | 2020-08-20 | Samsung Electronics Co., Ltd. | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames |
| US10593021B1 (en) * | 2019-09-11 | 2020-03-17 | Inception Institute of Artificial Intelligence, Ltd. | Motion deblurring using neural network architectures |
| CN111583143A (zh) * | 2020-04-30 | 2020-08-25 | 广州大学 | 一种复杂图像去模糊方法 |
| CN111553867A (zh) * | 2020-05-15 | 2020-08-18 | 润联软件系统(深圳)有限公司 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112560979A (zh) * | 2020-12-24 | 2021-03-26 | 江苏禹盛科技有限公司 | 基于全卷积一阶目标检测的特征融合方法、设备及介质 |
| CN112614072A (zh) * | 2020-12-29 | 2021-04-06 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN112614072B (zh) * | 2020-12-29 | 2022-05-17 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN113177896A (zh) * | 2021-05-20 | 2021-07-27 | 中国人民解放军国防科技大学 | 基于多路径精化融合神经网络的图像去除模糊方法 |
| CN113177896B (zh) * | 2021-05-20 | 2022-05-03 | 中国人民解放军国防科技大学 | 基于多路径精化融合神经网络的图像去除模糊方法 |
| CN116862800A (zh) * | 2023-07-11 | 2023-10-10 | 哈尔滨工业大学 | 一种大视场单透镜空变模糊图像复原方法和装置 |
| CN116862800B (zh) * | 2023-07-11 | 2024-01-30 | 哈尔滨工业大学 | 一种大视场单透镜空变模糊图像复原方法和装置 |
| CN117745595A (zh) * | 2024-02-18 | 2024-03-22 | 珠海金山办公软件有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112053308B (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112053308A (zh) | 一种图像去模糊方法、装置、计算机设备及存储介质 | |
| CN108376387B (zh) | 基于聚合膨胀卷积网络的图像去模糊方法 | |
| CN110782399A (zh) | 一种基于多任务cnn的图像去模糊方法 | |
| CN112287940A (zh) | 一种基于深度学习的注意力机制的语义分割的方法 | |
| US20230080693A1 (en) | Image processing method, electronic device and readable storage medium | |
| CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN112967178B (zh) | 一种图像转换方法、装置、设备及存储介质 | |
| CN109801215A (zh) | 基于对抗生成网络的红外超分辨率成像方法 | |
| CN112465801B (zh) | 一种分尺度提取掩码特征的实例分割方法 | |
| CN114841897B (zh) | 基于自适应模糊核估计的深度去模糊方法 | |
| CN111553867A (zh) | 一种图像去模糊方法、装置、计算机设备及存储介质 | |
| CN113673675A (zh) | 模型训练方法、装置、计算机设备和存储介质 | |
| CN110570375B (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
| CN111062362B (zh) | 人脸活体检测模型、方法、装置、设备及存储介质 | |
| CN116612015A (zh) | 模型训练方法、图像去摩尔纹方法、装置及电子设备 | |
| Zhang et al. | Deep motion blur removal using noisy/blurry image pairs | |
| CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
| CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
| CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
| CN112200752A (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
| CN104182931A (zh) | 超分辨率方法和装置 | |
| CN115719317A (zh) | 一种二维码去模糊方法、装置、电子设备及存储介质 | |
| CN113033616B (zh) | 高质量视频重建方法、装置、设备及存储介质 | |
| CN110648291B (zh) | 一种基于深度学习的无人机运动模糊图像的复原方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 801, building 2, Shenzhen new generation industrial park, 136 Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong 518000 Applicant after: China Resources Digital Technology Co.,Ltd. Address before: Room 2301, building 2, Fangda Plaza, No.20, Gaofa West Road, Taoyuan community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong 518000 Applicant before: Runlian software system (Shenzhen) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |