CN111553867B - 一种图像去模糊方法、装置、计算机设备及存储介质 - Google Patents
一种图像去模糊方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111553867B CN111553867B CN202010413329.6A CN202010413329A CN111553867B CN 111553867 B CN111553867 B CN 111553867B CN 202010413329 A CN202010413329 A CN 202010413329A CN 111553867 B CN111553867 B CN 111553867B
- Authority
- CN
- China
- Prior art keywords
- feature
- convolution
- detail
- characteristic diagram
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000005070 sampling Methods 0.000 claims abstract description 47
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 230000000694 effects Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000011084 recovery Methods 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims description 104
- 238000000605 extraction Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 21
- 230000009471 action Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像去模糊方法、装置、计算机设备及存储介质，该方法包括：构建残差网络ResNeXt，并对原始图片进行特征提取，获得5个初始特征图；对初始特征图均进行卷积核尺寸为1x1的卷积操作获得5个中间特征图；对中间特征图进行细节恢复迭代处理，并进行卷积操作，获得5个细节特征图；对5个细节特征图进行最近邻上采样，转换成同尺寸细节特征图；对同尺寸细节特征图进行合并得到特征融合后的特征图；对特征融合后的特征图进行卷积操作，然后进行2倍最近邻上采样获得与原始图片尺寸相同的特征图，对得到的特征图进行卷积操作，获得去模糊图像。本发明将不同尺度下的图像特征进行融合，在保证算法效率的同时又保证了图像细节的恢复效果。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种基于FPN-ResNeXt的图像去模糊方法、装置、计算机设备及存储介质。
背景技术
在图像的形成、传输、存储、记录以及显示过程中，由于各种因素，如大气的湍流效应、摄像设备中光学系统的衍射、传感器特性的非线性、光学系统的像差、成像设备与物体之间的相对运动、感光胶卷的非线性及胶片颗粒噪声以及电视摄像扫描的非线性等所引起的几何失真，都难免会造成图像的畸变和失真。通常，称由于这些因素引起的质量下降为图像退化。其中，最典型的退化现象就是模糊，而图像去模糊的效果直接影响图像的后续处理，如特征提取、图像识别等。
图像模糊的过程可以表示为清晰图像和点扩散函数(Point Spread Function，PSF)的卷积加上噪声。根据PSF是否已知，图像去模糊可以分为非盲去模糊和盲去模糊。非盲去模糊是指PSF已知的情况下进行图像复原的过程；而盲去模糊是指PSF未知的情况下进行图像复原的过程。在实际任务中多是盲去模糊，因为只能获取到模糊图片，PSF的信息是未知的。
现有的图像去模糊方法可分为传统方法和基于深度学习的方法。传统方法主要是变分方法、基于正则化的方法等，这些方法也取得了很大的进展。但是由于应用场景的复杂性，对PSF难以进行准确估计，相关方法仍有待改进。随着人工智能的高速发展，基于深度学习的去模糊方法因不采用PSF得到了广泛的应用。现有的图像去模糊算法已经取得不错的效果，但是在图像细节的恢复效果与效率上还有待提升。
发明内容
本发明实施例提供了一种基于FPN-ResNeXt的图像去模糊方法、装置、计算机设备及存储介质，旨在提升图像细节的恢复效果与效率。
第一方面，本发明实施例提供了一种基于FPN-ResNeXt的图像去模糊方法，其包括：
构建残差网络ResNeXt，并通过所述残差网络ResNeXt对原始图片进行特征提取，获得5个不同尺度的初始特征图，并表示为C1、C2、C3、C4和C5；所述残差网络ResNeXt包含5个依次连接的卷积模块：第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块，其中，第一卷积模块中设有一个卷积层，第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块均包含多个残差模块；
对上述初始特征图均进行卷积核尺寸为1x1的卷积操作，以对上述初始特征图进行维度变换，获得5个相同维度的中间特征图C_1、C_2、C_3、C_4和C_5；
以中间特征图C_5为起点依次对中间特征图C_5、C_4、C_3、C_2和C_1进行细节恢复迭代处理，并且对每次迭代所获得的特征图进行卷积核大小为3x3的卷积操作，以消除混叠效应，获得5个不同尺度的细节特征图D1、D2、D3、D4和D5；
对细节特征图D5、D4、D3、D2和D1进行最近邻上采样，使所述细节特征图D5、D4、D3、D2和D1转换成大小尺寸均为原始图片1/2的同尺寸细节特征图D_5、D_4、D_3、D_2和D_1；
对所述同尺寸细节特征图D_5、D_4、D_3、D_2和D_1进行合并得到特征融合后的特征图；
对特征融合后的特征图进行卷积核大小为3x3的卷积操作，然后进行2倍最近邻上采样获得与原始图片尺寸相同的特征图，再对得到的特征图进行卷积核大小为3x3的卷积操作，以获得去模糊图像。
第二方面，本发明实施例提供了一种基于FPN-ResNeXt的图像去模糊装置，其包括：
特征提取模块，用于构建残差网络ResNeXt，并通过所述残差网络ResNeXt对原始图片进行特征提取，获得5个不同尺度的初始特征图，并表示为C1、C2、C3、C4和C5；所述残差网络ResNeXt包含5个依次连接的卷积模块：第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块，其中，第一卷积模块中设有一个卷积层，第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块均包含多个残差模块；
维度变换模块，用于对上述初始特征图均进行卷积核尺寸为1x1的卷积操作，以对上述初始特征图进行维度变换，获得5个相同维度的中间特征图C_1、C_2、C_3、C_4和C_5；
特征细化模块，用于以中间特征图C_5为起点依次对中间特征图C_5、C_4、C_3、C_2和C_1进行细节恢复迭代处理，并且对每次迭代所获得的特征图进行卷积核大小为3x3的卷积操作，以消除混叠效应，获得5个不同尺度的细节特征图D1、D2、D3、D4和D5；
尺寸转换模块，用于对细节特征图D5、D4、D3、D2和D1进行最近邻上采样，使所述细节特征图D5、D4、D3、D2和D1转换成大小尺寸均为原始图片1/2的同尺寸细节特征图D_5、D_4、D_3、D_2和D_1；
特征融合模块，用于对所述同尺寸细节特征图D_5、D_4、D_3、D_2和D_1进行合并得到特征融合后的特征图；
去模糊图像获取模块，用于对特征融合后的特征图进行卷积核大小为3x3的卷积操作，然后进行2倍最近邻上采样获得与原始图片尺寸相同的特征图，再对得到的特征图进行卷积核大小为3x3的卷积操作，以获得去模糊图像。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于FPN-ResNeXt的图像去模糊方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于FPN-ResNeXt的图像去模糊方法。
本发明实施例提供了一种基于FPN-ResNeXt的图像去模糊方法、装置、计算机设备及存储介质。该方法包括：构建残差网络ResNeXt，并通过所述残差网络ResNeXt对原始图片进行特征提取，获得5个不同尺度的初始特征图，并表示为C1、C2、C3、C4和C5；所述残差网络ResNeXt包含5个依次连接的卷积模块：第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块，其中，第一卷积模块中设有一个卷积层，第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块均包含多个残差模块；对上述初始特征图均进行卷积核尺寸为1x1的卷积操作，以对上述初始特征图进行维度变换，获得5个相同维度的中间特征图C_1、C_2、C_3、C_4和C_5；以中间特征图C_5为起点依次对中间特征图C_5、C_4、C_3、C_2和C_1进行细节恢复迭代处理，并且对每次迭代所获得的特征图进行卷积核大小为3x3的卷积操作，以消除混叠效应，获得5个不同尺度的细节特征图D1、D2、D3、D4和D5；对细节特征图D5、D4、D3、D2和D1进行最近邻上采样，使所述细节特征图D5、D4、D3、D2和D1转换成大小尺寸均为原始图片1/2的同尺寸细节特征图D_5、D_4、D_3、D_2和D_1；对所述同尺寸细节特征图D_5、D_4、D_3、D_2和D_1进行合并得到特征融合后的特征图；对特征融合后的特征图进行卷积核大小为3x3的卷积操作，然后进行2倍最近邻上采样获得与原始图片尺寸相同的特征图，再对得到的特征图进行卷积核大小为3x3的卷积操作，以获得去模糊图像。本发明实施例将不同尺度下的图像特征进行融合，在保证算法效率的同时又保证了图像细节的恢复效果。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于FPN-ResNeXt的图像去模糊方法的流程图；
图2为本发明实施例提供的一种基于FPN-ResNeXt的图像去模糊方法的整体流程框架图；
图3为本发明实施例提供的一种基于FPN-ResNeXt的图像去模糊装置的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面请参见图1，图1为本发明实施例所提供的一种基于FPN-ResNeXt的图像去模糊方法的流程图。
具体步骤可以包括S101～S106：
S101：构建残差网络ResNeXt，并通过所述残差网络ResNeXt对原始图片进行特征提取，获得5个不同尺度的初始特征图，并表示为C1、C2、C3、C4和C5；所述残差网络ResNeXt包含5个依次连接的卷积模块：第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块，其中，第一卷积模块中设有一个卷积层，第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块均包含多个残差模块；
在本步骤中，所述残差网络ResNeXt是对ResNet网络的一种改进，通过分组方式降低各卷积层的维度，在提升模型准确度的同时有效的减少参数量，且并未增加单个网络层复杂度。
本发明实施例中的FPN是指feature pyramidnetworks，一种利用常规CNN模型来高效提取图片中各维度特征的方法。
如图2所示，本发明实施例具体可采用ResNeXt-50网络来对原始图片进行特征提取，以获得初始特征图。如下表1所示，所述ResNeXt-50网络包含5个依次连接的卷积模块，所述第一卷积模块只设有一个卷积层，不具备残差模块，所述第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块均设有32个卷积层组，且所述第二卷积模块具有3个残差模块、第三卷积模块具有4个残差模块、第四卷积模块具有6个残差模块、第五卷积模块具有3个残差模块，表中卷积核对应列中的数据依次代表卷积核尺寸、步长以及通道数。当所述原始图片输入至ResNeXt-50网络中时，将会输送至上述5个卷积模块中依次进行处理。
表1 ResNext-50的网络结构
当所述原始图片输入至第一卷积模块时，所述第一卷积模块将对原始图片进行特征提取，提取出原始图片中的特征，然后将输出输入至第二卷积模块，继续进行特征提取，然后将输出输入至第三卷积模块，继续进行特征提取，以此类推，经过5个卷积模块的处理，得到5个不同尺度的初始特征图。
所述ResNeXt-50网络中的5个卷积模块的每一个卷积层处理流程均是卷积、归一化、RELU函数激活。假设输入图片为x，则每一个卷积层过程的可用下式表示：
F(x)＝σ(N(Wx))
其中，W为卷积操作，N为归一化操作，σ为RELU激活函数。
在原始图片经过上述流程处理后，即可获得5个不同尺度的初始特征图C1、C2、C3、C4和C5。
在一实施例中，所述步骤S101包括：
采集原始图片的数据，并将所述原始图片的数据发送至ResNeXt网络；
调取ResNeXt网络中的第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块对原始图片的数据进行特征提取，以获得大小分别为原始图片1/2、1/4、1/8、1/16和1/32的初始特征图C1、C2、C3、C4和C5。
在本实施例中，对所采集的原始图片的数据进行卷积操作，以获得初始特征图，由于在ResNeXt-50网络中第一至第五卷积模块所使用的卷积核不同，所以各卷积模块输出的特征图大小均不相同，因此需要对卷积输出的特征图大小进行计算，卷积操作后得到的特征图尺寸的计算公式如下：
其中，输入原始图片尺寸大小是WxW，卷积所使用的卷积核大小是FxF，步长为S，填充数为P，默认为1，则经过卷积后图像的大小为NxN。
将所述原始图片的数据依次输入至ResNeXt-50网络的5个卷积模块，结合表1中的卷积核参数可得知：输入至第一卷积模块，经卷积操作后，所输出的特征图大小为原始图片的1/2；输入至第二卷积模块，经卷积操作后，所输出的特征图大小为原始图片的1/4；输入至第三卷积模块，经卷积操作后，所输出的特征图大小为原始图片的1/8；输入至第四卷积模块，经卷积操作后，所输出的特征图大小为原始图片的1/16；输入至第五卷积模块，经卷积操作后，所输出的特征图大小为原始图片的1/32。
S102：对上述初始特征图均进行卷积核尺寸为1x1的卷积操作，以对上述初始特征图进行维度变换，获得5个相同维度的中间特征图C_1、C_2、C_3、C_4和C_5；
本步骤中，对所述初始特征图进行维度变换操作以将5个不同尺度的特征图变成相同维度，而不改变不同尺度的特征图的尺寸。因此，对所述初始特征图C1、C2、C3、C4和C5分别进行卷积核为1x1的卷积操作，可分别得到5个不同尺度的中间特征图C_1,C_2,C_3,C_4,C_5，且所述中间特征图的尺寸不变，依次为原始图片1/2、1/4、1/8、1/16和1/32。
S103：以中间特征图C_5为起点依次对中间特征图C_5、C_4、C_3、C_2和C_1进行细节恢复迭代处理，并且对每次迭代所获得的特征图进行卷积核大小为3x3的卷积操作，以消除混叠效应，获得5个不同尺度的细节特征图D1、D2、D3、D4和D5；
本步骤中，需要对所述中间特征图C_5、C_4、C_3、C_2和C_1进行细节恢复迭代处理，获得5个不同尺度的细节特征图D1、D2、D3、D4和D5。所述迭代处理，是重复反馈过程的活动，其目的通常是为了逼近所需目标或结果。每一次对过程的重复称为一次“迭代”，而每一次迭代得到的结果会作为下一次迭代的初始值。因此以第五中间特征图C_5为起点，因其为第一个迭代过程，所以所述第五中间特征图C_5，即为第5细节特征图D5，随后继续进行细节恢复迭代处理，第一次细节恢复迭代处理所获得的结果第5细节特征图D5将作为下一次迭代的初始值，然后通过对所述第5细节特征图D5进行细节恢复迭代处理，得到第4细节特征图D4，依次重复迭代过程，对所述第4细节特征图D4进行细节恢复迭代处理，获得第3细节特征图D3；对所述第3细节特征图D3进行细节恢复迭代处理，获得第2细节特征图D2以及对所述第2细节特征图D2进行细节恢复迭代处理，获得第1细节特征图D1。
在一实施例中，所述S103包括：
以中间特征图C_5作为迭代的起点，并将其表示为第5细节特征图D5；
对所述第5细节特征图D5进行2倍上采样，获取与特征图C_4相同尺寸的特征图，并与所述特征图C_4按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第4细节特征图D4；
对所述第4细节特征图D4进行2倍上采样，获取与特征图C_3相同尺寸的特征图，并与所述特征图C_3按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第3细节特征图D3；
对所述第3细节特征图D3进行2倍上采样，获取与特征图C_2相同尺寸的特征图，并与所述特征图C_2按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第2细节特征图D2；
对所述第2细节特征图D2进行2倍上采样，获取与特征图C_1相同尺寸的特征图，并与所述特征图C_1按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第1细节特征图D1。
在本实施例中，具体描述了获得细节特征图D1、D2、D3、D4和D5的细节恢复迭代处理过程，因为本细节恢复迭代处理过程是中间特征图C_5为迭代的起点，所以将中间特征图C_5表示为第5细节特征图D5。因为每一次迭代得到的结果会作为下一次迭代的初始值，因此所述第5细节特征图D5将作为下一次迭代的初始值，进而去获得第4细节特征图D4。在本实施例中已详细描述了细节恢复迭代处理的具体过程，就不在一一赘述。在细节恢复迭代处理过程中进行卷积核大小为3x3的卷积操作的目的是为了减少上采样的混叠效应，提高精准度。在对所述中间特征图进行细节恢复迭代处理后，所得到的细节特征图依然未改变其尺寸，所述细节特征图D1、D2、D3、D4和D5的尺寸大小分别为原始图片的1/2、1/4、1/8、1/16和1/32。
S104：对细节特征图D5、D4、D3、D2和D1进行最近邻上采样，使所述细节特征图D5、D4、D3、D2和D1转换成大小尺寸均为原始图片1/2的同尺寸细节特征图D_5、D_4、D_3、D_2和D_1；
本步骤中，通过最近邻上采样使所述细节特征图D5、D4、D3、D2和D1转换成尺寸大小一致的同尺寸细节特征图D_5、D_4、D_3、D_2和D_1。所述最近邻是一种分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。上采样就是采集模拟信号的样本，采样是将时间上、幅值上都连续的信号，在采样脉冲的作用下，转换成时间、幅值上离散的信号。通过最近邻算法结合上采样，可以得到大小尺寸均相同的特征图。
在一实施例中，所述S104包括：
对第5细节特征图D5进行16倍最近邻上采样，获得第5同尺寸细节特征图D_5；
对第4细节特征图D4进行8倍最近邻上采样，获得第4同尺寸细节特征图D_4；
对第3细节特征图D3进行4倍最近邻上采样，获得第3同尺寸细节特征图D_3；
对第2细节特征图D2进行2倍最近邻上采样，获得第2同尺寸细节特征图D_2；
将第1细节特征图D1直接作为第1同尺寸细节特征图D_1。
在本实施例中，由于所述第1细节特征图D1的大小为原始图片的1/2，其大小最接近原始图片大小，因此将所述第1细节特征图D1直接作为第1同尺寸细节特征图D_1，所述第2细节特征图D2的大小为原始图片的1/4，因此，需要对所述第2细节特征图D2进行2倍的最近邻上采样，以将所述第2细节特征图D2转换成与所述第1同尺寸细节特征图D_1同尺寸的第2同尺寸细节特征图D_2；同理，将大小为原始图片1/8的第3细节特征图D3进行4倍最近邻上采样，获得第3同尺寸细节特征图D_3；将大小为原始图片1/16的第4细节特征图D4进行8倍最近邻上采样，获得第4同尺寸细节特征图D_4；将大小为原始图片1/32的第5细节特征图D5进行16倍的最近邻上采样，获得第4同尺寸细节特征图D_5。
S105：对所述同尺寸细节特征图D_5、D_4、D_3、D_2和D_1进行合并得到特征融合后的特征图；
本步骤中，已经将特征图转换成同尺寸细节特征图D_5、D_4、D_3、D_2和D_1，将5个同尺寸细节特征图按照其位置进行对应相加，合并为一张特征融合后的特征图，其大小为原始图片的1/2。
S106：对特征融合后的特征图进行卷积核大小为3x3的卷积操作，然后进行2倍最近邻上采样获得与原始图片尺寸相同的特征图，再对得到的特征图进行卷积核大小为3x3的卷积操作，以获得去模糊图像。
本步骤中，先进行一次卷积核大小为3x3的卷积操作。由于进行特征融合后，所得到的图片大小为原始图片的1/2，因此需要对特征融合后的图片进行2倍最近邻上采样，以将特征融合后的图片恢复成原始图片大小，再对恢复大小的图片进行卷积核大小为3x3的卷积操作，消除混叠效应，从而得到去模糊的图片。
在一实施例中，所述的基于FPN-ResNeXt的图像去模糊方法还包括：
使用L2损失函数作为损失函数进行训练：
其中，N为样本数，x为清晰图像数据，
为复原出来的去模糊图像数据。
在本实施例中，图像数据可采用公开的GoPro数据集，它来自多个街景的图像，共有3214对图像。通过给出的损失函数的计算公式，对比经步骤S101-S106所得到的去模糊图像数据与原有清晰图像数据，判断本次去模糊操作是否成功。
在一实施例中，每个残差模块均包括32个卷积层组，32个卷积层组具有相同的卷积层结构，每个卷积层组由三个卷积层构成。
在本实施例中，三个卷积层构成一个卷积层组，32个具有相同卷积层结构的卷积层组和shortcut(直连)连接组成一个残差模块。设立所述残差模块，是为了解决网络结构过深时而导致的梯度消失问题。当输入特征进入残差模块后，先经过32个卷积层组后会得到32个相同尺寸的输出，然后再将32个相同尺寸输出按对应位置进行加权求和操作，就可以得到1个输出，最后此输出与此残差模块的输入进行shortcut连接，再通过RELU激活函数得到最终的输出特征。
残差模块的计算公式如下：
y＝σ(F′(x)+x)
其中，x为输入，F′(x)为经过卷积层组的加权求和后的输出，σ为RELU激活函数。
在一实施例中，所述对上述初始特征图均进行卷积核尺寸为1x1的卷积操作包括：
对上述初始特征图均进行卷积核尺寸为1x1、步长为1、填充为0、输出通道为128的卷积操作。
在本实施例中，通过对所述初始特征图进行输出通道相同的卷积操作，得到获得5个中间特征图C_1、C_2、C_3、C_4和C_5，因为5个不同尺度的初始特征图的卷积操作的输出通道相同，所以卷积后得到的中间特征图C_1,C_2,C_3,C_4,C_5的维度是相同的。
请参见图3，图3为本发明实施例所提供的一种基于FPN-ResNeXt的图像去模糊装置300的结构框图；
该装置300可以包括：
特征提取模块301，用于构建残差网络ResNeXt，并通过所述残差网络ResNeXt对原始图片进行特征提取，获得5个不同尺度的初始特征图，并表示为C1、C2、C3、C4和C5；所述残差网络ResNeXt包含5个依次连接的卷积模块：第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块，其中，第一卷积模块中设有一个卷积层，第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块均包含多个残差模块；
维度变换模块302，用于对上述初始特征图均进行卷积核尺寸为1x1的卷积操作，以对上述初始特征图进行维度变换，获得5个相同维度的中间特征图C_1、C_2、C_3、C_4和C_5；
特征细化模块303，用于以中间特征图C_5为起点依次对中间特征图C_5、C_4、C_3、C_2和C_1进行细节恢复迭代处理，并且对每次迭代所获得的特征图进行卷积核大小为3x3的卷积操作，以消除混叠效应，获得5个不同尺度的细节特征图D1、D2、D3、D4和D5；
尺寸转换模块304，用于对细节特征图D5、D4、D3、D2和D1进行最近邻上采样，使所述细节特征图D5、D4、D3、D2和D1转换成大小尺寸均为原始图片1/2的同尺寸细节特征图D_5、D_4、D_3、D_2和D_1；
特征融合模块305，用于对所述同尺寸细节特征图D_5、D_4、D_3、D_2和D_1进行合并得到特征融合后的特征图；
去模糊图像获取模块306，用于对特征融合后的特征图进行卷积核大小为3x3的卷积操作，然后进行2倍最近邻上采样获得与原始图片尺寸相同的特征图，再对得到的特征图进行卷积核大小为3x3的卷积操作，以获得去模糊图像。
在一实施例中，所述基于FPN-ResNeXt的图像去模糊装置300还包括：
训练模块，用于使用L2损失函数作为损失函数进行训练：
其中，N为样本数，x为清晰图像数据，
为复原出来的去模糊图像数据。
在一实施例中，所述特征提取模块301包括：
数据采集模块，用于采集原始图片的数据，并将所述原始图片的数据发送至ResNeXt网络；
图片特征提取模块，用于调取ResNeXt网络中的第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块对原始图片的数据进行特征提取，以获得大小分别为原始图片1/2、1/4、1/8、1/16和1/32的初始特征图C1、C2、C3、C4和C5。
在一实施例中，所述特征细化模块303包括：
第5获取模块，用于以特征图C_5作为迭代的起点，并将其表示为第5细节特征图D5；
第4获取模块，用于对所述第5细节特征图D5进行2倍上采样，获取与特征图C_4相同尺寸的特征图，并与所述特征图C_4按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第4细节特征图D4；
第3获取模块，用于对所述第4细节特征图D4进行2倍上采样，获取与特征图C_3相同尺寸的特征图，并与所述特征图C_3按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第3细节特征图D3；
第2获取模块，用于对所述第3细节特征图D3进行2倍上采样，获取与特征图C_2相同尺寸的特征图，并与所述特征图C_2按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第2细节特征图D2；
第1获取模块，用于对所述第2细节特征图D2进行2倍上采样，获取与特征图C_1相同尺寸的特征图，并与所述特征图C_1按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第1细节特征图D1。
在一实施例中，所述尺寸转换模块304包括：
第5尺寸转换模块，用于对第5细节特征图D5进行16倍最近邻上采样，获得第5同尺寸细节特征图D_5；
第4尺寸转换模块，用于对第4细节特征图D4进行8倍最近邻上采样，获得第4同尺寸细节特征图D_4；
第3尺寸转换模块，用于对第3细节特征图D3进行4倍最近邻上采样，获得第3同尺寸细节特征图D_3；
第2尺寸转换模块，用于对第2细节特征图D2进行2倍最近邻上采样，获得第2同尺寸细节特征图D_2；
第1尺寸转换模块，用于将第1细节特征图D1直接作为第1同尺寸细节特征图D_1。
在一实施例中，所述每个残差模块均包括32个卷积层组，32个卷积层组具有相同的卷积层结构，每个卷积层组由三个卷积层构成。
在一实施例中，所述对上述初始特征图均进行卷积核尺寸为1x1的卷积操作，包括：
1x1卷积操作模块，用于对上述初始特征图均进行卷积核尺寸为1x1、步长为1、填充为0、输出通道为128的卷积操作。
本发明还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的方法。
本发明还提供了一种计算机设备，可以包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例所提供的方法。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种基于FPN-ResNeXt的图像去模糊方法，其特征在于，包括：
构建残差网络ResNeXt，并通过所述残差网络ResNeXt对原始图片进行特征提取，获得5个不同尺度的初始特征图，并表示为C1、C2、C3、C4和C5；所述残差网络ResNeXt包含5个依次连接的卷积模块：第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块，其中，第一卷积模块中设有一个卷积层，第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块均包含多个残差模块；
对上述初始特征图均进行卷积核尺寸为1x1的卷积操作，以对上述初始特征图进行维度变换，获得5个相同维度的中间特征图C_1、C_2、C_3、C_4和C_5；
以中间特征图C_5为起点依次对中间特征图C_5、C_4、C_3、C_2和C_1进行细节恢复迭代处理，并且对每次迭代所获得的特征图进行卷积核大小为3x3的卷积操作，以消除混叠效应，获得5个不同尺度的细节特征图D1、D2、D3、D4和D5；
对细节特征图D5、D4、D3、D2和D1进行最近邻上采样，使所述细节特征图D5、D4、D3、D2和D1转换成大小尺寸均为原始图片1/2的同尺寸细节特征图D_5、D_4、D_3、D_2和D_1；
对所述同尺寸细节特征图D_5、D_4、D_3、D_2和D_1进行合并得到特征融合后的特征图；
对特征融合后的特征图进行卷积核大小为3x3的卷积操作，然后进行2倍最近邻上采样获得与原始图片尺寸相同的特征图，再对得到的特征图进行卷积核大小为3x3的卷积操作，以获得去模糊图像；
所述以中间特征图C_5为起点依次对中间特征图C_5、C_4、C_3、C_2和C_1进行细节恢复迭代处理，并且对每次迭代所获得的特征图进行卷积核大小为3x3的卷积操作，以消除混叠效应，获得5个不同尺度的细节特征图D1、D2、D3、D4和D5，包括：
以中间特征图C_5作为迭代的起点，并将其表示为第5细节特征图D5；
对所述第5细节特征图D5进行2倍上采样，获取与特征图C_4相同尺寸的特征图，并与所述特征图C_4按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第4细节特征图D4；
对所述第4细节特征图D4进行2倍上采样，获取与特征图C_3相同尺寸的特征图，并与所述特征图C_3按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第3细节特征图D3；
对所述第3细节特征图D3进行2倍上采样，获取与特征图C_2相同尺寸的特征图，并与所述特征图C_2按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第2细节特征图D2；
对所述第2细节特征图D2进行2倍上采样，获取与特征图C_1相同尺寸的特征图，并与所述特征图C_1按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第1细节特征图D1。
2.根据权利要求1所述的基于FPN-ResNeXt的图像去模糊方法，其特征在于，还包括：
使用L2损失函数作为损失函数进行训练：
其中，N为样本数，xi为第i个清晰图像数据，
为第i个复原出来的去模糊图像数据。/>
3.根据权利要求1所述的基于FPN-ResNeXt的图像去模糊方法，其特征在于，所述构建残差网络ResNeXt，并通过所述残差网络ResNeXt对原始图片进行特征提取，获得5个不同尺度的初始特征图，并表示为C1、C2、C3、C4和C5，包括：
采集原始图片的数据，并将所述原始图片的数据发送至ResNeXt网络；
调取ResNeXt网络中的第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块对原始图片的数据进行特征提取，以获得大小分别为原始图片1/2、1/4、1/8、1/16和1/32的初始特征图C1、C2、C3、C4和C5。
4.根据权利要求1所述的基于FPN-ResNeXt的图像去模糊方法，其特征在于，所述对细节特征图D5、D4、D3、D2和D1进行最近邻上采样，使所述细节特征图D5、D4、D3、D2和D1转换成大小尺寸均为原始图片1/2的同尺寸细节特征图D_5、D_4、D_3、D_2和D_1，包括：
对第5细节特征图D5进行16倍最近邻上采样，获得第5同尺寸细节特征图D_5；
对第4细节特征图D4进行8倍最近邻上采样，获得第4同尺寸细节特征图D_4；
对第3细节特征图D3进行4倍最近邻上采样，获得第3同尺寸细节特征图D_3；
对第2细节特征图D2进行2倍最近邻上采样，获得第2同尺寸细节特征图D_2；
将第1细节特征图D1直接作为第1同尺寸细节特征图D_1。
5.根据权利要求1所述的基于FPN-ResNeXt的图像去模糊方法，其特征在于，每个残差模块均包括32个卷积层组，32个卷积层组具有相同的卷积层结构，每个卷积层组由三个卷积层构成。
6.根据权利要求1所述的基于FPN-ResNeXt的图像去模糊方法，其特征在于，所述对上述初始特征图均进行卷积核尺寸为1x1的卷积操作，包括：
对上述初始特征图均进行卷积核尺寸为1x1、步长为1、填充为0、输出通道为128的卷积操作。
7.一种基于FPN-ResNeXt的图像去模糊装置，其特征在于，包括：
特征提取模块，用于构建残差网络ResNeXt，并通过所述残差网络ResNeXt对原始图片进行特征提取，获得5个不同尺度的初始特征图，并表示为C1、C2、C3、C4和C5；所述残差网络ResNeXt包含5个依次连接的卷积模块：第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块，其中，第一卷积模块中设有一个卷积层，第二卷积模块、第三卷积模块、第四卷积模块和第五卷积模块均包含多个残差模块；
维度变换模块，用于对上述初始特征图均进行卷积核尺寸为1x1的卷积操作，以对上述初始特征图进行维度变换，获得5个相同维度的中间特征图C_1、C_2、C_3、C_4和C_5；
特征细化模块，用于以C_5为起点依次对中间特征图C_5、C_4、C_3、C_2和C_1进行细节恢复迭代处理，并且对每次迭代所获得的特征图进行卷积核大小为3x3的卷积操作，以消除混叠效应，获得5个不同尺度的细节特征图D1、D2、D3、D4和D5；
尺寸转换模块，用于对细节特征图D5、D4、D3、D2和D1进行最近邻上采样，使所述细节特征图D5、D4、D3、D2和D1转换成大小尺寸均为原始图片1/2的同尺寸细节特征图D_5、D_4、D_3、D_2和D_1；
特征融合模块，用于对所述同尺寸细节特征图D_5、D_4、D_3、D_2和D_1进行合并得到特征融合后的特征图；
去模糊图像获取模块，用于对特征融合后的特征图进行卷积核大小为3x3的卷积操作，然后进行2倍最近邻上采样获得与原始图片尺寸相同的特征图，再对得到的特征图进行卷积核大小为3x3的卷积操作，以获得去模糊图像；
所述特征细化模块包括：
第5获取模块，用于以特征图C_5作为迭代的起点，并将其表示为第5细节特征图D5；
第4获取模块，用于对所述第5细节特征图D5进行2倍上采样，获取与特征图C_4相同尺寸的特征图，并与所述特征图C_4按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第4细节特征图D4；
第3获取模块，用于对所述第4细节特征图D4进行2倍上采样，获取与特征图C_3相同尺寸的特征图，并与所述特征图C_3按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第3细节特征图D3；
第2获取模块，用于对所述第3细节特征图D3进行2倍上采样，获取与特征图C_2相同尺寸的特征图，并与所述特征图C_2按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第2细节特征图D2；
第1获取模块，用于对所述第2细节特征图D2进行2倍上采样，获取与特征图C_1相同尺寸的特征图，并与所述特征图C_1按位置对应相加；将相加后的特征图进行卷积核大小为3x3的卷积操作，获得第1细节特征图D1。
8.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的基于FPN-ResNeXt的图像去模糊方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于FPN-ResNeXt的图像去模糊方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010413329.6A CN111553867B (zh) | 2020-05-15 | 2020-05-15 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010413329.6A CN111553867B (zh) | 2020-05-15 | 2020-05-15 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111553867A CN111553867A (zh) | 2020-08-18 |
| CN111553867B true CN111553867B (zh) | 2023-05-26 |
Family
ID=72001626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010413329.6A Active CN111553867B (zh) | 2020-05-15 | 2020-05-15 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111553867B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183291A (zh) * | 2020-09-22 | 2021-01-05 | 上海蜜度信息技术有限公司 | 一种图像中极小物体检测方法及系统、存储介质及终端 |
| CN112102205B (zh) * | 2020-10-15 | 2024-02-09 | 平安科技（深圳）有限公司 | 图像去模糊方法、装置、电子设备及存储介质 |
| CN112053308B (zh) * | 2020-10-22 | 2023-05-26 | 华润数字科技有限公司 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
| CN113470001B (zh) * | 2021-07-22 | 2024-01-09 | 西北工业大学 | 一种用于红外图像的目标搜索方法 |
| CN114025118A (zh) * | 2022-01-06 | 2022-02-08 | 广东电网有限责任公司中山供电局 | 一种低码率视频重构方法、系统、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903255A (zh) * | 2019-03-04 | 2019-06-18 | 北京工业大学 | 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法 |
| CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| CN111079795A (zh) * | 2019-11-21 | 2020-04-28 | 西安工程大学 | 基于cnn的分片多尺度特征融合的图像分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108737750A (zh) * | 2018-06-07 | 2018-11-02 | 北京旷视科技有限公司 | 图像处理方法、装置及电子设备 |
-
2020
- 2020-05-15 CN CN202010413329.6A patent/CN111553867B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903255A (zh) * | 2019-03-04 | 2019-06-18 | 北京工业大学 | 一种基于3d卷积神经网络的高光谱图像超分辨率复原方法 |
| CN110782399A (zh) * | 2019-08-22 | 2020-02-11 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| CN111079795A (zh) * | 2019-11-21 | 2020-04-28 | 西安工程大学 | 基于cnn的分片多尺度特征融合的图像分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 改进卷积神经网络在遥感图像分类中的应用;刘雨桐;《计算机应用》;20180430;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111553867A (zh) | 2020-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111553867B (zh) | 一种图像去模糊方法、装置、计算机设备及存储介质 | |
| CN109064396B (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| CN112446383B (zh) | 车牌识别方法及装置、存储介质、终端 | |
| JP7146372B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
| CN110232394B (zh) | 一种多尺度图像语义分割方法 | |
| CN112750082B (zh) | 基于融合注意力机制的人脸超分辨率方法及系统 | |
| WO2020087607A1 (zh) | 一种基于Bi-Skip-Net的图像去模糊方法 | |
| JP5543605B2 (ja) | 空間画像事前確率を用いたぼけ画像修正 | |
| CN110415199B (zh) | 基于残差学习的多光谱遥感图像融合方法及装置 | |
| CN110766632A (zh) | 基于通道注意力机制和特征金字塔的图像去噪方法 | |
| Zuo et al. | Convolutional neural networks for image denoising and restoration | |
| CN111861886B (zh) | 一种基于多尺度反馈网络的图像超分辨率重建方法 | |
| CN111738954B (zh) | 一种基于双层空洞U-Net模型的单帧湍流退化图像去畸变方法 | |
| CN111145102A (zh) | 一种基于卷积神经网络的合成孔径雷达图像去噪方法 | |
| CN111951164A (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN112529776A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
| CN111553861B (zh) | 一种图像超分辨率重构方法、装置、设备及可读存储介质 | |
| CN109064394B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
| CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN110782398A (zh) | 一种图像处理方法、生成式对抗网络、电子设备及存储介质 | |
| CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| Sun et al. | A rapid and accurate infrared image super-resolution method based on zoom mechanism | |
| CN116740399A (zh) | 异源图像匹配模型的训练方法、匹配方法及介质 | |
| CN116862765A (zh) | 一种医学影像超分辨率重建方法及系统 | |
| CN113674154B (zh) | 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 801, building 2, Shenzhen new generation industrial park, 136 Zhongkang Road, Meidu community, Meilin street, Futian District, Shenzhen, Guangdong 518000 Applicant after: China Resources Digital Technology Co.,Ltd. Address before: Room 2301, building 2, Fangda Plaza, No.20, Gaofa West Road, Taoyuan community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong 518000 Applicant before: Runlian software system (Shenzhen) Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |