CN112614072A - 一种图像复原方法、装置、图像复原设备及存储介质 - Google Patents
一种图像复原方法、装置、图像复原设备及存储介质 Download PDFInfo
- Publication number
- CN112614072A CN112614072A CN202011593292.6A CN202011593292A CN112614072A CN 112614072 A CN112614072 A CN 112614072A CN 202011593292 A CN202011593292 A CN 202011593292A CN 112614072 A CN112614072 A CN 112614072A
- Authority
- CN
- China
- Prior art keywords
- image
- fuzzy
- network
- processed
- elimination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000003379 elimination reaction Methods 0.000 claims abstract description 90
- 230000008030 elimination Effects 0.000 claims abstract description 89
- 238000011156 evaluation Methods 0.000 claims abstract description 70
- 238000010586 diagram Methods 0.000 claims abstract description 69
- 230000006870 function Effects 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 27
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 5
- 239000002609 medium Substances 0.000 description 23
- 230000008569 process Effects 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 9
- 238000004088 simulation Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000001963 growth medium Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 210000001161 mammalian embryo Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G06T5/60—
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Fuzzy Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像复原方法、装置、图像复原设备及存储介质。该方法包括：通过模糊强度评估网络对待处理图像进行评估，生成模糊强度特征图；将所述待处理图像和所述模糊强度特征图输入模糊消除主网络；通过所述模糊消除主网络，根据所述模糊强度特征图对所述待处理图像进行设定次数的迭代处理，输出复原图像。上述技术方案采用模糊强度评估网络提取待处理图像的模糊强度特征，并采用模糊消除主网络对待处理图像进行迭代处理，其中的模糊强度评估网络和模糊消除主网络为经过训练的网络，具备相应的功能，可实现图像的自动复原，提高图像复原的效率和质量。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像复原方法、装置、图像复原设备及存储介质。
背景技术
对于景深较小的光学成像系统，在成像对焦过程中需要估计离焦量，不仅计算量大，还需要改变光学成像系统内部参数，因此难以实现快速准确地自动对焦。以培养细胞的场景为例，随着细胞形态和培养基液面的变化，会出现焦平面的细微偏移，导致观测到的图像不清晰、存在离焦模糊等问题，影响观测结果和胚胎培养质量。因此需要对模糊的图像进行复原，如果图像的退化核函数未知，或者无法估计具体的离焦量或者模糊程度，则需要盲复原。只根据一张模糊图像进行盲复原的难度较大。
现有方法通常是在保真项最小均方误差的基础上设计各种先验知识，然后利用凸优化技术反复迭代得到一个近似的复原图像，计算量很大，耗时长，难以满足实时观测的要求，并且存在明显的振铃效应，复原图像的质量差。
发明内容
本发明提供了一种图像复原方法、装置、图像复原设备及存储介质，以提高图像复原的效率和质量。
第一方面，本发明实施例提供了一种图像复原方法，包括：
通过模糊强度评估网络对待处理图像进行评估，生成模糊强度特征图；
将所述待处理图像和所述模糊强度特征图输入模糊消除主网络；
通过所述模糊消除主网络，根据所述模糊强度特征图对所述待处理图像进行设定次数的迭代处理，输出复原图像。
可选的，所述模糊强度评估网络的中间部分包括深度可分离卷积层；所述模糊消除主网络的中间部分为包含深度可分离卷积层的残差块。
可选的，所述模糊消除主网络中包括内循环结构，所述内循环结构包括将最后一个包含深度可分离卷积层的残差块的输出作为第一个包含深度可分离卷积层的残差块的输入。
可选的，通过所述模糊消除主网络，根据所述模糊强度特征图对所述待处理图像进行设定次数的迭代处理，输出复原图像，包括：
通过所述模糊消除主网络，将所述待处理图像和所述模糊强度特征图的元素逐点相乘，得到第一中间特征图；
对所述待处理图像、所述第一中间特征图和所述模糊消除主网络上一次迭代的输出进行拼接，得到第二中间特征图；
对所述第二中间特征图进行模糊消除处理，并与所述待处理图像叠加，得到当前迭代的输出；
重复执行上述的拼接、模糊消除处理和叠加操作，直至迭代次数达到设定次数，输出所述复原图像。
可选的，在通过模糊强度评估网络对待处理图像进行评估之前，还包括：
获取样本图像，所述样本图像包括模糊图像和清晰图像；
根据所述样本图像和总体损失函数训练所述模糊强度评估网络和所述模糊消除主网络。
可选的，所述总体损失函数为所述模糊强度评估网络的第一损失函数和所述模糊消除主网络的第二损失函数的线性加权和。
可选的，所述第一损失函数根据暗通道先验(Dark Channel Prior，DCP)或亮通道先验(Bright Channel Prior，BCP)确定；
所述第二损失函数根据每次迭代的输出与所述清晰图像的结构相似性确定。
第二方面，本发明实施例提供了一种图像复原装置，包括：
评估模块，用于通过模糊强度评估网络对待处理图像进行评估，生成模糊强度特征图；
输入模块，用于将所述待处理图像和所述模糊强度特征图输入模糊消除主网络；
输出模块，用于通过所述模糊消除主网络，根据所述模糊强度特征图对所述待处理图像进行设定次数的迭代处理，输出复原图像。
第三方面，本发明实施例提供了一种图像复原设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的图像复原方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的图像复原方法。
本发明实施例提供了一种图像复原方法、装置、图像复原设备及存储介质，该方法包括：通过模糊强度评估网络对待处理图像进行评估，生成模糊强度特征图；将所述待处理图像和所述模糊强度特征图输入模糊消除主网络；通过所述模糊消除主网络，根据所述模糊强度特征图对所述待处理图像进行设定次数的迭代处理，输出复原图像。上述技术方案采用模糊强度评估网络提取待处理图像的模糊强度特征，并采用模糊消除主网络对待处理图像进行迭代处理，其中的模糊强度评估网络和模糊消除主网络为经过训练的已有网络，具备相应的功能，可实现图像的自动复原，提高图像复原的效率和质量。
附图说明
图1为本发明实施例一提供的一种图像复原方法的流程图；
图2为本发明实施例一提供的一种模糊强度评估网络的示意图；
图3为本发明实施例二提供的一种图像复原方法的流程图；
图4为本发明实施例二提供的一种不同高斯核大小的样本图像的示意图；
图5为本发明实施例二提供的一种模糊消除主网络的示意图；
图6为本发明实施例二提供的一种模糊图像和清晰图像的暗通道先验亮度值的示意图；
图7为本发明实施例二提供的一种图像复原过程的示意图；
图8为本发明实施例三提供的一种图像复原装置的结构示意图；
图9为本发明实施例四提供的一种图像复原设备的硬件结构示意图；
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
需要注意，本发明实施例中提及的“第一”、“第二”等概念仅用于对不同的装置、模块、单元或其他对象进行区分，并非用于限定这些装置、模块、单元或其他对象所执行的功能的顺序或者相互依存关系。
为了更好地理解本发明实施例，下面对相关技术进行介绍。
实施例一
图1为本发明实施例一提供的一种图像复原方法的流程图，本实施例可适用于对模糊图像进行图像复原的情况。具体的，该图像复原方法可以由图像复原装置执行，该图像复原装置可以通过软件和/或硬件的方式实现，并集成在图像复原设备中。进一步的，图像复原设备包括但不限定于：台式计算机、笔记本电脑、智能手机以及服务器等电子设备。
本实施例的图像复原方法可应用于显微成像系统中。例如，在观测细胞培养过程时，随着细胞形态和培养基液面的变化，会出现焦平面的细微偏移，使得成像平面不在焦平面上，引起观测到的图像模糊，这种现象称为离焦模糊。成像平面和焦平面相距越远，离焦模糊圆半径越大，观测到的图像越模糊。将离焦的模糊图像复原成清晰的图像，属于图像复原范畴。由于实际离焦程度难以确定，针对离焦模糊图像的图像复原是盲复原。
本实施例的图像复原方法，利用度神经网络构建模糊强度评估网络和模糊消除主网络，模糊强度评估网络和模糊消除主网络经过大量的训练，学习到由模糊图像得到清晰图像的特征和规律，对于输入的待处理图像，可快速输出相应的复原图像，从而支持对目标的实时观测，可适用于显微成像系统。
如图1所示，该方法具体包括如下步骤：
S110、通过模糊强度评估网络对待处理图像进行评估，生成模糊强度特征图。
具体的，待处理图像是指需要复原的模糊图像。模糊可以是由于显微成像系统中的离焦现象导致的，也可以是由于目标的运动、抖动、拍摄原因等导致的。模糊强度评估网络用于对待处理图像进行评估，提取待处理图像的模糊强度特征，生成模糊强度特征图。模糊强度评估网络基于深度神经网络建立。示例性的，模糊强度评估网络的首尾部分包括若干个卷积层，卷积核大小为3*3，卷积层的数量根据实际需求确定；中间部分可以采用轻量化模块替代传统的卷积层，例如由若干个深度可分离卷积层构成，从而降低网络复杂度。深度可分离卷积层的数量根据实际需求确定。
图2为本发明实施例一提供的一种模糊强度评估网络的示意图。如图2所示，模糊强度评估网络由首尾共两个卷积核大小为3*3的卷积层和中间的两个深度可分离卷积层构成。模糊强度评估网络的输入为待处理图像x，输出为模糊强度特征图。模糊强度评估网络经过大量训练后学习到如何提取待处理图像的模糊强度特征。
模糊强度评估网络还可以为其他形式，例如动态神经网络、自适应核网络以及相关的变种网络等，给定任意模糊强度的待处理图像，都可以动态地自适应地评估模糊强度特征，为图像复原提供可靠的依据。
S120、将所述待处理图像和所述模糊强度特征图输入模糊消除主网络。
具体的，模糊消除主网络基于深度神经网络建立，用于根据模糊强度特征图对待处理图像进行迭代处理并输出复原图像。示例性的，模糊消除主网络的首尾部分包括若干个卷积层，卷积核大小为3*3，卷积层的数量根据实际需求确定；中间部分可以采用轻量化模块替代传统的卷积层，例如由若干个含有深度可分离卷积层的残差块构成，残差块的数量根据实际需求确定，目的是减少网络参数，实现网络的轻量化。
S130、通过所述模糊消除主网络，根据所述模糊强度特征图对所述待处理图像进行设定次数的迭代处理，输出复原图像。
具体的，模糊消除主网络的初始输入包括待处理图像和模糊强度特征图，输出为复原图像。示例性的，模糊消除主网络对待处理图像的复原过程包括：将待处理图像和模糊强度特征图对位相乘，并在每次迭代过程中，将待处理图像、对位相乘后的特征图与上一次迭代的输出进行耦合，作为本次迭代过程的输出。经过设定次数(T)的迭代之后，消除了待处理图像中的模糊部分，即可得到清晰的复原图像。此外，在对位相乘时，还可以施加特定的函数，例如指数函数、正弦函数或余弦函数等。
本实施例的模糊消除主网络综合考虑了待处理图像、模糊强度评估网络输出的模糊强度特征图、以及每次迭代的输出等多种信息，将这些信息耦合作为每次迭代的输入，提高了特征复用的能力。
在一实施例中，模糊强度评估网络的中间部分包括深度可分离卷积层；模糊消除主网络的中间部分为包含深度可分离卷积层的残差块。这种情况下，模糊强度评估网络和模糊消除主网络都是轻量级网络，网络参数总数量不超过7000个，便于训练且具有更好的实时性。
在一实施例中，可将经过训练的模糊强度评估网络、模糊消除主网络及其网络参数嵌入至拍摄系统、观测系统、显微成像系统的图像信号处理器(Image SignalProcessor，ISP)中，或者嵌入到主控开发板中，可用于解决由于无法快速准确对焦等原因导致的模糊问题，不会丢失图像的高频信息且没有振铃效应，实现实时高质量的观测。
本发明实施例一提供的一种图像复原方法，通过模糊强度评估网络生成模糊强度特征图，通过模糊消除主网络进行迭代处理，复用待处理图像、模糊强度特征图以及每次迭代过程中的特征，完成图像复原。该方法利用了深度学习强大的非线性函数映射能力，结合轻量化的网络设计，能够实现实时高质量的图像复原，提高图像复原的质量和效率。
实施例二
图3为本发明实施例二提供的一种图像复原方法的流程图，本实施例是在上述实施例的基础上进行优化，对模糊强度评估网络和模糊消除主网络的训练过程，以及迭代处理的过程进行具体描述。需要说明的是，未在本实施例中详尽描述的技术细节可参见上述任意实施例。
如图3所示，该方法具体包括如下步骤：
S210、获取样本图像，样本图像包括模糊图像和清晰图像。
具体的，样本图像用于训练模糊强度评估网络和模糊消除主网络，样本图像实质上是大量的模糊图像与清晰图像对。样本图像可以是本地存储的，或是从服务器或数据库中下载得到的，也可以是根据选定的成像系统和拍摄系统，人工采集得到的。此外，在真实的模糊图像和清晰图像对难以获得的情况下，还可以采用模拟方式构造样本图像。
示例性的，采用真实数据集和模拟数据集结合的方式获取样本图像。对于真实数据集，可以利用给定的成像系统或拍摄系统，首先拍摄得到清晰图像，然后进行多次微调焦，拍摄得到离焦的模糊图像。对于模拟数据集，可以采用高斯核模拟方式构造，以离焦模糊为例，通常可分为高斯模糊或者扩展的高斯模糊，对清晰图像和高斯核进行卷积操作，通过控制高斯核大小和方差可模拟不同的模糊程度，从而产生预定数量的模拟数据集作为样本图像。
图4为本发明实施例二提供的一种不同高斯核大小的样本图像的示意图。如图4所示，高斯核大小分别为7*7、5*5、3*3，其中，7*7的图像模糊程度最大，3*3的图像相对较为清晰。对于原始的清晰图像，利用不同的高斯核进行卷积，可得到三种不同模糊程度的模糊图像，即得到三组模糊图像与清晰图像对，都可作为样本图像。
S220、根据样本图像和总体损失函数训练模糊强度评估网络和模糊消除主网络。
具体的，利用样本图像和总体损失函数训练模糊强度评估网络和模糊消除主网络，使模糊强度评估网络学习如何提取模糊图像的模糊强度特征，使模糊消除主网络学习如何根据模糊强度特征对模糊图像进行迭代处理和复原，当总体损失函数达到最小值时，或者达到训练过程的迭代次数时，模糊强度评估网络和模糊消除主网络的训练完成。其中，总体损失函数可以根据训练模糊强度评估网络的第一损失函数以及训练模糊消除主网络的第二损失函数综合确定。
在训练过程中，合理设置网络结构的超参数，例如残差块的循环次数R、模糊消除主网络迭代处理的设定次数T、模糊强度评估网络和模糊消除主网络中各层卷积核个数、深度可分离卷积层的个数、含有深度可分离卷积的残差块的个数等；并合理设置训练过程的超参数，例如梯度下降的学习率η、损失函数中的各线性加权系数λt和μ、样本图像的数量batch_size、训练过程的迭代次数epoch等。通过在验证集上交叉验证可得到上述各种超参数的最佳值。基于上述各种超参数，在图像处理器(Graphics Processing Unit，GPU)或者可用于矩阵运算加速的服务器上，可以完成模糊强度评估网络和模糊消除主网络的训练。
可选的，在模拟数据集上先预训练模糊强度评估网络和模糊消除主网络，然后在采集的真实数据集上微调模糊强度评估网络和模糊消除主网络。
模糊强度评估网络和模糊消除主网络经过大量的训练，具备了盲复原的能力，可用于复原任意模糊的待处理图像。
S230、通过模糊强度评估网络对待处理图像进行评估，生成模糊强度特征图。
具体的，输入模糊的待处理图像x，模糊强度评估网络实现的函数映射为fsub(·)，则模糊强度评估网络输出的模糊强度特征图表示为fsub(x)。模糊强度特征图的分辨率与待处理图像的分辨率保持一致。需要说明的是，模糊强度评估网络的首尾部分采用传统卷积层以提高特征提取能力，而中间部分采用深度可分离卷积层，以实现网络的轻量化，减少网络参数。
S240、将待处理图像和所述模糊强度特征图输入模糊消除主网络。
S250、通过模糊消除主网络，将待处理图像和模糊强度特征图的元素逐点相乘，得到第一中间特征图。
本实施例中，在第t次迭代过程中，模糊消除主网络的输入包括三部分：待处理图像x、模糊强度特征图fsub(x)以及上一次迭代的输出yt-1。模糊消除主网络首先将待处理图像和模糊强度特征图的元素逐点相乘，即对位(Element-Wise)相乘，得到第一中间特征图x⊙fsub(·)，也可称为“模糊注意力图”。
S260、对待处理图像、第一中间特征图和模糊消除主网络上一次迭代的输出进行拼接，得到第二中间特征图。
具体的，将待处理图像x、第一中间特征图x⊙fsub(·)和上一次迭代的输出yt-1拼接，得到一个高维矩阵concat(x,x⊙fsub(·),yt-1)，即第二中间特征图，作为本次迭代模糊消除主网络的输入。其中，对于第t＝1次迭代，上一次迭代的输出可以为给定值或者为空，或者根据实际需求设定。
S270、对第二中间特征图进行模糊消除处理，并与待处理图像叠加，得到当前迭代的输出。
具体的，通过模糊消除主网络对第二中间特征图进行模糊消除处理，模糊消除的过程包括：模糊消除主网络的第一个卷积层(卷积核大小为3*3的卷积层)实现的函数映射为fin(·)，则第一个卷积层的输出为fin(concat(x,x⊙fsub(·),yt-1))；模糊消除主网络中间部分由n个包含深度可分离卷积的残差块组成(一般n＝2)，实现的函数映射为fre(·)，则中间部分的输出为fre(fin(concat(x,x⊙fsub(·),yt-1)))；模糊消除主网络的最后一层(卷积核大小为3*3的卷积层)实现的函数映射为fout(·)，则最后一层的输出为：
fout(fre(fin(concat(x,x⊙fsub(·),yt-1))))，在此基础上叠加待处理图像x，得到当前(第t次)迭代的输出，即yt＝fout(fre(fin(concat(x,x⊙fsub(·),yt-1))))+x。
需要说明的是，拼接操作可以由模糊消除主网络执行，即，模糊消除主网络中的第一层可以为拼接层，其次再为卷积层和包含深度可分离卷积的残差块等。
S280、迭代次数达到设定次数？若是，则执行S210；若否，迭代次数加1，返回执行S206，进行下一次迭代。
S290、输出复原图像。
具体的，当迭代次数达到设定次数(t＝T)时，将模糊消除主网络的输出yT作为最终的复原图像。
图5为本发明实施例二提供的一种模糊消除主网络的示意图。如图5所示，对于第t次迭代，模糊消除主网络的输入包括待处理图像、模糊强度特征图以及上一次迭代的输出；模糊消除主网络的第一层可以是拼接层，用于将三部分输出拼接；在拼接层之后，为一个3*3的卷积层，然后为n＝2个深度可分离卷积层的残差块，最后一层仍为3*3的卷积层。
本实施例的图像复原方法，克服了因不确定因素导致难以对焦造成离焦模糊等图像质量退化问题，能够自适应评估待处理图像的模糊程度，并且快速恢复出清晰图像。
在一实施例中，总体损失函数为模糊强度评估网络的第一损失函数和模糊消除主网络的第二损失函数的线性加权和。
具体的，模糊强度评估网络的第一损失函数表示为D，模糊消除主网络的第二损失函数表示为L，则总体损失函数为Loss＝L+μD，其中，μ为加权系数，可根据实际需求设定。
在一实施例中，第一损失函数根据暗通道先验或亮通道先验确定；第二损失函数根据每次迭代的输出与清晰图像的结构相似性确定。
具体的，模糊强度评估网络的第一损失函数能够显著区分模糊图像和清晰图像，可基于暗通道先验或亮通道先验等人工先验知识确定。示例性的，第一损失函数根据暗通道先验确定。暗通道先验损失函数表示为：
图6为本发明实施例二提供的一种模糊图像和清晰图像的暗通道先验亮度值的示意图。如图6所示，清晰图像的暗通道绝大部分像素的取值接近0，而模糊图像则是类似正态的半边分布。
模糊消除主网络的第二损失函数可基于每次迭代的输出与清晰图像的结构相似性(Structural SIMilarity，SSIM)确定。清晰图像表示为xGT，第t次迭代输出的图像为yt，则结构相似性l(yt,xGT)＝-SSIM(yt,xGT)。可以采用线性加权和的方式综合评价每次迭代的结构相似性，则第二损失函数定义为
其中，λt为每次迭代过程的结构相似性的加权系数。
在一实施例中，模糊消除主网络中包括内循环结构，内循环结构包括将最后一个包含深度可分离卷积层的残差块的输出作为第一个包含深度可分离卷积层的残差块的输入。
具体的，模糊消除主网络包含两类循环：内循环和外循环。其中，内循环指将模糊消除主网络中最后一个残差块的输出作为第一个残差块的输入的一部分，内循环的循环次数为R；外循环指将模糊消除主网络上一次迭代的输出作为当前迭代的输入的一部分，外循环的循环次数为T。通过设置两类循环可以提高特征提取和复用能力，充分挖掘网络的图像复原能力，还可以在减少网络参数、实现轻量化的同时避免过拟合，提高图像复原的质量。
图7为本发明实施例二提供的一种图像复原过程的示意图。如图7所示，待处理图像x首先输入至模糊强度评估网络，通过模糊强度评估网络提取模糊强度特征，生成模糊强度特征图；模糊强度评估网络生成的模糊强度特征图、待处理图像x、模糊消除主网络上一次迭代的输出yt-1输入模糊消除主网络，拼接后经过模糊消除处理(包括对位相乘、卷积、叠加、内循环、外循环等)，得到本次迭代的输出yt。当迭代次数达到设定次数(t＝T)时的输出即为最终的复原图像yT。
本发明实施例二提供的一种图像复原方法，在上述实施例的基础上进行优化，采用真实数据集和模拟数据集结合的方式灵活获取样本图像，提高样本图像的丰富性；通过设置第一损失函数、第二损失函数以及总体损失函数，提高了模糊强度评估网络的模糊特征提取能力、模糊消除主网络的模糊消除能力以及两者整体的图像复原能力；通过在模糊强度评估网络和模糊消除主网络的中间部分采用轻量化模块，提高图像复原的效率和实时性，在首尾部分采用卷积层，保证特征提取能力；通过将多种信息耦合作为模糊消除主网络的输入，并对模糊消除主网络设置内循环和外循环，提高特征提取和复用能力，充分挖掘网络的图像复原能力，并可以在减少网络参数、实现轻量化的同时避免过拟合，提高图像复原的质量。
实施例三
图8为本发明实施例三提供的一种图像复原装置的结构示意图。如图8所示，本实施例提供的图像复原装置包括：
评估模块310，用于通过模糊强度评估网络对待处理图像进行评估，生成模糊强度特征图；
输入模块320，用于将所述待处理图像和所述模糊强度特征图输入模糊消除主网络；
输出模块330，用于通过所述模糊消除主网络，根据所述模糊强度特征图对所述待处理图像进行设定次数的迭代处理，输出复原图像。
本发明实施例三提供的一种图像复原装置，通过评估模块提取待处理图像的模糊强度特征，并通过输出模块对待处理图像进行迭代处理，采用的模糊强度评估网络和模糊消除主网络为经过训练的已有网络，具备相应的功能，可实现图像的自动复原，提高图像复原的效率和质量。
在上述实施例的基础上，所述模糊强度评估网络的中间部分包括深度可分离卷积层；所述模糊消除主网络的中间部分为包含深度可分离卷积层的残差块。
在上述实施例的基础上，所述模糊消除主网络中包括内循环结构，所述内循环结构包括将最后一个包含深度可分离卷积层的残差块的输出作为第一个包含深度可分离卷积层的残差块的输入。
在上述实施例的基础上，输出模块330，包括：
相乘单元，用于通过所述模糊消除主网络，将所述待处理图像和所述模糊强度特征图的元素逐点相乘，得到第一中间特征图；
卷积单元，用于对所述待处理图像、所述第一中间特征图和所述模糊消除主网络上一次迭代的输出进行拼接，得到第二中间特征图；
叠加单元，用于对所述第二中间特征图进行模糊消除处理，并与所述待处理图像叠加，得到当前迭代的输出；
重复执行上述的拼接、模糊消除处理和叠加操作，直至迭代次数达到设定次数，输出所述复原图像。
在上述实施例的基础上，还包括：
获取模块，用于在通过模糊强度评估网络对待处理图像进行评估之前，获取样本图像，所述样本图像包括模糊图像和清晰图像；
训练模块，用于根据所述样本图像和总体损失函数训练所述模糊强度评估网络和所述模糊消除主网络。
在上述实施例的基础上，所述总体损失函数为所述模糊强度评估网络的第一损失函数和所述模糊消除主网络的第二损失函数的线性加权和。
在上述实施例的基础上，所述第一损失函数根据暗通道先验或亮通道先验确定；
所述第二损失函数根据每次迭代的输出与所述清晰图像的结构相似性确定。
本发明实施例三提供的图像复原装置可以用于执行上述任意实施例提供的图像复原方法，具备相应的功能和有益效果。
实施例四
图9为本发明实施例四提供的一种图像复原设备的硬件结构示意图。图像复原设备包括但不限定于：台式计算机、笔记本电脑、智能手机以及服务器等电子设备。如图9所示，本申请提供的图像复原设备，包括存储器42、处理器41以及存储在存储器上并可在处理器上运行的计算机程序，处理器41执行所述程序时实现上述的图像复原方法。
图像复原设备还可以包括存储器42；该图像复原设备中的处理器41可以是一个或多个，图9中以一个处理器41为例；存储器42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本申请实施例中所述的图像复原方法。
图像复原设备还包括：输入装置44和输出装置45。
图像复原设备中的处理器41、存储器42、输入装置44和输出装置45可以通过总线或其他方式连接，图9中以通过总线连接为例。
输入装置44可用于接收输入的数字或字符信息，以及产生与图像复原设备的用户设置以及功能控制有关的按键信号输入。输出装置45可包括显示屏等显示设备。
存储器42作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本申请实施例所述图像复原方法对应的程序指令/模块(例如，图像复原装置中的评估模块310、输入模块320和输出模块330)。存储器42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据图像复原设备的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至图像复原设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在上述实施例的基础上，本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被图像复原装置执行时实现本发明上述任意实施例中的图像复原方法，该方法包括：通过模糊强度评估网络对待处理图像进行评估，生成模糊强度特征图；将所述待处理图像和所述模糊强度特征图输入模糊消除主网络；通过所述模糊消除主网络，根据所述模糊强度特征图对所述待处理图像进行设定次数的迭代处理，输出复原图像。
本发明实施例所提供的一种包含计算机可执行指令的存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的图像复原方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种图像复原方法，其特征在于，包括：
通过模糊强度评估网络对待处理图像进行评估，生成模糊强度特征图；
将所述待处理图像和所述模糊强度特征图输入模糊消除主网络；
通过所述模糊消除主网络，根据所述模糊强度特征图对所述待处理图像进行设定次数的迭代处理，输出复原图像。
2.根据权利要求1所述的方法，其特征在于，所述模糊强度评估网络的中间部分包括深度可分离卷积层；
所述模糊消除主网络的中间部分为包含深度可分离卷积层的残差块。
3.根据权利要求2所述的方法，其特征在于，所述模糊消除主网络中包括内循环结构，所述内循环结构包括将最后一个包含深度可分离卷积层的残差块的输出作为第一个包含深度可分离卷积层的残差块的输入。
4.根据权利要求1所述的方法，其特征在于，通过所述模糊消除主网络，根据所述模糊强度特征图对所述待处理图像进行设定次数的迭代处理，输出复原图像，包括：
通过所述模糊消除主网络，将所述待处理图像和所述模糊强度特征图的元素逐点相乘，得到第一中间特征图；
对所述待处理图像、所述第一中间特征图和所述模糊消除主网络上一次迭代的输出进行拼接，得到第二中间特征图；
对所述第二中间特征图进行模糊消除处理，并与所述待处理图像叠加，得到当前迭代的输出；
重复执行上述的拼接、模糊消除处理和叠加操作，直至迭代次数达到设定次数，输出所述复原图像。
5.根据权利要求1所述的方法，其特征在于，在通过模糊强度评估网络对待处理图像进行评估之前，还包括：
获取样本图像，所述样本图像包括模糊图像和清晰图像；
根据所述样本图像和总体损失函数训练所述模糊强度评估网络和所述模糊消除主网络。
6.根据权利要求5所述的方法，其特征在于，所述总体损失函数为所述模糊强度评估网络的第一损失函数和所述模糊消除主网络的第二损失函数的线性加权和。
7.根据权利要求6所述的方法，其特征在于，所述第一损失函数根据暗通道先验或亮通道先验确定；
所述第二损失函数根据每次迭代的输出与所述清晰图像的结构相似性确定。
8.一种图像复原装置，其特征在于，包括：
评估模块，用于通过模糊强度评估网络对待处理图像进行评估，生成模糊强度特征图；
输入模块，用于将所述待处理图像和所述模糊强度特征图输入模糊消除主网络；
输出模块，用于通过所述模糊消除主网络，根据所述模糊强度特征图对所述待处理图像进行设定次数的迭代处理，输出复原图像。
9.一种图像复原设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的图像复原方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的图像复原方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011593292.6A CN112614072B (zh) | 2020-12-29 | 2020-12-29 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| PCT/CN2021/142682 WO2022143812A1 (zh) | 2020-12-29 | 2021-12-29 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| US18/270,302 US20240062343A1 (en) | 2020-12-29 | 2021-12-29 | Image Restoration Method and Apparatus, Image Restoration Device and Storage Medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011593292.6A CN112614072B (zh) | 2020-12-29 | 2020-12-29 | 一种图像复原方法、装置、图像复原设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112614072A true CN112614072A (zh) | 2021-04-06 |
| CN112614072B CN112614072B (zh) | 2022-05-17 |
Family
ID=75248814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011593292.6A Active CN112614072B (zh) | 2020-12-29 | 2020-12-29 | 一种图像复原方法、装置、图像复原设备及存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240062343A1 (zh) |
| CN (1) | CN112614072B (zh) |
| WO (1) | WO2022143812A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034598A (zh) * | 2021-04-13 | 2021-06-25 | 中国计量大学 | 一种基于深度学习的无人机电力巡线方法 |
| WO2022143812A1 (zh) * | 2020-12-29 | 2022-07-07 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN115205164A (zh) * | 2022-09-15 | 2022-10-18 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、视频处理方法、装置及设备 |
| CN117058038A (zh) * | 2023-08-28 | 2023-11-14 | 北京航空航天大学 | 一种基于偶数卷积深度学习的衍射模糊图像修复方法 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110304687A1 (en) * | 2010-06-14 | 2011-12-15 | Microsoft Corporation | Generating sharp images, panoramas, and videos from motion-blurred videos |
| US20180240219A1 (en) * | 2017-02-22 | 2018-08-23 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
| CN108734675A (zh) * | 2018-05-17 | 2018-11-02 | 西安电子科技大学 | 基于混合稀疏先验模型的图像复原方法 |
| CN109685737A (zh) * | 2018-12-24 | 2019-04-26 | 华南农业大学 | 一种图像去雾方法 |
| CN110378844A (zh) * | 2019-06-14 | 2019-10-25 | 杭州电子科技大学 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
| CN110930320A (zh) * | 2019-11-06 | 2020-03-27 | 南京邮电大学 | 一种基于轻量化卷积神经网络的图像去雾方法 |
| CN110969589A (zh) * | 2019-12-03 | 2020-04-07 | 重庆大学 | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 |
| CN111028166A (zh) * | 2019-11-30 | 2020-04-17 | 温州大学 | 一种基于迭代神经网络的视频去模糊方法 |
| CN111028153A (zh) * | 2019-12-09 | 2020-04-17 | 南京理工大学 | 图像处理和神经网络训练方法、装置及计算机设备 |
| CN111275637A (zh) * | 2020-01-15 | 2020-06-12 | 北京工业大学 | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 |
| CN111445418A (zh) * | 2020-03-31 | 2020-07-24 | 联想(北京)有限公司 | 图像去雾处理方法、装置及计算机设备 |
| CN111462019A (zh) * | 2020-04-20 | 2020-07-28 | 武汉大学 | 基于深度神经网络参数估计的图像去模糊方法及系统 |
| CN111539887A (zh) * | 2020-04-21 | 2020-08-14 | 温州大学 | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 |
| CN111681188A (zh) * | 2020-06-15 | 2020-09-18 | 青海民族大学 | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 |
| CN111862026A (zh) * | 2020-07-15 | 2020-10-30 | 南京图格医疗科技有限公司 | 一种基于深度学习的内窥医学图片去模糊方法 |
| CN111915525A (zh) * | 2020-08-05 | 2020-11-10 | 湖北工业大学 | 基于改进深度可分离生成对抗网络的低照度图像增强方法 |
| CN112053308A (zh) * | 2020-10-22 | 2020-12-08 | 润联软件系统(深圳)有限公司 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101362011B1 (ko) * | 2007-08-02 | 2014-02-12 | 삼성전자주식회사 | 링잉 아티펙트없는 블러 제거 방법 |
| US10043243B2 (en) * | 2016-01-22 | 2018-08-07 | Siemens Healthcare Gmbh | Deep unfolding algorithm for efficient image denoising under varying noise conditions |
| CN109285129A (zh) * | 2018-09-06 | 2019-01-29 | 哈尔滨工业大学 | 基于卷积神经网络的图像真实噪声去除系统 |
| CN109658348A (zh) * | 2018-11-16 | 2019-04-19 | 天津大学 | 基于深度学习的联合噪声估计和图像去噪方法 |
| CN110782399B (zh) * | 2019-08-22 | 2023-05-12 | 天津大学 | 一种基于多任务cnn的图像去模糊方法 |
| CN112037142B (zh) * | 2020-08-24 | 2024-02-13 | 腾讯科技（深圳）有限公司 | 一种图像去噪方法、装置、计算机及可读存储介质 |
| CN112614072B (zh) * | 2020-12-29 | 2022-05-17 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN113096032B (zh) * | 2021-03-18 | 2024-03-19 | 西北工业大学 | 一种基于图像区域划分的非均匀一致模糊去除方法 |
-
2020
- 2020-12-29 CN CN202011593292.6A patent/CN112614072B/zh active Active
-
2021
- 2021-12-29 WO PCT/CN2021/142682 patent/WO2022143812A1/zh active Application Filing
- 2021-12-29 US US18/270,302 patent/US20240062343A1/en active Pending
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110304687A1 (en) * | 2010-06-14 | 2011-12-15 | Microsoft Corporation | Generating sharp images, panoramas, and videos from motion-blurred videos |
| US20180240219A1 (en) * | 2017-02-22 | 2018-08-23 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
| CN108734675A (zh) * | 2018-05-17 | 2018-11-02 | 西安电子科技大学 | 基于混合稀疏先验模型的图像复原方法 |
| CN109685737A (zh) * | 2018-12-24 | 2019-04-26 | 华南农业大学 | 一种图像去雾方法 |
| CN110378844A (zh) * | 2019-06-14 | 2019-10-25 | 杭州电子科技大学 | 基于循环多尺度生成对抗网络的图像盲去运动模糊方法 |
| CN110930320A (zh) * | 2019-11-06 | 2020-03-27 | 南京邮电大学 | 一种基于轻量化卷积神经网络的图像去雾方法 |
| CN111028166A (zh) * | 2019-11-30 | 2020-04-17 | 温州大学 | 一种基于迭代神经网络的视频去模糊方法 |
| CN110969589A (zh) * | 2019-12-03 | 2020-04-07 | 重庆大学 | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 |
| CN111028153A (zh) * | 2019-12-09 | 2020-04-17 | 南京理工大学 | 图像处理和神经网络训练方法、装置及计算机设备 |
| CN111275637A (zh) * | 2020-01-15 | 2020-06-12 | 北京工业大学 | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 |
| CN111445418A (zh) * | 2020-03-31 | 2020-07-24 | 联想(北京)有限公司 | 图像去雾处理方法、装置及计算机设备 |
| CN111462019A (zh) * | 2020-04-20 | 2020-07-28 | 武汉大学 | 基于深度神经网络参数估计的图像去模糊方法及系统 |
| CN111539887A (zh) * | 2020-04-21 | 2020-08-14 | 温州大学 | 一种基于混合卷积的通道注意力机制和分层学习的神经网络图像去雾方法 |
| CN111681188A (zh) * | 2020-06-15 | 2020-09-18 | 青海民族大学 | 基于结合图像像素先验和图像梯度先验的图像去模糊方法 |
| CN111862026A (zh) * | 2020-07-15 | 2020-10-30 | 南京图格医疗科技有限公司 | 一种基于深度学习的内窥医学图片去模糊方法 |
| CN111915525A (zh) * | 2020-08-05 | 2020-11-10 | 湖北工业大学 | 基于改进深度可分离生成对抗网络的低照度图像增强方法 |
| CN112053308A (zh) * | 2020-10-22 | 2020-12-08 | 润联软件系统(深圳)有限公司 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| MINYUAN YE等: "Scale-Iterative Upscaling Network for Image Deblurring", 《IEEE ACCESS》 * |
| SHIPENG XIE等: "Non-Blind Image Deblurring Method by the Total Variation Deep Network", 《IEEE ACCESS》 * |
| 伍楚丹: "基于深度全卷积网络的图像可变模糊盲去除", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 刘平等: "残差分离卷积神经网络的图像去运动模糊技术", 《计算机与数字工程》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022143812A1 (zh) * | 2020-12-29 | 2022-07-07 | 北京航空航天大学合肥创新研究院 | 一种图像复原方法、装置、图像复原设备及存储介质 |
| CN113034598A (zh) * | 2021-04-13 | 2021-06-25 | 中国计量大学 | 一种基于深度学习的无人机电力巡线方法 |
| CN113034598B (zh) * | 2021-04-13 | 2023-08-22 | 中国计量大学 | 一种基于深度学习的无人机电力巡线方法 |
| CN115205164A (zh) * | 2022-09-15 | 2022-10-18 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、视频处理方法、装置及设备 |
| CN115205164B (zh) * | 2022-09-15 | 2022-12-13 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、视频处理方法、装置及设备 |
| CN117058038A (zh) * | 2023-08-28 | 2023-11-14 | 北京航空航天大学 | 一种基于偶数卷积深度学习的衍射模糊图像修复方法 |
| CN117058038B (zh) * | 2023-08-28 | 2024-04-30 | 北京航空航天大学 | 一种基于偶数卷积深度学习的衍射模糊图像修复方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112614072B (zh) | 2022-05-17 |
| WO2022143812A1 (zh) | 2022-07-07 |
| US20240062343A1 (en) | 2024-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112614072B (zh) | 一种图像复原方法、装置、图像复原设备及存储介质 | |
| Lv et al. | Attention guided low-light image enhancement with a large scale low-light simulation dataset | |
| US11657274B2 (en) | Weakly-supervised semantic segmentation with self-guidance | |
| Wang et al. | Multi-scale dilated convolution of convolutional neural network for image denoising | |
| CN111507993A (zh) | 一种基于生成对抗网络的图像分割方法、装置及存储介质 | |
| CN112132847A (zh) | 模型训练方法、图像分割方法、装置、电子设备和介质 | |
| CN110136162B (zh) | 无人机视角遥感目标跟踪方法及装置 | |
| CN113034391B (zh) | 一种多模式融合水下图像增强方法、系统及应用 | |
| CN112200887B (zh) | 一种基于梯度感知的多聚焦图像融合方法 | |
| CN112419191A (zh) | 基于卷积神经网络的图像运动模糊去除方法 | |
| CN116547694A (zh) | 用于对模糊图像去模糊的方法和系统 | |
| Guo et al. | Reinforced depth-aware deep learning for single image dehazing | |
| CN112465709B (zh) | 一种图像增强方法、装置、存储介质及设备 | |
| Li et al. | An improved method for underwater image super-resolution and enhancement | |
| CN115053256A (zh) | 空间自适应图像滤波 | |
| CN115375909A (zh) | 一种图像处理方法及装置 | |
| CN113362409B (zh) | 图像上色及其模型训练方法、装置、电子设备、存储介质 | |
| CN116547696A (zh) | 一种图像增强方法和装置 | |
| Zhang et al. | GGADN: Guided generative adversarial dehazing network | |
| Li et al. | Color layers-Based progressive network for Single image dehazing | |
| CN117636341B (zh) | 一种多帧海藻显微图像增强识别方法及其模型搭建方法 | |
| Ono et al. | Improving Low-Light Image Recognition Performance Based on Image-adaptive Learnable Module | |
| Zhou et al. | UWYOLOX: An Underwater Object Detection Framework Based on Image Enhancement and Semi-supervised Learning | |
| Hou et al. | Error feedback denoising network | |
| Rabin et al. | Image Processing For LDR To HDR Image Conversion Using Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |