CN110310242A - 一种图像去模糊方法及装置、存储介质 - Google Patents
一种图像去模糊方法及装置、存储介质 Download PDFInfo
- Publication number
- CN110310242A CN110310242A CN201910570013.5A CN201910570013A CN110310242A CN 110310242 A CN110310242 A CN 110310242A CN 201910570013 A CN201910570013 A CN 201910570013A CN 110310242 A CN110310242 A CN 110310242A
- Authority
- CN
- China
- Prior art keywords
- image
- coding characteristic
- feature
- deblurring
- image coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 210000005036 nerve Anatomy 0.000 claims abstract description 47
- 238000013528 artificial neural network Methods 0.000 claims description 35
- 230000003287 optical effect Effects 0.000 claims description 29
- 230000003321 amplification Effects 0.000 claims description 19
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本实施例公开一种图像去模糊方法及装置、存储介质，该方法可以包括：获取至少两帧相邻图像的光流；基于至少两帧相邻图像的光流，获取第一神经网络的权重；利用第二神经网络对至少两帧相邻图像中的第一图像进行去模糊，得到与第一图像对应的第二图像，第一图像为至少两帧相邻图像中的任一图像，第二图像的清晰度高于第一图像，第二神经网络的编码器部分包括至少一个第一神经网络。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种图像去模糊方法及装置、存储介质。
背景技术
由于受到环境和成像设备(如相机的硬件条件)等影响，图像质量在成像过程中或多或少都会有一定的损失，图像模糊即为一种常见的图像降质现象，去除照片中的模糊区域成为了一项极有价值的研究。在动态场景中，由于被拍摄物体的运动和相机抖动同时存在，模糊具有空间移变性质，即动态场景中的模糊在空间上是变化的，这使得大量以模糊核空间不变性为前提的算法失效。传统的动态场景去模糊的算法，由于其运算时间过长，不具有应用价值，由此，提出了基于卷积神经网络进行图像去模糊的方法，基于卷积神经网络的图像去模糊方法由于其速度快、图像恢复质量高，瑕疵少的优点已成为现阶段主要的图像去模糊方法。
然而，现有的图像去模糊方法增加了将非模糊区域误检为模糊区域的风险，进而影响图像去模糊的准确性。
发明内容
本申请实施例提供一种图像去模糊方法及装置、存储介质，能够降低非模糊区域被误检测为模糊区域的风险，进而提高图像去模糊的准确性。
本申请的技术方案是这样实现的：
第一方面，本申请实施例提供一种图像去模糊方法，所述方法包括：
获取至少两帧相邻图像的光流；
基于所述至少两帧相邻图像的光流，获取第一神经网络的权重；
利用第二神经网络对所述至少两帧相邻图像中的第一图像进行去模糊，得到与所述第一图像对应的第二图像，所述第一图像为所述至少两帧相邻图像中的任一图像，所述第二图像的清晰度高于所述第一图像，所述第二神经网络的编码器部分包括至少一个所述第一神经网络。
这样，基于至少两帧相邻图像的光流，得到第一神经网络的权重，其中，至少一个第一神经网络处于第二神经网络的编码器部分，当利用第二神经网络对至少两帧相邻图像中的任一第一图像进行去模糊时，考虑了帧与帧之间的运动信息，能够提高检测为模糊区域的准确性，进而降低了非模糊区域被误检测为模糊区域的风险，提高了图像去模糊的准确性。
在上述方法中，所述光流包括所述至少两帧相邻图像之间的一个或多个尺度的运动特征；所述获取至少两帧相邻图像的光流，包括：
对所述至少两帧相邻图像进行编码得到一组图像编码特征，所述一组图像编码特征中包括多个尺度的图像编码特征；
在所述图像编码特征为所述一组图像编码特征中尺度最小的第一图像编码特征的情况下，基于所述第一图像编码特征获取第一运动特征；
在所述图像编码特征不为所述一组图像编码特征中尺度最小的第二图像编码特征的情况下，基于所述第二图像编码特征、与所述第二图像编码特征相邻尺度的第三图像编码特征以及与所述第二图像编码特征尺度相同的运动特征确定第二运动特征，所述光流包括所述第一运动特征以及所述第二运动特征。
这样，至少两帧相邻图像的光流中包括相邻帧图像之间的运动信息，利用包括了相邻两帧图像之间的运动信息，计算第一神经网络的权重，能够使得第二神经网络准确估计出模糊的方向。
在上述方法中，所述获取至少两帧相邻图像的光流，包括：
基于光流计算神经网络获取所述至少两帧相邻图像的光流。
这样，图像去模糊装置利用光流计算神经网络计算至少两帧相邻图像之间的光流，能够降低清晰区域误检测维模糊区域的概率，减少图像瑕疵。
在上述方法中，所述利用所述至少两帧相邻图像的光流，计算第一神经网络的权重，包括：
基于所述第二图像编码特征、与所述第二图像编码特征相邻尺度的第三图像编码特征以及与所述第二图像编码特征尺度相同的运动特征，进行特征计算得到所述第一神经网络的权重。
在上述方法中，所述利用第二神经网络对所述至少两帧相邻图像中的第一图像进行去模糊，得到与所述第一图像对应的第二图像，包括：
将所述第一图像经过至少一个所述第一神经网络计算得到所述第一图像的编码特征；
对所述第一图像的编码特征进行解码操作得到第二图像。
这样，将第一神经网络加入第二神经网络中的编码器部分，能够加深将特征复原成图像的神经网络的深度，减少第二图像的瑕疵，并提高图像的恢复质量。
在上述方法中，所述基于所述第一图像编码特征获取第一运动特征，包括：
对所述第一图像编码特征进行光流估计处理，得到第一运动信息；
对所述第一图像编码特征进行上采样，得到第一放大的特征；
将所述第一运动信息、所述第一放大的特征和与所述第一图像编码特征相邻尺度的第四图像编码特征组成所述第一运动特征。
在上述方法中，所述基于所述第二图像编码特征、与所述第二图像编码特征相邻尺度的第三图像编码特征以及与所述第二图像编码特征尺度相同的运动特征确定第二运动特征，包括：
对所述第二图像编码特征进行光流估计处理，得到与所述第二图像编码特征尺度相同的运动特征；
对所述第二图像编码特征进行上采样，得到第二放大的特征；
将所述第二放大的特征、所述第三图像编码特征和所述与所述第二图像编码特征尺度相同的运动特征，确定为所述第二运动特征。
在上述方法中，所述对所述第一图像的编码特征进行解码操作得到第二图像，包括：
将所述第一图像的编码特征中最小编码特征输入所述第二神经网络的解码器中，得到第一解码特征；
将所述第一解码特征和所述最小编码特征组成第一组合特征；
将所述第一组合特征输入所述第二神经网络的解码器中，得到第二解码特征；
将所述第二解码特征和所述第一图像的编码特征中的后一个编码特征组成第二组合特征，所述后一个编码特征为所述第一图像的编码特征中与所述最小编码特征相邻、且尺寸大于所述最小编码特征的特征；
直至得到所述第一图像的编码特征中最大编码特征对应的第三组合特征时，对所述第三组合特征输入所述第二神经网络的解码器中，得到所述第二图像。
在上述方法中，所述第一神经网络为RNN网络。
这样，图像去模糊装置基于至少两帧相邻图像的光流获得RNN的权重，并将RNN加入第二神经网络的编码部分，能够增强图像去模糊程度。
在上述方法中，所述获取至少两帧相邻图像的光流之前，所述方法还包括：
获取第一样本集，所述第一样本集中包括模糊样本图像和所述模糊样本图像对应的清晰样本图像；
将所述模糊样本图像输入所述第二神经网络中，得到所述模糊样本图像对应的去模糊样本图像；
基于所述去模糊样本图像和所述清晰样本图像，确定所述第二神经网络的第二损失参数，并基于所述第二损失参数调整所述第二神经网络，得到训练后的所述第二神经网络。
这样，利用模糊样本图像和清晰样本图像针对第二神经网络进行训练，利用训练后的第二神经网络进行图像去模糊，能够提高训练和去模糊的准确性。
在上述方法中，所述获取至少两帧相邻图像的光流之前，所述方法还包括：
获取至少两帧相邻样本图像集，所述至少两帧相邻样本图像集包括至少两帧相邻模糊样本图像与所述至少两帧相邻模糊样本图像对应的至少两帧相邻清晰样本图像；
将所述至少两帧相邻模糊样本图像输入所述光流计算神经网络和所述第二神经网络进行处理，得到与所述至少两帧相邻模糊样本图像对应的至少两帧相邻去模糊样本图像；
基于所述至少两帧相邻去模糊样本图像和所述至少两帧相邻清晰样本图像，确定所述光流计算神经网络和所述第二神经网络的第一损失参数，并基于所述第一损失参数调整所述光流计算神经网络和所述第二神经网络，得到训练后的所述光流计算神经网络和所述第二神经网络。
这样，利用至少两帧相邻模糊样本图像与至少两帧相邻清晰样本图像对光流计算神经网络和第二神经网络同时进行训练，利用训练后的光流计算神经网络计算第一神经网络的权重，并利用训练后的第二神经网络进行图像去模糊，能够提高训练速度，并提高图像去模糊的准确性。
第二方面，本申请实施例提供一种图像去模糊装置，所述图像去模糊装置包括：处理器、存储器及通信总线，所述处理器用于执行所述存储器中存储的运行程序，以实现以下步骤：
获取至少两帧相邻图像的光流；基于所述至少两帧相邻图像的光流，获取第一神经网络的权重；利用第二神经网络对所述至少两帧相邻图像中的第一图像进行去模糊，得到与所述第一图像对应的第二图像，所述第一图像为所述至少两帧相邻图像中的任一图像，所述第二图像的清晰度高于所述第一图像，所述第二神经网络的编码器部分包括至少一个所述第一神经网络。
在上述装置中，所述光流包括所述至少两帧相邻图像之间的一个或多个尺度的运动特征；
所述处理器，还用于对所述至少两帧相邻图像进行编码得到一组图像编码特征，所述一组图像编码特征中包括多个尺度的图像编码特征；在所述图像编码特征为所述一组图像编码特征中尺度最小的第一图像编码特征的情况下，基于所述第一图像编码特征获取第一运动特征；在所述图像编码特征不为所述一组图像编码特征中尺度最小的第二图像编码特征的情况下，基于所述第二图像编码特征、与所述第二图像编码特征相邻尺度的第三图像编码特征以及与所述第二图像编码特征尺度相同的运动特征确定第二运动特征，所述光流包括所述第一运动特征以及所述第二运动特征。
在上述装置中，所述处理器，还用于基于光流计算神经网络获取所述至少两帧相邻图像的光流。
在上述装置中，所述处理器，还用于基于所述第二图像编码特征、与所述第二图像编码特征相邻尺度的第三图像编码特征以及与所述第二图像编码特征尺度相同的运动特征，进行特征计算得到所述第一神经网络的权重。
在上述装置中，所述处理器，还用于将所述第一图像经过至少一个所述第一神经网络计算得到所述第一图像的编码特征；对所述第一图像的编码特征进行解码操作得到第二图像。
在上述装置中，所述处理器，还用于对所述第一图像编码特征进行光流估计处理，得到第一运动信息；对所述第一图像编码特征进行上采样，得到第一放大的特征；将所述第一运动信息、所述第一放大的特征和与所述第一图像编码特征相邻尺度的第四图像编码特征组成所述第一运动特征。
在上述装置中，所述处理器，还用于对所述第二图像编码特征进行光流估计处理，得到与所述第二图像编码特征尺度相同的运动特征；对所述第二图像编码特征进行上采样，得到第二放大的特征；将所述第二放大的特征、所述第三图像编码特征和所述与所述第二图像编码特征尺度相同的运动特征，确定为所述第二运动特征。
在上述装置中，所述处理器，还用于将所述第一图像的编码特征中最小编码特征输入所述第二神经网络的解码器中，得到第一解码特征；将所述第一解码特征和所述最小编码特征组成第一组合特征；将所述第一组合特征输入所述第二神经网络的解码器中，得到第二解码特征；将所述第二解码特征和所述第一图像的编码特征中的后一个编码特征组成第二组合特征，所述后一个编码特征为所述第一图像的编码特征中与所述最小编码特征相邻、且尺寸大于所述最小编码特征的特征；直至得到所述第一图像的编码特征中最大编码特征对应的第三组合特征时，对所述第三组合特征输入所述第二神经网络的解码器中，得到所述第二图像。
在上述装置中，所述第一神经网络为RNN网络。
在上述装置中，所述处理器，还用于获取第一样本集，所述第一样本集中包括模糊样本图像和所述模糊样本图像对应的清晰样本图像；将所述模糊样本图像输入所述第二神经网络中，得到所述模糊样本图像对应的去模糊样本图像；基于所述去模糊样本图像和所述清晰样本图像，确定所述第二神经网络的第二损失参数，并基于所述第二损失参数调整所述第二神经网络，得到训练后的所述第二神经网络。
在上述装置中，所述处理器，还用于获取至少两帧相邻样本图像集，所述至少两帧相邻样本图像集包括至少两帧相邻模糊样本图像与所述至少两帧相邻模糊样本图像对应的至少两帧相邻清晰样本图像；将所述至少两帧相邻模糊样本图像输入所述光流计算神经网络和所述第二神经网络进行处理，得到与所述至少两帧相邻模糊样本图像对应的至少两帧相邻去模糊样本图像；基于所述至少两帧相邻去模糊样本图像和所述至少两帧相邻清晰样本图像，确定所述光流计算神经网络和所述第二神经网络的第一损失参数，并基于所述第一损失参数调整所述光流计算神经网络和所述第二神经网络，得到训练后的所述光流计算神经网络和所述第二神经网络。
第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，应用于图像去模糊装置，该计算机程序被处理器执行时实现如上述任一项所述图像去模糊方法。
本申请实施例公开一种图像去模糊方法及装置、存储介质，该方法可以包括：获取至少两帧相邻图像的光流；基于至少两帧相邻图像的光流，获取第一神经网络的权重；利用第二神经网络对至少两帧相邻图像中的第一图像进行去模糊，得到与第一图像对应的第二图像，第一图像为至少两帧相邻图像中的任一图像，第二图像的清晰度高于第一图像，第二神经网络的编码器部分包括至少一个第一神经网络。采用上述方法实现方案，图像去模糊装置基于至少两帧相邻图像的光流，得到第一神经网络的权重，其中，至少一个第一神经网络处于第二神经网络的编码器部分，当利用第二神经网络对至少两帧相邻图像中的任一第一图像进行去模糊时，考虑了帧与帧之间的运动信息，进而能够提高检测为模糊区域的准确性，进而降低了非模糊区域被误检测为模糊区域的风险，提高了图像去模糊的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本实施例提供的一种图像去模糊方法的流程图；
图2为本实施例提供的一种示例性的图像去模糊的流程示意图；
图3为本实施例提供的一种图像去模糊装置的结构示意图。
具体实施方式
应当理解，此处描述的具体实施例仅仅用以解释本公开。并不用于限定本公开。
本实施例公开一种图像去模糊装置实现图像去模糊的方法，如图1所示，该方法可以包括：
S101、图像去模糊装置获取至少两帧相邻图像的光流。
本实施例公开的一种图像去模糊方法适用于图像去模糊装置对动态场景去模糊的场景下。
在一种可能的实现方式中，所述图像处理方法可以由终端设备或服务器等图像去模糊装置执行，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等，所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者，可通过服务器执行所述方法。
在一种可能的实施方式中，动态场景下拍摄的动态图像有多帧相邻图像组成，将动态图像输入图像去模糊装置中，图像去模糊装置从动态图像中获取到至少两帧相邻图像。
在实际应用中，图像去模糊装置从动态图像中依次获取两帧相邻图像。
在一种可能的实施方式中，在图像去模糊装置获取至少两帧相邻图像之前，图像去模糊装置可以对获取到的待去模糊图像进行预处理，之后得到至少两帧相邻图像，其中，预处理可以包括裁剪为图像去模糊装置使用的尺寸等操作，本实施例不做具体的限定。
在一种可能的实施方式中，光流包括至少两帧相邻图像之间的一个或多个尺度的运动特征，图像去模糊装置获取至少两帧相邻图像的光流的过程，包括：图像去模糊装置对至少两帧相邻图像进行编码得到一组图像编码特征，其中，一组图像编码特征中包括多个尺度的图像编码特征；在图像编码特征为一组图像编码特征中尺度最小的第一图像编码特征的情况下，图像去模糊装置基于第一图像编码特征获取第一运动特征；在图像编码特征不为一组图像编码特征中尺度最小的第二图像编码特征的情况下，图像去模糊装置基于第二图像编码特征、与第二图像编码特征相邻尺度的第三图像编码特征以及与第二图像编码特征尺度相同的运动特征确定第二运动特征，其中，光流包括第一运动特征以及第二运动特征。
需要说明的是，图像去模糊装置对至少两帧相邻图像进行编码，得到的一组图像编码特征中包括多个不同尺度的特征，且每个尺度的特征个数为至少一个；在实际应用中，一组图像编码特征中包括6个不同尺度的特征。
在一种可能的实施方式中，图像去模糊装置基于第一图像编码特征获取第一运动特征，包括：图像去模糊装置对第一图像编码特征进行光流估计处理，得到第一运动信息；图像去模糊装置对第一图像编码特征进行上采样，得到第一放大的特征；之后，图像去模糊装置将第一运动信息、第一放大的特征和与第一图像编码特征相邻尺度的第四图像编码特征组成第一运动特征。
在一种可能的实施方式中，图像去模糊装置基于第二图像编码特征、与第二图像编码特征相邻尺度的第三图像编码特征以及与第二图像编码特征尺度相同的运动特征确定第二运动特征，包括：图像去模糊装置对第二图像编码特征进行光流估计处理，得到与第二图像编码特征尺度相同的运动特征；图像去模糊装置对第二图像编码特征进行上采样，得到第二放大的特征；之后，图像去模糊装置将第二放大的特征、第三图像编码特征和与第二图像编码特征尺度相同的运动特征，确定为第二运动特征。
在一种可能的实施方式中，图像去模糊装置基于光流计算神经网络获取至少两帧相邻图像的光流；即，图像去模糊装置将至少两帧相邻图像输入光流计算神经网络中，得到至少两帧相邻图像的光流。
在实际应用中，图像去模糊装置依次获取动态图像中的两帧相邻图像，并将该两帧相邻图像输入光流计算神经网络中，计算该两帧相邻图像的光流。
在一种可能的实施方式中，光流计算神经网络包括流网编码器和流网解码器，其中流网编码器用于获取至少两帧相邻图像，并对至少两帧相邻图像进行编码，得到至少两帧相邻图像的一组图像编码特征；流网解码器用于计算出至少两帧相邻图像的光流。
S102、图像去模糊装置基于至少两帧相邻图像的光流，获取第一神经网络的权重。
当图像去模糊装置获取到至少两帧相邻图像的光流之后，图像去模糊装置基于至少两帧相邻图像的光流，获取第一神经网络的权重。
在一种可能的实施方式中，图像去模糊装置基于第二图像编码特征、与第二图像编码特征相邻尺度的第三图像编码特征以及与第二图像编码特征尺度相同的运动特征，进行特征计算得到第一神经网络的权重。
在一种可能的实施方式中，第一神经网络为循环神经网络(RNN，RecurrentNeural Network)等空间移变时间递归神经网络，具体的根据实际情况进行选择，本实施例不做具体的限定。
可以理解的是，图像去模糊装置基于至少两帧相邻图像的光流获得RNN的权重，并将RNN加入第二神经网络的编码部分，能够增强图像去模糊程度。
在一种可能的实施方式中，图像去模糊装置将添加了相应权重的第一神经网络设置在第二神经网络的编码器部分，能够提高图像的恢复质量。
S103、图像去模糊装置利用第二神经网络对至少两帧相邻图像中的第一图像进行去模糊，得到与第一图像对应的第二图像，第一图像为至少两帧相邻图像中的任一图像，第二图像的清晰度高于第一图像，第二神经网络的编码器部分包括至少一个第一神经网络。
当图像去模糊装置基于至少两帧相邻图像的光流，获取到第一神经网络的权重之后，图像去模糊装置利用第二神经网络对至少两帧相邻图像中的第一图像进行去模糊，得到与第一图像对应的第二图像，其中，第二神经网络的编码器部分包括至少一个第一神经网络。
在一种可能的实施方式中，图像去模糊装置将第一图像经过至少一个第一神经网络计算得到第一图像的编码特征；之后，图像去模糊装置对第一图像的编码特征进行解码操作得到第二图像。
在一种可能的实施方式中，图像去模糊装置对第一图像的编码特征进行解码操作得到第二图像，包括：图像去模糊装置将第一图像的编码特征中最小编码特征输入第二神经网络的解码器中，得到第一解码特征；并将第一解码特征和最小编码特征组成第一组合特征；图像去模糊装置将第一组合特征输入第二神经网络的解码器中，得到第二解码特征；并将第二解码特征和第一图像的编码特征中的后一个编码特征组成第二组合特征，其中，后一个编码特征为第一图像的编码特征中与最小编码特征相邻、且尺寸大于最小编码特征的特征；直至图像去模糊装置得到第一图像的编码特征中最大编码特征对应的第三组合特征时，图像去模糊装置对第三组合特征输入第二神经网络的解码器中，得到第二图像。图像去模糊装置可以依次对至少两帧相邻图像进行上述去模糊过程，以完成对动态场景实现图像去模糊的过程。
在一种可能的实施方式中，图像去模糊装置在利用第二神经网络，依次对至少两帧相邻图像进行去模糊时，采用的是U-Net网络结构，其中，U-Net网络结构包括收缩路径和扩展路径两种路径，本实施例中U-Net的收缩路径即为编码器阶段，采用的是卷积神经网络，扩展路径即为解码器阶段，用于对至少两组特征依次进行解码，得到至少两帧清晰图像。
示例性的，图2为图像去模糊装置对动态场景中的图像进行去模糊的示例图，该图像去模糊装置包括光流计算神经网络和第二神经网络，其中，光流计算神经网络包括光流编码器部分和光流解码器部分，光流编码器部分由一组卷积层组成，光流解码器部分包括上采样层、光流估计层和RNN权重提取层，第二神经网络包括去模糊编码部分和去模糊解码部分，去模糊编码部分包括至少一组尺度编码网络，每一个尺度编码网络包括一个卷积层和一个RNN，去模糊解码部分由卷积层组成。
在处理过程中，模糊图像1和模糊图像2为相邻两帧模糊图像，将模糊图像1和模糊图像2输入光流编码器部分，利用一组卷积层将模糊图像1和模糊图像2处理成一组多尺度图像编码特征，该一组多尺度图像编码特征按照尺度从小到大的顺序进行排列，之后，按照尺度从小到大的顺序，在光流解码器部分依次获取一组多尺度图像编码特征的光流，具体的，先将一组多尺度图像编码特征中尺度最小的图像编码特征1输入光流估计层，得到运动信息1，将图像编码特征1输入上采样层，得到放大的特征1，将运动信息1、放大的特征1和与图像编码特征1相邻尺度的图像编码特征2组成运动特征1；再将图像编码特征2输入光流估计层，得到与图像编码特征2尺度相同的运动信息2，将图像编码特征2输入上采样层，得到放大的特征2，将运动信息2、放大的特征2和与图像编码特征2相邻尺度的运动特征1组成运动特征2，依次类推，直至将一组多尺度图像编码特征全部输入光流解码器部分，得到模糊图像1和模糊图像2的一组运动特征。之后，将一组运动特征输入RNN权重提取层，得到至少一个RNN对应的至少一个RNN权重，其中，一个RNN对应一个RNN权重。
在得到至少一个RNN对应的至少一个RNN权重之后，可将至少一个RNN权重添加至去模糊编码部分中对应的至少一个RNN，将模糊图像1输入至少一组尺度编码网络，在每一组尺度编码网络中依次利用一个卷积层和一个RNN得到一个尺寸特征，直至得到模糊图像1对应的一组去模糊编码特征，该一组去模糊编码特征按照从小到大的顺序排列，之后，将一组去模糊编码特征中最小的去模糊编码特征1输入去模糊解码部分的卷积层中，得到解码特征1，将解码特征1和去模糊编码特征2组成组合特征1，并将组合特征1输入去模糊解码部分的卷积层中，得到解码特征2，依次类推，直至将一组去模糊编码特征中最大的去模糊编码特征对应的组合特征时，将其输入去模糊解码部分的卷积层中，得到模糊图像对应的清晰图像1。
在应用上述神经网络之前，可对该神经网络进行训练。
在一种可能的实施方式中，图像去模糊装置对第二神经网络进行模型训练的过程为：图像去模糊装置获取第一样本集，其中，第一样本集中包括模糊样本图像和模糊样本图像对应的清晰样本图像；之后，图像去模糊装置将模糊样本图像输入第二神经网络中，得到模糊样本图像对应的去模糊样本图像；图像去模糊装置基于去模糊样本图像和清晰样本图像，确定第二神经网络的第二损失参数，并基于第二损失参数调整第二神经网络，得到训练后的第二神经网络。
举例来说，在训练过程中，任意选取第一样本集中的一个模糊样本图像，将该模糊样本图像输入第二神经网络的编码部分，依次利用至少一个卷积层和至少一个RNN网络，得到该模糊样本图像的一组编码特征，之后，对该一组编码特征进行解码，得到模糊样本图像对应的去模糊样本图像，并将去模糊样本图像和清晰样本图像输入公式(1)中，计算出第二损失函数。
在公式(1)中，LC表示第二损失函数；I表示去模糊样本图像；Igt表示清晰样本图像。本公开对采用的具体损失函数不作限制。
在一种可能的实施方式中，图像去模糊装置对光流计算神经网络和第二神经网络进行模型训练的过程为：图像去模糊装置获取至少两帧相邻样本图像集，其中至少两帧相邻样本图像集包括至少两帧相邻模糊样本图像与至少两帧相邻模糊样本图像对应的至少两帧相邻清晰样本图像；之后，图像去模糊装置将至少两帧相邻模糊样本图像输入光流计算神经网络和第二神经网络进行处理，得到与至少两帧相邻模糊样本图像对应的至少两帧相邻去模糊样本图像；图像去模糊装置基于至少两帧相邻去模糊样本图像和至少两帧相邻清晰样本图像，确定光流计算神经网络和第二神经网络的第一损失参数，并基于第一损失参数调整光流计算神经网络和第二神经网络，得到训练后的光流计算神经网络和第二神经网络。以供图像去模糊装置利用训练后的光流计算神经网络和第二神经网络对动态场景的图像进行去模糊的过程。
举例来说，在训练过程中，任意选取第一样本集中的相邻两帧第一模糊图像和第二模糊图像，将第一模糊图像和第二模糊图像输入光流编码器中，分别对第一模糊图像和第二模糊图像进行卷积计算，得到第一模糊图像对应的s个尺度图像编码特征和第二模糊图像对应的s个尺度图像编码特征之后，将和输入光流解码器中，利用上采样层和光流估计层，得到第一模糊图像和第二模糊图像的光流，并将第一模糊图像和第二模糊图的光流输入RNN权重提取层，得到第二神经网络的编码部分中至少一个RNN的权重。
将第一模糊样本图像输入第二神经网络的编码部分，依次利用至少一个卷积层和至少一个RNN，得到第一模糊样本图像的一组编码特征，之后，对该一组编码特征进行解码，得到第一模糊样本图像对应的第一去模糊样本图像并将第一去模糊样本图像和第一清晰样本图像输入公式(2)中，计算出第一损失函数。
其中，n为第一样本集的数量；s为尺度的数量；和表示第s尺度上的第一模糊图像和第二模糊图像；表示第n幅图像在第s尺度上的估计光流；W表示在给定估计光流的情况下，将第二模糊图像扭曲成第一模糊图像的函数。
需要说明的是，第一损失参数不仅取决于估计的去模糊样本图像，还取决于光流，由于第一样本集中没有地面实况光流，因此以无监督的方式约束光流，即根据估计的光流量将第二模糊输入约束到第一模糊输入中。
可以理解的是，图像去模糊装置基于至少两帧相邻图像的光流，得到第一神经网络的权重，其中，至少一个第一神经网络处于第二神经网络的编码器部分，当利用第二神经网络对至少两帧相邻图像中的任一第一图像进行去模糊时，考虑了帧与帧之间的运动信息，进而能够提高检测为模糊区域的准确性，进而降低了非模糊区域被误检测为模糊区域的风险，提高了图像去模糊的准确性。
实施例二
图3为本实施例提出的图像去模糊装置的组成结构示意图一，在实际应用中，基于实施例一的同一公开构思下，如图3所示，本实施例的图像显示设备1包括：处理器10、存储器11、及通信总线12。在具体的实施例的过程中，上述处理器10可以为特定用途集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，DigitalSignal Processor)、数字信号处理图像显示设备(DSPD，Digital Signal ProcessingDevice)、可编程逻辑图像显示设备(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，Field Programmable Gate Array)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
在本公开的实施例中，上述通信总线12用于实现处理器10和存储器11之间的连接通信；上述处理器10用于执行存储器11中存储的运行程序，以实现以下步骤：
获取至少两帧相邻图像的光流；基于所述至少两帧相邻图像的光流，获取第一神经网络的权重；利用第二神经网络对所述至少两帧相邻图像中的第一图像进行去模糊，得到与所述第一图像对应的第二图像，所述第一图像为所述至少两帧相邻图像中的任一图像，所述第二图像的清晰度高于所述第一图像，所述第二神经网络的编码器部分包括至少一个所述第一神经网络。
在本实施例中，进一步地，所述光流包括所述至少两帧相邻图像之间的一个或多个尺度的运动特征；上述处理器10，还用于对所述至少两帧相邻图像进行编码得到一组图像编码特征，所述一组图像编码特征中包括多个尺度的图像编码特征；在所述图像编码特征为所述一组图像编码特征中尺度最小的第一图像编码特征的情况下，基于所述第一图像编码特征获取第一运动特征；在所述图像编码特征不为所述一组图像编码特征中尺度最小的第二图像编码特征的情况下，基于所述第二图像编码特征、与所述第二图像编码特征相邻尺度的第三图像编码特征以及与所述第二图像编码特征尺度相同的运动特征确定第二运动特征，所述光流包括所述第一运动特征以及所述第二运动特征。
在本实施例中，进一步地，上述处理器10，还用于基于光流计算神经网络获取所述至少两帧相邻图像的光流。
在本实施例中，进一步地，上述处理器10，还用于基于所述第二图像编码特征、与所述第二图像编码特征相邻尺度的第三图像编码特征以及与所述第二图像编码特征尺度相同的运动特征，进行特征计算得到所述第一神经网络的权重。
在本实施例中，进一步地，上述处理器10，还用于将所述第一图像经过至少一个所述第一神经网络计算得到所述第一图像的编码特征；对所述第一图像的编码特征进行解码操作得到第二图像。
在本实施例中，进一步地，上述处理器10，还用于对所述第一图像编码特征进行光流估计处理，得到第一运动信息；对所述第一图像编码特征进行上采样，得到第一放大的特征；将所述第一运动信息、所述第一放大的特征和与所述第一图像编码特征相邻尺度的第四图像编码特征组成所述第一运动特征。
在本实施例中，进一步地，上述处理器10，还用于对所述第二图像编码特征进行光流估计处理，得到与所述第二图像编码特征尺度相同的运动特征；对所述第二图像编码特征进行上采样，得到第二放大的特征；将所述第二放大的特征、所述第三图像编码特征和所述与所述第二图像编码特征尺度相同的运动特征，确定为所述第二运动特征。
在本实施例中，进一步地，上述处理器10，还用于将所述第一图像的编码特征中最小编码特征输入所述第二神经网络的解码器中，得到第一解码特征；将所述第一解码特征和所述最小编码特征组成第一组合特征；将所述第一组合特征输入所述第二神经网络的解码器中，得到第二解码特征；将所述第二解码特征和所述第一图像的编码特征中的后一个编码特征组成第二组合特征，所述后一个编码特征为所述第一图像的编码特征中与所述最小编码特征相邻、且尺寸大于所述最小编码特征的特征；直至得到所述第一图像的编码特征中最大编码特征对应的第三组合特征时，对所述第三组合特征输入所述第二神经网络的解码器中，得到所述第二图像。
在本实施例中，进一步地，所述第一神经网络为RNN网络。
在本实施例中，进一步地，上述处理器10，还用于获取第一样本集，所述第一样本集中包括模糊样本图像和所述模糊样本图像对应的清晰样本图像；将所述模糊样本图像输入所述第二神经网络中，得到所述模糊样本图像对应的去模糊样本图像；基于所述去模糊样本图像和所述清晰样本图像，确定所述第二神经网络的第二损失参数，并基于所述第二损失参数调整所述第二神经网络，得到训练后的所述第二神经网络。
在本实施例中，进一步地，上述处理器10，还用于获取至少两帧相邻样本图像集，所述至少两帧相邻样本图像集包括至少两帧相邻模糊样本图像与所述至少两帧相邻模糊样本图像对应的至少两帧相邻清晰样本图像；将所述至少两帧相邻模糊样本图像输入所述光流计算神经网络和所述第二神经网络进行处理，得到与所述至少两帧相邻模糊样本图像对应的至少两帧相邻去模糊样本图像；基于所述至少两帧相邻去模糊样本图像和所述至少两帧相邻清晰样本图像，确定所述光流计算神经网络和所述第二神经网络的第一损失参数，并基于所述第一损失参数调整所述光流计算神经网络和所述第二神经网络，得到训练后的所述光流计算神经网络和所述第二神经网络。
本实施例提出的图像去模糊装置，获取至少两帧相邻图像的光流；基于至少两帧相邻图像的光流，获取第一神经网络的权重；利用第二神经网络对至少两帧相邻图像中的第一图像进行去模糊，得到与第一图像对应的第二图像，第一图像为至少两帧相邻图像中的任一图像，第二图像的清晰度高于第一图像，第二神经网络的编码器部分包括至少一个第一神经网络。由此可见，本实施例提出的图像去模糊装置基于至少两帧相邻图像的光流，得到第一神经网络的权重，其中，至少一个第一神经网络处于第二神经网络的编码器部分，当利用第二神经网络对至少两帧相邻图像中的任一第一图像进行去模糊时，考虑了帧与帧之间的运动信息，进而能够提高检测为模糊区域的准确性，进而降低了非模糊区域被误检测为模糊区域的风险，提高了图像去模糊的准确性。
本实施例提供一种计算机可读存储介质，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于图像去模糊装置中，该程序被处理器执行时实现如实施例一的方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台图像显示设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。
Claims (10)
1.一种图像去模糊方法，其特征在于，所述方法包括：
获取至少两帧相邻图像的光流；
基于所述至少两帧相邻图像的光流，获取第一神经网络的权重；
利用第二神经网络对所述至少两帧相邻图像中的第一图像进行去模糊，得到与所述第一图像对应的第二图像，所述第一图像为所述至少两帧相邻图像中的任一图像，所述第二图像的清晰度高于所述第一图像，所述第二神经网络的编码器部分包括至少一个所述第一神经网络。
2.根据权利要求1所述的方法，其特征在于，所述光流包括所述至少两帧相邻图像之间的一个或多个尺度的运动特征；所述获取至少两帧相邻图像的光流，包括：
对所述至少两帧相邻图像进行编码得到一组图像编码特征，所述一组图像编码特征中包括多个尺度的图像编码特征；
在所述图像编码特征为所述一组图像编码特征中尺度最小的第一图像编码特征的情况下，基于所述第一图像编码特征获取第一运动特征；
在所述图像编码特征不为所述一组图像编码特征中尺度最小的第二图像编码特征的情况下，基于所述第二图像编码特征、与所述第二图像编码特征相邻尺度的第三图像编码特征以及与所述第二图像编码特征尺度相同的运动特征确定第二运动特征，所述光流包括所述第一运动特征以及所述第二运动特征。
3.根据权利要求1或2所述的方法，其特征在于，所述获取至少两帧相邻图像的光流，包括：
基于光流计算神经网络获取所述至少两帧相邻图像的光流。
4.根据权利要求1所述的方法，其特征在于，所述基于所述至少两帧相邻图像的光流，获取第一神经网络的权重，包括：
基于第二图像编码特征、与所述第二图像编码特征相邻尺度的第三图像编码特征以及与所述第二图像编码特征尺度相同的运动特征，进行特征计算得到所述第一神经网络的权重。
5.根据权利要求1所述的方法，其特征在于，所述利用第二神经网络对所述至少两帧相邻图像中的第一图像进行去模糊，得到与所述第一图像对应的第二图像，包括：
将所述第一图像经过至少一个所述第一神经网络计算得到所述第一图像的编码特征；
对所述第一图像的编码特征进行解码操作得到第二图像。
6.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像编码特征获取第一运动特征，包括：
对所述第一图像编码特征进行光流估计处理，得到第一运动信息；
对所述第一图像编码特征进行上采样，得到第一放大的特征；
将所述第一运动信息、所述第一放大的特征和与所述第一图像编码特征相邻尺度的第四图像编码特征组成所述第一运动特征。
7.根据权利要求2所述的方法，其特征在于，所述基于所述第二图像编码特征、与所述第二图像编码特征相邻尺度的第三图像编码特征以及与所述第二图像编码特征尺度相同的运动特征确定第二运动特征，包括：
对所述第二图像编码特征进行光流估计处理，得到与所述第二图像编码特征尺度相同的运动特征；
对所述第二图像编码特征进行上采样，得到第二放大的特征；
将所述第二放大的特征、所述第三图像编码特征和所述与所述第二图像编码特征尺度相同的运动特征，确定为所述第二运动特征。
8.根据权利要求5所述的方法，其特征在于，所述对所述第一图像的编码特征进行解码操作得到第二图像，包括：
将所述第一图像的编码特征中最小编码特征输入所述第二神经网络的解码器中，得到第一解码特征；
将所述第一解码特征和所述最小编码特征组成第一组合特征；
将所述第一组合特征输入所述第二神经网络的解码器中，得到第二解码特征；
将所述第二解码特征和所述第一图像的编码特征中的后一个编码特征组成第二组合特征，所述后一个编码特征为所述第一图像的编码特征中与所述最小编码特征相邻、且尺寸大于所述最小编码特征的特征；
直至得到所述第一图像的编码特征中最大编码特征对应的第三组合特征时，对所述第三组合特征输入所述第二神经网络的解码器中，得到所述第二图像。
9.一种图像去模糊装置，其特征在于，所述图像去模糊装置包括：处理器、存储器及通信总线，所述处理器用于执行所述存储器中存储的运行程序，以实现以下步骤：
获取至少两帧相邻图像的光流；基于所述至少两帧相邻图像的光流，获取第一神经网络的权重；利用第二神经网络对所述至少两帧相邻图像中的第一图像进行去模糊，得到与所述第一图像对应的第二图像，所述第一图像为所述至少两帧相邻图像中的任一图像，所述第二图像的清晰度高于所述第一图像，所述第二神经网络的编码器部分包括至少一个所述第一神经网络。
10.一种计算机可读存储介质，其上存储有计算机程序，应用于图像去模糊装置，其特征在于，该计算机程序被处理器执行时实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910570013.5A CN110310242B (zh) | 2019-06-27 | 2019-06-27 | 一种图像去模糊方法及装置、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910570013.5A CN110310242B (zh) | 2019-06-27 | 2019-06-27 | 一种图像去模糊方法及装置、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110310242A true CN110310242A (zh) | 2019-10-08 |
| CN110310242B CN110310242B (zh) | 2022-04-15 |
Family
ID=68077072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910570013.5A Active CN110310242B (zh) | 2019-06-27 | 2019-06-27 | 一种图像去模糊方法及装置、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110310242B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008939A (zh) * | 2019-11-27 | 2020-04-14 | 温州大学 | 一种基于可控特征空间的神经网络视频去模糊方法 |
| TWI736179B (zh) * | 2019-10-30 | 2021-08-11 | 大陸商北京市商湯科技開發有限公司 | 圖像處理方法、電子設備和電腦可讀儲存介質 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101406041A (zh) * | 2006-05-08 | 2009-04-08 | 三菱电机株式会社 | 减少场景图像模糊的方法和场景图像去模糊方法 |
| US8537278B1 (en) * | 2007-02-26 | 2013-09-17 | MotionDSP, Inc. | Enhancing the resolution and quality of sequential digital images |
| CN107103614A (zh) * | 2017-04-12 | 2017-08-29 | 合肥工业大学 | 基于层次独立成分编码的运动异常检测方法 |
| US20180293496A1 (en) * | 2017-04-06 | 2018-10-11 | Pixar | Denoising monte carlo renderings using progressive neural networks |
| CN109086673A (zh) * | 2018-07-05 | 2018-12-25 | 燕山大学 | 一种基于人群密度和行人速度的人群安全程度评估方法 |
| CN109379550A (zh) * | 2018-09-12 | 2019-02-22 | 上海交通大学 | 基于卷积神经网络的视频帧率上变换方法及系统 |
| CN109711316A (zh) * | 2018-12-21 | 2019-05-03 | 广东工业大学 | 一种行人重识别方法、装置、设备及存储介质 |
| CN109919874A (zh) * | 2019-03-07 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
-
2019
- 2019-06-27 CN CN201910570013.5A patent/CN110310242B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101406041A (zh) * | 2006-05-08 | 2009-04-08 | 三菱电机株式会社 | 减少场景图像模糊的方法和场景图像去模糊方法 |
| US8537278B1 (en) * | 2007-02-26 | 2013-09-17 | MotionDSP, Inc. | Enhancing the resolution and quality of sequential digital images |
| US20180293496A1 (en) * | 2017-04-06 | 2018-10-11 | Pixar | Denoising monte carlo renderings using progressive neural networks |
| CN107103614A (zh) * | 2017-04-12 | 2017-08-29 | 合肥工业大学 | 基于层次独立成分编码的运动异常检测方法 |
| CN109086673A (zh) * | 2018-07-05 | 2018-12-25 | 燕山大学 | 一种基于人群密度和行人速度的人群安全程度评估方法 |
| CN109379550A (zh) * | 2018-09-12 | 2019-02-22 | 上海交通大学 | 基于卷积神经网络的视频帧率上变换方法及系统 |
| CN109711316A (zh) * | 2018-12-21 | 2019-05-03 | 广东工业大学 | 一种行人重识别方法、装置、设备及存储介质 |
| CN109919874A (zh) * | 2019-03-07 | 2019-06-21 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| TAE HYUN KIM ETC.: "Dynamic Video Deblurring Using a Locally Adaptive Blur Model", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 赵跃进等: "双向时域特征流盲去运动模糊方法", 《数据采集与处理》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI736179B (zh) * | 2019-10-30 | 2021-08-11 | 大陸商北京市商湯科技開發有限公司 | 圖像處理方法、電子設備和電腦可讀儲存介質 |
| CN111008939A (zh) * | 2019-11-27 | 2020-04-14 | 温州大学 | 一种基于可控特征空间的神经网络视频去模糊方法 |
| CN111008939B (zh) * | 2019-11-27 | 2022-04-05 | 温州大学 | 一种基于可控特征空间的神经网络视频去模糊方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110310242B (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109858461B (zh) | 一种密集人群计数的方法、装置、设备以及存储介质 | |
| CN110232394B (zh) | 一种多尺度图像语义分割方法 | |
| CN111275626B (zh) | 一种基于模糊度的视频去模糊方法、装置及设备 | |
| CN110324664B (zh) | 一种基于神经网络的视频补帧方法及其模型的训练方法 | |
| Yu et al. | A unified learning framework for single image super-resolution | |
| CN108596841B (zh) | 一种并行实现图像超分辨率及去模糊的方法 | |
| CN110490082B (zh) | 一种有效融合神经网络特征的道路场景语义分割方法 | |
| CN108846820A (zh) | 一种基于尺度递归网络的深度图像去模糊方法 | |
| TWI770432B (zh) | 圖像復原方法、電子設備、儲存介質 | |
| CN112053308B (zh) | 一种图像去模糊方法、装置、计算机设备及存储介质 | |
| Nah et al. | Ntire 2020 challenge on image and video deblurring | |
| CN112950581A (zh) | 质量评估方法、装置和电子设备 | |
| CN109816659B (zh) | 图像分割方法、装置及系统 | |
| CN110310242A (zh) | 一种图像去模糊方法及装置、存储介质 | |
| CN107749987A (zh) | 一种基于块运动估计的数字视频稳像方法 | |
| CN109919110A (zh) | 视频关注区域检测方法、装置及设备 | |
| WO2016127271A1 (en) | An apparatus and a method for reducing compression artifacts of a lossy-compressed image | |
| CN113658040A (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
| CN113191318A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN110942436A (zh) | 一种基于图像质量评价的图像去模糊方法 | |
| CN111325671B (zh) | 网络训练方法、装置、图像处理方法及电子设备 | |
| CN113919444B (zh) | 目标检测网络的训练方法、目标检测方法及装置 | |
| CN114024944B (zh) | 媒体内容植入方法、装置、电子设备及存储介质 | |
| CN113822287B (zh) | 一种图像处理方法、系统、设备以及介质 | |
| CN110782398B (zh) | 图像处理方法、生成式对抗网络系统和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |