CN111815536B - 一种基于轮廓加强策略的运动模糊修复方法 - Google Patents

一种基于轮廓加强策略的运动模糊修复方法 Download PDF

Info

Publication number
CN111815536B
CN111815536B CN202010678374.4A CN202010678374A CN111815536B CN 111815536 B CN111815536 B CN 111815536B CN 202010678374 A CN202010678374 A CN 202010678374A CN 111815536 B CN111815536 B CN 111815536B
Authority
CN
China
Prior art keywords
image
edge
sharp edge
repair
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010678374.4A
Other languages
English (en)
Other versions
CN111815536A (zh
Inventor
罗光春
张栗粽
田玲
陈爱国
谢垠盈
刘哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010678374.4A priority Critical patent/CN111815536B/zh
Publication of CN111815536A publication Critical patent/CN111815536A/zh
Application granted granted Critical
Publication of CN111815536B publication Critical patent/CN111815536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Abstract

本发明公开了一种基于轮廓加强策略的运动模糊修复方法，涉及图像处理技术领域，该方法包括以下步骤：(1)将原始模糊图进行编码，经过修复网络的微调去除噪声信息，最后使用解码器将清晰的轮廓图恢复出来；使用Sober算子及Canny算子分别对图像进行轮廓提取，并与前述解码器恢复的轮廓组成序列，使用LSTM对图像轮廓进行进一步的修复提取，最终生成锐边；(2)将原始模糊图和锐边分别进行采样编码，将尺寸相同的图编码及锐边编码一一配对，输出图编码及锐边编码对；(3)使用多尺度修复框架进行潜在清晰图生成；本发明能够提取出存在较严重运动模糊图像中的锐边，使生成的锐边有效地辅助多尺度框架对运动模糊进行去除，有效地提高运动模糊去除的效率。

Description

一种基于轮廓加强策略的运动模糊修复方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于轮廓加强策略的运动模糊修复方法。
背景技术
在图像的模糊修复中存在边缘不清晰的问题，为了解决此问题，研究者们使用了各种方法，包含传统方法及深度学习方法。
在通过传统方法的恢复策略中，为了修复出带有清晰轮廓的图像，研究者们做了各种各样的尝试；Zhou Y，Komodakis N及Liang Chen等人基于最大后验估计对图像进行了修复；Liuge Yang，Hui Ji等人通过最大化变分期望对运动模糊进行边缘选择；Chang C，WuJ，Chen K等人通过轮廓还原及双边滤波的方法去除运动模糊；然而它们要么对于非高斯噪声修复效果欠佳，要么无法处理复杂轨迹运动模糊。另一些学者基于对模糊核的估计对图像进行修复，Cai C，Meng H，Zhu Q等人为了获得准确的模糊核，将图像的边缘信息分为强边缘及弱边缘，他们使用已有的边缘检测技术获取图像的强边缘，并用三滤波器的方法抑制噪声以处理弱边缘部分，但是该框架在非一致性模糊场景下效果较差；Yue T等人改进了模糊核功率谱估计方法，从而消除了结构图像边缘的负面影响，通过有效融合边缘和功率谱信息的混合核估计方法提高了模糊核估计的准确度，从而提高图像模糊修复的效果；然而，并不是所有的模糊核都是可逆的，因此，通过核估计的方法去除图像中的运动模糊效果不稳定。
随着深度学习的出现，一部分研究者们将神经网络应用于需要提升轮廓清晰的模糊修复场景并取得了较好的效果，一部分研究者在损失函数中加入与边缘锐化程度有关的惩罚，如梯度约束；然而，直接加入特定的损失函数又是会导致内容修复的不稳定，因为在训练网络是内容损失与边缘损失会相互影响，导致叠加的误差可能还不如单方面考虑的误差训练效果好，从而降低训练效果；为了解决这一问题，S.Zheng，Z.Zhu等人提出可以先对图像的轮廓进行修复，他们使用Canny算子和Sober算子从模糊图中提取轮廓，然后基于清晰图的轮廓对图像的边缘信息进行修复，虽然他们的框架在去除高斯噪声的场景下取得了极好的效果，但是在复杂轨迹运动模糊的场景下无法直接使用文中所提方法进行轮廓生成，因为轮廓信息与噪声信号混杂较为严重，所以直接使用现有的轮廓提取算子无法提取出足够的轮廓信息。
为解决上述问题，本发明提出一种改进了的去模糊框架，以恢复出具有较清晰轮廓的图像。
发明内容
本发明的目的在于：提供一种基于轮廓加强策略的运动模糊修复方法，能够提取出存在较严重运动模糊图像中的锐边，使生成的锐边有效地辅助多尺度框架对运动模糊进行去除，有效地提高运动模糊去除的效率。
本发明采用的技术方案如下：
为实现上述目的，本发明提供一种基于轮廓加强策略的运动模糊修复方法，包括以下步骤：
S1：锐边生成
将原始模糊图进行编码，经过修复网络的微调去除噪声信息，最后使用解码器将清晰的轮廓图恢复出来；
使用Sober算子及Canny算子分别对图像进行轮廓提取，并与前述解码器恢复的轮廓组成序列，使用LSTM对图像轮廓进行进一步的修复提取，最终生成锐边；
S2：多尺度图像锐边对生成
将原始模糊图和锐边分别进行采样编码，将尺寸相同的图编码及锐边编码一一配对，输出图编码及锐边编码对；
S3：潜在清晰图生成
使用多尺度修复框架进行潜在清晰图生成。
作为优选，所述步骤S1中，去除噪声使用残差块。
作为优选，所述步骤S1中，编码时，编码器使用VGG16预训练模型的最后一层卷积输出作为图像特征编码。
作为优选，所述步骤S2具体为：
进行一次下采样编码及二次下采样编码并且配对，输出为三个二元组：二次下采样图像锐边编码对<L1_Img，L1_Edge>，一次下采样图像锐边编码对<L2_Img，L2_Edge>和无下采样图像锐边编码对<L3_Img，L3_Edge>。
作为优选，所述步骤S3具体为：
二次采样修复：将<L1_Img，L1_Edge>输入生成器生成第一张修复图进行一次上采样得到二次采样的修复图L1_Deblur；
一次采样修复：将L1_Deblur与<L2_Img，L2_Edge>结合生成三元组<L1_Deblur，L2_Img，L2_Edge>输入生成器生成第二张修复图，同时进行一次上采样得到二次采样的修复图L2_Deblur；
原始维度修复：将L2_Deblur与<L3_Img，L3_Edge>结合生成三元组<L2_Deblur，L3_Img，L3_Edge>输入生成器生成最终修复图L3_Deblur。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明通过使用Sober提取出的轮廓，Canny提取出来的轮廓及编解码器修复出的轮廓组成序列，再使用LSTM对图像轮廓进行进一步的修复提取，最终生成锐边，这种方法可以提取出存在较严重运动模糊图像中的锐边，使生成的锐边有效地辅助多尺度框架对运动模糊进行去除。
2.本发明通过直接从原图对图像进行锐边生成，使得更多的有效信息在锐边提取过程中被使用到，同时，加入原始模糊图的边缘信息进一步的提高锐边提取的效果，通过这两步操作，可以高效地提取出存在运动模糊的图像的锐边，有效地提高运动模糊去除的效率。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是锐边获取框架示意图；
图2是实施例1中步骤S1得到的锐边图像；
图3是实施例1中步骤S2得到的图像对；
图4是多尺度修复框架示意图；
图5是总体修复框架示意图。
具体实施方式
下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
一种基于轮廓加强策略的运动模糊修复方法，包括以下步骤：
S1：锐边生成(锐边获取框架参阅图1)
S11：锐边信息获取
采用encoder-decoder框架，将原始模糊图blurImg进行编码，然后经过修复网络的微调去除噪声信息，最后使用decoder网络将潜在清晰的轮廓图恢复出来sharpEdgePre。
此处的编码器使用VGG16预训练模型的最后一层卷积输出作为图像特征编码，使用残差网络叠加上采样解码器的方式对图像信息进行处理并生成锐边。
编码信息中包含有由于抖动引起的图像的噪声信息，于是使用深度学习的方法将这些噪声信息过滤掉，使得解码器可以恢复出无噪的清晰轮廓图；由于物体的大小不定，且模糊的程度也不定，为了解决深层网络的梯度爆炸和梯度消失问题，所以在去噪部分使用了残差块；解码器主要实现的功能与编码器相反，本发明直接将解码器的框架设计成编码器的镜像结构。
S12：原始模糊图轮廓提取
使用Sober算子及Canny算子对图像进行轮廓提取。
S13：锐边再生成
将使用Sober提取出的轮廓，Canny提取出来的轮廓及编解码器修复出的轮廓组成序列，使用LSTM对图像轮廓进行进一步的修复提取，得到最终生成的锐边sharpEdge，如图2所示。
S2：多尺度图像锐边对生成
将原始模糊图blurImg和锐边sharpEdge分别进行采样编码，一次下采样编码及二次下采样编码并且配对，输出为三个二元组：二次下采样图像锐边编码对<L1_Img，L1_Edge>，一次下采样图像锐边编码对<L2_Img，L2_Edge>和无下采样图像锐边编码对<L3_Img，L3_Edge>。具体如图3所示，一行为一组图像对。
S3：潜在清晰图生成
使用多尺度修复框架进行潜在清晰图生成，多尺度修复框架如图4所示，图中，模块(a)对图像进行了多次采样，从较低的精度对图像进行恢复。在这一层，通过对图像进行较大程度的采样，丢弃大量的噪声信息，同时，使用图像自编码器对图像进行特征编码，保留下生成清晰图所需信息，这一层通过内容损失和图像清晰度判别器对图像的恢复效果进行评价，并以此来训练网络。判别器的设计参照WGAN。由于需要的是目标检测网络“觉得”清晰的图片，因此，需要重建出图像中物体可以被识别的特征。因此，本发明提出的基于注意力机制的多尺度修复框架基于VGG网络的特征图对内容损失进行设计。为计算内容损失，编码器先使用VGG的卷积模块提取出图像的特征图，然后根据这些特征图判断网络是否恢复出了目标检测网络所需要的特征。
模块(b)对图像进行了较轻微的采样，相对于模块(a)而言，从精度较高的维度，基于模块(a)的结果进行修复，得到二次修复的结果。最后通过相似的操作进行模块(b)和模块(c)之间的数据传输。并且在原图维度对输入模块(c)的数据进行修复。模块(c)的输出就是最终结果。
该框架的误差函数由判别器误差LD和内容误差γ*Lcontent组成，L＝LD+γ*Lcontent#
判别器误差LD是基于WGAN的误差来判断图像是否足够清晰，该部分误差如下式所示：LD＝D(Ytrue)*D(Ypred)#
其中，Ytrue指的是真实清晰图，Ypred指的是从模糊图恢复出的结果，D(·)表示判别器。内容误差则是使用的感知误差。感知误差基于VGG16前三层编码来计算的如下式所示：Lcontent＝mean(square(VGG(Ytrue)-VGG(Ypred)))#
这么设计是因为全连接层的计算需要消耗大量的硬件资源，而图像分类所需要的特征信息包含在了VGG的卷积层，因此使用VGG的前三层(也就是全部卷积层)来提取特征图。训练中，多尺度框架使用Adam优化器，初始学习率为0.0001，β1＝0.9，β2＝0.999。
S31：二次采样修复
使用将<L1_Img，L1_Edge>输入生成器Generater2in生成第一张修复图进行一次上采样得到二次采样的修复图L1_Deblur。
S32：一次采样修复
将L1_Deblur与<L2_Img，L2_Edge>结合生成三元组<L1_Deblur，L2_Img，L2_Edge>输入生成器Generater3in生成第二张修复图，同时进行一次上采样得到二次采样的修复图L2_Deblur。
S33：原始维度修复
将L2_Deblur与<L3_Img，L3_Edge>结合生成三元组<L2_Deblur，L3_Img，L3_Edgg>输入生成器Generater3in生成最终修复图L3_Deblur。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (3)

1.一种基于轮廓加强策略的运动模糊修复方法，其特征在于，包括以下步骤：
S1：锐边生成
将原始模糊图进行编码，经过修复网络的微调去除噪声信息，最后使用解码器将清晰的轮廓图恢复出来；
使用Sober算子及Canny算子分别对图像进行轮廓提取，并与前述解码器恢复的轮廓组成序列，使用LSTM对图像轮廓进行进一步的修复提取，最终生成锐边；
S2：多尺度图像锐边对生成
将原始模糊图和锐边分别进行采样编码，将尺寸相同的图编码及锐边编码一一配对，输出图编码及锐边编码对，具体为：
进行一次下采样编码及二次下采样编码并且配对，输出为三个二元组：二次下采样图像锐边编码对<L1_Img, L1_Edge>，一次下采样图像锐边编码对<L2_Img, L2_Edge>和无下采样图像锐边编码对<L3_Img, L3_Edge>；
S3：潜在清晰图生成
使用多尺度修复框架进行潜在清晰图生成：
二次采样修复：将<L1_Img, L1_Edge>输入生成器生成第一张修复图进行一次上采样得到二次采样的修复图L1_Deblur；
一次采样修复：将L1_Deblur与< L2_Img, L2_Edge>结合生成三元组<L1_Deblur, L2_Img, L2_Edge>输入生成器生成第二张修复图，同时进行一次上采样得到二次采样的修复图L2_Deblur；
原始维度修复：将L2_Deblur与< L3_Img, L3_Edge>结合生成三元组<L2_Deblur, L3_Img, L3_Edge>输入生成器生成最终修复图L3_Deblur。
2.根据权利要求1所述的一种基于轮廓加强策略的运动模糊修复方法，其特征在于，所述步骤S1中，去除噪声使用残差块。
3.根据权利要求1所述的一种基于轮廓加强策略的运动模糊修复方法，其特征在于，所述步骤S1中，编码时，编码器使用VGG16预训练模型的最后一层卷积输出作为图像特征编码。
CN202010678374.4A 2020-07-15 2020-07-15 一种基于轮廓加强策略的运动模糊修复方法 Active CN111815536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010678374.4A CN111815536B (zh) 2020-07-15 2020-07-15 一种基于轮廓加强策略的运动模糊修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010678374.4A CN111815536B (zh) 2020-07-15 2020-07-15 一种基于轮廓加强策略的运动模糊修复方法

Publications (2)

Publication Number Publication Date
CN111815536A CN111815536A (zh) 2020-10-23
CN111815536B true CN111815536B (zh) 2022-10-14

Family

ID=72865086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010678374.4A Active CN111815536B (zh) 2020-07-15 2020-07-15 一种基于轮廓加强策略的运动模糊修复方法

Country Status (1)

Country Link
CN (1) CN111815536B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436137A (zh) * 2021-03-12 2021-09-24 北京世纪好未来教育科技有限公司 一种图像清晰度识别方法、装置、设备及介质
CN113436118B (zh) * 2021-08-10 2022-09-27 安徽工程大学 一种基于多尺度卷积编码网络的低剂量ct图像复原方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376392A (zh) * 2018-01-30 2018-08-07 复旦大学 一种基于卷积神经网络的图像运动模糊去除方法
CN111028177A (zh) * 2019-12-12 2020-04-17 武汉大学 一种基于边缘的深度学习图像去运动模糊方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080137978A1 (en) * 2006-12-07 2008-06-12 Guoyi Fu Method And Apparatus For Reducing Motion Blur In An Image
US11651206B2 (en) * 2018-06-27 2023-05-16 International Business Machines Corporation Multiscale feature representations for object recognition and detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108376392A (zh) * 2018-01-30 2018-08-07 复旦大学 一种基于卷积神经网络的图像运动模糊去除方法
CN111028177A (zh) * 2019-12-12 2020-04-17 武汉大学 一种基于边缘的深度学习图像去运动模糊方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王新建.基于目标轮廓形状矩阵傅氏描述子的特殊标志识别方法.《计算机应用研究》.2014,(第4期), *

Also Published As

Publication number Publication date
CN111815536A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111199522B (zh) 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN112801901B (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
WO2020015167A1 (zh) 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN111815536B (zh) 一种基于轮廓加强策略的运动模糊修复方法
CN111738952B (zh) 一种图像修复的方法、装置及电子设备
CN111161360A (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN114187203A (zh) 注意力优化的深度编解码去雾生成对抗网络
CN108900841A (zh) 基于图像去雨算法的视频编码方法
CN114187191B (zh) 一种基于高频-低频信息融合的图像去模糊方法
CN113538258B (zh) 基于掩码的图像去模糊模型及方法
TWI768517B (zh) 影像品質提昇方法及使用該方法的影像處理裝置
CN115272131B (zh) 基于自适应多光谱编码的图像去摩尔纹系统及方法
CN117078553A (zh) 一种基于多尺度深度学习的图像去雾方法
Huang et al. FFNet: A simple image dedusting network with feature fusion
CN112801912B (zh) 一种人脸图像复原方法、系统、装置及存储介质
Shin et al. Exploiting distortion information for multi-degraded image restoration
CN112669234A (zh) 基于神经网络的高分辨率图像复原方法及系统
CN110717873A (zh) 一种基于多尺度残差的交通标识去模糊检测识别算法
CN113177895B (zh) 基于上下文的多特征融合网络的两阶段图像修复方法
CN116721033A (zh) 一种基于随机掩码卷积和注意力机制的单幅图像去雾方法
Hong et al. Multi-scale iterative network for underwater image restoration
CN112767258B (zh) 一种端到端的图像去沙尘暴方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant