CN112634153B - 一种基于边缘增强的图像去模糊方法 - Google Patents

一种基于边缘增强的图像去模糊方法 Download PDF

Info

Publication number
CN112634153B
CN112634153B CN202011492603.XA CN202011492603A CN112634153B CN 112634153 B CN112634153 B CN 112634153B CN 202011492603 A CN202011492603 A CN 202011492603A CN 112634153 B CN112634153 B CN 112634153B
Authority
CN
China
Prior art keywords
edge
image
motion blurred
blurred image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011492603.XA
Other languages
English (en)
Other versions
CN112634153A (zh
Inventor
谢晓华
黄俊嘉
赖剑煌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202011492603.XA priority Critical patent/CN112634153B/zh
Publication of CN112634153A publication Critical patent/CN112634153A/zh
Application granted granted Critical
Publication of CN112634153B publication Critical patent/CN112634153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

本发明公开了一种基于边缘增强的图像去模糊方法,该方法包括:获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理,得到运动模糊图像边缘;将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合,得到去模糊图像。本发明在保证去模糊质量的情况下,减少模型推导时间和模型参数数量。本发明作为一种基于边缘增强的图像去模糊方法,可广泛应用于图像处理领域。

Description

一种基于边缘增强的图像去模糊方法
技术领域
本发明属于图像处理领域,尤其涉及一种基于边缘增强的图像去模糊方法。
背景技术
随着智能手机的普及,拍照成为人们日常生活中不可或缺的一部分。良好的图像质量对于一副好的图像而言是必不可少的,运动模糊图像去模糊也获得了计算机图形学和计算机视觉领域的广泛关注。近几年许多方法都是逐步采用神经网络模型进行图像去模糊工作。基于神经网络的运动去模糊方法主要分为两大类,一类是结合传统的非盲区图像模糊方法,先预测出模糊图像的运动卷积核,之后通过马尔可夫随机场优化预测的运动模糊卷积核,最后再结合传统的非盲去模糊方法得到清晰图像。但是由于现实生活中的模糊卷积核往往是非常复杂的,且没有特定规律,在非盲去模糊领域中,运动模糊卷积核的微小误差都会导致最终得到的去模糊图像存在很大的质量问题。另一类是通过神经网络直接端到端预测去模糊图像。但是目前的去模糊方法存在参数数量过多以及模型推导时间过长的问题
发明内容
为了解决上述技术问题,本发明的目的是提供一种基于边缘增强的图像去模糊方法,在保证去模糊质量的情况下,减少模型推导时间和模型参数数量。
本发明所采用的第一技术方案是:一种基于边缘增强的图像去模糊方法,包括以下步骤:
获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理,得到运动模糊图像边缘;
将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合,得到去模糊图像。
进一步,还包括:
对去模糊图像进行质量评估,得到评估结果。
进一步,所述边缘提取算法具体通过整体嵌套边缘检测模型实现,所述获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理,得到运动模糊图像边缘这一步骤,其具体包括:
获取运动模糊图像并将运动模糊图像输入到预训练的整体嵌套边缘检测模型;
经过多级尺度分别输出多个特征图,得到输出信息;
将输出信息在每个输出特征图的通道维度上连接起来,并经过一个融合卷积层得到最终的边缘图像;
根据最终的边缘图像,得到运动模糊图像边缘。
进一步,所述预设的去模糊神经网络包括图像主体部分和边缘主体部分,所述图像主体部分包括图像下采样模块和图像上采样模块,所述边缘主体部分包括边缘下采样模块和边缘上采样模块。
进一步,所述将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合,得到去模糊图像这一步骤,其具体包括:
将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络;
将运动模糊图像经过图像主体部分,得到内容特征;
将运动模糊图像边缘经过边缘主体部分,得到边缘特征;
将内容特征和边缘特征进行融合处理,得到去模糊图像。
进一步,所述将运动模糊图像经过图像主体部分,得到内容特征这一步骤,其具体包括:
运动模糊图像经过图像主体部分4级图像下采样模块和4级图像上采样模块分别提取特征图,并在每一级图像下采样模块中将图像下采样模块中对应维度的特征图与图像上采样模块中对应维度的特征图相加,得到长和宽均变为输入图像1/16的最终特征图;
根据最终特征图得到内容特征。
进一步,所述将运动模糊图像边缘经过边缘主体部分,得到边缘特征这一步骤,其具体包括:
运动模糊图像边缘经过边缘主体部分的4级边缘下采样模块和4级边缘上采样模块分别提取特征图,并在每一级边缘下采样模块中将边缘下采样模块中对应维度的特征图与边缘上采样模块中对应维度的特征图相加,得到长和宽均变为输入图像1/16的最终边缘特征图;
根据最终边缘特征图得到边缘特征。
进一步,所述将内容特征和边缘特征进行融合处理,得到去模糊图像这一步骤,其具体包括:
在上采样过程中通过将边缘特征经过一个卷积层转化为通道为1的掩膜,得到边缘特征掩膜信息;
基于像素级相乘的方法将内容特征和边缘特征掩膜信息进行融合,得到去模糊图像。
本发明方法的有益效果是:本发明通过设计端到端的神经网络结构,可以直接生成去模糊图像,具有比传统预测运动模糊卷积核的方法更高的去模糊图像质量,通过边缘信息辅助实现运动图像去模糊,在保证去模糊质量的情况下,减少模型推导时间和模型参数数量。
附图说明
图1是本发明具体实施例一种基于边缘增强的图像去模糊方法的步骤流程图;
图2是本发明具体实施例一种基于边缘增强的图像去模糊系统的结构框图;
图3是本发明具体实施例去模糊神经网络的数据处理示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
如图1所示,本发明提供了一种基于边缘增强的图像去模糊方法,该方法包括以下步骤:
S1、获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理,得到运动模糊图像边缘;
S2、将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合,得到去模糊图像。
具体地,为了更好的去模糊,还可以在原始输入的运动模糊图像上按照需要做指定区域的裁剪。
进一步作为本方法的优选实施例,还包括:
对去模糊图像进行质量评估,得到评估结果。
具体地,对去模糊模型的质量进行评估,其中评估指标包括峰值信噪比PSNR和结构相似性SSIM。
进一步作为本方法优选实施例,所述边缘提取算法具体通过整体嵌套边缘检测模型实现,所述获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理,得到运动模糊图像边缘这一步骤,其具体包括:
获取运动模糊图像并将运动模糊图像输入到预训练的整体嵌套边缘检测模型;
经过多级尺度分别输出多个特征图,得到输出信息;
将输出信息在每个输出特征图的通道维度上连接起来,并经过一个融合卷积层得到最终的边缘图像;
根据最终的边缘图像,得到运动模糊图像边缘。
进一步作为本发明的优选实施例,所述预设的去模糊神经网络包括图像主体部分和边缘主体部分,所述图像主体部分包括图像下采样模块和图像上采样模块,所述边缘主体部分包括边缘下采样模块和边缘上采样模块。
具体地,下采样模块包括特征提取层和非线性转移层,上采样模块包括特征重构层和非线性转移层。
进一步作为本发明优选实施例,所述将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合,得到去模糊图像这一步骤,其具体包括:
将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络;
将运动模糊图像经过图像主体部分,得到内容特征;
将运动模糊图像边缘经过边缘主体部分,得到边缘特征;
将内容特征和边缘特征进行融合处理,得到去模糊图像。
进一步作为本发明优选实施例,所述将运动模糊图像经过图像主体部分,得到内容特征这一步骤,其具体包括:
运动模糊图像经过图像主体部分4级图像下采样模块和4级图像上采样模块分别提取特征图,并在每一级图像下采样模块中将图像下采样模块中对应维度的特征图与图像上采样模块中对应维度的特征图相加,得到长和宽均变为输入图像1/16的最终特征图;
根据最终特征图得到内容特征。
参照图3,具体地,A框表示去模糊神经网络的图像主体部分,由下采样模块和上采样模块组成。下采样模块包括特征提取层和非线性转移层构成,上采样模块由特征重构层和非线性转移层构成。该部分提取的特征称之为内容特征。B框表示下采样模块,下采样模块由特征提取层和多个非线性转移层构成,其中,特征提取层由单个卷积层和单个激活层构成,非线性转移层由三个残差结构级联而成。注意,在每一次下采样过程中,特征提取层都会将图像的分辨率下采样为原来的1/4,即输入特征图的长和宽都会变成原来的一半。经过4级下采样后,最终特征图的长和宽会办成输入图像长和宽的1/16。C框表示上采样模块,具有和下采样模块相似的结构。注意,在下采样过程中输入图像随着特征图尺寸的减小和通道数与接受域的增大,输入图像会从低维空间映射到高维空间,所以在进行上采样的过程中,需要从高维中间依次重新映射回低维空间中,因此每一个上采样结构的级联顺序应该和下采样结构的顺序完全相反。D表示下采样模块和上采样模块之间的跳过连接。由于在图像下采样和上采样的过程中对特征图进行了池化的缘故,会造成特征在传递的过程中存在信息的丢失。因此,在上采样模块的每一个维度中,都需要将下采样模块中对应维度的特征图与之相加,从而将上采样模块中的任务从预测完整的特征图转为为预测与特征图之间的残差,从而减少信息的丢失。
进一步作为本方法的优选实施例,所述将运动模糊图像边缘经过边缘主体部分,得到边缘特征这一步骤,其具体包括:
运动模糊图像边缘经过边缘主体部分的4级边缘下采样模块和4级边缘上采样模块分别提取特征图,并在每一级边缘下采样模块中将边缘下采样模块中对应维度的特征图与边缘上采样模块中对应维度的特征图相加,得到长和宽均变为输入图像1/16的最终边缘特征图;
根据最终边缘特征图得到边缘特征。
具体地,参照图3,E框表示边缘主体部分,F框表示边缘下采样模块,G框表示边缘上采样模块,H表示边缘图像下采样模块和边缘图像上采样模块的跳过连接,其工作原理与图像主体部分一致。
进一步作为本方法的优选实施例,所述将内容特征和边缘特征进行融合处理,得到去模糊图像这一步骤,其具体包括:
在上采样过程中通过将边缘特征经过一个卷积层转化为通道为1的掩膜,得到边缘特征掩膜信息;
基于像素级相乘的方法将内容特征和边缘特征掩膜信息进行融合,得到去模糊图像。
具体地,参照图3,I表示去模糊神经网络中的注意力机制模块,在通过下采样模块和边缘图像下采样模块提取特征后,去模糊网络会将下采样模块提取到的内容特征和边缘图像下采样模块提取到的边缘特征在上采样过程的每一个维度上进行融合。在上采样过程中,通过将运动模糊图像的边缘信息特征图经过一个卷积层转化为通道为1的掩膜,该掩膜表示在该特征图上的每一个像素位置上的重要性程度。去模糊网络通过像素级相乘的方法将运动模糊图像的内容特征和边缘特征得到的掩膜信息融合。J表示融合内容特征和边缘特征,生成去模糊图像。
参照图2,本发明还提供第二种技术方案,一种基于边缘增强的图像去模糊系统,包括以下模块:
边缘提取模块,用于获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理,得到运动模糊图像边缘;
图像去模糊模块,用于将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合,得到去模糊图像。
进一步作为本系统的优选实施例,还包括:
评估模块,用于对去模糊图像进行质量评估,得到评估结果。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.一种基于边缘增强的图像去模糊方法,其特征在于,包括以下步骤:
获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理,得到运动模糊图像边缘;
将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合,得到去模糊图像;
所述将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合,得到去模糊图像这一步骤,其具体包括:
将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络;
将运动模糊图像经过图像主体部分,得到内容特征;
将运动模糊图像边缘经过边缘主体部分,得到边缘特征;
将内容特征和边缘特征进行融合处理,得到去模糊图像;
所述将运动模糊图像经过图像主体部分,得到内容特征这一步骤,其具体包括:
运动模糊图像经过图像主体部分4级图像下采样模块和4级图像上采样模块分别提取特征图,并在每一级图像下采样模块中将图像下采样模块中对应维度的特征图与图像上采样模块中对应维度的特征图相加,得到长和宽均变为输入图像1/16的最终特征图;
根据最终特征图得到内容特征;
所述将运动模糊图像边缘经过边缘主体部分,得到边缘特征这一步骤,其具体包括:
运动模糊图像边缘经过边缘主体部分的4级边缘下采样模块和4级边缘上采样模块分别提取特征图,并在每一级边缘下采样模块中将边缘下采样模块中对应维度的特征图与边缘上采样模块中对应维度的特征图相加,得到长和宽均变为输入图像1/16的最终边缘特征图;
根据最终边缘特征图得到边缘特征;
所述将内容特征和边缘特征进行融合处理,得到去模糊图像这一步骤,其具体包括:
在上采样过程中通过将边缘特征经过一个卷积层转化为通道为1的掩膜,得到边缘特征掩膜信息;
基于像素级相乘的方法将内容特征和边缘特征掩膜信息进行融合,得到去模糊图像。
2.根据权利要求1所述一种基于边缘增强的图像去模糊方法,其特征在于,还包括:
对去模糊图像进行质量评估,得到评估结果。
3.根据权利要求1所述一种基于边缘增强的图像去模糊方法,其特征在于,所述边缘提取算法具体通过整体嵌套边缘检测模型实现,所述获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理,得到运动模糊图像边缘这一步骤,其具体包括:
获取运动模糊图像并将运动模糊图像输入到预训练的整体嵌套边缘检测模型;
经过多级尺度分别输出多个特征图,得到输出信息;
将输出信息在每个输出特征图的通道维度上连接起来,并经过一个融合卷积层得到最终的边缘图像;
根据最终的边缘图像,得到运动模糊图像边缘。
4.根据权利要求1所述一种基于边缘增强的图像去模糊方法,其特征在于,所述预设的去模糊神经网络包括图像主体部分和边缘主体部分,所述图像主体部分包括图像下采样模块和图像上采样模块,所述边缘主体部分包括边缘下采样模块和边缘上采样模块。
CN202011492603.XA 2020-12-17 2020-12-17 一种基于边缘增强的图像去模糊方法 Active CN112634153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011492603.XA CN112634153B (zh) 2020-12-17 2020-12-17 一种基于边缘增强的图像去模糊方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011492603.XA CN112634153B (zh) 2020-12-17 2020-12-17 一种基于边缘增强的图像去模糊方法

Publications (2)

Publication Number Publication Date
CN112634153A CN112634153A (zh) 2021-04-09
CN112634153B true CN112634153B (zh) 2023-10-20

Family

ID=75316234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011492603.XA Active CN112634153B (zh) 2020-12-17 2020-12-17 一种基于边缘增强的图像去模糊方法

Country Status (1)

Country Link
CN (1) CN112634153B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177896B (zh) * 2021-05-20 2022-05-03 中国人民解放军国防科技大学 基于多路径精化融合神经网络的图像去除模糊方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545582A (zh) * 2017-07-04 2018-01-05 深圳大学 基于模糊逻辑的视频多目标跟踪方法及装置
CN108416784A (zh) * 2018-02-06 2018-08-17 石家庄铁道大学 城市建成区边界快速提取方法、装置及终端设备
CN109345449A (zh) * 2018-07-17 2019-02-15 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN111028177A (zh) * 2019-12-12 2020-04-17 武汉大学 一种基于边缘的深度学习图像去运动模糊方法
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545582A (zh) * 2017-07-04 2018-01-05 深圳大学 基于模糊逻辑的视频多目标跟踪方法及装置
CN108416784A (zh) * 2018-02-06 2018-08-17 石家庄铁道大学 城市建成区边界快速提取方法、装置及终端设备
CN109345449A (zh) * 2018-07-17 2019-02-15 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN111028177A (zh) * 2019-12-12 2020-04-17 武汉大学 一种基于边缘的深度学习图像去运动模糊方法
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于小波双立方配比插值的Bessel拟合图像复原算法;史永胜;孙烨;;科学技术与工程(第23期);第1-4页 *

Also Published As

Publication number Publication date
CN112634153A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN109101975B (zh) 基于全卷积神经网络的图像语义分割方法
CN108376387B (zh) 基于聚合膨胀卷积网络的图像去模糊方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN112435191B (zh) 一种基于多个神经网络结构融合的低照度图像增强方法
CN109949221B (zh) 一种图像处理方法及电子设备
CN112070670A (zh) 全局-局部分离注意力机制的人脸超分辨率方法及系统
CN111932480A (zh) 去模糊视频恢复方法、装置、终端设备以及存储介质
CN112634153B (zh) 一种基于边缘增强的图像去模糊方法
CN113705575B (zh) 一种图像分割方法、装置、设备及存储介质
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN113628115A (zh) 图像重建的处理方法、装置、电子设备和存储介质
CN113362239A (zh) 一种基于特征交互的深度学习图像修复方法
CN113313162A (zh) 一种多尺度特征融合目标检测的方法及系统
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN115170807B (zh) 一种图像分割、模型训练方法、装置、设备及介质
CN111402140A (zh) 单张图像超分辨率重建系统及方法
CN117036436A (zh) 一种基于双编码器-解码器的单目深度估计方法及系统
CN116681889A (zh) 基于am及特征融合的多分支图像语义分割方法及系统
Zhou et al. RISTRA: Recursive Image Super-resolution Transformer with Relativistic Assessment
CN112767264B (zh) 基于图卷积神经网络的图像去模糊方法与系统
CN114565528A (zh) 一种基于多尺度和注意力机制的遥感影像降噪方法及系统
CN114972036A (zh) 一种基于融合退化先验的盲图像超分辨率重建方法和系统
CN113902647A (zh) 一种基于双闭环网络的图像去模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant