CN112634153A - 一种基于边缘增强的图像去模糊方法 - Google Patents

Abstract

本发明公开了一种基于边缘增强的图像去模糊方法，该方法包括：获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理，得到运动模糊图像边缘；将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合，得到去模糊图像。本发明在保证去模糊质量的情况下，减少模型推导时间和模型参数数量。本发明作为一种基于边缘增强的图像去模糊方法，可广泛应用于图像处理领域。

Description

一种基于边缘增强的图像去模糊方法

技术领域

本发明属于图像处理领域，尤其涉及一种基于边缘增强的图像去模糊方法。

背景技术

随着智能手机的普及，拍照成为人们日常生活中不可或缺的一部分。良好的图像质量对于一副好的图像而言是必不可少的，运动模糊图像去模糊也获得了计算机图形学和计算机视觉领域的广泛关注。近几年许多方法都是逐步采用神经网络模型进行图像去模糊工作。基于神经网络的运动去模糊方法主要分为两大类，一类是结合传统的非盲区图像模糊方法，先预测出模糊图像的运动卷积核，之后通过马尔可夫随机场优化预测的运动模糊卷积核，最后再结合传统的非盲去模糊方法得到清晰图像。但是由于现实生活中的模糊卷积核往往是非常复杂的，且没有特定规律，在非盲去模糊领域中，运动模糊卷积核的微小误差都会导致最终得到的去模糊图像存在很大的质量问题。另一类是通过神经网络直接端到端预测去模糊图像。但是目前的去模糊方法存在参数数量过多以及模型推导时间过长的问题

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于边缘增强的图像去模糊方法，在保证去模糊质量的情况下，减少模型推导时间和模型参数数量。

本发明所采用的第一技术方案是：一种基于边缘增强的图像去模糊方法，包括以下步骤：

获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理，得到运动模糊图像边缘；

将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合，得到去模糊图像。

进一步，还包括：

对去模糊图像进行质量评估，得到评估结果。

进一步，所述边缘提取算法具体通过整体嵌套边缘检测模型实现，所述获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理，得到运动模糊图像边缘这一步骤，其具体包括：

获取运动模糊图像并将运动模糊图像输入到预训练的整体嵌套边缘检测模型；

经过多级尺度分别输出多个特征图，得到输出信息；

将输出信息在每个输出特征图的通道维度上连接起来，并经过一个融合卷积层得到最终的边缘图像；

根据最终的边缘图像，得到运动模糊图像边缘。

进一步，所述预设的去模糊神经网络包括图像主体部分和边缘主体部分，所述图像主体部分包括图像下采样模块和图像上采样模块，所述边缘主体部分包括边缘下采样模块和边缘上采样模块。

进一步，所述将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合，得到去模糊图像这一步骤，其具体包括：

将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络；

将运动模糊图像经过图像主体部分，得到内容特征；

将运动模糊图像边缘经过边缘主体部分，得到边缘特征；

将内容特征和边缘特征进行融合处理，得到去模糊图像。

进一步，所述将运动模糊图像经过图像主体部分，得到内容特征这一步骤，其具体包括：

运动模糊图像经过图像主体部分4级图像下采样模块和4级图像上采样模块分别提取特征图，并在每一级图像下采样模块中将图像下采样模块中对应维度的特征图与图像上采样模块中对应维度的特征图相加，得到长和宽均变为输入图像1/16的最终特征图；

根据最终特征图得到内容特征。

进一步，所述将运动模糊图像边缘经过边缘主体部分，得到边缘特征这一步骤，其具体包括：

运动模糊图像边缘经过边缘主体部分的4级边缘下采样模块和4级边缘上采样模块分别提取特征图，并在每一级边缘下采样模块中将边缘下采样模块中对应维度的特征图与边缘上采样模块中对应维度的特征图相加，得到长和宽均变为输入图像1/16的最终边缘特征图；

根据最终边缘特征图得到边缘特征。

进一步，所述将内容特征和边缘特征进行融合处理，得到去模糊图像这一步骤，其具体包括：

在上采样过程中通过将边缘特征经过一个卷积层转化为通道为1的掩膜，得到边缘特征掩膜信息；

基于像素级相乘的方法将内容特征和边缘特征掩膜信息进行融合，得到去模糊图像。

本发明方法的有益效果是：本发明通过设计端到端的神经网络结构，可以直接生成去模糊图像，具有比传统预测运动模糊卷积核的方法更高的去模糊图像质量，通过边缘信息辅助实现运动图像去模糊，在保证去模糊质量的情况下，减少模型推导时间和模型参数数量。

附图说明

图1是本发明具体实施例一种基于边缘增强的图像去模糊方法的步骤流程图；

图2是本发明具体实施例一种基于边缘增强的图像去模糊系统的结构框图；

图3是本发明具体实施例去模糊神经网络的数据处理示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

如图1所示，本发明提供了一种基于边缘增强的图像去模糊方法，该方法包括以下步骤：

S1、获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理，得到运动模糊图像边缘；

S2、将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合，得到去模糊图像。

具体地，为了更好的去模糊，还可以在原始输入的运动模糊图像上按照需要做指定区域的裁剪。

进一步作为本方法的优选实施例，还包括：

对去模糊图像进行质量评估，得到评估结果。

具体地，对去模糊模型的质量进行评估，其中评估指标包括峰值信噪比PSNR和结构相似性SSIM。

进一步作为本方法优选实施例，所述边缘提取算法具体通过整体嵌套边缘检测模型实现，所述获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理，得到运动模糊图像边缘这一步骤，其具体包括：

获取运动模糊图像并将运动模糊图像输入到预训练的整体嵌套边缘检测模型；

经过多级尺度分别输出多个特征图，得到输出信息；

将输出信息在每个输出特征图的通道维度上连接起来，并经过一个融合卷积层得到最终的边缘图像；

根据最终的边缘图像，得到运动模糊图像边缘。

进一步作为本发明的优选实施例，所述预设的去模糊神经网络包括图像主体部分和边缘主体部分，所述图像主体部分包括图像下采样模块和图像上采样模块，所述边缘主体部分包括边缘下采样模块和边缘上采样模块。

具体地，下采样模块包括特征提取层和非线性转移层，上采样模块包括特征重构层和非线性转移层。

进一步作为本发明优选实施例，所述将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合，得到去模糊图像这一步骤，其具体包括：

将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络；

将运动模糊图像经过图像主体部分，得到内容特征；

将运动模糊图像边缘经过边缘主体部分，得到边缘特征；

将内容特征和边缘特征进行融合处理，得到去模糊图像。

进一步作为本发明优选实施例，所述将运动模糊图像经过图像主体部分，得到内容特征这一步骤，其具体包括：

运动模糊图像经过图像主体部分4级图像下采样模块和4级图像上采样模块分别提取特征图，并在每一级图像下采样模块中将图像下采样模块中对应维度的特征图与图像上采样模块中对应维度的特征图相加，得到长和宽均变为输入图像1/16的最终特征图；

根据最终特征图得到内容特征。

参照图3，具体地，A框表示去模糊神经网络的图像主体部分，由下采样模块和上采样模块组成。下采样模块包括特征提取层和非线性转移层构成，上采样模块由特征重构层和非线性转移层构成。该部分提取的特征称之为内容特征。B框表示下采样模块，下采样模块由特征提取层和多个非线性转移层构成，其中，特征提取层由单个卷积层和单个激活层构成，非线性转移层由三个残差结构级联而成。注意，在每一次下采样过程中，特征提取层都会将图像的分辨率下采样为原来的1/4，即输入特征图的长和宽都会变成原来的一半。经过4级下采样后，最终特征图的长和宽会办成输入图像长和宽的1/16。C框表示上采样模块，具有和下采样模块相似的结构。注意，在下采样过程中输入图像随着特征图尺寸的减小和通道数与接受域的增大，输入图像会从低维空间映射到高维空间，所以在进行上采样的过程中，需要从高维中间依次重新映射回低维空间中，因此每一个上采样结构的级联顺序应该和下采样结构的顺序完全相反。D表示下采样模块和上采样模块之间的跳过连接。由于在图像下采样和上采样的过程中对特征图进行了池化的缘故，会造成特征在传递的过程中存在信息的丢失。因此，在上采样模块的每一个维度中，都需要将下采样模块中对应维度的特征图与之相加，从而将上采样模块中的任务从预测完整的特征图转为为预测与特征图之间的残差，从而减少信息的丢失。

进一步作为本方法的优选实施例，所述将运动模糊图像边缘经过边缘主体部分，得到边缘特征这一步骤，其具体包括：

运动模糊图像边缘经过边缘主体部分的4级边缘下采样模块和4级边缘上采样模块分别提取特征图，并在每一级边缘下采样模块中将边缘下采样模块中对应维度的特征图与边缘上采样模块中对应维度的特征图相加，得到长和宽均变为输入图像1/16的最终边缘特征图；

根据最终边缘特征图得到边缘特征。

具体地，参照图3，E框表示边缘主体部分，F框表示边缘下采样模块，G框表示边缘上采样模块，H表示边缘图像下采样模块和边缘图像上采样模块的跳过连接，其工作原理与图像主体部分一致。

进一步作为本方法的优选实施例，所述将内容特征和边缘特征进行融合处理，得到去模糊图像这一步骤，其具体包括：

在上采样过程中通过将边缘特征经过一个卷积层转化为通道为1的掩膜，得到边缘特征掩膜信息；

基于像素级相乘的方法将内容特征和边缘特征掩膜信息进行融合，得到去模糊图像。

具体地，参照图3，I表示去模糊神经网络中的注意力机制模块，在通过下采样模块和边缘图像下采样模块提取特征后，去模糊网络会将下采样模块提取到的内容特征和边缘图像下采样模块提取到的边缘特征在上采样过程的每一个维度上进行融合。在上采样过程中，通过将运动模糊图像的边缘信息特征图经过一个卷积层转化为通道为1的掩膜，该掩膜表示在该特征图上的每一个像素位置上的重要性程度。去模糊网络通过像素级相乘的方法将运动模糊图像的内容特征和边缘特征得到的掩膜信息融合。J表示融合内容特征和边缘特征，生成去模糊图像。

参照图2，本发明还提供第二种技术方案，一种基于边缘增强的图像去模糊系统，包括以下模块：

边缘提取模块，用于获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理，得到运动模糊图像边缘；

图像去模糊模块，用于将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合，得到去模糊图像。

进一步作为本系统的优选实施例，还包括：

评估模块，用于对去模糊图像进行质量评估，得到评估结果。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种基于边缘增强的图像去模糊方法，其特征在于，包括以下步骤：

获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理，得到运动模糊图像边缘；

将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合，得到去模糊图像。

2.根据权利要求1所述一种基于边缘增强的图像去模糊方法，其特征在于，还包括：

对去模糊图像进行质量评估，得到评估结果。

3.根据权利要求2所述一种基于边缘增强的图像去模糊方法，其特征在于，所述边缘提取算法具体通过整体嵌套边缘检测模型实现，所述获取运动模糊图像并基于边缘提取算法对运动模糊图像进行处理，得到运动模糊图像边缘这一步骤，其具体包括：

获取运动模糊图像并将运动模糊图像输入到预训练的整体嵌套边缘检测模型；

经过多级尺度分别输出多个特征图，得到输出信息；

将输出信息在每个输出特征图的通道维度上连接起来，并经过一个融合卷积层得到最终的边缘图像；

根据最终的边缘图像，得到运动模糊图像边缘。

4.根据权利要求3所述一种基于边缘增强的图像去模糊方法，其特征在于，所述预设的去模糊神经网络包括图像主体部分和边缘主体部分，所述图像主体部分包括图像下采样模块和图像上采样模块，所述边缘主体部分包括边缘下采样模块和边缘上采样模块。

5.根据权利要求4所述一种基于边缘增强的图像去模糊方法，其特征在于，所述将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络进行特征提取和特征融合，得到去模糊图像这一步骤，其具体包括：

将运动模糊图像和运动模糊图像边缘输入到预设的去模糊神经网络；

将运动模糊图像经过图像主体部分，得到内容特征；

将运动模糊图像边缘经过边缘主体部分，得到边缘特征；

将内容特征和边缘特征进行融合处理，得到去模糊图像。

6.根据权利要求5所述一种基于边缘增强的图像去模糊方法，其特征在于，所述将运动模糊图像经过图像主体部分，得到内容特征这一步骤，其具体包括：

运动模糊图像经过图像主体部分4级图像下采样模块和4级图像上采样模块分别提取特征图，并在每一级图像下采样模块中将图像下采样模块中对应维度的特征图与图像上采样模块中对应维度的特征图相加，得到长和宽均变为输入图像1/16的最终特征图；根据最终特征图得到内容特征。

7.根据权利要求6所述一种基于边缘增强的图像去模糊方法，其特征在于，所述将运动模糊图像边缘经过边缘主体部分，得到边缘特征这一步骤，其具体包括：

运动模糊图像边缘经过边缘主体部分的4级边缘下采样模块和4级边缘上采样模块分别提取特征图，并在每一级边缘下采样模块中将边缘下采样模块中对应维度的特征图与边缘上采样模块中对应维度的特征图相加，得到长和宽均变为输入图像1/16的最终边缘特征图；

根据最终边缘特征图得到边缘特征。

8.根据权利要求7所述一种基于边缘增强的图像去模糊方法，其特征在于，所述将内容特征和边缘特征进行融合处理，得到去模糊图像这一步骤，其具体包括：

在上采样过程中通过将边缘特征经过一个卷积层转化为通道为1的掩膜，得到边缘特征掩膜信息；

基于像素级相乘的方法将内容特征和边缘特征掩膜信息进行融合，得到去模糊图像。

Images