CN112767264B - 基于图卷积神经网络的图像去模糊方法与系统 - Google Patents

基于图卷积神经网络的图像去模糊方法与系统 Download PDF

Info

Publication number
CN112767264B
CN112767264B CN202110026080.8A CN202110026080A CN112767264B CN 112767264 B CN112767264 B CN 112767264B CN 202110026080 A CN202110026080 A CN 202110026080A CN 112767264 B CN112767264 B CN 112767264B
Authority
CN
China
Prior art keywords
image
deblurring
neural network
positions
coarse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110026080.8A
Other languages
English (en)
Other versions
CN112767264A (zh
Inventor
夏时洪
冯天海
张子豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202110026080.8A priority Critical patent/CN112767264B/zh
Publication of CN112767264A publication Critical patent/CN112767264A/zh
Application granted granted Critical
Publication of CN112767264B publication Critical patent/CN112767264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于图卷积神经网络的图像去模糊的方法，包括：步骤1、将模糊图像输入第一去模糊神经网络，得到粗去模糊图像以及粗去模糊图像的全局特征；步骤2、利用注意力机制选取粗去模糊图像的若干位置，并通过图卷积神经网络将若干位置的特征融合并进行推理，得到若干局部特征；步骤3、利用第二去模糊网络将全局特征和局部特征进行融合，得到精去模糊图像。

Description

基于图卷积神经网络的图像去模糊方法与系统
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于图卷积神经网络的图像去模糊方法与系统。
背景技术
去除拍摄图像中的模糊是图像处理和计算摄影技术领域中的一个热点问题。在问题设置中，一般输入的是一张因为各种原因模糊的图像，期望输出为去模糊之后的干净、清晰的图像。这些模糊大部分是因为拍摄者手持相机的抖动或者物体自身的运动。现有的去模糊方法大多是基于机器学习，利用成对的模糊图像和清晰图像作为训练数据，学习到先验知识，建立起模糊图像到清晰图像的映射关系。图像去模糊是一个很基础的问题，为很多下游任务例如图像分类、目标识别、图像分割提供了有力的武器。在这些任务中，由于训练数据大多是清晰图像，所以对于输入的是模糊图像的表现不够优秀。
随着深度学习的发展，许多基于深度学习的去模糊算法被提出。这些方法主要是利用神经网络强大的拟合能力，使用大量的成对的模糊和清晰图像数据来训练，并能够得到一个较好的结果。虽然这些方法在数据集评测指标上取得了较好的成绩，但是其中仍然存在若干缺陷：第一，假设每一个像素出现模糊的概率和程度是相同的，然而对于真实场景的图片中，图片边缘大概率是背景，模糊的程度相较于中心会小很多；第二，为了提高数据集上的成绩，加深网络或者加大参数量，使得在日常使用中很难直接使用这些算法，而对于日常使用，大部分算法需要每秒处理30帧以上的数据，才能符合人类的感知；第三，过分依赖数据驱动，缺乏可解释性。
从模糊来源来说，单张图片中的模糊由两个因素生成，即物体的自主运动和背景(相机)全局运动。但是对于现有的方法来说，一些方法对于整张图片预测一个模糊核，再使用这些模糊核来优化整张图片，这样的方法速度较快，但是精度较低；其他一些方法着重于预测每一个位置像素值的偏移，由于是逐像素的方法，所以速度较慢。
发明内容
针对现有技术的不足，本发明提出一种基于图卷积神经网络的去模糊方法与系统，对于图像去模糊具有精度高、速度快的优点。
为了实现上述目的，本发明提出一种基于图卷积神经网络的图像去模糊方法，其包括：步骤1、将一模糊图像输入一第一去模糊神经网络，得到一粗去模糊图像以及所述粗去模糊图像的全局特征；步骤2、利用注意力机制选取所述粗去模糊图像的若干位置，并通过图卷积神经网络将所述若干位置的特征融合并进行推理，得到若干局部特征；步骤3、利用一第二去模糊网络将所述全局特征和所述局部特征进行融合，得到一精去模糊图像。
上述的基于图卷积神经网络的图像去模糊方法，其中，所述步骤2包括：步骤21、利用注意力机制选取所述粗去模糊图像中的若干位置，得到对应于所述若干位置的若干特征图；步骤22、将所述若干特征图通过全局平均池化或者全局最大池化后进行卷积，得到所述若干特征图的邻接矩阵；步骤23、根据所述若干特征图与所述邻接矩阵并使用所述图卷积神经网络推理得到所述若干局部特征。
上述的基于图卷积神经网络的图像去模糊方法，其中，所述步骤21包括：步骤211、所述粗去模糊图像经过卷积、若干残差模块与批归一化处理模块及softmax函数，得到所述粗去模糊图像的权重图；步骤212、所述权重图与所述粗去模糊图像点乘后经过所述若干残差模块，得到所述若干特征图。
上述的基于图卷积神经网络的图像去模糊的方法，其中，所述方法采用如下的训练损失函数
Loss(I1，I2)＝λ1MSE(I1，I′2)+(1-SSIM(I1,I′2))+λ2SSIM(I1,I2)
其中，I1为所述精去模糊图像，I2为对比标准图像，I’2为所述粗去模糊图像。
上述的基于图卷积神经网络的图像去模糊方法，其中，所述第一去模糊神经网络与所述第二去模糊神经网络的结构相同。
上述的基于图卷积神经网络的图像去模糊方法，其中，所述第一去模糊神经网络包括三个编码器和三个解码器，所述编码器之间通过下采样连接，所述解码器之间通过上采样连接。
上述的基于图卷积神经网络的图像去模糊方法，其中，所述下采样通过折叠实现，所述上采样通过转置卷积实现。
上述的基于图卷积神经网络的图像去模糊方法，其中，所述三个编码器包括第一编码器、第二编码器及第三编码器，所述三个解码器包括第一解码器、第二解码器及第三解码器，其中所述第一编码器与所述第三解码器之间以及所述第二编码器与所述第二解码器之间为残差连接。
上述的基于图卷积神经网络的图像去模糊方法，其中，所述编码器包括leakyReLU函数及四个残差模块，所述解码器包括四个所述残差模块。
上述的基于图卷积神经网络的图像去模糊方法，其中，所述残差模块包括第一路径、第二路径及第三路径，其中所述第一路径包括两个卷积层，所述第二路径包括一个空洞卷积层。
为了实现上述目的，本发明还提出一种基于图卷积神经网络的图像去模糊系统，其包括：第一去模糊神经网络模块，用于对输入的一模糊图像处理并得到一粗去模糊图像以及所述粗去模糊图像的全局特征；图卷积神经网络推理模块，用于利用注意力机制选取所述粗去模糊图像的若干位置及将所述若干位置的特征融合并进行推理，得到若干局部特征；第二去模糊神经网络模块，用于将所述全局特征和所述局部特征进行融合，得到一精去模糊图像。
上述的基于图卷积神经网络的图像去模糊系统，其中，所述图卷积神经网络推理模块包括：特征图提取子模块，用于利用注意力机制选取所述粗去模糊图像中的若干位置，得到对应于所述若干位置的若干特征图；邻接矩阵计算子模块，用于将所述若干特征图通过全局平均池化或者全局最大池化后进行卷积，得到所述若干特征图的邻接矩阵；局部特征提取子模块，用于根据所述若干特征图与所述邻接矩阵并使用图卷积神经网络推理得到所述若干局部特征。
附图说明
图1为本发明实施例的基于图卷积神经网络的去模糊的方法流程图。
图2为本发明实施例的第一去模糊神经网络结构示意图。
图3为本发明实施例的编码器、解码器、残差模块及折叠示意图。
图4A为对应图1中步骤2的框架示意图。
图4B为图4A中的推理模块的框架示意图。
图4C为图1中步骤2的流程图。
图4D为图4C中步骤21的流程图。
具体实施方式
为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。
图1为本发明实施例的基于图卷积神经网络的去模糊的方法流程图。如图1所示，本发明实施例提出一种基于图卷积神经网络的去模糊的方法，其包括以下步骤：
在步骤1中，将一模糊图像输入一第一去模糊神经网络并得到一粗去模糊图像以及所述粗去模糊图像的全局特征。
在本实施例中，所述第一去模糊神经网络例如可以使经过修改的SRNet神经网络(Scale-recurrent Network for Deep Image Deblurring，SRNet)，其中本发明对SRNet神经网络的修改主要有以下几点：第一点，采用折叠的方式进行下采样；第二点，在残差模块中添加一条使用空洞卷积层的路径；第三点，使用了更少的残差模块，例如将5个改为4个；第四点，使用了更少的通道数量，例如将32个修改为16个。另外，经过实验证明，使用上述修改后的SRNet神经网络相对于原SRNet神经网络性能有略微下降，但经修改的SRNet神经网络更适合本发明实施例的基于图卷积神经网络的去模糊的方法，第一去模糊神经网络的结构于后文详述。
图2为本发明实施例的第一去模糊神经网络结构示意图。如图2所示，本发明实施例的第一去模糊神经网络主要包括两部分，即编码器和解码器。具体地，本实施例的第一去模糊神经网络包括三个编码器和三个解码器，但对编码器及解码器的数量并不加以限制；三个编码器分别为第一编码器、第二编码器及第三编码器，三个解码器分别为第一解码器、第二解码器及第三解码器，其中第一编码器与第二解码器之间、第二编码器与第三编码器之间均通过下采样连接，第一解码器与第二解码器之间、第二解码器与第三解码器之间均通过上采样连接，更进一步地，第一编码器与第三解码器之间为残差连接、第二编码器与第二解码器之间的为残差连接，上述的下采样通过折叠实现，所述的上采样通过转置卷积实现。在具有相同分辨率的编码器输出和解码器输入之间使用残差连接可以提升第一去模糊神经网络的性能，例如第一编码器与第三解码器具有相同分辨率、第二编码器与第二解码器具有相同分辨率。在本实施例的第一去模糊神经网络中，编码器可用Ei表示，解码器可用Di表示，则整个第一去模糊神经网络的输出为O＝Di(Ei(I))，其中I为网络输入、O为网络输出，并且结合步骤1来看，输入I为所述的模糊图像，输出O为所述的粗去模糊图像，其中输入I(模糊图像)经过本实施例的第一去模糊神经网络处理后得到输出O(粗去模糊图像)。
图3为本发明实施例的编码器Ei、解码器Di、残差模块及折叠示意图。如图3所示，在本实施例中，单个编码器Ei包括一LeakyReLU函数和四个残差模块，而单个解码器包括四个残差模块。进一步地，单个残差模块包括三条计算路径，其中第一条计算路径包含两个卷积层、第二条计算路径包含一个空洞卷积层及第三条计算路径不含任何神经网络层，而对于单个残差模块的输入来说，该输入分别经过上述三条计算路径后，将三条计算路径的计算结果以相加的形式合并该残差模块的输出。而对于折叠操作为如图中所示，本领域的普通技术人员通过图中所示皆能够实现其操作，在此不再详细赘述。
如图1所示，在步骤2中，利用注意力机制选取粗去模糊图像的若干位置，并通过图卷积神经网络将若干位置的特征融合并进行推理，得到若干局部特征。具体来说，步骤2是采用步骤1中去模糊神经网络输出的粗去模糊图像作为输入，从而利用注意力机制获取所述粗去模糊图像中的多头注意力的注意位置，将这些位置使用卷积层进行处理之后再使用若干层图卷积神经网络来推理局部特征中蕴含的模糊信息。
请同时参照图4A、图4B、图4C及图4D，在本实施例中，如图4C所示，步骤2具体包括以下步骤：步骤21、利用注意力机制选取步骤1所得到粗去模糊图像中的若干位置，得到对应于若干位置的若干特征图；步骤22、将若干特征图通过全局平均池化或者全局最大池化后进行卷积，得到若干特征图的邻接矩阵；以及步骤23、根据若干特征图及其邻接矩阵并使用图卷积神经网络进行推理得到若干局部特征，而这些若干局部特征代表对应于所选取的粗去模糊图像中的若干位置的特征信息(局部位置)。其中，如图4D所示，步骤21具体可包括以下步骤：步骤211、粗去模糊图像经过卷积、若干残差模块与批归一化处理模块及softmax函数，得到粗去模糊图像的权重图；以及步骤212、权重图与粗去模糊图像点乘后经过若干残差模块，得到若干特征图；其中步骤211对应于图4A中所示的模块1的处理过程，步骤212对应于图4A中所示的点乘及模块2的处理过程。另外需要说明的是，图4A中的输入为步骤1所得到的粗去模糊图像、输出为粗模糊图像的局部特征；图4B中的输入为图4A中的特征图、输出为粗模糊图像的局部特征。
不同于传统的注意力机制，本发明采用的注意力机制先使用若干残差模块，例如图4A中所示的模块1中三个残差模块(X3表示3组)来提升粗去模糊图像中每一个位置的感受野，最后使用softmax函数归一化输出，其中softmax函数定义如下：
Figure GDA0003831337200000061
其中，x(i,j)代表第i行第j列的值。即
mask＝softmax(Ri(I))
X0＝I⊙mask
其中，mask代表权重图、I代表粗去模糊图像、X0代表特征图。
请参照图4A、图4B，下面说明图卷积神经网络部分，记一张图G(V,E)中点集为V，|V|＝n，边集为E，|E|＝m，邻接矩阵A定义为一个n×n矩阵，如果第i个节点和第j个节点中间存在一条边，那么矩阵元素A(i,j)的值为边的权重为e(i,j)。
对于本发明使用的图卷积神经网络来说，一层图卷积神经网络可以表示为：
Y＝Graph(X)＝AXW
其中，X是输入、W是待学习的参数。
由于输入的图片是不固定的，图片中局部区域的关系也是不确定的，邻接矩阵A的计算式为：
A＝Conv1x1(GAP(X0)-GMP(X0))
但是如果直接对原特征图进行处理参数量会难以接受，所以在本发明采用的处理方式如下：
Figure GDA0003831337200000062
即先利用卷积将输入X0(对应于图4A中的特征图)分别调整大小，并得到大小分别为n×m和m×c的两个结果，再将上述两个结果进行矩阵乘法(例如为matmul矩阵乘法)得到图卷积神经网络的输入X，再将X输入到图卷积神经网络中，输出的结果和处理输入的第二个卷积层的结果(即m×c的结果)的转置进行矩阵乘法(例如为matmul矩阵乘法)，并将得到的结果和输入X0进行逐位置相加得到最后结果输出，最后结果输出即为局部特征。
如图1所示，在步骤3中，利用一第二去模糊神经网络将全局特征和局部特征进行融合，得到一精去模糊图像。具体地，将步骤1得到的粗去模糊图像的全局特征和步骤2得到的粗去模糊图像的若干局部特征输入到第二去模糊神经网络中，并将全局特征与局部特征进行融合后输出一精去模糊图像，精去模糊图像即为一清晰图像。其中，第二去模糊神经网络的结构例如与第一去模糊神经网络的结构相同，例如也采用上述的经修改的SRNet神经网络，当然第二去模糊神经网络的结构也可与第一去模糊神经网络的结构不相同，例如采用未经修改的SRNet神经网络。另外，融合操作可例如采用对应位置相加的方式进行。
在标准的神经网络训练设置中，我们采用了以下试验设置：
1.损失函数。
由于去模糊结果的评价是一个主观过程，并不能直接量化，所以提出了两种评价指标，峰值信噪比和结构相似性。
峰值信噪比(PSNR)比较两张图片具体每个像素值的差异，记两张图片I1和I2大小为w×h，峰值信噪比的计算方式为：
Figure GDA0003831337200000071
Figure GDA0003831337200000072
其中，I(i,j)代表图片中第i行第j列像素值，MAX是图像中最大可能像素值。
结构相似性(SSIM)则更关注图像的统计信息，计算过程如下：
SSIM(I1,I2)＝f(l(I1,I2),c(I1,I2),s(I1,I2))
其中l代表亮度，衡量指标为：
Figure GDA0003831337200000081
其中，μ代表输入的均值，c代表对比度：
Figure GDA0003831337200000082
其中，σ代表输入的方差。
s代表结构，定义为：
Figure GDA0003831337200000083
其中，σ12为输入I1，I2的协方差，C1C2C3是三个常数，令
Figure GDA0003831337200000084
则：
Figure GDA0003831337200000085
实验表明，SSIM相较于PSNR更能反映人类主观感受。基于此，本发明使用的训练损失函数为：
Loss(I1,I2)＝λ1MSE(I1,I′2)+(1-SSIM(I1,I′2))+λ2SSIM(I1,I2)
其中，I1为精去模糊图像，I2为对比标准图像，I'2是第一去模糊神经网络的输出，即粗去模糊图像。在具体实现中设λ1＝λ2＝5。
2.网络参数。
在本发明的实现中，设置基础通道数为n，记输入分辨率为(w,h)，则对于不同分辨率(w/s,h/s)来说，通道数是n*s。综上，对于一张输入的模糊图像，本发明采用的方案是，先将其输入一个去模糊神经网络进行一次粗略的去模糊，并得到粗去模糊图像，再通过基于图神经网络的自适应推理进行局部特征信息的提取，最后再利用一个去模糊神经网络将粗去模糊图像及局部特征进行融合后得到最终输出结果。训练的监督信息为模糊图像和真实的无模糊图像对，损失函数的设置如上文所示。对于每一个残差模块中卷积的卷积核大小为5，步长为1，填充长度为2。
3.实验结果
为了验证本发明的有效性，在公开数据集GoPro和RealBlur上进行了评测。
结果如下表1所示。
SSIM/PSNR GoPro RealBlur-J RealBlur-R
SRNet 0.934/30.26 0.8987/31.02 0.9515/36.47
本发明 0.960/31.59 0.9120/31.38 0.9685/38.87
表1
由表1可以看出，与未经修改的SRNet神经网络相比较，本发明在PSNR/SSIM两个指标以及两个不同的数据集上表现相对卓越。同样的，本发明在Titan Xp显卡上进行了测速，输入是单张分辨率为720x1280的图片，本发明实例运行时间为0.67秒；采用RTX 2080Ti显卡或者性能更先进的GPU，可以达到每秒30帧以上的水平，符合人们的日常使用。因此，本发明所提出的基于图卷积神经网络的图像去模糊方法对于图像的去模糊兼具速度快和精度高的功效。
以下为与上述方法实施例对应的系统实施例，本实施例的系统可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施例的系统中依然有效，为了减少重复，这里不再赘述。
本发明的实施例还提出一种基于图卷积神经网络的图像去模糊系统，其包括：第一去模糊神经网络模块，用于对输入的一模糊图像处理并得到一粗去模糊图像以及粗去模糊图像的全局特征；图卷积神经网络推理模块，用于利用注意力机制选取粗去模糊图像的若干位置及将若干位置的特征融合并进行推理，得到若干局部特征；以及第二去模糊神经网络模块，用于将全局特征和局部特征进行融合，得到一精去模糊图像。
于一实施例中，所述图卷积神经网络推理模块包括：特征图提取子模块，用于利用注意力机制选取粗去模糊图像中的若干位置，得到对应于若干位置的若干特征图；邻接矩阵计算子模块，用于将若干特征图通过全局平均池化或者全局最大池化后进行卷积，得到若干特征图的邻接矩阵；以及局部特征提取子模块，用于根据若干特征图与邻接矩阵并使用图卷积神经网络推理得到若干局部特征。

Claims (8)

1.一种基于图卷积神经网络的图像去模糊方法，其特征在于，包括：
步骤1、将一模糊图像输入一第一去模糊神经网络，得到一粗去模糊图像以及所述粗去模糊图像的全局特征；
步骤2、利用注意力机制选取所述粗去模糊图像的若干位置，并通过图卷积神经网络将所述若干位置的特征融合并进行推理，得到若干局部特征；
步骤3、利用一第二去模糊神经网络将所述全局特征和所述局部特征进行融合，得到一精去模糊图像；
所述步骤2包括：
步骤21、利用注意力机制选取所述粗去模糊图像中的若干位置，得到对应于所述若干位置的若干特征图；
步骤22、将所述若干特征图通过全局平均池化或者全局最大池化后进行卷积，得到所述若干特征图的邻接矩阵；
步骤23、根据所述若干特征图与所述邻接矩阵并使用所述图卷积神经网络推理得到所述若干局部特征；
所述步骤21包括：
步骤211、所述粗去模糊图像经过卷积、若干残差模块与批归一化处理模块及softmax函数，得到所述粗去模糊图像的权重图；
步骤212、所述权重图与所述粗去模糊图像点乘后经过所述若干残差模块，得到所述若干特征图。
2.根据权利要求1所述的基于图卷积神经网络的图像去模糊方法，其特征在于，所述第一去模糊神经网络与所述第二去模糊神经网络的结构相同。
3.根据权利要求1所述的基于图卷积神经网络的图像去模糊方法，其特征在于，所述第一去模糊神经网络包括三个编码器和三个解码器，所述编码器之间通过下采样连接，所述解码器之间通过上采样连接。
4.根据权利要求3所述的基于图卷积神经网络的图像去模糊方法，其特征在于，所述下采样通过折叠实现，所述上采样通过转置卷积实现。
5.根据权利要求3所述的基于图卷积神经网络的图像去模糊方法，其特征在于，所述三个编码器包括第一编码器、第二编码器及第三编码器，所述三个解码器包括第一解码器、第二解码器及第三解码器，其中所述第一编码器与所述第三解码器之间以及所述第二编码器与所述第二解码器之间为残差连接。
6.根据权利要求3所述的基于图卷积神经网络的图像去模糊方法，其特征在于，所述编码器包括leakyReLU函数及四个残差模块，所述解码器包括四个所述残差模块。
7.根据权利要求1或6所述的基于图卷积神经网络的图像去模糊方法，其特征在于，所述残差模块包括第一路径、第二路径及第三路径，其中所述第一路径包括两个卷积层，所述第二路径包括一个空洞卷积层。
8.一种基于图卷积神经网络的图像去模糊系统，其特征在于，包括：
第一去模糊神经网络模块，用于对输入的一模糊图像处理并得到一粗去模糊图像以及所述粗去模糊图像的全局特征；
图卷积神经网络推理模块，用于利用注意力机制选取所述粗去模糊图像的若干位置及将所述若干位置的特征融合并进行推理，得到若干局部特征；
第二去模糊神经网络模块，用于将所述全局特征和所述局部特征进行融合，得到一精去模糊图像；
所述图卷积神经网络推理模块包括：
特征图提取子模块，用于利用注意力机制选取所述粗去模糊图像中的若干位置，得到对应于所述若干位置的若干特征图；
邻接矩阵计算子模块，用于将所述若干特征图通过全局平均池化或者全局最大池化后进行卷积，得到所述若干特征图的邻接矩阵；
局部特征提取子模块，用于根据所述若干特征图与所述邻接矩阵并使用图卷积神经网络推理得到所述若干局部特征；
所述特征图提取子模块，具体用于：
所述粗去模糊图像经过卷积、若干残差模块与批归一化处理模块及softmax函数，得到所述粗去模糊图像的权重图；
所述权重图与所述粗去模糊图像点乘后经过所述若干残差模块，得到所述若干特征图。
CN202110026080.8A 2021-01-08 2021-01-08 基于图卷积神经网络的图像去模糊方法与系统 Active CN112767264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110026080.8A CN112767264B (zh) 2021-01-08 2021-01-08 基于图卷积神经网络的图像去模糊方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110026080.8A CN112767264B (zh) 2021-01-08 2021-01-08 基于图卷积神经网络的图像去模糊方法与系统

Publications (2)

Publication Number Publication Date
CN112767264A CN112767264A (zh) 2021-05-07
CN112767264B true CN112767264B (zh) 2023-02-03

Family

ID=75701132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110026080.8A Active CN112767264B (zh) 2021-01-08 2021-01-08 基于图卷积神经网络的图像去模糊方法与系统

Country Status (1)

Country Link
CN (1) CN112767264B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239875B (zh) * 2021-06-01 2023-10-17 恒睿(重庆)人工智能技术研究院有限公司 人脸特征的获取方法、系统、装置及计算机可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288697A (zh) * 2019-06-24 2019-09-27 天津大学 基于多尺度图卷积神经网络的3d人脸表示与重建方法
US10593021B1 (en) * 2019-09-11 2020-03-17 Inception Institute of Artificial Intelligence, Ltd. Motion deblurring using neural network architectures
CN111709895B (zh) * 2020-06-17 2023-05-16 中国科学院微小卫星创新研究院 基于注意力机制的图像盲去模糊方法及系统

Also Published As

Publication number Publication date
CN112767264A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN109360156B (zh) 基于生成对抗网络的图像分块的单张图像去雨方法
CN111709895A (zh) 基于注意力机制的图像盲去模糊方法及系统
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
US9633274B2 (en) Method and system for denoising images using deep Gaussian conditional random field network
CN110766632A (zh) 基于通道注意力机制和特征金字塔的图像去噪方法
CN111091503B (zh) 基于深度学习的图像去失焦模糊方法
CN112509001A (zh) 一种多尺度和多特征融合的特征金字塔网络盲复原方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
Tomosada et al. GAN-based image deblurring using DCT loss with customized datasets
CN112767264B (zh) 基于图卷积神经网络的图像去模糊方法与系统
Gao et al. Deep restoration of vintage photographs from scanned halftone prints
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
Li A survey on image deblurring
Quan et al. Neumann network with recursive kernels for single image defocus deblurring
Chen et al. Attention-based Broad Self-guided Network for Low-light Image Enhancement
CN112200752B (zh) 一种基于er网络多帧图像去模糊系统及其方法
CN112085674B (zh) 基于神经网络的航拍图像去模糊算法
Kumar et al. Accurate structure recovery via weighted nuclear norm: A low rank approach to shape-from-focus
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN115880175A (zh) 一种基于改进生成对抗网络的模糊图像复原方法
CN114494065A (zh) 图像去模糊方法、装置、设备及可读存储介质
CN115018726A (zh) 一种基于U-Net的图像非均匀模糊核的估计方法
CN114565528A (zh) 一种基于多尺度和注意力机制的遥感影像降噪方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant