CN110544214A - 一种图像修复方法、装置及电子设备 - Google Patents
一种图像修复方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110544214A CN110544214A CN201910774844.4A CN201910774844A CN110544214A CN 110544214 A CN110544214 A CN 110544214A CN 201910774844 A CN201910774844 A CN 201910774844A CN 110544214 A CN110544214 A CN 110544214A
- Authority
- CN
- China
- Prior art keywords
- image
- feature map
- restored
- resolution
- repaired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000004927 fusion Effects 0.000 claims abstract description 34
- 238000010586 diagram Methods 0.000 claims abstract description 25
- 239000011800 void material Substances 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像修复方法、装置及电子设备。其中，方法包括：利用预设尺寸的卷积核，对待修复图像进行部分卷积处理，得到待修复图像的特征图；通过部分卷积处理，将待修复图像的特征图下采样至第一分辨率：分别利用多个不同尺寸的空洞卷积核对待修复图像的特征图进行部分卷积处理，得到多个不同尺寸的空洞卷积核各自对应的特征图；融合所有不同尺寸的空洞卷积核对应的特征图，得到融合结果，将融合结果作为待修复图像的新的特征图；通过部分卷积处理，将待修复图像的特征图下采样至第二分辨率：对待修复图像的特征图进行反卷积处理，得到与待修复图像分辨率相同的图像，作为修复后图像。可以使得修复后的图像更加准确。
Description
技术领域
本发明涉及深度学习技术领域，特别是涉及一种图像修复方法、装置及电子设备。
背景技术
一些图像中可能缺失部分图像信息，例如由于广告牌的遮挡，导致拍摄到的风景照中缺失部分景物的图像，影响图像的视觉效果。相关技术中，可以利用深度学习得到的神经网络对图像中缺失的图像信息进行修复。
然而，现有技术中图像修复的相关方式，通常是基于当前图像中已有的信息，向图像中增加信息的过程。因此，如果当前图像中缺失过多信息，现有方式难以有效提取到图像语义信息，可能会无法较好的进行图像修复。
发明内容
本发明实施例的目的在于提供一种图像修复方法，以提高图像修复的准确性。具体技术方案如下：
在本发明实施例的第一方面，提供了一种图像修复方法，所述方法包括：
利用预设尺寸的卷积核，对待修复图像进行部分卷积处理，得到所述待修复图像的特征图；
通过部分卷积处理，将所述待修复图像的特征图下采样至第一分辨率：
分别利用多个不同尺寸的空洞卷积核对所述待修复图像的特征图进行部分卷积处理，得到所述多个不同尺寸的空洞卷积核各自对应的特征图，每个所述空洞卷积核中非零点的数目与所述预设尺寸的卷积核中非零点的数目相同；
融合所有不同尺寸的空洞卷积核对应的特征图，得到融合结果，将所述融合结果作为所述待修复图像的新的特征图；
通过部分卷积处理，将所述待修复图像的特征图下采样至第二分辨率，所述第二分辨率低于所述第一分辨率：
对所述待修复图像的特征图进行反卷积处理，得到与所述待修复图像分辨率相同的图像，作为修复后图像；
所述通过部分卷积处理，将所述待修复图像的特征图下采样至第一分辨率，包括：
重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第一分辨率；
利用预设尺寸的卷积核，对所述待修复图像的特征图进行部分卷积处理，得到所述待修复图像的新的特征图，所述部分卷积处理的步长大于1；
所述通过部分卷积处理，将所述待修复图像的特征图下采样至第二分辨率，包括：
重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第二分辨率，
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行部分卷积处理，得到所述待修复图像的新的特征图，所述部分卷积处理的步长大于1。
在一种可能的实施例中，所述对所述待修复特征图进行反卷积处理，得到与所述待修复图像分辨率相同的图像，作为修复后的图像，包括：
通过反卷积处理，将所述待修复图像的特征图上采样至所述第一分辨率；
基于所述待修复图像的特征图中待修复图像区域与所述待修复图像的特征图中各个预设区域的相似度，利用注意力机制，计算所述待修复图像区域中各像素点的像素值，得到所述待修复图像的新的特征图；
通过反卷积处理，将所述待修复图像的特征图上采样至与所述待修复图像相同的分辨率，将所述待修复图像的特征图作为修复后的图像；
所述通过反卷积处理，将所述待修复图像的特征图上采样至所述第一分辨率，包括：
重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第一分辨率：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理得到所述待修复图像的新的特征图；
所述通过反卷积处理，将所述待修复图像的特征图上采样至与所述待修复图像相同的分辨率，包括：
重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述待修复图像的分辨率：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理得到所述待修复图像的新的特征图。
在一种可能的实施例中，所述利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理，得到所述待修复图像的新的特征图，包括：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理，得到反卷积处理结果；
将所述反卷积处理结果与对应的特征图融合，得到融合结果，将所述融合结果作为所述待修复图像的新的特征图，所述对应的特征图为在利用所述预设尺寸的卷积核对所述待修复图像的特征图进行部分卷积处理过程中得到的与所述反卷积处理结果分辨率相同的特征图。
在一种可能的实施例中，所述待修复图像的分辨率为2的n次幂*2的n次幂，所述第一分辨率为2的m次幂*2的m次幂，所述第二分辨率为2*2，其中，n和m为大于1的正整数，并且n大于m。
在一种可能的实施例中，所述多个不同尺寸的空洞卷积核包括扩张率为4、8、16的空洞卷积核。
在本发明实施例提供的第二方面，提供了一种图像修复装置，所述装置包括：
第一部分卷积模块，用于利用预设尺寸的卷积核，对待修复图像进行部分卷积处理，得到所述待修复图像的特征图；
第二部分卷积模块，用于通过部分卷积处理，将所述待修复图像的特征图下采样至第一分辨率：
空洞卷积模块，用于分别利用多个不同尺寸的空洞卷积核对所述待修复图像的特征图进行部分卷积处理，得到所述多个不同尺寸的空洞卷积核各自对应的特征图，每个所述空洞卷积核中非零点的数目与所述预设尺寸的卷积核中非零点的数目相同；
特征融合模块，用于融合所有不同尺寸的空洞卷积核对应的特征图，得到融合结果，将所述融合结果作为所述待修复图像的新的特征图；
第三部分卷积模块，用于通过部分卷积处理，将所述待修复图像的特征图下采样至第二分辨率，所述第二分辨率低于所述第一分辨率：
反卷积处理模块，用于对所述待修复图像的特征图进行反卷积处理，得到与所述待修复图像分辨率相同的图像，作为修复后图像；
所述第二部分卷积模块，具体用于重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第一分辨率；
利用预设尺寸的卷积核，对所述待修复图像的特征图进行部分卷积处理，得到所述待修复图像的新的特征图，所述部分卷积处理的步长大于1；
所述第三部分卷积模块，具体用于重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第二分辨率，
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行部分卷积处理，得到所述待修复图像的新的特征图，所述部分卷积处理的步长大于1。
在一种可能的实施例中，所述反卷积处理模块，具体用于通过反卷积处理，将所述待修复图像的特征图上采样至所述第一分辨率；
基于所述待修复图像的特征图中待修复图像区域与所述待修复图像的特征图中各个预设区域的相似度，利用注意力机制，计算所述待修复图像区域中各像素点的像素值，得到所述待修复图像的新的特征图；
通过反卷积处理，将所述待修复图像的特征图上采样至与所述待修复图像相同的分辨率，将所述待修复图像的特征图作为修复后的图像；
所述反卷积处理模块，具体用于重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第一分辨率：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理得到所述待修复图像的新的特征图；
所述反卷积处理模块，具体用于重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述待修复图像的分辨率：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理得到所述待修复图像的新的特征图。
在一种可能的实施例中，所述反卷积处理模块，具体用于利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理，得到反卷积处理结果；
将所述反卷积处理结果与对应的特征图融合，得到融合结果，将所述融合结果作为所述待修复图像的新的特征图，所述对应的特征图为在利用所述预设尺寸的卷积核对所述待修复图像的特征图进行部分卷积处理过程中得到的与所述反卷积处理结果分辨率相同的特征图。
在一种可能的实施例中，所述待修复图像的分辨率为2的n次幂*2的n次幂，所述第一分辨率为2的m次幂*2的m次幂，所述第二分辨率为2*2，其中，n和m为大于1的正整数，并且n大于m。
在一种可能的实施例中，所述多个不同尺寸的空洞卷积核包括扩张率为4、8、16的空洞卷积核。
在本发明实施例的第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例提供的图像修复方法、装置及电子设备，可以通过多空洞卷积核的方式降低部分卷积处理过程中语义信息丢失的可能性，使得提取到的特征图能够更好的反映出待修复图像的特征，进而使得得到的修复后的图像更加准确。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的图像修复方法的一种流程示意图；
图2a为一种可能的待修复图像；
图2b为利用本发明实施例提供的图像修复方法对图2a进行图像修复得到的修复后的图像；
图2c为另一种可能的待修复图像；
图2d为利用本发明实施例提供的图像修复方法对图2c进行图像修复得到的修复后的图像；
图2e为另一种可能的待修复图像；
图2f为利用本发明实施例提供的图像修复方法对图2e进行图像修复得到的修复后的图像；
图2g为另一种可能的待修复图像；
图2h为利用本发明实施例提供的图像修复方法对图2h进行图像修复得到的修复后的图像；
图2i为另一种可能的待修复图像；
图2j为利用本发明实施例提供的图像修复方法对图2i进行图像修复得到的修复后的图像；
图3为本发明实施例提供的图像修复网络的一种结构示意图；
图4为本发明实施例提供的基于深度学习的图像修复方法的一种流程示意图；
图5为本发明实施例提供的图像修复装置的一种结构示意图；
图6为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
参见图1，图1所示为本发明实施例提供的图像修复方法的一种流程示意图，可以包括：
S101，利用预设尺寸的卷积核，对待修复图像进行部分卷积核处理，得到修复图像的特征图。
其中，特征图(feature map)为用于表示待修复图像的特征的二维图像，特征图中每个像素点的像素值用于表示待修复图像中一个图像区域或一个像素点的图像特征。本发明实施例中，部分卷积的原理与相关技术中部分卷积的原理相同，因此在此不再赘述。
预设尺寸可以根据应用场景的不同而不同，示例性的，在一种可能的实施例中，可以是2*k+1的卷积核，k为任意正整数。
S102，通过部分卷积处理，将待修复图像的特征图下采样至第一分辨率。
部分卷积处理的步长大于1，例如部分卷积处理的步长可以为2，在其他可能的实施例中步长也可以是其他值。可以理解的是，根据卷积运算的原理，当卷积步长大于1时，在经过部分卷积处理后，得到的新的特征图的分辨率小于经过部分卷积处理前的特征图的分辨率，即该部分卷积处理过程可以视为对待修复图像的下采样过程。根据所选用的卷积核尺寸以及部分卷积处理时的步长的不同，下采样的采样比可以不同。示例性的，经过一次步长为2的部分卷积处理后，得到的新的特征图的分辨率可以是经过部分卷积处理前的特征图的分辨率的二分之一，即假设经过部分卷积处理前的特征图的分辨率为256*256，则得到的新的特征图的分辨率为128*128。
可以是重复执行以下步骤，直至待修复图像的特征图的分辨率等于第一分辨率：
利用预设尺寸的卷积核，对待修复图像的特征图进行部分卷积处理，得到待修复图像的新的特征图。
其中，部分卷积处理的步长大于1，根据待修复图像的分辨率、部分卷积处理的步长，以及第一分辨率的不同，将待修复图像的特征图下采样至第一分辨率，所需要重复执行的次数可以不同。示例性，假设待修复图像的分辨率为512*512，部分卷积处理的步长为2，第一分辨率为64*64，则需要重复执行三次部分卷积处理，使得待修复图像的的特征图的分辨率变为64*64。
S103，分别利用多个不同尺寸的空洞卷积核对待修复图像的特征图进行部分卷积处理，得到多个不同尺寸的空洞卷积核各自对应的特征图。
其中，每个空洞卷积核中非零点的数目与预设尺寸的卷积核中非零点的数目相同。例如，假设预设尺寸为3*3，即预设尺寸的卷积核可以视为3*3的矩阵，并且该矩阵中每个元素的取值均不为零，则空洞卷积核中有且仅有9个元素的取值不为0。
空洞卷积核为只有部分非零点，并且非零点等间隔分布的卷积核，示例性的，为描述方便，假设所有非零点的取值均为1(在其他可能的实施例中非零点的取值可以不为1)，空洞卷积核可以如下矩阵所示：
该空洞卷积核中任意两个相邻的非零点之间相距为2，下文称该空洞卷积核为扩张率为2的空洞卷积核。在另一种可能的实施例中，扩张率为2的空洞卷积核还可以如下所示：
依次类推，如果空洞卷积核中任意两个相邻的非零点之间距离为i，则称该空洞卷积核为扩张率为i的空洞卷积核，例如如下所示的常规3*3卷积核中，相邻元素之间不存在0，故称之为扩张率为1的卷积核：
1 1 1
1 1 1
1 1 1
为描述方便，下面将以扩张率为2的空洞卷积核为例，对空洞卷积核进行说明。对于其他扩张率的空洞卷积核，原理是相同的。由于0与任何数值的乘积均为0，因此在利用空洞卷积核进行卷积运算时，可以忽略空洞卷积核中所有取值为0的元素。因此，利用该空洞卷积核对待修复图像的特征图进行部分卷积处理所需要的计算量，与利用预设尺寸的卷积核对待修复图像的特征进行部分卷积核处理所需要的计算量相同。但是，以预设尺寸为3*3为例，则利用预设尺寸的卷积核进行部分卷积处理，得到的新的特征图中每个像素点，反映了经过部分卷积处理前的特征图中3*3的图像区域的特征。利用扩张率为2的卷积核进行部分卷积处理，并且当空洞卷积核如前述所例举的第一种空洞卷积核所示时，则得到的新的特征图中每个像素点，反映了经过部分卷积处理前的5*5(当空洞卷积核如前述所例举的第二种空洞卷积核所示时为7*7)的图像区域的特征。
因此，利用空洞卷积核可以在不提高计算量的基础上，有效增加新得到的特征图中每个像素点所关联的经过部分卷积处理前的特征图中的图像区域的大小。
S104，融合所有不同尺寸的空洞卷积核对应的特征图，得到融合结果，将融合结果作为待修复图像的新的特征图。
如前述分析，对于预设尺寸的卷积核以及多个不同尺寸的空洞卷积核中的每个不同的卷积核，可以视为从不同尺寸对经过部分卷积处理前的特征图进行特征提取。因此，有利于提取空间层级化信息，减少特征内部数据结构的丢失，从而有效降低语义信息的丢失。
S105，通过部分卷积处理，将待修复图像的特征图下采样至第二分辨率。
其中，第二分辨低于第一分辨率。第二分辨率可以根据用户需求或者实际经验进行设置，本实施例对此不做限制。在一种可能的实施例中，第二分辨率可以是2*2。可以理解的是，将待修复图像的特征图的分辨率下采样至2*2的特征图，可以使得特征图中不包括待修复图像区域。
可以是重复执行以下步骤，直至待修复图像的特征图像的分辨率等于第二分辨率：
利用预设尺寸的卷积核，对待修复图像的特征图进行部分卷积处理，得到待修复图像的新的特征图。
其中，部分卷积处理的步长大于1，根据第一分辨率、部分卷积处理的步长，以及第二分辨率的不同，将待修复图像的特征图下采样至第二分辨率，所需要重复执行的次数可以不同。示例性，假设第一分辨率为64*64，部分卷积处理的步长为2，第二分辨率为2*2，则需要重复执行五次部分卷积处理，使得待修复图像的的特征图的分辨率变为2*2。
S106，对待修复图像的特征图进行反卷积处理，得到与待修复图像分辨率相同的图像，作为修复后的图像。
反卷积处理可以视为对特征图进行上采样的过程，示例性的，在一种可能的实施例中，每次反卷积处理后，得到的新的特征图的分辨率为反卷积处理前特征图分辨率的两倍。例如，假设经过反卷积处理前的特征图的分辨率为4*4，则经过反卷积处理后得到的新的特征图的分辨率为8*8。反卷积处理的过程可以视为部分卷积处理的逆过程，将在后续实施例中进行详细描述，在此不再赘述。
选用该实施例，可以通过多空洞卷积核的方式降低部分卷积处理过程中语义信息丢失的可能性，使得提取到的特征图能够更好的反映出待修复图像的特征，进而使得得到的修复后的图像更加准确。另一方面，由于降低了语义信息丢失的可能性，因此本发明实施例可以使得恢复得到的图像具有丰富的图像结构细节。
可以参见图2a、图2c、图2e、图2g以及图2i，图中白色区域为图像中丢失的图像区域，即待修复的图像区域，图2b为利用本发明实施例提供的图像修复方法对图2a进行修复得到的修复后的图像，图2d为利用本发明实施例提供的图像修复方法对图2c进行修复得到的修复后的图像，图2f为利用本发明实施例提供的图像修复方法对图2e进行修复得到的修复后的图像，图2h为利用本发明实施例提供的图像修复方法对图2g进行修复得到的修复后的图像，图2j为利用本发明实施例提供的图像修复方法对图2i进行修复得到的修复后的图像。可见修复后的图像中，原先丢失的图像区域已经被补全，即得到了修复。
下面将结合具体的应用场景对本发明实施例提供的图像修复方法进行说明。假设待修复图像为512*512的图像，在其他可能的实施例中，也可以是其他分辨率，为了使得通过多次采样率为0.5的下采样能够得到2*2的特征图，在一种可能的实施例中特征图可以是2的n次幂*2的n次幂，其中n为大于1的正整数，例如n可以等于9，此时待修复图像为512*512，为描述方便，下面将以待修复图像为512*512为例进行说明。
在一种可能的实施例中，本发明实施例提供的图像修复方法可以是通过一个基于深度学习得到的神经网络实现，在其他可能的实施例中，也可以是通过多个基于深度学习得到的神经网络实现。
该神经网络的结构可以如图3所示，图3所示为本发明实施例提供的图像修复网络的一种结构示意图，包括部分卷积模块210、多尺度空洞模块220、反卷积模块230以及非局部运算(non-local)模块240。
其中，部分卷积模块210用于通过部分卷积处理，提取输入的特征图或待修复图像卷积的特征。
多尺度空洞模块220用于针对预设尺寸的卷积核以及多个不同尺寸的空洞卷积核中的每个卷积核，利用该卷积核，对待修复图像的特征图进行部分卷积处理，得到该卷积核对应的待修复图像的特征图。并融合预设尺寸的卷积核以及多个不同尺寸的空洞卷积核中所有卷积核对应的待修复图像的特征图，得到融合结果，作为待修复图像的新的特征图。
反卷积模块230用于对待修复图像的特征图进行反卷积处理。
非局部运算模块240用于基于待修复图像的特征图中待修复图像区域与待修复图像的特征图中各个预设区域的相似度，利用注意力机制，计算待修复图像区域中各像素点的像素值，得到待修复图像的新的特征图。
下面将以图2所示的图像修复网络为例，对本发明实施例提供的图像修复方法进行说明。可以参见图4，图4所示为本发明实施例提供的基于深度学习的图像修复方法的一种流程示意图，可以包括：
S401，获取待修复图像和掩码。
其中，待修复图像为分辨率为512*512的图像，掩码用于表示待修复图像中的待修复图像区域，示例性的，掩码可以是分辨率为512*512的图像，并且该图像中待修复图像区域对应的像素值为0，非待修复图像区域的像素值为1。
S402，将待修复图像和掩码输入至部分卷积模块，直至得到分辨率为64*64的特征图。
其中，部分卷积模块所利用的卷积核为3*3的卷积核，部分卷积的步长为2，因此每进行一次部分卷积后，得到的新的特征图的分辨率为进行部分卷积前的特征图的分辨率的二分之一。即待修复图像和掩码第一次输入至部分卷积模块，可以得到分辨率为256*256的特征图。再将该分辨率为256*256的特征图输入至部分卷积模块，可以得到分辨率为128*128的特征图。再将该分辨率为128*128的特征图输入至部分卷积模块，可以得到分辨率为64*64的特征图。
S403，将分辨率为64*64的特征图输入至多尺度空洞模块，得到多尺度空洞模块输出的特征图。
其中，多尺度空洞模块所利用的卷积核包括：3*3的卷积核、扩张率为4的空洞卷积核、扩张率为8的空洞卷积核以及扩张率为16的空洞卷积核。假设利用3*3的卷积核，进行部分卷积处理得到的特征图记为X1，利用扩张率为4的空洞卷积核，进行部分卷积处理得到的特征图记为X2，利用扩张率为8的空洞卷积核，进行部分卷积处理得到的特征图记为X3，利用扩张率为16的空洞卷积核，进行部分卷积处理得到的特征图记为X4，则多尺度空洞模块输出的特征图为X1、X2、X3以及X4进行融合的融合结果。融合的方式根据应用场景的不同可以不同，本实施例对此不做限制。
S404，将待修复图像的特征图输入至部分卷积模块，直至得到分辨率为2*2的特征图。
可以参见前述S402中的相关描述，区别仅在于特征图分辨率的不同，因此在此不再赘述。
S405，将待修复图像的特征图输入至反卷积模块，直至得到分辨率为64*64的特征图。
将分辨率为2*2的特征图输入反卷积模块，得到经过反卷积处理的反卷积处理结果，该反卷积处理结果为分辨率为4*4的特征图，将该特征图与S403中得到的分辨率为4*4的特征图进行融合，得到新的分辨率为4*4的特征图，作为待修复图像的新的特征图。
同理，将新得到的4*4的特征图输入反卷积模块，得到经过反卷积处理的反卷积处理结果，该反卷积处理结果为分辨率为8*8的特征图，将该特征图与S403中得到的分辨率为8*8的特征图进行融合，得到新的分辨率为8*8的特征图，作为待修复图像的新的特征图。
依次类推，直至得到新的分辨率为64*64的特征图。可以理解的是，特征图在进行部分卷积处理的过程中可能会丢失部分纹理特征，因此通过反卷积处理得到的反卷积处理结果，相比于S403中得到的分辨率相同的特征图，可能缺少纹理特征。因此可以将反卷积处理结果与S403中得到的分辨率相同的特征图融合，使得新得到的特征图中充分反映出待修复图像的语义特征，同时又能够充分反映出待修复图像的纹理特征，进而提高修复后的图像的准确性。
S406，将该分辨率为64*64的特征图输入至非局部运算模块，得到待修复图像的新的特征图。
非局部运算模块可以是基于该分辨率为64*64的特征图中待修复图像区域与该分辨率为64*64的特征图中各个预设区域的相似度，并以该相似度作为权重，对各个预设区域的像素值进行加权叠加，将叠加结果作为待修复图像区域的像素值，得到待修复图像的新的特征图。
选用该实施例，可以通过非局部运算的注意力机制，在确定待修复图像区域的像素值时参考整个特征图，进而使得确定得到的像素值中能够更好的反映出特征图的整体特征，降低待修复图像中语义信息丢失的可能性，进而使得修复后的图像更加准确。
S407，将得到的新特征图输入至反卷积模块，直至得到分辨率为512*512的特征图，作为修复后的图像。
反卷积模块的处理逻辑可以参见前述S405的相关描述，在此不再赘述。
参见图5，图5所示为本发明实施例提供的图像修复装置的一种结构示意图，可以包括：
第一部分卷积模块501，用于利用预设尺寸的卷积核，对待修复图像进行部分卷积处理，得到待修复图像的特征图；
第二部分卷积模块502，用于通过部分卷积处理，将待修复图像的特征图下采样至第一分辨率；
空洞卷积模块503，用于分别利用多个不同尺寸的空洞卷积核对待修复图像的特征图进行部分卷积处理，得到多个不同尺寸的空洞卷积核各自对应的特征图，每个空洞卷积核中非零点的数目与预设尺寸的卷积核中非零点的数目相同；
特征融合模块504，用于融合所有不同尺寸的空洞卷积核对应的特征图，得到融合结果，将融合结果作为待修复图像的新的特征图；
第三部分卷积模块505，用于通过部分卷积处理，将待修复图像的特征图下采样至第二分辨率，第二分辨率低于第一分辨率；
反卷积处理模块506，用于对待修复图像的特征图进行反卷积处理，得到与待修复图像分辨率相同的图像，作为修复后图像；
第二部分卷积模块502，具体用于重复执行以下步骤，直至待修复图像的特征图的分辨率等于第一分辨率；
利用预设尺寸的卷积核，对待修复图像的特征图进行部分卷积处理，得到待修复图像的新的特征图，部分卷积处理的步长大于1；
第三部分卷积模块505，具体用于重复执行以下步骤，直至待修复图像的特征图的分辨率等于第二分辨率，
利用预设尺寸的卷积核，对待修复图像的特征图进行部分卷积处理，得到待修复图像的新的特征图，部分卷积处理的步长大于1。
在一种可能的实施例中，反卷积处理模块506，通过反卷积处理，将待修复图像的特征图上采样至第一分辨率；
基于待修复图像的特征图中待修复图像区域与待修复图像的特征图中各个预设区域的相似度，利用注意力机制，计算待修复图像区域中各像素点的像素值，得到待修复图像的新的特征图；
通过反卷积处理，将待修复图像的特征图上采样至与待修复图像相同的分辨率，将待修复图像的特征图作为修复后的图像；
反卷积处理模块506，具体用于重复执行以下步骤，直至待修复图像的特征图的分辨率等于第一分辨率：
利用预设尺寸的卷积核，对待修复图像的特征图进行反卷积处理得到待修复图像的新的特征图；
反卷积处理模块506，具体用于重复执行以下步骤，直至待修复图像的特征图的分辨率等于待修复图像的分辨率：
利用预设尺寸的卷积核，对待修复图像的特征图进行反卷积处理得到待修复图像的新的特征图。
在一种可能的实施例中，反卷积处理模块506，具体用于利用预设尺寸的卷积核，对待修复图像的特征图进行反卷积处理，得到反卷积处理结果；
将反卷积处理结果与对应的特征图融合，得到融合结果，将融合结果作为待修复图像的新的特征图，对应的特征图为在利用预设尺寸的卷积核对待修复图像的特征图进行部分卷积处理过程中得到的与反卷积处理结果分辨率相同的特征图。
在一种可能的实施例中，待修复图像的分辨率为2的n次幂*2的n次幂，第一分辨率为2的m次幂*2的m次幂，第二分辨率为2*2，其中，n和m为大于1的正整数，并且n大于m。
在一种可能的实施例中，多个不同尺寸的空洞卷积核包括扩张率为4、8、16的空洞卷积核。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
利用预设尺寸的卷积核，对待修复图像进行部分卷积处理，得到待修复图像的特征图；
通过部分卷积处理，将待修复图像的特征图下采样至第一分辨率：
分别利用多个不同尺寸的空洞卷积核对待修复图像的特征图进行部分卷积处理，得到多个不同尺寸的空洞卷积核各自对应的特征图，每个空洞卷积核中非零点的数目与预设尺寸的卷积核中非零点的数目相同；
融合所有不同尺寸的空洞卷积核对应的特征图，得到融合结果，将融合结果作为待修复图像的新的特征图；
通过部分卷积处理，将待修复图像的特征图下采样至第二分辨率，第二分辨率低于第一分辨率：
对待修复图像的特征图进行反卷积处理，得到与待修复图像分辨率相同的图像，作为修复后图像；
通过部分卷积处理，将待修复图像的特征图下采样至第一分辨率，包括：
重复执行以下步骤，直至待修复图像的特征图的分辨率等于第一分辨率；
利用预设尺寸的卷积核，对待修复图像的特征图进行部分卷积处理，得到待修复图像的新的特征图，部分卷积处理的步长大于1；
通过部分卷积处理，将待修复图像的特征图下采样至第二分辨率，包括：
重复执行以下步骤，直至待修复图像的特征图的分辨率等于第二分辨率，
利用预设尺寸的卷积核，对待修复图像的特征图进行部分卷积处理，得到待修复图像的新的特征图，部分卷积处理的步长大于1。
在一种可能的实施例中，对待修复特征图进行反卷积处理，得到与待修复图像分辨率相同的图像，作为修复后的图像，包括：
通过反卷积处理，将待修复图像的特征图上采样至第一分辨率；
基于待修复图像的特征图中待修复图像区域与待修复图像的特征图中各个预设区域的相似度，利用注意力机制，计算待修复图像区域中各像素点的像素值，得到待修复图像的新的特征图；
通过反卷积处理，将待修复图像的特征图上采样至与待修复图像相同的分辨率，将待修复图像的特征图作为修复后的图像；
通过反卷积处理，将待修复图像的特征图上采样至第一分辨率，包括：
重复执行以下步骤，直至待修复图像的特征图的分辨率等于第一分辨率：
利用预设尺寸的卷积核，对待修复图像的特征图进行反卷积处理得到待修复图像的新的特征图；
通过反卷积处理，将待修复图像的特征图上采样至与待修复图像相同的分辨率，包括：
重复执行以下步骤，直至待修复图像的特征图的分辨率等于待修复图像的分辨率：
利用预设尺寸的卷积核，对待修复图像的特征图进行反卷积处理得到待修复图像的新的特征图。
在一种可能的实施例中，利用预设尺寸的卷积核，对待修复图像的特征图进行反卷积处理，得到待修复图像的新的特征图，包括：
利用预设尺寸的卷积核，对待修复图像的特征图进行反卷积处理，得到反卷积处理结果；
将反卷积处理结果与对应的特征图融合，得到融合结果，将融合结果作为待修复图像的新的特征图，对应的特征图为在利用预设尺寸的卷积核对待修复图像的特征图进行部分卷积处理过程中得到的与反卷积处理结果分辨率相同的特征图。
在一种可能的实施例中，待修复图像的分辨率为2的n次幂*2的n次幂，第一分辨率为2的m次幂*2的m次幂，第二分辨率为2*2，其中，n和m为大于1的正整数，并且n大于m。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。在一种可能的实施例中，上述的处理器可以是图形处理器(Graphics Processing Unit，GPU)，选用该实施例，可以利用GPU架构的特点，实现半精度浮点数运算，进而有效提高图像修复的效率，可以对视频中的图像帧进行实时修复。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一图像修复方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像修复方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (12)
1.一种图像修复方法，其特征在于，所述方法包括：
利用预设尺寸的卷积核，对待修复图像进行部分卷积处理，得到所述待修复图像的特征图；
通过部分卷积处理，将所述待修复图像的特征图下采样至第一分辨率：
分别利用多个不同尺寸的空洞卷积核对所述待修复图像的特征图进行部分卷积处理，得到所述多个不同尺寸的空洞卷积核各自对应的特征图，每个所述空洞卷积核中非零点的数目与所述预设尺寸的卷积核中非零点的数目相同；
融合所有不同尺寸的空洞卷积核对应的特征图，得到融合结果，将所述融合结果作为所述待修复图像的新的特征图；
通过部分卷积处理，将所述待修复图像的特征图下采样至第二分辨率，所述第二分辨率低于所述第一分辨率：
对所述待修复图像的特征图进行反卷积处理，得到与所述待修复图像分辨率相同的图像，作为修复后图像；
所述通过部分卷积处理，将所述待修复图像的特征图下采样至第一分辨率，包括：
重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第一分辨率；
利用预设尺寸的卷积核，对所述待修复图像的特征图进行部分卷积处理，得到所述待修复图像的新的特征图，所述部分卷积处理的步长大于1；
所述通过部分卷积处理，将所述待修复图像的特征图下采样至第二分辨率，包括：
重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第二分辨率，
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行部分卷积处理，得到所述待修复图像的新的特征图，所述部分卷积处理的步长大于1。
2.根据权利要求1所述的方法，其特征在于，所述对所述待修复特征图进行反卷积处理，得到与所述待修复图像分辨率相同的图像，作为修复后的图像，包括：
通过反卷积处理，将所述待修复图像的特征图上采样至所述第一分辨率；
基于所述待修复图像的特征图中待修复图像区域与所述待修复图像的特征图中各个预设区域的相似度，利用注意力机制，计算所述待修复图像区域中各像素点的像素值，得到所述待修复图像的新的特征图；
通过反卷积处理，将所述待修复图像的特征图上采样至与所述待修复图像相同的分辨率，将所述待修复图像的特征图作为修复后的图像；
所述通过反卷积处理，将所述待修复图像的特征图上采样至所述第一分辨率，包括：
重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第一分辨率：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理得到所述待修复图像的新的特征图；
所述通过反卷积处理，将所述待修复图像的特征图上采样至与所述待修复图像相同的分辨率，包括：
重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述待修复图像的分辨率：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理得到所述待修复图像的新的特征图。
3.根据权利要求2所述的方法，其特征在于，所述利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理，得到所述待修复图像的新的特征图，包括：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理，得到反卷积处理结果；
将所述反卷积处理结果与对应的特征图融合，得到融合结果，将所述融合结果作为所述待修复图像的新的特征图，所述对应的特征图为在利用所述预设尺寸的卷积核对所述待修复图像的特征图进行部分卷积处理过程中得到的与所述反卷积处理结果分辨率相同的特征图。
4.根据权利要求1所述的方法，其特征在于，所述待修复图像的分辨率为2的n次幂*2的n次幂，所述第一分辨率为2的m次幂*2的m次幂，所述第二分辨率为2*2，其中，n和m为大于1的正整数，并且n大于m。
5.根据权利要求1所述的方法，其特征在于，所述多个不同尺寸的空洞卷积核包括扩张率为4、8、16的空洞卷积核。
6.一种图像修复装置，其特征在于，所述装置包括：
第一部分卷积模块，用于利用预设尺寸的卷积核，对待修复图像进行部分卷积处理，得到所述待修复图像的特征图；
第二部分卷积模块，用于通过部分卷积处理，将所述待修复图像的特征图下采样至第一分辨率：
空洞卷积模块，用于分别利用多个不同尺寸的空洞卷积核对所述待修复图像的特征图进行部分卷积处理，得到所述多个不同尺寸的空洞卷积核各自对应的特征图，每个所述空洞卷积核中非零点的数目与所述预设尺寸的卷积核中非零点的数目相同；
特征融合模块，用于融合所有不同尺寸的空洞卷积核对应的特征图，得到融合结果，将所述融合结果作为所述待修复图像的新的特征图；
第三部分卷积模块，用于通过部分卷积处理，将所述待修复图像的特征图下采样至第二分辨率，所述第二分辨率低于所述第一分辨率：
反卷积处理模块，用于对所述待修复图像的特征图进行反卷积处理，得到与所述待修复图像分辨率相同的图像，作为修复后图像；
所述第二部分卷积模块，具体用于重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第一分辨率；
利用预设尺寸的卷积核，对所述待修复图像的特征图进行部分卷积处理，得到所述待修复图像的新的特征图，所述部分卷积处理的步长大于1；
所述第三部分卷积模块，具体用于重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第二分辨率，
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行部分卷积处理，得到所述待修复图像的新的特征图，所述部分卷积处理的步长大于1。
7.根据权利要求6所述的装置，其特征在于，所述反卷积处理模块，具体用于通过反卷积处理，将所述待修复图像的特征图上采样至所述第一分辨率；
基于所述待修复图像的特征图中待修复图像区域与所述待修复图像的特征图中各个预设区域的相似度，利用注意力机制，计算所述待修复图像区域中各像素点的像素值，得到所述待修复图像的新的特征图；
通过反卷积处理，将所述待修复图像的特征图上采样至与所述待修复图像相同的分辨率，将所述待修复图像的特征图作为修复后的图像；
所述反卷积处理模块，具体用于重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述第一分辨率：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理得到所述待修复图像的新的特征图；
所述反卷积处理模块，具体用于重复执行以下步骤，直至所述待修复图像的特征图的分辨率等于所述待修复图像的分辨率：
利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理得到所述待修复图像的新的特征图。
8.根据权利要求7所述的装置，其特征在于，所述反卷积处理模块，具体用于利用所述预设尺寸的卷积核，对所述待修复图像的特征图进行反卷积处理，得到反卷积处理结果；
将所述反卷积处理结果与对应的特征图融合，得到融合结果，将所述融合结果作为所述待修复图像的新的特征图，所述对应的特征图为在利用所述预设尺寸的卷积核对所述待修复图像的特征图进行部分卷积处理过程中得到的与所述反卷积处理结果分辨率相同的特征图。
9.根据权利要求6所述的装置，其特征在于，所述待修复图像的分辨率为2的n次幂*2的n次幂，所述第一分辨率为2的m次幂*2的m次幂，所述第二分辨率为2*2，其中，n和m为大于1的正整数，并且n大于m。
10.根据权利要求6所述的装置，其特征在于，所述多个不同尺寸的空洞卷积核包括扩张率为4、8、16的空洞卷积核。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910774844.4A CN110544214A (zh) | 2019-08-21 | 2019-08-21 | 一种图像修复方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910774844.4A CN110544214A (zh) | 2019-08-21 | 2019-08-21 | 一种图像修复方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110544214A true CN110544214A (zh) | 2019-12-06 |
Family
ID=68711699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910774844.4A Pending CN110544214A (zh) | 2019-08-21 | 2019-08-21 | 一种图像修复方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110544214A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325704A (zh) * | 2020-02-07 | 2020-06-23 | 北京字节跳动网络技术有限公司 | 图像修复方法、装置、电子设备及计算机可读存储介质 |
| CN111681177A (zh) * | 2020-05-18 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 视频处理方法及装置、计算机可读存储介质、电子设备 |
| CN111738958A (zh) * | 2020-06-28 | 2020-10-02 | 字节跳动有限公司 | 图片修复方法、装置、电子设备及计算机可读介质 |
| CN111914841A (zh) * | 2020-08-07 | 2020-11-10 | 温州医科大学 | 一种ct图像处理方法和装置 |
| CN111968034A (zh) * | 2020-07-30 | 2020-11-20 | 北京大米科技有限公司 | 图像复原方法、装置、电子设备和计算机可读存储介质 |
| CN112330545A (zh) * | 2020-09-08 | 2021-02-05 | 中兴通讯股份有限公司 | 空洞填充方法、小区域去除方法、装置和介质 |
| CN112581567A (zh) * | 2020-12-25 | 2021-03-30 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| WO2021169740A1 (zh) * | 2020-02-28 | 2021-09-02 | Oppo广东移动通信有限公司 | 图像修复方法、装置、计算机设备及存储介质 |
| CN113902649A (zh) * | 2021-11-25 | 2022-01-07 | 广州华多网络科技有限公司 | 图像修复方法及其装置、设备、介质、产品 |
| CN115424082A (zh) * | 2022-10-31 | 2022-12-02 | 杭州三坛医疗科技有限公司 | 一种图像处理方法、装置及电子设备 |
| CN116309160A (zh) * | 2023-03-10 | 2023-06-23 | 北京百度网讯科技有限公司 | 图像分辨率修复方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945140A (zh) * | 2017-12-20 | 2018-04-20 | 中国科学院深圳先进技术研究院 | 一种图像修复方法、装置及设备 |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN110009648A (zh) * | 2019-03-04 | 2019-07-12 | 东南大学 | 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法 |
| CN110009576A (zh) * | 2019-02-28 | 2019-07-12 | 西北大学 | 一种壁画图像修复模型建立及修复方法 |
-
2019
- 2019-08-21 CN CN201910774844.4A patent/CN110544214A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945140A (zh) * | 2017-12-20 | 2018-04-20 | 中国科学院深圳先进技术研究院 | 一种图像修复方法、装置及设备 |
| CN108986050A (zh) * | 2018-07-20 | 2018-12-11 | 北京航空航天大学 | 一种基于多分支卷积神经网络的图像和视频增强方法 |
| CN110009576A (zh) * | 2019-02-28 | 2019-07-12 | 西北大学 | 一种壁画图像修复模型建立及修复方法 |
| CN110009648A (zh) * | 2019-03-04 | 2019-07-12 | 东南大学 | 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| GUILIN LIU ET AL.: "Image Inpainting for Irregular Holes Using Partial Convolutions", 《ARXIV:1804.07723V1 [CS.CV]》 * |
| 杨露菁 等: "《智能图像处理及应用》", 31 March 2019 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325704A (zh) * | 2020-02-07 | 2020-06-23 | 北京字节跳动网络技术有限公司 | 图像修复方法、装置、电子设备及计算机可读存储介质 |
| WO2021169740A1 (zh) * | 2020-02-28 | 2021-09-02 | Oppo广东移动通信有限公司 | 图像修复方法、装置、计算机设备及存储介质 |
| CN111681177B (zh) * | 2020-05-18 | 2022-02-25 | 腾讯科技（深圳）有限公司 | 视频处理方法及装置、计算机可读存储介质、电子设备 |
| CN111681177A (zh) * | 2020-05-18 | 2020-09-18 | 腾讯科技（深圳）有限公司 | 视频处理方法及装置、计算机可读存储介质、电子设备 |
| CN111738958A (zh) * | 2020-06-28 | 2020-10-02 | 字节跳动有限公司 | 图片修复方法、装置、电子设备及计算机可读介质 |
| CN111738958B (zh) * | 2020-06-28 | 2023-08-22 | 字节跳动有限公司 | 图片修复方法、装置、电子设备及计算机可读介质 |
| CN111968034A (zh) * | 2020-07-30 | 2020-11-20 | 北京大米科技有限公司 | 图像复原方法、装置、电子设备和计算机可读存储介质 |
| CN111914841A (zh) * | 2020-08-07 | 2020-11-10 | 温州医科大学 | 一种ct图像处理方法和装置 |
| CN111914841B (zh) * | 2020-08-07 | 2023-10-13 | 温州医科大学 | 一种ct图像处理方法和装置 |
| CN112330545B (zh) * | 2020-09-08 | 2021-10-19 | 中兴通讯股份有限公司 | 空洞填充方法、小区域去除方法、装置和介质 |
| CN112330545A (zh) * | 2020-09-08 | 2021-02-05 | 中兴通讯股份有限公司 | 空洞填充方法、小区域去除方法、装置和介质 |
| CN112581567A (zh) * | 2020-12-25 | 2021-03-30 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN112581567B (zh) * | 2020-12-25 | 2024-05-28 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN113902649A (zh) * | 2021-11-25 | 2022-01-07 | 广州华多网络科技有限公司 | 图像修复方法及其装置、设备、介质、产品 |
| CN115424082A (zh) * | 2022-10-31 | 2022-12-02 | 杭州三坛医疗科技有限公司 | 一种图像处理方法、装置及电子设备 |
| CN115424082B (zh) * | 2022-10-31 | 2023-03-21 | 杭州三坛医疗科技有限公司 | 一种图像处理方法、装置及电子设备 |
| CN116309160A (zh) * | 2023-03-10 | 2023-06-23 | 北京百度网讯科技有限公司 | 图像分辨率修复方法、装置、设备及存储介质 |
| CN116309160B (zh) * | 2023-03-10 | 2024-04-12 | 北京百度网讯科技有限公司 | 图像分辨率修复方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110544214A (zh) | 一种图像修复方法、装置及电子设备 | |
| JP6902611B2 (ja) | 物体検出方法、ニューラルネットワークの訓練方法、装置および電子機器 | |
| CN111476719B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN109816659B (zh) | 图像分割方法、装置及系统 | |
| CN112967381B (zh) | 三维重建方法、设备和介质 | |
| CN113570608B (zh) | 目标分割的方法、装置及电子设备 | |
| CN107766703B (zh) | 水印添加处理方法、装置及客户端 | |
| CN108876716B (zh) | 超分辨率重建方法及装置 | |
| CN111932480A (zh) | 去模糊视频恢复方法、装置、终端设备以及存储介质 | |
| CN111145202B (zh) | 模型生成方法、图像处理方法、装置、设备及存储介质 | |
| CN114694005A (zh) | 目标检测模型训练方法和装置、目标检测方法和装置 | |
| CN114239760B (zh) | 多模态模型训练以及图像识别方法、装置、电子设备 | |
| CN116071279A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113888415B (zh) | 一种模型训练以及图像修复方法及装置 | |
| CN113361536B (zh) | 图像语义分割模型训练、图像语义分割方法及相关装置 | |
| CN114758145A (zh) | 一种图像脱敏方法、装置、电子设备及存储介质 | |
| CN114202648A (zh) | 文本图像矫正方法、训练方法、装置、电子设备以及介质 | |
| CN114202457A (zh) | 低分辨率图像的处理方法、电子设备及计算机程序产品 | |
| CN116342434B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN113643173A (zh) | 水印去除方法、装置、终端设备及可读存储介质 | |
| CN107977923B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN113592724A (zh) | 目标人脸图像的修复方法和装置 | |
| CN116030256A (zh) | 小目标分割方法、小目标分割系统、设备和介质 | |
| CN112954454B (zh) | 一种视频帧生成方法及装置 | |
| CN114782251A (zh) | 视频超分方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |