CN113516604A - 图像修复方法 - Google Patents

图像修复方法 Download PDF

Info

Publication number
CN113516604A
CN113516604A CN202111072734.7A CN202111072734A CN113516604A CN 113516604 A CN113516604 A CN 113516604A CN 202111072734 A CN202111072734 A CN 202111072734A CN 113516604 A CN113516604 A CN 113516604A
Authority
CN
China
Prior art keywords
image
network
output
sub
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111072734.7A
Other languages
English (en)
Other versions
CN113516604B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shulian Cloud Computing Technology Co ltd
Original Assignee
Chengdu Shulian Cloud Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shulian Cloud Computing Technology Co ltd filed Critical Chengdu Shulian Cloud Computing Technology Co ltd
Priority to CN202111072734.7A priority Critical patent/CN113516604B/zh
Publication of CN113516604A publication Critical patent/CN113516604A/zh
Application granted granted Critical
Publication of CN113516604B publication Critical patent/CN113516604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像修复方法，涉及图像处理领域，包括：将待修复图像输入图像修复神经网络进行处理获得修复后的图像；图像修复神经网络包括：粗修复子网络，用于对待修复图像进行整体修复处理，获得粗修复图像；特征子网络，用于从粗修复图像中提取目标特征，获得第一特征向量图；分割子网络，用于从粗修复图像中提取所述目标的各个部件图像，获得所述目标的分割图；关键点子网络，用于从粗修复图像中提取获得关键点坐标，基于关键点坐标获得关键点图；精修复子网络，用于将第一特征向量图、分割图和关键点图进行融合，获得修复处理后的图像；本发明着眼于图像超分辨率重建中对目标局部细节的修复效果，能够提升目标局部细节的修复效果。

Description

图像修复方法
技术领域
本发明涉及图像处理领域，具体地，涉及图像修复方法。
背景技术
数字图像超分辨率重建任务的目的是改善图像的质量，以人为对象，改善人的视觉效果，是采用软件算法的方式，由一帧或多帧图像重建转化成更高分辨率图像或视频的技术。由于技术工艺、成本或拍摄状态等因素的限制，导致成像过程中图像上会出现噪声，模糊等情况，而导致图像退化。而图像超分辨率重建算法能够适当的、灵活的增加成像后图像的质量，并且在军事应用，医学分析，公共安全等多个领域发挥了重要的作用。在数字图像超分辨率重建的任务中，输入的是质量低（低分辨率）的图像，输出的是改善质量后（高分辨率）的图像。
图像超分辨率重建理论最初于20世纪60年代提出，经过多年的发展，其理论体系已经逐渐成熟。基于图像超分辨重建算法主要有以下体系：（1）基于非均匀空间样本插值方法，对低分辨率图像采用运动补偿和内插的方法合成一帧高分辨率图像；（2）基于滤波的方法，使用滤波器对低分辨率图像进行重建；（3）基于迭代反向投影方法，对高分辨率图像进行投影到低分辨率图像空间中的低分辨率图像进行估计，计算高分辨率图像与低分辨率图像之间的误差，从而最小化误差。（4）基于统计复原方法，设定一个多重参考的先验模型，设计有效步骤，使得复原后的超分辨率图像的后验概率最大。以上的方法或多或少都存在一定问题。基于非均匀空间样本插值方法限定了低分辨图像中存在的噪声类型相同；基于滤波的方法鲁棒性不够；基于迭代反向投影方法修复结果不唯一，且过程复杂；基于统计复原方法比较理想，但先验模型比较难以获得。
近年来随着深度学习的发展，基于深度学习的方法在图像超分辨率重建领域大放异彩，该方法构造深度神经网络，通过学习逼近重建后图像的样本分布与高分辨率图像样本之间的距离，有着很好的效果。但是以上的方法都是为了在图像整体的视觉效果上给人一种清晰的感觉，对于图像中物体的局部细节的修复效果欠佳。
发明内容
由于现有的图像超分辨率重建方法修复更倾向于图像整体的修复效果，对于特定目标的局部细节修复效果欠佳，本发明着眼于图像超分辨率重建中对目标局部细节的修复效果，能够在一定程度上提升目标局部细节的修复效果。
为实现上述发明目的，本发明提供了图像修复方法，所述方法包括：将待修复图像输入图像修复神经网络，利用所述图像修复神经网络对所述待修复图像进行处理，获得修复后的图像；
所述图像修复神经网络包括：
粗修复子网络，所述粗修复子网络用于对所述待修复图像进行整体修复处理，获得粗修复图像；
特征子网络，所述特征子网络用于从所述粗修复图像中提取目标特征，获得第一特征向量图；
分割子网络，所述分割子网络用于从所述粗修复图像中提取所述目标的各个部件图像，获得所述目标的分割图；
关键点子网络，所述关键点子网络用于从所述粗修复图像中提取获得关键点坐标，基于所述关键点坐标获得关键点图；
精修复子网络，所述精修复子网络用于将所述第一特征向量图、所述分割图和所述关键点图进行融合，获得修复处理后的图像。
其中，本发明中的图像修复神经网络通过粗修复子网络对待修复图像进行整体修复处理，获得粗修复图像，通过特征子网络粗修复图像中提取目标特征，利用分割子网络从粗修复图像中提取所述目标的各个部件图像，利用关键点子网络从粗修复图像中提取获得关键点坐标，即分别利用特征子网络、分割子网络和关键点子网络能够准确的获得目标局部细节，然后通过精修复子网络将获得的这些细节进行融合，获得修复处理后的图像，实现了能够在一定程度上提升物体局部细节的修复效果，本发明图像局部细节的修复使得图像更聚焦于图像中特定的目标，而非图像中背景无用的信息，一定程度上能够影响修复后图像识别、图像理解等任务。
优选的，本发明中所述分割子网络包括第一编码器和第一解码器，所述第一编码器的输入为所述粗修复图像，所述第一编码器的输出为所述第一解码器的输入，所述第一编码器用于对所述粗修复图像进行处理获得第一输出特征，使用跳跃连接将所述粗修复图像的特征和所述第一输出特征进行拼接，获得所述第一编码器的输出；所述第一解码器用于对所述第一编码器的输出进行处理获得第二输出特征，使用跳跃连接将所述第一编码器的输出和所述第二输出特征拼接，获得所述第一解码器的输出。其中，在第一编码器与第一解码器中使用跳跃连接和拼接的操作，能够有效将粗修复图像的低维特征图与高维特征图进行融合。
优选的，本发明中所述粗修复图像的分辨率为
Figure DEST_PATH_IMAGE001
，
Figure 674387DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
和
Figure 880109DEST_PATH_IMAGE004
分别代表图像的宽度，高度和通道数，所述分割图的分辨率为
Figure DEST_PATH_IMAGE005
，
Figure 699161DEST_PATH_IMAGE006
代表目标部件数量，所述第一编码器输出分辨率为
Figure DEST_PATH_IMAGE007
的第一输出特征，所述第一输出特征经过所述第一解码器处理为分辨率为
Figure 149996DEST_PATH_IMAGE005
的分割图像，
Figure 128316DEST_PATH_IMAGE008
为第一预设数值。
优选的，本发明中所述第一编码器包括：多个卷积层、多个批次归一化层和多个激活层；所述第一解码器包括：多个反卷积层、多个批次归一化层和多个激活层。
优选的，本发明中所述特征子网络用于对所述粗修复图像进行处理，获得第三输出特征，使用跳跃连接将所述粗修复图像的特征和所述第三输出特征进行拼接，获得所述特征子网络的输出。
优选的，本发明中所述特征子网络包括N个第一网络单元、1个卷积单元、1个激活单元和1个拼接单元，所述第一网络单元包括：卷积层、批次归一化层和激活层，所述卷积层的输出为所述批次归一化层的输入，所述批次归一化层的输出为所述激活层的输入；第一个第一网络单元的输入为所述粗修复图像，所述第一个第一网络单元的输出为第二个第一网络单元的输入，......，第N个第一网络单元的输入为第N-1个第一网络单元的输出，N为大于或等于2的整数，第N个第一网络单元的输出为所述卷积单元的输入，所述卷积单元的输出为所述激活单元的输入，所述拼接单元用于使用跳跃连接将所述粗修复图像的特征和所述激活单元的输出进行拼接，获得所述特征子网络的输出。其中，通过所述特征子网络能够有效的提取到粗修复图像中的各种特征。
优选的，本发明中所述粗修复子网络包括若干个依次连接的第二网络单元，所述第二网络单元包括：卷积层、批次归一化层和激活层，所述卷积层的输出为所述批次归一化层的输入，所述批次归一化层的输出为所述激活层的输入。其中，利用粗修复子网络可以对大致的轮廓之类的，整个图像的观感进行修复，提高图像质量。
优选的，本发明中所述粗修复子网络用于对所述待修复图像的整体观感进行修复，所述待修复图像的分辨率为
Figure 990093DEST_PATH_IMAGE001
，所述粗修复图像的分辨率为
Figure 421074DEST_PATH_IMAGE001
；
Figure 377398DEST_PATH_IMAGE002
，
Figure 679066DEST_PATH_IMAGE003
和
Figure 836378DEST_PATH_IMAGE004
分别代表图像的宽度，高度和通道数。
优选的，本发明中所述粗修复图像的分辨率为
Figure 364443DEST_PATH_IMAGE001
，
Figure 734244DEST_PATH_IMAGE002
，
Figure 155998DEST_PATH_IMAGE003
和
Figure 218632DEST_PATH_IMAGE004
分别代表图像的宽度，高度和通道数，所述第一特征向量图的分辨率为
Figure DEST_PATH_IMAGE009
，
Figure 247375DEST_PATH_IMAGE010
为第二预设数值。
优选的，本发明中所述关键点子网络包括第二编码器和第二解码器，所述第二编码器的输入为所述粗修复图像，所述第二编码器的输出为所述第二解码器的输入，所述第二编码器用于对所述粗修复图像进行处理获得第四输出特征；所述第二解码器用于对所述第四输出特征进行处理获得所述关键点坐标，基于所述关键点坐标获得所述关键点图。其中，利用关键点子网络可以通过深度神经网络学习到特定物体各个部件细节部分，实现细节修复。
优选的，本发明中所述第二编码器包括：多个卷积层、多个批次归一化层和多个激活层；所述第二解码器包括：多个反卷积层、多个批次归一化层和多个激活层。
优选的，本发明中所述第二编码器的输入为所述粗修复图像，所述粗修复图像的分辨率为
Figure DEST_PATH_IMAGE011
，
Figure 827392DEST_PATH_IMAGE002
，
Figure 369231DEST_PATH_IMAGE003
和
Figure 602767DEST_PATH_IMAGE004
分别代表图像的宽度，高度和通道数，所述第二编码器输出分辨率为
Figure 89112DEST_PATH_IMAGE007
的第二特征向量图，
Figure 800716DEST_PATH_IMAGE008
为第一预设数值，所述第二特征向量图经过所述第二解码器处理得到
Figure 197062DEST_PATH_IMAGE012
个的关键点坐标，基于所述关键点坐标获得所述关键点图。
优选的，本发明中所述基于所述关键点坐标获得关键点图，具体包括：以所述关键点坐标为中心点，基于固定均值和方差，获得满足高斯分布的所述关键点图。通过这种方式能够高效的获得准确的关键点图。
优选的，本发明中所述精修复子网络包括：多个卷积层、多个批次归一化层、多个激活层和多个反卷积层。
优选的，本发明中所述精修复子网络将所述第一特征向量图、所述分割图和所述关键点图进行拼接，获得分辨率为
Figure DEST_PATH_IMAGE013
的特征向量，基于所述特征向量处理得到分辨率为
Figure 742444DEST_PATH_IMAGE014
的所述修复处理后的图像，
Figure 591451DEST_PATH_IMAGE002
，
Figure 372325DEST_PATH_IMAGE003
和
Figure DEST_PATH_IMAGE015
分别代表图像的宽度，高度和通道数，
Figure 514856DEST_PATH_IMAGE016
，
Figure DEST_PATH_IMAGE017
为缩放比例因子，
Figure 355773DEST_PATH_IMAGE018
代表数字相乘，
Figure DEST_PATH_IMAGE019
代表目标部件数量，
Figure 98601DEST_PATH_IMAGE020
为关键点坐标个数，
Figure 417587DEST_PATH_IMAGE021
为第二预设数值。其中，利用精修复子网络可以通过深度神经网络将各个子网络学习到的特征进行融合并使粗修复图像分布逼近高质量图像分布。
优选的，本发明中所述图像修复神经网络的损失函数为
Figure 913159DEST_PATH_IMAGE022
：
Figure 659398DEST_PATH_IMAGE023
其中，
Figure 217419DEST_PATH_IMAGE024
、
Figure 215462DEST_PATH_IMAGE025
、
Figure 440907DEST_PATH_IMAGE026
和
Figure 358047DEST_PATH_IMAGE027
为常数，
Figure 315549DEST_PATH_IMAGE028
为粗修复子网络的损失函数，
Figure DEST_PATH_IMAGE029
为特征子网络的损失函数，
Figure 648442DEST_PATH_IMAGE030
为关键点子网络的损失函数，
Figure DEST_PATH_IMAGE031
为精修复子网络的损失函数。
本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明着眼于图像超分辨率重建中对目标局部细节的修复效果，能够在一定程度上提升目标局部细节的修复效果。
通过本发明中的图像修复神经网络能够对图像进行修复，能够提升图像质量，能够一定程度上对图像中的特定目标的局部细节进行生成、补充和完善，并且在一定程度上满足主观感受。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；
图1为图像修复神经网络的结构示意图；
图2为特征子网络的结构示意图；
图3为应用本发明中图像修复神经网络进行图像修复的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
请参考图1，图1为图像修复神经网络的结构示意图，本发明实施例一提供了图像修复方法，所述方法包括：将待修复图像输入图像修复神经网络，利用所述图像修复神经网络对所述待修复图像进行处理，获得修复后的图像；
所述图像修复神经网络包括：
粗修复子网络，所述粗修复子网络用于对待修复图像进行整体修复处理，获得粗修复图像；
特征子网络，所述特征子网络用于从所述粗修复图像中提取目标特征，获得第一特征向量图；
分割子网络，所述分割子网络用于从所述粗修复图像中提取所述目标的各个部件图像，获得所述目标的分割图；
关键点子网络，所述关键点子网络用于从所述粗修复图像中提取获得关键点坐标，基于所述关键点坐标获得关键点图；
精修复子网络，所述精修复子网络用于将所述第一特征向量图、所述分割图和所述关键点图进行融合，获得修复处理后的图像。
下面分部分对本实施例中的图像修复神经网络进行详细介绍：
粗修复子网络：
粗修复子网络是使用深度神经网络对图像在整体上进行修复的过程。该粗修复子网络由多个卷积层、批次归一化层和激活层的组合构成。对于一张输入分辨率为
Figure 993972DEST_PATH_IMAGE001
并包含特定物体的图像，
Figure 472227DEST_PATH_IMAGE002
，
Figure 270419DEST_PATH_IMAGE032
和
Figure 469319DEST_PATH_IMAGE015
分别代表图像的宽度，高度和通道数，经过该网络后将得到粗修复的图像，其分辨率也为
Figure 967559DEST_PATH_IMAGE001
。
在训练阶段，粗修复子网络输出的粗修复图像将与同分辨率中质量图像进行比较，进行损失计算，其约束了粗修复子网络权重更新；在预测阶段，则直接输出粗修复图像，并作为以后子网络的输入。
粗修复子网络是对大致的轮廓之类的，整个图像的观感进行修复，而精修复子网络由于有关键点等其他信息的加入，所以更偏重细节的修复效果。
特征子网络：
特征子网络的作用是通过深度神经网络，提取粗修复图像中特定目标的特征。其使用粗修复子网络步骤中的输出结果，粗修复图像，作为输入，输出分辨率为
Figure 492081DEST_PATH_IMAGE009
的特征向量图。如图2所示，图2为特征子网络的结构示意图，该子网络结构由多个卷积层、批次归一化层和激活层组合构成，并使用跳跃连接和拼接的操作，将粗修复图像的低维特征与高维特征进行融合。特征子网络能够有效的提取到粗修复图像中的各种特征。
分割子网络：
分割子网络的作用是通过深度神经网络学习到特定目标各个部件修复的过程，保证在修复过程中各部件的轮廓和细节能够得到保留和提升。使用粗修复子网络中输出的粗修复图像作为输入，输出分辨率为
Figure 511989DEST_PATH_IMAGE005
的分割图像。其中
Figure 655526DEST_PATH_IMAGE006
代表标注的物体部件数量，其每个通道的图像代表各个物体的部件。该子网络结构采用“编码器”=“解码器”的网络结构构成。“编码器”由多个卷积层、批次归一化层和激活层组合构成，输入分辨率为
Figure 444490DEST_PATH_IMAGE001
的图像，输出分辨率为
Figure 874335DEST_PATH_IMAGE007
的特征向量图。之后分辨率为
Figure 771752DEST_PATH_IMAGE007
的特征向量图，经过多个反卷积层、批次归一化层和激活层组合构成的“解码器”得到分辨率为
Figure 578034DEST_PATH_IMAGE005
的分割图像。在“编码器”与解码器中使用跳跃连接和拼接的操作，将粗修复图像的低维特征图与高维特征图进行融合。
Figure 221505DEST_PATH_IMAGE006
代表目标部件数量，
Figure 87830DEST_PATH_IMAGE008
为第一预设数值，可以根据需要进行设定。
在训练阶段，分割子网络输出的粗修复图像将与标注的物体各部件的分割图进行比较，进行损失计算，其约束了分割子网络权重更新；在预测阶段，则直接输出特定图像各个部件的分割图，并作为以后子网络的输入。
关键点子网络：
关键点子网络的作用是通过深度神经网络学习到特定物体各个部件细节部分修复的过程。使用粗修复子网络输出的粗修复图像作为输入，输出
Figure 957697DEST_PATH_IMAGE012
个关键点的坐标，其中
Figure 567670DEST_PATH_IMAGE012
为标注的物体关键点个数。该子网络采用“编码器”-“解码器”的网络结构。“编码器”由多个卷积层、批次归一化层和激活层的组合构成，输入分辨率为
Figure 331227DEST_PATH_IMAGE001
的图像，输出分辨率为
Figure 991622DEST_PATH_IMAGE007
的特征向量图。之后分辨率为
Figure 473419DEST_PATH_IMAGE007
的特征向量图，经过多个反卷积层、批次归一化层和激活层的组合构成的“解码器”得到为
Figure 621503DEST_PATH_IMAGE012
个的关键点坐标。
在训练阶段，关键点子网络输出的关键点坐标将与标注的关键点坐标进行比较，进行损失计算，约束分割子网络权重更新；在预测阶段，将输出关键点坐标，并根据此坐标在分辨率为
Figure DEST_PATH_IMAGE033
的图像上，生成以此坐标点为中点的，以固定均值和方差满足高斯分布的关键点图，作为以后子网络的输入。
精修复子网络：
精修复子网络作用是通过深度神经网络，将各个子网络学习到的特征进行融合并使粗修复图像分布逼近高质量图像分布的过程。该子网络结构由多个卷积层、批次归一化层与激活层和反卷积层构成。对于特征子网络、分割子网络和关键点子网络输出使用拼接操作，得到分辨率为
Figure 646091DEST_PATH_IMAGE013
的特征向量，其中
Figure 588639DEST_PATH_IMAGE016
。之后，将该特征向量输入到精修复子网络，得到分辨率为
Figure 416787DEST_PATH_IMAGE014
，其中
Figure 368562DEST_PATH_IMAGE017
为缩放比例因子，
Figure 841132DEST_PATH_IMAGE018
代表数字相乘。缩放比例因子的大小可以根据实际需要进行调整。
在训练阶段，精修复子网络输出的精修复图像与高质量图像进行比较，进行损失计算，其约束了分割子网络权重更新；在预测阶段，则直接输出精修复后的图像。
损失函数设定：
对于该超分辨重建神经网络而言，包括四个子任务：粗修复图像、分割部件、检测关键点和精修复图像，分别对应粗修复子网络、特征子网络、分割子网络和关键点子网络。对于粗修复图像任务，设定损失函数为“均方误差”，简写为
Figure 361106DEST_PATH_IMAGE028
;设定分割部件任务的损失函数为“交叉熵损失”，简写为
Figure 551916DEST_PATH_IMAGE034
；设定关键点检测损失为“平滑L1损失(Smooth L1Loss)”,简写为；对于精修复图像任务，设定损失函数为“均方误差”，简写为
Figure 41803DEST_PATH_IMAGE031
；
对于整个超分辨重建神经网络的总损失为：
Figure DEST_PATH_IMAGE035
其中
Figure 791716DEST_PATH_IMAGE024
、
Figure 341646DEST_PATH_IMAGE025
、
Figure 754173DEST_PATH_IMAGE036
和
Figure 923117DEST_PATH_IMAGE027
为常数。
实施例二
请参考图3，图3为应用本发明中图像修复神经网络进行图像修复的流程示意图，具体方式为：
数据标注：
数据标注是人为将图像中的物体各部件进行标注的过程。在此处实施例中，将以含有飞机的图像为例介绍，并假设该图像大小为
Figure DEST_PATH_IMAGE037
，其中
Figure 901437DEST_PATH_IMAGE017
为缩放比例因子。在数据标注过程中，需要将飞机图像中的各个部件标注出来，例如：机身、左右机翼、左右机尾共五个部件。并且标注出比较重要的关键点，例如：机头、机尾、左右机翼共四个关键点。以上部件和关键点的数量不唯一，根据个人判断而定。
数据预处理
数据预处理是处理图像和标注结果的过程，以便后续步骤使用。
将现有的图像（简称：高质量图像）的分辨率由
Figure 746902DEST_PATH_IMAGE037
缩放到
Figure 912304DEST_PATH_IMAGE011
，称此时的图像为中质量图像。将中质量图像先缩放到
Figure 743994DEST_PATH_IMAGE038
，再缩放到
Figure 45663DEST_PATH_IMAGE001
，（此操作的目的是构建数据集进行训练，因为训练是采用有监督学习，所以这样操作可以将原本高清的图像，模糊化）则称此时的图像为低质量图像。此步骤目的是构造数据集，通过现有的高质量图像数据集，通过缩放的方式构造低质量图像。而低质量图像将输入至神经网络中，神经网络的输出结果将与高质量图像进行损失计算。
根据图像中飞机各部件的标注结果，在分辨率为
Figure DEST_PATH_IMAGE039
的黑色为背景的图像上，以填充的方式画出飞机的部件，每个部件得到一张分割图。在分割图的数字图像中，只含有0和1两个数字，其中1形成的区域与高质量图像中的区域大小、形状相同，并将5张分割图的分辨率缩放到
Figure 343920DEST_PATH_IMAGE033
。
根据图像中关键点的标注结果，计算关键点的坐标。并以该坐标为中心，在分辨率为
Figure 731039DEST_PATH_IMAGE040
的黑色为背景的图像上，以均值为0，方差为1的高斯分布的数值填充图像的像素值，并将4张关键点图的分辨率缩放到
Figure DEST_PATH_IMAGE041
。
至此得到高质量图，中质量图，低质量图，部件分割图和关键点图。
神经网络训练：
粗修复网络：粗修复子网络由多个卷积层、批次归一化层和激活层构成。对于一张输入分辨率为
Figure 520747DEST_PATH_IMAGE011
并包含飞机的图像，
Figure 83446DEST_PATH_IMAGE002
，
Figure 146080DEST_PATH_IMAGE003
和
Figure 286075DEST_PATH_IMAGE004
分别代表图像的宽度，高度和通道数，经过该网络后将得到粗修复的图像，其分辨率也为
Figure 849780DEST_PATH_IMAGE001
。
在训练阶段，粗修复子网络输出的粗修复图像将与同分辨率中质量图像进行比较，使用均方误差函数进行损失计算，计算粗修复图像与中质量图像之间损失，并简称为
Figure 126041DEST_PATH_IMAGE028
。
特征子网络：特征子网络的作用是通过深度神经网络，提取粗修复图像中特定物体的特征。使用粗修复网络输出的粗修复图像作为输入，输出分辨率为
Figure 359576DEST_PATH_IMAGE009
的特征向量图，在一个最佳实施例中，
Figure 596653DEST_PATH_IMAGE010
取值为32。该子网络结构由多个卷积层、批次归一化层和激活层构成，并使用跳跃连接和拼接的操作，将粗修复图像的低维特征与高维特征进行融合。特征子网络能够有效的提取到粗修复图像中的各种特征。
分割子网络：分割子网络的目的是通过深度神经网络学习到特定物体各个部件修复的过程，保证在修复过程中各部件的轮廓和细节能够得到保留和提升。使用粗修复网络输出的粗修复图像作为输入，输出分辨率为
Figure 573837DEST_PATH_IMAGE005
的分割图像。其中
Figure 235762DEST_PATH_IMAGE006
代表标注的物体部件的数量，其每个通道的图像代表各个物体的部件图，在此实施例中，
Figure 266297DEST_PATH_IMAGE006
为5。该子网络结构采用“编码器”-“解码器”的网络结构。“编码器”由多个卷积层、批次归一化层和激活层构成，输入分辨率为
Figure 849725DEST_PATH_IMAGE001
的粗修复图像，输出分辨率为
Figure 630599DEST_PATH_IMAGE007
的特征向量图，在一个最佳实施例中，
Figure 881452DEST_PATH_IMAGE008
为128。之后分辨率为
Figure 597736DEST_PATH_IMAGE007
的特征向量图，经过多个反卷积层、批次归一化层和激活层构成的“解码器”得到分辨率为
Figure 668460DEST_PATH_IMAGE005
的分割图像。在“编码器”与解码器中使用跳跃连接和拼接的操作，将粗修复图像的低维特征图与高维特征图进行融合。
在训练阶段，分割子网络输出的粗修复图像将与数据预处理中得到的分割图进行比较，使用交叉熵损失函数，对分割子网络输出的粗修复图像将与数据预处理中得到的分割图进行损失计算，得到损失
Figure 987446DEST_PATH_IMAGE034
；
关键点子网络：关键点子网络的目标是通过深度神经网络学习到特定物体各个部件细节部分修复的过程。使用粗修复网络输出的粗修复图像作为输入，输出
Figure 483018DEST_PATH_IMAGE012
个关键点的坐标，其中
Figure 229257DEST_PATH_IMAGE012
为标注的物体关键点个数，在此实施例中，
Figure 52857DEST_PATH_IMAGE012
为4。该子网络同样结构采用“编码器”-“解码器”的网络结构。“编码器”由多个卷积层、批次归一化层和激活层构成，输入分辨率为
Figure 785320DEST_PATH_IMAGE001
的图像，输出分辨率为
Figure 10765DEST_PATH_IMAGE007
的特征向量图。之后分辨率为
Figure 927906DEST_PATH_IMAGE007
的特征向量图，经过多个反卷积层、批次归一化层和激活层构成的“解码器”得到为
Figure 973222DEST_PATH_IMAGE012
个的关键点坐标。在一个最佳实施例中
Figure 522759DEST_PATH_IMAGE008
为128。
在训练阶段，关键点子网络输出的关键点坐标将与标注的关键点坐标进行比较，使用SmoothL1损失函数进行损失计算，得到损失
Figure 602710DEST_PATH_IMAGE030
。
精修复子网络：精修复子网络作用是通过深度神经网络，将各个子网络学习到的特征进行融合并使粗修复图像分布逼近高质量图像分布的过程。该子网络结构由多个卷积层、批次归一化层与激活层和反卷积层构成。对于特征子网络、分割子网络和关键点子网络、的输出使用拼接操作，得到分辨率为
Figure 690752DEST_PATH_IMAGE013
的特征向量，其中
Figure 98731DEST_PATH_IMAGE016
，在此实施例中
Figure 563210DEST_PATH_IMAGE042
为41。之后，将该特征向量输入到精修复子网络，得到分辨率为
Figure 763247DEST_PATH_IMAGE037
,其中
Figure 146824DEST_PATH_IMAGE017
为缩放比例因子，可以根据实际需求来选择。一般选择的范围在2-4，缩放因子越好，修复的效果越好。
Figure 166733DEST_PATH_IMAGE018
代表数字相乘。
在训练阶段，精修复子网络输出的精修复图像与高质量图像进行比较，使用进行均误方差损失函数进行损失计算，得到损失
Figure 434903DEST_PATH_IMAGE031
。
至此可以得到整个神经网络的损失函数：
Figure DEST_PATH_IMAGE043
在一个最佳实施例中
Figure 630392DEST_PATH_IMAGE044
，
Figure DEST_PATH_IMAGE045
。在此参数在的情况下，能够得到很好的效果。
在训练过程中，使用梯度下降的方法对神经网络中的权重进行更新。
神经网络预测，包括：
步骤a：输入一张分辨率为
Figure 325816DEST_PATH_IMAGE001
含有飞机的低质量图像。
步骤b：经过粗修复子网络，得到分辨率为
Figure 459119DEST_PATH_IMAGE001
的粗修复图像。
步骤c：将分辨率为
Figure 265401DEST_PATH_IMAGE001
的粗修复图像送入特征子网络，得到分辨率为
Figure 908872DEST_PATH_IMAGE046
的特征向量图。
步骤d：将分辨率为
Figure 916142DEST_PATH_IMAGE001
的粗修复图像送入分割子网络，得到分辨为
Figure DEST_PATH_IMAGE047
的分割图像。
步骤e：将分辨率为
Figure 910643DEST_PATH_IMAGE001
的粗修复图像送入关键点子网络，得到4个关键点。将输出关键点坐标，并根据此坐标在分辨率为
Figure 520616DEST_PATH_IMAGE048
的图像上，生成以此坐标点为中点的，以固定均值和方差满足高斯分布的关键点图，并将各关键点图进行拼接，最终得到分辨率
Figure DEST_PATH_IMAGE049
的关键点图。
步骤f：将步骤c，步骤d和步骤e的结果进行拼接，得到分辨率为
Figure 674385DEST_PATH_IMAGE050
的特征向量图。
步骤g：将步骤f中分辨率为
Figure 711612DEST_PATH_IMAGE050
的特征向量图送入精修复子网络，得到分辨率为
Figure 803196DEST_PATH_IMAGE014
的精修复图像。
至此完成整个过程，整个流程图如图3所示。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.图像修复方法，其特征在于，所述方法包括：将待修复图像输入图像修复神经网络，利用所述图像修复神经网络对所述待修复图像进行处理，获得修复后的图像；
所述图像修复神经网络包括：
粗修复子网络，所述粗修复子网络用于对所述待修复图像进行整体修复处理，获得粗修复图像；
特征子网络，所述特征子网络用于从所述粗修复图像中提取目标特征，获得第一特征向量图；
分割子网络，所述分割子网络用于从所述粗修复图像中提取所述目标的各个部件图像，获得所述目标的分割图；
关键点子网络，所述关键点子网络用于从所述粗修复图像中提取获得关键点坐标，基于所述关键点坐标获得关键点图；
精修复子网络，所述精修复子网络用于将所述第一特征向量图、所述分割图和所述关键点图进行融合，获得修复处理后的图像。
2.根据权利要求1所述的图像修复方法，其特征在于，所述分割子网络包括第一编码器和第一解码器，所述第一编码器的输入为所述粗修复图像，所述第一编码器的输出为所述第一解码器的输入，所述第一编码器用于对所述粗修复图像进行处理获得第一输出特征，使用跳跃连接将所述粗修复图像的特征和所述第一输出特征进行拼接，获得所述第一编码器的输出；所述第一解码器用于对所述第一编码器的输出进行处理获得第二输出特征，使用跳跃连接将所述第一编码器的输出和所述第二输出特征拼接，获得所述第一解码器的输出。
3.根据权利要求2所述的图像修复方法，其特征在于，所述粗修复图像的分辨率为
Figure 515742DEST_PATH_IMAGE001
，
Figure 218119DEST_PATH_IMAGE002
，
Figure 48672DEST_PATH_IMAGE003
和
Figure 494697DEST_PATH_IMAGE004
分别代表图像的宽度，高度和通道数，所述分割图的分辨率为
Figure 218939DEST_PATH_IMAGE005
，
Figure 826638DEST_PATH_IMAGE006
代表目标部件数量，所述第一编码器输出分辨率为
Figure 144487DEST_PATH_IMAGE007
的第一输出特征，所述第一输出特征经过所述第一解码器处理为分辨率为
Figure 253257DEST_PATH_IMAGE005
的分割图像，
Figure 972952DEST_PATH_IMAGE008
为第一预设数值。
4.根据权利要求3所述的图像修复方法，其特征在于，所述第一编码器包括：多个卷积层、多个批次归一化层和多个激活层；所述第一解码器包括：多个反卷积层、多个批次归一化层和多个激活层。
5.根据权利要求1所述的图像修复方法，其特征在于，所述特征子网络用于对所述粗修复图像进行处理，获得第三输出特征，使用跳跃连接将所述粗修复图像的特征和所述第三输出特征进行拼接，获得所述特征子网络的输出。
6.根据权利要求5所述的图像修复方法，其特征在于，所述特征子网络包括N个第一网络单元、1个卷积单元、1个激活单元和1个拼接单元，所述第一网络单元包括：卷积层、批次归一化层和激活层，所述卷积层的输出为所述批次归一化层的输入，所述批次归一化层的输出为所述激活层的输入；第一个第一网络单元的输入为所述粗修复图像，所述第一个第一网络单元的输出为第二个第一网络单元的输入，......，第N个第一网络单元的输入为第N-1个第一网络单元的输出，N为大于或等于2的整数，第N个第一网络单元的输出为所述卷积单元的输入，所述卷积单元的输出为所述激活单元的输入，所述拼接单元用于使用跳跃连接将所述粗修复图像的特征和所述激活单元的输出进行拼接，获得所述特征子网络的输出。
7.根据权利要求1所述的图像修复方法，其特征在于，所述粗修复子网络包括若干个依次连接的第二网络单元，所述第二网络单元包括：卷积层、批次归一化层和激活层，所述卷积层的输出为所述批次归一化层的输入，所述批次归一化层的输出为所述激活层的输入。
8.根据权利要求1所述的图像修复方法，其特征在于，所述粗修复子网络用于对所述待修复图像的整体观感进行修复，所述待修复图像的分辨率为
Figure 751552DEST_PATH_IMAGE009
，所述粗修复图像的分辨率为
Figure 179866DEST_PATH_IMAGE001
；
Figure 967693DEST_PATH_IMAGE002
，
Figure 276315DEST_PATH_IMAGE003
和
Figure 616029DEST_PATH_IMAGE004
分别代表图像的宽度，高度和通道数。
9.根据权利要求1所述的图像修复方法，其特征在于，所述粗修复图像的分辨率为
Figure 642891DEST_PATH_IMAGE001
，
Figure 234409DEST_PATH_IMAGE002
，
Figure 663117DEST_PATH_IMAGE003
和
Figure 173732DEST_PATH_IMAGE004
分别代表图像的宽度，高度和通道数，所述第一特征向量图的分辨率为
Figure 687890DEST_PATH_IMAGE010
，
Figure 817520DEST_PATH_IMAGE011
为第二预设数值。
10.根据权利要求1所述的图像修复方法，其特征在于，所述关键点子网络包括第二编码器和第二解码器，所述第二编码器的输入为所述粗修复图像，所述第二编码器的输出为所述第二解码器的输入，所述第二编码器用于对所述粗修复图像进行处理获得第四输出特征；所述第二解码器用于对所述第四输出特征进行处理获得所述关键点坐标，基于所述关键点坐标获得所述关键点图。
11.根据权利要求10所述的图像修复方法，其特征在于，所述第二编码器包括：多个卷积层、多个批次归一化层和多个激活层；所述第二解码器包括：多个反卷积层、多个批次归一化层和多个激活层。
12.根据权利要求10所述的图像修复方法，其特征在于，所述第二编码器的输入为所述粗修复图像，所述粗修复图像的分辨率为
Figure 225368DEST_PATH_IMAGE009
，
Figure 782251DEST_PATH_IMAGE002
，
Figure 783705DEST_PATH_IMAGE003
和
Figure 343125DEST_PATH_IMAGE012
分别代表图像的宽度，高度和通道数，所述第二编码器输出分辨率为
Figure 215266DEST_PATH_IMAGE007
的第二特征向量图，
Figure 208630DEST_PATH_IMAGE008
为第一预设数值，所述第二特征向量图经过所述第二解码器处理得到
Figure 556434DEST_PATH_IMAGE013
个的关键点坐标，基于所述关键点坐标获得所述关键点图。
13.根据权利要求1所述的图像修复方法，其特征在于，所述基于所述关键点坐标获得关键点图，具体包括：以所述关键点坐标为中心点，基于固定均值和方差，获得满足高斯分布的所述关键点图。
14.根据权利要求1所述的图像修复方法，其特征在于，所述精修复子网络包括：多个卷积层、多个批次归一化层、多个激活层和多个反卷积层。
15.根据权利要求1-14中任意一个所述的图像修复方法，其特征在于，所述精修复子网络将所述第一特征向量图、所述分割图和所述关键点图进行拼接，获得分辨率为
Figure 27867DEST_PATH_IMAGE014
的特征向量，基于所述特征向量处理得到分辨率为
Figure 285673DEST_PATH_IMAGE015
的所述修复处理后的图像，
Figure 308993DEST_PATH_IMAGE002
，
Figure 19460DEST_PATH_IMAGE003
和
Figure 153638DEST_PATH_IMAGE012
分别代表图像的宽度，高度和通道数，
Figure 531530DEST_PATH_IMAGE016
，
Figure 335538DEST_PATH_IMAGE017
为缩放比例因子，
Figure 257986DEST_PATH_IMAGE018
代表数字相乘，
Figure 805642DEST_PATH_IMAGE019
代表目标部件数量，
Figure 38041DEST_PATH_IMAGE020
为关键点坐标个数，
Figure 137584DEST_PATH_IMAGE021
为第二预设数值。
16.根据权利要求1所述的图像修复方法，其特征在于，所述图像修复神经网络的损失函数为
Figure 822643DEST_PATH_IMAGE022
：
Figure 564203DEST_PATH_IMAGE023
其中，
Figure 651107DEST_PATH_IMAGE024
、
Figure 328076DEST_PATH_IMAGE025
、
Figure 828328DEST_PATH_IMAGE026
和
Figure 343885DEST_PATH_IMAGE027
为常数，
Figure 550876DEST_PATH_IMAGE028
为粗修复子网络的损失函数，
Figure 133167DEST_PATH_IMAGE029
为特征子网络的损失函数，
Figure 792818DEST_PATH_IMAGE030
为关键点子网络的损失函数，
Figure 610601DEST_PATH_IMAGE031
为精修复子网络的损失函数。
CN202111072734.7A 2021-09-14 2021-09-14 图像修复方法 Active CN113516604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111072734.7A CN113516604B (zh) 2021-09-14 2021-09-14 图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111072734.7A CN113516604B (zh) 2021-09-14 2021-09-14 图像修复方法

Publications (2)

Publication Number Publication Date
CN113516604A true CN113516604A (zh) 2021-10-19
CN113516604B CN113516604B (zh) 2021-11-16

Family

ID=78063114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111072734.7A Active CN113516604B (zh) 2021-09-14 2021-09-14 图像修复方法

Country Status (1)

Country Link
CN (1) CN113516604B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309160A (zh) * 2023-03-10 2023-06-23 北京百度网讯科技有限公司 图像分辨率修复方法、装置、设备及存储介质
CN117934338A (zh) * 2024-03-22 2024-04-26 四川轻化工大学 一种图像修复方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090274350A1 (en) * 2008-04-30 2009-11-05 Otismed Corporation System and method for image segmentation in generating computer models of a joint to undergo arthroplasty
CN104063702A (zh) * 2014-07-16 2014-09-24 中南大学 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
US20160163083A1 (en) * 2013-08-08 2016-06-09 University Of Florida Research Foundation, Incorporated Real-time reconstruction of the human body and automated avatar synthesis
CN105956579A (zh) * 2016-05-27 2016-09-21 国创科视科技股份有限公司 融合模糊模板和点特征的手指静脉快速识别方法
CN106204440A (zh) * 2016-06-29 2016-12-07 北京互信互通信息技术有限公司 一种多帧超分辨图像重建方法及系统
CN109389562A (zh) * 2018-09-29 2019-02-26 深圳市商汤科技有限公司 图像修复方法及装置
CN111553864A (zh) * 2020-04-30 2020-08-18 深圳市商汤科技有限公司 图像修复方法及装置、电子设备和存储介质
CN112116543A (zh) * 2020-09-25 2020-12-22 中国科学院自动化研究所 基于检测式生成框架的图像修复方法、系统及装置
CN112950475A (zh) * 2021-03-05 2021-06-11 北京工业大学 一种基于残差学习及空间变换网络的光场超分辨率重建方法
CN113378721A (zh) * 2021-06-11 2021-09-10 西安电子科技大学 一种基于对称和局部判别的生成对抗人脸校正方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090274350A1 (en) * 2008-04-30 2009-11-05 Otismed Corporation System and method for image segmentation in generating computer models of a joint to undergo arthroplasty
US20160163083A1 (en) * 2013-08-08 2016-06-09 University Of Florida Research Foundation, Incorporated Real-time reconstruction of the human body and automated avatar synthesis
CN104063702A (zh) * 2014-07-16 2014-09-24 中南大学 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN105956579A (zh) * 2016-05-27 2016-09-21 国创科视科技股份有限公司 融合模糊模板和点特征的手指静脉快速识别方法
CN106204440A (zh) * 2016-06-29 2016-12-07 北京互信互通信息技术有限公司 一种多帧超分辨图像重建方法及系统
CN109389562A (zh) * 2018-09-29 2019-02-26 深圳市商汤科技有限公司 图像修复方法及装置
CN111553864A (zh) * 2020-04-30 2020-08-18 深圳市商汤科技有限公司 图像修复方法及装置、电子设备和存储介质
CN112116543A (zh) * 2020-09-25 2020-12-22 中国科学院自动化研究所 基于检测式生成框架的图像修复方法、系统及装置
CN112950475A (zh) * 2021-03-05 2021-06-11 北京工业大学 一种基于残差学习及空间变换网络的光场超分辨率重建方法
CN113378721A (zh) * 2021-06-11 2021-09-10 西安电子科技大学 一种基于对称和局部判别的生成对抗人脸校正方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIANG LIAO等: "Guidance and Evaluation: Semantic-Aware Image Inpainting for Mixed Scenes", 《ARXIV：2003.06877V3》 *
YI WANG等: "Image Inpainting via Generative Multi-column Convolutional Neural Networks", 《ARXIV：1810.08771V1》 *
沈玲: "基于语义感知深度模型的图像修复方法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
白宗文等: "基于多尺度特征融合的人脸图像修复方法", 《计算机工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309160A (zh) * 2023-03-10 2023-06-23 北京百度网讯科技有限公司 图像分辨率修复方法、装置、设备及存储介质
CN116309160B (zh) * 2023-03-10 2024-04-12 北京百度网讯科技有限公司 图像分辨率修复方法、装置、设备及存储介质
CN117934338A (zh) * 2024-03-22 2024-04-26 四川轻化工大学 一种图像修复方法和系统

Also Published As

Publication number Publication date
CN113516604B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
Chen et al. Progressive semantic-aware style transformation for blind face restoration
Yang et al. Deep edge guided recurrent residual learning for image super-resolution
Yu et al. Generative image inpainting with contextual attention
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
Jiang et al. Single image super-resolution via locally regularized anchored neighborhood regression and nonlocal means
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN113516604B (zh) 图像修复方法
Huang et al. Deep hyperspectral image fusion network with iterative spatio-spectral regularization
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN111161360A (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN106157249A (zh) 基于光流法和稀疏邻域嵌入的单图像超分辨率重建算法
CN113658040A (zh) 一种基于先验信息和注意力融合机制的人脸超分辨方法
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
Rai et al. Removing atmospheric turbulence via deep adversarial learning
DE102023104829A1 (de) Objektklasseninpainting - bzw. manipulieren in Digitalbildern unter Einsatz von klassenspezifischen Inpainting-Neuronalen- Netzwerken
Uddin et al. A perceptually inspired new blind image denoising method using $ L_ {1} $ and perceptual loss
Wang et al. Learning to hallucinate face in the dark
CN113781324A (zh) 一种老照片修复方法
Zang et al. Cascaded dense-UNet for image super-resolution
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN116523985A (zh) 一种结构和纹理特征引导的双编码器图像修复方法
Zhang et al. Domain embedded multi-model generative adversarial networks for image-based face inpainting
CN111950496B (zh) 一种蒙面人身份识别方法
Zhang et al. Face deblurring based on separable normalization and adaptive denormalization
Qin et al. Remote sensing image super-resolution using multi-scale convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant