CN115423697A - 图像修复方法、终端及计算机存储介质 - Google Patents

图像修复方法、终端及计算机存储介质 Download PDF

Info

Publication number
CN115423697A
CN115423697A CN202210960849.8A CN202210960849A CN115423697A CN 115423697 A CN115423697 A CN 115423697A CN 202210960849 A CN202210960849 A CN 202210960849A CN 115423697 A CN115423697 A CN 115423697A
Authority
CN
China
Prior art keywords
image
network
repaired
scale
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210960849.8A
Other languages
English (en)
Inventor
陈志波
刘森
杨智尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
University of Science and Technology of China USTC
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical University of Science and Technology of China USTC
Priority to CN202210960849.8A priority Critical patent/CN115423697A/zh
Publication of CN115423697A publication Critical patent/CN115423697A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像修复方法，终端在待修复图像中确定目标区域，并基于目标区域生成待修复图像对应的第一图像和第二图像；基于全尺度卷积神经网络，根据第一图像和第二图像进行图像修复处理，获得待修复图像对应的修复后图像。

Description

图像修复方法、终端及计算机存储介质
技术领域
本申请实施例涉及终端技术领域，尤其涉及一种图像修复方法、终端及计算机存储介质。
背景技术
随着移动终端设备技术和图像视频媒体社交网络的蓬勃发展，人们对于图像视频编辑的相关技术的应用需求越来越大，图像修复技术便是其中具有重要应用价值和研究前景的技术之一。
目前，针对高清图像的修复任务的诸多方案中，先对下采样图像进行修复再做上采样的修复方案运算复杂度会比较高，同时会引入比较强的结构失真，导致修复效果不佳。而引入感知范围更大的网络结构的修复方案，或者感知范围仍然有限，或者在运算过程中会引入结构失真，均会影响修复效果。
可见，目前常见的图像修复方法，均存在修复效果差的问题。
发明内容
本申请实施例提供一种图像修复方法、终端及计算机存储介质，能够提升图像修复的修复效果。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供了一种图像修复方法，所述方法包括：
在待修复图像中确定目标区域，并基于所述目标区域生成所述待修复图像对应的第一图像和第二图像；
基于全尺度卷积神经网络，根据所述第一图像和所述第二图像进行图像修复处理，获得所述待修复图像对应的修复后图像。
第二方面，本申请实施例提供了一种终端，所述终端包括：确定单元，生成单元，修复单元，
所述确定单元，用于在待修复图像中确定目标区域；
所述生成单元，用于基于所述目标区域生成所述待修复图像对应的第一图像和第二图像；
所述修复单元，用于基于全尺度卷积神经网络，根据所述第一图像和所述第二图像进行图像修复处理，获得所述待修复图像对应的修复后图像。
第三方面，本申请实施例提供了一种终端，所述终端包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如上所述的图像修复方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有程序，应用于终端中，所述程序被处理器执行时，实现如上所述的图像修复方法。
本申请实施例提供一种图像修复方法、终端及计算机存储介质，终端在待修复图像中确定目标区域，并基于目标区域生成待修复图像对应的第一图像和第二图像；基于全尺度卷积神经网络，根据第一图像和第二图像进行图像修复处理，获得待修复图像对应的修复后图像。由此可见，在本申请的实施例中，终端可以根据目标区域生成待修复图像的第一图像(空洞图像)和第二图像(蒙版图像)，然后可以使用全尺度卷积神经网络，结合第一图像和第二图像进行图像修复处理。其中，基于全尺度卷积神经网络，在进行图像修复时引入了多个级别多个感知尺度的卷积操作，可以有效建模空洞区域和已知区域局部和全局的上下文关系，进行较好的修复操作，从而可以提升图像修复的修复效果。
附图说明
图1为图像修复方法的实现流程示意图一；
图2为目标区域的示意图；
图3为图像修复方法的实现流程示意图二；
图4a-图4d为对比效果示意图一；
图5a-图5d为对比效果示意图二；
图6为本申请实施例提出的图像修复的实现原理示意图一；
图7为本申请实施例提出的图像修复的实现原理示意图二；
图8为全尺度卷积模块的结构示意图；
图9为全局尺度卷积网络的结构示意图；
图10为图像修复模型的训练方法示意图；
图11为终端的组成结构示意图一；
图12为终端的组成结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
随着移动终端设备技术和图像视频媒体社交网络的蓬勃发展，人们对于图像视频编辑的相关技术的应用需求越来越大，图像修复技术便是其中具有重要应用价值和研究前景的技术之一。图像修复技术的应用场景包括移除用户拍摄图像中的不需要的目标对象，老旧影像资料的修复等。
深度学习技术的发展极大的推动了图像修复技术的进步，然而高清图像修复技术仍然存在很大的发展空间。目前主流的高清图像技术方案主要是先将待修复的高清图像进行下采样处理，下采样后的图像经过卷积神经网络进行修复，再对修复后的图像进行某种方式的上采样。比如，一种修复方法为采用金字塔式的修复结构，先对下采样32倍的图像进行修复，放大后再和下采样16倍的图像一起作为输入进行修复，以此类推，直至进行到原始大小的图像修复；另一种修复方法为直接将下采样图修复后的图像输入到超分辨神经网络中进行上采样处理；再一种修复方法则在进行上采样处理时引入相似块作为输入，通过计算修复好的下采样图像的已知区域内容和空洞区域内容的关系，将高清图像已知区域的特征引入到空洞区域中，提高纹理细节；另一种修复方法在前者基础上，提出了基于残差聚合的修复网络(High-resolution image fill network，HiFill)，去掉了上采样网络计算，直接将高清图像已知区域的残差加到空洞区域中提高纹理细节。
此外，还有一类技术通过引入感知范围更大的网络结构来解决高清图像中空洞区域过大的问题。其中，提出了一种聚合上下文变换网络(Aggregated ContextualTransformations GAN，AOTGAN)，在一个模块中同时引入不同大小的膨胀卷积，从而增大其感知范围，还可以通过引入一种具有自注意力功能的变换网络transformer架构提高感知范围，transformer是一种能够计算图像中所有块互相直接关系的自注意力机制，具有全局的感知能力。
目前，针对高清图像的修复任务的上述方案中，先对下采样图像进行修复再做上采样的修复方案存在两方面的缺点，一是由于存在多个网络，运算复杂度会比较高，二是直接融合相似块进行上采样计算会引入比较强的结构失真，导致修复效果不佳。而引入感知范围更大的网络结构的修复方案中，基于聚合上下文变换网络的感知范围仍然有限，相对于高清图像的大小仍然不够大，导致修复效果不佳；基于Transformer的图像修复是将图像以块为单位进行切分计算，但是图像的空洞是随机形状的，导致在运算过程中会引入结构失真，也会影响修复效果。
可见，目前常见的图像修复方法，均存在修复效果差的问题。
为了解决上述缺陷，终端在待修复图像中确定目标区域，并基于目标区域生成待修复图像对应的第一图像和第二图像；基于全尺度卷积神经网络，根据第一图像和第二图像进行图像修复处理，获得待修复图像对应的修复后图像。由此可见，在本申请的实施例中，终端可以根据目标区域生成待修复图像的第一图像(空洞图像)和第二图像(蒙版图像)，然后可以使用全尺度卷积神经网络，结合第一图像和第二图像进行图像修复处理。其中，基于全尺度卷积神经网络，在进行图像修复时引入了多个级别多个感知尺度的卷积操作，可以有效建模空洞区域和已知区域局部和全局的上下文关系，进行较好的修复操作，从而可以提升图像修复的修复效果。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请一实施例提供了一种图像修复方法，图1为图像修复方法的实现流程示意图一，如图1所示，在本申请的实施例中，终端进行图像修复处理的方法可以包括以下步骤：
步骤101、在待修复图像中确定目标区域，并基于目标区域生成待修复图像对应的第一图像和第二图像。
在本申请的实施例中，终端可以先在待修复图像中确定出目标区域，然后再基于该目标区域进一步生成与该待修复图像对应的第一图像和第二图像。
需要说明的是，在本申请的实施例中，终端可以为任何具备存储功能的终端，例如：平板电脑、手机、电子阅读器、遥控器、个人计算机(Personal Computer，PC)、笔记本电脑、车载设备、网络电视、可穿戴设备、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置等终端。
进一步地，在本申请的实施例中，待修复图像可以为终端预先存储的图像，例如，待修复图像可以为手机相册中的图像；待修复图像也可以为终端实时采集的图像，例如，待修复图像可以为手机拍摄获得的预览图像；待修复图像还可以为终端实时录制的视频中的一帧图像，例如，待修复图像可以为监控设备录制的监控视频中的一帧图像。
也就是说，在本申请的实施例中，待修复图像可以为终端预先存储的，也可以为终端实时采集的，还可以为终端接收其它设备发送的，本申请不做具体限定。
进一步地，在本申请的实施例中，目标区域可以为待修复图像中的部分区域，其中，目标区域可以为待修复图像中的一个或多个目标对象所对应的区域。例如，图2为目标区域的示意图，如图2所示，在待修复图像中，目标对象A所对应的区域a即为目标区域。
可以理解的是，在本申请的实施例中，终端可以通过多种方式在待修复图像中确定目标区域。其中，终端可以通过机器学习的方式在待修复图像中识别目标对象，然后将目标对应的区域确定为目标区域；终端也可以通过接收的选择指令在待修复图像中确定目标对象，然后将目标对应的区域确定为目标区域；终端还可以通过接收的选择指令直接在待修复图像中确定目标区域。本申请不进行具体限定。
进一步地，在本申请的实施例中，在待修复图像中完成目标区域的确定之后，终端便可以依据该目标区域生成待修复图像对应的第一图像和第二图像。其中，第一图像可以为在待修复图像中移除目标对象之后的空洞图像，而第二图像则可以为针对目标对象对应的目标区域所生成的蒙版图像。
需要说明的是，在本申请的实施例中，在基于目标区域确定待修复图像对应的第一图像时，终端可以从待修复图像中移除目标区域的像素，从而可以生成第一图像；和/或，终端可以将待修复图像中的目标区域对应的像素值设置为第一数值，从而可以生成第一图像。其中，第一数值可以为【0，255】中的任意数值。
也就是说，在本申请的实施例中，终端在对待修复图像中的目标对象进行删除或涂抹处理之后，可以将待修复图像中的目标区域中的原始像素值移除，从而获得与待修复图像对应的、移除了目标对象的第一图像。
需要说明的是，在本申请的实施例中，在基于目标区域确定待修复图像对应的第二图像时，终端可以将待修复图像中的目标区域对应的像素值设置为第二数值，同时将待修复图像中的、目标区域以外的其他区域对应的像素值设置为第三数值，生成第二图像。其中，第二数值可以为255，第三数值可以为0。
也就是说，在本申请的实施例中，第二图像可以为待修复图像对应的蒙版图像，在第二图像中，目标对象对应的目标区域的像素值为255，显示为白色，目标区域以外的其余区域的像素值为0，显示为黑色，即第二图像是一张黑白图像。其中，第二图像与待修复图像的分辨率可以相同。
步骤102、基于全尺度卷积神经网络，根据第一图像和第二图像进行图像修复处理，获得待修复图像对应的修复后图像。
在本申请的实施例中，终端在待修复图像中确定出目标区域，并基于该目标区域生成与该待修复图像对应的第一图像和第二图像之后，可以进一步基于全尺度卷积神经网络，根据第一图像和第二图像进行图像修复处理，从而生成待修复图像对应的修复后图像。
进一步地，在本申请的实施例中，全尺度卷积神经网络可以用于实现多个级别多个感知尺度的卷积操作，从而可以有效建模空洞区域和已知区域局部和全局的上下文关系，进行较好的修复操作。
需要说明的是，在本申请的实施例中，在基于全尺度卷积神经网络，根据第一图像和第二图像进行图像修复处理，获得待修复图像对应的修复后图像时，终端可以先根据第一图像生成第一修复特征图；然后可以将第一图像、第二图像以及第一修复图输入至全尺度卷积神经网络，生成待修复图像对应的修复后图像。
也就是说，在本申请的实施例中，对待修复图像进行修复处理的过程可以包括两个分支，其中，第一分支为基于第一图像生成第一修复特征图，第二分支为使用全尺度卷积神经网络，结合第一图像、第二图像以及第一分支生成的第一修复特征图进行修复处理，最终生成修复后图像。
可以理解的是，在本申请的实施例中，在根据第一图像生成第一修复特征图时，终端可以先对第一图像进行缩小处理和平滑处理，从而获得第一图像对应的缩小平滑图；然后可以将缩小平滑图输入至预设修复网络中，最终便可以输出第一修复特征图。
也就是说，在本申请的实施例中，第一修复特征图可以为针对缩小平滑处理后的缩小平滑图进行修复处理所获得的特征图像。
需要说明的是，在本申请的实施例中，终端可以按照第一预设尺度对第一图像进行缩小处理。其中，第一预设尺度可以包括第一高度尺度和第一宽度尺度，第一高度尺度和第一宽度尺度可以为小于1的任意数值，第一高度尺度和第一宽度尺度可以相同也可以不同。
示例性的，在本申请的实施例中，假设待修复图像的大小为(H，W)，即高度为H，宽度为W，在按照第一高度尺度和第一宽度尺度均为1/8第一预设尺度经过缩小处理之后，获得的缩小后的图像的大小为(1/8×H，1/8×W)。
可以理解的是，在本申请的实施例中，终端可以对缩小后的图像再进行平滑处理，使得图像在纹理细节平滑的同时保持较好的结构信息，最终获得对应的缩小平滑图。
需要说明的是，在本申请的实施例中，终端可以采用多种方式对待修复图像进行缩小处理，包括但不限于局部均值法，最近邻、双线性插值法，双三次插值法等。终端可以采用多种方式对缩小后图像进行平滑处理，包括但不限于L0范数平滑算法，平滑滤波算法等。
进一步地，在本申请的实施例中，在完成对待修复图像的缩小处理和平滑处理，获得缩小平滑图之后，可以通过预设修复网络完成对缩小平滑图的修复处理，生成第一修复特征图。其中，预设修复网络可以包括下采样卷积网络，和/或残差卷积网络，和/或上采样逆卷积网络，和/或膨胀卷积网络，和/或全尺度卷积网络。
示例性的，在本申请的实施例中，预设修复网络可以包括三层下采样卷积模块(下采样卷积网络)，六层残差卷积模块(残差卷积网络)和三层上采样逆卷积模块(上采样逆卷积网络)。其中，三层下采样卷积模块输出的特征图大小为输入图像的1/4×1/4，通道数为256，六层残差卷积模块的处理保持特征图的大小，三层上采样逆卷积模块输出的特征图大小和输入图像相同，通道数为256。
需要说明的是，在本申请的实施例中，全尺度卷积神经网络可以包括编码网络，融合网络，修复网络以及解码网络。
进一步地，在本申请的实施例中，在将第一图像、第二图像以及第一修复图输入至全尺度卷积神经网络，生成修复后图像的过程中，可以先将第一图像和第二图像输入至编码网络，生成第一特征图；然后可以基于融合网络对第一修复特征图和第一特征图进行融合处理，生成第二特征图；接着基于修复网络对第二特征图进行修复处理，生成第二修复特征图；最终便可以将第二修复特征图输入至解码网络，生成修复后图像。
需要说明的是，在本申请的实施例中，终端可以先对第一图像和第二图像进行串联处理，然后将串联后的图像输入至编码网络，输出获得第一特征图。编码网络可以用于对输入的串联后图像进行缩小处理和特征提取处理，其中，缩小处理的尺度可以为上述第一预设尺度，相应的，第一修复特征图和第一特征图的大小可以是相同的。
另一方面，在本申请的实施例中，第一特征图的通道数可以为第一图像和第二图像的通道数之和，即第一特征图的通道数可以为原始的待修复图像的通道数的两倍。例如，假设待修复图像的通道数为256，那么对应的第一图像和第二图像通道数为均256，基于第一图像生成的第一修复特征图的通道数为256，而进行串联处理后所生成的第一特征图的通道数为512。
示例性的，在本申请的实施例中，终端可以先将大小为(H，W)，通道数为256的第一图像(空洞图像)和第二图像(蒙版图像)进行串联，然后将串联后的图像输入到编码网络中，得到大小为(1/8×H，1/8×W)，通道数为512的第一特征图。
示例性的，在本申请的实施例中，编码网络可以包括四层卷积模块(卷积网络)，输出的第一特征图的大小为输入的图像的1/8×1/8，通道数可以为输入的图像的通道数之和。
进一步地，在本申请的实施例中，在通过编码网络获得第一特征图之后，终端便可以基于融合网络对第一修复特征图和第一特征图进行融合处理，从而可以生成第二特征图。其中，融合网络可以用于特征融合处理，终端可以先将第一修复特征图和第二特征图进行串联处理，然后将串联后的图像输入至融合网络中，便可以输出串联融合后的第二特征图。
需要说明的是，在本申请的实施例中，第一特征图和第二特征图的大小和通道数可以是相同的。
示例性的，在本申请的实施例中，在将大小为(1/8×H，1/8×W)、通道数为256的第一修复特征图和大小为(1/8×H，1/8×W)、通道数为512的第一特征图进行串联之后，输入至融合网络中进行特征融合处理，最终可以输出大小为(1/8×H，1/8×W)，通道数为512的第二特征图。
示例性的，在本申请的实施例中，融合网络可以包括一层卷积模块(卷积网络)，将第一个分支中预设修复网络输出的第一修复特征图和第二个分支中编码网络输出的第一特征图进行串联作为融合网络的输入，假设待修复图像的大小为(H，W)，第一预设尺度中的第一高度尺度和第一宽度尺度均为1/8，那么输入的第一修复特征图和第一特征图的大小均为(1/8×H，1/8×W)，假设预设修复网络输出的第一修复特征图的通道数为256，第一特征图的通道数为512，即串联处理后输入至融合网络的图像的通道数为768，而输出的第二特征图的通道数为512，大小为(1/8×H，1/8×W)。
进一步地，在本申请的实施例中，修复网络可以包括第一尺度卷积网络、第二尺度卷积网络以及全局尺度卷积网络。其中，第一尺度卷积网络可以用于进行较小尺度卷积操作，第二尺度卷积网络可以用于进行较大尺度卷积操作，而全局尺度卷积网络则可以用于在将空域变换为频域之后，在频域上进行卷积操作。
可以理解的是，在本申请的实施例中，在进行卷积操作时，第一尺度卷积网络、第二尺度卷积网络以及全局尺度卷积网络所对应的尺度依次增大。
需要说明的是，在本申请的实施例中，对于修复网络来说，终端可以预先设置至少一个第一尺度卷积网络，至少一个第二尺度卷积网络，至少一个全局尺度卷积网络，即第一尺度卷积网络、第二尺度卷积网络以及全局尺度卷积网络的数量可以设置为任意大小，本申请不进行具体限定。
进一步地，在本申请的实施例中，第一尺度卷积网络和第二尺度卷积网络具有相同的卷积核；第一尺度卷积网络中的不同网络所对应的感知范围和膨胀系数不同；第二尺度卷积网络中的不同网络所对应的感知范围和膨胀系数不同。
也就是说，在本申请的实施例中，不同的第一尺度卷积网络所对应的感知范围和膨胀系数不同的，同时，不同的第二尺度卷积网络所对应的感知范围和膨胀系数也是不同的。例如，修复网络包括两个第一尺度卷积网络为网络1和网络2、两个第二尺度卷积网络为网络3和网络4，以及一个全局尺度卷积网络为网络5，其中，网络1可以用于进行卷积核大小为3×3，感知范围为3×3的小尺度卷积操作，网络2可以用于进行卷积核大小为3×3，膨胀系数为2，感知范围为5×5的小尺度卷积操作，网络3可以用于进行卷积核大小为3×3，膨胀系数为4，感知范围为9×9的中等尺度卷积操作，网络4可以用于进行卷积核大小为3×3，膨胀系数为8，感知范围为17×17的中等尺度卷积操作，网络5可以用于将空域变换到频域，在频域上进行卷积操作，具有全局感知范围。
进一步地，在本申请的实施例中，在基于修复网络对第二特征图进行修复处理，生成第二修复特征图时，终端可以先按照第二特征图的通道数对第二特征图的特征信息进行分组处理，获得多个特征组；然后可以按照多个特征组将第二特征图的特征信息分别输入至第一尺度卷积网络、第二尺度卷积网络以及全局尺度卷积网络，进而可以分别生成多组修复后的特征信息；最终便可以对多组修复后的特征信息进行融合处理，进一步生成第二修复特征图。
需要是说明的是，在本申请的实施例中，终端在按照第二特征图的通道数对第二特征图的特征信息进行分组处理时，可以采用任意的分组规则进行分组处理，获得的多个特征组中的每一个特征组中的通道数可以相同，也可以不同，本申请不进行具体限定。
示例性的，在本申请的实施例中，假设输入至修复网络的第二特征图的通道数为512，那么终端可以将第二特征图的特征信息按照通道数量分为16份并分为5个特征组，每份32个通道，其中，前四个特征组，即特征组1，特征组2，特征组3，特征组4均包括有3份通道数，即均包括有96个通道，而第五个特征组，即特征组2包括有4份通道数，即包括有128个通道。
示例性的，在本申请的实施例中，修复网络可以包括八层全尺度卷积模块(全尺度卷积网络)，对于输入的特征图，如第二特征图，首先将第二特征图的特征信息按照第二特征图的通道数等量分为16份并分为5个特征组，前四个特征组中每组包括3份通道数，第五个特征组包括4份通道数。其中，第一个特征组，如特征组1，可以输入至一个第一尺度卷积网络，如网络1中，进行卷积核大小为3×3，感知范围为3×3的小尺度卷积操作，输出一组修复后的特征信息；第二个特征组，如特征组2，可以输入至另一个第一尺度卷积网络，如网络2中，进行卷积核大小为3×3，膨胀系数为2，感知范围为5×5的小尺度卷积操作，输出一组修复后的特征信息；第三个特征组，如特征组3，可以输入至一个第二尺度卷积网络，如网络3中，进行卷积核大小为3×3，膨胀系数为4，感知范围为9×9的中等尺度卷积操作，输出一组修复后的特征信息；第四个特征组，如特征组4，可以输入至另一个第二尺度卷积网络，如网络4中，进行卷积核大小为3×3，膨胀系数为8，感知范围为17×17的中等尺度卷积操作，输出一组修复后的特征信息；第五个特征组，如特征组5，可以输入至全局尺度卷积网络，如网络5中，该全局尺度卷积网络将空域变换到频域，在频域上进行卷积操作，具有全局感知范围，输出一组修复后的特征信息。
需要说明的是，在本申请的实施例中，修复网络中的全尺度卷积模块的数量可以根据需要进行调整的，在复杂度允许范围内，增加模块数量有助于提高模型的修复能力。
进一步地，在本申请的实施例中，全局尺度卷积网络可以用于对输入的特征信息进行变换处理，获得对应的频域特征图；然后对频域特征图进行卷积处理，获得卷积结果；最后可以对卷积结果进行变换处理，获得对应的修复后特征信息。
需要说明的是，在本申请的实施例中，对于输入至全局尺度卷积网络的特征组的特征信息，需要先将特征信息从空域形式变换到频域形式(频域特征图)，然后对频域特征图进行卷积操作，接着对卷积操作后的特征图进行变换，将其从频域形式变换回空域形式，获得对应的修复后特征信息。
进一步地，在本申请的实施例中，基于该全局尺度卷积网络，可以采用多种变换处理方法来对特征信息进行变换处理，例如，可以采用离散傅立叶变换，余弦傅立叶变换，快速傅立叶变换等变换处理方法。以离散傅立叶变换为例，将特征信息从空域形式变换到频域形式的变换公示如下：
Figure BDA0003792802950000101
其中，W和H分别是特征图的宽和高，x和y分别表示特征图空域形式下横向和纵向的坐标，u和v分表表示特征图频域形式下横向和纵向的坐标。
从公式(1)可以看出，特征图的频域形式的每一个坐标点数值都是由其空域所有的坐标点的数值共同计算得出，因此频域形式的每一个坐标点均具有全局视野。
然后，可以对频域特征图进行卷积操作，本申请中的卷积操作模块包括一层3×3的卷积模块、一层批标准化模块和一层线性整流函数(Rectified Linear Unit,ReLU)激活模块。
最后，可以对卷积操作后的特征图进行变换，将其从频域形式变换回空域形式(修复后特征信息)。其中，以离散傅立叶逆变换为例，将特征信息从频域形式变换到空域形式的变换公式如下：
Figure BDA0003792802950000102
其中，W和H分别是特征图的宽和高，x和y分别表示特征图空域形式下横向和纵向的坐标，u和v分表表示特征图频域形式下横向和纵向的坐标。
进一步地，在本申请的实施例中，在按照多个特征组将第二特征图的特征信息分别输入至第一尺度卷积网络、第二尺度卷积网络以及全局尺度卷积网络，生成多组修复后的特征信息之后，终端可以再基于修复网络对多组修复后的特征信息进行融合处理，最终便可以生成对应的第二修复特征图。
进一步地，在本申请的实施例中，解码网络可以用于进行上采样处理，即解码网络可以用于对输入的图像进行方法处理，因此，基于解码网络获得的待修复图像所对应的修复后图像，与待修复图像具有相同的尺寸大小，例如，假设待修复图像的大小为(H，W)，那么对应的修复后图像的大小也为(H，W)。
示例性的，在本申请的实施例中，解码网络可以包括三层逆卷积模块(三层逆卷积网络)，假设待修复图像的大小为(H，W)，可以将修复网络输出的第二修复特征图作为解码网络的输入进行上采样操作，最终输出大小为(H，W)的修复后图像。
进一步地，在本申请的实施例中，在基于全尺度卷积神经网络，根据第一图像和第二图像进行图像修复处理，获得待修复图像对应的修复后图像之后，终端还可以显示修复后图像。即终端可以将该修复后图像限制在显示屏幕上，以进一步根据接收到的处理指令对该修复图像进行相应的处理。
进一步地，在本申请的实施例中，图3为图像修复方法的实现流程示意图二，如图3所示，在本申请的实施例中，终端进行图像修复处理的方法还可以包括以下步骤：
步骤103、确定训练数据；其中，训练数据包括真值图像，以及与真值图像对应的空洞图像和蒙版图像。
在本申请的实施例中，终端可以预先对预设修复网络和全尺度卷积神经网络进行训练。其中，终端可以先确定用于进行模型训练的训练数据。
需要说明的是，在本申请的实施例中，训练数据中可以包括有真值图像，以及与真值图像对应的空洞图像(作为第一图像的训练数据)和蒙版图像(作为第二图像的训练数据)。
需要说明的是，在本申请的实施例中，可以选择采用分辨率为256×256的自然场景数据作为真值图像，其中，训练数据中的蒙版图像可以采用随机生成的方式，随机产生和输入图像分辨率相同的蒙版图像，同时，可以利用蒙版图像直接对输入图像进行处理，便可以得到对应的空洞图像，而输入图像可以作为真值图像用于对预设修复网络和全尺度卷积神经网络进行训练。
步骤104、使用真值图像和空洞图像训练预设修复图像；使用真值图像、空洞图像以及蒙版图像训练全尺度卷积神经网络。
在本申请的实施例中，在确定包括有真值图像，以及与真值图像对应的空洞图像和蒙版图像的训练数据之后，终端便可以进一步使用真值图像和空洞图像训练预设修复图像；同时可以使用真值图像、空洞图像以及蒙版图像训练全尺度卷积神经网络。
进一步地，在本申请的实施例中，模型训练可以分为两个阶段，即两个分支，第一分支可以针对预设修复网络进行训练，第二分支可以针对全尺度卷积神经网络进行训练。
需要说明的是，在训练预设修复网络时，可以对空洞图像进行缩小和平滑处理，得到缩小平滑图；然后将缩小平滑图输入至预设修复网络中，得到缩小平滑图的修复特征；接着可以将缩小平滑图的修复特征输入至解码网络(解码器)，得到修复的缩小平滑图；进而可以根据修复的缩小平滑图对预设修复网络的网络参数进行更新，以完成对预设修复网络的训练。其中，在根据修复的缩小平滑图对预设修复网络的网络参数进行更新时，可以对修复的缩小平滑图和其对应的真值图像进行L1距离和对抗损失函数的计算，从而可以回传梯度进行预设修复网络的网络参数的更新。
需要说明的是，在训练全尺度卷积神经网络时，可以先经空洞图像和蒙版图像进行串联处理，然后将串联后的图像输入至编码网络(编码器)中，得到特征图；接着将特征图与缩小平滑图的修复特征进行串联处理，然后将串联后的图像输入至融合网络(融合器)和修复网络(修复器)，从而获得修复特征图；进而可以将修复特征图输入至解码网络(解码器)，解码器按照相对应的尺度对输入的修复特征图进行放大处理，得到与模型的输入图像的尺寸相同的修复图像，最终便可以根据修复图像对全尺度卷积神经网络的网络参数进行更新，以完成对全尺度卷积神经网络的训练。其中，在根据修复图像对全尺度卷积神经网络的网络参数进行更新时，可以对修复图像和其对应的真值图像进行L1距离、感知距离以及对抗损失函数的计算，从而可以回传梯度进行全尺度卷积神经网络的网络参数的更新。
由此可见，在本申请的实施例中，基于上述步骤101至步骤104所提出的图像修复方法，结合待修复图像的第一图像(空洞图像)和第二图像(蒙版图像)进行图像修复处理。其中，终端可以使用第一图像的缩小平滑图的修复特征(第一修复特征图)指导全尺度卷积神经网络的图像修复处理，相比常见的使用与原始图像等比大小的边缘图或分割图作为指导输入的方案，在本申请的实施例中，一方面，相比边缘图，平滑图信息更丰富，除了结构信息，还包含了颜色信息；另一方面，相比分割图，平滑图更易得，直接运算即可得到，而分割图需要经过深度分割网络，计算量大；又一方面，将修复后的特征作为输入，而非修复的图像作为输入，这样可以缓解对平滑图修复错误带来的误差传导；再一方面，采用缩小后的(例如缩小8倍)的图作为输入，这样可以进行较好的结构修复，用于指导高清图像的修复。
进一步地，在本申请的实施例中，终端使用全尺度卷积神经网络进行图像修复时，其中的核心模块是全尺度卷积模块。在常见的多采用多尺度卷积模块的方案中，超高分辨率的图像修复任务中，空洞区域面积较大，多尺度模块的感知范围仍然无法有效建模空洞区域和已知区域的关系。在本申请的实施例中，全尺度卷积模块中引入了多个级别多个感知尺度的卷积操作，例如，包括两个小尺度卷积模块的第一尺度卷积网络，感知范围分别为3×3和5×5；包括两个中等尺度卷积模块的第二尺度卷积网络，感知范围分别为9×9和17×17；以及一个全局尺度卷积模块的全局尺度卷积网络。多级别全尺度的卷积模块可以有效建模空洞区域和已知区域局部和全局的上下文关系，进行较好的修复操作。
目前针对高清图像的修复有两大类方案，本申请各选择一个具有代表性的工作作为对比，其中HiFill算法为具有较大感知范围模块设计的网络算法，AOTGAN算法为先对下采样图像进行修复再做上采样的方案。测试图像为两张用手机的高清摄像头拍摄真实的高清图像，图像为2K图像，分辨率为1500×2000，移除较大的前景目标(目标对象)，对该图像进行修复。
图4a-图4d为对比效果示意图一，图5a-图5d为对比效果示意图二，如图所示，图4a为去掉前景目标之后的空洞图像，图4b为采用AOTGAN算法进行修复处理后的修复图像，图4c为采用HiFill算法进行修复处理后的修复图像，图4d为采用本申请提出的图像修复方法进行修复处理后的修复图像。图5a为去掉前景目标之后的空洞图像，图5b为采用AOTGAN算法进行修复处理后的修复图像，图5c为采用HiFill算法进行修复处理后的修复图像，图5d为采用本申请提出的图像修复方法进行修复处理后的修复图像。从可视化的修复结果可以看出，HiFill算法由于在进行上采样处理时较直接地引入了周边已知区域的像素残差信息，导致产生了比较明显的结构失真，AOTGAN尽管设计了具有较大感知范围的卷积模块，但仍无法满足超高分辨率图像的修复需求，修复效果不佳。本申请的图像修复方法，通过引入缩小平滑图的修复和指导，使得模型超高分辨率图像的全局结构的修复能力较好，采用全尺度卷积神经网络也可以进一步的提升模型的修复能力，最终产生较好的修复结果。
本申请提出了一种图像修复方法，终端在待修复图像中确定目标区域，并基于目标区域生成待修复图像对应的第一图像和第二图像；基于全尺度卷积神经网络，根据第一图像和第二图像进行图像修复处理，获得待修复图像对应的修复后图像。由此可见，在本申请的实施例中，终端可以根据目标区域生成待修复图像的第一图像(空洞图像)和第二图像(蒙版图像)，然后可以使用全尺度卷积神经网络，结合第一图像和第二图像进行图像修复处理。其中，基于全尺度卷积神经网络，在进行图像修复时引入了多个级别多个感知尺度的卷积操作，可以有效建模空洞区域和已知区域局部和全局的上下文关系，进行较好的修复操作，从而可以提升图像修复的修复效果。
基于上述实施例，在本申请的再一实施例中，图6为本申请实施例提出的图像修复的实现原理示意图一，如图6所示，终端在读取或者拍摄或者接收一张图像(待修复图像)之后，可以基于该图像对应的修复指令对该图像进行修复处理。其中，终端可以先通过操作界面上接收到的触控指令，在该图像上确定出想要移除的目标物体(目标对象)所对应的区域(目标区域)，然后针对该目标区域生成一张移除目标物体后的空洞图像(第一图像)和一张与原始图像(待修复图像)分辨率相同的蒙版图像(第二图像)。
需要说明的是，蒙版图像是一张黑白图，被涂抹的区域(目标区域)的像素值为255，显示为白色，其余区域的像素值为0，显示为黑色。
接着，终端可以以空洞图像和蒙版图像作为基础进行图像修复处理，最终得到修复图像(修复后图像)，然后可以将修复图像显示到界面以便进行下一步操作。
进一步地，在本申请的实施例中，图7为本申请实施例提出的图像修复的实现原理示意图二，如图7所示，本申请所提出的图像修复方法，对于输入的空洞图像和蒙版图像，图像的大小为(H，W)，需要经过两个分支。第一个分支将空洞图像缩小至(1/8×H，1/8×W)，并进行平滑处理，使得图像在纹理细节平滑的同时保持较好的结构信息，并将缩小平滑图输入到卷积神经网络(预设修复网络)中进行修复，得到缩小平滑图的修复特征(第一修复特征图)，该第一修复特征图的大小为(1/8×H，1/8×W)，通道数为256。第二个分支利用全尺度卷积神经网络对空洞图像进行修复，首先将空洞图像和蒙版图像串联，输入到编码器(编码网络)中，得到大小为(1/8×H，1/8×W)，通道数为512的特征图(第一特征图)，再使用融合网络，将第一个分支的缩小平滑图的修复特征(第一修复特征图)与编码器的输出特征(第一特征图)进行串联融合，输出大小为(1/8×H，1/8×W)，通道数为512的特征图(第二特征图)，之后将第二特征图输入到多个全尺度卷积神经网络模块(修复网络)中，得到修复的特征图(第二修复特征图)，最后再将修复特征图输入到包含解码器(解码网络)中进行放大，得到大小为(H，W)的修复后图像。
需要说明的是，在本申请的实施例中，缩小平滑处理的基本原则是能够在保持图像的结构信息，即保持图像的边缘清晰的同时，对图像的纹理细节进行平滑。其中，第一个分支中对第一图像的缩小处理可以选择采用局部均值法，也可以选择采用最近邻、双线性插值、双三次插值等方法；第一个分支中对第一图像的平滑处理，可以采用L0范数平滑算法，也可以采用其他的平滑滤波等方法。
进一步地，在本申请的实施例中，假设待修复图像的大小为(H，W)，通道数为256，第一个分支的预设修复网络可以包括三层下采样卷积模块，六层残差卷积模块和三层上采样逆卷积模块。其中，三层下采样卷积模块输出的特征图大小为输入图像(缩小平滑图)的1/4×1/4，通道数为256，六层残差卷积模块的处理保持特征图的大小，三层上采样逆卷积模块输出的特征图(第一修复特征图)大小和输入图像相同，通道为256，用于和第二个分支的中间层特征图(第一特征图)进行融合处理。
需要说明的是，在本申请的实施例中，第一个分支的预设修复网络也可以采用其他的网络结构，比如其中的残差卷积模块也可以替换为膨胀卷积模块(膨胀卷积网络)或本申请实施例中所提出的全尺度卷积模块(全尺度卷积网络)。
进一步地，在本申请的实施例中，第二个分支的全尺度卷积神经网络可以包括编码器(编码网络)、融合器(融合网络)、修复器(修复网络)和解码器(解码网络)四个部分。
需要说明的是，在本申请的实施例中，编码器可以包括四层卷积模块(卷积网络)，输出的特征图(第一特征图)大小输入图像(第一图像和第二图像)的1/8×1/8，通道数为512。
需要说明的是，在本申请的实施例中，融合器为一层卷积模块(卷积网络)，将第一个分支的输出特征图(第一修复特征图)和第二个分支的编码器的输出特征图(第一特征图)进行串联作为输入，则融合器输入的特征图大小为(1/8×H，1/8×W)，通道数为768，输出的特征图(第二特征图)大小为(1/8×H，1/8×W)，通道数为512。
对于修复网络来说，终端可以预先设置至少一个第一尺度卷积网络，至少一个第二尺度卷积网络，至少一个全局尺度卷积网络，即第一尺度卷积网络、第二尺度卷积网络以及全局尺度卷积网络的数量可以设置为任意大小，本申请不进行具体限定。
进一步地，在本申请的实施例中，第一尺度卷积网络和第二尺度卷积网络具有相同的卷积核；第一尺度卷积网络中的不同网络所对应的感知范围和膨胀系数不同；第二尺度卷积网络中的不同网络所对应的感知范围和膨胀系数不同。
也就是说，在本申请的实施例中，不同的第一尺度卷积网络所对应的感知范围和膨胀系数不同的，同时，不同的第二尺度卷积网络所对应的感知范围和膨胀系数也是不同的。
需要说明的是，在本申请的实施例中，修复器可以包括8层全尺度卷积模块(全尺度卷积网络)，图8为全尺度卷积模块的结构示意图，如图8所示，给定输入特征(第二特征图)，首先将特征信息按通道数等量分为16份并分为5组(特征组)，前四组每组3份通道数，第5组4份通道数。其中，对第一组特征信息进行卷积核大小为3×3，感知范围为3×3的小尺度卷积操作(第一尺度卷积网络，如网络1)，第二组进行卷积核大小为3×3，膨胀系数为2，感知范围为5×5的小尺度卷积操作(第一尺度卷积网络，如网络2)，第三组进行卷积核大小为3×3，膨胀系数为4，感知范围为9×9的中等尺度卷积操作(第二尺度卷积网络，如网络3)，第四组进行卷积核大小为3×3，膨胀系数为8，感知范围为17×17的中等尺度卷积操作(第二尺度卷积网络，如网络4)，第五组为全局尺度卷积网络，即全局感知模块，将空域变换到频域，在频域上进行卷积操作，具有全局感知范围(全局尺度卷积网络，如网络5)。
需要说明的是，在本申请的实施例中，第二个分支的修复器中的全尺度卷积模块的数量可以根据需要进行调整的，在复杂度允许范围内，增加模块数量有助于提高模型的修复能力。
进一步，在本申请的实施例中，在通过第一尺度卷积网络、第二尺度卷积网络以及全局尺度卷积网络获得第二特征图的多个特征组对应的多组修复后的特征信息之后，可以对多组修复后的特征信息进行串联处理和融合处理，最终便可以输出第二修复特征图。
需要说明的是，在本申请的实施例中，图9为全局尺度卷积网络的结构示意图，如图9所示，对于输入至全局尺度卷积网络(全局感知模块)的特征组的特征信息，需要先将特征信息从空域形式变换到频域形式(频域特征图)，然后对频域特征图进行卷积操作，接着对卷积操作后的特征图进行变换，将其从频域形式变换回空域形式，获得对应的修复后特征信息。
进一步地，在本申请的实施例中，基于该全局尺度卷积网络，可以采用多种变换处理方法来对特征信息进行变换处理，例如，可以采用离散傅立叶变换，余弦傅立叶变换，快速傅立叶变换等变换处理方法。以离散傅立叶变换为例，将特征信息从空域形式变换到频域形式的变换公示如公式(1)。
从公式(1)可以看出，特征图的频域形式的每一个坐标点数值都是由其空域所有的坐标点的数值共同计算得出，因此频域形式的每一个坐标点均具有全局视野。
然后，可以对频域特征图进行卷积操作，本申请中的卷积操作模块包括一层3×3的卷积模块、一层批标准化模块和一层ReLU激活模块。
最后，可以对卷积操作后的特征图进行变换，将其从频域形式变换回空域形式(修复后特征信息)。其中，以离散傅立叶逆变换为例，将特征信息从频域形式变换到空域形式的变换公式(2)。
进一步地，在本申请的实施例中，解码器可以包括三层逆卷积模块，解码器可以将修复器的输出特征(第二修复特征图)作为输入进行上采样操作，最终输出大小与待修复图像相同的修复后图像。
进一步地，在本申请的实施例中，终端可以预先对包括有预设修复网络和全尺度卷积神经网络的图像修复模型进行训练。其中，本申请实施例提出的图像修复方法，是通过包括有预设修复网络和全尺度卷积神经网络的图像修复模型实现的。
需要说明的是，在本申请的实施例中，在进行图像修复模型的训练过程中，可以选择采用分辨率为256×256的自然场景数据，其中，训练数据中的蒙版图像可以采用随机生成的方式，随机产生和输入图像分辨率相同的蒙版图像，同时，可以利用蒙版图像直接对输入图像进行处理，便可以得到对应的空洞图像，而输入图像可以作为真值图像用于对包括有预设修复网络和全尺度卷积神经网络的图像修复模型进行训练。
可以理解的是，在本申请的实施例中，图像修复模型的训练可以分为两个阶段，首先训练缩小平滑图的修复网络(即第一分支的预设修复网络)，再训练原图的训练网络(即第二分支的全尺度卷积神经网络)。预设修复网络和全尺度卷积神经网络这两个网络的正向推理操作以及具体网络结构已经在上述实施例中进行说明，此处不在赘述。
进一步地，在本申请的实施例中，在进行图像修复模型的训练过程中，对于第一分支的预设修复网络，训练该缩小平滑图的修复网络(预设修复网络)的损失函数可以包括重构损失函数
Figure BDA0003792802950000171
和对抗判别损失函数
Figure BDA0003792802950000172
分别如下公式：
Figure BDA0003792802950000173
其中，Xs为进行缩小平滑处理的真值图像，Ms为与Xs分辨率相同的缩小的蒙版图像，Xs_hole为输入的缩小平滑空洞图像，Fs为预设修复网络。
Figure BDA0003792802950000174
其中，Pdata(Xs)代表真实平滑缩小图的样本分布，Fs(Xs_hole,Ms)为将空洞图像和蒙版图像输入到修复网络进行修复的操作，
Figure BDA0003792802950000175
为判别器模型，用于判别输入数据是否为生成样本或真实样本。
进一步地，在本申请的实施例中，在进行图像修复模型的训练过程中，对于第二分支的全尺度卷积神经网络，训练该原图的修复网络(全尺度卷积神经网络)的损失函数可以包括重构损失函数
Figure BDA0003792802950000176
感知损失函数
Figure BDA0003792802950000177
和对抗判别损失函数
Figure BDA0003792802950000178
分别如下公式：
Figure BDA0003792802950000179
其中，X为真值图像，M为蒙版图像，Xhole为输入的空洞图像，F为修复网络(全尺度卷积神经网络)。
Figure BDA00037928029500001710
其中，P为感知网络，用于获得输入图像的感知特征。
Figure BDA00037928029500001711
其中，Pdata(X)代表真实自然图像的样本分布，F(Xhole,M)为将空洞图像和蒙版图像输入到修复网络进行修复的操作，
Figure BDA00037928029500001712
为判别器模型，用于判别输入数据是否为生成样本或真实样本。
示例性的，图10为图像修复模型的训练方法示意图，如图10所示，在对包括有预设修复网络和全尺度卷积神经网络的图像修复模型进行训练时，可以选择采用自然场景数据作为模型的输入图像，即真值图像，其中，训练数据中的蒙版图像可以采用随机生成的方式，随机产生和输入图像(真值图像)分辨率相同的蒙版图像，同时，可以利用蒙版图像直接对输入图像进行处理，便可以得到对应的空洞图像，而输入图像可以作为真值图像用于对包括有预设修复网络和全尺度卷积神经网络的图像修复模型进行训练。
进一步地，在本申请的实施例中，图像修复模型的训练可以分为两个阶段，即两个分支，第一分支可以针对预设修复网络进行训练，第二分支可以针对全尺度卷积神经网络进行训练。
需要说明的是，在训练预设修复网络时，可以对空洞图像进行缩小和平滑处理，得到缩小平滑图；然后将缩小平滑图输入至预设修复网络中，得到缩小平滑图的修复特征；接着可以将缩小平滑图的修复特征输入至解码网络(解码器)，得到修复的缩小平滑图；进而可以根据修复的缩小平滑图对预设修复网络的网络参数进行更新，以完成对预设修复网络的训练。其中，在根据修复的缩小平滑图对预设修复网络的网络参数进行更新时，可以对修复的缩小平滑图和其对应的真值图像进行L1距离和对抗损失函数的计算，从而可以回传梯度进行预设修复网络的网络参数的更新。
需要说明的是，在训练全尺度卷积神经网络时，可以先经空洞图像和蒙版图像进行串联处理，然后将串联后的图像输入至编码网络(编码器)中，得到特征图；接着将特征图与缩小平滑图的修复特征进行串联处理，然后将串联后的图像输入至融合网络(融合器)和修复网络(修复器)，从而获得修复特征图；进而可以将修复特征图输入至解码网络(解码器)，解码器按照相对应的尺度对输入的修复特征图进行放大处理，得到与模型的输入图像的尺寸相同的修复图像，最终便可以根据修复图像对全尺度卷积神经网络的网络参数进行更新，以完成对全尺度卷积神经网络的训练。其中，在根据修复图像对全尺度卷积神经网络的网络参数进行更新时，可以对修复图像和其对应的真值图像进行L1距离、感知距离以及对抗损失函数的计算，从而可以回传梯度进行全尺度卷积神经网络的网络参数的更新。
综上所述，本申请的实施例所提出的图像修复方法，结合待修复图像的第一图像(空洞图像)和第二图像(蒙版图像)进行图像修复处理。其中，终端可以使用第一图像的缩小平滑图的修复特征(第一修复特征图)指导全尺度卷积神经网络的图像修复处理，相比常见的使用与原始图像等比大小的边缘图或分割图作为指导输入的方案，在本申请的实施例中，一方面，相比边缘图，平滑图信息更丰富，除了结构信息，还包含了颜色信息；另一方面，相比分割图，平滑图更易得，直接运算即可得到，而分割图需要经过深度分割网络，计算量大；又一方面，将修复后的特征作为输入，而非修复的图像作为输入，这样可以缓解对平滑图修复错误带来的误差传导；再一方面，采用缩小后的(例如缩小8倍)的图作为输入，这样可以进行较好的结构修复，用于指导高清图像的修复。
进一步地，在本申请的实施例中，终端使用全尺度卷积神经网络进行图像修复时，其中的核心模块是全尺度卷积模块。在常见的多采用多尺度卷积模块的方案中，超高分辨率的图像修复任务中，空洞区域面积较大，多尺度模块的感知范围仍然无法有效建模空洞区域和已知区域的关系。在本申请的实施例中，全尺度卷积模块中引入了多个级别多个感知尺度的卷积操作，例如，包括两个小尺度卷积模块的第一尺度卷积网络，感知范围分别为3×3和5×5；包括两个中等尺度卷积模块的第二尺度卷积网络，感知范围分别为9×9和17×17；以及一个全局尺度卷积模块的全局尺度卷积网络。多级别全尺度的卷积模块可以有效建模空洞区域和已知区域局部和全局的上下文关系，进行较好的修复操作。
本申请提出了一种图像修复方法，终端在待修复图像中确定目标区域，并基于目标区域生成待修复图像对应的第一图像和第二图像；基于全尺度卷积神经网络，根据第一图像和第二图像进行图像修复处理，获得待修复图像对应的修复后图像。由此可见，在本申请的实施例中，终端可以根据目标区域生成待修复图像的第一图像(空洞图像)和第二图像(蒙版图像)，然后可以使用全尺度卷积神经网络，结合第一图像和第二图像进行图像修复处理。其中，基于全尺度卷积神经网络，在进行图像修复时引入了多个级别多个感知尺度的卷积操作，可以有效建模空洞区域和已知区域局部和全局的上下文关系，进行较好的修复操作，从而可以提升图像修复的修复效果。
基于上述实施例，在本申请的另一实施例中，图11为终端的组成结构示意图一，如图11所示，本申请实施例提出的终端10可以包括确定单元11，生成单元12，修复单元13。
所述确定单元11，用于在待修复图像中确定目标区域；
所述生成单元12，用于基于所述目标区域生成所述待修复图像对应的第一图像和第二图像；
所述修复单元13，用于基于全尺度卷积神经网络，根据所述第一图像和所述第二图像进行图像修复处理，获得所述待修复图像对应的修复后图像。
图12为终端的组成结构示意图二，如图12所示，本申请实施例提出的终端10还可以包括处理器14、存储有处理器14可执行指令的存储器15，进一步地，终端10还可以包括通信接口16，和用于连接处理器14、存储器15以及通信接口16的总线17。
在本申请的实施例中，上述处理器14可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。终端10还可以包括存储器15，该存储器15可以与处理器14连接，其中，存储器15用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器15可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在本申请的实施例中，总线17用于连接通信接口16、处理器14以及存储器15以及这些器件之间的相互通信。
在本申请的实施例中，存储器15，用于存储指令和数据。
进一步地，在本申请的实施例中，上述处理器14，用于在待修复图像中确定目标区域，并基于所述目标区域生成所述待修复图像对应的第一图像和第二图像；基于全尺度卷积神经网络，根据所述第一图像和所述第二图像进行图像修复处理，获得所述待修复图像对应的修复后图像。
在实际应用中，上述存储器15可以是易失性存储器(volatile memor)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读第一存储y器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(HardDisk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器14提供指令和数据。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提出的一种终端，该终端在待修复图像中确定目标区域，并基于目标区域生成待修复图像对应的第一图像和第二图像；基于全尺度卷积神经网络，根据第一图像和第二图像进行图像修复处理，获得待修复图像对应的修复后图像。由此可见，在本申请的实施例中，终端可以根据目标区域生成待修复图像的第一图像(空洞图像)和第二图像(蒙版图像)，然后可以使用全尺度卷积神经网络，结合第一图像和第二图像进行图像修复处理。其中，基于全尺度卷积神经网络，在进行图像修复时引入了多个级别多个感知尺度的卷积操作，可以有效建模空洞区域和已知区域局部和全局的上下文关系，进行较好的修复操作，从而可以提升图像修复的修复效果。
本申请实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的图像修复方法。
具体来讲，本实施例中的一种图像修复方法对应的程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种图像修复方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：
在待修复图像中确定目标区域，并基于所述目标区域生成所述待修复图像对应的第一图像和第二图像；
基于全尺度卷积神经网络，根据所述第一图像和所述第二图像进行图像修复处理，获得所述待修复图像对应的修复后图像。
本领域内的技术人员应明白，本申请的实施例可提供为方法、终端、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (15)

1.一种图像修复方法，其特征在于，所述方法包括：
在待修复图像中确定目标区域，并基于所述目标区域生成所述待修复图像对应的第一图像和第二图像；
基于全尺度卷积神经网络，根据所述第一图像和所述第二图像进行图像修复处理，获得所述待修复图像对应的修复后图像。
2.根据权利要求1所述的方法，其特征在于，所述基于全尺度卷积神经网络，根据所述第一图像和所述第二图像进行图像修复处理，获得所述待修复图像对应的修复后图像，包括：
根据所述第一图像生成第一修复特征图；
将所述第一图像、所述第二图像以及所述第一修复图输入至所述全尺度卷积神经网络，生成所述修复后图像。
3.根据权利要求2所述的方法，其特征在于，所述全尺度卷积神经网络包括编码网络，融合网络，修复网络以及解码网络。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一图像、所述第二图像以及所述第一修复图输入至所述全尺度卷积神经网络，生成所述修复后图像，包括：
将所述第一图像和所述第二图像输入至所述编码网络，生成第一特征图；
基于所述融合网络对所述第一修复特征图和所述第一特征图进行融合处理，生成第二特征图；
基于所述修复网络对所述第二特征图进行修复处理，生成第二修复特征图；
将所述第二修复特征图输入至所述解码网络，生成所述修复后图像。
5.根据权利要求4所述的方法，其特征在于，所述修复网络包括第一尺度卷积网络、第二尺度卷积网络以及全局尺度卷积网络，所述基于所述修复网络对所述第二特征图进行修复处理，生成第二修复特征图，包括：
按照所述第二特征图的通道数对所述第二特征图的特征信息进行分组处理，获得多个特征组；
按照所述多个特征组将所述第二特征图的特征信息分别输入至所述第一尺度卷积网络、所述第二尺度卷积网络以及所述全局尺度卷积网络，生成多组修复后的特征信息；
对所述多组修复后的特征信息进行融合处理，生成所述第二修复特征图。
6.根据权利要求5所述的方法，其特征在于，
所述第一尺度卷积网络和所述第二尺度卷积网络具有相同的卷积核；
所述第一尺度卷积网络中的不同网络所对应的感知范围和膨胀系数不同；
所述第二尺度卷积网络中的不同网络所对应的感知范围和膨胀系数不同。
7.根据权利要求5所述的方法，其特征在于，
所述全局尺度卷积网络，用于对输入的特征信息进行变换处理，获得对应的频域特征图；对所述频域特征图进行卷积处理，获得卷积结果；对所述卷积结果进行变换处理，获得对应的修复后特征信息。
8.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像生成第一修复特征图，包括：
对所述第一图像进行缩小处理和平滑处理，获得所述第一图像对应的缩小平滑图；
将所述缩小平滑图输入至预设修复网络中，输出所述第一修复特征图。
9.根据权利要求8所述的方法，其特征在于，
所述预设修复网络包括下采样卷积网络，和/或残差卷积网络，和/或上采样逆卷积网络，和/或膨胀卷积网络，和/或全尺度卷积网络。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
确定训练数据；其中，所述训练数据包括真值图像，以及与所述真值图像对应的空洞图像和蒙版图像；
使用所述真值图像和所述空洞图像训练所述预设修复图像；使用所述真值图像、所述空洞图像以及所述蒙版图像训练所述全尺度卷积神经网络。
11.根据权利要求1所述的方法，其特征在于，所述基于所述目标区域确定所述待修复图像对应的第一图像，包括：
从所述待修复图像中移除所述目标区域的像素，生成所述第一图像；和/或，
将所述待修复图像中的所述目标区域对应的像素值设置为第一数值，生成所述第一图像。
12.根据权利要求1所述的方法，其特征在于，所述基于所述目标区域确定所述待修复图像对应的第二图像，包括：
将所述待修复图像中的所述目标区域对应的像素值设置为第二数值，同时将所述待修复图像中的、所述目标区域以外的其他区域对应的像素值设置为第三数值，生成所述第二图像。
13.一种终端，其特征在于，所述终端包括：确定单元，生成单元，修复单元，
所述确定单元，用于在待修复图像中确定目标区域；
所述生成单元，用于基于所述目标区域生成所述待修复图像对应的第一图像和第二图像；
所述修复单元，用于基于全尺度卷积神经网络，根据所述第一图像和所述第二图像进行图像修复处理，获得所述待修复图像对应的修复后图像。
14.一种终端，其特征在于，所述终端包括：处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如权利要求1-12任一项所述的方法。
15.一种计算机可读存储介质，其上存储有程序，应用于终端中，其特征在于，所述程序被处理器执行时，实现如权利要求1-12任一项所述的方法。
CN202210960849.8A 2022-08-11 2022-08-11 图像修复方法、终端及计算机存储介质 Pending CN115423697A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210960849.8A CN115423697A (zh) 2022-08-11 2022-08-11 图像修复方法、终端及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210960849.8A CN115423697A (zh) 2022-08-11 2022-08-11 图像修复方法、终端及计算机存储介质

Publications (1)

Publication Number Publication Date
CN115423697A true CN115423697A (zh) 2022-12-02

Family

ID=84197392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210960849.8A Pending CN115423697A (zh) 2022-08-11 2022-08-11 图像修复方法、终端及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115423697A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681980A (zh) * 2023-07-31 2023-09-01 北京建筑大学 基于深度学习的大缺失率图像修复方法、装置和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116681980A (zh) * 2023-07-31 2023-09-01 北京建筑大学 基于深度学习的大缺失率图像修复方法、装置和存储介质
CN116681980B (zh) * 2023-07-31 2023-10-20 北京建筑大学 基于深度学习的大缺失率图像修复方法、装置和存储介质

Similar Documents

Publication Publication Date Title
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
CN108122197B (zh) 一种基于深度学习的图像超分辨率重建方法
CN107403415B (zh) 基于全卷积神经网络的压缩深度图质量增强方法及装置
CN112330574B (zh) 人像修复方法、装置、电子设备及计算机存储介质
CN109712165B (zh) 一种基于卷积神经网络的同类前景图像集分割方法
CN111047516A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111951167B (zh) 超分辨率图像重建方法、装置、计算机设备和存储介质
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及系统
CN112529776B (zh) 图像处理模型的训练方法、图像处理方法及装置
KR101028628B1 (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
CN112862689A (zh) 一种图像超分辨率重建方法及系统
CN113793286B (zh) 一种基于多阶注意力神经网络的媒体图像水印移除方法
CN111353965B (zh) 图像修复方法、装置、终端及存储介质
CN115345866A (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN115423697A (zh) 图像修复方法、终端及计算机存储介质
CN117576292A (zh) 三维场景渲染方法及装置、电子设备、存储介质
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
CN116071279A (zh) 图像处理方法、装置、计算机设备和存储介质
CN114612316A (zh) 一种核预测网络图像去雨方法和装置
CN114549314A (zh) 一种提高图像分辨率的方法
CN114219738A (zh) 单幅图像多尺度超分辨重建网络结构及方法
CN112150384A (zh) 一种基于残差网络与动态卷积网络模型融合的方法及系统
CN113902617A (zh) 基于参考图像的超分辨率方法、装置、设备及介质
CN108364273B (zh) 一种空间域下的多聚焦图像融合的方法
CN111985535A (zh) 一种通过神经网络优化人体深度图的方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination