CN111353965A - 图像修复方法、装置、终端及存储介质 - Google Patents

图像修复方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN111353965A
CN111353965A CN202010129488.3A CN202010129488A CN111353965A CN 111353965 A CN111353965 A CN 111353965A CN 202010129488 A CN202010129488 A CN 202010129488A CN 111353965 A CN111353965 A CN 111353965A
Authority
CN
China
Prior art keywords
image
target
mask
target object
repaired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010129488.3A
Other languages
English (en)
Other versions
CN111353965B (zh
Inventor
朱圣晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010129488.3A priority Critical patent/CN111353965B/zh
Publication of CN111353965A publication Critical patent/CN111353965A/zh
Application granted granted Critical
Publication of CN111353965B publication Critical patent/CN111353965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像修复方法、装置、终端及存储介质，属于图像处理技术领域。所述方法包括：根据目标图像和图像分割模型，获取第一掩膜图像；根据目标对象与第一掩膜图像，获取第二掩膜图像，根据第二掩膜图像和目标图像，获取待修复图像；根据待修复图像和图像修复模型，对待修复图像进行修复，图像修复模型是根据第一训练数据训练获得的模型，第一训练数据包括根据拍摄到的包含目标对象的图像生成的受损图像和拍摄到的不包含目标对象的图像。本申请通过从第二掩膜图像和目标图像获取待修复图像，并对该待修复图像进行修复，使得用户可以得到在目标图像中去除任一目标对象后的修复图像，提高了得到修复图像的效率。

Description

图像修复方法、装置、终端及存储介质
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种图像修复方法、装置、终端及存储介质。
背景技术
随着图像处理技术的快速发展，在人们的日常生活中，各种各样的终端中已经具有拍摄并处理图像的功能。
其中，用户可以对终端中存储的图像进行处理，也可以对终端当前拍摄的图像进行处理。比如，当终端中的某个图像出现破损时，终端可以将该图像修复。当用户拍摄到图片后，终端可以对该图像进行调色、剪切等处理。目前，对于终端中的某个图像，如果需要去除这个图像中包含的某个对象，并保证去除后的区域与该图像中的场景符合，通常需要使用多种图像处理软件对该图像进行处理。
在相关技术中，采用多种图像处理软件对图像进行处理的过程繁琐，出错率高，导致获取用户需要的图像的效率低。
发明内容
本申请实施例提供了一种图像修复方法、装置、终端及存储介质，提高了获取修复图像的效率。所述技术方案如下：
一方面，本申请实施例提供了一种图像修复方法，所述方法包括：
根据目标图像和图像分割模型，获取第一掩膜图像，所述图像分割模型用于从所述目标图像中分割出目标对象，所述目标对象是所述目标图像中包含的任意一个物体对象；
根据目标对象与所述第一掩膜图像，获取第二掩膜图像；
根据所述第二掩膜图像和所述目标图像，获取待修复图像；
根据所述待修复图像和图像修复模型，对所述待修复图像进行修复，所述图像修复模型是根据第一训练数据训练获得的模型，所述第一训练数据包括根据拍摄到的包含目标对象的图像生成的受损图像和拍摄到的不包含目标对象的图像。
另一方面，本申请实施例提供了一种图像修复装置，所述装置包括：
第一获取模块，用于根据目标图像和图像分割模型，获取第一掩膜图像，所述图像分割模型用于从所述目标图像中分割出目标对象，所述目标对象是所述目标图像中包含的任意一个物体对象；
第二获取模块，用于根据目标对象与所述第一掩膜图像，获取第二掩膜图像；
待修复图像获取模块，用于根据所述第二掩膜图像和所述目标图像，获取待修复图像；
图像修复模块，用于根据所述待修复图像和图像修复模型，对所述待修复图像进行修复，所述图像修复模型是根据第一训练数据训练获得的模型，所述第一训练数据包括根据拍摄到的包含目标对象的图像生成的受损图像和拍摄到的不包含目标对象的图像。
另一方面，本申请实施例提供了一种终端，所述终端包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述一个方面所述的图像修复方法。
另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述一个方面的图像修复方法。
本申请实施例提供的技术方案可以至少包含如下有益效果：
根据目标图像和图像分割模型，获取第一掩膜图像；根据目标对象与第一掩膜图像，获取第二掩膜图像，根据第二掩膜图像和目标图像，获取待修复图像；根据待修复图像和图像修复模型，对待修复图像进行修复，图像修复模型是根据第一训练数据训练获得的模型，第一训练数据包括根据拍摄到的包含目标对象的图像生成的受损图像和拍摄到的不包含目标对象的图像。在本申请中，通过从第二掩膜图像和目标图像获取待修复图像，并利用由第一训练数据提前训练好的图像修复模型对该待修复图像进行修复，使得用户可以得到在目标图像中去除任一目标对象后的修复图像，提高了得到修复图像的效率。
附图说明
图1是本申请一示例性实施例提供的一种终端的示意图；
图2是本申请一示例性实施例提供的一种图像修复方法的方法流程图；
图3是本申请一示例性实施例提供的一种图像修复方法的方法流程图；
图4是本申请一示例性实施例涉及的一种编码网络的结构示意图；
图5是本申请一示例性实施例涉及的一种解码网络的结构示意图；
图6是本申请一示例性实施例涉及的判别网络的结构示意图；
图7是本申请一示例性实施例提供的图像修复装置的结构框图；
图8是本申请一示例性实施例提供的一种终端的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供的方案，可以用于人们在日常生活中使用终端时，通过在终端的可触摸显示屏中执行触摸操作，使得终端执行该触摸操作对应的响应的现实场景中，为了便于理解，下面首先对本申请实施例涉及的一些名词以及应用场景进行简单介绍。
图像修复技术，即利用受损图像中其余存在的信息，填补其中的受损区域，或从完整的图像中将多于物体去除并修补该物体对应的图像区域，使得修复后的图像接近或达到原始图像的视觉效果。
MSE(Mean Square Error)：均方误差函数，即求两个对象之间的欧氏距离。
随着科技的发展，大多数终端中都已经拥有拍摄图像的功能，用户可以使用这些终端进行拍摄，并在终端中对拍摄的图像进行处理。请参考图1，其示出了本申请一示例性实施例提供的一种终端的示意图。如图1所示，其中包含了终端110。
可选的，终端110可以是具有图像拍摄功能的终端，比如，该终端可以是手机、平板电脑、电子书阅读器、智能眼镜、智能手表、MP3播放器(Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑、膝上型便携计算机等等。
可选的，用户可以通过使用终端进行拍摄图像。比如，用户在景区游玩时，对景区进行拍摄。通常的，景区拍摄到的图像中往往会包含其他用户在拍摄的图像中，如果用户想要将该图像中的其他用户去除掉时，用户可以通过多种图像处理软件对该图像进行处理，从而得到自己想要的图像。但是，这种方式往往花费的时间较多，造成用户获取到修复图像的效率低等问题。
为了减少用户花费的时间，提高获取修复图像的效率，本申请实施例提供了一种图像修复方法，可以自由对拍摄的图像中某个对象进行去除并修复，实现对拍摄的图像中任意个对象的去除效果。
请参考图2，其示出了本申请一示例性实施例提供的一种图像修复方法的方法流程图。该方法可以用于图1所示的终端中，如图2所示，该图像修复方法可以包括如下几个步骤。
步骤201，根据目标图像和图像分割模型，获取第一掩膜图像。
其中，图像分割模型用于从目标图像中分割出目标对象，目标对象是目标图像中包含的任意一个物体对象。
其中，目标图像可以是终端中预先存储的图像。终端可以对目标图像生成第一MASK(掩膜)图像。即，图像分割模型可以将目标图像中的目标对象分割出来，终端便可以将目标图像中目标对象区域的像素值改为255，将其他区域的像素值改为0，得到第一MASK图像。
步骤202，根据目标对象与第一掩膜图像，获取第二掩膜图像。
其中，终端可以从目标对象中选择任意数量的目标对象，将其他目标对象的像素值从255改为0，从而得到这些任意数量的目标对象的像素值为255，其他区域的像素值为0的第二MASK图像。
步骤203，根据第二掩膜图像和目标图像，获取待修复图像。
即，终端可以在目标图像中的各个目标对象中，去除掉第二MASK图像中包含的目标对象，从而未包含第二MASK图像中包含的目标对象的目标图像，即为待修复图像。
步骤204，根据待修复图像和图像修复模型，对待修复图像进行修复。
其中，图像修复模型是根据第一训练数据训练获得的模型，第一训练数据包括根据拍摄到的包含目标对象的图像生成的受损图像和拍摄到的不包含目标对象的图像。
综上所述，根据目标图像和图像分割模型，获取第一掩膜图像；根据目标对象与第一掩膜图像，获取第二掩膜图像，根据第二掩膜图像和目标图像，获取待修复图像；根据待修复图像和图像修复模型，对待修复图像进行修复，图像修复模型是根据第一训练数据训练获得的模型，第一训练数据包括根据拍摄到的包含目标对象的图像生成的受损图像和拍摄到的不包含目标对象的图像。在本申请中，通过从第二掩膜图像和目标图像获取待修复图像，并利用由第一训练数据提前训练好的图像修复模型对该待修复图像进行修复，使得用户可以得到在目标图像中去除任一目标对象后的修复图像，提高了得到修复图像的效率。
在一种可能实现的方式中，终端可以第一MASK图像中选择需要去除的目标对象，或者，终端也可以在目标图像中选择需要去除的目标对象，从而对用户想要去除的目标对象进行去除。
请参考图3，其示出了本申请一示例性实施例提供的一种图像修复方法的方法流程图。该方法可以用于图1所示的终端中，如图3所示，该图像修复方法可以包括如下几个步骤。
步骤301，响应于在目标界面中对图像修复控件的选择操作，获取目标图像。
可选的，终端可以具有显示屏，终端在该显示屏中可以显示目标界面，该目标界面可以对图像进行编辑，比如，终端中相册应用的应用界面等。其中，目标界面中包含有图像修复控件，当用户在目标界面中选择至少一个图像后，如果用户点击目标界面中的图像修复控件后，终端可以将选中的图像获取为目标图像。
步骤302，根据目标图像和图像分割模型，获取第一掩膜图像。
其中，图像分割模型用于从目标图像中分割出目标对象，目标对象是目标图像中包含的任意一个物体对象。可选的，目标对象可以是目标图像中包含的人物、车辆、植物、宠物中的任意一种。
以目标对象是图像中的人物为例，终端可以根据目标图像和图像分割模型，从中得到目标图像中包含的各个人物的图像，并将目标图像中人物区域的像素值变为255，将其他区域的值变为0，从而得到第一MASK图像。
可选的，终端得到的第一MASK图像的大小与目标图像的大小相同。比如，目标图像的分辨率为300*300，那么，第一MASK图像的分辨率也为300*300。
步骤303，在第一掩膜图像中确定修复对象。
其中，修复对象是目标对象中的任意一个对象。
在一种可能实现的方式中，终端在得到第一MASK图像后，可以将得到的第一MASK图像展示在终端中，用户可以通过选择工具，选择其中的人物图像，终端在用户选择第一MASK图像中的人物图像后，可以将用户选择的人物图像确定为修复对象。
在一种可能实现的方式中，用户也可以在目标图像中确定修复对象。比如，用户在选择目标图像的过程中，采用选择工具将目标图像中的某个人物图像选中，那么，终端也可以将这时在目标图像中选择的人物图像作为修复图像。即，用户在选择目标图像的过程中选择了修复图像，那么，此时步骤303可以省略。
步骤304，根据目标对象、修复对象与第一掩膜图像，获取第二掩膜图像。
可选的，终端可以根据得到的目标对象、修复对象与第一MASK图像，生成第二MASK图像。在一种可能实现的方式中，第一MASK图像中的修复对象的像素值保持不变，终端直接将第一MASK图像中除修复对象之外的其他目标对象的像素值从255改为0，从而得到第二MASK图像。
步骤305，根据第二掩膜图像和目标图像，获取待修复图像。
可选的，终端可以根据得到的第二MASK图像和目标图像，生成待修复图像。在一种可能实现的方式中，在第二MASK图像中，修复对象区域的像素值为255，其余区域的像素值为0，终端可以根据公式1来生成待修复图像。其中，公式1如下：
Iin＝Iori*(1–M/255) 【1】；
其中，Iin代表待修复图像的像素值，Iori代表目标图像的像素值，M代表第二MASK图像的像素值。
终端可以通过上述公式1计算出需要生成的待修复图像的各个像素点的像素值，从而得到待修复图像。即，待修复图像是根据第二MASK图像和目标图像生成的。
需要说明的是，如果上述目标图像中包含的目标对象的数量只有一个，那么，终端在本步骤中可以直接根据第一MASK图像和目标图像，获取待修复图像，并且不需要执行步骤303和304。比如，以人物为目标对象，在目标图像中只有一个人时，终端可以将这个目标对象直接作为修复对象，并利用第一MASK图形和目标图像，获取待修复图像。
步骤306，根据待修复图像和图像修复模型，对待修复图像进行修复。
其中，图像修复模型是根据第一训练数据训练获得的模型，第一训练数据包括根据拍摄到的包含目标对象的图像生成的受损图像和拍摄到的不包含目标对象的图像。
可选的，终端可以将待修复图像输入至图像修复模型中，由图像修复模型将待修复图像进行修复，得到最终的修复图像。
在一种可能实现的方式中，终端还可以主动获取第一训练数据。比如，终端获取第一场景下包含目标对象的图像和第一场景下不包含目标对象的图像；根据第一场景下包含目标对象的图像以及图像分割模型，获取第三掩膜图像；根据第三掩膜图像和第一场景下包含目标对象的图像，生成受损图像；根据受损图像和第一场景下不包含目标对象产生的图像，构建第一训练数据。
即，用户可以使用终端在同一场景下保持同样的角度拍摄两次图像，其中一个包含目标对象，另一个不包含目标对象。比如，用户使用终端在某个景区拍摄，保持相机的位置角度不变的情况下，拍摄包含游客的一张图像，并拍摄一张不包含游客的一张图像，其中，游客(人物)即为目标对象。
终端可以利用包含游客的那张图像和图像分割模型获取到第三MASK图像，其中，第三MASK图像的获取方式与第一MASK图像的获取方式类似，此处不再赘述。然后终端利用第三MASK图像和包含游客的那张图像(即原始图像)，生成受损图像，该受损图像即为将原始图像中的游客去除后得到的图像。可选的，受损图像的获取方式与上述待修复图像的获取方式类似，此处不再赘述。终端可以将最终得到的受损图像和未包含游客的那张图像获取为一组训练数据。
可选的，用户可以使用终端在不同的场景下拍摄包含有游客的图像和不包含游客的图像，那么，终端可以得到多组训练数据，这些训练数据即为第一训练数据。可选的，终端可以利用第一训练数据训练出图像修复模型，并将该图像修复模型存储在终端中，从而在步骤306中使用。或者，终端也可以将得到的第一训练数据发送给具有图像修复模型训练能力的计算机设备，将该计算机设备利用第一训练数据训练出的图像修复模型存储在终端中，从而在步骤306中使用。本申请实施例对图像修复模型的训练主体并不加以限定。
在一种可能实现的方式中，图像修复模型中包含编码网络和解码网络；在步骤306中，终端将待修复图像输入至图像修复模型后，图像修复模型可以通过编码网络，提取待修复图像的目标特征；将目标特征输入至解码网络中，获取修复图像。其中，编码网络包含至少一个卷积层和至少一个空洞卷积层；解码网络包含至少一个卷积层、至少一个空洞卷积层和至少一个上采样层。
可选的，终端可以根据待修复图像，获取待修复图像的参数矩阵；根据之前得到的第二MASK图像，获取第二MASK图像的参数矩阵；并将待修复图像的参数矩阵和第二MASK图像的参数矩阵进行拼接，获取目标图像矩阵。其中，参数矩阵可以指示对应的图像的各个像素点的参数。可选的，该参数可以是各个像素点的像素值、色温值、亮度值中的至少一个。
例如，以该参数是各个像素点的像素值为例，终端可以对应待修复图像建立待修复图像的参数矩阵，该参数矩阵中的各个值可以指示待修复图像的各个像素点的像素值。比如，对于上述得到的300*300的某个目标图像来说，如果该目标图像采用RGB(Red GreenBlue，红、绿、蓝)表示每个像素点的像素值，此处待修复图像的参数矩阵可以是300*300*3的矩阵。对于300*300的第二MASK图像来说，如果第二MASK图像的各个像素值直接用255或者0来表示，那么，此处得到的第二MASK图像的参数矩阵可以是300*300*1的矩阵。可选的，终端可以将这两个参数矩阵进行拼接，从而得到300*300*4的矩阵，即目标图像矩阵。终端在得到目标图像矩阵之后，可以进一步来提取目标图像矩阵的目标特征。可选的，目标特征是目标图像矩阵中任意一个特征尺度的特征，或者，目标特征是目标图像矩阵中任意两个或两个以上特征尺度的特征组合形成的特征。本申请实施例对此并不加以限定。
然后终端可以将得到的目标特征输入到解码网络中，通过解码网络得到修复图像。
请参考图4，其示出了本申请一示例性实施例涉及的一种编码网络的结构示意图。如图4所示，其中包含了卷积层一401，卷积层二402，卷积层三403，卷积层四404，空洞卷积层一405，空洞卷积层二406，空洞卷积层三407，卷积层五408。编码网络模块可以提取待修复图像的目标特征，并输出至解码网络中。
在一种可能实现的方式中，图4的结构可以如下：
卷积层一：卷积核数量为32，卷积核大小为3x3，步长为1；
卷积层二：卷积核数量为64，卷积核大小为3x3，步长为2；
卷积层三：卷积核数量为64，卷积核大小为3x3，步长为1；
卷积层四：卷积核数量为128，卷积核大小为3x3，步长为2；
空洞卷积层一：卷积核数量为128，卷积核大小为3x3，步长为1，膨胀率为2；
空洞卷积层二：卷积核数量为128，卷积核大小为3x3，步长为1，膨胀率为4；
空洞卷积层三：卷积核数量为128，卷积核大小为3x3，步长为1，膨胀率为8；
卷积层五：卷积核数量为128，卷积核大小为3x3，步长为1。
请参考图5，其示出了本申请一示例性实施例涉及的一种解码网络的结构示意图。如图5所示，其中包含了其中包含了卷积层一501，空洞卷积层一502，空洞卷积层二503，空洞卷积层三504，卷积层二505，上采样层一506，卷积层三507，卷积层四508，上采样层二509，卷积层五510。解码网络模块接收到目标特征后，可以通过第一卷积层和第二卷积层实现对图像的修复，并输出修复图像。
在一种可能实现的方式中，图5的结构可以如下：
卷积层一：卷积核数量为128，卷积核大小为3x3，步长为1；
空洞卷积层一：卷积核数量为128，卷积核大小为3x3，步长为1，膨胀率为8；
空洞卷积层二：卷积核数量为128，卷积核大小为3x3，步长为1，膨胀率为4；
空洞卷积层三：卷积核数量为128，卷积核大小为3x3，步长为1，膨胀率为2；
卷积层二：卷积核数量为64，卷积核大小为3x3，步长为1；
上采样层一：使用最近邻上采样，将特征图的尺寸转换为原始大小的一半；
卷积层三：卷积核数量为64，卷积核大小为3x3，步长为1；
卷积层四：卷积核数量为32，卷积核大小为3x3，步长为1；
上采样层二：使用最近邻上采样，将特征图的尺寸转换为原始大小；
卷积层五：卷积核数量为3，卷积核大小为3x3，步长为1。
可选的，上述解码网络和编码网络中包含的各个卷积层、空洞卷积层、上采样层的数量可以根据实际需求设置，各个卷积层中的卷积核数量、卷积核大小、步长也可以根据实际需求设置，各个空洞卷积层中的卷积核数量、卷积核大小、步长、膨胀率也可以根据实际需求设置，本申请实施例对此并不加以限定。
在一种可能实现的方式中，图像修复模型中还包含判别网络，判别网络用于计算图像修复模型的损失函数，在通过第一训练数据训练图像修复模型的过程中，通过判别网络计算第一欧式距离，第一欧式距离是修复图像与第一场景下不包含目标对象的图像之间的欧式距离；通过判别网络计算第二欧式距离，第二欧式距离是修复图像的修复区域与第一场景下不包含目标对象的图像的修复区域之间的欧式距离；将第一欧式距离与第二欧式距离的和作为损失函数。
可选的，训练图像修复模型的设备还可以根据损失函数，对图像修复模型进行迭代训练，直至图像修复模型收敛。在一种可能实现的方式中，计算机设备可以根据得到的损失函数，使用Adam优化器对图像修复模型进行迭代训练，直至图像修复模型收敛，保存训练好的模型。比如，如果损失函数小于某个阈值时，说明修复图像的质量足够，可以将该模型作为最终的图像修复模型。其中，对应优化器的使用本申请实施例也不加以限定。
即，在图像修复模型的训练过程中，判别网络可以通过MSE函数计算修复图像与第一场景下不包含目标对象的图像之间的MSE，判别网络也可以通过MSE函数计算修复图像的修复区域与第一场景下不包含目标对象的图像的修复区域之间的MSE，计算机设备可以将两者的和作为损失函数，对修复图像进行评估。其中，第一场景可以是训练过程中，采用某一组训练数据时，该组训练数据中的场景。
请参考图6，其示出了本申请一示例性实施例涉及的判别网络的结构示意图。如图6所示，其中包含了各个卷积层601，全连接层602。其中，卷积层601和全连接层602的数量可以根据实际需求设置，本申请实施例对此并不加以限定。
其中，在图6所示的判别网络中，各个卷积层601和全连接层602的结构可以如下所示：
卷积层一：卷积核数量为32，卷积核大小为3x3，步长为2；
卷积层二：卷积核数量为64，卷积核大小为3x3，步长为2；
卷积层三：卷积核数量为128，卷积核大小为3x3，步长为2；
卷积层四：卷积核数量为256，卷积核大小为3x3，步长为2；
卷积层五：卷积核数量为512，卷积核大小为3x3，步长为2；
全连接：输出为0或者1,0代表假，1代表真。
即，本申请可以由终端在目标图像中去除修复对象后得到的待修复图像，通过图像修复模型将待修复图像修复为同一场景下不包含目标图像中的修复图像的图像。
综上所述，根据目标图像和图像分割模型，获取第一掩膜图像；根据目标对象与第一掩膜图像，获取第二掩膜图像，根据第二掩膜图像和目标图像，获取待修复图像；根据待修复图像和图像修复模型，对待修复图像进行修复，图像修复模型是根据第一训练数据训练获得的模型，第一训练数据包括根据拍摄到的包含目标对象的图像生成的受损图像和拍摄到的不包含目标对象的图像。在本申请中，通过从第二掩膜图像和目标图像获取待修复图像，并利用由第一训练数据提前训练好的图像修复模型对该待修复图像进行修复，使得用户可以得到在目标图像中去除任一目标对象后的修复图像，提高了得到修复图像的效率。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图7，其示出了本申请一示例性实施例提供的图像修复装置的结构框图。该图像修复装置可以用于终端中，以执行图2或者图3所示实施例提供的方法中由终端执行的全部或者部分步骤。该图像修复装置可以包括如下几个模块：第一获取模块701，第二获取模块702，待修复图像获取模块703以及图像修复模块704；
所述第一获取模块701，用于根据目标图像和图像分割模型，获取第一掩膜图像，所述图像分割模型用于从所述目标图像中分割出目标对象，所述目标对象是所述目标图像中包含的任意一个物体对象；
所述第二获取模块702，用于根据目标对象与所述第一掩膜图像，获取第二掩膜图像；
所述待修复图像获取模块703，用于根据所述第二掩膜图像和所述目标图像，获取待修复图像；
所述图像修复模块704，用于根据所述待修复图像和图像修复模型，对所述待修复图像进行修复，所述图像修复模型是根据第一训练数据训练获得的模型，所述第一训练数据包括根据拍摄到的包含目标对象的图像生成的受损图像和拍摄到的不包含目标对象的图像。
综上所述，根据目标图像和图像分割模型，获取第一掩膜图像；根据目标对象与第一掩膜图像，获取第二掩膜图像，根据第二掩膜图像和目标图像，获取待修复图像；根据待修复图像和图像修复模型，对待修复图像进行修复，图像修复模型是根据第一训练数据训练获得的模型，第一训练数据包括根据拍摄到的包含目标对象的图像生成的受损图像和拍摄到的不包含目标对象的图像。在本申请中，通过从第二掩膜图像和目标图像获取待修复图像，并利用由第一训练数据提前训练好的图像修复模型对该待修复图像进行修复，使得用户可以得到在目标图像中去除任一目标对象后的修复图像，提高了得到修复图像的效率。
可选的，所述装置还包括：
对象确定模块，用于所述第二获取模块702在所述根据目标对象与所述第一掩膜图像，获取第二掩膜图像之前，在所述第一掩膜图像中确定修复对象，所述修复对象是所述目标对象中的任意一个对象；或者，
在所述目标图像中确定所述修复对象；
所述第二获取模块702，用于根据目标对象、所述修复对象与所述第一掩膜图像，获取所述第二掩膜图像。
可选的，所述装置还包括：
图像获取模块，用于获取第一场景下包含所述目标对象的图像和所述第一场景下不包含所述目标对象的图像；
第三获取模块，用于根据所述第一场景下包含所述目标对象的图像以及所述图像分割模型，获取第三掩膜图像；
第四获取模块，用于根据所述第三掩膜图像和所述第一场景下包含所述目标对象的图像，生成所述受损图像；
数据构建模块，用于根据所述受损图像和所述第一场景下不包含目标对象产生的图像，构建所述第一训练数据。
可选的，所述图像修复模型中包含编码网络和解码网络；
所述图像修复模块704，包括：特征提取单元和图像获取单元；
所述特征提取单元，用于通过所述编码网络，提取所述待修复图像的目标特征；
所述图像获取单元，用于将所述目标特征输入至所述解码网络中，获取修复图像。
可选的，所述编码网络包含至少一个卷积层和至少一个空洞卷积层；
所述解码网络包含至少一个卷积层、至少一个空洞卷积层和至少一个上采样层。
可选的，所述图像修复模型中还包含判别网络，所述判别网络用于计算所述图像修复模型的损失函数。
可选的，所述装置还包括：
第五获取模块，用于响应于在目标界面中对图像修复控件的选择操作，获取所述目标图像。
图8是本申请一示例性实施例提供的一种终端的结构示意图。如图8所示，终端800包括中央处理单元(Central Processing Unit，CPU)801、包括随机存取存储器(RandomAccess Memory,RAM)802和只读存储器(Read Only Memory，ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。所述终端800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output System，I/O系统)806，和用于存储操作系统812、应用程序813和其他程序模块814的大容量存储设备807。
所述基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中所述显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。所述基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。所述大容量存储设备807及其相关联的计算机可读介质为终端800提供非易失性存储。也就是说，所述大容量存储设备807可以包括诸如硬盘或者CD-ROM(Compact Disc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，带电可擦可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。
终端800可以通过连接在所述系统总线805上的网络接口单元811连接到互联网或者其它网络设备。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理单元801通过执行该一个或一个以上程序来实现本申请上述各个实施例提供的方法中，由终端执行的全部或者部分步骤。
本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上各个实施例所述的图像修复方法。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述的图像修复方法。
需要说明的是：在上述实施例提供的图像修复方法中，由终端执行的步骤仅以上述各实施例进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读存储介质中或者作为计算机可读存储介质上的一个或多个指令或代码进行传输。计算机可读存储介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像修复方法，其特征在于，所述方法包括：
根据目标图像和图像分割模型，获取第一掩膜图像，所述图像分割模型用于从所述目标图像中分割出目标对象，所述目标对象是所述目标图像中包含的任意一个物体对象；
根据目标对象与所述第一掩膜图像，获取第二掩膜图像；
根据所述第二掩膜图像和所述目标图像，获取待修复图像；
根据所述待修复图像和图像修复模型，对所述待修复图像进行修复，所述图像修复模型是根据第一训练数据训练获得的模型，所述第一训练数据包括根据拍摄到的包含目标对象的图像生成的受损图像和拍摄到的不包含目标对象的图像。
2.根据权利要求1所述的方法，其特征在于，在所述根据目标对象与所述第一掩膜图像，获取第二掩膜图像之前，还包括：
在所述第一掩膜图像中确定修复对象，所述修复对象是所述目标对象中的任意一个对象；或者，
在所述目标图像中确定所述修复对象；
所述根据目标对象与所述第一掩膜图像，获取第二掩膜图像，包括：
根据目标对象、所述修复对象与所述第一掩膜图像，获取所述第二掩膜图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一场景下包含所述目标对象的图像和所述第一场景下不包含所述目标对象的图像；
根据所述第一场景下包含所述目标对象的图像以及所述图像分割模型，获取第三掩膜图像；
根据所述第三掩膜图像和所述第一场景下包含所述目标对象的图像，生成所述受损图像；
根据所述受损图像和所述第一场景下不包含目标对象产生的图像，构建所述第一训练数据。
4.根据权利要求1所述的方法，其特征在于，所述图像修复模型中包含编码网络和解码网络；
所述根据所述待修复图像和图像修复模型，对所述待修复图像进行修复，包括：
通过所述编码网络，提取所述待修复图像的目标特征；
将所述目标特征输入至所述解码网络中，获取修复图像。
5.根据权利要求4所述的方法，其特征在于，所述编码网络包含至少一个卷积层和至少一个空洞卷积层；
所述解码网络包含至少一个卷积层、至少一个空洞卷积层和至少一个上采样层。
6.根据权利要求4所述的方法，其特征在于，所述图像修复模型中还包含判别网络，所述判别网络用于计算所述图像修复模型的损失函数。
7.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：
响应于在目标界面中对图像修复控件的选择操作，获取所述目标图像。
8.一种图像修复装置，其特征在于，所述装置包括：
第一获取模块，用于根据目标图像和图像分割模型，获取第一掩膜图像，所述图像分割模型用于从所述目标图像中分割出目标对象，所述目标对象是所述目标图像中包含的任意一个物体对象；
第二获取模块，用于根据目标对象与所述第一掩膜图像，获取第二掩膜图像；
待修复图像获取模块，用于根据所述第二掩膜图像和所述目标图像，获取待修复图像；
图像修复模块，用于根据所述待修复图像和图像修复模型，对所述待修复图像进行修复，所述图像修复模型是根据第一训练数据训练获得的模型，所述第一训练数据包括根据拍摄到的包含目标对象的图像生成的受损图像和拍摄到的不包含目标对象的图像。
9.一种终端，其特征在于，所述终端包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的图像修复方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的图像修复方法。
CN202010129488.3A 2020-02-28 2020-02-28 图像修复方法、装置、终端及存储介质 Active CN111353965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010129488.3A CN111353965B (zh) 2020-02-28 2020-02-28 图像修复方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010129488.3A CN111353965B (zh) 2020-02-28 2020-02-28 图像修复方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN111353965A true CN111353965A (zh) 2020-06-30
CN111353965B CN111353965B (zh) 2023-08-01

Family

ID=71197228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010129488.3A Active CN111353965B (zh) 2020-02-28 2020-02-28 图像修复方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN111353965B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418249A (zh) * 2020-11-18 2021-02-26 北京字跳网络技术有限公司 掩膜图像生成方法、装置、电子设备和计算机可读介质
CN112488942A (zh) * 2020-12-02 2021-03-12 北京字跳网络技术有限公司 修复图像的方法、装置、设备和计算机可读介质
CN113077400A (zh) * 2021-04-09 2021-07-06 广州繁星互娱信息科技有限公司 图像修复方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153534A (ja) * 1997-07-31 1999-02-26 Sony Corp 画像の修復方法及び装置
CN107993210A (zh) * 2017-11-30 2018-05-04 北京小米移动软件有限公司 图像修复方法、装置及计算机可读存储介质
CN108885787A (zh) * 2018-07-06 2018-11-23 深圳前海达闼云端智能科技有限公司 训练图像修复模型的方法、图像修复方法、装置、介质及设备
CN108961174A (zh) * 2018-05-24 2018-12-07 北京飞搜科技有限公司 一种图像修复方法、装置以及电子设备
CN109978805A (zh) * 2019-03-18 2019-07-05 Oppo广东移动通信有限公司 拍照处理方法、装置、移动终端以及存储介质
CN110096960A (zh) * 2019-04-03 2019-08-06 罗克佳华科技集团股份有限公司 目标检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1153534A (ja) * 1997-07-31 1999-02-26 Sony Corp 画像の修復方法及び装置
CN107993210A (zh) * 2017-11-30 2018-05-04 北京小米移动软件有限公司 图像修复方法、装置及计算机可读存储介质
CN108961174A (zh) * 2018-05-24 2018-12-07 北京飞搜科技有限公司 一种图像修复方法、装置以及电子设备
CN108885787A (zh) * 2018-07-06 2018-11-23 深圳前海达闼云端智能科技有限公司 训练图像修复模型的方法、图像修复方法、装置、介质及设备
CN109978805A (zh) * 2019-03-18 2019-07-05 Oppo广东移动通信有限公司 拍照处理方法、装置、移动终端以及存储介质
CN110096960A (zh) * 2019-04-03 2019-08-06 罗克佳华科技集团股份有限公司 目标检测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418249A (zh) * 2020-11-18 2021-02-26 北京字跳网络技术有限公司 掩膜图像生成方法、装置、电子设备和计算机可读介质
CN112488942A (zh) * 2020-12-02 2021-03-12 北京字跳网络技术有限公司 修复图像的方法、装置、设备和计算机可读介质
CN113077400A (zh) * 2021-04-09 2021-07-06 广州繁星互娱信息科技有限公司 图像修复方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111353965B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN110503703B (zh) 用于生成图像的方法和装置
WO2021208600A1 (zh) 一种图像处理方法、智能设备及计算机可读存储介质
CN111353965B (zh) 图像修复方法、装置、终端及存储介质
WO2016155382A1 (zh) 生成马赛克图像的方法和装置
CN109493297B (zh) 低质量人脸图像增强方法、系统、设备及存储介质
CN111353956B (zh) 图像修复方法、装置、计算机设备及存储介质
CN107038695A (zh) 一种图像融合方法及移动设备
CN103440674A (zh) 一种数字图像蜡笔特效的快速生成方法
CN111144491A (zh) 图像处理方法、装置及电子系统
CN114598919B (zh) 视频处理方法、装置、计算机设备和存储介质
CN106997366B (zh) 数据库构建方法、增强现实融合追踪方法及终端设备
CN110267079B (zh) 待播放视频中人脸的替换方法和装置
CN117253054B (zh) 一种光场显著性检测方法及其相关设备
CN117576292A (zh) 三维场景渲染方法及装置、电子设备、存储介质
CN106228165A (zh) 一种照片分类的方法和移动终端
CN112188108A (zh) 拍摄方法、终端和计算机可读存储介质
CN111489323A (zh) 双光场图像融合方法、装置、设备及可读存储介质
CN108132935B (zh) 图像分类方法及图像展示方法
CN115423697A (zh) 图像修复方法、终端及计算机存储介质
CN110910303A (zh) 一种图像风格迁移方法
Novozámský et al. Extended IMD2020: a large‐scale annotated dataset tailored for detecting manipulated images
CN111179158A (zh) 图像处理方法、装置、电子设备及介质
CN113117341B (zh) 图片处理方法及装置、计算机可读存储介质、电子设备
CN114363521B (zh) 图像处理方法、装置及电子设备
JPWO2019224947A1 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant