CN113077400A - 图像修复方法、装置、计算机设备及存储介质 - Google Patents

图像修复方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113077400A
CN113077400A CN202110383272.4A CN202110383272A CN113077400A CN 113077400 A CN113077400 A CN 113077400A CN 202110383272 A CN202110383272 A CN 202110383272A CN 113077400 A CN113077400 A CN 113077400A
Authority
CN
China
Prior art keywords
image
target image
detection
target
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110383272.4A
Other languages
English (en)
Inventor
金绍港
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fanxing Huyu IT Co Ltd
Original Assignee
Guangzhou Fanxing Huyu IT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fanxing Huyu IT Co Ltd filed Critical Guangzhou Fanxing Huyu IT Co Ltd
Priority to CN202110383272.4A priority Critical patent/CN113077400A/zh
Publication of CN113077400A publication Critical patent/CN113077400A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请关于一种图像修复方法、装置、计算机设备及存储介质，涉及图像处理技术领域。所述方法包括：获取目标图像，该目标图像是对原始图像中的目标对象进行修图处理后的图像；获取目标图像中的检测对象，该检测对象是处于目标对象周围第一指定范围内的指定类型的对象；对检测对象进行扭曲检测，获得检测结果；响应于该检测结果指示检测对象发生扭曲，对目标图像中的检测对象进行扭曲修复，获得修复后的目标图像。通过上述方法，可以获得包含修图处理后获得的目标对象和未扭曲的检测对象的目标图像，从而提高了经过修图处理的图像的显示效果。

Description

图像修复方法、装置、计算机设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及图像修复方法、装置、计算机设备及存储介质。
背景技术
随着互联网以及科技的发展，用户可以通过直播应用程序与观众进行互动，在直播过程中，为了达到更好的直播效果，用户具有对脸部进行美颜处理的需求。
在相关技术中，在对用户脸部进行美颜处理时，可以将图像采集设备采集到的原始图像输入到图像处理模型，获得图像处理模型输出的美颜后的图像，并将该图像发送到观众用户对应的客户端。
然而，在对用户脸部进行美颜的过程中，会对靠近人脸的物体造成一定的影响，比如，造成物体扭曲，变形等，使得直播画面中出现物体的形状与实际不同，造成画面违和感，使得直播画面显示效果较差。
发明内容
本申请实施例提供了一种图像修复方法、装置、计算机设备及存储介质，可以减少由于对图像中的目标对象的修图处理造成的对非目标对象的影响，提高图像的显示效果，该技术方案如下：
一方面，提供了一种图像修复方法，所述方法包括：
获取目标图像，所述目标图像是对原始图像中的目标对象进行修图处理后的图像；
获取所述目标图像中的检测对象，所述检测对象是处于所述目标对象周围第一指定范围内的指定类型的对象；
对所述检测对象进行扭曲检测，获得检测结果；
响应于所述检测结果指示所述检测对象发生扭曲，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
在一种可能的实现方式中，所述响应于所述检测结果指示所述检测对象发生扭曲，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像，包括：
获取所述检测对象的扭曲区域，所述检测对象的扭曲区域用以指示所述检测对象对应的区域中发生形变的区域；
基于所述检测对象的扭曲区域，对所述目标图像进行擦除处理，获得包含擦除区域的所述目标图像；所述擦除区域包含所述检测对象的扭曲区域，且所述擦除区域的面积大于或等于所述检测对象的扭曲区域的面积；
对包含所述擦除区域的所述目标图像进行扭曲修复，获得修复后的所述目标图像。
在一种可能的实现方式中，所述对包含所述擦除区域的所述目标图像进行扭曲修复，获得修复后的所述目标图像，包括：
对包含所述擦除区域的所述目标图像进行抠图处理，获得抠取图像，所述抠取图像包含所述擦除区域，且所述抠取图像的面积大于所述擦除区域的面积；
基于所述抠取图像，对所述擦除区域进行修复处理，获得修复后的所述抠取图像；
基于修复后的所述抠取图像，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
在一种可能的实现方式中，所述基于修复后的所述抠取图像，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像，包括：
基于修复后的所述抠取图像中的像素点的像素值，对所述目标图像中抠取图像区域内的像素点的像素值进行替换，获得修复后的所述目标图像；所述抠取图像区域是所述抠取图像对应在所述目标图像中的位置区域；
或者，
将修复后的所述抠取图像与所述目标图像的未处理区域进行融合，获得修复后的所述目标图像；所述未处理区域是指抠取掉所述抠取图像后，所述目标图像的剩余区域。
在一种可能的实现方式中，所述基于所述抠取图像，对所述擦除区域进行修复处理，获得修复后的所述抠取图像，包括：
将所述抠取图像输入到第一图像修复模型中，获得所述第一图像修复模型输出的修复后的所述抠取图像，修复后的所述抠取图像中包含修复后的所述擦除区域；
其中，所述第一图像修复模型是基于第一样本图像以及第一标签图像训练获得的模型；所述第一样本图像是在所述第一个标签图像中擦除部分区域得到的；所述第一标签图像是对完整图像中的指定类型的对象进行抠图获得的。
在一种可能的实现方式中，所述将所述抠取图像输入到第一图像修复模型中，获得所述第一图像修复模型输出的修复后的所述抠取图像，包括：
获取所述检测对象的类型信息；
将所述抠取图像输入到与所述类型信息相对应的所述第一图像修复模型中，获得所述第一图像修复模型输出的修复后的所述抠取图像。
在一种可能的实现方式中，所述对包含所述擦除区域的所述目标图像进行扭曲修复，获得修复后的所述目标图像，包括：
将包含所述擦除区域的所述目标图像输入到第二图像修复模型中，获得所述第二图像修复模型输出的修复后的所述目标图像；
其中，所述第二图像修复模型是基于第二样本图像，以及第二标签图像训练获得的模型；所述第二样本图像是在所述第二个标签图像中擦除部分区域得到的；所述第二标签图像包含指定类型的对象。
在一种可能的实现方式中，所述基于所述检测对象的扭曲区域，对所述目标图像进行擦除处理，获得包含擦除区域的所述目标图像，包括：
对所述检测对象的扭曲区域内的像素点的像素值，以及所述检测对象的扭曲区域周围第二指定范围内的像素点的像素值进行置0处理，获得包含所述擦除区域的所述目标图像。
在一种可能的实现方式中，所述响应于所述检测结果指示所述检测对象发生扭曲，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像，包括：
响应于所述检测结果指示所述检测对象发生扭曲，将所述目标图像输入到第三图像修复模型中，获得所述第三图像修复模型输出的修复后的所述目标图像；
其中，所述第三图像修复模型是基于第三样本图像，以及第三标签图像训练获得的模型；所述第三样本图像是在所述第三标签图像中扭曲部分区域得到的；所述第三标签图像是包含指定类型的对象的正常图像。
在一种可能的实现方式中，获取所述目标图像中的检测对象，包括：
对所述目标图像进行人脸识别，获取所述目标图像中的人脸对象或者肢体对象，作为所述目标对象；
获取在所述人脸对象或者所述肢体对象的所述第一指定范围内的乐器，作为所述检测对象。
在一种可能的实现方式中，所述对所述检测对象进行扭曲检测，获得检测结果，包括：
将所述目标图像输入到扭曲检测模型中，获得所述扭曲检测模型输出的所述检测结果；所述检测结果用以指示所述目标图像中的所述检测图像是否发生扭曲；
其中，所述扭曲检测模型是基于第四样本图像，以及所述第四样本图像对应的标签训练获得的模型；所述第四样本图像包括发生扭曲的检测对象对应的样本图像以及未发生扭曲的检测对象对应的样本图像。
在一种可能的实现方式中，所述检测结果还用于指示所述检测对象的扭曲区域，所述检测对象的扭曲区域用以指示所述检测对象对应的区域中发生形变的区域。
在一种可能的实现方式中，所述响应于所述检测结果指示所述检测对象发生扭曲，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像，包括：
响应于所述检测结果指示所述检测对象发生扭曲，获取对应的扭曲结果指示所述检测对象发生扭曲的图像的连续帧数；
响应于所述连续帧数达到连续帧数阈值，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
另一方面，提供了一种图像修复装置，所述装置包括：
图像获取模块，用于获取目标图像，所述目标图像是对原始图像中的目标对象进行修图处理后的图像；
检测对象获取模块，用于获取所述目标图像中的检测对象，所述检测对象是处于所述目标对象周围第一指定范围内的指定类型的对象；
扭曲检测模块，用于对所述检测对象进行扭曲检测，获得检测结果；
修复模块，用于响应于所述检测结果指示所述检测对象发生扭曲，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
在一种可能的实现方式中，所述修复模块，包括：
扭曲区域获取子模块，用于获取所述检测对象的扭曲区域，所述检测对象的扭曲区域用以指示所述检测对象对应的区域中发生形变的区域；
擦除处理子模块，用于基于所述检测对象的扭曲区域，对所述目标图像进行擦除处理，获得包含擦除区域的所述目标图像；所述擦除区域包含所述检测对象的扭曲区域，且所述擦除区域的面积大于或等于所述检测对象的扭曲区域的面积；
扭曲修复子模块，用于对包含所述擦除区域的所述目标图像进行扭曲修复，获得修复后的所述目标图像。
在一种可能的实现方式中，所述扭曲修复子模块，包括：
抠取图像获取单元，用于对包含所述擦除区域的所述目标图像进行抠图处理，获得抠取图像，所述抠取图像包含所述擦除区域，且所述抠取图像的面积大于所述擦除区域的面积；
抠取图像修复单元，用于基于所述抠取图像，对所述擦除区域进行修复处理，获得修复后的所述抠取图像；
目标图像修复单元，用于基于所述抠取图像，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
在一种可能的实现方式中，所述目标图像修复单元，用于基于修复后的所述抠取图像中的像素点的像素值，对所述目标图像中抠取图像区域内的像素点的像素值进行替换，获得修复后的所述目标图像；所述抠取图像区域是所述抠取图像对应在所述目标图像中的位置区域；或者，所述目标图像修复单元，用于将修复后的所述抠取图像与所述目标图像的未处理区域进行融合，获得修复后的所述目标图像；所述未处理区域是指抠取掉所述抠取图像后，所述目标图像的剩余区域。
在一种可能的实现方式中，所述抠取图像修复单元，用于将所述抠取图像输入到第一图像修复模型中，获得所述第一图像修复模型输出的修复后的所述抠取图像，修复后的所述抠取图像中包含修复后的所述擦除区域；
其中，所述第一图像修复模型是基于第一样本图像以及第一标签图像训练获得的模型；所述第一样本图像是在所述第一个标签图像中擦除部分区域得到的；所述第一标签图像是对完整图像中的指定类型的对象进行抠图获得的。
在一种可能的实现方式中，所述抠取图像修复单元，用于获取所述检测对象的类型信息；将所述抠取图像输入到与所述类型信息相对应的所述第一图像修复模型中，获得所述第一图像修复模型输出的修复后的所述抠取图像。
在一种可能的实现方式中，所述扭曲修复子模块，用于将包含所述擦除区域的所述目标图像输入到第二图像修复模型中，获得所述第二图像修复模型输出的修复后的所述目标图像；
其中，所述第二图像修复模型是基于第二样本图像，以及第二标签图像训练获得的模型；所述第二样本图像是在所述第二个标签图像中擦除部分区域得到的；所述第二标签图像包含指定类型的对象。
在一种可能的实现方式中，所述擦除处理子模块，用于对所述检测对象的扭曲区域内的像素点的像素值，以及所述检测对象的扭曲区域周围第二指定范围内的像素点的像素值进行置0处理，获得包含所述擦除区域的所述目标图像。
在一种可能的实现方式中，所述修复模块，用于响应于所述检测结果指示所述检测对象发生扭曲，将所述目标图像输入到第三图像修复模型中，获得所述第三图像修复模型输出的修复后的所述目标图像；
其中，所述第三图像修复模型是基于第三样本图像，以及第三标签图像训练获得的模型；所述第三样本图像是在所述第三标签图像中扭曲部分区域得到的；所述第三标签图像是包含指定类型的对象的正常图像。
在一种可能的实现方式中，所述检测对象获取模块，包括：
对象识别子模块，用于对所述目标图像进行对象识别，获取所述目标图像中的人脸对象或者肢体对象，作为所述目标对象；
检测对象获取子模块，用于获取在所述人脸对象或者所述肢体对象的所述第一指定范围内的乐器，作为所述检测对象。
在一种可能的实现方式中，所述扭曲检测模块，用于将所述目标图像输入到扭曲检测模型中，获得所述扭曲检测模型输出的所述检测结果；所述检测结果用以指示所述目标图像中的所述检测图像是否发生扭曲；
其中，所述扭曲检测模型是基于第四样本图像，以及所述第四样本图像对应的标签训练获得的模型；所述第四样本图像包括发生扭曲的检测对象对应的样本图像以及未发生扭曲的检测对象对应的样本图像。
在一种可能的实现方式中，所述检测结果还用于指示所述检测对象的扭曲区域，所述检测对象的扭曲区域用以指示所述检测对象对应的区域中发生形变的区域。
在一种可能的实现方式中，所述修复模块，包括：
连续帧数获取子模块，用于响应于所述检测结果指示所述检测对象发生扭曲，获取对应的扭曲结果指示所述检测对象发生扭曲的图像的连续帧数；
所述扭曲修复子模块，用于响应于所述连续帧数达到连续帧数阈值，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储由至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述图像修复方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像修复方法。
另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的图像修复方法。
本申请提供的技术方案可以包括以下有益效果：
通过对目标图像中的检测对象进行扭曲检测，在检测结果指示该检测对象发生扭曲时，对目标图像中的目标对象进行扭曲修复，以获得修复后的目标图像，其中，该目标图像是基于对原始图像中的目标对象进行修图处理后获得的，该检测对象是基于目标图像确认的对象，也就是说，在对目标图像中的目标对象进行扭曲修复后，可以获得包含修图处理后获得的目标对象和未扭曲的检测对象的目标图像，从而提高了经过修图处理的图像的显示效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1示出了本申请一示例性实施例示出的图像修复方法对应的系统结构示意图；
图2示出了本申请一示例性实施例示出的图像修复方法的流程图；
图3示出了本申请一示例性实施例示出的目标图像的示意图；
图4示出了本申请一示例性实施例示出的图像修复方法的流程图；
图5示出了本申请一示例性实施例示出的擦除区域的示意图；
图6示出了本申请一示例性实施例提供一种在直播场景中对瘦脸技术造成的乐器形状扭曲的复原方法的流程图；
图7示出了本申请一示例性实施例示出的图像修复的逻辑框架图；
图8示出了本申请一示例性实施例示出的图像修复装置的方框图；
图9示出了本申请一示例性实施例示出的计算机设备的结构框图；
图10示出了本申请一示例性实施例示出的计算机设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在具有图像获取功能的应用程序中，为了美化图像中的目标对象的外在形象，通常提供有美颜功能，该美颜功能可以是对目标对象的局部区域进行修图处理，示意性的，该目标对象可以是图像中的人物对象，该美颜功能可以是对人物对象的人脸区域进行修图处理，或者，该美颜功能可以是对身体其他部位进行修图处理，比如对胳膊，腿部等进行处理。该修图处理的处理方式可以改变修图部位的形态的处理方式，比如，该修图处理可以是指拉伸处理，瘦脸处理，瘦腿处理等，在上述修图处理过程中，是对整个图像中的局部区域进行修图处理，而其他区域的图像保持不变，从而达到美化目标对象的目的，然而上述对目标对象的局部处理的准确性依赖与局部处理算法的准确性，当局部处理算法的准确性较低时，局部处理的过程中会对目标图像中除目标对象之外的其他对象造成影响，比如，当图像中的人物对象正在吹奏笛子时，在对人物对象的人脸区域进行瘦脸操作时，会同时对与人脸区域接近的笛子进行相同的“瘦脸”处理，从而使得处理后的目标图像中的笛子发生扭曲变形，从而造成画面违和感，使得图像显示效果较差。为了减少由于对图像中的局部区域的处理造成的对非目标对象的影响，提高图像的显示效果，本申请实施例提供一种图像修复方法，用以对由于对图像进行局部处理造成的非目标对象的扭曲进行恢复，从而图像的显示效果。
其中，本申请提供的图像修复方法可以应用于直播场景中，图1示出了本申请一示例性实施例示出的图像修复方法对应的系统结构示意图，如图1所示，该系统包括：第一终端110、服务器120以及第二终端130。
其中，该服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
终端110可以实现为进行直播的用户所使用的终端，该终端中安装有具有直播功能的应用程序，用户可以通过该应用程序进行直播，并与观看该直播的用户进行互动，该终端110可以是具有网络连接功能以及界面展示功能的终端设备，比如，终端110可以是智能手机、平板电脑、电子书阅读器、智能眼镜、智能手表、智能电视、膝上型便携计算机和台式计算机等等。
终端130可以实现为观看直播的用户所使用的终端，该终端中安装有具有直播查看功能的应用程序，用户可以通过该应用程序观看直播内容，并与进行直播的用户进行互动，该终端130可以是具有网络连接功能以及界面展示功能的终端设备，比如，终端130可以是智能手机、平板电脑、电子书阅读器、智能眼镜、智能手表、智能电视、膝上型便携计算机和台式计算机等等。
其中，具有直播功能的应用程序与具有直播查看功能的应用程序可以为同一应用程序，也可以是不同的应用程序，本申请对此不进行限制。
可选的，上述系统中包含一个或者多个终端，以及一个或多个服务器。本申请实施例对终端和服务器的个数不作限制；
在一种可能的实现方式中，终端与服务器之间通信网络相连。可选的，通信网络是有线网络或无线网络。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible MarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet ProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。本申请在此不做限制。
图2示出了本申请一示例性实施例示出的图像修复方法的流程图，该图像修复方法可以由终端执行，或者，该方法可以由服务器执行，或者，该方法可以由终端和服务器交互执行，其中，该终端和服务器可以实现为如图1所示的终端和服务器，如图2所示，该图像修复方法可以包括以下步骤：
步骤210，获取目标图像，该目标图像是对原始图像中的目标对象进行修图处理后的图像。
在一种可能的实现方式中，该原始图像是图像采集设备采集(比如实时采集)到的真实图像，该图像采集设备可以实现为摄像头或者摄像头组件。示意性的，该图像采集设备可以是直播场景中，主播对应的终端中的图像采集设备，该原始图像可以是直播数据流中的原始视频帧图像。
该目标图像是对该原始图像中的目标对象进行修图处理后的图像，该修图处理可以是对原始图像添加滤镜，增加特效，卡通化处理等处理操作，用以对该目标图像进行美化。
在对原始图像进行修图处理时，可以只对原始图像中的局部区域进行修图处理，比如只对原始图像中的人体区域，或者人体区域中的部分区域进行修图处理，比如瘦脸处理，瘦腿处理，拉伸腿部等，获得目标图像；然而局部图像处理可能会导致处理后的区域附近的对象受到该局部图像处理的影响，产生扭曲变形。
步骤220，获取目标图像中的检测对象，该检测对象是处于目标对象周围第一指定范围内的指定类型的对象。
在一种可能的实现方式中，该检测对象对该目标对象造成部分遮挡，或者，该目标对象对该检测对象造成部分遮挡，也就是说，该检测对象的对应区域与该目标对象的对应区域之间具有部分区域的重合。
在另一种可能的实现方式中，上述检测对象和目标对象之间也可以不存在重合。
该指定类型的对象可以是用户根据扭曲检测需求设定的检测对象，比如，该检测对象可以是会对目标对象造成遮挡，或者与目标对象的显示区域存在重叠的对象，比如，该指定类型的对象实现为乐器、麦克风、水杯等。
步骤230，对检测对象进行扭曲检测，获得检测结果。
对该目标对象的处理可以对该目标对象周围的检测对象造成影响，也就是说，该目标图像中可以包含基于对目标对象进行修图处理造成的扭曲后的检测对象；或者，对该目标对象的处理可以不影响该目标对象周围的检测对象。因此，对检测对象进行扭曲检测的检测结果可以指示该检测对象发生扭曲，或者，也可以指示该检测对象未发生扭曲。
步骤240，响应于该检测结果指示检测对象发生扭曲，对目标图像中的目标对象进行扭曲修复，获得修复后的目标图像。
在一种可能的实现方式中，当检测结果指示检测对象发生扭曲时，表示该检测对象对应有扭曲区域，使得该检测对象显示不正常，因此，对目标图像中的检测对象进行扭曲修复，可以体现在对检测对象对应的扭曲区域的修复，以获得该检测对象显示正常的目标图像，即修复后的目标图像。
综上所述，本申请实施例提供的对象修复方法，通过对目标图像中的检测对象进行扭曲检测，在检测结果指示该检测对象发生扭曲时，对目标图像中的检测对象进行扭曲修复，以获得修复后的目标图像，其中，该目标图像是基于对原始图像中的目标对象进行修图处理后获得的，该检测对象是基于目标图像确认的对象；也就是说，在对目标图像中的检测对象进行扭曲修复后，可以获得包含修图处理后获得的目标对象和未扭曲的检测对象的目标图像，从而提高了经过修图处理的图像的显示效果。
本申请实施例所提供的图像修复方法，可以应用于直播场景中，在直播场景中，主播为了提高直播效果，会利用直播软件中的美颜功能，或者，直播软件之外的其他美颜软件进行美颜操作，比如瘦脸，瘦腿，拉长腿部等操作，但在进行美颜操作时，通常会对需要美颜处理之外的区域的像素造成影响，比如，在进行瘦脸操作时，会将与脸部相近的像素也进行“瘦脸”操作，从而使得与脸部相近的对象发生扭曲变形，使得该对象显示异常，从而造成直播画面的违和感。以该目标对象为人脸区域为例，图3示出了本申请一示例性实施例示出的目标图像的示意图，如图3所示，该目标图像是对原始图像中的人脸区域进行过瘦脸操作后的图像，在该目标图像的人脸区域310周围包含检测对象320(图示为笛子)，在对人脸区域310进行瘦脸操作之后，笛子320也受到瘦脸操作的影响，发生扭曲变形，在笛子320与人脸区域310接近的区域出现扭曲区域321，而其他区域保持正常，由此会使得呈现出的画面中笛子显示异常，从而造成画面违和，进而影响到画面显示效果。
为消除由于局部图像处理造成的非目标对象的扭曲而带来的画面违和感，提高图像显示效果，图4示出了本申请一示例性实施例示出的图像修复方法的流程图，该图像修复方法可以由终端执行，或者，该方法可以由服务器执行，或者，该方法可以由终端和服务器交互执行，其中，该终端和服务器可以实现为如图1所示的终端和服务器，如图4所示，该图像修复方法可以包括以下步骤：
步骤410，获取目标图像，该目标图像是对原始图像中的目标对象进行修图处理后的图像。
在一种可能的实现方式中，该目标图像是对直播视频流中的原始视频帧图像中的目标对象进行修图处理后获得的视频帧图像，当前获取的目标图像，是直播视频流中最新生成的视频帧图像。
步骤420，对目标图像进行对象识别，获取目标图像中的人脸对象或者肢体对象，作为目标对象。
由于检测对象是处于目标对象周围第一指定范围内的指定类型的对象，为了获取检测对象，可以先基于目标对象在目标图像的位置对检测对象进行初步定位，之后，基于目标对象的位置进一步确认检测对象在目标图像的位置。
在一种可能的实现方式中，该目标图像中可以包含一个目标对象，或者，该目标图像中可以包含多个目标对象；同时，该目标图像中可以包含一个检测对象，或者，该目标图像中可以包含多个目标对象；本申请对一个目标图像中包含的目标对象以及检测对象的数量不进行限制。
在一种可能的实现方式中，一个目标对象周围的第一指定范围内可以包括一个检测对象，或者，一个目标对象周围的第一指定范围内可以包括多个检测对象；本申请对目标图像中的一个目标对象对应的检测对象的数量不做限制。
该目标对象可以是经过修图处理后的人脸对象或肢体对象，比如经过瘦脸处理后的人脸，或者，经过瘦腿处理后的腿部，或者，经过拉长处理后的腿部等等。在本申请实施例中，以该目标对象可以实现为目标人脸为例对本申请提供的图像修复方法进行说明，示意性的，该目标图像中包含多个目标人脸，在对目标图像中的目标对象进行局部图像处理时，比如美颜处理时，可以对多个目标人脸均进行美颜处理，从而可能造成对多个目标人脸分别对应的第一指定范围内的像素点造成影响，从而使得处于该第一指定范围内的检测对象发生扭曲。
当局部图像处理的目标对象的数量为多个时，对多个目标对象进行修图处理的处理方式可以不同，示意性的，当修图处理为美颜处理时，对不同的目标人脸(目标对象)的美颜效果可以不同，比如当目标图像中包含三个目标人脸，对目标人脸1可以添加滤镜1，对目标人脸2可以添加滤镜2，对目标人脸3可以添加滤镜3，不同的滤镜对对应的目标人脸造成不同的处理效果，进而对不同的人脸区域周围的一定范围内的像素点造成的不同影响。当同一个检测对象同时处于基于不同修图处理后获得的目标对象分别对应的第一指定范围内时，会造成同一检测对象在不同区域中的不同显示效果，从而使得测试对象在不同区域内发生不同程度的扭曲。
在本申请实施例中，以目标图像中包含一个目标对象，且一个目标对象周围的第一指定范围内包含一个检测对象为例，对本申请提供的图像修复方法进行说明。需要说明的是，当目标图像中包含对个检测对象时，可以采用本申请提供的图像修复方法对各个检测对象分别进行图像修复。
在一种可能的实现方式中，响应于目标对象为目标人脸时，可以对目标图像进行人脸识别，获取目标图像中的目标人脸。
在一种可能的实现方式中，可以基于人脸识别模型对目标图像进行人脸识别，获取目标图像中的目标人脸；
其中，该人脸识别模型是基于样本人脸图像，以及该样本人脸图像对应的人脸区域标签训练获得的模型。
步骤430，获取在人脸对象或者肢体对象的第一指定范围内的乐器，作为检测对象。
其中，该指定类型的对象可以是乐器，或者麦克风。
其中，第一指定范围可以由开发人员基于实际需求进行设置，示意性的，该第一指定范围可以是距离该人脸区域的边界指定距离的范围，或者，该第一指定范围是基于该目标对象的最小邻接矩形确定的范围。
步骤440，对检测对象进行扭曲检测，获得检测结果。
在一种可能的实现方式中，将目标图像输入到扭曲检测模型中，获得扭曲检测模型输出的检测结果；该检测结果用以指示目标图像中的检测图像是否发生扭曲；
其中，扭曲检测模型是基于第四样本图像，以及第四样本图像对应的标签训练获得的模型；该第四样本图像包括发生扭曲的检测对象对应的样本图像以及未发生扭曲的检测对象对应的样本图像。
在一种可能的实现方式中，该扭曲检测模型可以在实现人脸识别功能的基础上，对检测对象是否发生扭曲进行检测，获得检测结果；此时，该第四样本图像是人脸图像，同时，该人脸图像的人脸区域对应的第一指定范围内包含检测对象。
第四样本图像对应的标签用以指示该第四样本图像中的检测对象是否发生扭曲。
在一种可能的实现方式中，第四样本图像中发生扭曲的检测对象对应的样本图像的标签还用以指示该样本图像中包含的扭曲区域，且标注有该扭曲区域在该样本图像中的位置。训练获得的扭曲检测模型可以在判断出当前样本图像中的检测对象是否发生扭曲的同时，还能输出该检测对象对应的扭曲区域，也就是说，检测结果还用于指示检测对象的扭曲区域，该扭曲区域用以指示检测对象对应的区域中发生形变的区域，如图3所示的区域321。
步骤450，响应于检测结果指示检测对象发生扭曲，对目标图像中的检测对象进行扭曲修复，获得修复后的目标图像。
在本申请实施例中，一种可能的扭曲修复方法可以实现为：
获取检测对象的扭曲区域，该检测对象的扭曲区域用以指示检测对象对应的区域中发生形变的区域；
基于该检测对象的扭曲区域，对目标图像进行擦除处理，获得包含擦除区域的目标图像；该擦除区域包含该检测对象的扭曲区域，且该擦除区域的面积大于或等于该检测对象的扭曲区域的面积；
对包含擦除区域的目标图像进行扭曲修复，获得修复后的目标图像。
其中，该检测对象的扭曲区域可以是从步骤440中的扭曲检测模型的检测结果中获取到的。
在本申请实施例中，基于检测对象的扭曲区域，对目标图像进行擦除处理，获得包含擦除区域的目标图像可以实现为：对检测对象的扭曲区域内的像素点的像素值，以及检测对象的扭曲区域周围第二指定范围内的像素点的像素值进行置0处理，获得包含擦除区域的目标图像。
其中，该第二指定范围可以是距离检测对象的扭曲区域的边界指定距离的范围，示意性的，该指定距离的值可以为0，也就是说，可以只将确定的检测对象的扭曲区域内的像素点的像素值置0；或者，也可以通过调节指定距离的值调节擦除区域的大小，将擦除区域内的像素点的像素值置0，以避免由于对检测对象的扭曲区域的位置确定偏差而导致图像修复效果较差。
或者，在一种可能的实现方式中，可以将该检测对象的扭曲区域的最小邻接矩形获取为擦除区域，将该擦除区域中的像素点的像素值设置为0；以擦除扭曲区域内的像素点为例，图5示出了本申请一示例性实施例示出的擦除区域的示意图，如图5所示，在目标图像500中包含扭曲区域510，将扭曲区域内的像素点的像素值置0后，获得擦除区域520。该擦除区域520中包含检测对象的部分区域(扭曲区域)以及部分人脸区域。
为提高对目标图像的修复效果，在对包含擦除区域的目标图像进行扭曲修复，获得修复后的目标图像时，可以将包含擦除区域的目标图像输入到第二图像修复模型中，获得第二图像修复模型输出的修复后的目标图像；
其中，该第二图像修复模型是基于第二样本图像，以及第二标签图像训练获得的模型；该第二样本图像是在第二个标签图像中擦除部分区域得到的；该第二标签图像包含指定类型的对象。
第二样本图像可以是在第二标签图像中擦除指定类型的对象对应的区域中的部分区域后获得的。
对目标图像中的检测对象进行扭曲修复，实际上是对目标图像中的检测对象的扭曲区域进行扭曲修复，也即是对擦除区域进行图像修复。其中，图像修复，又称图像插值或视频插值，是指重建图像或视频中丢失或损坏的部分，利用复杂的算法来替换已丢失、损坏的图像数据，在对缺失的部分进行修复时，主要依赖于图像中已有的信息，来还原图像中的缺失部分。在本申请实施例中，对擦除区域进行图像修复，主要依赖于与擦除区域相近的像素点的像素值来实现。因此在对包含擦除区域的目标图像进行扭曲修复，获得修复后的目标图像时，可以先对包含擦除区域的目标图像进行抠图处理，获得抠取图像，该抠取图像包含擦除区域，且该抠取图像的面积大于擦除区域的面积；
基于该抠取图像，对擦除区域进行修复处理，获得修复后的抠取图像；
基于修复后的抠取图像，对目标图像中的检测对象进行扭曲修复，获得修复后的目标图像。
在一种可能的实现方式中，该擦除区域位于该抠取图像的中心；
在一种可能的实现方式中，该抠取图像的面积是基于擦除区域的面积确定的，示意性的，该抠取图像的面积是擦除区域的面积的四倍，抠取图像的长度为擦除区域的长度的两倍，抠取图像的宽度为擦除区域的宽度的两倍。
在一种可能的实现方式中，基于抠取图像，对擦除区域进行修复处理的过程可以实现为：将抠取图像输入到第一图像修复模型中，获得第一图像修复模型输出的修复后的抠取图像，修复后的抠取图像中包含修复后的擦除区域；
其中，该第一图像修复模型是基于第一样本图像以及第一标签图像训练获得的模型；该第一样本图像是在第一个标签图像中擦除部分区域得到的；该第一标签图像是对完整图像中的指定类型的对象进行抠图获得的。
该第一样本图像可以是擦除第一标签图像中包含的指定类型的对象对应的区域中的部分区域后获得的图像。
为提高第一图像修复模型的修复效果，可以有针对性的进行模型训练，在一种可能的实现方式中，在对第一图像修复模型进行训练时，可以基于检测对象的类型，分别训练对应于不同类型的检测对象的第一图像修复模型，示意性的，可以基于包含对小提琴(检测对象)进行局部擦除后的第一样本图像，以及该第一样本图像对应的包含完整小提琴的图像，训练获得小提琴对应的第一图像修复模型；或者，可以基于包含对长笛进行局部擦除后的第一样本图像，以及该第一样本图像对应的包含完整长笛的图像，训练获得长笛对应的第一图像修复模型。
在将抠取图像输入到第一图像修复模型中，获得第一图像修复模型输出的修复后的抠取图像时，可以先获取检测对象的类型信息；
将抠取图像输入到与类型信息相对应的第一图像修复模型中，获得第一图像修复模型输出的修复后的抠取图像。
比如，当检测对象为笛子时，将其对应的抠取图像输入到笛子对应的第一图像修复模型中；当检测对象为口琴时，将其对应的抠取图像输入到口琴对应的第一图像修复模型中。
在一种可能的实现方式中，基于修复后的抠取图像，对目标图像中的检测对象进行扭曲修复，获得修复后的目标图像的过程实现为：
将修复后的抠取图像与目标图像的未处理区域进行融合，获得修复后的目标图像；该未处理区域是指抠取掉抠取图像后，目标图像的剩余区域。
也就是说，在基于抠取图像进行目标图像修复时，只需对抠取图像对应的部分进行修复处理，目标图像中除去抠取图像后的剩余区域则无需进行修复处理，在获取到该抠取图像后，将该抠取图像与目标图像的剩余区域进行拼接融合，使得在目标图像中的目标对象保持修图处理后的状态的同时，将扭曲后的检测对象恢复为正常展示状态。
或者，在另一种可能的实现方式中，基于修复后的抠取图像，对目标图像中的检测对象进行扭曲修复，获得修复后的目标图像的过程实现为：
基于修复后的抠取图像中的像素点的像素值，对目标图像中抠取图像区域内的像素点的像素值进行替换，获得修复后的目标图像；该抠取图像区域是抠取图像对应在目标图像中的位置区域。
也就是说，在获得修复后的该抠取图像后，将目标图像中对应于该抠取图像的区域中的像素点的像素值替换为修复后的抠取图像中的像素值，以完成对目标图像的修复。
本申请实施例提供的另一种可能的扭曲修复方法，可以基于包含扭曲的检测对象的目标图像，利用机器模型对该目标图像进行图像修复，该过程可以实现为：
响应于检测结果指示检测对象发生扭曲，将目标图像输入到第三图像修复模型中，获得第三图像修复模型输出的修复后的目标图像；
其中，该第三图像修复模型是基于第三样本图像，以及第三标签图像训练获得的模型；该第三样本图像是在第三标签图像中扭曲部分区域得到的；该第三标签图像是包含指定类型的对象的正常图像。
该第三图像修复模型可以基于检测结果指示包含扭曲区域的目标图像，对扭曲区域的像素点的像素值进行调节，将扭曲区域中的图像恢复为正常图像，进而获得正常显示的目标图像。
为了防止目标图像中出现扭曲区域为偶发状况，避免对图像修复资源的浪费，在一种可能的实现方式中，响应于检测结果指示检测对象发生扭曲，获取对应的扭曲结果指示检测对象发生扭曲的图像的连续帧数；
响应于该连续帧数达到连续帧数阈值，对目标图像中的检测对象进行扭曲修复，获得修复后的目标图像。
也就是说，为了避免对图像修复资源的浪费，当检测到检测对象对应的区域中包含扭曲区域的连续图像帧数达到连续帧数阈值时，确定该目标图像中出现扭曲区域是由于对目标对象进行修图处理造成的，进而基于目标图像执行图像修复方法，以获得修复后的目标图像。
当该目标图像是直播场景中实时生成的视频帧图像时，在获得修复后的目标图像后，将修复后的目标图像推送到观看该直播的观众用户对应的终端，以使得观众用户对应的终端界面中展示有包含修图处理后的目标图像，以及正常显示的检测对象的直播图像。
综上所述，本申请实施例提供的对象修复方法，通过对目标图像中的检测对象进行扭曲检测，在检测结果指示该检测对象发生扭曲时，对目标图像中的检测对象进行扭曲修复，以获得修复后的目标图像，其中，该检测对象是基于修图处理过的目标对象确认的对象，也就是说，在对目标图像中的检测对象进行扭曲修复后，可以获得包含修图处理后的目标对象和未扭曲的检测对象的目标图像，从而提高了经过修图处理的图像的显示效果。
基于图2或图4所示实施例提供的图像修复方法，图6示出了本申请一示例性实施例提供一种在直播场景中对瘦脸技术造成的乐器形状扭曲的复原方法的流程图，该方法可以由终端执行，或者，该方法可以由服务器执行，或者，该方法可以由终端和服务器交互执行，其中，该终端和服务器可以实现为如图1所示的终端和服务器，如图6所示，该方法包括：
步骤610，获取实时视频图像。
该实时视频图像是将通过图像采集设备采集到的原始图片进行局部图像处理后的图像，比如，该视频图像是对视频图像中的人脸经过美颜处理后的图像，该目标图像中的人脸区域与乐器区域部分重合，也就是说，乐器对人脸造成部分遮挡。
步骤620，通过人脸识别模型从该视频图像识别出人脸区域。
步骤630，判断人脸区域周围指定范围内是否包含乐器区域；若是，则执行步骤640，否则结束。
步骤640，通过扭曲检测模型判断该乐器区域是否发生扭曲形变，若是，则执行步骤650，否则结束。
步骤650，对乐器区域中发生扭曲变形的区域进行擦除处理，获得包含擦除区域的视频图像。
该乐器区域中发生扭曲变形的区域可以是对人脸区域造成遮挡的区域。
步骤660，基于擦除区域获取抠取图像，该抠取图像中包含擦除区域。
步骤670，将抠取图像输入到图像修复模型中，获得该图像修复模型输出的包含修复后的擦除区域的抠取图像。
该图像修复模型是基于第一样本图像以及第一标签图像训练获得的模型；该第一样本图像是在第一个标签图像中擦除部分区域得到的；该第一标签图像是对完整图像中的指定类型的对象进行抠图获得的。
步骤680，将包含修复后的擦除区域的抠取图像与视频图像进行融合，使得乐器恢复正常状态，同时人脸区域保持瘦脸处理后的状态。
依次对视频数据流中的每一帧目标图像进行步骤610至步骤680的图像修复处理后，将修复后的目标图像对应的视频数据流依次推送给观众用户的终端。
图7示出了本申请一示例性实施例示出的图像修复的逻辑框架图，如图7所示，目标图像710是对原始图像中的目标对象(目标人脸711)进行修图处理后的图像，将该目标图像710输入到具有人脸识别功能的扭曲检测模型720中，获得扭曲检测模型720的检测结果，当检测结果指示该目标图像中的检测对象发生扭曲时，输出扭曲区域的位置，如图7所示，可以是将扭曲区域框选出来；当检测结果指示该目标图像中的检测对应未发生扭曲时，结束；将确定有扭曲的检测对象的目标图像中的扭曲区域中的像素点的像素置0，获得包含擦除区域的目标图像730，对包含擦除区域的目标图像730进行抠图操作，获取抠取图像740；将该抠取图像740输入到第一图像修复模型750中，获得该第一图像修复模型750输出的修复后的抠取图像760，将修复后的抠取图像760与目标图像710进行融合，即将抠取图像760中的像素点替换到目标图像710中的对应位置上，获得修复后的目标图像770。
图8示出了本申请一示例性实施例示出的图像修复装置的方框图，如图8所示，该图像修复装置包括：
图像获取模块810，用于获取目标图像，所述目标图像是对原始图像中的目标对象进行修图处理后的图像；
检测对象获取模块820，用于获取所述目标图像中的检测对象，所述检测对象是处于所述目标对象周围第一指定范围内的指定类型的对象；
扭曲检测模块830，用于对所述检测对象进行扭曲检测，获得检测结果；
修复模块840，用于响应于所述检测结果指示所述检测对象发生扭曲，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
在一种可能的实现方式中，所述修复模块840，包括：
扭曲区域获取子模块，用于获取所述检测对象的扭曲区域，所述检测对象的扭曲区域用以指示所述检测对象对应的区域中发生形变的区域；
擦除处理子模块，用于基于所述检测对象的扭曲区域，对所述目标图像进行擦除处理，获得包含擦除区域的所述目标图像；所述擦除区域包含所述检测对象的扭曲区域，且所述擦除区域的面积大于或等于所述检测对象的扭曲区域的面积；
扭曲修复子模块，用于对包含所述擦除区域的所述目标图像进行扭曲修复，获得修复后的所述目标图像。
在一种可能的实现方式中，所述扭曲修复子模块，包括：
抠取图像获取单元，用于对包含所述擦除区域的所述目标图像进行抠图处理，获得抠取图像，所述抠取图像包含所述擦除区域，且所述抠取图像的面积大于所述擦除区域的面积；
抠取图像修复单元，用于基于所述抠取图像，对所述擦除区域进行修复处理，获得修复后的所述抠取图像；
目标图像修复单元，用于基于所述抠取图像，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
在一种可能的实现方式中，所述目标图像修复单元，用于基于修复后的所述抠取图像中的像素点的像素值，对所述目标图像中抠取图像区域内的像素点的像素值进行替换，获得修复后的所述目标图像；所述抠取图像区域是所述抠取图像对应在所述目标图像中的位置区域；或者，所述目标图像修复单元，用于将修复后的所述抠取图像与所述目标图像的未处理区域进行融合，获得修复后的所述目标图像；所述未处理区域是指抠取掉所述抠取图像后，所述目标图像的剩余区域。
在一种可能的实现方式中，所述抠取图像修复单元，用于将所述抠取图像输入到第一图像修复模型中，获得所述第一图像修复模型输出的修复后的所述抠取图像，修复后的所述抠取图像中包含修复后的所述擦除区域；
其中，所述第一图像修复模型是基于第一样本图像以及第一标签图像训练获得的模型；所述第一样本图像是在所述第一个标签图像中擦除部分区域得到的；所述第一标签图像是对完整图像中的指定类型的对象进行抠图获得的。
在一种可能的实现方式中，所述抠取图像修复单元，用于获取所述检测对象的类型信息；将所述抠取图像输入到与所述类型信息相对应的所述第一图像修复模型中，获得所述第一图像修复模型输出的修复后的所述抠取图像。
在一种可能的实现方式中，所述扭曲修复子模块，用于将包含所述擦除区域的所述目标图像输入到第二图像修复模型中，获得所述第二图像修复模型输出的修复后的所述目标图像；
其中，所述第二图像修复模型是基于第二样本图像，以及第二标签图像训练获得的模型；所述第二样本图像是在所述第二个标签图像中擦除部分区域得到的；所述第二标签图像包含指定类型的对象。
在一种可能的实现方式中，所述擦除处理子模块，用于对所述检测对象的扭曲区域内的像素点的像素值，以及所述检测对象的扭曲区域周围第二指定范围内的像素点的像素值进行置0处理，获得包含所述擦除区域的所述目标图像。
在一种可能的实现方式中，所述修复模块840，用于响应于所述检测结果指示所述检测对象发生扭曲，将所述目标图像输入到第三图像修复模型中，获得所述第三图像修复模型输出的修复后的所述目标图像；
其中，所述第三图像修复模型是基于第三样本图像，以及第三标签图像训练获得的模型；所述第三样本图像是在所述第三标签图像中扭曲部分区域得到的；所述第三标签图像是包含指定类型的对象的正常图像。
在一种可能的实现方式中，所述检测对象获取模块820，包括：
对象识别子模块，用于对所述目标图像进行对象识别，获取所述目标图像中的人脸对象或者肢体对象，作为所述目标对象；
检测对象获取子模块，用于获取在所述人脸对象或者所述肢体对象的所述第一指定范围内的乐器，作为所述检测对象。
在一种可能的实现方式中，所述扭曲检测模块830，用于将所述目标图像输入到扭曲检测模型中，获得所述扭曲检测模型输出的所述检测结果；所述检测结果用以指示所述目标图像中的所述检测图像是否发生扭曲；
其中，所述扭曲检测模型是基于第四样本图像，以及所述第四样本图像对应的标签训练获得的模型；所述第四样本图像包括发生扭曲的检测对象对应的样本图像以及未发生扭曲的检测对象对应的样本图像。
在一种可能的实现方式中，所述检测结果还用于指示所述检测对象的扭曲区域，所述检测对象的扭曲区域用以指示所述检测对象对应的区域中发生形变的区域。
在一种可能的实现方式中，所述修复模块840，包括：
连续帧数获取子模块，用于响应于所述检测结果指示所述检测对象发生扭曲，获取对应的扭曲结果指示所述检测对象发生扭曲的图像的连续帧数；
所述扭曲修复子模块，用于响应于所述连续帧数达到连续帧数阈值，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
综上所述，本申请实施例提供的对象修复装置，通过对目标图像中的检测对象进行扭曲检测，在检测结果指示该检测对象发生扭曲时，对目标图像中的检测对象进行扭曲修复，以获得修复后的目标图像，其中，该目标图像是基于对原始图像中的目标对象进行修图处理后获得的，该检测对象是基于目标图像确认的对象，也就是说，在对目标图像中的检测对象进行扭曲修复后，可以获得包含修图处理后获得的目标对象和未扭曲的检测对象的目标图像，从而提高了经过修图处理的图像的显示效果。
图9是根据一示例性实施例示出的计算机设备900的结构框图。该计算机设备900可以是图1所示的终端，比如智能手机、平板电脑或台式电脑。计算机设备900还可能被称为目标用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，计算机设备900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的方法。
在一些实施例中，计算机设备900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
在一些实施例中，计算机设备900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
本领域技术人员可以理解，图9中示出的结构并不构成对计算机设备900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图10示出了本申请一示例性实施例示出的计算机设备1000的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备1000包括中央处理单元(Central Processing Unit，CPU)1001、包括随机存取存储器(Random Access Memory，RAM)1002和只读存储器(Read-Only Memory，ROM)1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述计算机设备1000还包括用于存储操作系统1009、应用程序1010和其他程序模块1011的大容量存储设备1006。
所述大容量存储设备1006通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。所述大容量存储设备1006及其相关联的计算机可读介质为计算机设备1000提供非易失性存储。也就是说，所述大容量存储设备1006可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read Only Memory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-OnlyMemory，EEPROM)闪存或其他固态存储设备，CD-ROM、数字多功能光盘(Digital VersatileDisc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1006可以统称为存储器。
根据本公开的各种实施例，所述计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1000可以通过连接在所述系统总线1005上的网络接口单元1007连接到网络1008，或者说，也可以使用网络接口单元1007来连接到其他类型的网络或远程计算机系统(未示出)。
所述存储器还包括至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中，中央处理单元1001通过执行该至少一条指令、至少一段程序、代码集或指令集来实现上述各个实施例所示的图像修复方法中的全部或者部分步骤。
本领域技术人员可以理解，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像修复方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在一示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2或图4任一实施例所示方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (16)

1.一种图像修复方法，其特征在于，所述方法包括：
获取目标图像，所述目标图像是对原始图像中的目标对象进行修图处理后的图像；
获取所述目标图像中的检测对象，所述检测对象是处于所述目标对象周围第一指定范围内的指定类型的对象；
对所述检测对象进行扭曲检测，获得检测结果；
响应于所述检测结果指示所述检测对象发生扭曲，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
2.根据权利要求1所述的方法，其特征在于，所述响应于所述检测结果指示所述检测对象发生扭曲，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像，包括：
获取所述检测对象的扭曲区域，所述检测对象的扭曲区域用以指示所述检测对象对应的区域中发生形变的区域；
基于所述检测对象的扭曲区域，对所述目标图像进行擦除处理，获得包含擦除区域的所述目标图像；所述擦除区域包含所述检测对象的扭曲区域，且所述擦除区域的面积大于或等于所述检测对象的扭曲区域的面积；
对包含所述擦除区域的所述目标图像进行扭曲修复，获得修复后的所述目标图像。
3.根据权利要求2所述的方法，其特征在于，所述对包含所述擦除区域的所述目标图像进行扭曲修复，获得修复后的所述目标图像，包括：
对包含所述擦除区域的所述目标图像进行抠图处理，获得抠取图像，所述抠取图像包含所述擦除区域，且所述抠取图像的面积大于所述擦除区域的面积；
基于所述抠取图像，对所述擦除区域进行修复处理，获得修复后的所述抠取图像；
基于修复后的所述抠取图像，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
4.根据权利要求3所述的方法，其特征在于，所述基于修复后的所述抠取图像，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像，包括：
基于修复后的所述抠取图像中的像素点的像素值，对所述目标图像中抠取图像区域内的像素点的像素值进行替换，获得修复后的所述目标图像；所述抠取图像区域是所述抠取图像对应在所述目标图像中的位置区域；
或者，
将修复后的所述抠取图像与所述目标图像的未处理区域进行融合，获得修复后的所述目标图像；所述未处理区域是指抠取掉所述抠取图像后，所述目标图像的剩余区域。
5.根据权利要求3所述的方法，其特征在于，所述基于所述抠取图像，对所述擦除区域进行修复处理，获得修复后的所述抠取图像，包括：
将所述抠取图像输入到第一图像修复模型中，获得所述第一图像修复模型输出的修复后的所述抠取图像，修复后的所述抠取图像中包含修复后的所述擦除区域；
其中，所述第一图像修复模型是基于第一样本图像以及第一标签图像训练获得的模型；所述第一样本图像是在所述第一个标签图像中擦除部分区域得到的；所述第一标签图像是对完整图像中的指定类型的对象进行抠图获得的。
6.根据权利要求5所述的方法，其特征在于，所述将所述抠取图像输入到第一图像修复模型中，获得所述第一图像修复模型输出的修复后的所述抠取图像，包括：
获取所述检测对象的类型信息；
将所述抠取图像输入到与所述类型信息相对应的所述第一图像修复模型中，获得所述第一图像修复模型输出的修复后的所述抠取图像。
7.根据权利要求2所述的方法，其特征在于，所述对包含所述擦除区域的所述目标图像进行扭曲修复，获得修复后的所述目标图像，包括：
将包含所述擦除区域的所述目标图像输入到第二图像修复模型中，获得所述第二图像修复模型输出的修复后的所述目标图像；
其中，所述第二图像修复模型是基于第二样本图像，以及第二标签图像训练获得的模型；所述第二样本图像是在所述第二个标签图像中擦除部分区域得到的；所述第二标签图像包含指定类型的对象。
8.根据权利要求2所述的方法，其特征在于，所述基于所述检测对象的扭曲区域，对所述目标图像进行擦除处理，获得包含擦除区域的所述目标图像，包括：
对所述检测对象的扭曲区域内的像素点的像素值，以及所述检测对象的扭曲区域周围第二指定范围内的像素点的像素值进行置0处理，获得包含所述擦除区域的所述目标图像。
9.根据权利要求1所述的方法，其特征在于，所述响应于所述检测结果指示所述检测对象发生扭曲，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像，包括：
响应于所述检测结果指示所述检测对象发生扭曲，将所述目标图像输入到第三图像修复模型中，获得所述第三图像修复模型输出的修复后的所述目标图像；
其中，所述第三图像修复模型是基于第三样本图像，以及第三标签图像训练获得的模型；所述第三样本图像是在所述第三标签图像中扭曲部分区域得到的；所述第三标签图像是包含指定类型的对象的正常图像。
10.根据权利要求1所述的方法，其特征在于，获取所述目标图像中的检测对象，包括：
对所述目标图像进行对象识别，获取所述目标图像中的人脸对象或者肢体对象，作为所述目标对象；
获取在所述人脸对象或者所述肢体对象的所述第一指定范围内的乐器，作为所述检测对象。
11.根据权利要求1所述的方法，其特征在于，所述对所述检测对象进行扭曲检测，获得检测结果，包括：
将所述目标图像输入到扭曲检测模型中，获得所述扭曲检测模型输出的所述检测结果；所述检测结果用以指示所述目标图像中的所述检测图像是否发生扭曲；
其中，所述扭曲检测模型是基于第四样本图像，以及所述第四样本图像对应的标签训练获得的模型；所述第四样本图像包括发生扭曲的检测对象对应的样本图像以及未发生扭曲的检测对象对应的样本图像。
12.根据权利要求11所述的方法，其特征在于，所述检测结果还用于指示所述检测对象的扭曲区域，所述检测对象的扭曲区域用以指示所述检测对象对应的区域中发生形变的区域。
13.根据权利要求1所述的方法，其特征在于，所述响应于所述检测结果指示所述检测对象发生扭曲，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像，包括：
响应于所述检测结果指示所述检测对象发生扭曲，获取对应的扭曲结果指示所述检测对象发生扭曲的图像的连续帧数；
响应于所述连续帧数达到连续帧数阈值，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
14.一种图像修复装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标图像，所述目标图像是对原始图像中的目标对象进行修图处理后的图像；
检测对象获取模块，用于获取所述目标图像中的检测对象，所述检测对象是处于所述目标对象周围第一指定范围内的指定类型的对象；
扭曲检测模块，用于对所述检测对象进行扭曲检测，获得检测结果；
修复模块，用于响应于所述检测结果指示所述检测对象发生扭曲，对所述目标图像中的所述检测对象进行扭曲修复，获得修复后的所述目标图像。
15.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有至少一条指令、至少一条程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至13任一所述的图像修复方法。
16.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至13任一所述的图像修复方法。
CN202110383272.4A 2021-04-09 2021-04-09 图像修复方法、装置、计算机设备及存储介质 Pending CN113077400A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110383272.4A CN113077400A (zh) 2021-04-09 2021-04-09 图像修复方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110383272.4A CN113077400A (zh) 2021-04-09 2021-04-09 图像修复方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN113077400A true CN113077400A (zh) 2021-07-06

Family

ID=76615827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110383272.4A Pending CN113077400A (zh) 2021-04-09 2021-04-09 图像修复方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113077400A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900708A (zh) * 2022-05-07 2022-08-12 北京红山信息科技研究院有限公司 一种基于PaaS平台的直播系统及其方法
CN114331912B (zh) * 2022-01-06 2023-09-29 北京字跳网络技术有限公司 一种图像修复方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270544A1 (en) * 2013-03-14 2014-09-18 Cyberlink Corp. Image Editing Method and System
US20170195557A1 (en) * 2012-04-24 2017-07-06 Apple Inc. Image Enhancement and Repair Using Sample Data from Other Images
CN110933299A (zh) * 2019-11-18 2020-03-27 深圳传音控股股份有限公司 一种图像处理方法、装置及计算机存储介质
CN111353965A (zh) * 2020-02-28 2020-06-30 Oppo广东移动通信有限公司 图像修复方法、装置、终端及存储介质
CN112258404A (zh) * 2020-10-15 2021-01-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170195557A1 (en) * 2012-04-24 2017-07-06 Apple Inc. Image Enhancement and Repair Using Sample Data from Other Images
US20140270544A1 (en) * 2013-03-14 2014-09-18 Cyberlink Corp. Image Editing Method and System
CN110933299A (zh) * 2019-11-18 2020-03-27 深圳传音控股股份有限公司 一种图像处理方法、装置及计算机存储介质
CN111353965A (zh) * 2020-02-28 2020-06-30 Oppo广东移动通信有限公司 图像修复方法、装置、终端及存储介质
CN112258404A (zh) * 2020-10-15 2021-01-22 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331912B (zh) * 2022-01-06 2023-09-29 北京字跳网络技术有限公司 一种图像修复方法及装置
CN114900708A (zh) * 2022-05-07 2022-08-12 北京红山信息科技研究院有限公司 一种基于PaaS平台的直播系统及其方法

Similar Documents

Publication Publication Date Title
CN112989904B (zh) 风格图像生成方法、模型训练方法、装置、设备和介质
US20180255282A1 (en) Method and apparatus for generating image information
CN109741388B (zh) 用于生成双目深度估计模型的方法和装置
CN112101305B (zh) 多路图像处理方法、装置及电子设备
CN105100688A (zh) 图像处理方法、图像处理装置和监视系统
CN111105367B (zh) 人脸畸变校正方法、装置、电子设备及存储介质
CN113077400A (zh) 图像修复方法、装置、计算机设备及存储介质
CN110072047B (zh) 图像形变的控制方法、装置和硬件装置
CN110062157B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN112017222A (zh) 视频全景拼接与三维融合方法及装置
CN115311178A (zh) 图像拼接方法、装置、设备及介质
CN112712487A (zh) 一种场景视频融合方法、系统、电子设备及存储介质
CN111815518A (zh) 投影图像拼接方法、装置、计算机设备、存储介质及系统
CN111292272A (zh) 图像处理方法、装置、介质以及电子设备
CN109656800B (zh) 图像识别应用的测试方法、装置、终端及存储介质
CN112419179A (zh) 修复图像的方法、装置、设备和计算机可读介质
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
CN112233196B (zh) 直播间绿屏检测方法、装置、设备及存储介质
CN113205011A (zh) 图像掩膜确定方法及装置、存储介质和电子设备
CN113012031A (zh) 图像处理方法和图像处理装置
CN109816791B (zh) 用于生成信息的方法和装置
CN111784726A (zh) 人像抠图方法和装置
CN112052863B (zh) 一种图像检测方法及装置、计算机存储介质、电子设备
CN110097622B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN114299089A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination