CN111353946B - 图像修复方法、装置、设备及存储介质 - Google Patents

图像修复方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111353946B
CN111353946B CN201811573981.3A CN201811573981A CN111353946B CN 111353946 B CN111353946 B CN 111353946B CN 201811573981 A CN201811573981 A CN 201811573981A CN 111353946 B CN111353946 B CN 111353946B
Authority
CN
China
Prior art keywords
area
region
target
original
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811573981.3A
Other languages
English (en)
Other versions
CN111353946A (zh
Inventor
田野
王志斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811573981.3A priority Critical patent/CN111353946B/zh
Priority to PCT/CN2019/126843 priority patent/WO2020125739A1/zh
Publication of CN111353946A publication Critical patent/CN111353946A/zh
Priority to US17/240,811 priority patent/US11908105B2/en
Application granted granted Critical
Publication of CN111353946B publication Critical patent/CN111353946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种图像修复方法、装置、设备及存储介质，属于图像处理技术领域。该方法包括：显示待修复的原始图像，确定原始图像中待修复的第一原始区域和除第一原始区域以外的第二原始区域；根据目标像素点以及包含目标像素点的目标像素块，在第二原始区域中获取目标搜索区域，目标搜索区域的面积小于第二原始区域的面积；在目标搜索区域中，搜索与目标像素块匹配的参考像素块，根据参考像素块对目标像素块进行修复，显示修复后的图像，在面积较小的目标搜索区域中进行搜索，缩小了搜索区域，缩短了搜索时长，提高了搜索速度。

Description

图像修复方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域，特别涉及一种图像修复方法、装置、设备及存储介质。
背景技术
随着摄影功能的不断完善和用户对照片展示效果的要求逐渐提升，越来越多的用户开始热衷于将拍摄的照片进行修复，移除照片中的文字或物品，达到美化照片的效果。因此，图像修复成为一种常用的图像处理方式。
当需要进行图像修复时，获取待修复的目标图像，目标图像中包括待修复的第一原始区域和无需进行修复的第二原始区域，根据第一原始区域与第二原始区域的分界线，确定分界线上的目标像素点，以及包含目标像素点的目标像素块；在第二原始区域中，搜索与目标像素点匹配的参考像素块，根据参考像素块对目标像素块进行修复。修复之后，根据当前还未修复的区域与除该区域之外的其他区域之间的分界线，选取分界线上的目标像素点，继续针对选取的目标像素点执行上述修复步骤，直至对第一原始区域修复完成。
在对第一原始区域进行修复时，需要在无需修复的第二原始区域中搜索与目标像素块匹配的参考像素块，而该第二原始区域的面积较大，导致搜索过程需要耗费过长的时间，搜索速度慢。
发明内容
本发明实施例提供了一种图像修复方法、装置、设备及存储介质，可以解决相关技术存在的问题。所述技术方案如下：
一方面，提供了一种图像修复方法，所述方法包括：
显示待修复的原始图像，确定所述原始图像中待修复的第一原始区域和除所述第一原始区域以外的第二原始区域；
根据目标像素点以及包含所述目标像素点的目标像素块，在所述第二原始区域中获取目标搜索区域，所述目标搜索区域的面积小于所述第二原始区域的面积；
在所述目标搜索区域中，搜索与所述目标像素块匹配的参考像素块，根据所述参考像素块对所述目标像素块进行修复，显示修复后的图像。
另一方面，提供了一种图像修复方法，所述方法包括：
获取待修复的目标图像，所述目标图像中包括待修复的第一原始区域和除所述第一原始区域之外的第二原始区域；
获取当前的修复分界线，所述修复分界线为当前还未修复的区域与除所述区域之外的其他区域之间的分界线；
确定所述修复分界线上的目标像素点，以及包含所述目标像素点的目标像素块；
在所述第二原始区域中获取目标搜索区域，所述目标搜索区域的面积小于所述第二原始区域的面积；
在所述目标搜索区域中，搜索与所述目标像素块匹配的参考像素块，根据所述参考像素块对所述目标像素块进行修复。
另一方面，提供了一种图像修复装置，所述装置包括：
显示模块，用于显示待修复的原始图像；
确定模块，用于确定所述原始图像中待修复的第一原始区域和除所述第一原始区域以外的第二原始区域；
区域获取模块，用于根据目标像素点以及包含所述目标像素点的目标像素块，在所述第二原始区域中获取目标搜索区域，所述目标搜索区域的面积小于所述第二原始区域的面积；
搜索模块，用于在所述目标搜索区域中，搜索与所述目标像素块匹配的参考像素块；
修复模块，用于根据所述参考像素块对所述目标像素块进行修复，显示修复后的图像。
另一方面，提供了一种图像修复装置，所述装置包括：
图像获取模块，用于获取待修复的目标图像，所述目标图像中包括待修复的第一原始区域和除所述第一原始区域之外的第二原始区域；
分界线获取模块，用于获取当前的修复分界线，所述修复分界线为当前还未修复的区域与除所述区域之外的其他区域之间的分界线；
确定模块，用于确定所述修复分界线上的目标像素点，以及包含所述目标像素点的目标像素块；
区域获取模块，用于在所述第二原始区域中获取目标搜索区域，所述目标搜索区域的面积小于所述第二原始区域的面积；
搜索模块，用于在所述目标搜索区域中，搜索与所述目标像素块匹配的参考像素块；
修复模块，用于根据所述参考像素块对所述目标像素块进行修复。
另一方面，提供了一种用于修复图像的设备，所述设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如所述的图像修复方法中所执行的操作。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现如所述的图像修复方法中所执行的操作。
本发明实施例提供的图像修复方法、装置、设备及存储介质，通过显示待修复的原始图像，确定原始图像中待修复的第一原始区域和除第一原始区域以外的第二原始区域，在第二原始区域中获取目标搜索区域，在目标搜索区域中搜索与目标像素块匹配的参考像素块，根据参考像素块对目标像素块进行修复，该目标搜索区域的面积小于第二原始区域的面积，与在第二原始区域中进行搜索相比，在面积较小的目标搜索区域中进行搜索，缩小了搜索区域，缩短了搜索时长，提高了搜索速度。
而且，通过检测原始图像中的选择操作确定待修复的第一原始区域，则用户只需在原始区域中进行选择操作即可设置需要进行修复的区域，操作简便快捷，便于用户的灵活设置。
而且，在用户选择区域的过程中，显示修复过程的动态效果，为用户显示动态的修复界面，提高了显示效果，增强了趣味性。
本发明实施例提供的图像修复方法、装置、设备及存储介质，通过获取待修复的目标图像，该目标图像包括待修复的第一原始区域和除第一原始区域之外的第二原始区域，获取当前还未修复的区域与除区域之外的其他区域之间的修复分界线，确定修复分界线上的目标像素点，以及包含目标像素点的目标像素块，在第二原始区域中获取目标搜索区域，在目标搜索区域中，搜索与目标像素块匹配的参考像素块，根据参考像素块对目标像素块进行修复，该目标搜索区域的面积小于第二原始区域的面积，与在第二原始区域中进行搜索相比，在面积较小的目标搜索区域中进行搜索，缩小了搜索区域，缩短了搜索时长，提高了搜索速度。
而且，通过在第二原始区域中获取以目标像素点为圆心的目标搜索区域，既能够保证目标搜索区域包含原始图像中的图像信息，在目标搜索区域中搜索出的像素块能够用于进行修复，也能够保证在目标像素块的附近搜索像素块，提高了准确率，提升了修复效果。
而且，对于目标像素块的像素点，还会对该像素点的像素值，与该像素点在参考像素块中的对应像素点的像素值进行融合，将融合得到的像素值确定为该像素点修复后的像素值，使得目标像素块与周围区域在视觉上平滑过渡，避免修复区域出现明显的人为修复痕迹。
而且，通过提取第二区域的方式，使得后续仅对第二区域进行处理，不再考虑目标图像中除第二区域之外的其他区域，减小了区域面积，在更小面积的区域中获取目标搜索区域，缩短了搜索时长。
而且，通过在第二区域中与第二原始区域的相交区域中，获取以目标像素点为圆心的目标搜索区域，既能够保证目标搜索区域包含原始图像中的图像信息，在目标搜索区域中搜索出的像素块能够用于进行修复，也能够保证在目标像素块的附近搜索像素块，提高了准确率，提升了修复效果，而且，获取减小了目标搜索区域时采用的区域范围，缩短了搜索时长，提高了搜索速度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种实施环境的示意图；
图2本发明实施例提供的一种图像修复方法的流程图；
图3是本发明实施例提供的一种原始图像的示意图；
图4是本发明实施例提供的一种标记图像的示意图；
图5是本发明实施例提供的一种目标图像的示意图；
图6是本发明实施例提供的一种修复分界线的示意图；
图7是本发明实施例提供的一种修复分界线的示意图；
图8是本发明实施例提供的一种修复分界线上像素点的示意图；
图9是本发明实施例提供的一种修复后图像的示意图；
图10是本发明实施例提供的一种图像修复方法的流程图；
图11是本发明实施例提供的一种区域划分的示意图；
图12是本发明实施例提供的一种操作流程示意图；
图13本发明实施例提供的一种图像修复方法的流程图；
图14是本发明实施例提供的一种图像修复装置的结构示意图；
图15是本发明实施例提供的一种图像修复装置的结构示意图；
图16是本发明实施例提供的一种终端的结构示意图；
图17是本发明实施例提供的一种服务器的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种实施环境的示意图，参见图1，该实施环境包括：终端101。
终端101可以为手机、计算机、平板电脑、智能电视等多种类型的设备。终端101具备图像修复功能，获取到目标图像之后，能够对目标图像中的某一区域进行修复。
在一种可能实现方式中，该实施环境还可以包括服务器102，终端101和服务器102之间通过网络连接。服务器102可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
终端101获取目标图像，向服务器102发送该目标图像，服务器102接收该目标图像，对目标图像中的某一区域进行修复，向终端101发送修复后的图像。则终端101接收修复后的图像，展示给用户。
本发明实施例应用于对某一图像中的某一区域进行修复的任意场景下。
例如，用户拍摄了一张人物照片，但是照片中除用户本人外，还存在其他陌生人，此时可以将照片中陌生人所在的区域作为待修复的区域，采用本发明实施例提供的方法，对该区域进行修复，从而得到一张不包括陌生人的照片。
又如，用户拍摄了一段美食视频，但是在视频中除美食外，还存在餐具，此时可以将视频中餐具所在的区域作为待修复区域，采用本发明实施例提供的方法，对视频的每个视频帧中的该区域进行修复，从而得到一段不包含餐具的美食视频。
图2是本发明实施例提供的一种图像修复方法的流程图。本发明实施例的执行主体为图像修复设备，该图像修复设备为上述图1所示实施例中的终端101或服务器102。参见图2，该方法包括：
201、获取待修复的目标图像。
本发明实施例应用于修复图像的场景下，对于获取到的任一原始图像，通过在该原始图像中确定待修复的区域，获取待修复的目标图像，目标图像中包括待修复的第一原始区域和除第一原始区域之外的第二原始区域。
目标图像与原始图像之间的区别在于：原始图像中，第一原始区域和第二原始区域的每个像素点的像素值为原始的像素值，而目标图像中，第二原始区域中的每个像素点的像素值为原始的像素值，而第一原始区域的每个像素点的像素值均为指定像素值，使得该第一原始区域显示该指定像素值对应的颜色。
其中，该指定像素值可以为较浅颜色的像素值，如白色的像素值等。将第一原始区域的每个像素点的像素值修改为指定像素值，可以使目标图像中的第一原始区域显示为特定的颜色，在对第一原始区域进行修复的过程中能够避免第一原始区域原始的颜色造成的干扰。
在一种可能实现方式中，该第一原始区域可以由用户通过选择操作确定。即图像修复设备显示原始图像，用户在原始图像中触发选择操作，当图像修复设备检测到该选择操作时，将选择操作对应的区域确定为第一原始区域，将未选择的区域确定为第二原始区域，将第一原始区域中每个像素点的像素值修改为指定像素值，保持第二原始区域中每个像素点的像素值不变，从而得到待修复的目标图像。其中，该选择操作可以为滑动操作、点击操作、长按操作等。例如：用户可以在原始图像中触发滑动操作，从而将滑动区域确定为第一原始区域，或者用户点击原始图像中的任一位置，从而将以该位置为中心的预设尺寸的区域确定为第一原始区域，或者用户长按原始图像中的任一位置，从而将以该位置为左上角的预设尺寸的区域确定为第一原始区域。
举例来说，图像修复设备显示图像管理界面，该图像管理界面中包括图像调用选项，用户执行对该图像调用选项的确认操作时，可以触发图像调用指令，图像修复设备在接收到图像调用指令后，调用图像数据库，获取用户从图像数据库中选择的原始图像。图像修复设备在图像管理界面，显示该原始图像，用户在该原始图像中进行选择操作，图像修复设备检测到选择操作时，将选择操作对应的区域确定为第一原始区域，将原始图像中除第一原始区域以外的区域确定为第二原始区域。将第一原始区域中像素点的像素值修改为指定像素值，保持第二原始区域中像素点的像素值不变，得到目标图像。此时可以显示目标图像，供用户查看，或者也可以不显示目标图像，后续直接由原始图像切换为显示修复后的图像。
在另一种可能实现方式中，为了在保留原始图像的情况下获取目标图像，图像修复设备显示原始图像，根据检测到的选择操作，确定该选择操作对应的区域，根据该选择操作对应的区域创建标记图像，该标记图像的尺寸与原始图像的尺寸相等，且该标记图像中该选择操作对应的区域中每个像素点的像素值为第一指定像素值，而未选择的区域中每个像素点的像素值为第二指定像素值。获取标记图像中两个区域之间的分界线，根据该分界线所在的位置对原始图像进行区域划分，确定原始图像中的第一原始区域和第二原始区域，将第一原始区域中像素点的像素值修改为第三指定像素值，保持第二原始区域中像素点的像素值不变，得到目标图像。
例如，图3为原始图像，用户在原始图像中人物所在的区域进行滑动操作，图像修复设备根据用户的滑动操作，确定用户选择的区域即为人物所在的区域，则创建如图4所示的mask(蒙版)图像，进而根据mask图像中两个区域的分界线所在的位置，确定原始图像中的第一原始区域和第二原始区域，通过对第一原始区域中像素点的像素值进行修改，得到如图5所示的目标图像。
202、获取当前的修复分界线。
其中，修复分界线为当前还未修复的区域与除该区域之外的其他区域之间的分界线，包括但不限于以下两种情况：
第一种情况：图像修复设备在获取目标图像后，对目标图像开始进行修复之前，当前还未修复的区域为第一原始区域，修复分界线即为第一原始区域与第二原始区域的分界线，如图6所示(图6中不同的线条代表不同的颜色)。
第二种情况：图像修复设备已经对第一原始区域的一部分进行修复后，当前还未修复的区域为第一原始区域中除已修复的区域之外，剩余的还未修复的区域，而当前无需修复的区域为第二原始区域以及第一原始区域中已修复的区域，修复分界线即为当前还未修复的区域与除该区域之外的其他区域之间的分界线，如图7所示(图7中不同的线条代表不同的颜色)。
203、确定修复分界线上的目标像素点，以及包含目标像素点的目标像素块。
图像修复设备获取当前的修复分界线后，将修复分界线上的某一像素点确定为目标像素点，将包含目标像素点的像素块确定为待修复的目标像素块。
在一种可能实现方式中，可以从修复分界线上随机选取一个像素点作为目标像素点，或者还可以获取该修复分界线上多个像素点的修复优先级，并将修复优先级最高的像素点作为目标像素点。
其中，对于修复分界线上的任一像素点，可以采用以下公式获取修复优先级：
P(p)＝C(p)*D(p)
Figure GDA0003946491790000081
Figure GDA0003946491790000082
如图8所示(图8中不同的线条代表不同的颜色)，I代表目标图像，Ω代表当前还未修复的区域，Φ代表除该区域之外的其他区域，δΩ代表修复分界线，ψp代表包含像素点p的像素块，ψp∩Ω代表像素块ψp中的待修复区域，ψp∩Φ代表像素块ψp中除待修复区域之外的其他区域。P(p)代表像素点p的修复优先级，C(p)代表像素点p的置信度，D(p)代表像素点p的数据项。C(q)为像素点q的置信度，C(q)的初始值为1。|ψp|代表像素块ψp的面积，
Figure GDA0003946491790000091
代表像素点p的梯度向量的正交向量，np是以像素点p为顶点的单位向量，β代表归一化因子，当目标图像为灰度图像时，β＝225。
或者，对于修复分界线上的任一像素点，可以采用以下任一公式获取修复优先级：
P(p)＝C(p)+D(p)
P(p)＝aC(p)+bD(p)
P(p)＝aRc(p)+bD(p)，Rc(p)＝(1-w)*C(p)+w
其中，P(p)代表像素点p的修复优先级，C(p)代表像素点p的置信度，D(p)代表像素点p的数据项，a、b代表权重，a+b＝1。w为0至1之间的固定常数。
在另一种可能实现方式中，将包含目标像素点的像素块确定为待修复的目标像素块，包括：获取以目标像素点为中心、尺寸为预设尺寸的像素块，作为目标像素块，或者，获取以目标像素点为顶点、尺寸为预设尺寸且与第一原始区域和第二原始区域均相交的像素块，作为目标像素块。其中，预设尺寸为9×9、15×15或者其他尺寸。
204、在第二原始区域中获取目标搜索区域。
图像修复设备在第二原始区域中获取目标搜索区域，以便在目标搜索区域中搜索与目标像素块匹配的像素块，该目标搜索区域属于第二原始区域，且该目标搜索区域的面积小于第二原始区域的面积，区域的面积指代的是区域内包含的像素点的总数量。
其中，就目标搜索区域的形状而言，该形状可以为任意形状，比如圆形、长方形、或者不规则图形等，就目标搜索区域的获取方式而言，图像修复设备可以将目标像素块的邻域与第二原始区域的相交区域作为目标搜索区域。该邻域是指以目标像素块为中心的区域，该邻域的尺寸或形状可以任意设置。
与在第二原始区域中进行搜索相比，在面积较小的目标搜索区域中进行搜索，缩小了搜索区域，缩短了搜索时长，提高了搜索速度。
在一种可能实现方式中，图像修复设备获取以目标像素点为圆心的圆形区域，将圆形区域与第二原始区域的相交区域确定为目标搜索区域。其中，该圆形区域的半径可以为固定数值。
在另一种可能实现方式中，该圆形区域的半径与目标搜索区域的面积呈正相关关系，而目标搜索区域的面积与在目标搜索区域中搜索像素块的时长呈正相关关系，因此，圆形区域的半径会影响搜索时长，进而影响图像修复效率。
表1是本发明实施例提供的一种圆形区域的半径与搜索时长的关系图，由表1可知，圆形区域的半径越小，搜索时长越小。
表1
圆形区域半径(像素点) 搜索时长(秒)
200 47.81
150 37.05
120 25
因此，可以根据圆形区域的半径获取目标搜索区域，包括以下步骤2041-2043：
2041、获取以目标像素点为圆心，以搜索距离为半径的圆形区域。
其中，搜索距离等于第一原始区域的面积与预设系数的乘积，预设系数大于0。如该预设系数可以为0.5、0.45、0.4，或者还可以为其他大于0的数值。
例如：目标像素点为p，第一原始区域的面积为S，预设系数为0.45时，图像修复设备获取以p点为中心，以0.45S为半径的圆形区域。
图像修复设备获取到圆形区域后，还会判断该圆形区域是否与第二原始区域相交，根据判断结果，执行下述步骤2042或2043：
2042、当圆形区域与第二原始区域相交时，将圆形区域与第二原始区域的相交区域确定为目标搜索区域。
圆形区域与第二原始区域相交时，直接将圆形区域与第二原始区域的相交区域确定为目标搜索区域，这样既可以保证能够在目标像素点附近且属于第二原始区域的区域内进行搜索，而且还能保证目标搜索区域的面积不会过大，尽量地缩短了搜索时长。
2043、当圆形区域与第二原始区域不相交时，扩大搜索距离，获取以目标像素点为圆心，以扩大后的搜索距离为半径的圆形区域，直至当前获取的圆形区域与第二原始区域相交时，将当前获取的圆形区域与第二原始区域的相交区域确定为目标搜索区域。
以当前的搜索距离为第一搜索距离为例，以目标像素点为圆心，以第一搜索距离为半径的圆形区域与第二原始区域不相交时，扩大搜索距离，得到第二搜索距离，获取以目标像素点为圆心，以第二搜索距离为半径的圆形区域，继续判断该圆形区域与第二原始区域是否相交，当前获取的圆形区域仍未与第二原始区域相交时，则继续扩大搜索距离，得到第三搜索距离，以此类推，直至当前获取的圆形区域与第二原始区域相交时，将当前获取的圆形区域与第二原始区域的相交区域确定为目标搜索区域。
其中，扩大搜索距离时，可以按照预设步长扩大，该预设步长可以为5像素点、9像素点，或者还可以为其他数量个像素点；或者，还可以采用将搜索距离扩大预设倍数的方式，该预设倍数可以为0.5、1或者其他倍数。
例如：目标像素点为p，第一搜索距离为R，若以p点为圆心、以R为半径的圆形区域与第二原始区域不相交，则扩大搜索距离为2R。若以p点为圆心、以2R为半径的圆形区域与第二原始区域相交，则将相交区域确定为目标搜索区域。或者，若以p点为圆心、以2R为半径的圆形区域与第二原始区域不相交，则扩大搜索距离为3R，以此类推，直至当前获取的圆形区域与第二原始区域相交时，将当前获取的圆形区域与第二原始区域的相交区域确定为目标搜索区域。
需要说明的是，图像修复设备第一次对目标图像进行修复时，所确定的目标像素点位于第一原始区域与第二原始区域之间的分界线上，因此，获取到的以目标像素点为中心，以搜索距离为半径的圆形区域必然会与第二原始区域相交。此时可以采用上述步骤2042，将圆形区域与第二原始区域的相交区域确定为目标搜索区域。
而随着第一原始区域的逐渐修复，修复边界线逐渐向第一原始区域的内部移动，图像修复设备会逐渐沿着向第一原始区域的内部移动的方向选取目标像素点，导致目标像素点与第一原始区域和第二原始区域之间的分界线的距离逐渐变大，当该距离过大时，可能会导致目标像素点所在的圆形区域与第二原始区域不相交，无法获取到属于第二原始区域的目标搜索区域，此时可以采用上述步骤2043，通过扩大搜索距离的方式重新构造圆形区域，以便获取到属于第二原始区域的目标搜索区域。
通过上述获取目标搜索区域的方式，能够保证目标搜索区域属于第二原始区域，能够包含原始图像中的图像信息，在目标搜索区域中搜索出的像素块能够用于进行修复，并且该目标搜索区域以目标像素点为圆心，能够保证在目标像素块的附近搜索像素块，提高了准确率，提升了修复效果。
在一种可能实现方式中，可以获取第二原始区域中每个像素点的像素值，从而按照像素值的不同，将第二原始区域划分为多个区域，以使每个区域内像素点的像素值属于同一个像素范围。在获取目标像素块时，根据目标像素块中每个像素点的像素值，确定目标像素块中包含的至少一个像素值，此时，只需在第二原始区域中、该至少一个像素值对应的区域中获取目标搜索区域，而不再考虑第二原始区域中的其他区域。
其中，可以直接对第二原始区域进行彩色分割，也可以将第二原始区域转换为灰度图后，对第二原始区域进行灰度分割。
205、在目标搜索区域中，搜索与目标像素块匹配的参考像素块。
在一种可能实现方式中，搜索参考像素块的过程可以包括以下步骤2051-2052：
2051、在目标搜索区域中，获取与目标像素块尺寸相同的多个像素块。
图像修复设备在获取到目标像素块后，可以设置与目标像素块的尺寸相同的搜索窗口，通过在目标搜索区域中多次移动该搜索窗口，每次确定搜索窗口的位置后，获取该搜索窗口内的像素块，之后将该搜索窗口移动至下一个位置，继续获取该搜索窗口内的像素块，直至搜索窗口在目标搜索区域中移动完成后，获取到与目标像素块尺寸相同的多个像素块。
其中，搜索窗口的移动步长可以为1、2、3或者任意数值，当搜索窗口的移动步长为1时，代表每次移动时，将该搜索窗口在横向方向和纵向方向均移动一个像素点。表2是本发明实施例提供的一种搜索窗口的移动步长与搜索时长的关系图，由表2可知，在同一区域内，搜索窗口的移动步长越大，搜索时长越小。
表2
步长Step 搜索时长(秒)
Step＝1 52.95
Step＝2 13.53
Step＝3 6.26
Step＝4 3.74
但是，搜索窗口的移动步长设置的过大时，可能会导致搜索窗口搜索不到与目标像素块匹配的像素块。因此，综合考虑搜索时长和搜索到匹配像素块的需求，可以采用以下公式设置合适的移动步长：
Figure GDA0003946491790000131
其中，L代表移动步长，S1代表第一原始区域的面积。
2052、获取多个像素块与目标像素块之间的相似度，将多个像素块中与目标像素块之间的相似度最大的像素块，确定为参考像素块。
其中，任两个像素块之间的相似度代表这两个像素块之间的相似性，相似度越高，代表两个像素块越相似。
图像修复设备获取多个像素块后，获取多个像素块中的每个像素块与目标像素块之间的相似度，将多个像素块中与目标像素块之间的相似度最大的像素块，确定为参考像素块，从而能够采用与目标像素块最为相似的像素块，对目标像素块进行修复，提升了修复效果。
该相似度可以采用欧式距离表示，欧式距离越大，表示相似度越小，则获取多个像素块与目标像素块之间的欧式距离，将多个像素块中与目标像素块之间的欧式距离最小的像素块，确定为参考像素块。其中，欧式距离可以为L1欧式距离、L2欧式距离或L3欧式距离。
欧式距离的计算方式与目标图像彩图的色彩空间有关，该色彩空间可以为RGB色彩空间、LAB色彩空间，或者还可以为其他形式的色彩空间。
在一种可能实现方式中，以像素块
Figure GDA0003946491790000132
与像素块ψq为例，当像素块的色彩空间为RGB色彩空间时，采用以下公式，分别获取像素块
Figure GDA0003946491790000133
与像素块ψq之间的L1欧式距离：
Figure GDA0003946491790000134
其中，
Figure GDA0003946491790000135
和
Figure GDA0003946491790000136
分别代表像素块
Figure GDA0003946491790000137
中的像素点u处的红色分量像素值、绿色分量像素值和蓝色分量像素值，Rq(v)、Gq(v)和Bq(v)分别代表像素块ψq中与像素点u对应的像素点v处的红色分量像素值、绿色分量像素值和蓝色分量像素值。
L2欧式距离、L3欧式距离的计算方式与上述L1欧式距离的计算方式类似，在此不再赘述。
需要说明的是，上述步骤2051-2052仅以在获取到与目标像素块尺寸相同的多个像素块后，再分别获取这些像素块与目标像素块之间的相似度进行说明，在另一种可能实现方式中，在每次获取到与目标像素块尺寸相同的像素块后即获取该像素块与目标像素块之间的相似度。
在另一种可能实现方式中，搜索参考像素块的过程还可以包括步骤2053-2054：
2053、在目标搜索区域中获取与目标像素块匹配的多个像素块。
本发明实施例中，图像修复设备获取目标搜索区域中每个像素块与目标像素块之间的相似度，将相似度按照从大到小的顺序排序，获取相似度较高的多个像素块，或者，获取相似度不小于预设阈值的多个像素块。
该预设阈值可由一般情况下相互匹配的两个像素块之间的相似度确定。且获取相似度的方式与上述步骤2052中获取相似度的方式相同，在此不再赘述。
例如：计算目标像素块与搜索到的像素块之间的L1欧式距离，将L1欧式距离从小到大排序，获取L1欧式距离较小的多个像素块，或者获取L1欧式距离小于预设阈值的多个像素块。
2054、按照多个像素块中的每个像素块与目标像素块之间的相似度，对多个像素块进行加权融合，得到参考像素块。
图像修复设备按照多个像素块中的每个像素块与目标像素块之间的相似度，获取每个像素块的权重，确定多个像素块中的位置相同的像素点，将确定的多个像素点的像素值按照所属像素块的权重进行加权融合，将融合后的像素值作为参考像素块中相同位置上的像素点的像素值。采用上述方式可以获取到参考像素块中每个位置上的像素点的像素值，从而得到了参考像素块。
其中，每个像素块的权重可由每个像素块与目标像素块之间的相似度决定，该相似度与权重呈正相关关系。那么，通过获取每个像素块与目标像素块之间的相似度，即可获取该像素块对应的权重。其中，该相似度可以采用百分比表示，或者采用小数表示，或者还可以为其他表示方式。
在一种可能实现方式中，该相似度可以采用L1欧式距离表示，在获取到L1欧式距离较小的多个像素块后，将每个像素块与目标像素块之间的L1欧式距离的倒数作为该像素块的权重，使得某一个像素块与目标像素块之间的L1欧式距离越小时，该像素块的权重越大。
206、根据参考像素块对目标像素块进行修复。
在根据参考像素块对目标像素块进行修复时，包括以下任一项：
2061、对于目标像素块中的第一像素点，将第一像素点在参考像素块中的对应像素点的像素值，确定为第一像素点修复后的像素值。
其中，当第一像素点在目标像素块中的位置，与另一个像素点在参考像素块中的位置相同时，第一像素点与该另一个像素点为对应的像素点。
图像修复设备根据参考像素块对目标像素块进行修复时，获取目标像素块中的第一像素点以及该第一像素点在目标像素块中的位置，获取参考像素块中对应位置处的像素点的像素值，将该像素值确定为第一像素点修复后的像素值。之后，对于目标像素块中的其他像素点，也会采用上述方式进行修复，以完成对目标像素块的修复。
2062、对于目标像素块中的第一像素点，将第一像素点在参考像素块中的对应像素点的像素值与第一像素点的像素值进行融合，将融合得到的像素值确定为第一像素点修复后的像素值。
其中，该融合方式也可以为加权融合，通过设置目标像素块和参考像素块的权重，将第一像素点在参考像素块中的对应像素点的像素值与第一像素点的像素值按照所属像素块的权重进行加权融合。
其中，目标像素块和参考像素块的权重之和为1。例如，将目标像素块和参考像素块的权重分别设置为0.4和0.6，或者为0.65和0.35，或者为0.5和0.5或者还可以采用其他方式确定二者的权重。
在一种可能实现方式中，如果该第一像素点位于目标像素块中还未修复的区域，则不考虑该第一像素点的像素值，将第一像素点在参考像素块中的对应像素点的像素值，确定为第一像素点修复后的像素值。如果该第一像素点位于目标像素块中除还未修复的区域之外的其他区域，则将第一像素点在参考像素块中的对应像素点的像素值与第一像素点的像素值进行融合，将融合得到的像素值确定为第一像素点修复后的像素值。
在另一种可能实现方式中，采用上述方式对还未修复的区域和其他区域分别进行修复，会导致修复之后这两个区域的分界线产生锯齿，影响图像展示效果。因此，在进行修复之前，可以先在目标像素块中选取一条平滑的分界线，以该分界线将目标像素块划分为两个指定区域。如果第一像素点位于与还未修复的区域的相交区域面积较大的指定区域中，不考虑该第一像素点的像素值，将第一像素点在参考像素块中的对应像素点的像素值，确定为第一像素点修复后的像素值，如果该第一像素点位于另一指定区域，则将第一像素点在参考像素块中的对应像素点的像素值与第一像素点的像素值进行融合，将融合得到的像素值确定为第一像素点修复后的像素值。其中，选取平滑分界线的方式可以为动态规划方式，或者还可以为其他方式。
这样，在对目标像素块进行修复后，使得目标像素块与周围区域在视觉上平滑过渡，避免修复区域出现明显的人为修复痕迹。
需要说明的是，在完成对当前目标像素块的修复后，待修复的区域会发生变化，导致修复分界线也发生变化，则根据变化后的修复分界线，重新执行上述步骤202-206，继续进行修复，直至第一原始区域修复完成，得到修复后的图像。此时，可以显示修复后的图像，供用户查看，根据用户触发的保存操作，将修复后的图像保存在图库中，或者可以显示修复后的图像，供用户查看，且自动将修复后的图像保存在图库中。
例如，原始图像为图3所示的图像，根据如图5所示的目标图像进行修复，可以得到如图9所示的图像。
需要说明的另一点是，通过检测用户的选择操作确定第一原始区域的情况下，在用户进行选择操作的过程中，选择操作对应的区域逐渐增大，则针对逐渐增大的区域执行上述步骤202-206进行修复。并且，还可以显示选择操作对应的区域中各个像素点的像素值由原始的像素值切换为修复后的像素值的动态效果，直至选择操作停止时，第一原始区域中的每个像素点均已修复完成，此时图像修复设备显示修复后的图像。能够在用户的选择过程中，显示修复过程的动态效果，为用户显示动态的修复界面，提高了显示效果，增强了趣味性。
本发明实施例提供的方法，通过获取待修复的目标图像，该目标图像包括待修复的第一原始区域和除第一原始区域之外的第二原始区域，获取当前还未修复的区域与除区域之外的其他区域之间的修复分界线，确定修复分界线上的目标像素点，以及包含目标像素点的目标像素块，在第二原始区域中获取目标搜索区域，在目标搜索区域中，搜索与目标像素块匹配的参考像素块，根据参考像素块对目标像素块进行修复，由于该目标搜索区域的面积小于第二原始区域的面积，与在第二原始区域中进行搜索相比，在面积较小的目标搜索区域中进行搜索，缩小了搜索区域，缩短了搜索时长，提高了搜索速度。
而且，通过在第二原始区域中获取以目标像素点为圆心的目标搜索区域，既能够保证目标搜索区域包含原始图像中的图像信息，在目标搜索区域中搜索出的像素块能够用于进行修复，也能够保证在目标像素块的附近搜索像素块，提高了准确率，提升了修复效果。
且，对于目标像素块的像素点，还会对该像素点的像素值，与该像素点在参考像素块中的对应像素点的像素值进行融合，将融合得到的像素值确定为该像素点修复后的像素值，使得目标像素块与周围区域在视觉上平滑过渡，避免修复区域出现明显的人为修复痕迹。
在上述方法实施例的基础上，还提供了另一种图像修复方法。图10是本发明实施例提供的一种图像修复方法的流程图，参见图10，该方法包括：
1001、获取待修复的目标图像，目标图像中包括待修复的第一原始区域和除第一原始区域之外的第二原始区域。
1002、获取当前的修复分界线，修复分界线为当前还未修复的区域与除区域之外的其他区域之间的分界线。
1003、确定修复分界线上的目标像素点，以及包含目标像素点的目标像素块。
其中，步骤1001-1003与步骤201-203相同，在此不再赘述。
1004、获取第一区域，第一区域包括第一原始区域，且第一原始区域内切于第一区域中。
第一区域可以为任意形状，如：正方形、圆形等，仅需保证第一原始区域内切于第一区域即可。
1005、从目标图像中提取包括第一区域的第二区域，缩小第二区域得到第三区域，在第三区域中除第一原始区域缩小后的区域之外的区域中，获取第一目标搜索区域。
本公开实施例中，图像修复设备获取第一区域后，可以获取包括第一区域的第二区域，在第二区域中除第一原始区域之外的区域中获取目标搜索区域，第二区域的面积大于第一区域的面积，且小于目标图像的面积。
获取目标搜索区域的过程与步骤204类似，区别仅在于获取目标搜索区域时采用的区域范围由第二原始区域更换为第二区域中除第一原始区域之外的区域，即第二区域与第二原始区域的相交区域。
在一种可能实现方式中，图像修复设备在获取第二区域时，可以获取第一区域与除第一区域之外的其他区域之间的分界线，该分界线包括多个像素点，将位于该分界线的外侧、与该多个像素点的距离为预设距离的多个像素点组成第二区域与其他区域的分界线，从而得到包括第一区域且面积大于第一区域面积的第二区域。其中，该预设距离可以为100、500或者其他距离。且该预设距离可以包括横向预设距离和纵向预设距离。
图11是本发明实施例提供的一种区域划分的示意图，参见图11，图像修复设备在获取第一原始区域的外接矩形区域，作为第一区域，获取包含第一区域的更大尺寸的矩形区域，作为第二区域。
图像修复设备获取第二区域后，可以执行上述步骤1005，通过提取第二区域并进行缩小的方式，后续仅对第二区域进行处理，不再考虑目标图像中除第二区域之外的其他区域，减小了区域面积，在更小面积的区域中获取目标搜索区域，可以缩短搜索时长。
其中，获取第一目标搜索区域的过程与步骤204类似，区域仅在于获取目标搜索区域时采用的区域范围由第二原始区域更换为第三区域中除第一原始区域缩小后的区域之外的区域，在此不再赘述。
1006、在第一目标搜索区域中，搜索与目标像素块缩小后的像素块匹配的第一参考像素块，执行步骤1007或1008。
其中，在第一目标搜索区域搜索第一参考像素块的过程与步骤205类似，区别仅在于像素块与目标搜索区域均缩小，搜索到的第一参考像素块也是缩小的像素块。
1007、根据第一参考像素块对目标像素块缩小后的像素块进行修复；将修复后的第三区域进行放大，得到与第二区域面积相等的第四区域，将第四区域替换目标图像中的第二区域。
本发明实施例中，在获取第一参考像素块后，可以直接根据第一参考像素块对目标像素块缩小后的像素块进行修复，该修复过程与步骤206类似，区别仅在于修复过程涉及的目标像素块与参考像素块均为缩小的像素块，在此不再赘述。
在完成对目标像素块的修复后，得到修复后的第三区域，将第三区域进行放大，得到第四区域，该第四区域与目标图像中第二区域面积相等，且第四区域为修复后的第二区域，将第四区域替代第二区域后，得到修复后的目标图像。
1008、获取第一参考像素块在目标图像中的第二区域中对应的第二参考像素块，根据第二参考像素块对目标像素块进行修复。
本发明实施例中，在获取第一参考像素块后，还可以获取第一参考像素块在目标图像中的第二区域中对应的第二参考像素块，根据第二参考像素块对目标像素块进行修复，该修复过程与步骤206类似，在此不再赘述。
其中，第一参考像素块为第二区域缩小后的第三区域中的像素块，第二参考像素块为原始的第二区域中的像素块，第一参考像素块在第三区域中的位置与第二参考像素块在第二区域中的位置相同。
除上述步骤1005-1008之外，还可以采用其他方式，在第二区域中除第一原始区域之外的区域中获取目标搜索区域。
例如，上述步骤1005-1008可以由以下步骤1009代替：
1009、获取以目标像素点为圆心的圆形区域，将圆形区域、第二区域与第二原始区域的相交区域确定为目标搜索区域。该获取过程包括以下步骤：
获取以目标像素点为圆心，以搜索距离为半径的圆形区域，搜索距离等于第一原始区域的面积与预设系数的乘积，预设系数大于0。
当圆形区域与第二区域与第二原始区域的相交区域相交时，将圆形区域、第二区域与第二原始区域的相交区域的相交区域确定为目标搜索区域；或者，
当圆形区域与第二区域与第二原始区域的相交区域不相交时，扩大搜索距离，获取以目标像素点为圆心，以扩大后的搜索距离为半径的圆形区域，直至当前获取的圆形区域与第二区域与第二原始区域的相交区域相交时，将当前获取的圆形区域与第二区域与第二原始区域的相交区域的相交区域确定为目标搜索区域。
其中，扩大搜索距离的方式与步骤2043中扩大搜索距离的方式类似。
在一种可能实现方式中，可以根据第一原始区域的面积，确定采用上述哪种方式进行修复。如第一原始区域的尺寸小于第一预设阈值时，执行步骤204-206，当第一原始区域的尺寸不小于第一预设阈值，但小于第二预设阈值时，执行步骤1004，获取第一区域后获取第二区域，基于第二区域执行步骤1009，当第一原始区域的尺寸不小于第二预设阈值时，执行步骤1004-1008。
其中，该第一预设阈值和该第二预设阈值可以根据对计算量的需求和对搜索精确度的需求确定。
图12是本发明实施例提供的一种操作流程示意图，参见图12，该操作流程包括：
图像修复设备获取用户输入的原始图像，用户在原始图像中选择想要修复的区域后，图像修复设备获取待修复的目标图像、以及该目标图像中当前的修复分界线，确定修复分界线上的目标像素点、以及包含该目标像素点的目标像素块后，在除该区域之外的其他区域内搜索与该目标像素块匹配的像素块，根据匹配的像素块对目标像素块进行修复，之后，判断对第一原始区域的修复是否完成。如果是，则结束；如果否，根据变化后的待修复的区域，重新确定修复分界线，并根据变化后的修复分界线，重新执行上述步骤，直至将用户选择的区域修复完成。
本发明实施例提供的方法，通过提取第二区域的方式，使得后续仅对第二区域进行处理，不再考虑目标图像中除第二区域之外的其他区域，减小了区域面积，在更小面积的区域中获取目标搜索区域，缩短了搜索时长。
通过在第二区域中与第二原始区域的相交区域中，获取以目标像素点为圆心的目标搜索区域，既能够保证目标搜索区域包含原始图像中的图像信息，在目标搜索区域中搜索出的像素块能够用于进行修复，也能够保证在目标像素块的附近搜索像素块，提高了准确率，提升了修复效果，而且，获取减小了目标搜索区域时采用的区域范围，缩短了搜索时长，提高了搜索速度。
在上述实施例的基础上，还提供了一种图像修复方法，图13是本发明实施例提供的一种图像修复方法的流程图，参见图13，该方法包括：
1301、显示待修复的原始图像，确定原始图像中待修复的第一原始区域和除第一原始区域以外的第二原始区域。
在一种可能实现方式中，当检测到在原始图像中的选择操作时，将选择操作对应的区域确定为第一原始区域；将原始图像中除第一原始区域以外的区域确定为第二原始区域。
1302、根据目标像素点以及包含目标像素点的目标像素块，在第二原始区域中获取目标搜索区域，目标搜索区域的面积小于第二原始区域的面积。
1303、在目标搜索区域中，搜索与目标像素块匹配的参考像素块，根据参考像素块对目标像素块进行修复，显示修复后的图像。
在一种可能实现方式中，在选择操作对应的区域逐渐增大的过程中，显示选择操作对应的区域中各个像素点由原始的像素值切换为修复后的像素值的动态效果，直至选择操作停止时，执行显示修复后的图像的步骤。
需要说明的是，上述步骤1301-1303与上述图2所示的实施例类似，在此不再赘述。
本发明实施例提供的图像修复方法，通过显示待修复的原始图像，确定原始图像中待修复的第一原始区域和除第一原始区域以外的第二原始区域，在第二原始区域中获取目标搜索区域，在目标搜索区域中搜索与目标像素块匹配的参考像素块，根据参考像素块对目标像素块进行修复，该目标搜索区域的面积小于第二原始区域的面积，与在第二原始区域中进行搜索相比，在面积较小的目标搜索区域中进行搜索，缩小了搜索区域，缩短了搜索时长，提高了搜索速度。
而且，通过检测原始图像中的选择操作确定待修复的第一原始区域，则用户只需在原始区域中进行选择操作即可设置需要进行修复的区域，操作简便快捷，便于用户的灵活设置。
而且，在用户选择区域的过程中，显示修复过程的动态效果，为用户显示动态的修复界面，提高了显示效果，增强了趣味性。
图14是本发明实施例提供的一种图像修复装置的结构示意图。参见图14，该装置包括：
显示模块1401，用于显示待修复的原始图像；
确定模块1402，用于确定原始图像中待修复的第一原始区域和除第一原始区域以外的第二原始区域；
区域获取模块1403，用于根据目标像素点以及包含目标像素点的目标像素块，在第二原始区域中获取目标搜索区域，目标搜索区域的面积小于第二原始区域的面积；
搜索模块1404，用于在目标搜索区域中，搜索与目标像素块匹配的参考像素块；
修复模块1405，用于根据参考像素块对目标像素块进行修复，显示修复后的图像。
本发明实施例提供的图像修复装置，通过显示待修复的原始图像，确定原始图像中待修复的第一原始区域和除第一原始区域以外的第二原始区域，在第二原始区域中获取目标搜索区域，在目标搜索区域中搜索与目标像素块匹配的参考像素块，根据参考像素块对目标像素块进行修复，该目标搜索区域的面积小于第二原始区域的面积，与在第二原始区域中进行搜索相比，在面积较小的目标搜索区域中进行搜索，缩小了搜索区域，缩短了搜索时长，提高了搜索速度。
可选地，确定模块1402包括：
第一确定单元，用于当检测到在原始图像中的选择操作时，将选择操作对应的区域确定为第一原始区域；
第二确定单元，用于将原始图像中除第一原始区域以外的区域确定为第二原始区域。
可选地，装置还包括：
显示模块，用于在选择操作对应的区域逐渐增大的过程中，显示选择操作对应的区域中各个像素点由原始的像素值切换为修复后的像素值的动态效果，直至选择操作停止时，执行显示修复后的图像的步骤。
可选地，区域获取模块1403包括：
第一区域获取单元，用于获取以目标像素点为圆心的圆形区域，将圆形区域与第二原始区域的相交区域确定为目标搜索区域。
可选地，第一区域获取单元包括：
第一获取子单元，用于获取以目标像素点为圆心，以搜索距离为半径的圆形区域；
第二获取子单元，用于当圆形区域与第二原始区域相交时，将圆形区域与第二原始区域的相交区域确定为目标搜索区域；
第三获取子单元，用于当圆形区域与第二原始区域不相交时，扩大搜索距离，获取以目标像素点为圆心，以扩大后的搜索距离为半径的圆形区域，直至当前获取的圆形区域与第二原始区域相交时，将当前获取的圆形区域与第二原始区域的相交区域确定为目标搜索区域。
可选地，区域获取模块1403包括：
第二区域获取单元，用于获取第一区域，获取第二区域，在第二区域中除第一原始区域之外的区域中获取目标搜索区域。
可选地，第二区域获取单元包括：
第一获取子单元，用于获取第二区域，获取以目标像素点为圆心的圆形区域，将圆形区域、第二区域与第二原始区域的相交区域确定为目标搜索区域。
可选地，第二区域获取单元包括：
第二获取子单元，用于从目标图像中提取第二区域，缩小第二区域得到第三区域，在第三区域中除第一原始区域缩小后的区域之外的区域中，获取第一目标搜索区域；
搜索模块1404，用于在第一目标搜索区域中，搜索与目标像素块缩小后的像素块匹配的第一参考像素块；
修复模块1405，包括：替换单元或修复单元；
替换单元，用于根据第一参考像素块对目标像素块缩小后的像素块进行修复；将修复后的第三区域进行放大，得到与第二区域面积相等的第四区域，将第四区域替换目标图像中的第二区域；
修复单元，用于获取第一参考像素块在目标图像中的第二区域中对应的第二参考像素块，根据第二参考像素块对目标像素块进行修复。
可选地，搜索模块1404包括：
第一像素块获取单元，用于在目标搜索区域中，获取与目标像素块尺寸相同的多个像素块；
搜索单元，用于获取多个像素块与目标像素块之间的相似度，将多个像素块中与目标像素块之间的相似度最大的像素块，确定为参考像素块。
可选地，搜索单元还用于：
获取多个像素块与目标像素块之间的欧式距离；
将多个像素块中与目标像素块之间的欧式距离最小的像素块，确定为参考像素块。
可选地，搜索模块1404包括：
第二像素块获取单元，用于在目标搜索区域中获取与目标像素块匹配的多个像素块；
融合单元，用于按照多个像素块中的每个像素块与目标像素块之间的相似度，对多个像素块进行加权融合，得到参考像素块。
可选地，修复模块1405还包括：
确定单元，用于对于目标像素块中的第一像素点，将第一像素点在参考像素块中的对应像素点的像素值，确定为第一像素点修复后的像素值；或者，
融合单元，用于对于目标像素块中的第一像素点，将第一像素点在参考像素块中的对应像素点的像素值与第一像素点的像素值进行融合，将融合得到的像素值确定为第一像素点修复后的像素值。
图15是本发明实施例提供的一种图像修复装置的结构示意图。参见图15，该装置包括：
图像获取模块1501，用于获取待修复的目标图像；
分界线获取模块1502，用于获取当前的修复分界线；
确定模块1503，用于确定目标像素点和目标像素块；
区域获取模块1504，用于在第二原始区域中获取目标搜索区域；
搜索模块1505，用于在目标搜索区域中，搜索与目标像素块匹配的参考像素块；
修复模块1506，用于根据参考像素块对目标像素块进行修复。
本发明实施例提供的装置，通过获取待修复的目标图像，该目标图像包括待修复的第一原始区域和除第一原始区域之外的第二原始区域，获取当前还未修复的区域与除区域之外的其他区域之间的修复分界线，确定修复分界线上的目标像素点，以及包含目标像素点的目标像素块，在第二原始区域中获取目标搜索区域，在目标搜索区域中，搜索与目标像素块匹配的参考像素块，根据参考像素块对目标像素块进行修复，该目标搜索区域的面积小于第二原始区域的面积，与在第二原始区域中进行搜索相比，在面积较小的目标搜索区域中进行搜索，缩小了搜索区域，缩短了搜索时长，提高了搜索速度。
可选地，区域获取模块1504包括：
第一区域获取单元，用于获取以目标像素点为圆心的圆形区域，将圆形区域与第二原始区域的相交区域确定为目标搜索区域。
可选地，第一区域获取单元包括：
第一获取子单元，用于获取以目标像素点为圆心，以搜索距离为半径的圆形区域；
第二获取子单元，用于当圆形区域与第二原始区域相交时，将圆形区域与第二原始区域的相交区域确定为目标搜索区域；
第三获取子单元，用于当圆形区域与第二原始区域不相交时，扩大搜索距离，获取以目标像素点为圆心，以扩大后的搜索距离为半径的圆形区域，直至当前获取的圆形区域与第二原始区域相交时，将当前获取的圆形区域与第二原始区域的相交区域确定为目标搜索区域。
可选地，区域获取模块1504包括：
第二区域获取单元，用于获取第一区域，获取第二区域，在第二区域中除第一原始区域之外的区域中获取目标搜索区域。
可选地，第二区域获取单元包括：
第一获取子单元，用于获取第二区域，获取以目标像素点为圆心的圆形区域，将圆形区域、第二区域与第二原始区域的相交区域确定为目标搜索区域。
可选地，第二区域获取单元包括：
第二获取子单元，用于从目标图像中提取第二区域，缩小第二区域得到第三区域，在第三区域中除第一原始区域缩小后的区域之外的区域中，获取第一目标搜索区域；
搜索模块1505，用于在第一目标搜索区域中，搜索与目标像素块缩小后的像素块匹配的第一参考像素块；
修复模块1506，包括：替换单元或修复单元；
替换单元，用于根据第一参考像素块对目标像素块缩小后的像素块进行修复；将修复后的第三区域进行放大，得到与第二区域面积相等的第四区域，将第四区域替换目标图像中的第二区域；
修复单元，用于获取第一参考像素块在目标图像中的第二区域中对应的第二参考像素块，根据第二参考像素块对目标像素块进行修复。
可选地，搜索模块1505包括：
第一像素块获取单元，用于在目标搜索区域中，获取与目标像素块尺寸相同的多个像素块；
搜索单元，用于获取多个像素块与目标像素块之间的相似度，将多个像素块中与目标像素块之间的相似度最大的像素块，确定为参考像素块。
可选地，搜索单元还用于：
获取多个像素块与目标像素块之间的欧式距离；
将多个像素块中与目标像素块之间的欧式距离最小的像素块，确定为参考像素块。
可选地，搜索模块1505包括：
第二像素块获取单元，用于在目标搜索区域中获取与目标像素块匹配的多个像素块；
融合单元，用于按照多个像素块中的每个像素块与目标像素块之间的相似度，对多个像素块进行加权融合，得到参考像素块。
可选地，修复模块1506还包括：
确定单元，用于对于目标像素块中的第一像素点，将第一像素点在参考像素块中的对应像素点的像素值，确定为第一像素点修复后的像素值；或者，
融合单元，用于对于目标像素块中的第一像素点，将第一像素点在参考像素块中的对应像素点的像素值与第一像素点的像素值进行融合，将融合得到的像素值确定为第一像素点修复后的像素值。
需要说明的是：上述实施例提供的图像修复装置在修复图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将图像修复设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像修复装置与图像修复方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图16是本发明实施例提供的一种终端1600的结构示意图。该终端1600可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑、台式电脑、头戴式设备，或其他任意智能终端。终端1600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1600包括有：处理器1601和存储器1602。
处理器1601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1601所具有以实现本申请中方法实施例提供的图像修复方法。
在一些实施例中，终端1600还可选包括有：外围设备接口1603和至少一个外围设备。处理器1601、存储器1602和外围设备接口1603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1603相连。具体地，外围设备包括：射频电路1604、触摸显示屏1605、摄像头1606、音频电路1607和电源1609中的至少一种。
外围设备接口1603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1601和存储器1602。在一些实施例中，处理器1601、存储器1602和外围设备接口1603被集成在同一芯片或电路板上；在一些其他实施例中，处理器1601、存储器1602和外围设备接口1603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及16G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1605用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1605是触摸显示屏时，显示屏1605还具有采集在显示屏1605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1601进行处理。此时，显示屏1605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1605可以为一个，设置终端1600的前面板；在另一些实施例中，显示屏1605可以为至少两个，分别设置在终端1600的不同表面或呈折叠设计；在再一些实施例中，显示屏1605可以是柔性显示屏，设置在终端1600的弯曲表面上或折叠面上。甚至，显示屏1605还可以设置成非矩形的不规则图形，也即异形屏。显示屏1605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1606用于采集图像或视频。可选地，摄像头组件1606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1601进行处理，或者输入至射频电路1604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1601或射频电路1604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1607还可以包括耳机插孔。
电源1609用于为终端1600中的各个组件进行供电。电源1609可以是交流电、直流电、一次性电池或可充电电池。当电源1609包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1600还包括有一个或多个传感器1610。该一个或多个传感器1610包括但不限于：加速度传感器1611、陀螺仪传感器1612、压力传感器1613、光学传感器1615以及接近传感器1616。
加速度传感器1611可以检测以终端1600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1611可以用于检测重力加速度在三个坐标轴上的分量。处理器1601可以根据加速度传感器1611采集的重力加速度信号，控制触摸显示屏1605以横向视图或纵向视图进行用户界面的显示。加速度传感器1611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1612可以检测终端1600的机体方向及转动角度，陀螺仪传感器1612可以与加速度传感器1611协同采集用户对终端1600的3D动作。处理器1601根据陀螺仪传感器1612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1613可以设置在终端1600的侧边框和/或触摸显示屏1605的下层。当压力传感器1613设置在终端1600的侧边框时，可以检测用户对终端1600的握持信号，由处理器1601根据压力传感器1613采集的握持信号进行左右手识别或快捷操作。当压力传感器1613设置在触摸显示屏1605的下层时，由处理器1601根据用户对触摸显示屏1605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
光学传感器1615用于采集环境光强度。在一个实施例中，处理器1601可以根据光学传感器1615采集的环境光强度，控制触摸显示屏1605的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1605的显示亮度；当环境光强度较低时，调低触摸显示屏1605的显示亮度。在另一个实施例中，处理器1601还可以根据光学传感器1615采集的环境光强度，动态调整摄像头组件1606的拍摄参数。
接近传感器1616，也称距离传感器，通常设置在终端1600的前面板。接近传感器1616用于采集用户与终端1600的正面之间的距离。在一个实施例中，当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变小时，由处理器1601控制触摸显示屏1605从亮屏状态切换为息屏状态；当接近传感器1616检测到用户与终端1600的正面之间的距离逐渐变大时，由处理器1601控制触摸显示屏1605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图16中示出的结构并不构成对终端1600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图17是本发明实施例提供的一种服务器的结构示意图，该服务器1700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)1701和一个或一个以上的存储器1702，其中，存储器1702中存储有至少一条指令，至少一条指令由处理器1701加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
服务器1700可以用于执行上述图像修复方法中图像修复设备所执行的步骤。
本发明实施例还提供了一种用于修复图像的设备，该设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，指令、程序、代码集或指令集由处理器加载并具有以实现上述实施例的图像修复方法中所具有的操作。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并具有以实现上述实施例的图像修复方法中所具有的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本发明实施例的较佳实施例，并不用以限制本发明实施例，凡在本发明实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种图像修复方法，其特征在于，所述方法包括：
显示待修复的原始图像，确定所述原始图像中待修复的第一原始区域和除所述第一原始区域以外的第二原始区域；
根据目标像素点以及包含所述目标像素点的目标像素块，在所述第二原始区域中获取目标搜索区域，所述目标搜索区域的面积小于所述第二原始区域的面积，所述目标像素点为修复分界线上的像素点，所述修复分界线为当前还未修复的区域与除还未修复的区域之外的其他区域之间的分界线；
在所述目标搜索区域中，搜索与所述目标像素块匹配的参考像素块；
在所述目标像素块中选取一条平滑的目标分界线，所述目标分界线将所述目标像素块划分为两个指定区域；对于所述目标像素块中的第一像素点，如果所述第一像素点位于与还未修复的区域的相交区域面积较大的指定区域中，将所述第一像素点在所述参考像素块中的对应像素点的像素值，确定为所述第一像素点修复后的像素值，如果所述第一像素点位于与还未修复的区域的相交区域面积较小的指定区域中，将所述第一像素点在所述参考像素块中的对应像素点的像素值与所述第一像素点的像素值进行融合，将融合得到的像素值确定为所述第一像素点修复后的像素值；
显示修复后的图像。
2.根据权利要求1所述的方法，其特征在于，所述确定所述原始图像中待修复的第一原始区域和除所述第一原始区域以外的第二原始区域，包括：
当检测到在所述原始图像中的选择操作时，将所述选择操作对应的区域确定为所述第一原始区域；
将所述原始图像中除所述第一原始区域以外的区域确定为所述第二原始区域。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在所述选择操作对应的区域逐渐增大的过程中，显示所述选择操作对应的区域中各个像素点由原始的像素值切换为修复后的像素值的动态效果，直至所述选择操作停止时，执行所述显示修复后的图像的步骤。
4.根据权利要求1所述的方法，其特征在于，所述在所述第二原始区域中获取目标搜索区域，包括：
获取以所述目标像素点为圆心的圆形区域，将所述圆形区域与所述第二原始区域的相交区域确定为所述目标搜索区域。
5.根据权利要求4所述的方法，其特征在于，所述获取以所述目标像素点为圆心的圆形区域，将所述圆形区域与所述第二原始区域的相交区域确定为所述目标搜索区域，包括：
获取以所述目标像素点为圆心，以搜索距离为半径的圆形区域，所述搜索距离等于所述第一原始区域的面积与预设系数的乘积，所述预设系数大于0；
当所述圆形区域与所述第二原始区域相交时，将所述圆形区域与所述第二原始区域的相交区域确定为所述目标搜索区域；或者，
当所述圆形区域与所述第二原始区域不相交时，扩大搜索距离，获取以所述目标像素点为圆心，以扩大后的搜索距离为半径的圆形区域，直至当前获取的圆形区域与所述第二原始区域相交时，将所述当前获取的圆形区域与所述第二原始区域的相交区域确定为所述目标搜索区域。
6.根据权利要求1所述的方法，其特征在于，所述在所述第二原始区域中获取目标搜索区域，包括：
获取第一区域，所述第一区域包括所述第一原始区域，且所述第一原始区域内切于所述第一区域中；
获取第二区域，在所述第二区域中除所述第一原始区域之外的区域中获取所述目标搜索区域，所述第二区域包括所述第一区域，所述第二区域的面积小于所述原始图像的面积。
7.根据权利要求6所述的方法，其特征在于，所述获取第二区域，在所述第二区域中除所述第一原始区域之外的区域中获取所述目标搜索区域，包括：
获取所述第二区域，获取以所述目标像素点为圆心的圆形区域，将所述圆形区域、所述第二区域与所述第二原始区域的相交区域确定为所述目标搜索区域。
8.根据权利要求6所述的方法，其特征在于，所述获取第二区域，在所述第二区域中除所述第一原始区域之外的区域中获取所述目标搜索区域，包括：
从所述原始图像中提取所述第二区域，缩小所述第二区域得到第三区域，在所述第三区域中除所述第一原始区域缩小后的区域之外的区域中，获取第一目标搜索区域；
所述方法还包括：
在所述第一目标搜索区域中，搜索与所述目标像素块缩小后的像素块匹配的第一参考像素块；
根据所述第一参考像素块对所述目标像素块缩小后的像素块进行修复；将修复后的所述第三区域进行放大，得到与所述第二区域面积相等的第四区域，将所述第四区域替换所述原始图像中的所述第二区域；或者，
获取所述第一参考像素块在所述原始图像中的所述第二区域中对应的第二参考像素块，根据所述第二参考像素块对所述目标像素块进行修复。
9.根据权利要求1所述的方法，其特征在于，所述在所述目标搜索区域中，搜索与所述目标像素块匹配的参考像素块，包括：
在所述目标搜索区域中，获取与所述目标像素块尺寸相同的多个像素块；
获取所述多个像素块与所述目标像素块之间的相似度，将所述多个像素块中与所述目标像素块之间的相似度最大的像素块，确定为所述参考像素块。
10.根据权利要求1所述的方法，其特征在于，所述在所述目标搜索区域中，搜索与所述目标像素块匹配的参考像素块，包括：
在所述目标搜索区域中获取与所述目标像素块匹配的多个像素块；
按照所述多个像素块中的每个像素块与所述目标像素块之间的相似度，对所述多个像素块进行加权融合，得到所述参考像素块。
11.一种图像修复方法，其特征在于，所述方法包括：
获取待修复的目标图像，所述目标图像中包括待修复的第一原始区域和除所述第一原始区域之外的第二原始区域；
获取当前的修复分界线，所述修复分界线为当前还未修复的区域与除还未修复的区域之外的其他区域之间的分界线；
确定所述修复分界线上的目标像素点，以及包含所述目标像素点的目标像素块；
在所述第二原始区域中获取目标搜索区域，所述目标搜索区域的面积小于所述第二原始区域的面积；
在所述目标搜索区域中，搜索与所述目标像素块匹配的参考像素块；
在所述目标像素块中选取一条平滑的目标分界线，所述目标分界线将所述目标像素块划分为两个指定区域；对于所述目标像素块中的第一像素点，如果所述第一像素点位于与还未修复的区域的相交区域面积较大的指定区域中，将所述第一像素点在所述参考像素块中的对应像素点的像素值，确定为所述第一像素点修复后的像素值，如果所述第一像素点位于与还未修复的区域的相交区域面积较小的指定区域中，将所述第一像素点在所述参考像素块中的对应像素点的像素值与所述第一像素点的像素值进行融合，将融合得到的像素值确定为所述第一像素点修复后的像素值。
12.根据权利要求11所述的方法，其特征在于，所述在所述第二原始区域中获取目标搜索区域，包括：
获取以所述目标像素点为圆心的圆形区域，将所述圆形区域与所述第二原始区域的相交区域确定为所述目标搜索区域。
13.根据权利要求12所述的方法，其特征在于，所述获取以所述目标像素点为圆心的圆形区域，将所述圆形区域与所述第二原始区域的相交区域确定为所述目标搜索区域，包括：
获取以所述目标像素点为圆心，以搜索距离为半径的圆形区域，所述搜索距离等于所述第一原始区域的面积与预设系数的乘积，所述预设系数大于0；
当所述圆形区域与所述第二原始区域相交时，将所述圆形区域与所述第二原始区域的相交区域确定为所述目标搜索区域；或者，
当所述圆形区域与所述第二原始区域不相交时，扩大搜索距离，获取以所述目标像素点为圆心，以扩大后的搜索距离为半径的圆形区域，直至当前获取的圆形区域与所述第二原始区域相交时，将所述当前获取的圆形区域与所述第二原始区域的相交区域确定为所述目标搜索区域。
14.根据权利要求11所述的方法，其特征在于，所述在所述第二原始区域中获取目标搜索区域，包括：
获取第一区域，所述第一区域包括所述第一原始区域，且所述第一原始区域内切于所述第一区域中；
获取第二区域，在所述第二区域中除所述第一原始区域之外的区域中获取所述目标搜索区域，所述第二区域包括所述第一区域，所述第二区域的面积小于所述目标图像的面积。
15.根据权利要求14所述的方法，其特征在于，所述获取第二区域，在所述第二区域中除所述第一原始区域之外的区域中获取所述目标搜索区域，包括：
获取所述第二区域，获取以所述目标像素点为圆心的圆形区域，将所述圆形区域、所述第二区域与所述第二原始区域的相交区域确定为所述目标搜索区域。
16.根据权利要求14所述的方法，其特征在于，所述获取第二区域，在所述第二区域中除所述第一原始区域之外的区域中获取所述目标搜索区域，包括：
从所述目标图像中提取所述第二区域，缩小所述第二区域得到第三区域，在所述第三区域中除所述第一原始区域缩小后的区域之外的区域中，获取第一目标搜索区域；
所述方法还包括：
在所述第一目标搜索区域中，搜索与所述目标像素块缩小后的像素块匹配的第一参考像素块；
根据所述第一参考像素块对所述目标像素块缩小后的像素块进行修复；将修复后的所述第三区域进行放大，得到与所述第二区域面积相等的第四区域，将所述第四区域替换所述目标图像中的所述第二区域；或者，
获取所述第一参考像素块在所述目标图像中的所述第二区域中对应的第二参考像素块，根据所述第二参考像素块对所述目标像素块进行修复。
17.根据权利要求11所述的方法，其特征在于，所述在所述目标搜索区域中，搜索与所述目标像素块匹配的参考像素块，包括：
在所述目标搜索区域中，获取与所述目标像素块尺寸相同的多个像素块；
获取所述多个像素块与所述目标像素块之间的相似度，将所述多个像素块中与所述目标像素块之间的相似度最大的像素块，确定为所述参考像素块。
18.根据权利要求11所述的方法，其特征在于，所述在所述目标搜索区域中，搜索与所述目标像素块匹配的参考像素块，包括：
在所述目标搜索区域中获取与所述目标像素块匹配的多个像素块；
按照所述多个像素块中的每个像素块与所述目标像素块之间的相似度，对所述多个像素块进行加权融合，得到所述参考像素块。
19.一种图像修复装置，其特征在于，所述装置包括：
显示模块，用于显示待修复的原始图像；
确定模块，用于确定所述原始图像中待修复的第一原始区域和除所述第一原始区域以外的第二原始区域；
区域获取模块，用于根据目标像素点以及包含所述目标像素点的目标像素块，在所述第二原始区域中获取目标搜索区域，所述目标搜索区域的面积小于所述第二原始区域的面积，所述目标像素点为修复分界线上的像素点，所述修复分界线为当前还未修复的区域与除还未修复的区域之外的其他区域之间的分界线；
搜索模块，用于在所述目标搜索区域中，搜索与所述目标像素块匹配的参考像素块；
修复模块，用于在所述目标像素块中选取一条平滑的目标分界线，所述目标分界线将所述目标像素块划分为两个指定区域；对于所述目标像素块中的第一像素点，如果所述第一像素点位于与还未修复的区域的相交区域面积较大的指定区域中，将所述第一像素点在所述参考像素块中的对应像素点的像素值，确定为所述第一像素点修复后的像素值，如果所述第一像素点位于与还未修复的区域的相交区域面积较小的指定区域中，将所述第一像素点在所述参考像素块中的对应像素点的像素值与所述第一像素点的像素值进行融合，将融合得到的像素值确定为所述第一像素点修复后的像素值；
所述修复模块，还用于显示修复后的图像。
20.一种图像修复装置，其特征在于，所述装置包括：
图像获取模块，用于获取待修复的目标图像，所述目标图像中包括待修复的第一原始区域和除所述第一原始区域之外的第二原始区域；
分界线获取模块，用于获取当前的修复分界线，所述修复分界线为当前还未修复的区域与除还未修复的区域之外的其他区域之间的分界线；
确定模块，用于确定所述修复分界线上的目标像素点，以及包含所述目标像素点的目标像素块；
区域获取模块，用于在所述第二原始区域中获取目标搜索区域，所述目标搜索区域的面积小于所述第二原始区域的面积；
搜索模块，用于在所述目标搜索区域中，搜索与所述目标像素块匹配的参考像素块；
修复模块，用于在所述目标像素块中选取一条平滑的目标分界线，所述目标分界线将所述目标像素块划分为两个指定区域；对于所述目标像素块中的第一像素点，如果所述第一像素点位于与还未修复的区域的相交区域面积较大的指定区域中，将所述第一像素点在所述参考像素块中的对应像素点的像素值，确定为所述第一像素点修复后的像素值，如果所述第一像素点位于与还未修复的区域的相交区域面积较小的指定区域中，将所述第一像素点在所述参考像素块中的对应像素点的像素值与所述第一像素点的像素值进行融合，将融合得到的像素值确定为所述第一像素点修复后的像素值。
21.一种用于修复图像的设备，其特征在于，所述设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至10任一权利要求所述的图像修复方法中所执行的操作，或者如权利要求11至18任一权利要求所述的图像修复方法中所执行的操作。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述指令、所述程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至10任一权利要求所述的图像修复方法中所执行的操作，或者如权利要求11至18任一权利要求所述的图像修复方法中所执行的操作。
CN201811573981.3A 2018-12-21 2018-12-21 图像修复方法、装置、设备及存储介质 Active CN111353946B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811573981.3A CN111353946B (zh) 2018-12-21 2018-12-21 图像修复方法、装置、设备及存储介质
PCT/CN2019/126843 WO2020125739A1 (zh) 2018-12-21 2019-12-20 图像修复方法、装置、设备及存储介质
US17/240,811 US11908105B2 (en) 2018-12-21 2021-04-26 Image inpainting method, apparatus and device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811573981.3A CN111353946B (zh) 2018-12-21 2018-12-21 图像修复方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111353946A CN111353946A (zh) 2020-06-30
CN111353946B true CN111353946B (zh) 2023-04-11

Family

ID=71102540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811573981.3A Active CN111353946B (zh) 2018-12-21 2018-12-21 图像修复方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US11908105B2 (zh)
CN (1) CN111353946B (zh)
WO (1) WO2020125739A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637517B (zh) * 2020-11-16 2022-10-28 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及存储介质
CN113379780B (zh) * 2021-05-19 2024-04-16 昆山丘钛微电子科技股份有限公司 一种抓框图像的优化方法及装置
WO2023070387A1 (zh) * 2021-10-27 2023-05-04 深圳市大疆创新科技有限公司 一种图像处理方法、装置、拍摄设备及可移动平台
US20230360180A1 (en) * 2022-05-04 2023-11-09 Adobe Inc. Digital image inpainting utilizing a cascaded modulation inpainting neural network

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296604A (zh) * 2016-08-04 2017-01-04 厦门美图之家科技有限公司 一种图像修复方法及装置
CN107563977A (zh) * 2017-08-28 2018-01-09 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011176748A (ja) * 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US8428384B2 (en) * 2010-08-19 2013-04-23 Sony Corporation Method and apparatus for performing an in-painting process on an image
US8902283B2 (en) * 2010-10-07 2014-12-02 Sony Corporation Method and apparatus for converting a two-dimensional image into a three-dimensional stereoscopic image
US20120141045A1 (en) * 2010-12-01 2012-06-07 Sony Corporation Method and apparatus for reducing block artifacts during image processing
CN102117481B (zh) * 2011-03-17 2012-11-28 西安交通大学 一种破损图像自动数字化修复的方法
WO2013090830A1 (en) * 2011-12-16 2013-06-20 University Of Southern California Autonomous pavement condition assessment
US20130182184A1 (en) * 2012-01-13 2013-07-18 Turgay Senlet Video background inpainting
CN102693534A (zh) * 2012-05-25 2012-09-26 北京航空航天大学 一种基于图像修补技术的快速去除图像污点的方法
CN102800078A (zh) * 2012-07-20 2012-11-28 西安电子科技大学 非局部均值图像细节修复方法
KR101361075B1 (ko) * 2012-08-17 2014-02-10 한림대학교 산학협력단 구조행렬을 이용한 예제기반 영상 인페인팅 방법
CN103077499B (zh) * 2013-01-09 2015-04-08 西安电子科技大学 基于相似块的sar图像预处理方法
JP5899475B2 (ja) * 2013-04-05 2016-04-06 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN103325095B (zh) * 2013-06-24 2016-02-03 西南交通大学 一种结合方向因子的样本块稀疏性图像修复方法
CN103761708B (zh) * 2013-12-30 2016-09-07 浙江大学 基于轮廓匹配的图像修复方法
CN103955891B (zh) * 2014-03-31 2017-01-25 中科创达软件股份有限公司 一种基于块匹配的图像修复方法
CN103955906A (zh) * 2014-05-21 2014-07-30 武汉科技大学 基于蝙蝠算法的Criminisi图像修复方法
CN104282000A (zh) * 2014-09-15 2015-01-14 天津大学 一种基于旋转及尺度变换的图像修复方法
CN104376535B (zh) * 2014-11-04 2018-02-23 徐州工程学院 一种基于样本的快速图像修复方法
US9848210B2 (en) * 2014-12-18 2017-12-19 Konkuk University Industrial Cooperation Corp Error concealment method using spatial interpolation and exemplar-based image inpainting
US9886746B2 (en) * 2015-07-20 2018-02-06 Tata Consultancy Services Limited System and method for image inpainting
CN105528769B (zh) * 2015-12-11 2018-08-07 上海兴芯微电子科技有限公司 图像修补方法及系统
CN105611154A (zh) 2015-12-21 2016-05-25 深圳市金立通信设备有限公司 一种图像处理的方法及终端
CN106408534B (zh) * 2016-09-13 2019-07-26 北京金山安全软件有限公司 图像处理方法、装置及电子设备
EP3330919A1 (en) * 2016-11-30 2018-06-06 Thomson Licensing Method for filling-in missing regions in an image of a multimedia content, corresponding computer program product and apparatus
US10127631B1 (en) * 2017-03-02 2018-11-13 Snap Inc. Automatic image inpainting using local patch statistics
US20180300937A1 (en) * 2017-04-13 2018-10-18 National Taiwan University System and a method of restoring an occluded background region
US11049218B2 (en) * 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN108053377A (zh) * 2017-12-11 2018-05-18 北京小米移动软件有限公司 图像处理方法及设备
US10839575B2 (en) * 2018-03-15 2020-11-17 Adobe Inc. User-guided image completion with image completion neural networks
US10740881B2 (en) * 2018-03-26 2020-08-11 Adobe Inc. Deep patch feature prediction for image inpainting
CN109712084B (zh) * 2018-12-10 2021-01-19 上海奕瑞光电子科技股份有限公司 一种图像修复方法、图像修复系统及平板探测器
CN110570382B (zh) * 2019-09-19 2022-11-11 北京达佳互联信息技术有限公司 一种图像修复方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106296604A (zh) * 2016-08-04 2017-01-04 厦门美图之家科技有限公司 一种图像修复方法及装置
CN107563977A (zh) * 2017-08-28 2018-01-09 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质

Also Published As

Publication number Publication date
WO2020125739A1 (zh) 2020-06-25
CN111353946A (zh) 2020-06-30
US20210248721A1 (en) 2021-08-12
US11908105B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
WO2021008456A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN108304265B (zh) 内存管理方法、装置及存储介质
CN110147805B (zh) 图像处理方法、装置、终端及存储介质
CN109712224B (zh) 虚拟场景的渲染方法、装置及智能设备
CN111353946B (zh) 图像修复方法、装置、设备及存储介质
CN109829864B (zh) 图像处理方法、装置、设备及存储介质
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
CN109948581B (zh) 图文渲染方法、装置、设备及可读存储介质
CN110619614B (zh) 图像处理的方法、装置、计算机设备以及存储介质
CN110290426B (zh) 展示资源的方法、装置、设备及存储介质
CN111857793B (zh) 网络模型的训练方法、装置、设备及存储介质
CN107888823A (zh) 一种拍摄处理方法、装置及系统
CN113038165B (zh) 确定编码参数组的方法、设备及存储介质
CN111105474B (zh) 字体绘制方法、装置、计算机设备及计算机可读存储介质
CN110807769B (zh) 图像显示控制方法及装置
CN114140342A (zh) 图像处理方法、装置、电子设备及存储介质
CN108305262A (zh) 文件扫描方法、装置及设备
CN112989198B (zh) 推送内容的确定方法、装置、设备及计算机可读存储介质
CN111860064B (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN115798418A (zh) 图像显示方法、装置、终端及存储介质
CN111611414A (zh) 车辆检索方法、装置及存储介质
CN109040753B (zh) 预测模式选择方法、装置及存储介质
CN112560903A (zh) 图像美学信息的确定方法、装置、设备及存储介质
CN112399080A (zh) 视频处理方法、装置、终端及计算机可读存储介质
CN111696051A (zh) 人像修复方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024872

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant