CN109785256A - 一种图像处理方法、终端设备及计算机可读介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、终端设备及计算机可读介质，涉及图像匹配处理，其中方法包括：确定待修复图像中的待修复图像区域；选取上述待修复图像中包围上述待修复图像区域的第一图像区域；从参考图像集中选取目标参考图像，上述目标参考图像中存在与上述第一图像区域匹配的第二图像区域；以上述目标参考图像中第二图像区域及被所述第二图像区域包围的区域为参考，修复上述待修复图像区域。本申请实施例通过待修复图像中与缺陷区域的邻近的第一图像区域来寻找与该第一图像区域相似度达到阈值的第二图像区域，从而利用第二图像区域所在的图像来修复待修复图像。

Description

一种图像处理方法、终端设备及计算机可读介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、终端设备及计算机可读介质。

背景技术

随着智能终端技术的不断发展，智能终端越来越个性化和人性化。在日常生活中，用户经常使用智能终端来进行拍摄，且智能终端的拍照功能也越来越智能化和人性化。但是用户在使用智能终端拍照时，常常会因为各种原因(例如终端抖动，拍摄对象眨眼等因素)而导致拍出来的照片存在缺陷(例如闭眼、模糊等)。目前常用的解决方案是采用连拍的方式来解决上述问题，然后从多找连拍的照片汇总选取一张最好的照片保留。

但是在连拍的过程中，连拍出来的照片可能都存在缺陷，只是存在的缺陷区域不同。因此，如何快速有效处理照片的缺陷是目前待解决的问题。

发明内容

本申请实施例提供一种图像处理方法，可快速有效的修复照片中的缺陷。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：

确定待修复图像中的待修复图像区域；

选取上述待修复图像中包围所述待修复图像区域的第一图像区域；

从参考图像集中选取目标参考图像，所述目标参考图像中存在与所述第一图像区域匹配的第二图像区域；

以所述目标参考图像中第二图像区域及被所述第二图像区域包围的区域为参考，修复所述待修复图像区域。

第二方面，本申请实施例提供了一种终端设备，该终端设备包括用于执行上述第一方面的方法的单元。

第三方面，本申请实施例提供了另一种终端设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持终端设备执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。

在本申请实施例中，通过确定待修复图像中的待修复图像区域；选取上述待修复图像中包围所述待修复图像区域的第一图像区域；从参考图像集中选取目标参考图像，所述目标参考图像中存在与所述第一图像区域匹配的第二图像区域；以所述目标参考图像中第二图像区域及被所述第二图像区域包围的区域为参考，修复所述待修复图像区域。在本申请实施例中，可以通过待修复图像中与缺陷区域的邻近的第一图像区域来寻找与该第一图像区域相似度达到阈值的第二图像区域，从而利用第二图像区域所在的图像来修复待修复图像。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是本申请实施例提供一种图像处理方法的示意流程图；

图2是本申请实施例提供的另一种图像处理方法的示意流程图；

图3是本申请实施例提供的又一种图像处理方法的示意流程图；

图4是本申请实施例提供的一种终端设备的一种可能的功能单元组成框图；

图5是本申请另一实施例提供的一种终端示意框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

具体实现中，本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、图像管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端设备上显示的相应信息。这样，终端设备的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

参见图1，图1是本申请实施例提供一种图像处理方法的示意流程图，如图所示方法可包括：

101：终端设备获取待修复图像，确定待修复图像中的待修复图像区域。

本申请实施例中，终端设备可以包括移动手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动互联网设备(Mobile Internet Device，MID)等各种终端设备，本申请实施例不作限定。

其中，上述待修复图像可以为用户从终端设备中选取的存在某种缺陷需要修复的照片，也可以是从互联网上下载的存在某种缺陷的图片。上述待修复图像区域可以是用户手段选择需要修复的区域，也可以是终端设备根据预设的修复类型来检测图像中是否存在修复类型对应的缺陷；当检测到缺陷后，将缺陷所在的区域确定为上述待修复图像区域，其中上述待修复图像区域可以是规则的集合图像包括的图像区域，也可以是不规则的封闭曲线包括的图像区域，即只包含缺陷区域。

作为一种可选的实施方式，当用户从图库中选取了待修复的图像之后，终端设备将待修复的图像显示在终端设备的屏幕上，用户可以从图像旁边的工具栏中选择图像修复工具，当终端设备接收到用户点击图像修复工具的操作后，终端设备则在待修复的图像上显示修复图像区域选取框。然后终端设备接收用户对上述修复图像区域选取框的操作指令，并完成上述操作指令对应的的操作。接着用户终端在接收到确认操作指令之后，将上述修复图像区域选取框中的图像区域确定为上述待修复图像区域。

其中，上述用户对上述修复图像区域选取框的操作指令可以包括拖动操作指令、放大操作指令、缩小操作指令、拉伸操作指令、变形操作指令等。上述确认操作指令可以是用户点击屏幕上的确认选项，也可以是用户对上述修复图像区域选取框的特定操作，例如双击上述修复图像区域选取框。

作为另一种可选的实施方式，当终端设备显示上述待修复的图像之后，终端设备接收用户从预设的修复类型中选择的第一修复类型，然后终端设备根据第一修复类型来自动检测上述待修复图像中是否存在第一修复类型对应的缺陷，若存在，则将缺陷所在的区域确定为上述待修复图像区域。其中，上述修复类型可以包括人像闭眼修复、模糊区域修复、从影区域修复、扭曲变形区域修复、指定区域修复，集体合照修复中的至少一项。

102：终端设备选取上述待修复图像中包围上述待修复图像区域的第一图像区域。

在本申请实施例中，当终端设备确定了上述待修复图像中的待修复图像区域之后，终端设备自动根据上述待修复图像区域从上述待修复图像中确定一个包围上述待修复图像区域的第一图像区域，以便可以根据上述第一图像区域搜索到与上述第一图像区域相同或相似的第二图像区域，从而利用第二图像区域以及被所述第二图像区域包围的区域来修复上述待修复图像区域。

作为一种可选的实施方式，当终端设备确定了上述待修复图像中的待修复图像区域之后，终端设备计算上述待修复图像区域的最大辐射半径，然后根据上述待修复图像区域的最大辐射半径确定上述第一图像区域在上述待修复图像中的位置。具体的，第一图像区域和待修复图像区域的位置关系可以是：待修复图像区域的最大辐射半径为R，则上述第一图像区域可以选取以上述待修复图像区域中心为圆心，2R为半径的圆形区域中除去上述待修复图像区域所在的区域；第一图像区域和待修复图像区域的位置关系还可以是：待修复图像区域的最大辐射半径为R，上述第一图像区域选取以上述待修复图像区域中心为中心，四边距离中心位置2R的正方形的区域中除去上述待修复图像区域所在的区域。

可以理解的是，上述第一图像区域的形状还可以是除图3中所示的其他大小或形状，只需要满足该第一图像区域包围上述待修复图像区域即可。

103：终端设备从参考图像集中选取目标参考图像，上述目标参考图像中存在与上述第一图像区域匹配的第二图像区域。

其中，上述参考图像集可以是终端设备的图库中存在的图片；也可以是终端设备根据上述待修复图像从终端设备中选择的或从互联网上下载的满足预设条件的图片，例如上述待修复图像为照片时，上述参考图像集可以是与待修复的照片在同一时间段拍摄的照片，也可以是与待修复的照片具有相同背景的照片(例如与上述待修复照片一起连拍的照片)，还可以是用户手动从终端设备图库中选择的图片。

在本申请实施例中，当终端设备确定了上述第一图像区域之后，终端设备便根据上述第一图像区域从参考图像集中搜索存在与上述第一图像区域向匹配的第二图像区域的目标参考图像，以便利用上述目标参考图像来修复上述待修复图像。其中，上述第一图像区域与第二图像区域匹配可以是第一图像区域与第二图像区域相同或者第一图像区域与第二图像区域的相似度大于阈值。此外，上述第一图像区域与第二图像区域的边界轮廓形状相同，上述第一图像区域与第二图像区域的边界轮廓的大小可以相同也可以不同，即第二图形区域可以是第一图像区域的放大或缩小版。

作为一种可选的实施方式，终端设备可以将上述第一图像区域的图像作为模板图像，然后依次对上述参考图像集中的每张图像和上述模板图像进行匹配。匹配时，首先分别提取模板图像和待匹配的参考图像中的特征点，然后对上述模板图像和待匹配的参考图像中的特征点进行匹配，接着通过匹配的特征点来判断待匹配的参考图像中是否存在与模板图像相似的区域，若存在，则计算模板图像与待匹配图像中与模板图像相似的相似区域的相似度，若相似度大于阈值，则将该待匹配图像作为上述目标参考图像，将上述相似区域作为上述第二图像区域。

作为一种可选的实施方式，在上述确定了第一图像区域与相似区域的相似度大于阈值后，终端设备确定上述相似区域包围的图像区域是否存在缺陷，若确定上述相似区域包围的图像区域不存在缺陷，则将上述相似区域确定为上述第二图像区域，将上述相似区域对应的参考图像确定为上述目标参考图像。

进一步的，在上述从参考图像集中搜索与模板图形匹配的图像区域的过程中，可能会从上述参考图像集中搜索出张或两张以上的参考图像满足存在与上述模板图像相似的图像区域且相似度大于阈值。在上述情况下，为了使得后续图像修复的效果更好，当终端设备从参考图像集中监测到两张或两张以上的参考图像满足上述目标参考图像的条件，则终端设备选择其中相似度最大的参考图像作为最终用来修复待修复图像的目标参考图像。其中，这里的相似度是指模板图像与参考图像中的相似区域的相似度。

作为一种可选的实施方式，在上述使用第一图像区域的图像作为模板图像从上述参考图像集中匹配相似区域时，可能会应为第一图像区域的图像范围太小，提取的特征图像点太少，导致参考图像集中的所有参考图像集中都没有与上述模板图像匹配的相似区域时，则终端设备按照预设条件扩大上述第一图像区域的范围(例如将上述第一图像区域扩大至原来的一倍)，然后继续执行上述103步骤。

104：终端设备以上述目标参考图像中第二图像区域及被所述第二图像区域包围的区域为参考，修复上述待修复图像区域。

在本申请实施例中，当终端设备确定了目标参考图像之后，该目标参考图像中存在与上述第一图像区域匹配的第二图像区域，终端设备则根据上述目标参考图像中的第二图像区域以及第二图像区域包围的图像区域对上述待修复图像中的待修复图像区域进行修复。

作为一种可选的实施方式，当上述目标参考图像中的第二图像区域与上述待修复图像中的第一图像区域边界轮廓大小一样时，终端设备直接将上述目标参考图像中的第二图像区域以及第二图像区域包围的图像区域的图像复制之后作为待拼接图像，然后将带待拼接图像拼接到上述待修复图像的第一图像区域之上，使得上述目标参考图像中的第二图像区域以及第二图像区域包围的图像区域的图像覆盖待修复图像上的第一图像区域以及待修复图像区域。

作为另一种可选的实施方式，当上述目标参考图像中的第二图像区域与上述待修复图相中的第一图形区域的边界轮廓大小不同时，即第二图像区域的图像可能与上述第一图像区域的图像的放大或缩小版相似，则终端设备需在复制上述目标参考图像中的第二图像区域以及第二图像区域包围的图像区域的图像之后，需要将上述复制后的图像处理成和上述第一图像区域的外边界大小相同的图像作为待拼接图像，然后将带待拼接图像拼接到上述待修复图像的第一图像区域之上，使得上述目标参考图像中的第二图像区域以及第二图像区域包围的图像区域的图像覆盖待修复图像上的第一图像区域以及待修复图像区域。

图像拼接技术主要分为三个主要步骤：图像预处理、图像配准、图像融合与边界平滑，图像预处理主要指对图像进行几何畸变校正和噪声点的抑制等，让参考图像和待拼接图像不存在明显的几何畸变。在图像质量不理想的情况下进行图像拼接，如果不经过图像预处理，很容易造成一些误匹配。

图像预处理主要是为下一步图像配准做准备，让图像质量能够满足图像配准的要求。图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找最佳的匹配，完成图像间的对齐。

图像拼接的成功与否主要是图像的配准。待拼接的图像之间，可能存在平移、旋转、缩放等多种变换或者大面积的同色区域等很难匹配的情况，一个好的图像配准算法应该能够在各种情况下准确找到图像间的对应信息，将图像对齐。

图像融合指在完成图像匹配以后，对图像进行缝合，并对缝合的边界进行平滑处理，让缝合自然过渡。由于任何两幅相邻图像在采集条件上都不可能做到完全相同，因此，对于一些本应该相同的图像特性，如图像的光照特性等，在两幅图像中就不会表现的完全一样。图像拼接缝隙就是从一幅图像的图像区域过渡到另一幅图像的图像区域时，由于图像中的某些相关特性发生了跃变而产生的。图像融合就是为了让图像间的拼接缝隙不明显，拼接更自然。

因此，在本申请实施例中，上述将待拼接图像拼接到上述待修复图像的第一图像区域上可以包括：终端设备对上述待拼接图像进行图像矫正处理；然后将矫正后的待拼接图像与上述第一图像区域进行图像配准；根据上述图像配准结果将上述将矫正后的待拼接图像中与上述第一图像区域对一个的区域进行图像融合完成图像的拼接。

首先，终端设备需要对上述待拼接的图像进行图像矫正处理。在图像形成时，当照相系统的镜头或者照相装置没有正对着待拍摄的景物时候，那么拍摄到的景物图像就会产生一定的变形。这是几何畸变最常见的情况。另外，由于光学成像系统或电子扫描系统的限制而产生的枕形或桶形失真，也是几何畸变的典型情况。几何畸变会给图像拼接造成很大的问题，原本在两幅图像中相同的物体会因为畸变而变得不匹配，这会给图像的配准带来很大的问题。因此，解决几何畸变的问题显得很重要。在本申请实施例中，图象校正的可以是对上述待拼接的图像进行桶形变换处理，改变换的主要目的是为了减少拼接后图片的畸变。

然后，终端设备需要对上述矫正后的待拼接图像与上述第一图像区域进行图像配准。终端设备分别对上述待修复图像中的第一图像区域和待拼接图像进行特征点提取，然后进行特征点匹配以找出待拼接图像中的特征点在上述第一图像区域中对应的位置，进而确定两幅图像之间的变换关系。

最后，终端设备根据上述图像配准结果将上述将矫正后的待拼接图像中与上述第一图像区域对一个的区域进行图像融合完成图像的拼接。终端设备根据上述图像配准步骤中得到的待拼接图像与第一图像区域对应的关系，计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型。然后根据建立的数学转换模型，将待拼接图像转换到第一图像区域的图像中的坐标系中,完成统一坐标变换。最后，将待拼接图像的重合区域(即第一图像区域和待拼接图像中对应的第二图像区域)进行融合得到拼接重构的平滑无缝全景图像。

在本申请实施例中，通过确定待修复图像中的待修复图像区域；选取上述待修复图像中包围上述待修复图像区域的第一图像区域；从参考图像集中选取目标参考图像，上述目标参考图像中存在与上述第一图像区域匹配的第二图像区域；以上述目标参考图像中第二图像区域及被所述第二图像区域包围的区域为参考，修复上述待修复图像区域。在本申请实施例中，可以通过待修复图像中与缺陷区域的邻近的第一图像区域来寻找与该第一图像区域相似度达到阈值的第二图像区域，从而利用第二图像区域所在的图像来修复待修复图像。

参见图2，图2是本申请实施例提供的另一种图像处理方法的示意流程图，如图所示该方法可包括：

201：终端设备启动照片处理应用，将用户从图库中选择的待修复照片显示在终端设备的屏幕上。

其中，上述照片处理应用为能够对照片进行修复的应用。

在本申请实施例中，当用户需要对某张存在缺陷的照片进行修复的时候，用户可以启动终端上照片处理应用。具体的，当终端设备启动了照片处理应用之后，显示上述照片处理应用的显示界面。在上述显示界面中包括照片显示区域和工具栏，工具栏中包括修复照片的选项。然后在接收用户打开图库中待修复照片的指令后，终端设备将待修复照片显示在上述照片处理应用的照片显示区域上。

202：终端设备接收对上述照片的修复操作指令，在上述待修复照片上显示待修复图像区域选择框。

在本申请实施例中，当终端设备接将待修复照片显示在照片处理应用的照片显示区域，接收到用户点击工具栏中的照片修复选项后，终端设备在上述待修复照片上显示修复图像区域选取框，以便用户对上述修复图像区域选取框来选择待修复照片上需要修复的区域。其中，上述修复图像区域选取框的形状为矩形框。

203：终端设备接收对上述待修复图像区域选择框的操作指令，执行上述对上述待修复图像区域选择框的操作指令对应的操作。

其中，上述对待修复图像区域选择框的操作指令包括拖动操作指令、放大操作指令、缩小操作指令、拉伸操作指令、变形操作指令等。

当终端设备接收到上述对待修复图像区域选择框的操作指令之后，终端设备响应上述操作指令，实现对上述修复图像区域选取框的拖动、放大、缩小、拉伸以及变形等操作。

204：终端设备接根据上述待修复图像区域选择框当前的位置和大小确定上述待修复照片的待修复图像区域。

当用终端设备完成用户对上述修复图像区域选取框的操作指令之后，即用户通过修复图像区域选取框确定了待修复照片的缺陷区域之后，终端设备接收修复图像区域的确认指令，终端设备将上述待修复图像区域选择框在上述待修复照片上框选的区域作为上述待修复图像区域。其中，上述确认操作指令可以是用户点击屏幕上的确认选项，也可以是用户对上述修复图像区域选取框的特定操作，例如双击上述修复图像区域选取框。

205：终端设备根据上述待修复图像区域确定包围上述待修复图像区域的第一图像区域。

在本申请实施例中，上述第一图像区域为和待修复图像区域同中心，长和宽为待修复图像区域的长和宽的两倍所在的区域出去待修复图像区域的部分区域，即上述第一图像区域为包围上述待修复图像区域的邻近区域。

206：终端设备根据上述第一图像区域从图库中搜索存在与上述第一图像区域匹配的第二图像区域的目标参考照片。

207：终端设备复制上述目标参考照片中第二图像区域以及第二图像区域包围的图像区域的图像作为待拼接图像。

208：终端设备将上述待拼接图像拼接到上述待修复图像的第一图像区域所在的图形区域上，以覆盖上述待修复图像区域。

上述步骤206-步骤208可以参考图1所示实施例步骤103-步骤104中的具体描述，此处不再赘述。

在本申请实施例中，通过从终端设备中选取待修复的照片，并将待修复的照片显示在终端设备屏幕上，然后通过待修复图像区域选择框来确定待修复图像区域，并根据待修复图像区域确定第一图像区域；接着根据待修复图像区域从图库中确定目标参考照片；最后根据目标参考照片来修复待修复照片的待修复图像区域。在本申请实施例中，可以通过待修复照片中与缺陷区域的邻近的第一图像区域来寻找与该第一图像区域相似度达到阈值的第二图像区域，从而利用第二图像区域所在的图像来修复待修复图像。

参见图3，图3是本申请实施例提供的又一种图像处理方法的示意流程图，如图所示该方法可包括：

301：终端设备启动照片处理应用，将用户从图库中选择的待修复照片显示在终端设备的屏幕上。

其中，上述照片处理应用为能够对照片进行修复的应用。

在本申请实施例中，当用户需要对某张存在缺陷的照片进行修复的时候，用户可以启动终端上照片处理应用。具体的，当终端设备启动了照片处理应用之后，显示上述照片处理应用的显示界面。然后在接收用户打开图库中待修复照片的指令后，终端设备将待修复照片显示在上述照片处理应用的照片显示区域上。

302：终端设备接收修复类型选择操作指令，根据上述修复类型选择操作指令确定上述待修复照片的修复类型。

其中，在上述显示界面中包括照片显示区域和工具栏，工具栏中包括照片修复类型选择选项，修复类型选择的选项包括人像闭眼修复、模糊区域修复、从影区域修复、扭曲变形区域修复、指定区域修复，集体合照修复中的至少一项。

在本申请实施例中，当终端设备将上述待修复照片显示在终端设备的屏幕上之后，接收用户在上述工具栏中输入的修复类型选择指令，终端设备根据上述修复类型选择指令确定上述待修复照片的修复类型。

303：终端设备接根据上述修复类型检测上述待修复照片中存在上述修复类型对应的缺陷的待修复图像区域。

在本申请实施例中，当终端设备确定了待修复照片的修复类型后，终端设备根据修复类型对应的缺陷，检测待修复照片中是否存在上述缺陷，若存在，则将该缺陷所在的区域确定为上述待修复图像区域。

304：终端设备根据上述待修复图像区域确定包围上述待修复图像区域的第一图像区域。

305：终端设备根据上述第一图像区域从图库中搜索存在与上述第一图像区域匹配的第二图像区域的目标参考照片。

306：终端设备复制上述目标参考照片中第二图像区域以及第二图像区域包围的图像区域的图像作为待拼接图像。

307：终端设备将上述待拼接图像拼接到上述待修复图像的第一图像区域所在的图形区域上，以覆盖上述待修复图像区域。

上述步骤304-步骤307可以参考图1所示实施例步骤102-步骤104中的具体描述，此处不再赘述。

该步骤可以参考图1所示实施例步骤103中的具体描述，此处不再赘述。

在本申请实施例中，通过从终端设备中选取待修复的照片，并将待修复的照片显示在终端设备屏幕上，然后确定待修复照片需要修复的类型，并根据修复类型检测照片中与修复类型对应的缺陷区域，将缺陷区域确定为待修复图像区域；接着根据待修复图像区域确定第一图像区域，并根据待修复图像区域从图库中确定目标参考照片；最后根据目标参考照片来修复待修复照片的待修复图像区域。在本申请实施例中，可以通过待修复照片中与缺陷区域的邻近的第一图像区域来寻找与该第一图像区域相似度达到阈值的第二图像区域，从而利用第二图像区域所在的图像来修复待修复图像。

请参阅图4，图4是本申请实施例提供的一种终端设备的一种可能的功能单元组成框图，该终端设备包括：第一确定单元410、第一选取单元420、第二选取单元430、修复单元440。

上述第一确定单元410，用于确定待修复图像中的待修复图像区域；

上述第一选取单元420，用于选取上述待修复图像中包围上述待修复图像区域的第一图像区域；

上述第二选取单元430，用于从参考图像集中选取目标参考图像，上述目标参考图像中存在与上述第一图像区域匹配的第二图像区域；

上述修复单元440，用于以上述目标参考图像中第二图像区域及被所述第二图像区域包围的区域为参考，修复上述待修复图像区域。

可选的，上述终端设备还包括：

接收单元450，用于接收用户针对所述待修复图像从预设的修复类型中选择的第一修复类型，上述修复类型包括人像闭眼修复、模糊区域修复、从影区域修复、扭曲变形区域修复、指定区域修复，集体合照修复中的至少一项；

上述第一确定单元410，用于检测所述待修复图像中所述第一修复类型对应的缺陷所在的缺陷区域；将所述待修复图像中的所述缺陷区域确定为所述待修复图像区域。

可选的，上述第一确定单元410，用于识别用户在上述待修复图像上的选取操作；将上述选取操作对应的区域确定为上述待修复图像区域。

可选的，上述第二选取单元430包括：

搜索单元431，用于从上述参考图像中搜索与上述第一图像区域相似度最大的相似区域，上述相似区域与上述第一图像区域的边界轮廓形状相同；

第三确定单元432，用于若上述第一图像区域与上述相似区域的相似度大于阈值，则将上述相似区域对应的参考图像确定为上述目标参考图像，上述相似区域确定为上述第二图像区域。

可选的，上述第三确定单元422，用于判断上述相似区域包围的图像区域是否存在缺陷；若否，则将上述相似区域对应的参考图像确定为上述目标参考图像，上述相似区域确定为上述第二图像区域。

可选的，上述修复单元440包括：

复制单元441，用于复制上述目标参考图像中第二图像区域及被所述第二图像区域包围的区域的图像，将复制得到的图像作为待拼接图像；

拼接单元442，用于将上述待拼接图像拼接到上述待修复图像中以覆盖上述待修复图像区域。

可选的，上述拼接单元442，具体用于对上述待拼接图像进行图像矫正处理；将矫正后的待拼接图像与上述第一图像区域进行图像配准；根据上述图像配准结果将上述将矫正后的待拼接图像中与上述第一图像区域对一个的区域进行图像融合完成图像的拼接。

根据本申请实施例的具体实施方式，图1、图2以及图3所示的图像处理方法涉及的步骤101～104、201～208、301～307可以是由图5所示的终端设备中的各个模块来执行。

在本申请实施例中，通过确定待修复图像中的待修复图像区域；选取上述待修复图像中包围上述待修复图像区域的第一图像区域；从参考图像集中选取目标参考图像，上述目标参考图像中存在与上述第一图像区域匹配的第二图像区域；以上述目标参考图像中第二图像区域及被所述第二图像区域包围的区域为参考，修复上述待修复图像区域。在本申请实施例中，可以通过待修复图像中与缺陷区域的邻近的第一图像区域来寻找与该第一图像区域相似度达到阈值的第二图像区域，从而利用第二图像区域所在的图像来修复待修复图像。

参见图5，图5是本申请另一实施例提供的一种终端示意框图。如图所示的本实施例中的终端可以包括：一个或多个处理器501；一个或多个输入设备502，一个或多个输出设备503和存储器504。上述处理器501、输入设备502、输出设备503和存储器504通过总线505连接。存储器502用于存储计算机程序，上述计算机程序包括程序指令，处理器501用于执行存储器502存储的程序指令。其中，处理器501被配置用于调用上述程序指令执行：确定待修复图像中的待修复图像区域；选取上述待修复图像中包围上述待修复图像区域的第一图像区域；从参考图像集中选取目标参考图像，上述目标参考图像中存在与上述第一图像区域匹配的第二图像区域；以上述目标参考图像中第二图像区域及被所述第二图像区域包围的区域为参考，修复上述待修复图像区域。

应当理解，在本申请实施例中，所称处理器501可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备502可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风等，输出设备503可以包括显示器(LCD等)、扬声器等。

该存储器504可以包括只读存储器和随机存取存储器，并向处理器501提供指令和数据。存储504的一部分还可以包括非易失性随机存取存储器。例如，存储器504还可以存储设备类型的信息。

具体实现中，本申请实施例中所描述的处理器501、输入设备502、输出设备503可执行本申请实施例提供的一种图像处理方法的第一实施例和第二实施例中所描述的实现方式，也可执行本申请实施例所描述的终端的实现方式，在此不再赘述。

在本申请的另一实施例中提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序包括程序指令，上述程序指令被处理器执行时实现：确定待修复图像中的待修复图像区域；选取上述待修复图像中包围上述待修复图像区域的第一图像区域；从参考图像集中选取目标参考图像，上述目标参考图像中存在与上述第一图像区域匹配的第二图像区域；以上述目标参考图像中第二图像区域及被所述第二图像区域包围的区域为参考，修复上述待修复图像区域。

上述计算机可读存储介质可以是前述任一实施例上述的终端的内部存储单元，例如终端的硬盘或内存。上述计算机可读存储介质也可以是上述终端的外部存储设备，例如上述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，上述计算机可读存储介质还可以既包括上述终端的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述终端所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的端设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

确定待修复图像中的待修复图像区域；

选取上述待修复图像中包围所述待修复图像区域的第一图像区域；

从参考图像集中选取目标参考图像，所述目标参考图像中存在与所述第一图像区域匹配的第二图像区域；

以所述目标参考图像中第二图像区域及被所述第二图像区域包围的图像区域为参考，修复所述待修复图像区域。

2.根据权利要求1所述的方法，其特征在于，在所述确定待修复图像中的待修复图像区域之前，所述方法还包括：

接收用户针对所述待修复图像从预设的修复类型中选择的第一修复类型，所述预设的修复类型包括人像闭眼修复、模糊区域修复、从影区域修复、扭曲变形区域修复、指定区域修复，集体合照修复中的至少一项；

所述确定待修复图像中的待修复图像区域，包括：

检测所述待修复图像中所述第一修复类型对应的缺陷所在的缺陷区域；

将所述待修复图像中的所述缺陷区域确定为所述待修复图像区域。

3.根据权利要求1所述的方法，其特征在于，所述确定待修复图像中的待修复图像区域，包括：

识别用户在所述待修复图像上的选取操作；

将所述选取操作对应的区域确定为所述待修复图像区域。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述从参考图像集中选取目标参考图像，所述目标参考图像中存在与所述第一图像区域匹配的第二图像区域，包括：

从所述参考图像中搜索与所述第一图像区域相似度最大的相似区域，所述相似区域与所述第一图像区域的边界轮廓形状相同；

若所述第一图像区域与所述相似区域的相似度大于阈值，则将所述相似区域对应的参考图像确定为所述目标参考图像，所述相似区域确定为所述第二图像区域。

5.根据权利要求4所述的方法，其特征在于，在确定所述第一图像区域与所述相似区域的相似度大于阈值之后，所述方法还包括：

判断所述相似区域包围的图像区域是否存在缺陷；

若否，则将所述相似区域对应的参考图像确定为所述目标参考图像，所述相似区域确定为所述第二图像区域。

6.根据权利要求5所述的方法，其特征在于，所述以所述目标参考图像中第二图像区域及被所述第二图像区域包围的图像区域为参考，修复所述待修复图像区域，包括：

复制所述目标参考图像中第二图像区域及被所述第二图像区域包围的区域的图像，将复制得到的图像作为待拼接图像；

将所述待拼接图像拼接到所述待修复图像中以覆盖所述待修复图像区域。

7.根据权利要求6所述的方法，其特征在于，所述将所述待拼接图像拼接到所述待修复图像中以覆盖所述待修复图像区域，包括：

对所述待拼接图像进行图像矫正处理；

将矫正后的待拼接图像与所述第一图像区域进行图像配准；

根据所述图像配准的结果将所述将矫正后的待拼接图像中与所述第一图像区域对一个的区域进行图像融合完成图像的拼接。

8.一种终端设备，其特征在于，包括用于执行如权利要求1-7任一权利要求所述的方法的单元。

9.一种终端设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。