CN111460929B - 不特定图框图像填充方法及装置 - Google Patents

Abstract

本发明公开了一种不特定图框图像填充方法、介质、设备及装置，其中方法包括：获取待填充图像和目标图框，并获取目标图框的可视区域；根据像素信息计算目标图框的中心偏移值，并对待填充图像进行缩放；对待填充图像进行人脸检测和显著性检测，以生成感兴趣区域；根据目标图框的大小生成初始裁剪框，并根据初始裁剪框、感兴趣区域、中心偏移值和待填充图像生成可能裁剪框集合；对每个可能裁剪框进行评分，以根据评分结果确定最终裁剪框，并根据最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到目标图框中；能够自动对不特定图框进行图像填充，提高图像填充效率；同时，简化不特定图框图像填充步骤，节约图像填充所需耗费的人力和物力。

Description

不特定图框图像填充方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种不特定图框图像填充方法、一种计算机可读存储介质、一种计算机设备以及一种不特定图框图像填充装置。

背景技术

不特定图框的图像填充，是图像处理过程中经常需要使用的一项功能；例如，在海报模板中替换某些图框的图片、替换PPT模板中图框的图片或替换各类公众号平台上的图像等。

相关技术中，在对不特定图框进行图像填充时，往往需要用户对待填充图像进行裁剪，并对裁剪后图像的尺寸、方位进行不断地调整，以满足填充需求。这种方式对于不特定图框的图像填充效率低下，步骤繁琐，严重浪费用户操作所需要耗费的人力和物力。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种不特定图框图像填充方法，能够自动对不特定图框进行图像填充，提高图像填充效率；同时，简化不特定图框图像填充步骤，节约图像填充所需耗费的人力和物力。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种不特定图框图像填充装置。

为达到上述目的，本发明第一方面实施例提出了一种不特定图框图像填充方法，包括以下步骤：获取待填充图像和目标图框，并根据所述目标图框的透明度获取所述目标图框的可视区域；获取所述目标图框的像素信息，并根据所述像素信息计算所述目标图框的中心偏移值，以及根据所述目标图框的大小对所述待填充图像进行缩放；对所述待填充图像进行人脸检测，以获取人脸区域，并对所述待填充图像进行显著性检测，以获取显著区域，以及根据所述人脸区域和所述显著区域生成感兴趣区域；根据所述目标图框的大小生成初始裁剪框，并根据所述初始裁剪框、所述感兴趣区域、所述中心偏移值和所述待填充图像生成可能裁剪框集合；根据所述可视区域和所述感兴趣区域对所述可能裁剪框集合中的每个可能裁剪框进行评分，以根据评分结果确定最终裁剪框，并根据所述最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到所述目标图框中。

根据本发明实施例的不特定图框图像填充方法，首先，获取待填充图像和目标图框，并根据目标图框的透明度获取目标图框的可视区域；接着，获取目标图框的像素信息，并根据像素信息计算目标图框的中心偏移值，以及根据目标图框的大小对待填充图像进行缩放；然后，对待填充图像进行人脸检测，以获取人脸区域，并对待填充图像进行显著性检测，以获取显著区域，以及根据人脸区域和显著区域生成感兴趣区域；接着，根据目标图框的大小生成初始裁剪框，并根据初始裁剪框、感兴趣区域、中心偏移值和待填充图像生成可能裁剪框集合；然后，根据可视区域和感兴趣区域对可能裁剪框集合中的每个可能裁剪框进行评分，以根据评分结果确定最终裁剪框，并根据最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到目标图框中；从而实现自动对不特定图框进行图像填充，提高图像填充效率；同时，简化不特定图框图像填充步骤，节约图像填充所需耗费的人力和物力。

另外，根据本发明上述实施例提出的不特定图框图像填充方法还可以具有如下附加的技术特征：

可选地，根据所述初始裁剪框、所述感兴趣区域、所述中心偏移值和所述待填充图像生成可能裁剪框集合，包括：计算所述初始裁剪框的中心和所述感兴趣区域的中心，并将所述初始裁剪框的中心与所述感兴趣区域的中心重合，以得到第一裁剪框；判断所述第一裁剪框是否处于所述待填充图像范围内，并在判断结果为是时将所述第一裁剪框添加入所述可能裁剪框集合。

可选地，根据所述初始裁剪框、所述感兴趣区域、所述中心偏移值和所述待填充图像生成可能裁剪框集合，包括：计算所述人脸区域上边界与所述感兴趣区域上边界之间的第一距离、所述人脸区域下边界与所述感兴趣区域下边界之间的第二距离，并计算所述第一距离与所述第二距离的第一比值；根据所述第一比值确定所述初始裁剪框的位置，并对该位置上的初始裁剪框进行不同比例的缩放，以生成多个第二裁剪框；判断每个所述第二裁剪框是否包含所述人脸区域；如果是，则判断该第二裁剪框是否处于所述待填充图像范围内；如果是，则将该第二裁剪框添加入所述可能裁剪框集合。

可选地，在将该第二裁剪框添加入所述可能裁剪框集合之后，还包括：根据所述目标图框的中心偏移值对该第二裁剪框进行平移，以生成第三裁剪框；判断所述第三裁剪框是否处于所述待填充图像范围内；如果是，则将该第三裁剪框添加入所述可能裁剪框集合。

可选地，根据所述初始裁剪框、所述感兴趣区域、所述中心偏移值和所述待填充图像生成可能裁剪框集合，包括：根据所述感兴趣区域和所述初始裁剪框建立矩形搜索区域，并对所述矩形搜索区域进行网格划分，以及根据划分后的每个网格对所述初始裁剪框进行移动，以生成第四裁剪框；判断所述第四裁剪框是否处于所述待填充图像范围内，并在判断结果为是时将所述第四裁剪框添加入所述可能裁剪框集合。

可选地，根据所述可视区域和所述感兴趣区域对所述可能裁剪框集合中的每个可能裁剪框进行评分，包括：计算所述可能裁剪框集合中每个可能裁剪框所包含的感兴趣区域大小与感兴趣区域大小之间的第二比值；计算所述待填充图像在根据可能裁剪框进行裁剪后，所述可视区域显示的感兴趣区域大小与所述可视区域大小之间的第三比值；根据所述第二比值和所述第三比值对每个可能裁剪框进行评分。

可选地，在计算得到可视区域显示的感兴趣区域大小与所述可视区域大小之间的第三比值之后，还包括：判断所述目标图框是否为异形图框；如果否，则计算该可能裁剪框的中心与该可能裁剪框包含的感兴趣区域的中心之间的偏移值，以便根据所述第二比值、第三比值和该可能裁剪框的中心与该可能裁剪框包含的感兴趣区域的中心之间的偏移值对该可能裁剪框进行评分。

为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有不特定图框图像填充程序，该不特定图框图像填充程序被处理器执行时实现如上述的不特定图框图像填充方法。

根据本发明实施例的计算机可读存储介质，通过存储不特定图框图像填充程序，以使得处理器在执行该不特定图框图像填充程序时，实现如上述的不特定图框图像填充方法，从而实现自动对不特定图框进行图像填充，提高图像填充效率；同时，简化不特定图框图像填充步骤，节约图像填充所需耗费的人力和物力。

为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如上述的不特定图框图像填充方法。

根据本发明实施例的计算机设备，通过存储器对不特定图框图像填充程序进行存储，以使得处理器在执行该不特定图框图像填充程序时，实现如上述的不特定图框图像填充方法，从而实现自动对不特定图框进行图像填充，提高图像填充效率；同时，简化不特定图框图像填充步骤，节约图像填充所需耗费的人力和物力。

为达到上述目的，本发明第四方面实施例提出了一种不特定图框图像填充装置，包括：第一获取模块，所述第一获取模块用于获取待填充图像和目标图框，并根据所述目标图框的透明度获取所述目标图框的可视区域；第二获取模块，所述第二获取模块用于获取所述目标图框的像素信息，并根据所述像素信息计算所述目标图框的中心偏移值，以及根据所述目标图框的大小对所述待填充图像进行缩放；检测模块，所述检测模块用于对所述待填充图像进行人脸检测，以获取人脸区域，并对所述待填充图像进行显著性检测，以获取显著区域，以及根据所述人脸区域和所述显著区域生成感兴趣区域；裁剪框生成模块，所述裁剪框生成模块用于根据所述目标图框的大小生成初始裁剪框，并根据所述初始裁剪框、所述感兴趣区域、所述中心偏移值和所述待填充图像生成可能裁剪框集合；判断模块，所述判断模块用于根据所述可视区域和所述感兴趣区域对所述可能裁剪框集合中的每个可能裁剪框进行评分，以根据评分结果确定最终裁剪框，并根据所述最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到所述目标图框中。

根据本发明实施例的不特定图框图像填充装置，通过设置第一获取模块用于获取待填充图像和目标图框，并根据目标图框的透明度获取目标图框的可视区域；第二获取模块用于获取目标图框的像素信息，并根据像素信息计算目标图框的中心偏移值，以及根据目标图框的大小对待填充图像进行缩放；检测模块用于对待填充图像进行人脸检测，以获取人脸区域，并对待填充图像进行显著性检测，以获取显著区域，以及根据人脸区域和显著区域生成感兴趣区域；裁剪框生成模块用于根据目标图框的大小生成初始裁剪框，并根据初始裁剪框、感兴趣区域、中心偏移值和待填充图像生成可能裁剪框集合；判断模块用于根据可视区域和感兴趣区域对可能裁剪框集合中的每个可能裁剪框进行评分，以根据评分结果确定最终裁剪框，并根据最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到目标图框中；从而实现自动对不特定图框进行图像填充，提高图像填充效率；同时，简化不特定图框图像填充步骤，节约图像填充所需耗费的人力和物力。

附图说明

图1为根据本发明实施例的不特定图框图像填充方法的流程示意图；

图2为根据本发明另一实施例的不特定图框图像填充方法的流程示意图；

图3为根据本发明实施例的不特定图框图像填充装置的方框示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

相关技术中，在对不特定图框进行图像填充时，效率低下，步骤繁琐，需要耗费大量的人力和物力；根据本发明实施例的不特定图框图像填充方法，首先，获取待填充图像和目标图框，并根据目标图框的透明度获取目标图框的可视区域；接着，获取目标图框的像素信息，并根据像素信息计算目标图框的中心偏移值，以及根据目标图框的大小对待填充图像进行缩放；然后，对待填充图像进行人脸检测，以获取人脸区域，并对待填充图像进行显著性检测，以获取显著区域，以及根据人脸区域和显著区域生成感兴趣区域；接着，根据目标图框的大小生成初始裁剪框，并根据初始裁剪框、感兴趣区域、中心偏移值和待填充图像生成可能裁剪框集合；然后，根据可视区域和感兴趣区域对可能裁剪框集合中的每个可能裁剪框进行评分，以根据评分结果确定最终裁剪框，并根据最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到目标图框中；从而实现自动对不特定图框进行图像填充，提高图像填充效率；同时，简化不特定图框图像填充步骤，节约图像填充所需耗费的人力和物力。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

图1为根据本发明实施例的不特定图框图像填充方法的流程示意图，如图1所示，该不特定图框图像填充方法包括以下步骤：

S101，获取待填充图像和目标图框，并根据目标图框的透明度获取目标图框的可视区域。

也就是说，对待填充图像和目标图框(即，需要进行图像填充的不特定图框)进行获取，然后，根据目标图框的透明度获取该目标图框中的可视区域。

作为一种示例，首先在获取到目标图框之后，进一步获取其透明通道信息，接着，用于该目标图框大小相同的矩阵mask标识可视区域；然后，判断目标图框中的透明度是否大于预设的透明度阈值(例如，该透明度阈值设置为150)；如果是，则认为该区域为可视区域，令对应的mask的像素值为1；如果否，则认为该区域为非可视区域，令对应的mask的像素值为0。

S102，获取目标图框的像素信息，并根据像素信息计算目标图框的中心偏移值，以及根据目标图框的大小对待填充图像进行缩放。

其中，中心偏移值的计算方式可以有多种。

作为一种示例，首先，在获取到目标图框的像素信息之后，根据该像素信息分别求取目标图框对应的s_up、s_down、s_left、s_right；即言，分别将目标图框划分为上下两部分和左右两部分，其中，s_up表示上半部分的像素值总和，s_down表示下半部分的像素值总和，s_left表示左半部分的像素值总和，s_right表示右半部分的像素值总和；然后，可以根据各部分像素值总和进行目标图框中心偏移值的计算；具体地，假设目标图框对应的矩阵mask的重心(visual_center_x,visual_center_y)为目标图框的中心；则目标图框中心的中心偏移值可以根据以下方式进行计算：

若s_up>1.2*min(s_up,s_down),则目标图框的中心可能偏上，令上偏移量等于-2*visual_center_y/3；

若s_down>1.2*min(s_up,s_down),则目标图框的中心可能偏下，令下偏移量等于2*(L_h-visual_center_y)/3；

若s_left>1.2*min(s_left,s_right),则目标图框的中心可能偏左,令左偏移量等于-2*visual_center_x/3；

若s_right>1.2*min(s_left,s_right),则目标图框的中心可能偏右,令右偏移量等于2*(L_w-visual_center_x)/3。

其中，根据目标图框的大小对待填充图像进行缩放的方式可以有多种。

作为一种示例，将待填充图像按目标图框最长边适应缩放目标图像。即

scale＝max(L_h/I_h,L_w/I_w),其中I_h、I_w分别表示待填充图像的高和宽，L_h、I_h分别表示目标图框的高和宽；将待填充图像按scale缩放得到图像Is。

S103，对待填充图像进行人脸检测，以获取人脸区域，并对待充图像进行显著性检测，以获取显著区域，以及根据人脸区域和显著区域生成感兴趣区域。

也就是说，对待填充图像进行人脸检测和显著性检测，以根据检测得到的人脸区域和显著区域得到感兴趣区域；其中，因为一张图片中可能包含有多个人脸区域，因此，若存在多个人脸区域，则多个人脸区域均为人脸区域，并将多个人脸区域与显著区域的并集作为感兴趣区域。

S104，根据目标图框的大小生成初始裁剪框，并根据初始裁剪框、感兴趣区域、中心偏移值和待填充图像生成可能裁剪框集合。

其中，根据目标图框的大小生成初始裁剪框的方式可以有多种，例如，根据目标图框的大小和预设的初始裁剪框与目标图框之间的比值得到初始裁剪框，在此不对初始裁剪框的设置方式进行限制。

其中，据初始裁剪框、感兴趣区域、中心偏移值和待填充图像生成可能裁剪框集合的方式可以有多种。

作为一种示例，计算初始裁剪框的中心和感兴趣区域的中心，并将初始裁剪框的中心与感兴趣区域的中心重合，以得到第一裁剪框；判断第一裁剪框处于待填充图像范围内，并在判断结果为是时将第一裁剪框添加入可能裁剪框集合。

作为另一种示例，计算人脸区域上边界与感兴趣区域上边界之间的第一距离、人脸区域下边界与感兴趣区域下边界之间的第二距离，并计算第一距离与第二距离的第一比值；根据第一比值确定初始裁剪框的位置，并对该位置上的初始裁剪框进行不同比例的缩放，以生成多个第二裁剪框；判断每个第二裁剪框是否包含人脸区域；如果是，则判断该第二裁剪框是否处于待填充图像范围内；如果是，则将该第二裁剪框添加入可能裁剪框集合。

即言，在计算得到第一比值之后，根据第一比值对初始裁剪框进行移动，以使得初始裁剪框上边界与人脸区域上边界的距离与初始裁剪框下边界与人脸区域下边界的距离之间的比值等于该第一比值；从而确定初始裁剪框的中心点位置；进而，以该中心点位置为参照点，根据预设的不同比例对该位置上的初始裁剪框进行缩放，以得到多个第二裁剪框；进一步地，判断该第二裁剪框是否包含人脸区域，如果否，则表示第二裁剪框过小，对其进行舍弃；如果是，则进一步判断该第二裁剪框是否处于待填充图像范围内；如果否，则表示该第二裁剪框过大，对其进行舍弃，进而，筛选出位置恰当，且大小合适的第二裁剪框，并将其添加入可能裁剪框集合，以进一步扩充可能裁剪框集合，提高本发明实施例提出的不特定图框图像填充方法最终裁剪框选择的准确性。

作为又一种示例，在获得第二裁剪框之后，还包括：根据目标图框的中心偏移值对该第二裁剪框进行平移，以生成第三裁剪框；判断第三裁剪框是否处于待填充图像范围内；如果是，则将该第三裁剪框添加入可能裁剪框集合。

即言，进一步地考虑目标图框的像素对于中心偏移影响，则根据目标图框的重心偏移值对得到的符合上述条件的第二裁剪框进行平移，以得到第三裁剪框，并判断平移后的第三裁剪框是否超出待填充图像的范围，并将没有超出的第三裁剪框添加入可能裁剪框集合中，以进一步扩充可能裁剪框的样本数量，提高最终裁剪框的选择准确性。

作为又一种示例，根据初始裁剪框、感兴趣区域、中心偏移值和待填充图像生成可能裁剪框集合，包括：根据感兴趣区域和初始裁剪框建立矩形搜索区域，并对矩形搜索区域进行网格划分，以及根据划分后的每个网格对初始裁剪框进行移动，以生成第四裁剪框；判断第四裁剪框是否处于待填充图像范围内，并在判断结果为是时将第四裁剪框添加入可能裁剪框集合。具体地，首先，将初始裁剪框的左上角顶点与感兴趣区域的左上角顶点重合，得到此时初始裁剪框的右下角顶点位置A；接着，将初始裁剪框的右下角顶点与感兴趣区域的右下角顶点重合，得到此时初始裁剪框的左上角顶点位置B；然后，以点A和点B作为矩形的对角顶点得到矩形搜索区域；接着，对矩形搜索区域进行网格划分(例如，当矩形搜索区域为正方形时，将该正方形划分为5*5的网格，则可以得到25个不同的网格)，以得到多个网格；然后，根据每个网格对初始裁剪框进行移动，例如，获取每个网格的中心，令初始裁剪框的左上角顶点与任意一个网格的中心重合，以得到第四裁剪框；从而，可以得到与网格数量相同的多个第四裁剪框；接着，判断第四裁剪框是否处于待填充图像范围内，如果是，则认为该第四裁剪框为有效的可能裁剪框，并将其添加入可能裁剪框集合，以对可能裁剪框集合进行扩充。

S105，根据可视区域和感兴趣区域对可能裁剪框集合中的每个可能裁剪框进行评分，以根据评分结果确定最终裁剪框，并根据最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到目标图框中。

在一些实施例中，根据可视区域和感兴趣区域对可能裁剪框集合中的每个可能裁剪框进行评分的方式可以有多种包括：计算可能裁剪框集合中每个可能裁剪框所包含的感兴趣区域大小与感兴趣区域大小之间的第二比值；计算待填充图像在根据可能裁剪框进行裁剪后，可视区域显示的感兴趣区域大小与可视区域大小之间的第三比值；根据第二比值和第三比值对每个可能裁剪框进行评分。

在一些实施例中，为了进一步提高本发明实施例提出的评分方式的评分准确性，在计算得到可视区域显示的感兴趣区域大小与可视区域大小之间的第三比值之后，还包括：判断目标图框是否为异形图框；如果否，则计算该可能裁剪框的中心与该可能裁剪框包含的感兴趣区域的中心之间的偏移值，以便根据第二比值、第三比值和该可能裁剪框的中心与该可能裁剪框包含的感兴趣区域的中心之间的偏移值对该可能裁剪框进行评分。

作为一种示例，首先，计算可能裁剪框集合中的每个可能裁剪框所包含的图像感兴趣区域大小占整个感兴趣区域的比例Isaliency，和对应的目标图框的可视区域能显示的可能裁剪框中感兴趣区域的面积占整个可视区域面积的比例Ivisual，进一步地，若目标图框为非异形图框即mask值全为1或s_up～＝s_down且s_left～＝s_right，则计算可能裁剪框的中心与可能裁剪框中包含的图像感兴趣区域的中心之间的偏移Icenter，若目标图框为异形图框则令中心偏移Icenter＝0；然后，根据下式计算每个裁剪框的得分：

Q＝ws*Isaliency+wv*Ivisual-wc*Icenter,其中ws,wv,wc分别表示感兴趣比例权重、可视比例权重、中心偏移权重。

在本发明的一个具体实施例中，如图2所示，本发明实施例提出的不特定图框图像填充方法包括以下步骤：

S201，获取待填充图像和目标图框，并根据目标图框的透明度获取目标图框的可视区域。

S202，获取目标图框的像素信息，并根据像素信息计算目标图框的中心偏移值，以及根据目标图框的大小对待填充图像进行缩放。

S203，对待填充图像进行人脸检测，以获取人脸区域，并对待充图像进行显著性检测，以获取显著区域，以及根据人脸区域和显著区域生成感兴趣区域。

S204，计算初始裁剪框的中心和感兴趣区域的中心，并将初始裁剪框的中心与感兴趣区域的中心重合，以得到第一裁剪框。

S205，判断第一裁剪框是否处于待填充图像范围内；如果判断结果为是，则执行步骤S206，如果判断结果为否，则舍弃该第一裁剪框。

S206，将第一裁剪框添加入可能裁剪框集合。

S207，计算人脸区域上边界与感兴趣区域上边界之间的第一距离、人脸区域下边界与感兴趣区域下边界之间的第二距离，并计算第一距离与第二距离的第一比值。

S208，根据第一比值确定初始裁剪框的位置，并对该位置上的初始裁剪框进行不同比例的缩放，以生成多个第二裁剪框。

S209，判断每个第二裁剪框是否包含人脸区域；如果是，则执行步骤S210，如果否，则舍弃该第二裁剪框。

S210，判断该第二裁剪框是否处于待填充图像范围内；如果是，则执行步骤S211,如果否，则舍弃该第二裁剪框。

S211，将该第二裁剪框添加入可能裁剪框集合。

S212，根据目标图框的中心偏移值对该第二裁剪框进行平移，以生成第三裁剪框。

S213，判断第三裁剪框是否处于待填充图像范围内；如果判断结果为是，则执行步骤S214，如果否，则舍弃该第三裁剪框。

S214，将该第三裁剪框添加入可能裁剪框集合。

S215，根据感兴趣区域和初始裁剪框建立矩形搜索区域，并对矩形搜索区域进行网格划分，以及根据划分后的每个网格对初始裁剪框进行移动，以生成第四裁剪框。

S216，判断第四裁剪框是否处于待填充图像范围内；如果是，则执行步骤S217，如果否，则舍弃该第四裁剪框。

S217，将第四裁剪框添加入可能裁剪框集合。

S218，计算可能裁剪框集合中每个可能裁剪框所包含的感兴趣区域大小与感兴趣区域大小之间的第二比值。

S219，计算待填充图像在根据可能裁剪框进行裁剪后，可视区域显示的感兴趣区域大小与可视区域大小之间的第三比值。

S220，根据第二比值和第三比值对每个可能裁剪框进行评分。

S221，根据评分结果确定最终裁剪框，并根据最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到目标图框中。

综上所述，根据本发明实施例的不特定图框图像填充方法，首先，获取待填充图像和目标图框，并根据目标图框的透明度获取目标图框的可视区域；接着，获取目标图框的像素信息，并根据像素信息计算目标图框的中心偏移值，以及根据目标图框的大小对待填充图像进行缩放；然后，对待填充图像进行人脸检测，以获取人脸区域，并对待填充图像进行显著性检测，以获取显著区域，以及根据人脸区域和显著区域生成感兴趣区域；接着，根据目标图框的大小生成初始裁剪框，并根据初始裁剪框、感兴趣区域、中心偏移值和待填充图像生成可能裁剪框集合；然后，根据可视区域和感兴趣区域对可能裁剪框集合中的每个可能裁剪框进行评分，以根据评分结果确定最终裁剪框，并根据最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到目标图框中；从而实现自动对不特定图框进行图像填充，提高图像填充效率；同时，简化不特定图框图像填充步骤，节约图像填充所需耗费的人力和物力。

为了实现上述实施例，本发明实施例还提出了一种计算机可读存储介质，其上存储有不特定图框图像填充程序，该不特定图框图像填充程序被处理器执行时实现如上述的不特定图框图像填充方法。

根据本发明实施例的计算机可读存储介质，通过存储不特定图框图像填充程序，以使得处理器在执行该不特定图框图像填充程序时，实现如上述的不特定图框图像填充方法，从而实现自动对不特定图框进行图像填充，提高图像填充效率；同时，简化不特定图框图像填充步骤，节约图像填充所需耗费的人力和物力。

为了实现上述实施例，本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如上述的不特定图框图像填充方法。

根据本发明实施例的计算机设备，通过存储器对不特定图框图像填充程序进行存储，以使得处理器在执行该不特定图框图像填充程序时，实现如上述的不特定图框图像填充方法，从而实现自动对不特定图框进行图像填充，提高图像填充效率；同时，简化不特定图框图像填充步骤，节约图像填充所需耗费的人力和物力。

为了实现上述实施例，本发明实施例还提出了一种不特定图框图像填充装置，如图3所示，该不特定图框图像填充装置包括：第一获取模块10、第二获取模块20、检测模块30、裁剪框生成模块40和判断模块50。

其中，第一获取模块10用于获取待填充图像和目标图框，并根据目标图框的透明度获取目标图框的可视区域；

第二获取模块20用于获取目标图框的像素信息，并根据像素信息计算目标图框的中心偏移值，以及根据目标图框的大小对待填充图像进行缩放；

检测模块30用于对待填充图像进行人脸检测，以获取人脸区域，并对待填充图像进行显著性检测，以获取显著区域，以及根据人脸区域和显著区域生成感兴趣区域；

裁剪框生成模块40用于根据目标图框的大小生成初始裁剪框，并根据初始裁剪框、感兴趣区域、中心偏移值和待填充图像生成可能裁剪框集合；

判断模块50用于根据可视区域和感兴趣区域对可能裁剪框集合中的每个可能裁剪框进行评分，以根据评分结果确定最终裁剪框，并根据最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到目标图框中。

需要说明的是，上述关于图1中不特定图框图像填充方法的描述同样适用于该不特定图框图像填充装置，在此不做赘述。

综上所述，根据本发明实施例的不特定图框图像填充装置，通过设置第一获取模块用于获取待填充图像和目标图框，并根据目标图框的透明度获取目标图框的可视区域；第二获取模块用于获取目标图框的像素信息，并根据像素信息计算目标图框的中心偏移值，以及根据目标图框的大小对待填充图像进行缩放；检测模块用于对待填充图像进行人脸检测，以获取人脸区域，并对待填充图像进行显著性检测，以获取显著区域，以及根据人脸区域和显著区域生成感兴趣区域；裁剪框生成模块用于根据目标图框的大小生成初始裁剪框，并根据初始裁剪框、感兴趣区域、中心偏移值和待填充图像生成可能裁剪框集合；判断模块用于根据可视区域和感兴趣区域对可能裁剪框集合中的每个可能裁剪框进行评分，以根据评分结果确定最终裁剪框，并根据最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到目标图框中；从而实现自动对不特定图框进行图像填充，提高图像填充效率；同时，简化不特定图框图像填充步骤，节约图像填充所需耗费的人力和物力。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种不特定图框图像填充方法，其特征在于，包括以下步骤：

获取待填充图像和目标图框，并根据所述目标图框的透明度获取所述目标图框的可视区域；

获取所述目标图框的像素信息，并根据所述像素信息计算所述目标图框的中心偏移值，以及根据所述目标图框的大小对所述待填充图像进行缩放；

对所述待填充图像进行人脸检测，以获取人脸区域，并对所述待填充图像进行显著性检测，以获取显著区域，以及根据所述人脸区域和所述显著区域生成感兴趣区域；

根据所述目标图框的大小生成初始裁剪框，并根据所述初始裁剪框、所述感兴趣区域、所述中心偏移值和所述待填充图像生成可能裁剪框集合；

根据所述可视区域和所述感兴趣区域对所述可能裁剪框集合中的每个可能裁剪框进行评分，以根据评分结果确定最终裁剪框，并根据所述最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到所述目标图框中。

2.如权利要求1所述的不特定图框图像填充方法，其特征在于，根据所述初始裁剪框、所述感兴趣区域、所述中心偏移值和所述待填充图像生成可能裁剪框集合，包括：

计算所述初始裁剪框的中心和所述感兴趣区域的中心，并将所述初始裁剪框的中心与所述感兴趣区域的中心重合，以得到第一裁剪框；

判断所述第一裁剪框是否处于所述待填充图像范围内，并在判断结果为是时将所述第一裁剪框添加入所述可能裁剪框集合。

3.如权利要求1所述的不特定图框图像填充方法，其特征在于，根据所述初始裁剪框、所述感兴趣区域、所述中心偏移值和所述待填充图像生成可能裁剪框集合，包括：

计算所述人脸区域上边界与所述感兴趣区域上边界之间的第一距离、所述人脸区域下边界与所述感兴趣区域下边界之间的第二距离，并计算所述第一距离与所述第二距离的第一比值；

根据所述第一比值确定所述初始裁剪框的位置，并对该位置上的初始裁剪框进行不同比例的缩放，以生成多个第二裁剪框；

判断每个所述第二裁剪框是否包含所述人脸区域；

如果是，则判断该第二裁剪框是否处于所述待填充图像范围内；

如果是，则将该第二裁剪框添加入所述可能裁剪框集合。

4.如权利要求3所述的不特定图框图像填充方法，其特征在于，在将该第二裁剪框添加入所述可能裁剪框集合之后，还包括：

根据所述目标图框的中心偏移值对该第二裁剪框进行平移，以生成第三裁剪框；

判断所述第三裁剪框是否处于所述待填充图像范围内；

如果是，则将该第三裁剪框添加入所述可能裁剪框集合。

5.如权利要求1所述的不特定图框图像填充方法，其特征在于，根据所述初始裁剪框、所述感兴趣区域、所述中心偏移值和所述待填充图像生成可能裁剪框集合，包括：

根据所述感兴趣区域和所述初始裁剪框建立矩形搜索区域，并对所述矩形搜索区域进行网格划分，以及根据划分后的每个网格对所述初始裁剪框进行移动，以生成第四裁剪框；

判断所述第四裁剪框是否处于所述待填充图像范围内，并在判断结果为是时将所述第四裁剪框添加入所述可能裁剪框集合。

6.如权利要求1-5中任一项所述的不特定图框图像填充方法，其特征在于，根据所述可视区域和所述感兴趣区域对所述可能裁剪框集合中的每个可能裁剪框进行评分，包括：

计算所述可能裁剪框集合中每个可能裁剪框所包含的感兴趣区域大小与感兴趣区域大小之间的第二比值；

计算所述待填充图像在根据可能裁剪框进行裁剪后，所述可视区域显示的感兴趣区域大小与所述可视区域大小之间的第三比值；

根据所述第二比值和所述第三比值对每个可能裁剪框进行评分。

7.如权利要求6所述的不特定图框图像填充方法，其特征在于，在计算得到可视区域显示的感兴趣区域大小与所述可视区域大小之间的第三比值之后，还包括：

判断所述目标图框是否为异形图框；

如果否，则计算该可能裁剪框的中心与该可能裁剪框包含的感兴趣区域的中心之间的偏移值，以便根据所述第二比值、第三比值和该可能裁剪框的中心与该可能裁剪框包含的感兴趣区域的中心之间的偏移值对该可能裁剪框进行评分。

8.一种计算机可读存储介质，其特征在于，其上存储有不特定图框图像填充程序，该不特定图框图像填充程序被处理器执行时实现如权利要求1-7中任一项所述的不特定图框图像填充方法。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-7中任一项所述的不特定图框图像填充方法。

10.一种不特定图框图像填充装置，其特征在于，包括：

第一获取模块，所述第一获取模块用于获取待填充图像和目标图框，并根据所述目标图框的透明度获取所述目标图框的可视区域；

第二获取模块，所述第二获取模块用于获取所述目标图框的像素信息，并根据所述像素信息计算所述目标图框的中心偏移值，以及根据所述目标图框的大小对所述待填充图像进行缩放；

检测模块，所述检测模块用于对所述待填充图像进行人脸检测，以获取人脸区域，并对所述待填充图像进行显著性检测，以获取显著区域，以及根据所述人脸区域和所述显著区域生成感兴趣区域；

裁剪框生成模块，所述裁剪框生成模块用于根据所述目标图框的大小生成初始裁剪框，并根据所述初始裁剪框、所述感兴趣区域、所述中心偏移值和所述待填充图像生成可能裁剪框集合；

判断模块，所述判断模块用于根据所述可视区域和所述感兴趣区域对所述可能裁剪框集合中的每个可能裁剪框进行评分，以根据评分结果确定最终裁剪框，并根据所述最终裁剪框对待填充图像进行裁剪，以及将裁剪结果填充到所述目标图框中。

Images