CN111192192B - 在图形中填充图像的方法、装置、设备以及介质 - Google Patents

Abstract

公开了一种用于在给定图形中填充输入图像的方法、装置、设备以及计算机可读介质，其中所述方法包括：确定所述图形中的目标填充区域，其中所述目标填充区域中已填充有至少一个图像；将所述目标填充区域划分为第一子区域和第二子区域；将所述目标填充区域中的已填充的图像映射到所述第一子区域；以及将所述待填充图像填充到所述第二子区域。

Description

在图形中填充图像的方法、装置、设备以及介质

技术领域

本公开涉及图像处理领域，具体涉及一种在图形中填充图像的方法、装置、设备以及计算机可读介质。

背景技术

传统上，在利用多个图像填充给定图形的过程中，根据要填充的图像的数量，将给定图形划分为多个区域，然后将多个图像进行缩放并依次排列填满给定图形的各个区域，然后根据给定图形的形状裁去多余的部分，可以得到由上述多个图像填充的给定图形。在这种方案中，填充到给定图形中的图像数量是规定的。在填充完成之后，如果需要在给定图形内填充新的图像，需要对给定图形重新进行划分，并对所有已经填充的图像和新的图像进行重排和重新缩放。这将导致在要填充的图像数量增加的场景下，图形填充的效率不高。

发明内容

为此，本公开提供了一种将图像填充到给定图形中的方法、装置、设备以及计算机可读介质。

根据本公开的一个方面，提供了一种用于在图形中填充图像的方法，所述方法包括：确定所述图形中的目标填充区域，其中所述目标填充区域中已填充有至少一个图像；将所述目标填充区域划分为第一子区域和第二子区域；将所述目标填充区域中的已填充的图像映射到所述第一子区域；以及将所述待填充图像填充到所述第二子区域。

在一些实施例中，将所述目标填充区域划分为第一子区域和第二子区域包括：根据所述目标填充区域中已填充图像的数量n确定第一子区域和第二子区域的尺寸，其中所述第一子区域的尺寸是所述第二子区域的n倍。

在一些实施例中，将所述目标填充区域中的至少一个图像映射到所述第一子区域包括：根据第一子区域的尺寸，对所述目标填充区域中已填充的图像执行缩放处理；以及将经过处理的所述目标填充区域中已填充的图像填充到所述第一子区域。

在一些实施例中，根据第一子区域的尺寸，对所述目标填充区域中已填充的图像执行缩放处理包括：根据所述目标填充区域的尺寸和所述第一子区域的尺寸的比例关系，对所述目标填充区域中已填充的图像进行缩放。

在一些实施例中，将所述目标填充区域中的至少一个图像映射到所述第一子区域还包括：根据第一子区域的形状，对缩放后的所述目标填充区域中已填充的图像执行拉伸，使得拉伸后的所述目标填充区域中的至少一个图像符合所述第一子区域的形状。

在一些实施例中，对缩放后的所述目标填充区域中已填充的图像执行拉伸，使得拉伸后的所述目标填充区域中的至少一个图像符合所述第一子区域的形状包括：对缩放后的目标填充区域中已填充的图像进行插值以改变缩放后的已填充的图像的形状。

在一些实施例中，将所述待填充图像填充到所述第二子区域包括：确定所述待填充图像中核心区域，其中所述核心区域包括利用目标检测算法检测到的目标物体；根据所述第二子区域的尺寸对所述待填充图像进行缩放和裁剪，使得所述核心区域位于所述第二子区域中。

在一些实施例中，其中所述核心区域的形状是矩形，根据所述第二子区域的尺寸对所述待填充图像进行缩放和裁剪，使得所述核心区域位于所述第二子区域中包括：对所述待填充图像进行等比例缩放，以及根据所述第二子区域的尺寸和形状裁剪缩放后的待填充图像，并使得所述核心区域的四个顶点落在所述第二子区域的边界上。

在一些实施例中，所述第一子区域或多数第二子区域分别是扇形、三角形或矩形。

在一些实施例中，当所述目标填充区域中已填充图像的数量大于预设的阈值时，将所述目标填充区域中已填充的一个图像替换为所述待填充图像。

根据本公开的另一方面，还提供了一种用于在图形中填充图像的装置，所述装置包括：目标填充区域确定单元，配置成确定所述图形中的目标填充区域，其中所述目标填充区域中已填充有至少一个图像；划分单元，配置成将所述目标填充区域划分为第一子区域和第二子区域；映射单元，配置成将所述目标填充区域中的已填充的图像映射到所述第一子区域；以及填充单元，配置成将所述待填充图像填充到所述第二子区域。

在一些实施例中，所述划分单元进一步配置成：根据所述目标填充区域中已填充图像的数量n确定第一子区域和第二子区域的尺寸，其中所述第一子区域的尺寸是所述第二子区域的n倍。

在一些实施例中，所述映射单元进一步配置成：根据第一子区域的尺寸，对所述目标填充区域中已填充的图像执行缩放处理；以及将经过处理的所述目标填充区域中已填充的图像填充到所述第一子区域。

在一些实施例中，所述映射单元进一步配置成：根据所述目标填充区域的尺寸和所述第一子区域的尺寸的比例关系，对所述目标填充区域中已填充的图像进行缩放。

在一些实施例中，所述映射单元进一步配置成：根据第一子区域的形状，对缩放后的所述目标填充区域中已填充的图像执行拉伸，使得拉伸后的所述目标填充区域中的至少一个图像符合所述第一子区域的形状。

在一些实施例中，所述映射单元进一步配置成：对缩放后的目标填充区域中已填充的图像进行插值以改变缩放后的已填充的图像的形状。

在一些实施例中，所述填充单元进一步配置成：确定所述待填充图像中核心区域，其中所述核心区域包括利用目标检测算法检测到的目标物体；根据所述第二子区域的尺寸对所述待填充图像进行缩放和裁剪，使得所述核心区域位于所述第二子区域中。

在一些实施例中，所述核心区域的形状是矩形，所述填充单元进一步配置成对所述待填充图像进行等比例缩放，以及根据所述第二子区域的尺寸和形状裁剪缩放后的待填充图像，并使得所述核心区域的四个顶点落在所述第二子区域的边界上。

在一些实施例中，所述第一子区域或多数第二子区域分别是扇形、三角形或矩形。

在一些实施例中，当所述目标填充区域中已填充图像的数量大于预设的阈值时，所述填充单元配置成将所述目标填充区域中已填充的一个图像替换为所述待填充图像。

根据本公开的另一方面，还提供了一种用于在图形中填充图像的设备，所述设备包括至少一个处理器，所述处理器配置成执行如前所述的方法。

根据本公开的另一方面，还提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使所述处理器执行如前所述的方法。

利用本公开提供的将图像填充到给定图形中的方法、装置、设备以及计算机可读介质，可以通过对要填充新的图像的区域进行划分，并对已经填充的图像映射为该区域的一部分，可以实现以高效的方式将动态增加的图像填充到给定图形中，在不影响填充效果的情况下提高填充操作的处理速度。此外，利用本公开提供的技术方案，在将图像填充到给定图形时，可以确定图像的核心区域，并在对图像进行缩放和裁剪时避免损失核心区域中的图像信息。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本公开的主旨。

图1示出了根据本公开的图像处理系统的示意图；

图2示出了根据本公开的实施例的一种将输入图像填充到给定图形中的方法的示意性的流程图；

图3示出了利用射线分割给定图形的示例；

图4示出了利用纵横线分割给定图形的示例；

图5A示出了被划分的目标填充区域的一种示例；

图5B示出了被划分的目标填充区域的另一种示例；

图5C示出了被划分的目标填充区域的又一种示例；

图5D示出了被划分的目标填充区域的又一种示例；

图6A示出了根据本公开的实施例的在输入图像中确定核心区域的一种示例；

图6B示出了根据本公开的实施例的用输入图像填充第二子区域的一种示例；

图6C示出了根据本公开的实施例的用输入图像填充第二子区域的另一种示例；

图7A-图7E示出了根据本公开实施例的将图像填充到给定图形中的方法的一种示意性的过程；

图7F示出了利用图7A-图7E中的方法填充的图形的效果图；

图8示出了根据本公开的实施例的用于将输入图像填充到给定图形中的装置的示意性框图；以及

图9示出了一种示意性的计算设备的架构图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，以下举实施例对本公开作进一步详细说明。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

图1示出了根据本公开的一个示例性图像处理系统的示意图。如图1所示，该图像处理系统100可以包括一个或多个客户端110、网络120、服务器130以及数据库140。为描述方便，在本公开中，图像处理系统100可以简称为系统100。

客户端110可以包括但不限于固定式电子设备或移动式电子设备中的一种或多种。例如，固定式电子设备可以包括但不限于台式电脑、智能家居设备等。移动电子设备可以包括但不限于智能手机、智能手表、笔记本电脑、平板电脑、游戏设备等中的一种或多种。客户端110可以通过网络120与服务器、数据库或其他客户端进行通信，例如，将客户端本地存储的图像或通过客户端拍摄的图像经由网络发送至服务器130或其他客户端。例如，可以利用客户端上运行的照相机程序，或其他程序如浏览器、即时通信(IM)中内置的扫码或照相程序拍摄图像。

网络120可以是单个网络或多个不同网络的组合。例如，网络120可以包括但不限于局域网、广域网、因特网等中的一种或几种的组合。网络120可以用于实现客户端110、服务器130以及数据库140之间的数据交换。

服务器130是可以对数据进行分析加工以生成分析结果的系统。服务器130可以是一个单独的服务器，或一个服务器群组，群组内的各个服务器通过有线的或无线的网络进行连接。在本公开的实施例中，服务器130可以配置成用于执行本公开提供的填充给定图形的方法。

数据库140可以泛指具有存储功能的设备。数据库140主要用于存储从客户端110收集的数据以及服务器130工作中所利用、产生和输出的各种数据。例如，数据库140可以存储在下文中描述的方法里涉及的输入图像和/或给定图形的参数(如其尺寸、形状)、用于对图像进行缩放、拉伸和插值的算法等。数据库140可以是本地的，或远程的。数据库140可以是非永久记忆存储器，或永久记忆存储器。以上提及的存储设备只是列举了一些例子，该系统可以使用的存储设备并不局限于此。数据库140可以与网络120相互连接或通信，或直接与图像处理系统100或其一部分(例如，服务器130)相互连接或通信，或是两种方式的结合。在一些实施例中，数据库140可以设置在服务器130的后台。在一些实施例中，数据库140可以是独立的，直接与网络120相连接。数据库140与系统其他设备间的连接或通信可以是有线的，或无线的。

需要说明的是，除了上述包括网络的系统以外，本公开的实施例也可以实施在单独的本地计算机中。例如，用户可以根据本地的图片库对给定图形进行填充。

为了提高在用于填充给定图形的图像数量动态增加的场景下对给定图形的填充的效率，本公开提供了一种将图像填充到给定图形中的方法、装置、设备以及计算机可读介质。下面，将结合附图描述本公开的实施例。

本公开中描述的给定图形可以是具有各种形状的图像或轮廓线图。例如，所述给定图形可以是规则的，例如矩形、三角形、圆形、椭圆形、梯形等。所述给定图形也可以是不规则的，例如商标、企业标志、特定物体的轮廓(如地图)等。所述给定图形也可以指的是上述规则图形或不规则图形的一部分。

图2示出了根据本公开的实施例的一种在给定图形中填充输入图像的方法的示意性的流程图。所述给定图形可以被分割为多个区域，并且每个区域被至少一个图像填充。可选地，所述多个区域中的至少一个区域被至少一个图像填充。这里的输入图像可以是客户端通过网络上传的图像，也可以是从本地或远程的存储设备中取回的图像。可以利用图1中示出的客户端或服务器执行图2中示出的方法。利用图2中示出的方法200可以实现将输入图像作为待填充图像，并在已经被至少一个图像填充的给定图形中增加该待填充图像。

在一些实施例中，可以通过确定给定图形的中心(例如，可以将给定图形的几何中心或重心确定为该图形的中心)，并利用以所述中心作为端点的多条射线对所述给定图形进行分割。例如，可以利用均匀或不均匀分布的射线将给定图形分割成多个区域。图3示出了利用射线分割给定图形的示例。利用这样的分割方法，可以将给定图形分割成多个扇形和/或三角形。当给定图形的边缘不规则时，分割得到的区域可以不是完整的扇形或三角形，而是近似扇形或三角形的不规则图形。在这种情况下，在后续的填充操作中为了方便起见，可以将这样的不规则图形近似成扇形或三角形进行处理。

在一些实施例中，可以通过交错的纵横线对所述给定图像进行分割。例如，可以利用均匀或不均匀分布的纵横线将给定区域分割成多个矩形区域。图4示出了利用纵横线分割给定图形的示例。利用这样的分割方法，可以将给定图形分割成多个矩形。与图3中示出的情况类似，当给定图形的边缘不规则时，分割得到的区域可以不是完整的矩形。在这种情况下，在后续的填充操作中为了方便起见，可以将这样的不规则图形近似成矩形进行处理。

继续参考图2描述本公开提供的实施例。其中，方法200可以包括步骤S202：确定用于所述输入图像的目标填充区域，其中所述目标填充区域中填充有至少一个图像。在一些实施例中，如前所述，由于要填充到给定图形的图像数量是不断增加的，因此，当需要在给定图形中填充新的图像时，可以从给定图形中的多个区域中选择一个区域作为用于填充该输入图像的目标填充区域。在一些实现方式中，可以根据预定的顺序在给定图形中的多个区域中选择一个作为目标填充区域。例如，对于分割成多个扇形或三角形区域的给定图形，可以以顺时针、逆时针或其他预设的顺序从给定图形中包括的多个区域选择一个区域作为目标填充区域。对于分割成多个矩形区域的给定图形，可以依照预先设置的顺序从给定图形中包括的多个区域选择一个区域作为目标填充区域。图4中示出了用于选择目标填充区域的一种示例性的顺序(如沿着图4中示出的虚线箭头的方向)。根据实际情况，例如，根据给定图形的形状特性，技术人员可以设置任意方式用于在给定图形中选择目标填充区域。

在另一些实现方式中，也可以根据给定图形中的各区域中填充的图像数量确定用于当前输入图像的目标填充区域。例如，可以从给定图形中的多个区域中选择填充的图像数量最少的区域作为目标填充区域。

如图2所示，方法200还可以包括步骤S204：根据目标填充区域中的已填充的图像的数量n，将目标填充区域划分为第一子区域和第二子区域，其中n是大于等于1的整数。

可以按照多种方式，根据目标填充区域中的至少一个图像的数量n，将目标填充区域划分为第一子区域和第二子区域。

在一些实施例中，步骤S204可以包括根据目标填充区域中的至少一个图像的数量n确定第一子区域和第二子区域的尺寸，其中第一子区域的尺寸是第二子区域的n倍。如此，第一子区域和第二子区域的尺寸的比例与第一子区域中填充的图像数量(n个图像)和第二子区域中填充的图像数量(1个图像)成正比。例如，上述尺寸可以是长度尺寸，例如，第一子区域在特定方向上的长度尺寸可以是第二子区域在对应方向上的长度尺寸的n倍。上述尺寸也可以是面积尺寸，例如，第一子区域的面积可以是第二子区域在对应方向上的面积的n倍。利用这样的方法，可以实现目标区域中所填充的每个图像的尺寸大致均等，使得填充后的给定图形的视觉效果更好。

然后，可以根据所述确定的尺寸，按照不同的方式对目标填充区域进行划分。

本领域技术人员可以理解，对于目标填充区域的第一次填充操作来说，已填充的图像数量n＝0。此时，将待填充的图像缩放和裁剪成目标填充区域的形状后，直接填入目标填充区域即可。

下面结合具体示例来说明根据本公开的原理对目标填充区域进行划分的过程。在目标填充区域是扇形的示例中，如图5A左图所示，扇形的目标填充区域可以被划分为一个扇形和一个扇环。其中，在图5A左图中示出的扇形和扇环中各填充有一个或多个图像。例如，如图5A左图所示，目标填充区域划分后得到的扇形中填充有图像1，扇环中填充有图像2。

在该实现方式中，可以基于扇形的半径长度划分第一子区域和第二子区域。在将划分后形成的扇形作为第一子区域、扇环作为第二子区域的情况下，扇形的径向尺寸可以是扇环的径向尺寸的n倍。在将划分后形成的扇环作为第一子区域、扇形作为第二子区域的情况下，扇环的径向尺寸可以是扇形的径向尺寸的n倍。可替换地，在该实现方式中，可以根据扇形的目标填充区域的面积确定第一子区域和第二子区域的尺寸。在将划分后形成的扇形作为第一子区域、扇环作为第二子区域的情况下，扇形的面积可以是扇环面积的n倍。在将划分后形成的扇环作为第一子区域、扇形作为第二子区域的情况下，扇环的面积可以是扇形面积的n倍。

需要说明的是，在上述示例中仅示出了通过在径向上进行进一步划分，将所述扇形划分为扇形和扇环，但在其他的实现方式中，也可以根据圆心角划分第一子区域和第二子区域。如图5A右图所示。其中，图5A的左图中示出的是已经填充有两个不同图像1和2的扇形区域的填充效果，右图中示出的是分割后形成的第一子区域(左半扇形)和第二子区域(右半扇形)。图5A右图示出了将图5A左图中填充的两个图像1和2映射到扇形的左半部分，并将在扇形的右半部分中填充第3个图形时的填充效果。以上仅示出了根据目标填充区域中填充的图像的数量改变第一子区域和第二子区域的划分依据的一种可能的顺序。事实上，可以为任一次目标填充区域的划分设置划分方式。类似的，对于三角形的目标填充区域来说，可以根据三角形的边长或三角形的一个顶角划分第一子区域和第二子区域。对于矩形的目标填充区域来说，可以根据矩形的两个边长分别划分第一子区域和第二子区域。在目标填充区域是三角形的情况下，如图5B左图所示，可以将目标填充区域划分为一个三角形和一个梯形。与前述方法类似，可以根据三角形的边长或面积确定第一子区域和第二子区域的尺寸，在此不再赘述。在目标填充区域是矩形的情况下，如图5C左图所示，可以将目标填充区域划分为两个矩形。与前述方法类似，可以根据矩形的边长或面积确定第一子区域和第二子区域的尺寸，在此不再赘述。

图5B右图和图5C右图示出了用于三角形和矩形区域的一种可能的填充效果。与图5A中示出的扇形示例类似，图5B的左图示出了填充有两个图像的填充效果，图5B的右图示出的是对图中的三角形进行划分后，将图5B的左图中填充的图像映射为左半边，并且将在三角形的右半边填入新的填充图像的效果。图5C的左图示出了在矩形中填充有两个图像的填充效果。图5C的右图示出的是对图中的矩形进行划分后，将图5C的左图中填充的图像映射为矩形的上部分，并且将在矩形的下部分填入新的填充图像的效果。

然后，在步骤S206中，可以将目标填充区域中的至少一个图像映射到第一子区域。也就是说，当需要在已经填充有图像的目标填充区域中填入新的图像时，可以将原来填充在整个目标填充区域中的图像映射到该区域中的一部分，使得该区域的剩余部分可以用于填充新的图像。

在一些实施例中，将所述目标填充区域中的至少一个图像映射到第一子区域可以包括：对所述目标填充区域中的至少一个图像执行处理，然后，将经过处理的所述目标填充区域中的至少一个图像填充到所述第一子区域。

所述处理包括将缩放所述目标填充区域中的至少一个图像以符合第一子区域的尺寸。例如，当第一子区域的形状与目标填充区域的形状相同时(例如都是扇形、三角形或矩形)，可以根据第一子区域与目标填充区域的尺寸比例关系，对目标填充区域中的图像进行缩放，使得原先填充在目标填充区域中的图像适于填充第一子区域。例如，可以将原先填充在目标填充区域中的图像直接缩放为第一子区域的大小。另一方面，当目标填充区域和第一子区域的形状不同时，在步骤S206中，除了对目标填充区域中的图像进行缩放(例如将其缩放为略小于第一子区域)以外，所述处理还可以包括：对缩放后的图像执行拉伸操作，使得拉伸后的图像符合所述第一子区域的形状，从而能够充满第一子区域。可以通过插值操作来进行所述拉伸。例如，当目标填充区域的形状是扇形，第一子区域的形状是扇环时，还可以对目标填充区域中的图像进行拉伸等操作，使得缩放后的目标填充区域中的图像符合所述第一子区域的形状。

通过上述方法，原先填充目标填充区域的图像被缩放至目标填充区域的一部分(即，第一子区域)，因此，目标填充区域的剩余部分(即第二子区域)可以用于填充新的输入图像。

在一些实施例中，可以预先设置给定图形中分割出的每个区域中的固定区域。例如，固定部分可以用于填充图像，但其中填充的图像数量是固定的(如1个图像)。不再通过区域划分增加固定部分的填充的图像数量。固定部分中也可以不填充图像。如图5D所示，扇形区域的中心部分的扇形(黑色填充部分)可以被设置成固定区域。在这种情况下，当在扇形区域中增加新的填充图像时，仅根据固定区域以外的扇环部分的尺寸划分第一子区域和第二子区域。

在一些实施例中，可以预先设置每个区域中填充的图像的最大数量。例如，可以将每个区域中填充的图像的最大数量设置为10。此时可以实现较好的填充图形显示效果。在目标填充区域中已经填充的图像数量达到预定数量的情况下，可以不执行上述步骤S204和S206，即，不对目标填充区域进行进一步划分。而是从目标填充区域中填充的一个或多个图像中选择一个图像，并将选择的图像所占用的区域作为第二子区域，用于后续的图像填充。在这种情况下，不再增加目标填充区域中的图像数量，而是将已填充的图像替换为新的图像。

继续参考图2，如图2所示，方法200还可以包括步骤S208：将所述输入图像填充到所述第二子区域。例如，可以对输入图像进行缩放，并根据第二子区域的形状对缩放后的输入图像进行裁剪，并将裁剪后的输入图像填入第二子区域。

在一些实施例中，在步骤S208中，将所述输入图像填充到所述第二子区域还可以包括：确定所述输入图像中包括指定对象的核心区域；根据所述第二子区域的尺寸对所述输入图像进行缩放和裁剪，使得所述核心区域位于所述第二子区域中。

在一种实现方式中，可以预先指定用于确定核心区域的对象。例如，可以设置该对象是人脸、某种动物(如猫、狗等)、植物(花、树等)、家居物品(杯子、酒瓶等)等。本公开的实施例不限于上述示例，根据实际需要，技术人员可以将任意对象这是为用于确定核心区域的对象。例如，可以通过对输入图像执行目标检测算法(如利用训练好的神经网络)并确定输入图像中是否包括目标对象以及当输入图像中包括目标对象时，识别结果是目标对象的概率。当目标检测算法的输出指示输入图像中包括多个目标对象时，在一些示例中，可以选择概率最高的结果作为目标检测的结果。在另一些示例中，当目标检测算法的输出指示输入图像中包括多个目标对象时，也可以确定包括所有可能的目标对象的区域作为核心区域。事实上，本领域技术人员可以通过任何方式指定输入图像中的核心区域。核心区域的形状可以是矩形、圆形或其他任意形状。下文中将以矩形的核心区域为例解释本公开的实施例。然而，本公开的范围不限于此。

图6A示出了在输入图像中确定核心区域一个示例。如图6A所示，输入图像中包括预设为目标对象的花。根据目标检测算法，可以识别出输入图像中包括的花，并示出目标对象的边界框。边界框以内的区域将被认为是输入图像的核心区域。

图6B示出了根据本公开的实施例的用输入图像填充第二子区域的一种示例。在图6B示出的示例中，第二子区域是扇环形状602。图6B中的扇形的阴影区域601表示第一子区域，矩形表示输入图像的核心区域。在一种实现方式中，利用扇形的第二子区域的尺寸裁剪输入图像的核心区域以外的部分可以包括：根据输入图像中核心区域的长、宽以及第二子区域的圆心角，可以根据几何关系确定一个与第二子区域形状相同的扇形，并且这个扇形的边缘经过核心区域的四个顶点。利用上述根据几何关系确定的扇形与第二子区域之间的比例关系，可以对输入图像进行缩放，使得输入图像的核心区域可以以图6B中示出的方式被第二子区域包围。

图6C示出了根据本公开的实施例的用输入图像填充第二子区域的另一种示例。在图6C示出的示例中，第二子区域的形状是扇形603。图6C中的阴影区域604表示第一子区域，矩形表示输入图像的核心区域。在一种实现方式中，利用扇环形状的第二子区域的尺寸裁剪输入图像的核心区域以外的部分可以包括：根据输入图像中核心区域的长、宽以及第二子区域的圆心角，可以根据几何关系确定一个与第二子区域形状相同的扇环，并且这个扇环的边缘经过核心区域的四个顶点。利用上述根据几何关系确定的扇环与第二子区域之间的比例关系，可以对输入图像进行缩放，使得输入图像的核心区域可以以图6C中示出的方式被第二子区域包围。

利用类似的方法，可以用输入图像填充三角形、梯形或矩形的第二子区域中，在此不再赘述。

利用本公开提供的将图像填充到给定图形中的方法，可以对给定图形中各区域的图像信息进行整体处理从而为增加的填充图像腾出必要的空间，而不需要对给定图形中填充的所有图形分别进行缩放以及重排。这样，可以以高效的方式将动态增加的图像填充到给定图形中，在不影响填充效果的情况下提高填充操作的处理速度，节省计算资源。此外，利用本公开提供的技术方案，在将图像填充到给定图形时，可以确定图像的核心区域，并在对图像进行缩放和裁剪时避免损失核心区域中的图像信息。

图7A-图7E示出了根据本公开实施例的将图像填充到给定图形中的方法的一种示意性的过程。在图7A中示出的企鹅形图标是待填充的给定图形。利用上文中描述的分割方法，可以将企鹅形图标分割成多个扇形区域，并在每个扇形区域中填入一个图像。图7A中仅示出了一个区域。在这个过程中，可以利用前述步骤S208中的填充方法，使得在扇形区域中填充图像时，不损失图像中核心区域的图像信息。

利用上文中步骤S202中的方法，可以从给定的图标中包括的多个扇形区域中选择一个作为用于输入图像的目标填充区域。

图7B示出了尚未填入新的图像的单独的目标填充区域。此时，作为目标填充区域的扇形701中填充有图像1。为了填入新接收的图像2，可以在扇形701中划分出扇形711和扇环712。在图7C示出的示例中，扇形711的半径与扇环712的半径的是相等的。通过对区域701中填充的图像1进行缩放，可以将图像1映射在扇形711中。进一步地，通过利用扇环712的尺寸对图像2进行裁剪。可以将图像2填充到扇环712中。此时，扇形701中的填充效果如图7C所示。

根据前文中提供的方法，如图7C’所示，也可以将图像1映射在第一子区域712中。例如，通过对图像1进行缩放、拉伸等操作，可以将图像1映射在扇环712中。进一步地，通过利用扇形711的尺寸对图像2进行裁剪。可以将图像2填充到扇形711中。此时，扇形701中的填充效果如图7C’所示。

其中，图7C和图7C’的区别仅在于第一子区域和第二子区域的选择不同，在后续的描述中，为了简化期间，仅以图7C中示出的填充规律为例解释本公开提供的实施例。

然后，可以依次对给定图形中的其他扇形区域进行相同的处理，使得每个扇形区域中都填充有2个图像。

然后，当再次选中扇形701作为目标填充区域时，如图7D所示，可以将扇形701划分为包括已填充的图像1和图像2的扇形721和扇环722，其中扇形721的半径长度是扇环722的半径长度的2倍。通过将扇形701中填充的图像1、图像2形成的组合图像进行缩放，可以将图像1、图像2形成的组合图像映射在扇形721中。进一步地，通过利用扇环722的尺寸对图像3进行裁剪，可以将图像3填充到扇环722中。然后，可以依次对给定图形中的其他扇形区域进行相同的处理，使得每个扇形区域中都填充有2个图像。利用以上方法，可以在给定的图形中包括的扇形区域中不断填充新的图像。

当扇形701中填充的图像数量达到预设的最大数量时，不再对扇形701进行进一步的划分，而是淘汰该区域中最早填充的图像，并将新的图像填充到被淘汰的图像所填充的区域内。为了简化起见，下面以扇形701中最多填充3个图像为例进行说明。

如图7E中所示出的，当需要在扇形701中填入图像4时，可以选择图像1占据的空间作为用于填充图像4的区域。可以删除图像1，并用图像4填充原先填有图像1的区域。以此类推，当需要在扇形701中填入图像5时，可以删除图像2，并用图像5填充原先填有图像2的区域。在之后的填充过程中，扇形701中填充的图像数量不再增加。

图7F示出了利用图7A-图7E中的方法填充的图形的效果图。如图7F所示，示例性地，在企鹅图形中共填入了12张图片。本领域技术人员可以理解，通过将该图形划分成更多的填充区域，可以在图形中填入更多的图片。

图8示出了根据本公开的实施例的用于在给定图形中填充输入图像的装置的示意性框图。其中，所述给定图形被分割为多个区域，并且每个区域被至少一个图像填充。可选地，所述多个区域中的至少一个区域被至少一个图像填充。在一些实施例中，可以通过确定给定图形的中心，并利用以所述中心作为端点的多条射线对所述给定图形进行分割。例如，可以利用均匀或不均匀分布的射线将给定图形分割成多个区域。在一些实施例中，可以通过交错的纵横线对所述给定图像进行分割。例如，可以利用均匀或不均匀分布的纵横线将给定区域分割成多个矩形区域。

如图8所示，装置800可以包括目标填充区域确定单元810、划分单元820、映射单元830以及填充单元840。

目标填充区域确定单元810可以配置成确定用于所述输入图像的目标填充区域，其中所述目标填充区域中填充有至少一个图像。在一些实施例中，如前所述，由于要填充到给定图形的图像数量是不断增加的，因此，当需要在给定图形中填充新的图像时，可以从给定图形中的多个区域中选择一个区域作为用于填充该输入图像的目标填充区域。

在一些实现方式中，可以根据预定的顺序在给定图形中的多个区域中选择一个作为目标填充区域。在另一些实现方式中，也可以根据给定图形中的各区域中填充的图像数量确定用于当前输入图像的目标填充区域。例如，可以从给定图形中的多个区域中选择填充的图像数量最少的区域作为目标填充区域。

划分单元820可以配置成根据目标填充区域中的至少一个图像的数量n，将目标填充区域划分为第一子区域和第二子区域。可以按照多种方式，根据目标填充区域中的至少一个图像的数量n，将目标填充区域划分为第一子区域和第二子区域。

在一些实施例中，划分单元820可以进一步配置成根据目标填充区域中的至少一个图像的数量n确定第一子区域和第二子区域的尺寸，其中第一子区域的尺寸是第二子区域的n倍。如此，第一子区域和第二子区域的尺寸的比例与第一子区域中填充的图像数量(n个图像)和第二子区域中填充的图像数量(1个图像)成正比。例如，上述尺寸可以是长度尺寸，例如，第一子区域在特定方向上的长度尺寸可以是第二子区域在对应方向上的长度尺寸的n倍。上述尺寸也可以是面积尺寸，例如，第一子区域的面积可以是第二子区域在对应方向上的面积的n倍。利用这样的方法，可以实现目标区域中所填充的每个图像的尺寸大致均等，使得填充后的给定图形的视觉效果更好。此外，还可以根据不同的方式对目标填充区域进行划分。然后，可以根据所述确定的尺寸，按照不同的方式对目标填充区域进行划分。本领域技术人员可以根据实际情况设置每一次填充时采用的划分方式。

映射单元830可以配置成以将目标填充区域中的至少一个图像映射到第一子区域。也就是说，当需要在已经填充有图像的目标填充区域中填入新的图像时，可以将原来填充在整个目标填充区域中的图像映射到该区域中的一部分，使得该区域的剩余部分可以用于填充新的图像。

映射单元830可以进一步配置成对所述目标填充区域中的至少一个图像执行处理，然后，将经过处理的所述目标填充区域中的至少一个图像填充到所述第一子区域。

其中，所述处理包括将缩放所述目标填充区域中的至少一个图像以符合第一子区域的尺寸。例如，当第一子区域的形状与目标填充区域的形状相同时(例如都是扇形、三角形或矩形)，可以根据第一子区域与目标填充区域的尺寸比例关系，对目标填充区域中的图像进行缩放，使得原先填充在目标填充区域中的图像适于填充第一子区域。例如，可以将原先填充在目标填充区域中的图像直接缩放为第一子区域的大小。另一方面，当目标填充区域和第一子区域的形状不同时，在步骤S206中，除了对目标填充区域中的图像进行缩放(例如将其缩放为略小于第一子区域)以外，所述处理还可以包括：对缩放后的图像执行拉伸操作，使得拉伸后的图像符合所述第一子区域的形状，从而能够充满第一子区域。可以通过插值操作来进行所述拉伸，例如，可以对缩放后的图像进行插值以改变图像的形状。例如，当目标填充区域的形状是扇形，第一子区域的形状是扇环时，还可以对目标填充区域中的图像进行拉伸等操作，使得缩放后的目标填充区域中的图像符合所述第一子区域的形状。通过上述方法，原先填充目标填充区域的图像被缩放至目标填充区域的一部分(即，第一子区域)，因此，目标填充区域的剩余部分(即第二子区域)可以用于填充新的输入图像。

在一些实施例中，可以预先设置每个区域中填充的图像的最大数量。例如，可以将每个区域中填充的图像的最大数量设置为10。此时可以实现较好的填充图形显示效果。在目标填充区域中已经填充的图像数量达到预定数量的情况下，可以不执行上述步骤，即，不对目标填充区域进行进一步划分。而是从目标填充区域中填充的一个或多个图像中选择一个图像，并将选择的图像所占用的区域作为第二子区域，用于后续的图像填充。在这种情况下，不再增加目标填充区域中的图像数量，而是将已填充的图像替换为新的图像。

填充单元840可以配置成将所述输入图像填充到所述第二子区域。例如，可以对输入图像进行缩放，并根据第二子区域的形状对缩放后的输入图像进行裁剪，并将裁剪后的输入图像填入第二子区域。

在一些实施例中，填充单元840可以进一步配置成确定所述输入图像中包括指定对象的核心区域；根据所述第二子区域的尺寸对所述输入图像进行缩放和裁剪，使得所述核心区域位于所述第二子区域中。

在一种实现方式中，可以预先指定用于确定核心区域的对象。例如，可以设置该对象是人脸、某种动物(如猫、狗等)、植物(花、树等)、家居物品(杯子、酒瓶等)等。例如，可以通过对输入图像执行目标检测算法(如利用训练好的神经网络)并确定输入图像中是否包括目标对象以及当输入图像中包括目标对象时，识别结果是目标对象的概率。当目标检测算法的输出指示输入图像中包括多个目标对象时，在一些示例中，可以选择概率最高的结果作为目标检测的结果。在另一些示例中，当目标检测算法的输出指示输入图像中包括多个目标对象时，也可以确定包括所有可能的目标对象的区域作为核心区域。

在一些实施例中，尽管图中没有示出，装置800还可以包括输入/输出单元。其中输入单元可以配置成接收输入图像。例如，输入单元可以读取本地货远程的数据库中存储的图像作为输入图像。又例如，输入单元可以经由网络接收一个或多个客户端发送的图像作为输入图像。

输出单元可以配置成将填充有多个图像的给定图形输出并进行显示。例如，可以通过显示屏显示输出的填充有多个图像的给定图形。

利用本公开提供的将图像填充到给定图形中的装置，可以对给定图形中各区域的图像信息进行整体处理从而为增加的填充图像腾出必要的空间，而不需要对给定图形中填充的所有图形分别进行缩放以及重排。这样，可以以高效的方式将动态增加的图像填充到给定图形中，在不影响填充效果的情况下提高填充操作的处理速度，节省计算资源。此外，利用本公开提供的技术方案，在将图像填充到给定图形时，可以确定图像的核心区域，并在对图像进行缩放和裁剪时避免损失核心区域中的图像信息。

此外，根据本公开实施例的客户端和/或服务器也可以借助于图9所示的计算设备的架构来实现。图9示出了该计算设备的架构。如图9所示，计算设备900可以包括总线910、一个或多个CPU 920、只读存储器(ROM)930、随机存取存储器(RAM)940、连接到网络的通信端口950、输入/输出组件960、硬盘970等。计算设备900中的存储设备，例如ROM 930或硬盘970可以存储本公开提供的图像处理方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备900还可以包括用户界面980。当然，图9所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图9示出的计算设备中的一个或多个组件。

在本公开提供的实施例中仅以每次填充一个输入图像为例进行说明，然而，本领域技术人员可以理解，利用本公开提供的原理，也可以实现对多个输入图像的填充。例如，利用并行处理的技术，可以通过为每个输入图像分别确定目标填充区域，并在每个填充区域中利用本公开提供的方法增加一个填充图像。又例如，对于选定的一个目标填充区域，可以根据图像数量将其划分为更多的子区域，并在每一个子区域中利用本公开提供的方法填充一个新的输入图像。

本公开的实施例也可以被实现为计算机可读存储介质。根据本公开实施例的计算机可读存储介质上存储有计算机可读指令。当所述计算机可读指令由处理器运行时，可以执行参照以上附图描述的根据本公开实施例的方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。

本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。

此外，如本公开和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

此外，虽然本公开对根据本公开的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的，并且所述系统和方法的不同方面可以使用不同单元。

此外，本公开中使用了流程图用来说明根据本公开的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。

上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (13)

1.一种用于在图形中填充图像的方法，所述方法包括：

确定所述图形中的目标填充区域，其中所述目标填充区域中已填充有至少一个图像；

将所述目标填充区域划分为第一子区域和第二子区域；

将所述目标填充区域中的已填充的图像映射到所述第一子区域；以及

将待填充图像填充到所述第二子区域，

其中，要填充到所述图形的待填充图像的数量不断增加，并且确定所述图形中的目标填充区域包括：对于每个新的待填充图像，在所述图形中的多个区域中选择一个区域作为所述目标填充区域，并且

其中，将待填充图像填充到所述第二子区域包括：

确定所述待填充图像中包括目标对象的核心区域；以及

根据所述第二子区域的尺寸对所述待填充图像进行缩放和裁剪，使得所述核心区域位于所述第二子区域中。

2.根据权利要求1所述的方法，其中，将所述目标填充区域划分为第一子区域和第二子区域包括：

根据所述目标填充区域中已填充图像的数量n确定第一子区域和第二子区域的尺寸，其中所述第一子区域的尺寸是所述第二子区域的n倍。

3.根据权利要求2所述的方法，其中，将所述目标填充区域中的至少一个图像映射到所述第一子区域包括：

根据第一子区域的尺寸，对所述目标填充区域中已填充的图像执行缩放处理；以及

将经过处理的所述目标填充区域中已填充的图像填充到所述第一子区域。

4.根据权利要求3所述的方法，其中，根据第一子区域的尺寸，对所述目标填充区域中已填充的图像执行缩放处理包括：

根据所述目标填充区域的尺寸和所述第一子区域的尺寸的比例关系，对所述目标填充区域中已填充的图像进行缩放。

5.根据权利要求3所述的方法，其中，将所述目标填充区域中的至少一个图像映射到所述第一子区域还包括：根据第一子区域的形状，对缩放后的所述目标填充区域中已填充的图像执行拉伸，使得拉伸后的所述目标填充区域中的至少一个图像符合所述第一子区域的形状。

6.根据权利要求5所述的方法，其中，对缩放后的所述目标填充区域中已填充的图像执行拉伸，使得拉伸后的所述目标填充区域中的至少一个图像符合所述第一子区域的形状包括：

对缩放后的目标填充区域中已填充的图像进行插值以改变缩放后的已填充的图像的形状。

7.根据权利要求1所述的方法，其中，所述核心区域中的目标对象是利用目标检测算法检测到的。

8.根据权利要求1所述的方法，其中所述核心区域的形状是矩形，根据所述第二子区域的尺寸对所述待填充图像进行缩放和裁剪，使得所述核心区域位于所述第二子区域中包括：

对所述待填充图像进行缩放，以及

根据所述第二子区域的尺寸和形状裁剪缩放后的待填充图像，并使得所述核心区域的四个顶点落在所述第二子区域的边界上。

9.根据权利要求1-8任一所述的方法，其中所述第一子区域或第二子区域分别是扇形、三角形或矩形。

10.根据权利要求1所述的方法，其中，当所述目标填充区域中已填充图像的数量大于预设的阈值时，将所述目标填充区域中已填充的一个图像替换为所述待填充图像。

11.一种用于在图形中填充图像的装置，所述装置包括：

目标填充区域确定单元，配置成确定所述图形中的目标填充区域，其中所述目标填充区域中已填充有至少一个图像；

划分单元，配置成将所述目标填充区域划分为第一子区域和第二子区域；

映射单元，配置成将所述目标填充区域中的已填充的图像映射到所述第一子区域；以及

填充单元，配置成将待填充图像填充到所述第二子区域，

其中，要填充到所述图形的待填充图像的数量不断增加，并且所述目标填充区域确定单元还被配置为：对于每个新的待填充图像，在所述图形中的多个区域中选择一个区域作为所述目标填充区域，并且

其中，所述填充单元还被配置为：

确定所述待填充图像中包括目标对象的核心区域；以及

根据所述第二子区域的尺寸对所述待填充图像进行缩放和裁剪，使得所述核心区域位于所述第二子区域中。

12.一种用于在图形中填充图像的设备，所述设备包括至少一个处理器，所述处理器配置成执行根据权利要求1-9任一所述的方法。

13.一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行根据权利要求1-9任一所述的方法。

Images