CN117009564B - 图片处理方法和电子设备 - Google Patents

Abstract

本申请提供了图片处理方法和电子设备。在该方法中，电子设备在基于人脸特征将图片集合划分为N1个相册之后。可以基于图片集合中各图片中除人脸特征以外的主要人物信息确定N1个相册中每一个相册与除该相册以外的其他相册之间的组间相似性。然后，将N1个相册中与目标相册的组间相似性大于组间相似性阈值的相册合并成为一个相册，得到N2个相册，该目标相册为未合并的相册中的一个相册。其中，N1为大于等于2的整数，N2为小于N1的整数。

Description

图片处理方法和电子设备

技术领域

本申请涉及终端及图片领域，尤其涉及图片处理方法和电子设备。

背景技术

通过人物分组功能，电子设备中的图库应用可以按照图片中的人物整理图片，将包括人物的图片划分为多个相册并显示。其中，多个相册中一个相册的所有图片中都包括一个相同的人物（主要人物）。人物分组功能有助于组织和管理大量包括人物的图片，使得用户可以轻松地浏览包括特定主要人物的相册，便于查找含有特定主要人物的图片。

但是由于人物分组功能中所使用对图片（包括人物的）进行分组的算法存在误差，会导致包括同一主要人物的两张图片被分配到不同的相册。

如何提高按照人物对图片进行分组的准确性是值得讨论的。

发明内容

本申请提供了一种图片处理方法和电子设备，可以按照人脸特征以及除人脸特征以外的图片信息对图库中的图片进行分组，得到人物相册，提高了得到人物相册的准确性。

第一方面，本申请提供了一种图片处理方法，该方法包括：基于人脸识别对图库中的图片进行分类得到第一相册以及第二相册，该第一相册以及该第二相册均为人物相册，该第一相册的图片中主要人物的人脸特征被确定为相同，该第二相册的图片中主要人物的人脸特征被确定为相同；该第一相册中主要人物的人脸特征与该第二相册中主要人物的人脸特征被该电子设备确定为不同；电子设备基于第一图片信息确定图库应用中的第一相册和第二相册的相似度大于第一阈值，将第一相册和第二相册合并为第三相册；其中，该第一图片信息是除人脸特征以外的图片信息，至少包括主要人物的衣着特征；响应于打开该图库应用的操作，显示该第三相册。

上述实施例中，可以基于人脸特征对图库中的图片进行分组，得到基于人脸识别的相册。然后，再基于除人脸特征以外的图片信息确定基于人脸识别所得的相册之间的相似度，将相似度高的相册在合并为一个相册。避免将同一主要人物划分到不同的相册中，提高了得到人物相册的准确性。

结合第一方面，在一些实施例中，该方法还包括：该电子设备确定该第一相册和该第二相册的相似度，该第一相册和该第二相册的相似度与第一参数正相关，该第一参数是M3/（M1*M2），该M1为第一相册的图片数量，该M2为该第二相册的图片数量，该M3为第一图片对的数量，该第一图片对由一张第一图片以及一张第二图片构成，该第一图片来自第一相册，该第二图片来自第二相册，该第一图片与该第二图片的相似性大于第二阈值。

上述实施例中，利用两个相册中全部图片之间的相似度计算该两个相册的相似度，可以提高相册间相似度的计算准确性。

结合第一方面，在一些实施例中，该方法还包括：确定该第一图片与该第二图片之间的衣着相似度大于该第二阈值，该电子设备将该第一图片与该第二图片确定为该第一图片对；其中，该衣着相似度是基于拍摄该第一图片以及该第二图片的日期以及该第一图片以及第二图片中主要人物的衣着特征确定的。

上述实施例中，基于衣着相似性确定两个图片之间的相似度，可以简化计算的流程。

结合第一方面，在一些实施例中，该电子设备确定第一图片与该第二图片之间的衣着相似度以及次要人物相似度或者位置相似度中的至少一项的加权平均值大于该第二阈值，将该第一图片与该第二图片确定为该第一图片对；其中，该衣着相似度是基于拍摄该第一图片以及该第二图片的日期以及该第一图片以及第二图片中主要人物的衣着特征确定的；该次要人物相似度是基于该第一图片以及该第二图片中与该主要人物合照的人物进行确定的；该位置相似度是基于拍摄该第一图片以及拍摄该第二图片中的日期以及位置确定的。

上述实施例中，从衣着相似度以及次要人物相似度或者位置相似度中的至少一项来确定两个图片的相似性所用到的维度更多。计算结果更加准确。

结合第一方面，在一些实施例中，该衣着相似度是基于拍摄该第一图片以及该第二图片的日期以及该第一图片以及第二图片中主要人物的衣着特征确定的，具体包括：在拍摄该第一图片的日期以及拍摄该第二图片的日期相同的情况下，该第一图片中主要人物的衣着特征与该第二图片中主要人物的衣着特征相同时，该衣着相似度为第一取值；在拍摄该第一图片的日期以及拍摄该第二图片的日期不相同的情况下，该第一图片中主要人物的衣着特征与该第二图片中主要人物的衣着特征相同时，该衣着相似度为第二取值；其中，该第一取值大于该第二取值。

结合第一方面，在一些实施例中，该位置相似度是基于拍摄该第一图片以及拍摄该第二图片中的日期以及位置确定的，具体包括：在拍摄该第一图片的日期以及拍摄该第二图片的日期相同的情况下，拍摄该第一图片中主要人物的位置与拍摄该第一图片中主要人物的位置为同一常驻位置时，该位置相似度为第三取值，拍摄该第一图片的位置与拍摄该第一图片的位置不为同一常驻位置但是距离小于预设距离时，该位置相似度为第四取值；在拍摄该第一图片的日期以及拍摄该第二图片的日期不相同的情况下，拍摄该第一图片的位置与拍摄该第一图片的位置为同一常驻位置时，该位置相似度为第五取值，拍摄该第一图片的位置与拍摄该第一图片的位置不为同一常驻位置但是距离小于预设距离时，该位置相似度为第六取值；其中，该第三取值大于该第四取值大于该第五取值大于该第六取值。

结合第一方面，在一些实施例中，该次要人物相似度是基于该第一图片以及该第二图片中与该主要人物合照的人物进行确定的，具体包括：该第一图片以及该第二图片中除主要人物以外相同的人物数量所属的范围越大，该合照相似度越大。

结合第一方面，在一些实施例中，该次要人物相似度是基于该第一图片以及该第二图片中与该主要人物合照的人物进行确定的，具体包括：该第一图片以及该第二图片中除第一人物以外相同的人物数量占该第一图片以及该第二图片中总人物数量越大，该合照相似度越大。

结合第一方面，在一些实施例中，该第一相册和该第二相册的相似度与第一参数正相关，具体包括：该第一相册和该第二相册的相似度等于该第一参数。

结合第一方面，在一些实施例中，在该第一图片信息还包括拍摄该第一相册与该第二相册中图片的日期或者位置的情况下，该第一相册和该第二相册的相似度与第一参数正相关，具体包括：该第一相册和该第二相册的相似度等于该第一参数乘以系数；拍摄该第一相册中图片的日期或者位置分布越分散或者拍摄该第二相册中图片的日期或者位置分布越分散，则该系数越大。

上述实施例中，相册中各图片的日期和位置分部越集中，计算结果出现偏差的可能性越大，因此设置一个系数用于弱化该偏差带来的影响。

第二方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该电子设备执行如第一方面中实施的方法。

第三方面，本申请实施例提供了一种计算机可读存储介质，包括指令，当该指令在电子设备上运行时，使得该电子设备执行如第一方面中实施的方法。

第四方面，本申请实施例提供了一种芯片系统，该芯片系统应用于电子设备，该芯片系统包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面实施的方法。

第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当该计算机程序产品在电子设备上运行时，使得该电子设备执行如第一方面实施的方法。

可以理解地，第二方面提供的电子设备、第三方面提供的计算机存储介质、第四方面提供的芯片系统和第五方面提供的计算机程序产品均用于执行本申请实施例所提供的方法。因此，其所能达到其他有益效果可参考对应方法中的有益效果，此处不再赘述。

附图说明

图1示出了一种方案中电子设备基于人脸特征对图片集合进行分组的示例性流程图；

图2示出了电子设备按照人物将图片分组时涉及的一个示例性用户界面；

图3示出了另一种方案中电子设备基于主要人物信息对图片集合进行分组的示意图；

图4示出了电子设备按照人物将图片分组时涉及的另一个示例性用户界面；

图5示出了电子设备对图片集合按照人物进行分组时涉及的示例性软件结构框图；

图6示出了基于人脸特征以及除人脸特征以外的主要人物信息按照人物对图片集合进行分组时，各模块间的示意性交互流程图；

图7示出了获取主要人物信息涉及的示意图；

图8示出了确定图片之间的相似度的示例性流程图；

图9示出了确定相册之间的组间相似性的示例性流程图；

图10示出了对图库中的图片进行分组时涉及的示例性流程图；

图11是本申请实施例提供的电子设备的结构示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在一种方案中，电子设备可以基于图片集合中每一张图片中的人脸特征对图片集合进行分组，将包括同一主要人物的各图片划分为一组。该过程涉及的详细内容可以参考下述对图1中步骤S11-步骤S13的描述。

S11.电子设备对图片集合中的各图片进行人脸检测。

电子设备可以使用人脸检测算法对图片集合中的每一张图片都进行人脸检测，检测出图片集合中各图片中的人脸。同时得到人脸与图片的对应关系。一张图片可以对应至少一个人脸。

S12.电子设备基于各人脸提取人脸特征。

对检测到的每一个人脸提取人脸特征。该人脸特征可以使用特征向量（后文中可以称为人脸特征向量）进行表示。

S13.电子设备基于各人脸特征聚类分组，得到N1个相册。

电子设备可以通过计算表示人脸特征的特征向量之间的相似度，确定相似的人脸属于同一人物。并且使用聚类算法，将相似的人脸聚类在一起。然后将相似的人脸对应的图片划分为有一组，得到N1个相册。一个相册中每一张图片均包括相同的主要人物。

一个相册中每一张图片中的主要人物是指该相册中各图片中均包括的人物。电子设备可以确定一个相册中各主要人物的人脸特征相同。其中，人脸特征相同也可以理解为人脸特征的相似性大于阈值。

图2示出了电子设备按照人物将图片分组时涉及的一个示例性用户界面。

如图2所示，用户界面41为图库应用提供的一个按照人物将图片分组时涉及的一个示例性用户界面。该用户界面41中可以包括相册411、相册412、相册413以及相册414。各相册中的每一张图片均包括相同的主要人物。

但是前述方案中，受主要人物拍照姿势以及脸部表情等因素影响。同一主要人物的不同人脸在进行特征提取利用特性向量进行表示时会出现偏差。特征向量不准确会导致聚类分组的结果出现误差。例如，将同一人物划分到不同的相册中。如图2所示，相册411与相册412中包括的主要人物相同，但是被划分到了不同的相册中。相册413以及相册414中包括的主要人物也相同，但是也被划分到了不同的相册中。

针对前述将同一主要人物分组至不同相册的问题，电子设备可以补充人脸特征提取模型训练提升人脸特征提取的准确度，得到更精确的表示人脸的特征向量以提升图片分组的准确性。但是该方式成本较高同时具有局限性，人脸特征提取深度可以不同，但是用于训练人脸特征提取模型的样本标注固定，迁移性差，难以训练出准确性高的人脸特征提取模型。或者，用户可以手动通过电子设备将N1个相册中具有相同主要人物的相册合并为一个相册。

在另一种方案中，针对前述将同一主要人物分组至不同相册的问题，提出了一种图片处理方法。如图3所示，在该方法中，电子设备在基于人脸特征将图片集合划分为N1个相册之后。还可以基于图片集合中各图片中除人脸特征以外的主要人物信息确定N1个相册中每一个相册与除该相册以外的其他相册之间的组间相似性。然后，将N1个相册中与目标相册的组间相似性大于组间相似性阈值的相册合并成为一个相册，得到N2个相册，该目标相册为未合并的相册中的一个相册。其中，N1为大于等于2的整数，N2为小于N1的整数。

在一些可能的情况下，图片集合中各图片中除人脸特征以外的主要人物信息至少可以包括主要人物的衣着特征，还可以包括拍摄主要人物时的日期、位置以及与主要人物合照的次要人物标识号中的至少一个或者多个。

这里应该理解的是，两个相册之间的组间相似性用于表示该两个相册包括的主要人物相同的概率。两个相册之间的组间相似性越大，则该两个相册中包括的主要人物为同一个人物的概率越大。这里，在两个相册之间的组间相似性大于组间相似性阈值的情况下，电子设备可以确定两个相册中包括的主要人物为同一个人物。在一些可能的情况下，该组间相似性阈值的取值可以为0.8-1，还可以为其他值，例如0.7等。该组间相似性阈值的取值根据实际需求进行确定，本申请实施例对此不进行限定。参考图3，相册411以及相册412中包括的主要人物相同，则电子设备可以将相册411以及相册412合并得到相册511。相册413以及相册414中包括的主要人物相同，则电子设备可以将相册413以及相册414合并得到相册512。

在一些可能的情况下，可以在图库中实现前述将图片集合划分为N2个相册的方法。图4示出了电子设备按照人物将图片分组时涉及的另一个示例性用户界面。如图4所示，用户界面51为图库应用提供的一个按照人物将图片分组时涉及的一个示例性用户界面。该用户界面51中可以包括相册511以及相册512。各相册中的每一张图片均包括相同的主要人物。不同的相册中包括不同的主要人物。

下面描述电子设备基于人脸特征以及除人脸特征以外的主要人物信息按照人物对图片集合进行分组，得到N2个相册的相关内容。

图5示出了电子设备对图片集合按照人物进行分组时涉及的示例性软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将系统分为四层，从上至下分别为应用程序层，应用程序框架层，运行时（Runtime）和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图5所示，应用程序包可以包括图库、相机（图5中未示出）等应用程序（也可以称为应用）。

在一些可能的情况下，图库应用中可以包括对图片集合按照人物进行分组时涉及的各算法模块。

例如，可以包括人脸检测模块、人脸特征提取模块、人脸特征聚类模块、主要人物信息提取模块、相似度值确定模块、组间相似度确定模块、相册合并模块。

人脸检测模块可以用于识别出图片集合中各图片中的人脸。

人脸特征提取模块可以用于基于人脸进行特征提取，得到表示人脸的特征向量。

人脸特征聚类模块可以基于各人脸特征对图片集合聚类分组，得到N1个相册。

主要人物信息提取模块可以提取图片集合中的各图片中的主要人物信息。

相似度值确定模块可以用于基于主要人物信息分别确定N1个相册中每一个相册中每一张图片与除该相册以外的其他相册中各图片之间的相似度值。

组间相似度确定模块可以用于确定N1个相册中每一个相册与除该相册以外的其他相册之间的组间相似性。

相册合并模块可以用于将N1个相册中与目标相册的组间相似性大于组间相似性阈值的相册合并成为一个相册，得到N2个相册。

这里应该理解的是，对图片集合按照人物进行分组时涉及的各算法模块除了可以设置在图片应用中以外，还可以设置在下述应用程序框架层或者系统库中，本申请实施例对此不作限定。

应用程序框架层为应用程序层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用程序框架层包括一些预先定义的函数。

如图5所示，应用程序框架层可以包括窗口管理器、内容提供器、资源管理器、视图系统等。

核心库包含两部分：一部分是编程语言（例如，jave语言）需要调用的功能函数，另一部分是系统的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的编程文件（例如，jave文件）执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器（surface manager）、三维图形处理库（例如：OpenGL ES）、二维图形引擎（例如：SGL）以及媒体库（Media Libraries）等。

内核层是硬件和软件之间的层。内核层可以包含显示驱动、摄像头驱动以及传感器驱动等。

在一些可能的实现方式中，图库应用在按照人物对图片集合进行分组时，可以调用应用程序框架层、系统库以及内核层中的相关模块共同协作，得到并显示分组结果。例如，图库应用可以调用内核层的显示驱动显示分组结果（例如前述涉及的N2个相册）。

图6示出了电子设备基于人脸特征以及除人脸特征以外的主要人物信息按照人物对图片集合进行分组时，各模块间的示意性交互流程图。

下面结合图5以及图6描述电子设备基于人脸特征以及除人脸特征以外的主要人物信息按照人物对图片集合进行分组，得到N2个相册的过程。对该过程的描述可以参考下述对步骤S21-步骤S29的描述。

S21.人脸检测模块对图片集合中的各图片进行人脸检测。

该图片集合可以看作图库中包括人物的图片。

人脸检测模块可以对图片集合中的每一张图片都进行人脸检测，检测出图片集合中各图片中包括的人脸。同时得到人脸与图片的对应关系。图片集合中的一张图片可以对应至少一个人脸。

S22.人脸特征提取模块基于各人脸提取人脸特征。

人脸特征提取模块对检测到的每一个人脸提取人脸特征，得到各图片中人脸的人脸特征。该人脸特征可以使用特征向量进行表示。

S23.人脸特征聚类模块基于各人脸特征进行匹配，为相同的人脸分配相同的人物ID，不同的人脸分配不同的人物ID。

这里应该理解的是，相同的人脸可以来自不同的图片。人物ID可以包括主要人物的人物ID以及次要人物的人物ID。

其中，一个相册中一张图片中的主要人物是指该相册中各图片中均包括的人物。一张图片中的次要人物为该张图片中除主人物以外的其他人物。

不同图片中次要人物的人物ID可以用于在后续内容中确定不同图片的相似性。关于人物ID的使用可以参考下述对步骤S26的描述，此处暂不赘述。

S24.人脸特征聚类模块基于各主要人物的人脸特征聚类分组，得到N1个相册。

人脸特征聚类模块可以通过计算各人脸特征（主要人物的）的特征向量之间的相似度，确定相似的人脸属于同一人物。并且使用聚类算法将相似的人脸聚类在一起。然后将相似的人脸对应的图片划分为有一组，得到N1个相册。一个相册中每一张图片均包括相同的主要人物。

这里应该理解的是，步骤S21-步骤S24中对次要人物人脸的检测、特征提取以及为人脸分配人物ID的操作是可选的。可以置于主要人物信息中进行执行。基于人脸特征将图片集合划分为N1个相册时，可以利用主要人物的人脸特征完成，该过程可以参考前述对步骤S11-步骤S13的描述。其中，步骤S11可以由人脸检测模块执行、步骤S12可以由人脸特征提取模块执行、步骤S13可以由人脸特征聚类模块执行。

S25.主要人物信息提取模块提取各图片中除人脸特征以外的主要人物信息。

在一些可能的情况下，图片集合中各图片中除人脸特征以外的主要人物信息至少可以包括主要人物的衣着特征，还可以包括拍摄主要人物时的日期、位置以及与主要人物合照的次要人物标识号中的至少一个或者多个。该主要人物信息中还可以包括其他的内容，例如可以包括拍摄主要人物的位置是否与电子设备的常驻位置相同。

一张图片对应的拍摄主要人物的位置可以使用经纬度表示。也可以为一个具体的地点，例如XX市XX小区等，本申请实施例对此不作限定。参考图7，对于一张图片，主要人物信息提取模块可以从一张图片的图片信息中获取拍摄该张图片中主要人物时的位置。

一张图片对应的拍摄主要人物的位置可以用于确定拍摄该张图片中的主要人物时在常驻位置或者不在常驻位置。参考图7，主要人物信息提取模块可以基于电子设备的预设亮灭屏时间以及亮灭屏时对应的位置、连接的wifi等信息聚类生成电子设备对应的常驻位置画像。然后基于常驻位置画像以及拍摄主要人物时的位置确定拍摄该张图片中的主要人物时在常驻位置或者不在常驻位置。

其中，基于预设亮灭屏时间以及亮灭屏时对应的位置、连接的wifi等信息聚类生成电子设备对应的常驻位置画像的过程包括：主要人物信息提取模块在预设亮屏时间内获取该时间内电子设备的位置，以及该时间内电子设备连接的wifi。得到电子设备连接的wifi以及连接该wifi时对应的位置，将相同wifi对应的位置聚类成为一组，确定一个电子设备的常驻位置。该常驻位置可以用相同wifi对应的一组位置的均值进行画像。一个电子设备的常驻位置可以指示用户的家或者用户的公司等位置。预设亮灭屏时间可以包括休息时间（例如夜间10:00之后-早上8：00之间的时间）或者工作时间（上午10:00-上午11:00之间的时间）等。这里应该理解的时，一个电子设备可以具有至少一个常驻位置。

其中，一张图片对应的拍摄主要人物的日期可以从该张图片拍摄时的时间戳中确定，主要人物信息提取模块可以从图片信息中获取该张图片的时间戳。日期的粒度可以根据实际需求进行设置。例如，日期的粒度可以是天，用于表示该张图片中的主要人物是哪天拍摄的。再例如，日期的粒度可以是天结合小时，用于表示该张图片中的主要人物是哪天哪时拍摄的。下文中以日期的粒度是天为例进行说明，其他粒度可以参考该部分内容，此处不再赘述。

参考图7，主要人物信息提取模块还可以识别图片中主要人物的人体，在人体中的部分或全部区域中提取衣着特征，该衣着特征仍然可以表示为特征向量（后文中可以称为衣着特征向量）。其中，该人体中的部分或全部区域可以被称为感兴趣区域（region ofinterest，ROI）。

参考图7，主要人物信息提取模块还可以记录图片中与主要人物合照的次要人物的人物ID作为主要人物信息中的一个指标。在前述步骤S12-步骤S13执行的情况下，主要人物信息提取模块可以接收人脸特征模块发送的各图片对应的人物ID，得到各图片中主要人物对应的人物ID。在前述步骤S12-步骤S13未执行的情况下，该主要人物信息提取模块可以执行下述操作确定图片中与主要人物合照的次要人物的人物ID：在图片集合的各图片中检测次要人物的人脸。基于各次要人物的人脸提取人脸特征。再基于各次要人物的人脸特征进行匹配，为相同的人脸分配相同的人物ID，不同的人脸分配不同的人物ID，得到各图片中与主要人物合照的次要人物的人物ID。

S26.相似度值确定模块基于主要人物信息分别确定N1个相册中每一个相册中每一张图片与除该相册以外的其他相册中各图片之间的相似度值。

基于步骤S26中确定一个相册中每一张图片与另一个相册中各图片之间的相似度，可以用于进一步在步骤S27中确定两个相册的组间相似性。

其中，两个图片的相似度值可以表示为0或者1，为0则表示两个图片不相似，为1则表示两个图片相似。

下面以确定相册1中每一张图片与相册2中各图片之间的相似度为例进行举例说明。其他相册中各图片之间的相似度确定过程可以参考相关描述，此处不再赘述。

这里将相册1中的一张图片记为图片1，相册2中的图片记为图片2。图片1以及图片2之间的主要人物信息相似度越高，则图片1与图片2相似的概率越大。在图片1以及图片2之间的主要人物信息相似度大于预设阈值时，可以确定图片1与图片2相似。

在一些可能的实现方式中，确定图片1以及图片2的相似度的过程可以参考对下述图8中步骤S101-步骤S110的描述。

S101.获取图片1以及图片2除人脸特征以外的主要人物信息，该主要人物信息至少包括主要人物的衣着特征，还可以包括拍摄主要人物时的日期、位置以及与主要人物合照的次要人物标识号中的至少一个或者多个。

关于确定图片中除人脸特征以外的主要人物信息的过程的相关步骤可以参考前述步骤S25的描述。这里相似度值确定模块可以基于主要人物信息提取模块获取图片1以及图片2除人脸特征以外的主要人物信息。

这里以主要人物信息包括拍摄主要人物时的日期、位置、主要人物的衣着特征以及与主要人物合照的次要人物标识号为例进行说明，其他情况可以参考相关描述，不再赘述。

S102a.确定拍摄主要人物的位置是否为同一常驻位置。

确定拍摄图片1中主要人物的位置与电子设备的常驻位置进行比较。确定拍摄图片1中主要人物的位置为常驻位置1，或者确定拍摄图片1中主要人物的位置不为常驻位置。拍摄图片1中主要人物的位置为常驻位置1包括：拍摄图片1中主要人物的位置与常驻位置1之间的欧式距离小于或者等于预设位置阈值，该预设位置阈值为大于或者等于0的值。

确定拍摄图片2中主要人物的位置与电子设备的常驻位置进行比较。确定拍摄图片2中主要人物的位置为常驻位置2，或者确定拍摄图片2中主要人物的位置不为常驻位置。拍摄图片2中主要人物的位置为常驻位置2包括：拍摄图片2中主要人物的位置与常驻位置2之间的欧式距离小于或者等于预设位置阈值。

在常驻位置1与常驻位置2相同的情况下，可以确定拍摄主要人物的位置为同一常驻位置。在常驻位置1与常驻位置2不相同，或者图片1以及图片2中存在拍摄主要人物的位置不为常驻位置的情况下，可以确定拍摄主要人物的位置不为同一常驻位置。

在确定拍摄主要人物的位置为同一常驻位置的情况下，执行下述步骤S103a以及步骤S104a确定图片1以及图片2之间的位置相似度。

在确定拍摄主要人物的位置不为同一常驻位置的情况下，执行下述步骤S105a-步骤S108a确定图片1以及图片2之间的位置相似度。

S103a.确定拍摄主要人物的日期相同或者不同。

S104a.确定日期相同且为同一常驻位置，位置相似度为0.7；确定日期不同但为同一常驻位置，位置相似度为0.4。

S105a.确定拍摄主要人物的位置之间的欧式距离是否小于预设距离。

确定拍摄图片1中主要人物的位置与拍摄图片2中主要人物的位置之间的欧式距离（拍摄主要人物的位置之间的欧式距离）。

该预设距离可以取值为1km-1.5km等，例如1.5km。该预设距离的取值可以根据实际情况进行调整，本申请实施例对此不作限定。

在拍摄主要人物的位置之间的欧式距离小于预设距离的情况下，执行下述步骤S106a以及步骤S107a确定图片1以及图片2之间的位置相似度。

在拍摄主要人物的位置之间的欧式距离大于或者等于预设距离的情况下，执行下述步骤S108a确定图片1以及图片2之间的位置相似度为0。

S106a.确定拍摄主要人物的日期相同或者不同。

S107a.日期相同且为同一区域，确定位置相似度为0.5；日期不同但为同一区域，确定位置相似度为0.2。

这里应该理解的是，区域指定了一个比位置更广的范围。因此在日期表现一致的情况下，图片1以及图片2中拍摄主要人物的位置属于同一区域时的位置相似度小于为同一常驻位置的相似度。

还应该理解的是，这里的0.7、0.4、0.5以及0.2均为举例说明实际情况下中可以为其他的值，例如分别还可以为0.8、0.5、0.6以及0.3。本申请实施例对此不作限定。只要满足在日期表现一致的情况下，图片1以及图片2中拍摄主要人物的位置属于同一区域时的位置相似度小于为同一常驻位置的相似度即可。

S108a.确定不为同一区域，位置相似度取值为0。

S102b.确定主要人物的衣着特征的相似度是否大于阈值1。

确定图片1中主要人物的衣着特征向量与图片2中主要人物的衣着特征向量之间的相似度（例如两个向量间的余弦相似度等）作为主要人物的衣着特征的相似度。

在衣着特征的相似度大于阈值1的情况下，执行下述步骤S103b以及步骤S104b确定图片1以及图片2之间的衣着相似度。

在衣着特征的相似度小于或者等于阈值1的情况下，执行下述步骤S105b确定图片1以及图片2之间的衣着相似度为0。

S103b.确定拍摄主要人物的日期相同或者不同。

S104b.日期相同且为相同衣着特征，确定衣着相似度取值为1；日期不同但为相同衣着特征，确定衣着相似度取值为0.7。

这里应该理解的是，步骤S104b中涉及的1与0.7只是举例说明，实际情况中可以为不同的值，例如分别可以为1与0.8。只要满足日期相同且为相同衣着特征时的衣着相似度大于日期不同但为相同衣着特征时的衣着特征即可。本申请实施例对此不作限定。

S105b.确定衣着相似度取值为0。

S102c.确定与主要人物合照具有相同标识号的次要人物数量。

S103c.数量为0时，确定次要人物相似度为0；数量为1-3时，确定次要人物相似度为0.5；数量为4-5时，确定次要人物相似度为0.7；数量为6-10时，确定次要人物相似度为0.8；数量大于10时，确定次要人物相似度为1 。

这里需要说明的是，数量为1-3、4-5、6-10以及大于10均为举例说明。以及0.5、0.7、0.8、1均为举例说明，实际可以为其他的值，例如分别可以为0.6、0.8、0.9以及1等。本申请实施例对此不作限定。只要满足与主要人物合照具有相同标识号的次要人物数量越多或者所在范围（例如1-3是一个范围）越大，则图片1与图片2的人物相似度越高即可。

该步骤S103C是可选的，在一些可能的情况下，还可以计算与主要人物合照具有相同标识号的次要人物数量和与图片1以及图片2中总人数的比值，该比值越大图片1与图片2的人物相似度越高。

S109.基于位置相似度、衣着相似度、次要人物相似度进行加权平均之后得到图片1以及图片2之间的主要人物信息相似度。

这里记位置相似度为x1、衣着相似度为x2、次要人物相似度为x3。对位置相似度、衣着相似度、次要人物相似度进行加权平均的过程可以参考下述公式（1）。

公式（1）中，k取值为3。xi表示第i个相似度，fi表示第i个相似度的权重。表示主要人物信息相似度。

这里应该理解的是，前述内容中是以位置相似度、衣着相似度以及次要人物相似度这三个维度共同确定主要人物信息相似度的。实际情况中还可以包括更多或者更少的维度，例如还可以包括拍摄图片1以及图片2中主要人物的位置是否在同一常驻位置这个维度。如果是同一常驻位置，则该维度的相似度（常驻位置相似度）为1，如果不是同一常驻位置，则该维度的相似度（常驻位置相似度）为0。

基于上述各维度计算图片1以及图片2之间的主要人物信息相似度的示例可以参考下述表1中的内容。

表1

其中，表1中图片1以及图片2中除人脸特征以外的主要人物信息可以参考下述表2所示。

表2

S110.主要人物信息相似度大于阈值2时，图片1以及图片2之间的相似度值为1；主要人物信息相似度小于阈值2时，图片1以及图片2之间的相似度值为0。

该阈值2可以设置为0.6-1之间，例如0.6。也可以根据实际情况设置为其他的值，本申请实施例对此不作限定。

S27.组间相似度确定模块分别确定N1个相册中每一个相册与除该相册以外的其他相册之间的组间相似性。

这里以确定相册1以及相册2的组间相似度为例进行说明。其他相册之间的组间相似度的确定过程可以参考相关内容，此处不再赘述。

关于确定相册1以及相册2的组间相似度的过程可以参考图9中示出的步骤S201-步骤S203。

S201.确定相册1中每一张图片与相册2中各图片之间的主要人物信息是否相似，得到M1*M2个相似度值；其中，M1表示相册1中有M1张图片，M2表示相册2中有M2张图片。

组间相似度确定模块可以基于相似度值确定模块获取相册1中每一张图片与相册2中各图片之间的主要人物信息是否相似。相册1中一张图片与图片2中一张图片的主要人物信息相似度可以参考前述步骤S26中的内容。

该M1*M2个相似度值可以参考下述表3。

表3

表3中，image11-image1M1表示相册1中的M1张图片，image21-image2M2表示相册1中的M2张图片。

S202.确定M1*M2个相似度值中为1的相似度值占M1*M2个相似度值的比例。

确定M1*M2个相似度值中为1的相似度值数量M3。确定M1*M2个相似度值中为1的相似度值占M1*M2个相似度值的比例记为M3/（M1*M2）。

这里应该理解的是，M1*M2表示相册1与相册2中一共包括M1*M2个图像对。M3表示M1*M2个图像对中相似的图像对。其中，该相似的图像对也可以被称为第一图像对。

S203.基于该比例确定相册1与相册2的组间相似性。

在一些实施例中，可以将该比例作为相册1与相册2的组间相似性。

在另一些实施例中，可以将该比例乘以系数作为相册1与相册2的组间相似性。该系数的值取决于相册1中图片间的部分或者全部主要人物信息（例如图片间拍摄主要人物时的日期或者位置）分布是否分散，以及相册2中图片间的部分或者全部主要人物信息（例如图片间拍摄主要人物时的日期或者位置）分布是否分散。该系数可以等于相册1中各图片的主要人物信息分布分散度乘以相册2中各图片的主要人物信息分布分散度。其中，相册1中主要人物信息分布分散度可以表示为相册1中图片间拍摄主要人物时的日期的距离之和加上相册1中图片间拍摄主要人物时的位置的距离之和。相册2中主要人物信息分布分散度可以表示为相册2中图片间拍摄主要人物时的日期的距离之和加上相册2中图片间拍摄主要人物时的位置的距离之和。

应该理解的是，一个相册的主要人物信息分布分散度越高则该组相册中的各图片的拍摄时间、位置等是同一天同一位置的概率越小。则基于该相册中各图片确定的组间相似性可信度越高。

S28.相册合并模块将N1个相册中与目标相册的组间相似性大于组间相似性阈值的相册合并成为一个相册，得到N2个相册。

该目标相册为未合并的相册中的一个相册。

相册合并模块随机选择N1个相册中的一个相册作为目标相册。将N1个相册中除该目标相册的其他相册中与目标相册的组间相似性大于组间相似性阈值的相册合并成为一个相册。再从未合并相册中随机选择一个相册作为目标相册，将未合并相册中除该目标相册的其他相册中与目标相册的组间相似性大于组间相似性阈值的相册合并成为一个相册。直到未合并的相册之间的组间相似性小于或者等于组间相似性阈值，或者，不存在未合并的相册。

S29.相册管理模块显示N2个相册。

相册合并模块向N2个相册发送至相册管理模块，然后相册管理模块显示N2个相册。其中，N2小于N1。

图10示出了电子设备对图库中的图片进行分组时涉及的示例性流程图。

关于该过程的详细内容可以参考下述对步骤S31-步骤S33的描述。

S31.电子设备基于人脸识别对图库（图库应用）中的图片进行分类得到相册11以及相册12。

这里的相册11也可以被称为第一相册，相册12也可以被称为第二相册。该相册11也可以理解为前述涉及的相册1，该相册12也可以理解为前述涉及的相册2。该相册11以及相册12为电子设备基于人脸识别对图库中的图片进行分类得到的相册。相册11以及相册12均为人物相册，相册11的图片中主要人物的人脸特征被电子设备确定为相同，相册12的图片中主要人物的人脸特征被电子设备确定为相同；相册11中主要人物的人脸特征与相册12中主要人物的人脸特征被电子设备确定为不同。

这里应该理解的是，人脸特征被电子设备确定为相同也可以理解为电子设备确定人脸特征的相似性大于一个阈值。人脸特征被电子设备确定为不同也可以理解为电子设备确定人脸特征的相似性小于一个阈值。

其中，电子设备基于人脸识别对图库中的图片进行分类得到相册的过程可以参考前述电子设备基于图片集合得到N1个相册的相关描述。该图片集合可以理解为步骤S31中涉及的图库应用中的图片，此处对于该过程不再赘述。

S32.电子设备基于图片信息1确定相册11以及相册12之间的相似度。

该图片信息1也可以被称为第一图片信息。

图片信息1可以为前述涉及的图片中除人脸特征以外的主要人物信息。该图片信息1至少可以包括主要人物的衣着特征。还可以包括拍摄图片中主要人物时的日期、位置以及与主要人物合照的次要人物标识号中的至少一个或者多个。

其中，拍摄图片中主要人物时的日期也可以看作拍摄图片的日期；拍摄图片中主要人物时的位置也可以看作拍摄图片的位置。

电子设备确定相册11和相册12的相似度，相册11和相册12的相似度与参数1正相关，参数1是前述涉及的M3/（M1*M2），M1为相册11的图片数量，M2为相册12的图片数量，M3为第一图片对的数量，第一图片对由一张图片11以及一张图片12构成，图片11来自相册11，图片12来自相册12，图片11与图片12的相似性大于第二阈值。

其中，相册11和相册12的相似度与参数1正相关，包括：相册11和相册12的相似度等于参数1。或者，包括：相册11和相册12的相似度等于参数1乘以系数。拍摄相册11中图片的日期或者位置分布越分散或者拍摄相册12中图片的日期或者位置分布越分散，则系数越大。

其中，图片11可以看作前述涉及的图片1，图片12可以看作前述涉及的图片2。第二阈值可以看作前述涉及的阈值2。

在一些可能的情况中，图片11以及图片12的相似度还可以表示为：图片11以及图片12之间的衣着相似度，或者，图片11以及图片12的相似度还可以表示为：图片11以及图片12之间的衣着相似度以及次要人物相似度或者位置相似度中的至少一项的加权平均值。例如，基于前述内容的描述，图片11以及图片12的相似度可以是基于衣着相似度、位置相似度以及次要人物相似度进行加权平均之后得到的。再例如，图片11以及图片12的相似度还可以是基于衣着相似度、位置相似度进行加权平均之后得到的。

基于图片信息1确定相册11以及相册12之间的相似度的过程可以参考前述确定相册1以及相册2之间的组间相似性的过程，此处不再赘述。

S33.电子设备在相册11以及相册12之间的相似度大于相似度阈值1时，将相册11以及相册12合并为相册13。

该相册13也可以被称为第三相册。

阈值1也可以被称为第一阈值。

相似度阈值1可以看作前述涉及的组间相似性阈值。

响应于打开所述图库应用的操作，电子设备可以显示该第三相册。

下面介绍本申请实施例提供的示例性电子设备。

图11是本申请实施例提供的电子设备的结构示意图。

下面以电子设备为例对实施例进行具体说明。应该理解的是，电子设备可以具有比图11中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图11中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

电子设备可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本申请实施例中，该处理器110可以调用内部存储器121中存储的计算机指令，以使得电子设备执行本申请实施例中的图片处理方法。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到（所陈述的条件或事件）”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到（所陈述的条件或事件）时”或“响应于检测到（所陈述的条件或事件）”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质（例如固态硬盘）等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (9)

1.一种图片处理方法，其特征在于，所述方法包括：

基于人脸识别对图库应用中的图片进行分类得到第一相册以及第二相册，所述第一相册以及所述第二相册均为人物相册，所述第一相册的图片中主要人物的人脸特征被电子设备确定为相同，所述第二相册的图片中主要人物的人脸特征被所述电子设备确定为相同；所述第一相册中主要人物的人脸特征与所述第二相册中主要人物的人脸特征被所述电子设备确定为不同；

所述电子设备基于第一图片信息确定所述第一相册和所述第二相册的相似度大于第一阈值，将所述第一相册和所述第二相册合并为第三相册；其中，所述第一图片信息是除人脸特征以外的图片信息，所述第一图片信息包括主要人物的衣着特征、拍摄图片的日期以及位置的情况下，所述第一相册和所述第二相册的相似度等于第一参数乘以系数，拍摄所述第一相册中图片的日期或者位置分布越分散或者拍摄所述第二相册中图片的日期或者位置分布越分散，则所述系数越大；其中，所述第一参数等于相似图片对占所述第一相册和第二相册中全部图片对的比例，一个图片对中包括一张第一相册中的第一图片和一张第二相册中的第二图片；所述第一图片与所述第二图片之间的衣着相似度以及位置相似度的加权平均值大于第二阈值，则所述第一图片与所述第二图片构成的图片对为所述相似图片对；

其中，所述衣着相似度的确定包括：在所述第一图片中主要人物的衣着特征与所述第二图片中主要人物的衣着特征不相同时，所述衣着相似度为0；在拍摄所述第一图片的日期以及拍摄所述第二图片的日期相同的情况下，所述第一图片中主要人物的衣着特征与所述第二图片中主要人物的衣着特征相同时，所述衣着相似度为第一取值；在拍摄所述第一图片的日期以及拍摄所述第二图片的日期不相同的情况下，所述第一图片中主要人物的衣着特征与所述第二图片中主要人物的衣着特征相同时，所述衣着相似度为第二取值；其中，所述第一取值大于所述第二取值；

所述位置相似度的确定包括：拍摄所述第一图片的位置与拍摄所述第二图片的位置不为同一常驻位置但是距离大于预设距离的情况下，所述位置相似度等于0；在拍摄所述第一图片的日期以及拍摄所述第二图片的日期相同的情况下，拍摄所述第一图片的位置与拍摄所述第二图片的位置为同一常驻位置时，所述位置相似度为第三取值，拍摄所述第一图片的位置与拍摄所述第二图片的位置不为同一常驻位置但是距离小于预设距离时，所述位置相似度为第四取值；在拍摄所述第一图片的日期以及拍摄所述第二图片的日期不相同的情况下，拍摄所述第一图片的位置与拍摄所述第二图片的位置为同一常驻位置时，所述位置相似度为第五取值，拍摄所述第一图片的位置与拍摄所述第二图片的位置不为同一常驻位置但是距离小于预设距离时，所述位置相似度为第六取值；其中，所述第三取值大于所述第四取值大于所述第五取值大于所述第六取值；

响应于打开所述图库应用的操作，显示所述第三相册。

2.根据权利要求1所述的方法，其特征在于，所述第一图片信息包括主要人物的衣着特征、拍摄图片的日期以及位置的情况下，还包括次要人物相似度时，所述第一相册和所述第二相册的相似度与所述第一参数正相关，所述第一图片与所述第二图片之间的衣着相似度、次要人物相似度以及位置相似度中的加权平均值大于所述第二阈值，则所述第一图片与所述第二图片构成的图片对为所述相似图片对；

其中，所述次要人物相似度是基于所述第一图片以及所述第二图片中与主要人物合照的人物进行确定的。

3.根据权利要求2所述的方法，其特征在于，所述次要人物相似度是基于所述第一图片以及所述第二图片中与主要人物合照的人物进行确定的，具体包括：

所述第一图片以及所述第二图片中除主要人物以外相同的人物数量所属的范围越大，所述合照相似度越大。

4.根据权利要求2所述的方法，其特征在于，所述次要人物相似度是基于所述第一图片以及所述第二图片中与所述主要人物合照的人物进行确定的，具体包括：

所述第一图片以及所述第二图片中除第一人物以外相同的人物数量占所述第一图片以及所述第二图片中总人物数量越大，所述合照相似度越大。

5.根据权利要求2-4中任一项所述的方法，其特征在于，所述第一相册和所述第二相册的相似度与第一参数正相关，具体包括：

所述第一相册和所述第二相册的相似度等于所述第一参数。

6.根据权利要求2-4中任一项所述的方法，其特征在于，所述第一相册和所述第二相册的相似度与第一参数正相关，具体包括：

所述第一相册和所述第二相册的相似度等于所述第一参数乘以所述系数。

7.一种电子设备，其特征在于，包括：一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1-6中任一项所述的方法。

8.一种计算机可读存储介质，包括计算机指令，其特征在于，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-6中任一项所述的方法。

9.一种芯片系统，所述芯片系统应用于电子设备，其特征在于，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1-6中任一项所述的方法。