CN112613492B - 一种数据处理方法及装置 - Google Patents

Abstract

本发明提供了一种数据处理方法及装置。数据处理方法包括：获取第一训练数据集，通过抠除第一训练图像中人物区域得到的背景图像作为第二训练图像；训练第一分类模型，使其识别人物照和非人物照；对人物照训练数据分集，训练第二分类模型，使其识别单人照、小合照和集体照；基于拍摄信息和人脸标记结果对每个子集内分组，使同一组各图像拍摄信息满足第一预定条件，且同一组各图像的人脸标记结果满足第二预定条件；根据人脸清晰度，在单人照子集、小合照子集或集体照子集中选取保留图像，以基于背景相似度选取待删除图像供用户确定；根据图像清晰度在非人物照子集中选取保留图像，以基于图像相似度选取待删除图像供用户确定。

Description

一种数据处理方法及装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种数据处理方法及装置。

背景技术

现在，智能设备在人们的日常生活中随处可见，人们利用智能设备能够随时随时通讯、运动以及拍照等。智能设备具有一定的存储空间，除此之外，能够通过4G或5G网络访问互联网，将设备上的数据部分或全部存储或上传至互联网存储媒介。

然而，无论是设备本地的存储空间，亦或是网络存储空间，空间都是有限的，当存储空间所剩无几时需要删除一些用处不大的数据，例如重复数据等。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不意图确定本发明的关键或重要部分，也不意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明提供了一种数据处理方法及装置，以解决现有技术的上述问题。

本发明提供了一种数据处理方法，所述数据处理方法包括：获取第一训练数据集；所述第一训练数据集包括多个包含人物的第一训练图像，每个第一训练图像的标签为人物照标签；针对所述第一训练数据集中的每个第一训练图像，将该第一训练图像包含的人物区域抠除，获得该第一训练图像的背景图像，将该背景图像作为该第一训练图像对应的第二训练图像；利用获得的所有第二训练图像构成第二训练数据集；利用所述第一训练数据集和所述第二训练数据集训练第一分类模型，其中，所述第二训练数据集包括多个第二训练图像，每个第二训练图像的标签为非人物照标签；对所述第一训练数据集中的每个第一训练图像中的人脸进行标记；若该第一训练图像中标记的人脸个数为1，则将该第一训练图像的当前标签更新为单人照标签；若该第一训练图像中标记的人脸个数为2或3，则将该第一训练图像的当前标签更新为小合照标签；若该第一训练图像中标记的人脸个数大于或等于4，则将该第一训练图像的当前标签更新为集体照标签；利用所述第一训练数据集及其中各第一训练图像的当前标签训练第二分类模型；获得待处理图像集以及所述待处理图像集中每个图像对应的拍摄信息，所述拍摄信息至少包括拍摄时间和拍摄地点；通过所述第一分类模型对所述待处理图像集进行分类，得到人物照和非人物照两类；通过所述第二分类模型对所述待处理图像集中的所有人物照继续分类，得到单人照、小合照以及集体照三类；基于所述第一分类模型和所述第二分类模型的分类结果，将所述待处理图像集分为四个子集，该四个子集包括单人照子集、小合照子集、集体照子集和非人物照子集；针对所述四个子集中的每一子集，基于拍摄信息和人脸标记结果对该子集进行分组，得到该子集对应的多个组，使得分组后的同一组中各图像的拍摄信息满足第一预定条件，且同一组中各图像的人脸标记结果满足第二预定条件；针对所述单人照子集、小合照子集或集体照子集中每个子集的每个组，确定该组中每个图像中的人脸区域，计算该组每个图像的人脸区域中各个人脸清晰度，并将每个图像对应的最低的人脸清晰度作为该图像的人脸区域清晰度，在该组中基于人脸区域清晰度选择至少一个保留图像；在所述单人照子集、小合照子集或集体照子集中每个子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像对应的背景图像与该组任一保留图像对应的背景图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像；针对所述非人物照子集的每个组，在该组中基于图像清晰度选择至少一个保留图像；在所述非人物照子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像与该组任一保留图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像；将每个子集的每个组的待删除图像以缩略图形式展示给用户，以根据用户选择来确定是否删除对应的待删除图像。

进一步地，使得分组后的同一组中的图像的拍摄信息满足第一预定条件的步骤包括：使得分组后的同一组中的各图像之间的拍摄时间相差不超过预定时间，且拍摄地点相差不超过预定距离。

进一步地，所述拍摄信息还包括相机信息。

进一步地，使得分组后的同一组中的图像的拍摄信息满足第一预定条件的步骤包括：使得分组后的同一组中的各图像之间的拍摄时间相差不超过预定时间，拍摄地点相差不超过预定距离，且相机信息完全一致。

进一步地，所述的同一组中各图像的人脸标记结果满足第二预定条件包括：使得分组后的同一组中任两个图像的人脸标记结果完全相同。

进一步地，所述的同一组中各图像的人脸标记结果满足第二预定条件包括：使得分组后的同一组中任两个图像的人脸标记结果之差别小于预定范围。

进一步地，所述的将该第一训练图像包含的人物区域抠除，获得该第一训练图像的背景图像的步骤包括：将该第一训练图像包含的人物区域抠除后，得到第一局部背景图像；采用图像修复方法恢复与该第一训练图像抠除区域对应的背景部分，作为第二局部背景图像；通过对所述第一局部背景图像和所述第二局部背景图像进行拼接，获得该第一训练图像的背景图像。

进一步地，所述单人照子集、小合照子集或集体照子集中每个子集的每个组的每个图像所对应的背景图像通过如下方式获得：将该图像包含的人物区域抠除后，得到第三局部背景图像；采用图像修复方法恢复与该图像抠除区域对应的背景部分，作为第四局部背景图像；通过对所述第三局部背景图像和所述第四局部背景图像进行拼接，获得该图像的背景图像。

进一步地，所述第一训练数据集包括多个训练数据分组，同一个训练数据分组内的图像为针对同一景点或同一场所的人物照，每个训练数据分组中的人物照包括单人照子组、双人或三人照子组以及多人照子组；所述单人照子组中包括多个不同人物的单人照以及相同人物的不同单人照；所述双人或三人照子组中包括多个双人照以及多个三人照，其中，所述多个双人照以及多个三人照之中包括多个第一图像对、多个第二图像对以及多个第三图像对；其中，所述第一图像对是指：该图像对中的一个图像中包含的人物与另一个图像中包含的人物完全相同；在所述多个双人照以及多个三人照之中，既包括人物位置关系相同的第一图像对，也包括人物位置关系不同的第一图像对；所述第二图像对是指：该图像对中的一个图像中包含的人物与另一个图像中所包含的人物部分相同；在多个所述第二图像对中，既包括站位部分相同的第二图像对，也包括站位完全不同的第二图像对；所述第三图像对是指：该图像对中的一个图像中包含的人物与另一个图像中所包含的人物完全不同。

本发明还提供了一种数据处理装置，所述数据处理装置包括：第一训练数据获取单元，用于获取第一训练数据集；所述第一训练数据集包括多个包含人物的第一训练图像，每个第一训练图像的标签为人物照标签；第二训练数据获取单元，用于针对所述第一训练数据集中的每个第一训练图像，将该第一训练图像包含的人物区域抠除，获得该第一训练图像的背景图像，将该背景图像作为该第一训练图像对应的第二训练图像；利用获得的所有第二训练图像构成第二训练数据集；第一训练单元，用于利用所述第一训练数据集和所述第二训练数据集训练第一分类模型，其中，所述第二训练数据集包括多个第二训练图像，每个第二训练图像的标签为非人物照标签；标签更新单元，用于对所述第一训练数据集中的每个第一训练图像中的人脸进行标记；若该第一训练图像中标记的人脸个数为1，则将该第一训练图像的当前标签更新为单人照标签；若该第一训练图像中标记的人脸个数为2或3，则将该第一训练图像的当前标签更新为小合照标签；若该第一训练图像中标记的人脸个数大于或等于4，则将该第一训练图像的当前标签更新为集体照标签；第二训练单元，用于利用所述第一训练数据集及其中各第一训练图像的当前标签训练第二分类模型；信息获取单元，用于获得待处理图像集以及所述待处理图像集中每个图像对应的拍摄信息，所述拍摄信息至少包括拍摄时间和拍摄地点；第一分类单元，用于通过所述第一分类模型对所述待处理图像集进行分类，得到人物照和非人物照两类；第二分类单元，用于通过所述第二分类模型对所述待处理图像集中的所有人物照继续分类，得到单人照、小合照以及集体照三类；图像分集单元，用于基于所述第一分类模型和所述第二分类模型的分类结果，将所述待处理图像集分为四个子集，该四个子集包括单人照子集、小合照子集、集体照子集和非人物照子集；分组单元，用于针对所述四个子集中的每一子集，基于拍摄信息和人脸标记结果对该子集进行分组，得到该子集对应的多个组，使得分组后的同一组中各图像的拍摄信息满足第一预定条件，且同一组中各图像的人脸标记结果满足第二预定条件；第一筛选单元，用于针对所述单人照子集、小合照子集或集体照子集中每个子集的每个组，确定该组中每个图像中的人脸区域，计算该组每个图像的人脸区域中各个人脸清晰度，并将每个图像对应的最低的人脸清晰度作为该图像的人脸区域清晰度，在该组中基于人脸区域清晰度选择至少一个保留图像；第一确定单元，用于在所述单人照子集、小合照子集或集体照子集中每个子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像对应的背景图像与该组任一保留图像对应的背景图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像；第二筛选单元，用于针对所述非人物照子集的每个组，在该组中基于图像清晰度选择至少一个保留图像；第二确定单元，用于在所述非人物照子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像与该组任一保留图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像；交互单元，用于将每个子集的每个组的待删除图像以缩略图形式展示给用户，以根据用户选择来确定是否删除对应的待删除图像。

本发明的一种数据处理方法及装置，能够有效地检测到重复图像，解决上述现有技术的不足。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。其中：

图1是示出本发明的一种数据处理方法的流程图；

图2是示出本发明的一种数据处理装置的结构示意图。

本领域技术人员应当理解，附图中的元件仅仅是为了简单和清楚起见而示出的，而且不一定是按比例绘制的。例如，附图中某些元件的尺寸可能相对于其他元件放大了，以便有助于提高对本发明实施例的理解。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本发明内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

本发明提供了一种数据处理方法，所述数据处理方法包括：获取第一训练数据集和第二训练数据集；利用所述第一训练数据集和所述第二训练数据集训练第一分类模型，其中，所述第一训练数据集包括多个第一训练图像，每个第一训练图像的标签为人物照标签；所述第二训练数据集包括多个第二训练图像，每个第二训练图像的标签为非人物照标签；对所述第一训练数据集中的每个第一训练图像中的人脸进行标记；若该第一训练图像中标记的人脸个数为1，则将该第一训练图像的当前标签更新为单人照标签；若该第一训练图像中标记的人脸个数为2或3，则将该第一训练图像的当前标签更新为小合照标签；若该第一训练图像中标记的人脸个数大于或等于4，则将该第一训练图像的当前标签更新为集体照标签；利用所述第一训练数据集及其中各第一训练图像的当前标签训练第二分类模型；获得待处理图像集以及所述待处理图像集中每个图像对应的拍摄信息，所述拍摄信息至少包括拍摄时间和拍摄地点；通过所述第一分类模型对所述待处理图像集进行分类，得到人物照和非人物照两类；通过所述第二分类模型对所述待处理图像集中的所有人物照继续分类，得到单人照、小合照以及集体照三类；基于所述第一分类模型和所述第二分类模型的分类结果，将所述待处理图像集分为四个子集，该四个子集包括单人照子集、小合照子集、集体照子集和非人物照子集；针对所述四个子集中的每一子集，基于拍摄信息和人脸标记结果对该子集进行分组，得到该子集对应的多个组，使得分组后的同一组中各图像的拍摄信息满足第一预定条件，且同一组中各图像的人脸标记结果满足第二预定条件；针对所述单人照子集、小合照子集或集体照子集中每个子集的每个组，确定该组中每个图像中的人脸区域，计算该组每个图像的人脸区域中各个人脸清晰度，并将每个图像对应的最低的人脸清晰度作为该图像的人脸区域清晰度，在该组中基于人脸区域清晰度选择至少一个保留图像；针对所述非人物照子集的每个组，在该组中基于图像清晰度选择至少一个保留图像；在每个子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像与该组任一保留图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像。

图1示出了上述一种数据处理方法的流程。

如图1所示，在步骤1中，首先获取第一训练数据集。

第一训练数据集包括多个包含人物的第一训练图像，每个第一训练图像的标签为人物照标签。

第一训练数据集中的每个第一训练图像都是含有人物的图像，例如，这里所说的含有人物的图像可以是包含有人物正面照或侧面照等的人物照。此外，第一训练图像中的人物可能是一个，也可能是多个（如2个或更多个）。

例如，第一训练数据集可以包括多个训练数据分组，同一个训练数据分组内的图像为针对同一景点或同一场所的人物照，每个训练数据分组中的人物照包括单人照子组、双人或三人照子组以及多人照子组（大于或等于4人）。

可选地，每个训练数据分组内的图像可以包括针对同一景点（或场所）、但不同视角拍摄的人物照。

此外，单人照子组中包括多个（如2个或更多个）不同人物的单人照以及相同人物的不同单人照。

双人或三人照子组中包括多个双人照以及多个三人照，其中，上述的多个双人照以及多个三人照之中包括多个第一图像对、多个第二图像对以及多个第三图像对。

其中，第一图像对是指：该图像对中的一个图像中包含的人物与另一个图像中包含的人物完全相同。完全相同是指，两个图像所包含的人物数量一致，且人物也相同，比如，一个图像包含三个人A、B、C，而另一个图像也包含人物A、B、C，则可以说这两个图像包含的人物完全相同。

此外，在上述多个双人照以及多个三人照之中，既包括人物位置关系相同的第一图像对，也包括人物位置关系不同的第一图像对。例如，在一个图像中，三个人A、B、C依次从左至右站位合影，而在另一个图像中，从左至右依次是B、A、C站位合影，则这两个图像的第一图像对是人物位置关系不同的第一图像对。又如，在一个图像中，三个人A、B、C依次从左至右站位合影，而在另一个图像中，从左至右依次仍为A、B、C，则这两个图像的第一图像对是人物位置关系相同的第一图像对。

第二图像对是指：该图像对中的一个图像中包含的人物与另一个图像中所包含的人物部分相同。部分相同是指：两个图像所包含的人物数量不同；或者两个图像所包含的人物数量相同、但部分（非全部）人物不同。比如，一个图像包含三个人A、B、C，而另一个图像包含三个人B、C、D，则可以说这两个图像包含的人物部分相同。又如，一个图像包含三个人A、B、C，而另一个图像包含两个人B、C，则可以说这两个图像包含的人物部分相同。

此外，在多个第二图像对中，既包括站位部分相同的第二图像对，也包括站位完全不同的第二图像对（站位完全不同是针对相同的人物而言）。

第三图像对是指：该图像对中的一个图像中包含的人物与另一个图像中所包含的人物完全不同。完全不同是指，两个图像所包含的人物中没有任何相同的人物；换句话说，在第三图像对中，存在于其中一个图像中的人物一定不存在于另一个图像中。

接着，在步骤2中，针对第一训练数据集中的每个第一训练图像，将该第一训练图像包含的人物区域抠除，获得该第一训练图像的背景图像，将该背景图像作为该第一训练图像对应的第二训练图像。

例如，针对第一训练数据集中的每个第一训练图像，可以采用现有的人脸识别技术或人物识别技术来识别该图像中的人物区域并抠除，将该图像中除去抠掉的人物区域之外的部分作为该图像的第一局部背景图像。

这样，在第一局部背景图像中有一部分抠空的区域（对应于上述抠除的人物区域），在一个例子中，可以采用预定颜色对第一局部背景图像中抠空的区域进行填充，这样填充后的图像作为该第一局部背景图像的背景图像，作为与该第一局部背景图像对应的第二训练图像。

而在另一个例子中，也可以采用诸如仿制像章等方式获取与该缺失部分（上述抠空的区域）最接近的背景图样来填充该缺失部分，其中最接近的背景图样例如可以是该地局部背景图像中占比最多的颜色（如天空色）或者图案（如树叶，大海等），或者也可以是距离该缺失部分最近的预定范围（如距离100像素内）之中分布最多的颜色或图案（或者任一颜色或图案）。

此外，在其他例子中，还可以采用现有的图像修复方法对上述抠除区域进行背景修复，将与上述抠除区域对应的修复图像部分作为第二局部背景图像；通过对第一局部背景图像和第二局部背景图像进行拼接，获得该第一训练图像的背景图像。

这样，在步骤2中可以利用获得的所有第二训练图像来构成第二训练数据集。

由此，利用第一训练数据集和第二训练数据集来训练第一分类模型，其中，第二训练数据集包括多个第二训练图像。

在训练第一分类模型的阶段，每个第一训练图像的标签为人物照标签，而每个第二训练图像的标签为非人物照标签。

在完成对第一分类模型的训练之后，第一分类模型可以对图像二分类，识别的类别包括人物照和非人物照。

第一分类模型例如可以采用支持向量机、卷积神经网络，或者也可以采用其他现有的二分类模型。

样本的多样性可以使得训练的结果较好，训练的模型进行分类的结果就更为准确。但是，即使选取了大量的样本，若没有考虑到训练数据中各样本之间的关联，也会使得训练的结果事倍功半。

在本发明的实施例中，采用了第一训练图像和第二训练图像来训练分类模型，采用的第一训练图像的人物照，并非随意获得的大量的训练数据，这是因为：

1）本发明的第一训练数据集可以分为多个训练数据分组，而每个训练数据分组中的第一训练图像是针对相同景点（或相同场所）的人物照，换句话说，一个分组的数据则是针对一个景点（或场所），由此，在第一训练数据集中，包含了满足这样条件的样本：不同人物针对同一景点（或场所）拍摄的照片、相同人物针对不同景点（或场所）拍摄的照片、相同人物针对相同景点（或场所）拍摄的照片（但可能不同视角，也可能相同视角）。

2）本发明的第一训练数据集中包含满足第一图像对、第二图像对、第三图像对条件的样本，即包含：a）人物完全相同的两个样本图像；b）人物部分相同的两个样本图像；c）人物完全不同的两个样本图像。

其中，样本图像就是指上文所述的第一训练图像。

3）本发明的第二训练数据集中的每个第二训练图像在第一训练数据集中都有对应的那个第一训练图像，这是因为，每个第二训练图像都是经由其对应的那个第一训练图像、通过抠除人物区域而获得的背景图像。也就是说，第一训练数据集与第二训练数据集之间的强关联性使得最终分类的结果会更为准确。

此外，需要说明的是，第二训练图像中可以存在人，但不含有人物的正面照或侧面照。比如，第二训练图像可以是一个山的照片，而在该照片中可以有部分人，但人物的面部无法识别，或者人物均是背影等（这些人被看作是图像的背景，不会被识别为某个人物）。

这能够使得训练的第一分类模型能够更好地识别在人物照和非人物照。

在步骤3中，对第一训练数据集中的每个第一训练图像中的人脸进行标记。例如，可以采用人脸识别算法来自动识别每个第一训练图像中的人脸，识别到的不同人脸可以采用不同的标注。或者，也可以采用人工的方法来进行人脸标记（或者人脸识别算法结合人工标注）。

这样，通过人脸识别，可以获得每个第一训练图像中标记的人脸个数，以及包含哪些人物（如不同人物采用不同符号标记）。

例如，若该第一训练图像中标记的人脸个数为1，可将该第一训练图像的当前标签更新为单人照标签，表示对应的第一训练图像中含1个人物。

若该第一训练图像中标记的人脸个数为2或3，可将该第一训练图像的当前标签更新为小合照标签，表示对应的第一训练图像中含2个或3个人物。

若该第一训练图像中标记的人脸个数大于或等于4，可将该第一训练图像的当前标签更新为集体照标签，表示对应的第一训练图像中含4个或更多个人物。

接着，在步骤4中，利用第一训练数据集及其中各第一训练图像的当前标签训练第二分类模型。

第二分类模型例如可以采用卷积神经网络，或者也可以采用其他现有的多分类模型。

这样，利用更新了标签当前标签后的第一训练数据集来训练第二分类模型，训练的结果使得第二分类模型能够进一步对人物照进行细分，也即，通过第一分类模型能够将图像识别为人物照和非人物照中之一，而对于被第一分类模型分为第一分类模型的图像，则可以继续通过第二分类模型进行分类，以识别其是单人照、小合照或是集体照。

此外，在步骤5中，获得待处理图像集，待处理图像集中的图像可以是一个，也可以是多个。待处理图像集可以是用户上传的一组图像，也可以是用户网盘中存储的图像数据，或者可以是用户本地存储的照片等。

在步骤5中获得上述待处理图像集中每个图像对应的拍摄信息。

拍摄信息至少包括拍摄时间和拍摄地点。可选地，拍摄信息还可以包括相机信息，例如快门、光圈、ISO、EV值、是否开闪光、相机型号、镜头参数等。

此外，在步骤5中还可以获得每个待处理图像的格式等参数。

在步骤6中，通过第一分类模型对待处理图像集进行分类，得到人物照和非人物照两类。应当理解的是，若待处理图像集全部都是人物照，也可能通过第一分类模型得到的只有人物照这一类结果。或者，若待处理图像集全部都是非人物照时，通过第一分类模型得到的可能只有非人物照这一类结果。

然后，在步骤7中，通过第二分类模型对待处理图像集中的所有人物照继续分类，得到单人照、小合照以及集体照三类。

应当理解的是，通过第二分类模型分类的结果中，单人照、小合照以及集体照中某一类或两类的照片数也可能是0。

然后，在步骤8中，基于第一分类模型和第二分类模型的分类结果，将待处理图像集分为四个子集，该四个子集包括单人照子集、小合照子集、集体照子集和非人物照子集。

也就是说，基于第一分类模型的结果，类别为“非人物照”的所有待处理图像构成非人物照子集。

而基于第二分类模型的结果，类别为“单人照”的所有待处理图像构成单人照子集，类别为“小合照”的所有待处理图像构成小合照子集，而类别为“集体照”的所有待处理图像构成集体照子集。

接着，在步骤9中，针对四个子集中的每一子集，基于拍摄信息和人脸标记结果对该子集进行分组，得到该子集对应的多个组，使得分组后的同一组中各图像的拍摄信息满足第一预定条件，且同一组中各图像的人脸标记结果满足第二预定条件。

在一个例子中，上述的使得分组后的同一组中的图像的拍摄信息满足第一预定条件的步骤可以包括：使得分组后的同一组中的各图像之间的拍摄时间相差不超过预定时间，且拍摄地点相差不超过预定距离。

预定时间可以为30秒或1分钟等，可以根据经验设定，或通过试验确定。

预定距离可以为1米或3米等，可以根据经验设定，或通过试验确定。

在另一个例子中，上述的使得分组后的同一组中的图像的拍摄信息满足第一预定条件的步骤可以包括：使得分组后的同一组中的各图像之间的拍摄时间相差不超过预定时间，拍摄地点相差不超过预定距离，且相机信息完全一致。

或者，在实际应用中，也可以部分修改上述第一预定条件，比如“相机信息完全一致”可以替换为“相机信息部分一致”。

例如，同一组中各图像的人脸标记结果满足第二预定条件包括：使得分组后的同一组中任两个图像的人脸标记结果完全相同。

两个图像的人脸标记结果完全相同，是指这两个图像各自包含的人脸（人物）数量一样，人物也一样。

比如，图像P1只包含人物A和人物B（2个人物），而图像P2也只包含人物A和人物B（2个人物），则图像P1和P2的人脸标记结果是完全相同的。

又如，若图像P3只包含人物A和人物B（2个人物），而图像P4只包含人物B和人物C（2个人物），则虽然二者人物数量一样，但所含人物是部分不同的，因此二者的人脸标记结果不是完全相同的。

又如，同一组中各图像的人脸标记结果满足第二预定条件包括：使得分组后的同一组中任两个图像的人脸标记结果之差别小于预定范围。

其中，两个图像的人脸标记结果之差别小于预定范围，例如可以是两个图像人脸标记结果部分相同。

或者，人脸标记结果之差别小于预定范围可以设置为差别不大于1（或2等）。比如，当预定范围设置为差别不大于1时，例如可以是两个图像的人脸标记数量相差0个或1个，或者两个图像的人脸标记的人物有0个或1个是不同的。

然后，在步骤10中，针对单人照子集、小合照子集或集体照子集中每个子集的每个组，确定该组中每个图像中的人脸区域，计算该组每个图像的人脸区域中各个人脸清晰度，并将每个图像对应的最低的人脸清晰度作为该图像的人脸区域清晰度，在该组中基于人脸区域清晰度选择至少一个保留图像。例如，可以采用现有的人脸区域识别技术来确定图像中的人脸区域，这里不再详述。

每个图像的人脸区域识别结果中包含的人脸数可能是一个或多个，这样，每个图像的人脸区域中各个人脸清晰度是指，在每个图像的人脸区域中所识别的每一个人脸对应的局部区域的清晰度。举例来说，假设某个图像进行人脸区域识别后，得到3个人脸子区域（即对应包含3个人物），那么针对这3个人脸子区域分别计算各自的清晰度。

又如，假设图像P1中包含3个人脸子区域，对应的子区域清晰度分别为Q1、Q2和Q3，假设Q1、Q2和Q3之中Q2最小，则图像P1的人脸区域清晰度为Q2。

在一个组中，基于人脸区域清晰度选择至少一个保留图像时，例如可以选择人脸区域清晰度最高的前N个图像作为保留图像，其中N可以是1、2或其他预设整数。

这样，在步骤11中，在单人照子集、小合照子集或集体照子集中每个子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像对应的背景图像与该组任一保留图像对应的背景图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像。

其中，上述单人照子集、小合照子集或集体照子集中每个子集的每个组的每个图像所对应的背景图像例如可以通过如下方式获得：可以采用现有的人脸识别技术或人物识别技术来识别该图像中的人物区域并抠除，将该图像中除去抠掉的人物区域之外的部分作为该图像的第三局部背景图像，在第三局部背景图像中有一部分抠空的区域（对应于上述抠除的人物区域），可以采用预定颜色对第三局部背景图像中抠空的区域进行填充，这样填充后的图像作为该图像所对应的背景图像。

或者，也可以采用诸如仿制像章等方式获取与该缺失部分（上述第三局部背景图像中抠空的区域）最接近的背景图样来填充该缺失部分，其中最接近的背景图样例如可以是该第三局部背景图像中占比最多的颜色（如天空色）或者图案（如树叶，大海等），或者也可以是距离该缺失部分最近的预定范围（如距离100像素内）之中分布最多的颜色或图案（或者任一颜色或图案）。

此外，在其他例子中，也可以采用图像修复方法对上述第三局部背景图像中抠空的区域进行背景修复，将与上述第三局部背景图像中抠空的区域对应的背景部分作为第四局部背景图像；通过对第三局部背景图像和第四局部背景图像进行拼接，获得该图像的背景图像。

在步骤12中，针对非人物照子集的每个组，在该组中基于图像清晰度选择至少一个保留图像。

对于非人物照子集的每个组，可以采用现有的清晰度计算方法计算该组每个图像的图像清晰度，然后在该组中选择图像清晰度最高的前N个图像作为保留图像，其中N可以是1、2或其他预设整数。

在步骤13中，在非人物照子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像与该组任一保留图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像。

然后，在步骤14中，将每个子集的每个组的待删除图像以缩略图形式展示给用户，以根据用户选择来确定是否删除对应的待删除图像。

用户可以选择是否删除全部或部分待删除图像，也可以由系统自动删除部分或全部待删除图像。

在本发明的实施例中，采用具有强关联性的第一训练图像和第二训练图像（每个第二训练图像都是经由其对应的那个第一训练图像、通过抠除人物区域而获得的背景图像）来训练分类模型，并且第一训练图像的获得保证了训练数据不是随意获得的大量人物照数据，而是包含满足条件“不同人物针对同一景点（或场所）拍摄的照片、相同人物针对不同景点（或场所）拍摄的照片、相同人物针对相同景点（或场所）拍摄的照片（但可能不同视角，也可能相同视角）”的样本以及包含满足“a）人物完全相同的两个样本图像；b）人物部分相同的两个样本图像；c）人物完全不同的两个样本图像”条件的样本，由此训练的分类模型能够准确地识别人物照和非人物照、以及单人照、小合照和集体照。基于拍摄信息和人脸标记结果对单人照子集、小合照子集、集体照子集和非人物照子集中每个子集内再分组，每个子集又进一步划分为多个小组。

对于人物照，在每个小组内基于人脸清晰度确定保留图像，以最大限度确保选取保留的图像是人物面部比较清晰的，满足用户需求，并基于此结果来匹配与保留图像的背景图像最为相似的一个或若干个图像（该小组内）。在同一个小组内，说明这些图像是针对相同或相近的人物，并且具有相同或相近的拍摄信息，那么这些图像是最可能重复的，这样，就不需要计算所有的待处理图像之间的相似度；此外，本发明实施例在计算人物照之间相似度时，没有采用传统的图像相似度，而是计算背景相似度，这是因为在小组的划分已经保证了这些图像是针对相同或相近的人物的，相比于图像相似度，采用背景相似度来匹配相似的图像更为准确，这是因为：图像相似度是两个图像的整体相似度，可以理解为综合考虑了人物之间相似度和背景之间相似度之间的平均（并非简单的取均值，而是综合考虑这2个因素后的平衡后的结果）；而在本发明中，在已经确定同一小组内的图像是针对相同或相近人物的情况下，考虑用户的实际需求，在这种情况下是否要删除重复图像（或相似图像）并不一定是两个图像的整体相似度最大的。

比如，在已经确定了图像P1和图像P2同属于一个小组的情况下，假设图像P1是包含人物A、B、C，而图像P2同样也是包含人物A、B、C，并假设在两个图像中A、B、C三人站位不同，这样，假设计算的二者背景相似度为S1，二者的图像整体相似度为S2，则S2低于S1。在这种情况下，采用本发明实施例的上述方法，即，基于背景相似度来匹配与保留图像（人物照）最相似的图像（一个或几个）来确定用户最可能需要删除的重复图像则更为准确。

对于非人物照，采用不同于人物照的处理，即，基于图像整体的相似度来确定与保留图像最接近的照片，这样选择的图像是用户最可能需要删除的重复图像。

本发明还提供了一种数据处理装置，所述数据处理装置包括：第一训练数据获取单元，用于获取第一训练数据集；所述第一训练数据集包括多个包含人物的第一训练图像，每个第一训练图像的标签为人物照标签；第二训练数据获取单元，用于针对所述第一训练数据集中的每个第一训练图像，将该第一训练图像包含的人物区域抠除，获得该第一训练图像的背景图像，将该背景图像作为该第一训练图像对应的第二训练图像；利用获得的所有第二训练图像构成第二训练数据集；第一训练单元，用于利用所述第一训练数据集和所述第二训练数据集训练第一分类模型，其中，所述第二训练数据集包括多个第二训练图像，每个第二训练图像的标签为非人物照标签；标签更新单元，用于对所述第一训练数据集中的每个第一训练图像中的人脸进行标记；若该第一训练图像中标记的人脸个数为1，则将该第一训练图像的当前标签更新为单人照标签；若该第一训练图像中标记的人脸个数为2或3，则将该第一训练图像的当前标签更新为小合照标签；若该第一训练图像中标记的人脸个数大于或等于4，则将该第一训练图像的当前标签更新为集体照标签；第二训练单元，用于利用所述第一训练数据集及其中各第一训练图像的当前标签训练第二分类模型；信息获取单元，用于获得待处理图像集以及所述待处理图像集中每个图像对应的拍摄信息，所述拍摄信息至少包括拍摄时间和拍摄地点；第一分类单元，用于通过所述第一分类模型对所述待处理图像集进行分类，得到人物照和非人物照两类；第二分类单元，用于通过所述第二分类模型对所述待处理图像集中的所有人物照继续分类，得到单人照、小合照以及集体照三类；图像分集单元，用于基于所述第一分类模型和所述第二分类模型的分类结果，将所述待处理图像集分为四个子集，该四个子集包括单人照子集、小合照子集、集体照子集和非人物照子集；分组单元，用于针对所述四个子集中的每一子集，基于拍摄信息和人脸标记结果对该子集进行分组，得到该子集对应的多个组，使得分组后的同一组中各图像的拍摄信息满足第一预定条件，且同一组中各图像的人脸标记结果满足第二预定条件；第一筛选单元，用于针对所述单人照子集、小合照子集或集体照子集中每个子集的每个组，确定该组中每个图像中的人脸区域，计算该组每个图像的人脸区域中各个人脸清晰度，并将每个图像对应的最低的人脸清晰度作为该图像的人脸区域清晰度，在该组中基于人脸区域清晰度选择至少一个保留图像；第一确定单元，用于在所述单人照子集、小合照子集或集体照子集中每个子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像对应的背景图像与该组任一保留图像对应的背景图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像；第二筛选单元，用于针对所述非人物照子集的每个组，在该组中基于图像清晰度选择至少一个保留图像；第二确定单元，用于在所述非人物照子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像与该组任一保留图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像；交互单元，用于将每个子集的每个组的待删除图像以缩略图形式展示给用户，以根据用户选择来确定是否删除对应的待删除图像。

图2给出了上述装置的一种可能的结构。

如图2所示，数据处理装置包括第一训练数据获取单元201、第二训练数据获取单元202、第一训练单元203、标签更新单元204、第二训练单元205、信息获取单元206、第一分类单元207、第二分类单元208、图像分集单元209、分组单元210、第一筛选单元211、第一确定单元212、第二筛选单元213、第二确定单元214和交互单元215。

如图2所示，第一训练数据获取单元201，用于获取第一训练数据集；第一训练数据集包括多个包含人物的第一训练图像，每个第一训练图像的标签为人物照标签。

第二训练数据获取单元202，用于针对第一训练数据集中的每个第一训练图像，将该第一训练图像包含的人物区域抠除，获得该第一训练图像的背景图像，将该背景图像作为该第一训练图像对应的第二训练图像；利用获得的所有第二训练图像构成第二训练数据集。

第一训练单元203，用于利用第一训练数据集和第二训练数据集训练第一分类模型，其中，第二训练数据集包括多个第二训练图像，每个第二训练图像的标签为非人物照标签。

标签更新单元204，用于对第一训练数据集中的每个第一训练图像中的人脸进行标记；若该第一训练图像中标记的人脸个数为1，则将该第一训练图像的当前标签更新为单人照标签；若该第一训练图像中标记的人脸个数为2或3，则将该第一训练图像的当前标签更新为小合照标签；若该第一训练图像中标记的人脸个数大于或等于4，则将该第一训练图像的当前标签更新为集体照标签。

第二训练单元205，用于利用第一训练数据集及其中各第一训练图像的当前标签训练第二分类模型。

信息获取单元206，用于获得待处理图像集以及待处理图像集中每个图像对应的拍摄信息，拍摄信息至少包括拍摄时间和拍摄地点。

第一分类单元207，用于通过第一分类模型对待处理图像集进行分类，得到人物照和非人物照两类。

第二分类单元208，用于通过第二分类模型对待处理图像集中的所有人物照继续分类，得到单人照、小合照以及集体照三类。

图像分集单元209，用于基于第一分类模型和第二分类模型的分类结果，将待处理图像集分为四个子集，该四个子集包括单人照子集、小合照子集、集体照子集和非人物照子集。

分组单元210，用于针对四个子集中的每一子集，基于拍摄信息和人脸标记结果对该子集进行分组，得到该子集对应的多个组，使得分组后的同一组中各图像的拍摄信息满足第一预定条件，且同一组中各图像的人脸标记结果满足第二预定条件。

第一筛选单元211，用于针对单人照子集、小合照子集或集体照子集中每个子集的每个组，确定该组中每个图像中的人脸区域，计算该组每个图像的人脸区域中各个人脸清晰度，并将每个图像对应的最低的人脸清晰度作为该图像的人脸区域清晰度，在该组中基于人脸区域清晰度选择至少一个保留图像。

第一确定单元212，用于在单人照子集、小合照子集或集体照子集中每个子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像对应的背景图像与该组任一保留图像对应的背景图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像。

第二筛选单元213，用于针对非人物照子集的每个组，在该组中基于图像清晰度选择至少一个保留图像。

第二确定单元214，用于在非人物照子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像与该组任一保留图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像。

交互单元215，用于将每个子集的每个组的待删除图像以缩略图形式展示给用户，以根据用户选择来确定是否删除对应的待删除图像。

应当说明的是，本发明的上述数据处理装置能够实现上文描述的数据处理方法所实现的功能和处理，这里不再赘述。

最后应说明的是，以上实施例仅用以示例性说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明及本发明带来的有益效果进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施 例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求的范围。

Claims (7)

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

获取第一训练数据集；所述第一训练数据集包括多个包含人物的第一训练图像，每个第一训练图像的标签为人物照标签；

针对所述第一训练数据集中的每个第一训练图像，将该第一训练图像包含的人物区域抠除，获得该第一训练图像的背景图像，将该背景图像作为该第一训练图像对应的第二训练图像；

利用获得的所有第二训练图像构成第二训练数据集；

利用所述第一训练数据集和所述第二训练数据集训练第一分类模型，其中，所述第二训练数据集包括多个第二训练图像，每个第二训练图像的标签为非人物照标签；

对所述第一训练数据集中的每个第一训练图像中的人脸进行标记；若该第一训练图像中标记的人脸个数为1，则将该第一训练图像的当前标签更新为单人照标签；若该第一训练图像中标记的人脸个数为2或3，则将该第一训练图像的当前标签更新为小合照标签；若该第一训练图像中标记的人脸个数大于或等于4，则将该第一训练图像的当前标签更新为集体照标签；

利用所述第一训练数据集及其中各第一训练图像的当前标签训练第二分类模型；

获得待处理图像集以及所述待处理图像集中每个图像对应的拍摄信息，所述拍摄信息至少包括拍摄时间和拍摄地点；

通过所述第一分类模型对所述待处理图像集进行分类，得到人物照和非人物照两类；

通过所述第二分类模型对所述待处理图像集中的所有人物照继续分类，得到单人照、小合照以及集体照三类；

基于所述第一分类模型和所述第二分类模型的分类结果，将所述待处理图像集分为四个子集，该四个子集包括单人照子集、小合照子集、集体照子集和非人物照子集；

针对所述四个子集中的每一子集，基于拍摄信息和人脸标记结果对该子集进行分组，得到该子集对应的多个组，使得分组后的同一组中各图像的拍摄信息满足第一预定条件，所述第一预定条件为：各图像之间的拍摄时间相差不超过预定时间，且拍摄地点相差不超过预定距离；且同一组中各图像的人脸标记结果满足第二预定条件，所述第二预定条件为：任意两个图像的人脸标记结果完全相同或差别小于预定范围；

针对所述单人照子集、小合照子集或集体照子集中每个子集的每个组，确定该组中每个图像中的人脸区域，计算该组每个图像的人脸区域中各个人脸清晰度，并将每个图像对应的最低的人脸清晰度作为该图像的人脸区域清晰度，在该组中基于人脸区域清晰度选择至少一个保留图像；

在所述单人照子集、小合照子集或集体照子集中每个子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像对应的背景图像与该组任一保留图像对应的背景图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像；

针对所述非人物照子集的每个组，在该组中基于图像清晰度选择至少一个保留图像；

在所述非人物照子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像与该组任一保留图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像；

将每个子集的每个组的待删除图像以缩略图形式展示给用户，以根据用户选择来确定是否删除对应的待删除图像。

2.根据权利要求1所述的数据处理方法，其特征在于，所述拍摄信息还包括相机信息。

3.根据权利要求2所述的数据处理方法，其特征在于，使得分组后的同一组中的图像的拍摄信息满足第一预定条件的步骤包括：使得分组后的同一组中的各图像之间的拍摄时间相差不超过预定时间，拍摄地点相差不超过预定距离，且相机信息完全一致。

4.根据权利要求1所述的数据处理方法，其特征在于，所述的将该第一训练图像包含的人物区域抠除，获得该第一训练图像的背景图像的步骤包括：

将该第一训练图像包含的人物区域抠除后，得到第一局部背景图像；

采用图像修复方法恢复与该第一训练图像抠除区域对应的背景部分，作为第二局部背景图像；

通过对所述第一局部背景图像和所述第二局部背景图像进行拼接，获得该第一训练图像的背景图像。

5.根据权利要求1所述的数据处理方法，其特征在于，所述单人照子集、小合照子集或集体照子集中每个子集的每个组的每个图像所对应的背景图像通过如下方式获得：

将该图像包含的人物区域抠除后，得到第三局部背景图像；

采用图像修复方法恢复与该图像抠除区域对应的背景部分，作为第四局部背景图像；

通过对所述第三局部背景图像和所述第四局部背景图像进行拼接，获得该图像的背景图像。

6.根据权利要求1-5中任一项所述的数据处理方法，其特征在于，所述第一训练数据集包括多个训练数据分组，同一个训练数据分组内的图像为针对同一景点或同一场所的人物照，每个训练数据分组中的人物照包括单人照子组、双人或三人照子组以及多人照子组；

所述单人照子组中包括多个不同人物的单人照以及相同人物的不同单人照；

所述双人或三人照子组中包括多个双人照以及多个三人照，其中，所述多个双人照以及多个三人照之中包括多个第一图像对、多个第二图像对以及多个第三图像对；

其中，所述第一图像对是指：该图像对中的一个图像中包含的人物与另一个图像中包含的人物完全相同；

在所述多个双人照以及多个三人照之中，既包括人物位置关系相同的第一图像对，也包括人物位置关系不同的第一图像对；

所述第二图像对是指：该图像对中的一个图像中包含的人物与另一个图像中所包含的人物部分相同；

在多个所述第二图像对中，既包括站位部分相同的第二图像对，也包括站位完全不同的第二图像对；

所述第三图像对是指：该图像对中的一个图像中包含的人物与另一个图像中所包含的人物完全不同。

7.一种数据处理装置，其特征在于，所述数据处理装置包括：

第一训练数据获取单元，用于获取第一训练数据集；所述第一训练数据集包括多个包含人物的第一训练图像，每个第一训练图像的标签为人物照标签；

第二训练数据获取单元，用于针对所述第一训练数据集中的每个第一训练图像，将该第一训练图像包含的人物区域抠除，获得该第一训练图像的背景图像，将该背景图像作为该第一训练图像对应的第二训练图像；利用获得的所有第二训练图像构成第二训练数据集；

第一训练单元，用于利用所述第一训练数据集和所述第二训练数据集训练第一分类模型，其中，所述第二训练数据集包括多个第二训练图像，每个第二训练图像的标签为非人物照标签；

标签更新单元，用于对所述第一训练数据集中的每个第一训练图像中的人脸进行标记；若该第一训练图像中标记的人脸个数为1，则将该第一训练图像的当前标签更新为单人照标签；若该第一训练图像中标记的人脸个数为2或3，则将该第一训练图像的当前标签更新为小合照标签；若该第一训练图像中标记的人脸个数大于或等于4，则将该第一训练图像的当前标签更新为集体照标签；

第二训练单元，用于利用所述第一训练数据集及其中各第一训练图像的当前标签训练第二分类模型；

信息获取单元，用于获得待处理图像集以及所述待处理图像集中每个图像对应的拍摄信息，所述拍摄信息至少包括拍摄时间和拍摄地点；

第一分类单元，用于通过所述第一分类模型对所述待处理图像集进行分类，得到人物照和非人物照两类；

第二分类单元，用于通过所述第二分类模型对所述待处理图像集中的所有人物照继续分类，得到单人照、小合照以及集体照三类；

图像分集单元，用于基于所述第一分类模型和所述第二分类模型的分类结果，将所述待处理图像集分为四个子集，该四个子集包括单人照子集、小合照子集、集体照子集和非人物照子集；

分组单元，用于针对所述四个子集中的每一子集，基于拍摄信息和人脸标记结果对该子集进行分组，得到该子集对应的多个组，使得分组后的同一组中各图像的拍摄信息满足第一预定条件，所述第一预定条件为：各图像之间的拍摄时间相差不超过预定时间，且拍摄地点相差不超过预定距离；且同一组中各图像的人脸标记结果满足第二预定条件，所述第二预定条件为：任意两个图像的人脸标记结果完全相同或差别小于预定范围；

第一筛选单元，用于针对所述单人照子集、小合照子集或集体照子集中每个子集的每个组，确定该组中每个图像中的人脸区域，计算该组每个图像的人脸区域中各个人脸清晰度，并将每个图像对应的最低的人脸清晰度作为该图像的人脸区域清晰度，在该组中基于人脸区域清晰度选择至少一个保留图像；

第一确定单元，用于在所述单人照子集、小合照子集或集体照子集中每个子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像对应的背景图像与该组任一保留图像对应的背景图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像；

第二筛选单元，用于针对所述非人物照子集的每个组，在该组中基于图像清晰度选择至少一个保留图像；

第二确定单元，用于在所述非人物照子集的每个组中，针对该组中除保留图像以外的每个图像，若该图像与该组任一保留图像之间的相似度高于第一阈值，将该图像确定为该组的待删除图像；

交互单元，用于将每个子集的每个组的待删除图像以缩略图形式展示给用户，以根据用户选择来确定是否删除对应的待删除图像。

Images