CN112287152B - 一种照片分类方法及系统 - Google Patents

Abstract

本发明提供一种照片分类方法及系统，均能：提取各待分类照片的目标属性构成第一特征集；验证第一特征集是否有效；在验证为是，或在验证为否且提取各待分类照片的图像内容特征构成第一特征集后，将当前最新第一特征集作为输入进行聚类，得到K个第一照片分类；对得到的K个第一照片分类进行排序得到第一照片分类排序序列；对照片数量大于预先设定的第一照片数量阈值的每一个第一照片分类，分别进行二次聚类；对所得到的每个第一照片分类的二次聚类的结果,分别进行基于图像内容特征的类间相似度排序，并用各排序得到的结果对应替换排序前各相关第一照片分类在第一照片分类排序序列中的位置。本发明用于辅助提高电子相册/照片书的制作效率。

Description

一种照片分类方法及系统

技术领域

本发明涉及影像冲印领域，具体涉及一种照片分类方法及系统，主要用于对制作电子相册及制作照片书的照片进行分类。

背景技术

在实际生活中，越来越多地人们会将一组感兴趣的照片制作成一个电子相册或者照片书，这些感兴趣的照片可以是摄影照片，也可能是从网上下载或各种艺术创作等的比较随性的照片。

在制作电子相册/照片书时，通常是根据照片内容挑选对应主题的模板，然后对照片按照不同的类型(如自拍、风景、小动物、不同的场景)进行分组，之后选择内容、主题、时间等相近的照片排放在一起，进而去填充模板，使得照片书看起来具有一定的故事性和美观性。因此在制作电子相册/照片书时，主要包含两个步骤：一是照片排版，按照照片内容确定照片在模板中的位置；二是针对模板上的照片填充框调整照片的尺寸或位置以避免照片中的关键信息被遮盖。

然而实际上，上述照片排版通常由用户在互联网上人工完成。用户为完成一本满意的电子相册/照片书，通常需要根据照片内容人工反复调整照片的顺序与位置，耗时耗力。且随着制作电子相册/照片书所需照片数量的增多，用户(购买者)人工调整所需耗费的精力和时间越来越多，制作效率较低，一定程度上降低了用户制作和购买的意愿，不利于增加商家与用户之间的粘度。

为此，本发明提供一种照片分类方法及系统，用于解决上述技术问题。

发明内容

针对现有技术的上述不足，本发明提供一种照片分类方法及系统，用于辅助提高电子相册/照片书的制作效率。

本发明提供一种照片分类方法，包括步骤：

S1、提取各待分类照片的目标属性构成第一特征集；所述目标属性为待分类照片的拍摄时间或拍摄地点；

S12、验证第一特征集是否有效：

若是，则执行步骤S3；若否，则转而执行步骤S2；

S2、提取各待分类照片的图像内容特征构成第一特征集，之后执行步骤S3；

S3、将最新第一特征集作为输入进行聚类，将全部待分类照片划分为K类，得到K个第一照片分类；

S3’、对得到的K个第一照片分类进行排序，得到第一照片分类排序序列：

在步骤S3中用于聚类的第一特征集由待分类照片的目标属性构成时，对所得到的K个第一照片分类按目标属性信息进行排序；

在步骤S3中用于聚类的第一特征集由待分类照片的图像内容特征构成时，对所得到的K个第一照片分类进行基于图像内容特征的类间相似度排序；

S4、对照片数量大于预先设定的第一照片数量阈值的每一个第一照片分类，分别进行基于图像内容特征的二次聚类；

S5、对步骤S4中得到的每个第一照片分类的二次聚类的结果,分别进行基于图像内容特征的类间相似度排序，并用各排序得到的结果对应替换排序前各相关第一照片分类在第一照片分类排序序列中的位置。

进一步地，步骤S3和步骤S5中所涉及的类间相似度的度量方法为：余弦相似度或欧式距离相似度。

进一步地，所述步骤S4包括：

S41、对应统计每一个第一照片分类中照片的照片数量；

S42、基于所统计的照片数量，对应判断各第一照片分类中的照片数量是否大于预先设定的第一照片数量阈值，对于判断结果为是的每一个第一照片分类，分别执行步骤S43；

S43、对第一照片分类中的照片进行基于图像内容特征的聚类，该聚类为所述的二次聚类。

进一步地，步骤S3中K的计算公式为：

K＝min(N/th,P),

式中，P为用户选取的将要制作的电子相册/照片书的制作页数，th为用户选取的将要制作的电子相册/照片书所要使用到的每个照片排板模板上平均所能填充的照片的数量均值，N为用户上传的照片总数。

进一步地，所述步骤S1包括：

遍历各待分类照片；

提取每个遍历到的待分类照片的属性信息；

对每一个遍历到的待分类照片，分别判断其属性信息中是否存在拍摄时间信息/拍摄地点信息，并且：在判定为是时，将其属性信息中的拍摄时间信息/拍摄地点信息作为目标属性进行提取并标记为有效；在判定为否且在所述目标属性为拍摄时间时，将其对应的用户上传时间作为目标属性进行提取；在判定为否且在所述待分类照片为拍摄地点信息时，将预先设定的第一位置信息作为目标属性进行提取；

待提取到所有待分类照片的目标属性后，将所提取到的各待分类照片的目标属性构成所述的第一特征集。

进一步地，步骤S12中验证第一特征集是否有效的方法为：

统计步骤S1中能够从属性信息中提取到被标记为有效的目标属性的照片的数量，记为N1；

计算所述N1在用户上传的全部照片中的占比R_info＝N1/N，其中，N为用户上传的全部照片的数量；

判断所述占比R_info是否大于预先设定的占比阈值：

若是，则判定第一特征集有效；

若否，则判定第一特征集无效。

进一步地，所述预先设定的占比阈值的取值区间范围为[0.6,1)。

进一步地，步骤S3和步骤S5中所涉及的图像内容特征，均采用预先设定的图像内容特征提取模型进行提取，该图像内容特征提取模型为改造后的图像分类网络模型；所述改造后的图像分类模型，为采用全连接层进行模型输出的图像分类网络模型。

第二方面，本发明提供一种照片分类系统，包括：

第一特征集提取模块，用于提取各待分类照片的目标属性构成第一特征集；所述目标属性为待分类照片的拍摄时间或拍摄地点；

特征集有效性验证模块，用于验证第一特征集是否有效；

第一特征集重提取模块，用于在特征集有效性验证模块的判断结果为否时，提取各待分类照片的图像内容特征构成第一特征集；

第一聚类模块，用于在特征集有效性验证模块的判断结果为是时或在第一特征集重提取模块提取各待分类照片的图像内容特征构成第一特征集时，将最新得到的第一特征集作为输入进行聚类，将全部待分类照片划分为K类，得到K个第一照片分类；

第一排序模块，用于对第一聚类模块得到的K个第一照片分类进行排序，得到第一照片分类排序序列，其中：在第一聚类模块中用于聚类的第一特征集由待分类照片的目标属性构成时，对所得到的K个第一照片分类按目标属性信息进行排序，得到所述第一照片分类进行排序；在第一聚类模块中用于聚类的第一特征集由待分类照片的图像内容特征构成时，对所得到的K个第一照片分类进行基于图像内容特征的类间相似度排序，得到所述第一照片分类进行排序；

第二聚类模块，用于对第一照片分类进行排序中照片数量大于预先设定的第一照片数量阈值的每一个第一照片分类，分别进行基于图像内容特征的二次聚类；

第二排序模块，用于对第二聚类模块中得到的每个第一照片分类的二次聚类的结果,分别进行基于图像内容特征的类间相似度排序，并用各排序得到的结果对应替换排序前各相关第一照片分类在第一照片分类排序序列中的位置。

进一步地，该照片分类系统中所涉及的图像内容特征，均采用预先设定的图像内容特征提取模型进行提取，该图像内容特征提取模型为改造后的图像分类网络模型；所述改造后的图像分类模型，为采用全连接层进行模型输出的图像分类网络模型。

本发明的有益效果在于，

(1)本发明提供的照片分类方法及系统，能够结合照片的属性信息及图像内容特征实现对各待分类照片的分类，还能够通过对得到的所有的类进行类间相似度排序以及进行属性信息的类间排序，使最终得到的各个类之间具有一定的故事性，可见本发明提供了一种能够自动实现照片分类的方案，一定程度上有助于帮助用户提高电子相册/照片书的制作效率。

(2)本发明提供的照片分类方法及系统，可通过min(N/th,P)确定K的取值，这使得照片分类时考虑到了用户将要制作的电子相册/照片书的制作页数P，使得分类类别的个数K得以能够靠近用户所要制作的电子相册/照片书的制作页数，从而在一定程度上有助于减小用户人工调整的可能性，节省电子相册/照片书的制作时间。

此外，本发明设计原理可靠，易于实现，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的照片分类方法的示意性流程图。

图2是本发明一个实施例的照片分类系统的示意性功能结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

图1是本发明一个实施例的照片分类方法的示意性流程图。其中，图1执行主体可以为一种互联网终端。

如图1所示，该照片分类方法包括：

步骤S1：提取各待分类照片的目标属性构成第一特征集。

所述目标属性为待分类照片的拍摄时间或拍摄地点。

所述待分类照片，不限于是终端拍摄的，还可以是网络下载的，也可以是通过网络传来的，来源不限。

照片的拍摄时间及拍摄地点，一般可从照片的属性信息中提取到。

可选地，所述步骤S1的实现方法包括步骤：

遍历各待分类照片；

提取每个遍历到的待分类照片的属性信息；

对每一个遍历到的待分类照片，分别判断其属性信息中是否存在拍摄时间信息/拍摄地点信息，并且：在判定为是时，将其属性信息中的拍摄时间信息/拍摄地点信息作为目标属性进行提取并标记为有效；在判定为否且在所述目标属性为拍摄时间时，将其对应的用户上传时间作为目标属性进行提取；在判定为否且在所述待分类照片为拍摄地点信息时，将预先设定的第一位置信息作为目标属性进行提取；

待提取到所有待分类照片的目标属性后，将所提取到的各待分类照片的目标属性构成所述的第一特征集。

相对应地，在目标属性为拍摄时间时，所述步骤S1的实现步骤为：

遍历各待分类照片；

提取每个遍历到的待分类照片的属性信息；

对每一个遍历到的待分类照片，分别判断其属性信息中是否存在拍摄时间信息，并在判定为是时，将其属性信息中的拍摄时间信息作为其目标属性并提取，并将该目标属性的有效性标记为有效，在判定为否时，将其对应的用户上传时间作为其目标属性并提取；

待提取到所有待分类照片的目标属性后，将所提取到的各待分类照片的目标属性构成所述的第一特征集。

相对应地，在目标属性为拍摄地点时，所述步骤S1的实现步骤为：

遍历各待分类照片；

提取每个遍历到的待分类照片的属性信息；

对每一个遍历到的待分类照片，分别判断其属性信息中是否存在拍摄地点信息，并在判定为是时，将其属性信息中的拍摄地点信息作为其目标属性并提取，并将该目标属性的有效性标记为有效，在判定为否时，将预先设定的第一位置信息作为其目标属性并提取；

待提取到所有待分类照片的目标属性后，将所提取到的各待分类照片的目标属性构成所述的第一特征集。

本实施例中将第一位置信息设置为“(0°,0°)”，具体实现时，本领域技术人员可依据实际需要设置第一位置信息为其他任意经纬度。

步骤S12：验证第一特征集是否有效：

若是，则执行步骤S3；

若否，则转而继续执行步骤S2。

具体地，本实施例中验证第一特征集是否有效的方法为：

统计步骤S1中能够从属性信息中提取到有效性被标记为有效的目标属性的照片的数量，记为N1；

计算所述N1在用户上传的全部照片中的占比R_info＝N1/N，其中，N为用户上传的全部照片的数量；

判断所述占比R_info是否大于预先设定的占比阈值：

若是，则判定第一特征集有效；

若否，则判定第一特征集无效。

用TH_info表示上述预先设定的占比阈值，TH_info的取值区间范围可以为[0.6,1)。比如TH_info＝0.8，若占比R_info大于0.8，则判定第一特征集有效，否则判定第一特征集无效。

步骤S2：提取各待分类照片的图像内容特征构成第一特征集，之后执行步骤S3。

其中，该步骤S2在实现时，采用预先设定的图像内容特征提取模型，提取各待分类照片的图像内容特征。

其中，所述图像内容特征提取模型由经典的深度学习图像分类模型(比如VGG16)改造而来。具体为将深度学习图像分类模型结构去除最后的分类层，并指定网络结构(即深度学习图像分类模型)中最后预设个数层的全连接层的输出作为图像特征向量。本实施例中预先设定网络结构最后任意一层全连接层作为最后的输出向量。具体实现时，采用网络结构在大型分类数据集(比如公知的ImageNet数据集)上的预训练模型作为权重模型，将待分类照片输入该预训练模型，获取预设输出层的输出向量，从而得到该待分类照片的内容特征向量。

具体实现时，本领域技术人员可采用现有技术中其他任意相关的图像分类模型(比如MobileNetV2等任一种相关分类网络模型)改造后作为图像内容特性提取模型来替换上述深度学习的图像内容特征提取模型，其中，改造后的图像分类模型为采用全连接层进行模型输出的图像分类网络模型即可。步骤S3：将最新的第一特征集作为输入进行聚类，将全部待分类照片划分为K类，得到K个第一照片分类。

可选地，所述K的计算公式为：

K＝min(N/th,P),

式中，P为用户选取的将要制作的电子相册/照片书的制作页数，th为用户选取的将要制作的电子相册/照片书所要使用到的每个照片排板模板上平均所能填充的照片的数量均值，N为用户上传的照片总数。

th的取值可由本领域技术人员依据经验进行设定。

另外需要说明的是，在用户选取的将要制作的电子相册/照片书的制作页数为P时，行业内会依据实际实况限制用户上传的照片总数N的上限，用户在该上限内可上传任意数量的照片。

在本实施例中，K的取值考虑到电子相册/照片书的制作页数P，使得分类数量K得以能够靠近制作页数，从而在一定程度上有助于减小用户人工调整的可能性，节省电子相册/照片书的制作时间。

另外，需要说明的是，所述K的取值不限于由上述计算公式计算得到的值，还可由本领域技术人员自主设定。

在该步骤S3中，可采用K-means聚类、层次聚类、基于密度的聚类(DBSCAN)等聚类算法中的任意一种，将第一特征集作为输入进行聚类，将全部待分类照片划分为所述K个分类。

之后执行步骤S3’。

步骤S3’：对得到的K个第一照片分类进行排序，得到第一照片分类排序序列。

具体地，在步骤S3中用于聚类的第一特征集由待分类照片的目标属性构成时，对步骤S3中得到的K个第一照片分类按目标属性信息进行排序，得到所述的第一照片分类排序序列。

比如，所述目标属性为待分类照片的拍摄时间，则可计算每一个第一照片分类中照片的时间信息(拍摄时间)的平均值作为该第一照片分类的拍摄时间值，一共得到K个拍摄时间值，然后对这K个拍摄时间值按照从小到大的顺序进行排序，即可得到K个第一照片分类按属性信息的排序结果。

相对应地，比如，在目标属性为待分类照片的拍摄地点(经纬度信息)时，可计算每一个第一照片分类中照片的拍摄地点信息的平均值作为该第一照片分类的拍摄地点值，一共得到K个拍摄地点值，然后对这K个拍摄地点值按照经度或纬度从小到大的顺序进行排序，即可得到K个第一照片分类按属性信息的排序结果。

另外，在步骤S3中用于聚类的第一特征集由待分类照片的图像内容特征构成时，对步骤S3中得到的K个第一照片分类进行基于图像内容特征的类间相似度排序，得到所述的第一照片分类排序序列。

可选地，作为本发明的一个实施例，在该步骤S3’中，对步骤S3中得到的K个第一照片分类进行基于图像内容特征的类间相似度排序，得到所述的第一照片分类排序序列，实现方法可以为(但不限于该实现方法)：

步骤L1、分别从上述K个第一照片分类的每一个类中任意取出一张照片，共取出K张照片；

步骤L2、从上述K张照片中任取一张作为基准照片，分别计算上述K张照片中其他K-1张照片的图像内容特征与该基准照片的图像内容特征的相似度；

步骤L3、依据步骤L2中计算所得的相似度对上述K张照片进行排序；

步骤L4、依据上述K张照片的排序，对上述K个第一照片分类进行排序，得到所述的第一照片分类排序序列。

需要说明的是，本发明中所涉及的各基于图像内容特征的类间相似度排序中的类间相似度排序，可以是按照类间相似度从小到大的顺序排序，也可以是按照类间相似度从大到小的顺序排序。为实现更好的分类效果，本说明书中所涉及的各类间相似度排序的顺序规则相同，可以均是按照类间相似度从大到小的顺序排序，也可以均是按照类间相似度从小到大的顺序排序。

步骤S4：对照片数量大于预先设定的第一照片数量阈值的每一个第一照片分类，分别进行基于图像内容特征的二次聚类。

具体地，该步骤S4的实现方法包括：

步骤S41、分别统计步骤S3中得到的每一个第一照片分类中照片的照片数量，记为C_i,(i＝1,...,K)，C_i表示第i个第一照片分类中的照片数量；

步骤S42、判断每个统计得到的照片数量C_i是否大于预先设定的第一照片数量阈值TH_num，对于判断结果为是的每一个第一照片分类,均执行步骤S43；

步骤S43、对当前第一照片分类中的照片进行基于图像内容特征的二次聚类。

比如：K＝3，步骤S3中对全部的待分类照片Q进行聚类(为第一次聚类)得到三个第一照片分类：第一照片分类1、第一照片分类2和第一照片分类3，且K个分类结果经过步骤S3’排序得到的第一照片分类排序序列(记为照片分类排序序列A)为：第一照片分类1、第一照片分类3、第一照片分类2。第一照片分类1、第一照片分类2和第一照片分类3中照片的照片数量依次为C₁、C₂和C₃，其中统计得到C₁＝4、C₂＝6和C₃＝2。第一照片数量阈值TH_num＝3，则C₁>3、C₂>3和C₃<3,则第一照片分类3保持不变，第一照片分类1和第一照片分类2执行上述步骤S43，即对第一照片分类1和第一照片分类2中的照片分别进行基于图像内容特征的二次聚类。

所述二次聚类，可采用任意个数的聚类类别(聚类时输入的聚类基准)。所述聚类类别具体可由本领域技术人员设定，但一般不会设为1、也不会设为大于或等于将要进行二次聚类的第一照片分类中的照片数。

第一照片数量阈值TH_num的取值可为用户选取的将要制作的电子相册/照片书对应的排板模板中最多能够填充的照片数量。

步骤S5：对步骤S4中得到的每个第一照片分类的二次聚类的结果,分别进行基于图像内容特征的类间相似度排序，并用各排序得到的结果对应替换排序前各相关第一照片分类在第一照片分类排序序列中的位置。

具体地，该S5中对步骤S4中得到的每一个第一照片分类的二次聚类的结果,进行基于图像内容特征的类间相似度排序的方法步骤可以为：

步骤S51、记步骤S4中得到的第一照片分类的二次聚类的结果中含有M个类；

步骤S52、分别从上述M个类的每一个类中任意取出一张照片，共取出M张照片；

步骤S53、从上述M张照片中任取一张作为基准照片，计算上述M张照片中其他M-1张照片的图像内容特征与该基准照片的图像内容特征的相似度；

步骤S54、依据步骤S53中计算所得的相似度对上述M张照片进行排序；

步骤S55、依据上述M张照片的排序，对上述M个类进行排序。

需要说明的是，本领域技术人员在具体实现该步骤S5时，上述对步骤S4中得到的每一个第一照片分类的二次聚类的结果,进行基于图像内容特征的类间相似度排序的方法步骤还可采用另一实现方法进行替换，该另一实现方法具体包括：

步骤S51’、记步骤S4中得到的第一照片分类的二次聚类的结果中含有M’个类；

步骤S52’、分别计算上述M’个类中的每一个类的全部照片的图像内容特征的平均特征，得到M’个平均特征；

步骤S53’、从上述M’个平均特征中任意取出一个平均特征作为基准特征，计算其余M’-1个平均特征与该基准特征的相似度；

步骤S54’、依据步骤S53’中计算所得的相似度对上述M’个平均特征进行排序；

步骤S55’、依据上述M’个平均特征的排序，对上述M’个类进行排序。

其中，本发明中所涉及的相似度均可为：余弦相似度或欧式距离相似度。具体实现时，可由本领域技术人员可依据实际情况，选择使用余弦相似度或使用欧式距离相似度。

具体地，仍以上述第一照片分类1、第一照片分类2和第一照片分类3为例：假定对第一照片分类2中的照片进行基于图像内容特征的二次聚类后，得到分类W1、分类W2和分类W3；假定对第一照片分类1中的照片进行基于图像内容特征的二次聚类后，得到分类V1、分类V2和分类V3；对第一照片分类1的二次聚类的结果进行基于图像内容特征的类间相似度(比如为由小到大)排序，得到的结果为序列B：分类V1、分类V2、分类V3；对第一照片分类2的二次聚类的结果进行基于图像内容特征的类间相似度(对应为由小到大)排序，得到的结果为序列C：分类W3、分类W2、分类W1。由此，用各排序得到的结果对应替换排序前各相关第一照片分类在照片分类排序序列A(照片分类排序序列A为：第一照片分类1、第一照片分类3、第一照片分类2)中的位置，得到一个新的第一照片分类排序序列：分类V1、分类V2、分类V3、分类W3、分类W2、分类W1、第一照片分类2。至此，基于本方法对全部的待分类照片Q进行分类，得到所有待分类照片Q的一个分类序列：分类V1、分类V2、分类V3、分类W3、分类W2、分类W1、第一照片分类2。

需要说明的是，本发明中步骤S3’、S4和S5中所涉及的各图像内容特征，均可参照步骤S2中提取图像内容特征的方法进行实现。

本发明使用全连接层的输出作为图像内容特征，使得能够获取到所需的图像信息又不包含具体语义信息。

图2为本发明提供的照片分类系统的一个实施例。

参见图2，该照片分类系统200包括：

第一特征集提取模块201，用于提取各待分类照片的目标属性构成第一特征集；所述目标属性为待分类照片的拍摄时间或拍摄地点；

特征集有效性验证模块202，用于验证第一特征集是否有效；

第一特征集重提取模块203，用于在特征集有效性验证模块202的判断结果为否时，提取各待分类照片的图像内容特征构成第一特征集；

第一聚类模块204，用于在特征集有效性验证模块202的判断结果为是时或在第一特征集重提取模块203提取各待分类照片的图像内容特征构成第一特征集时，将最新得到的第一特征集作为输入进行聚类，将全部待分类照片划分为K类，得到K个第一照片分类；

第一排序模块205，用于对第一聚类模块204得到的K个第一照片分类进行排序，得到第一照片分类排序序列，其中：在第一聚类模块204中用于聚类的第一特征集由待分类照片的目标属性构成时，对所得到的K个第一照片分类按目标属性信息进行排序，得到所述第一照片分类进行排序；在第一聚类模块204中用于聚类的第一特征集由待分类照片的图像内容特征构成时，对所得到的K个第一照片分类进行基于图像内容特征的类间相似度排序，得到所述第一照片分类进行排序；

第二聚类模块206，用于对第一照片分类进行排序中照片数量大于预先设定的第一照片数量阈值的每一个第一照片分类，分别进行基于图像内容特征的二次聚类；

第二排序模块207，用于对第二聚类模块206中得到的每个第一照片分类的二次聚类的结果,分别进行基于图像内容特征的类间相似度排序，并用各排序得到的结果对应替换排序前各相关第一照片分类在第一照片分类排序序列中的位置。

可选地，作为本发明的一个实施例，第一聚类模块204和第二排序模块207中所涉及的类间相似度的度量方法为：余弦相似度或欧式距离相似度。

可选地，作为本发明的一个实施例，第二聚类模块206对第一照片分类进行排序中照片数量大于预先设定的第一照片数量阈值的每一个第一照片分类，分别进行基于图像内容特征的二次聚类，实现方法为：

步骤S41、对应统计每一个第一照片分类中照片的照片数量；

步骤S42、基于所统计的照片数量，对应判断各第一照片分类中的照片数量是否大于预先设定的第一照片数量阈值，对于判断结果为是的每一个第一照片分类，分别执行步骤S43；

步骤S43、对第一照片分类中的照片进行基于图像内容特征的聚类，该聚类为所述的二次聚类。

可选地，作为本发明的一个实施例，第一聚类模块204中K的计算公式为：

K＝min(N/th,P),

式中，P为用户选取的将要制作的电子相册/照片书的制作页数，th为用户选取的将要制作的电子相册/照片书所要使用到的每个照片排板模板上平均所能填充的照片的数量均值，N为用户上传的照片总数。

可选地，作为本发明的一个实施例，第一特征集提取模块提取各待分类照片的目标属性构成第一特征集，实现方法包括：

遍历各待分类照片；

提取每个遍历到的待分类照片的属性信息；

对每一个遍历到的待分类照片，分别判断其属性信息中是否存在拍摄时间信息/拍摄地点信息，并且：在判定为是时，将其属性信息中的拍摄时间信息/拍摄地点信息作为目标属性进行提取并标记为有效；在判定为否且在所述目标属性为拍摄时间时，将其对应的用户上传时间作为目标属性进行提取；在判定为否且在所述待分类照片为拍摄地点信息时，将预先设定的第一位置信息作为目标属性进行提取；

待提取到所有待分类照片的目标属性后，将所提取到的各待分类照片的目标属性构成所述的第一特征集。

可选地，作为本发明的一个实施例，特征集有效性验证模块验证第一特征集是否有效的方法为：

统计第一特征集提取模块中能够从属性信息中提取到被标记为有效的目标属性的照片的数量，记为N1；

计算所述N1在用户上传的全部照片中的占比R_info＝N1/N，其中，N为用户上传的全部照片的数量；

判断所述占比R_info是否大于预先设定的占比阈值：

若是，则判定第一特征集有效；

若否，则判定第一特征集无效。

可选地，作为本发明的一个实施例，所述预先设定的占比阈值的取值区间范围为[0.6,1)。

可选地，作为本发明的一个实施例，该照片分类系统中所涉及的图像内容特征，均采用预先设定的图像内容特征提取模型进行提取，该图像内容特征提取模型为改造后的图像分类网络模型；所述改造后的图像分类模型，为采用全连接层进行模型输出的图像分类网络模型。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种照片分类方法，其特征在于，包括步骤：

S1、提取各待分类照片的目标属性构成第一特征集；所述目标属性为待分类照片的拍摄时间或拍摄地点；

S12、验证第一特征集是否有效：

若是，则执行步骤S3；若否，则转而执行步骤S2；

S2、提取各待分类照片的图像内容特征构成第一特征集，之后执行步骤S3；

S3、将最新第一特征集作为输入进行聚类，将全部待分类照片划分为K类，得到K个第一照片分类；

S3’、对得到的K个第一照片分类进行排序，得到第一照片分类排序序列：

在步骤S3中用于聚类的第一特征集由待分类照片的目标属性构成时，对所得到的K个第一照片分类按目标属性信息进行排序；

在步骤S3中用于聚类的第一特征集由待分类照片的图像内容特征构成时，对所得到的K个第一照片分类进行基于图像内容特征的类间相似度排序；

S4、对照片数量大于预先设定的第一照片数量阈值的每一个第一照片分类，分别进行基于图像内容特征的二次聚类；

S5、对步骤S4中得到的每个第一照片分类的二次聚类的结果,分别进行基于图像内容特征的类间相似度排序，并用各排序得到的结果对应替换排序前各相关第一照片分类在第一照片分类排序序列中的位置。

2.根据权利要求1所述的照片分类方法，其特征在于，步骤S3和步骤S5中所涉及的类间相似度的度量方法为：余弦相似度或欧式距离相似度。

3.根据权利要求1所述的照片分类方法，其特征在于，所述步骤S4包括：

S41、对应统计每一个第一照片分类中照片的照片数量；

S42、基于所统计的照片数量，对应判断各第一照片分类中的照片数量是否大于预先设定的第一照片数量阈值，对于判断结果为是的每一个第一照片分类，分别执行步骤S43；

S43、对第一照片分类中的照片进行基于图像内容特征的聚类，该聚类为所述的二次聚类。

4.根据权利要求1所述的照片分类方法，其特征在于，步骤S3中K的计算公式为：

K＝min(N/th,P),

式中，P为用户选取的将要制作的电子相册/照片书的制作页数，th为用户选取的将要制作的电子相册/照片书所要使用到的每个照片排板模板上平均所能填充的照片的数量均值，N为用户上传的照片总数。

5.根据权利要求1所述的照片分类方法，其特征在于，所述步骤S1包括：

遍历各待分类照片；

提取每个遍历到的待分类照片的属性信息；

对每一个遍历到的待分类照片，分别判断其属性信息中是否存在拍摄时间信息/拍摄地点信息，并且：在判定为是时，将其属性信息中的拍摄时间信息/拍摄地点信息作为目标属性进行提取并标记为有效；在判定为否且在所述目标属性为拍摄时间时，将其对应的用户上传时间作为目标属性进行提取；在判定为否且在所述待分类照片为拍摄地点信息时，将预先设定的第一位置信息作为目标属性进行提取；

待提取到所有待分类照片的目标属性后，将所提取到的各待分类照片的目标属性构成所述的第一特征集。

6.根据权利要求1所述的照片分类方法，其特征在于，步骤S12中验证第一特征集是否有效的方法为：

统计步骤S1中能够从属性信息中提取到被标记为有效的目标属性的照片的数量，记为N1；

计算所述N1在用户上传的全部照片中的占比R_info＝N1/N，其中，N为用户上传的全部照片的数量；

判断所述占比R_info是否大于预先设定的占比阈值：

若是，则判定第一特征集有效；

若否，则判定第一特征集无效。

7.根据权利要求6所述的照片分类方法，其特征在于，所述预先设定的占比阈值的取值区间范围为[0.6,1)。

8.根据权利要求1所述的照片分类方法，其特征在于，步骤S3和步骤S5中所涉及的图像内容特征，均采用预先设定的图像内容特征提取模型进行提取，该图像内容特征提取模型为改造后的图像分类网络模型；所述改造后的图像分类模型，为采用全连接层进行模型输出的图像分类网络模型。

9.一种照片分类系统，其特征在于，包括步骤：

第一特征集提取模块，用于提取各待分类照片的目标属性构成第一特征集；所述目标属性为待分类照片的拍摄时间或拍摄地点；

特征集有效性验证模块，用于验证第一特征集是否有效；

第一特征集重提取模块，用于在特征集有效性验证模块的判断结果为否时，提取各待分类照片的图像内容特征构成第一特征集；

第一聚类模块，用于在特征集有效性验证模块的判断结果为是时或在第一特征集重提取模块提取各待分类照片的图像内容特征构成第一特征集时，将最新得到的第一特征集作为输入进行聚类，将全部待分类照片划分为K类，得到K个第一照片分类；

第一排序模块，用于对第一聚类模块得到的K个第一照片分类进行排序，得到第一照片分类排序序列，其中：在第一聚类模块中用于聚类的第一特征集由待分类照片的目标属性构成时，对所得到的K个第一照片分类按目标属性信息进行排序，得到所述第一照片分类进行排序；在第一聚类模块中用于聚类的第一特征集由待分类照片的图像内容特征构成时，对所得到的K个第一照片分类进行基于图像内容特征的类间相似度排序，得到所述第一照片分类进行排序；

第二聚类模块，用于对第一照片分类进行排序中照片数量大于预先设定的第一照片数量阈值的每一个第一照片分类，分别进行基于图像内容特征的二次聚类；

第二排序模块，用于对第二聚类模块中得到的每个第一照片分类的二次聚类的结果,分别进行基于图像内容特征的类间相似度排序，并用各排序得到的结果对应替换排序前各相关第一照片分类在第一照片分类排序序列中的位置。

10.根据权利要求9所述的照片分类系统，其特征在于，该照片分类系统中所涉及的图像内容特征，均采用预先设定的图像内容特征提取模型进行提取，该图像内容特征提取模型为改造后的图像分类网络模型；所述改造后的图像分类模型，为采用全连接层进行模型输出的图像分类网络模型。

Images