CN110245679A - 图像聚类方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像聚类方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110245679A
CN110245679A CN201910381241.8A CN201910381241A CN110245679A CN 110245679 A CN110245679 A CN 110245679A CN 201910381241 A CN201910381241 A CN 201910381241A CN 110245679 A CN110245679 A CN 110245679A
Authority
CN
China
Prior art keywords
clustered
reference object
image
face
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910381241.8A
Other languages
English (en)
Other versions
CN110245679B (zh
Inventor
张涛
王帅
陈亮
江彦涛
邵笑飞
杨沐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910381241.8A priority Critical patent/CN110245679B/zh
Publication of CN110245679A publication Critical patent/CN110245679A/zh
Application granted granted Critical
Publication of CN110245679B publication Critical patent/CN110245679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Abstract

本发明提供了一种图像聚类方法、装置、电子设备、计算机可读存储介质,该方法包括:获取多个待聚类图像中每个拍摄对象的属性信息;识别任意两个拍摄对象之间的相似度,其中,所述任意两个拍摄对象分属不同的待聚类图像;根据所述任意两个拍摄对象之间的相似度和所述每个拍摄对象的属性信息,对所述多个待聚类图像进行聚类处理。本发明由于聚类时参考了待聚类图像中拍摄对象的属性信息,从而能够辅助进行两个待聚类图像是否包括同一个拍摄对象的判断,进而确保属于同一个拍摄对象的不同图像可以较为准确的聚类,提升了图像聚类的准确度、降低了图像聚类的错误率。

Description

图像聚类方法、装置、电子设备及计算机可读存储介质
技术领域
本发明涉及信息处理技术领域,特别是涉及一种图像聚类方法、装置、电子设备及计算机可读存储介质。
背景技术
随着计算机技术的不断发展,移动终端拍照功能也越来越强大,用户拍摄的图像种类繁杂,为了方便图像的浏览和管理,相关技术中提供了图像的聚类方法。
具体而言,相关技术中主要通过对图片进行人脸特征的提取,通过人脸特征的比对来进行图片的聚类,聚类的目的在于将同一个人的图片聚类为同一组。但是,在实际应用中,相关技术中的聚类方法容易将同一个人的不同图像聚类到不同分组中,以及将不同人的不同图像聚类到同一个分组中。
因此,相关技术中的图像聚类方法往往存在着图像聚类错误率较高、聚类准确度较低的问题。
发明内容
本发明提供了一种图像聚类方法、装置、电子设备及计算机可读存储介质,以解决相关技术中的图像聚类方法所存在的图像聚类错误率较高、聚类准确度较低的问题。
为了解决上述问题,根据本发明的一个方面,本发明公开了一种图像聚类方法,包括:
获取多个待聚类图像中每个拍摄对象的属性信息;
识别任意两个拍摄对象之间的相似度,其中,所述任意两个拍摄对象分属不同的待聚类图像;
根据所述任意两个拍摄对象之间的相似度和所述每个拍摄对象的属性信息,对所述多个待聚类图像进行聚类处理。
根据本发明的另一方面,本发明还公开了一种图像聚类装置,包括:
获取模块,用于获取多个待聚类图像中每个拍摄对象的属性信息;
识别模块,用于识别任意两个拍摄对象之间的相似度,其中,所述任意两个拍摄对象分属不同的待聚类图像;
聚类模块,用于根据所述任意两个拍摄对象之间的相似度和所述每个拍摄对象的属性信息,对所述多个待聚类图像进行聚类处理。
根据本发明的又一方面,本发明还公开了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像聚类程序,所述图像聚类程序被所述处理器执行时实现如上述任意一项所述的图像聚类方法的步骤。
根据本发明的再一方面,本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有图像聚类程序,所述图像聚类程序被处理器执行时实现如上述任意一项所述的图像聚类方法中的步骤。
与现有技术相比,本发明包括以下优点:
本发明实施例通过识别分属不同待聚类图像的任意两个拍摄对象之间的相似度,以及获取该两个拍摄对象的属性信息,并结合该相似度和两组属性信息,来对多个待聚类图像进行聚类,由于聚类时参考了待聚类图像中拍摄对象的属性信息,从而能够辅助进行两个待聚类图像是否包括同一个拍摄对象的判断,进而确保包括同一个拍摄对象的不同图像可以较为准确的划分为一组,提升了图像聚类的准确度、降低了图像聚类的错误率。
附图说明
图1是本发明的一种图像聚类方法实施例的步骤流程图;
图2是本发明的另一种图像聚类方法实施例的步骤流程图;
图3是本发明的一种图像聚类装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明的一种图像聚类方法实施例的步骤流程图,具体可以包括如下步骤:
可选地,步骤101,获取待聚类图像中每个拍摄对象的特征信息;
其中,待聚类图像的数量为多个,这里的待聚类图像可以包括一个或多个拍摄对象,拍摄对象可以包括人脸或非人脸(例如车辆、建筑、动物、自然景观)。那么由于一个待聚类图像中拍摄对象的数量是比较灵活的,而每个拍摄对象都可以具有一组特征信息,因此,这里的待聚类图像具有至少一组特征信息,也就是说,一个待聚类图像中,拍摄对象的数量,与该待聚类图像所对应的特征信息的组数是相同的。以拍摄对象为人脸为例,一个待聚类图像所包括的人脸的数量,与该待聚类图像对应的人脸特征信息的组数是相同的。
其中,当拍摄对象为人脸时,可以通过将待聚类图像输入至预先经过训练的人脸检测模型而输出得到该待聚类图像中每个人脸的人脸特征信息;也可以是预先使用该人脸检测模型获取到待聚类图像中每个人脸的人脸特征信息并保存,本步骤101则从保存的人脸特征信息中直接获取到每个待聚类图像中每个人脸对应的人脸特征信息。
步骤102,获取多个待聚类图像中每个拍摄对象的属性信息;
可选地,当拍摄对象包括人脸时,则所述属性信息可以包括但不限于年龄信息,和/或,人脸角度信息。类似于步骤101的原理,这里的一个待聚类图像对应的属性信息的组数也是与该待聚类图像中的拍摄对象的数量一致的,且属性信息直接与拍摄对象相关联。例如某个待聚类图像包括2张人脸,则每张人脸具有一组属性信息,因此,该待聚类图像具有分别对应两个人脸的两组属性信息。
其中,本发明实施例对于步骤101和步骤102的执行顺序不做限制。
可选地,由于属性信息可以借助于拍摄对象的特征信息来识别,那么为了减少计算量,提升图像聚类效率,可以首先执行步骤101,然后,利用步骤101已经得到的待聚类图像中每个拍摄对象的特征信息,来识别该待聚类图像中每个拍摄对象的属性信息。
可选地,以拍摄对象为人脸为例,在获取属性信息时,例如获取年龄信息,则可以将待聚类图像中每个人脸的人脸特征信息输入到预先经过训练的年龄分类模型中,从而由年龄分类模型根据人脸特征信息输出该待聚类图像中每个人脸分别对应的年龄信息(例如10岁)。
可选地,每个拍摄对象的属性信息也可以是预先标注的,例如上述列举的年龄这一属性信息也可以是预先标注的。
可选地,以拍摄对象为人脸为例,在获取属性信息时,例如获取人脸角度信息,则可以将待聚类图像中每个人脸的人脸特征信息输入到预先经过训练的人脸角度识别模型中,从而由人脸角度识别模型根据人脸特征信息输出该待聚类图像中每个人脸分别对应的人脸角度信息。
示例性地,对于人脸的人脸角度,当其正看正前方时,则人脸角度为零度;也就是说,其人脸角度信息是相对于人脸正对正前方而言的。当然,也可以将人脸看向其他方向的角度作为零度。
可选地,每个拍摄对象的属性信息也可以是预先标注的,例如上述列举的人脸角度这一属性信息也可以是预先标注的。
步骤103,识别任意两个拍摄对象之间的相似度,其中,所述任意两个拍摄对象分属不同的待聚类图像;
可选地,在识别相似度时,可以利用步骤101中获取的每个拍摄对象的特征信息,来识别两个拍摄对象之间的相似度。
示例性地,在执行步骤103时,可以对多个待聚类图像的每个拍摄对象的特征信息进行遍历,识别分属两个待聚类图像的任意两个拍摄对象的两组特征信息之间的相似度。
在识别相似度时,需要识别两个拍摄对象之间的相似度,且,该两个拍摄对象分属于不同的待聚类图像,因此,若一个待聚类图像包括多个拍摄对象,即对应有多组特征信息,那么该待聚类图像的多组特征信息需要分别与其他每个待聚类图像的每组特征信息进行相似度的计算。
以拍摄对象包括人脸为例进行说明,例如多个待聚类图像包括图像1、图像2和图像3,其中,图像1、图像2和图像3分别包括1张人脸、2张人脸、1张人脸。因此,图像2具有分别对应该2张人脸的两组人脸特征信息,那么这里在识别相似度时,需要对不同图像之间的任意两组人脸特征信息进行相似度的识别,识别的相似度具体包括:
图像1的人脸特征信息11与图像2的人脸特征信息21之间的相似度;
图像1的人脸特征信息11与图像2的人脸特征信息22之间的相似度;
图像1的人脸特征信息11与图像3的人脸特征信息31之间的相似度;
图像2的人脸特征信息21与图像3的人脸特征信息31之间的相似度;
图像2的人脸特征信息22与图像3的人脸特征信息31之间的相似度。
步骤104,根据所述任意两个拍摄对象之间的相似度和所述每个拍摄对象的属性信息,对所述多个待聚类图像进行聚类处理。
其中,可以根据分属两个待聚类图像的任意两个拍摄对象之间的特征信息的相似度,以及该两个拍摄对象的两组属性信息,来确定是否对该两个待聚类图像划分为一组,从而实现对多个待聚类图像进行聚类处理的目的,其中,聚类后的每一组内的各个已聚类图像均包括同一个拍摄对象。
例如拍摄对象为人脸,则聚类后的同一个组内包括同一个用户的人脸。
也就是说,本发明实施例在判断两个待聚类图像之间是否包括同一个拍摄对象时,不仅需要考虑两个拍摄对象之间的相似度,还需要考虑该两个拍摄对象的两组属性信息,通过两种信息的综合评价,来确认分属两个待聚类图像的两个拍摄对象是否是同一个拍摄对象,若是,则将该两个待聚类图像划分为一组。
以拍摄对象为人脸为例,当一个待聚类图像中包括多个人脸时,那么该待聚类图像可能会被划分到多个分组中。
继续以上述举例来说明,例如图像1中的人脸为用户1,图像2中的两个人脸分别为用户1和用户3,图像3中的人脸为用户3;那么经过步骤104,可以将图像1和图像2划分为一组(对应于用户1),以及将图像2和图像3划分为一组(对应于用户3)。
借助于本发明上述实施例的技术方案,本发明实施例通过识别分属不同待聚类图像的任意两个拍摄对象之间的相似度,以及获取该两个拍摄对象的属性信息,并结合该相似度和两组属性信息,来对多个待聚类图像进行聚类,由于聚类时参考了待聚类图像中拍摄对象的属性信息,从而能够辅助进行两个待聚类图像是否包括同一个拍摄对象的判断,进而确保包括同一个拍摄对象的不同图像可以较为准确的划分为一组,提升了图像聚类的准确度、降低了图像聚类的错误率。
可选地,在执行步骤104时,如图2所示,可以通过S201~S205来实现:
S201,根据所述任意两个拍摄对象各自的属性信息,判断是否需要调节用于识别所述两个拍摄对象的参数,其中,所述参数包括所述相似度或预设相似度阈值;
以属性信息为年龄信息为例进行说明,由于同一个用户在不同年龄段之间,人脸特征会存在较大的变化,例如婴幼儿时期、青少年时期、老年时期,在这三个时期同一个人的人脸特征会存在较大的变化,那么如果采用相关技术中的图像聚类方法,以人脸特征之间的相似度为依据,与一个相似度阈值进行比较,来判断两个人脸是否是同一个用户的人脸,则会导致同一用户的不同时期的待聚类图像被划分到不同分组的情况,从而导致聚类错误的问题。
为了解决上述问题,在本发明实施例中,可以根据待聚类图像中拍摄对象的属性信息,来判断是否需要对步骤103识别到的两个拍摄对象之间的相似度进行调节,或者,判断是否需要对预先配置的相似度阈值进行调节。从而能够对识别到的相似度作一定程度的校正,或者,在判断对两个待聚类图像是否进行聚类时,对本次使用的预设相似度阈值进行调整。
与年龄信息类似,待聚类图像中人脸的角度不同,会导致获取到的人脸特征信息的完整度不同,那么获取到的人脸特征信息是否足够全面,也会影响两组人脸特征信息之间的相似度,因此,还可以根据所述两组人脸的两组人脸角度信息,来判断是否需要对预设相似度阈值或者所识别到的相似度进行调节。
若是,即在需要调节所述参数的情况下,则S202,根据所述任意两个拍摄对象各自的属性信息,对所述参数进行调节;
S203,若所述参数为所述相似度,则根据预设相似度阈值和调节后的相似度,对所述多个待聚类图像进行聚类处理;
当所述参数为所述相似度时,若调节后的相似度大于或等于所述预设相似度阈值,则将所述两个拍摄对象所属的所述两个待聚类图像划分为一组;相反,若调节后的相似度小于所述预设相似度阈值,则不对将所述两个拍摄对象所属的所述两个待聚类图像进行任何处理,仍将该两个待聚类图像保存在当前的待聚类分组中,等待该两个拍摄对象和其他拍摄对象之间的相似度的分析结果。
S204,若所述参数为预设相似度阈值,则根据相似度和调节后的预设相似度阈值,对所述多个待聚类图像进行聚类处理;
其中,当所述参数为所述预设相似度阈值时,若所述相似度大于或等于调节后的预设相似度阈值,则将所述两个拍摄对象所属的所述两个待聚类图像划分为一组;相反,当所述参数为所述预设相似度阈值时,若所述相似度小于调节后的预设相似度阈值,则不对所述两个待聚类图像进行任何处理,仍将所述两个拍摄对象所属的两个待聚类图像保存在当前的待聚类分组中,等待该两个拍摄对象和其他拍摄对象之间的相似度的分析结果。
可选地,若否,即需要调节所述参数的情况下,则执行S205,若所述相似度大于所述预设相似度阈值,则将所述两个待聚类图像划分为一组。
以拍摄对象为人脸为例,若两个人脸的年龄差异较小,且两个人脸的人脸角度不会导致人脸特征的较多缺失,那么则不需要对步骤103识别的相似度或预设相似度阈值进行进一步矫正,可以直接执行S205,判断步骤103识别到的相似度是否大于预设相似度阈值,若是,则说明两个人脸较为相似,可以将该两个人脸所分属的两个待聚类图像划分为一组。
这样,本发明实施例根据分属不同待聚类图像的两个拍摄对象的两组属性信息,来对两个拍摄对象之间的相似度或者预设相似度阈值进行调节,当参数为所述相似度时,则在调节后的相似度大于或等于所述预设相似度阈值,则将两个待聚类图像划分为一组;或,当所述参数为所述预设相似度阈值时,则若所述相似度大于或等于调节后的预设相似度阈值,则将所述两个待聚类图像划分为一组,使得同一拍摄对象的不同待聚类图像可以聚类为一组,提升了图像聚类的准确度。借助于本发明实施例的技术方案,能够基于两个拍摄对象的属性信息,来对相似度或预设相似度阈值进行校正,从而提升了图像聚类的准确度,降低了图像聚类的错误率。
可选地,在执行上述S202时,可以根据所述任意两个拍摄对象各自的属性信息,获取所述参数的调节量;并按照所述调节量,对所述参数进行调节。
以拍摄对象为人脸为例,两个人脸的两组年龄信息对两个人脸之间的相似度影响越大,则对参数的调节量越大;另外,两个人脸中人脸角度信息对识别到的人脸特征信息的完整度影响越大,则对参数的调节量也是越大的。
可以理解的是,由于单独使用人脸特征信息之间的相似度来评价两个人脸之间的相似程度,存在一定的误差,因此,需要参考该两个人脸的两组年龄信息和/或两组人脸角度信息,来对该相似度或预设相似度阈值进行校正,从而较为准确的判断两个人脸是否足够相似。
可选地,可以根据所述参数,来识别调节方向;
其中,当所述参数为所述相似度时,则所述调节方向为增加,当所述调节对象为预设相似度阈值时,则所述调节方向为降低。
具体而言,当参数为相似度时,可以对步骤103识别到的相似度增加该调节量;当参数为所述预设相似度阈值时,则可以对本次判断使用的预设相似度阈值减少所述调节量,从而便于执行上述S203和S204。
也就是说,在参数为预设相似度阈值时,调节后的预设相似度阈值只用于本次两个拍摄对象所分属的两个待聚类图像是否划分为一组的判断上,对于另外两个拍摄对象所分属的两个待聚类图像是否聚类的判断操作上,则需要根据该另外两个拍摄对象的两组属性信息以及该两个拍摄对象之间的相似度,来对原始的预设相似度阈值进行重新调节。换句话说,对于每次调节后的预设相似度阈值,本发明实施例并不对其进行保存,而只保存原始的预设相似度阈值,每次的预设相似度阈值的调节都是针对原始的预设相似度阈值进行调节,且调节后的预设相似度阈值只用于单次划分为一组的判断依据。
本发明实施例的技术方案利用该调节量和调节方向来对相似度或预设相似度阈值进行调节,最后,再基于调节后的结果来判断是否对所述不同待聚类图像划分为一组;而在确定不需要调节相似度或预设相似度阈值的情况下,则可以直接使用所述相似度和所述预设相似度阈值,来判断是否将所述两个待聚类图像划分为一组。借助于本发明实施例的技术方案,能够基于两个拍摄对象的属性信息,来辅助进行两个拍摄对象是否足够相似的判断,从而提升了图像聚类的准确度,降低了图像聚类的错误率。
可选地,在一个实施例中,所述每个拍摄对象的属性信息包括所述每个拍摄对象的年龄,所述拍摄对象为人脸。
那么在执行S201时,则可以判断任意两个人脸的年龄的差值是否大于预设年龄阈值;若是,则判定需要调节所述参数;若否,则判定不需要调节所述参数;
具体而言,发明人在实现本发明的过程中发现,当同一个人的年龄差异较小的两个人脸的相貌差异较小,不会存在误聚类的问题。但是,当同一个人的两个人脸所分处的两个年龄之间差异较大时,由于人的相貌会发生较大的变化,从而导致计算机认为两个人脸不是同一个人的人脸,使得两个人脸不被划分到同一分组中;那么为了解决该问题,在本发明实施例中,可以根据步骤102获取到的属性信息,对应于本实施例中的两个人脸的两组年龄信息,来判断两组年龄信息的差值是否大于预设年龄阈值(例如20岁),若是,则表示需要对所述相似度或预设相似度阈值进行调节;若否,则表示不需要对所述相似度或预设相似度阈值进行调节。
那么在执行上述根据所述任意两个拍摄对象各自的属性信息,获取所述参数的调节量的步骤时,也就是说,为了依据两个人脸的两组年龄信息,来获取参数的调节量,则可以通过S301~S303来实现:
S301,根据预先配置的年龄段与调节量的第一对应关系,识别所述两个人脸的年龄在所述第一对应关系中分别命中的目标年龄段;
其中,用于检测人脸特征信息的人脸检测模型,与预设相似度阈值、所述第一对应关系相关,换句话说,该预设相似度阈值的具体取值,以及所述第一对应关系中每个年龄段所对应的调节量的具体取值,都是和人脸检测模型的人脸特征的检测精准度相关的。
例如以1000张人脸图像训练得到的人脸检测模型,使用该人脸检测模型进行图像的人脸特征信息的检测识别,则预设相似度阈值为80;以10000张人脸图像训练后得到的人脸检测模型,则预设相似度阈值为90。类似的,上述第一对应关系中每个年龄段对应的调节量也是与人脸检测模型对人脸特征信息的检测精准度存在直接关系的。
此外,该第一对应关系可以为一一对应关系。
示例地,该第一对应关系包括:0~3岁对应的调节量为6;4~11岁对应的调节量为2。其中,该第一对应关系中的调节量可以为相似度的调节量,也可以为预设相似度阈值的调节量。
例如待聚类图像1的人脸1的年龄信息为3岁,待聚类图像2的人脸2的年龄信息为24岁,二者年龄差值为21(大于20),其中,3岁的年龄命中了该第一对应关系中的0~3岁年龄段。
此外,在配置第一对应关系中的年龄段时,配置的年龄段可以为同一个人在该年龄段的相貌差异较小的一个年龄段,因此,优选地,所述第一对应关系中任意一个年龄段的最大年龄差值小于所述预设年龄阈值,这样也可以使得上述两组年龄信息不会同时命中同一个目标年龄段。例如对应于儿童的0~3岁,对应于少年的4~11岁,对应于青年的12岁~17岁,对应于成年的18岁~40岁,对应于老年的70岁以上。这样,可以避免相貌差异较大的两个年龄的人脸对应的调节量是相同的情况,从而影响相似度或预设相似度阈值的准确调节。
可选地,所述第一对应关系中不同年龄段之间的年龄不同,也就是说,第一对应关系中的不同年龄段之间不存在重复的年龄,这样可以确保一个年龄在第一对应关系中只对应有一个调节量,而非多个调节量,从而避免造成对参数的调节紊乱的问题。
当然也并不要求不同年龄段之间是年龄连续的,例如18~40岁与70岁以上就是年龄间断的。
此外,在对第一对应关系中的每个年龄段设置对应的调节量时,该年龄段的人的脸部特征与成年人(一般是18至60岁这个年龄段)的脸部特征的差异越大,则该年龄段对应的调节量的数值越大。参照上述示例,0~3岁的幼儿和成年人之间的长相差异要比4~11岁的儿童和成年人之间的长相差异大很多,因此,0~3岁对应的调节量为6,大于4~11岁对应的调节量为2。
另外,关于第一对应关系中的调节量的单位设置上,该调节量可以是上述示例中所列举的具体数值,例如调节量为2,或调节量为6;也可以预先设置一个基准数值,那么该第一对应关系中的调节量为基准数值的倍数。例如基准数值为2,则0~3岁对应的调节量为3倍,4~11岁对应的调节量为1倍。
此外,S301中命中的目标年龄段可以是一个或两个,由于年龄信息为两组,那么如果每组年龄信息均命中至该第一对应关系,则该目标年龄段的数量可以是两个。
例如,第一对应关系包括:0~3岁对应的调节量为6;4~11岁对应的调节量为2;70岁以上对应的调节量为4;而上述人脸1的年龄信息为3岁,上述人脸2的年龄信息为80岁,显然,二者的年龄差在20岁以上,因此,分别命中了两个目标年龄段,分别为0~3岁和70岁以上,所以,S302中的第一目标调节量包括6和4。
S302,根据所述第一对应关系,获取与所述目标年龄段对应的第一目标调节量;
其中,目标年龄段与第一目标调节量的数量一致,因此,当目标年龄段为多个时,则第一目标调节量也可以是多个。
S303,根据所述第一目标调节量,获取所述参数的调节量;
可选地,当第一目标调节量的数量为一个时,则可以将该第一目标调节量作为参数的调节量;而当第一目标调节量的数量为两个时,则可以对两个第一目标调节量进行预设数学运算,来得到该参数的调节量。该预设数学运算包括但不限于加法运算(即将两个所述第一目标调节量之和作为所述参数的调节量)、乘法运算等累计运算。
例如待聚类图像1的人脸1的年龄信息为3岁,待聚类图像2的人脸2的年龄信息为24岁,则年龄信息为3岁在上述举例的第一对应关系中命中的调节量为6,而人脸1和人脸2的人脸特征信息的相似度例如为85,预设相似度阈值为90,则按照传统技术中只利用人脸特征信息进行聚类的方法,则85小于90,表示人脸1和人脸2不是同一个人,二者不会划分为一组,会存在聚类错误的情况。
但是在本发明实施例中,需要结合两个人脸的年龄信息,而对预设相似度阈值或者计算得到的相似度进行调节,例如参数为相似度,则可以将85增加6,得到91,那么调节后的相似度显然大于预设相似度阈值90,因此,可以将待聚类图像1和待聚类图像2划分为一组,表示二者包括同一个人的人脸。再如,参数为预设相似度阈值,则可以将90减去6,得到调节后的预设相似度阈值为84,则相似度85大于该调节后的预设相似度阈值84,因此,可以将待聚类图像1和待聚类图像2划分为一组,表示二者包括同一个人的人脸。
需要说明的是,如果参数为预设相似度阈值,那么该调节只是单次有效,那么再对例如待聚类图像1的人脸1和待聚类图像3的人脸3进行是否划分为一组的判断时,例如两个人脸的相似度为80,确定的参数为相似度,调节量为5,则将80加5,得到调节后的相似度85,其比较的仍旧是原本的预设相似度阈值90,而非上一次调节后的预设相似度阈值84。
优选地,可以将参数设置为相似度,相较于将参数设置为预设相似度阈值,可以避免每次对预设相似度阈值进行调节和恢复,以便降低系统开销。
在两个人脸的年龄差异较大时,则往往会存在因为同一个用户的在不同年龄段的长相差异导致将两个人脸所属的两个待聚类图像聚类错误的问题,为了解决该问题,在本发明实施例中,若判定两个人脸的两组年龄信息的差值小于或等于预设年龄阈值,则在属性信息仅包括年龄信息的情况下,可以按照正常的流程进行处理,即,将计算得到的相似度与预设相似度阈值进行比较,来判断二值是否是同一个人的人脸,从而判断是否划分为一组;若判定两个人脸的两组年龄信息的差值大于预设年龄阈值,则确定可能需要对计算得到的相似度或预设相似度阈值进行调节,那么在确定是否需要调节时,则可以在预设的年龄段与调节量的第一对应关系中查找是否存在与上述两组年龄信息中的任意一组年龄信息匹配的目标年龄段,如果不存在则说明虽然二者年龄差异较大,但是这两个年龄的同一个人的长相差异较小,因此,按照正常的流程进行处理;如果存在,则说明需要对参数进行调节,并获取目标年龄段对应的第一目标调节量,基于该第一目标调节量来对相似度或预设相似度阈值进行调节,从而能够辅助进行人脸特征信息的相似度的校正,提升对图像聚类的准确度,能够较为准确的将同一个人的不同年龄段的人脸都划分在同一个分组中。
可选地,所述拍摄对象为人脸,所述每个拍摄对象的属性信息包括所述每个拍摄对象的人脸角度;
那么在执行S201时,则可以根据预先配置的角度范围与调节量的第二对应关系,判断任意两个人脸的人脸角度是否在所述第二对应关系中命中目标角度范围;若是,则判定需要调节所述参数;若否,则判定不需要调节所述参数。
具体而言,发明人在实现本发明的过程中发现,当人脸的角度相对正视前方的角度较大时,例如高抬头,则会造成该人脸中部分的人脸特征的缺失,那么在使用这种缺失部分人脸特征信息的人脸和其他人脸计算人脸特征信息的相似度时,则会大大降低计算得到的相似度的准确度,即便是同一个人的两个人脸,但是因为其中一个人脸的部分人脸特征信息的缺失,也会导致二者计算出来的相似度较低,从而导致不会将该两个人脸所属的两个待聚类图像划分为在一组的问题。那么为了解决该问题,在本发明实施例中,可以根据步骤102获取到的属性信息,对应于本实施例中任意两个人脸的两组人脸角度信息,以及预先配置的角度范围与调节量的第二对应关系,来判断所述两个人脸的两组人脸角度信息,是否在所述第二对应关系中命中有角度范围;若是,则判定需要调节所述参数;若否,则判定不需要调节所述参数。
其中,用于检测人脸特征信息的人脸检测模型,与预设相似度阈值、所述第二对应关系相关,换句话说,该预设相似度阈值的具体取值,以及所述第二对应关系中的每个角度范围,以及每个角度范围所对应的调节量的具体取值,都是和人脸检测模型的人脸特征的检测精准度相关的。
例如以1000张人脸图像训练得到的人脸检测模型,使用该人脸检测模型进行图像的人脸特征信息的检测识别,则预设相似度阈值为80;以10000张人脸图像训练后得到的人脸检测模型,则预设相似度阈值为90。类似的,上述第二对应关系中每个角度范围、以及每个角度范围对应的调节量也是与人脸检测模型对人脸特征信息的检测精准度存在直接关系的。
此外,该第二对应关系可以为一一对应关系。
其中,第二对应关系中的角度范围为缺失小部分人脸特征信息,且又没有缺失大全部人脸特征信息的角度范围。示例地,该第二对应关系包括:30度~45度对应的调节量为2;46度~60度对应的调节量为4。
可选地,所述第二对应关系中不同角度范围之间的角度不同,也就是说,所述第二对应关系中多个角度范围之间不存在重复的角度,这样可以确保一个角度在第二对应关系中只对应有一个调节量,而非多个调节量,从而避免造成对参数的调节紊乱的问题。
当然也并不要求不同角度范围之间是数值连续的。
此外,在对第二对应关系中的每个角度范围设置对应的调节量时,该角度范围的人脸特征相较于人脸看正前方的零度角度的人脸特征信息,缺失越多,则该角度范围对应的调节量的数值越大。参照上述示例,30度~45度的人脸所缺失的人脸特征信息要少于46度~60度的人脸所述缺失的人脸特征信息,因此,46度~60度对应的调节量为4,大于30度~45度对应的调节量2。
另外,关于第一对应关系中的调节量的单位设置上,该调节量可以是上述示例中所列举的具体数值,例如调节量为2,或调节量为4;也可以预先设置一个基准数值,那么该第二对应关系中的调节量为基准数值的倍数。例如基准数值为2,则30度~45度对应的调节量为1倍,46度~60度对应的调节量为2倍。
另外,对于第一对应关系和第二对应关系而言,二者的基准数值可以不同,例如一个是2,一个是3。
此外,上述命中的目标角度范围可以是一个或两个,由于人脸角度信息为两组,那么如果每组年龄信息均命中至该第二对应关系,则该目标角度范围的数量可以是两个。
例如,该第二对应关系包括:30度~45度对应的调节量为2;46度~60度对应的调节量为4。待聚类图像1的人脸1的人脸角度信息为30度,待聚类图像2的人脸2的人脸角度信息为50度。因此,两组人脸角度信息分别命中了两个目标角度范围,分别为30度~45度和46度~60度,所以,S401中的第二目标调节量包括2和4。
那么在执行所述根据所述任意两个拍摄对象各自的属性信息,获取所述参数的调节量的步骤时,则可以通过S401~S402来实现:
S401,根据所述第二对应关系,获取与所述目标角度范围对应的第二目标调节量;
其中,目标角度范围与第二目标调节量的数量一致,因此,当目标角度范围为多个时,则第二目标调节量也可以是多个。
S402,根据所述第二目标调节量,获取所述参数的调节量;
可选地,当所述第二目标调节量的数量为一个时,则将所述第二目标调节量作为所述参数的调节量;当所述第二目标调节量的数量为两个时,则可以对两个第二目标调节量进行预设数学运算,来得到该参数的调节量。该预设数学运算包括但不限于加法运算(即将两个所述第二目标调节量之和作为所述参数的调节量)、乘法运算等累计运算。
例如,该第二对应关系包括:30度~45度对应的调节量为2;46度~60度对应的调节量为4。待聚类图像1的人脸1的人脸角度信息为30度,待聚类图像2的人脸2的人脸角度信息为50度。而人脸1和人脸2的人脸特征信息的相似度例如为85,预设相似度阈值为90,则按照相关技术中只利用人脸特征信息进行聚类的方法,则85小于90,表示人脸1和人脸2不是同一个人,二者不会划分为一组。
但是在本发明实施例中,需要结合两个人脸的人脸角度信息,而对预设相似度阈值或者计算得到的相似度进行调节,因此,两组人脸角度信息分别命中了两个目标角度范围,分别为30度~45度和46度~60度,那么该两个目标角度范围在第二对应关系中命中的参数的调节量为2+4=6。
例如参数为相似度,则可以将85增加6,得到91,那么调节后的相似度显然大于预设相似度阈值,因此,可以将待聚类图像1和待聚类图像2进行聚类,表示二者包括同一个人的人脸。再如,参数为预设相似度阈值,则可以将90减去6,得到调节后的预设相似度阈值为84,则相似度85大于该调节后的预设相似度阈值84,因此,可以将待聚类图像1和待聚类图像2进行聚类,表示二者包括同一个人的人脸。
需要说明的是,如果参数为预设相似度阈值,那么该调节只是单次有效,那么再对例如待聚类图像1的人脸1和待聚类图像3的人脸3进行是否聚类的判断时,例如两个人脸的相似度为80,确定的参数为相似度,调节量为5,则将80加5,得到调节后的相似度85,其比较的仍旧是原本的预设相似度阈值90,而非上一次调节后的预设相似度阈值84。
优选地,可以将参数设置为相似度,相较于将参数设置为预设相似度阈值,可以避免每次对预设相似度阈值进行调节和恢复,以便降低系统开销。
在人脸缺失部分人脸特征信息时,则往往会存在同一个用户的两个人脸所属的两个待聚类图像没有被划分为一组的问题,为了解决该问题,在本发明实施例中,若判定两个人脸的两组人脸角度信息中是否存在任意一个人脸角度信息命中了预设的角度范围调节量的第二对应关系,若否,则在属性信息仅包括人脸角度信息的情况下,可以按照正常的流程进行处理,即,将计算得到的相似度与预设相似度阈值进行比较,来判断二者是否是同一个人的人脸,从而进行聚类处理;若是,则确定需要对计算得到的相似度或预设相似度阈值进行调节,那么在确定调节量时,则可以在预设的角度范围与调节量的第二对应关系中查找与目标角度范围匹配的第二目标调节量,基于该第二目标调节量来对相似度或预设相似度阈值进行调节,从而能够辅助进行人脸特征信息的相似度的校正,提升对图像聚类的准确度,能够较为准确的将同一个人的缺少少量人脸特征信息的人脸都划分在同一个分组中。
可选地,当属性信息包括年龄信息以及人脸角度信息时,则可以将上述属性信息包括年龄的实施例与属性信息包括人脸角度的实施例相结合,来构成一个新的实施例。而在本实施例中,在获取参数的调节量时,则可以将全部第一目标调节量和全部第二目标调节量作预设数学运算(例如求和运算、乘法运算等),来得到参数的调节量。
这样,本发明实施例的方法则可以结合进行相似度比较的两个人脸的年龄信息以及人脸角度信息,来综合地对相似度或预设相似度阈值进行调节纠正,从而便于准确的图像聚类。
可选地,所述拍摄对象为人脸,所述每个拍摄对象的属性信息包括每个人脸的性别信息;
可选地,在获取待聚类图像中每个人脸的性别信息时,可以将待聚类图像中每个人脸的人脸特征信息输入到预先经过训练的性别分类模型,来识别待聚类图像中每个人脸对应的性别信息。
可选地,该待聚类图像中每个人脸的性别信息也可以是预先标注的。
在执行步骤103时,可以按照所述每个人脸的所述性别信息,将所述多个待聚类图像划分为两个待聚类分组;对所述两个待聚类分组,分别识别每个待聚类分组中分属不同的待聚类图像的任意两个人脸之间的相似度;
示例性地,由于性别信息需要借助于待聚类图像中每个人脸的人脸特征信息来识别,那么为了减少计算量,提升图像聚类效率,可以首先执行步骤101,然后,利用步骤101已经得到的待聚类图像中每个人脸的人脸特征信息,来识别该待聚类图像中每个人脸对应的性别信息。
其中,当一个待聚类图像包括多个人脸,且多个人脸的性别不同时,则该待聚类图像可以分别划分在男生组和女生组,所以,该两个待聚类分组之间可以包括相同的待聚类图像,其中,该相同的待聚类图像包括男生的人脸和女生的人脸。
然后,可以对所述两个待聚类分组,分别识别每个待聚类分组中任意两个人脸的两组人脸特征信息之间的相似度。
其中,由于男生的人脸和女生的人脸一定是不同用户的图像,因此,性别不同的两个待聚类图像不可以聚类到同一用户的分组中,因此,在实施例中,可以对依据性别信息而分类后的两个待聚类分组,分别执行识别待聚类分组中任意两个人脸的两组人脸特征信息之间的相似度的步骤。
那么在执行步骤104时,则可以根据同一待聚类分组中所述任意两个人脸之间的相似度和所述两个人脸各自的属性信息,判断是否将所述两个人脸所属的两个待聚类图像归为一类。
由于不同性别的两个人也会存在长相相近,相似度较高的情况(例如亲戚),那么为了避免相关技术中单独使用人脸特征信息进行图像的聚类操作时的聚类错误率较高的情况,在本发明实施例中,在利用相似度和拍摄对象的属性信息,来对多个待聚类图像进行聚类之前,首先获取每个待聚类图像中每个人脸的性别信息,并按照性别信息来对多个待聚类图像进行初始的分组,得到两个待聚类分组,然后,相互独立的对每个待聚类分组内的待聚类图像进行聚类,从而可以在一定程度上避免将性别不同但是样貌相似的两个待聚类图像划分为属于同一个用户的一组的情况,有效的提升了图像聚类的准确度。
可选地,在执行步骤101之前,根据本发明实施例的方法还可以包括:
对多个待聚类图像进行人脸检测;
由于本发明实施例的聚类方法优选用于对人脸的聚类,因此,可以对需要聚类的每个图像,即每个待聚类图像,进行人脸的检测,检测每个待聚类图像的拍摄对象是否包括人脸。
在进行人脸检测时,可以使用预先经过训练的人脸检测模型来检测待聚类图像中是否包括人脸特征,如果包括人脸特征,则该人脸检测模型可以输出该待聚类图像中每个人脸的人脸特征信息。
可选地,根据本发明实施例的方法还可以包括:
将检测到的人脸特征信息与待聚类图像中的对应人脸相关联;
并将关联后的人脸特征信息写入至缓存。
例如待聚类图像包括3个人脸,则对该待聚类图像检测到的人脸特征信息包括与ID1关联的人脸特征信息1(对应于人脸1)、与ID2关联的人脸特征信息2(对应于人脸2)、与ID3关联的人脸特征信息3(对应于人脸3)。
通过对待聚类图像中的人脸特征信息进行缓存,并在缓存时与待聚类图像中的人脸相关联(例如赋予标识信息),那么在执行步骤101获取待聚类图像中每个人脸的人脸特征信息时,则不需要实时的使用人脸检测模型来识别人脸特征信息,而可以直接从缓存中获取待聚类图像中每个人脸对应的人脸特征信息。此外,由于每个待聚类图像的人脸特征信息存储在缓存中,而非写入到文件中,那么在进行图像聚类时,则无需每次从文件中读取人脸特征信息来进行相似度的识别,提升了聚类效率。
那么在执行步骤101时,则可以针对检测到人脸特征信息的待聚类图像,获取待聚类图像中每个人脸的人脸特征信息;
可选地,可以从缓存中获取待聚类图像中每个人脸的人脸特征信息。
可选地,在对多个待聚类图像进行人脸检测之后,根据本发明实施例的方法还可以包括:针对未检测到人脸的待聚类图像划分为一组,得到无人脸分组。
举例来说,例如移动终端的相册中包括100张待聚类图像,针对80张图像检测到了人脸特征信息,但是有20张图像未检测到人脸特征信息,则说明这20张图像不包括人脸,因此,其不需要参与人脸聚类,可以将未检测到人脸特征信息的待聚类图像聚类为一组,称作无人脸分组。而随着移动终端的后续使用,用户在移动终端的相册应用中存储的图像越来越多,例如本次聚类后,过了预设时间段后需要再次聚类时,该相册中已经包括150张图像,那么再次对相册中的图像进行聚类时,为了减少人脸特征信息的获取的计算量,可以从这150张图像中过滤掉上次识别到的无人脸分组中的20张图像,从而也不需要对该20张图像进行人脸的聚类,而只需要对新增加的50张图像结合已聚类的80张图像对应的各个分组,来进行下一轮的图像聚类。
需要说明的是,例如第一次聚类时,80张图像聚类为4组,每组20张图像,则在增加了50张图像后,在进行第二次聚类时,可以从4组已聚类的分组中分别选取预设数量的4组图像,利用该4组图像和50张图像进行本发明上述实施例的聚类方法的聚类,从而便于将新增加的50张图像中属于已聚类分组中的图像,能够聚类到已聚类分组中,并降低计算量。
这样,本发明实施例通过将未检测到人脸特征信息的待聚类图像聚类为一组无人脸分组,那么在下次进行图像的聚类分组时,则可以不再对待聚类分组中的图像进行聚类操作,降低聚类任务量。
可选地,根据本发明实施例的方法还可以包括:
保存所述多个待聚类图像中每个拍摄对象的特征信息以及每个拍摄对象的属性信息。
其中,可以保存多个待聚类图像中每个拍摄对象的特征信息以及每个拍摄对象的属性信息至文件中,这样,当需要进行下一次的聚类操作时,则可以使用保存的上述信息,来与新增加的图片的特征信息进行比对从而进行聚类,而无需重复对待聚类分组中的特征信息和属性信息的获取,降低系统计算量,节省了聚类时间。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
与上述本发明实施例所提供的方法相对应,参照图3,示出了本发明一种图像聚类装置实施例的结构框图,具体可以包括如下模块:
获取模块501,用于获取多个待聚类图像中每个拍摄对象的属性信息;
识别模块502,用于识别任意两个拍摄对象之间的相似度,其中,所述任意两个拍摄对象分属不同的待聚类图像;
聚类模块503,用于根据所述任意两个拍摄对象之间的相似度和所述每个拍摄对象的属性信息,对所述多个待聚类图像进行聚类处理。
可选地,所述聚类模块503包括:
第一判断子模块,用于根据所述任意两个拍摄对象各自的属性信息,判断是否需要调节用于识别所述两个拍摄对象的参数,其中,所述参数包括所述相似度或预设相似度阈值;
调节子模块,用于在需要调节所述参数的情况下,根据所述任意两个拍摄对象各自的属性信息,对所述参数进行调节;
第一聚类子模块,用于若所述参数为所述相似度,则根据预设相似度阈值和调节后的相似度,对所述多个待聚类图像进行聚类处理;
第二聚类子模块,用于若所述参数为预设相似度阈值,则根据相似度和调节后的预设相似度阈值,对所述多个待聚类图像进行聚类处理。
可选地,所述调节子模块包括:
第一获取单元,用于在需要调节所述参数的情况下,根据所述任意两个拍摄对象各自的属性信息,获取所述参数的调节量;
调节单元,用于按照所述调节量,对所述参数进行调节。
可选地,所述第一聚类子模块,还用于当所述参数为所述相似度时,若调节后的相似度大于或等于预设相似度阈值,则将所述两个拍摄对象所属的两个待聚类图像归为一类;
所述第二聚类子模块,还用于当所述参数为预设相似度阈值时,若相似度大于或等于调节后的预设相似度阈值,则将所述两个拍摄对象所属的两个待聚类图像归为一类。
可选地,所述每个拍摄对象的属性信息包括所述每个拍摄对象的年龄,所述拍摄对象为人脸,
所述第一判断子模块包括:
第一判断单元,用于判断任意两个人脸的年龄的差值是否大于预设年龄阈值;
第一判定单元,用于若所述第一判断单元判断任意两个人脸的年龄的差值大于预设年龄阈值,则判定需要调节所述参数;
第二判定单元,用于若所述第一判断单元判断任意两个人脸的年龄的差值小于或等于预设年龄阈值,则判定不需要调节所述参数;
所述第一获取单元包括:
识别子单元,用于在需要调节所述参数的情况下,根据预先配置的年龄段与调节量的第一对应关系,识别所述两个人脸的年龄在所述第一对应关系中分别命中的目标年龄段;
第一获取子单元,用于根据所述第一对应关系,获取与所述目标年龄段对应的第一目标调节量;
第二获取子单元,用于根据所述第一目标调节量,获取所述参数的调节量;
其中,所述第一对应关系中不同年龄段之间的年龄不同。
可选地,所述第二获取子单元,还用于当所述第一目标调节量的数量为一个时,则将所述第一目标调节量作为所述参数的调节量,或者,当所述第一目标调节量的数量为两个时,则将两个所述第一目标调节量的预设运算结果作为所述参数的调节量。
可选地,所述拍摄对象为人脸,所述每个拍摄对象的属性信息包括所述每个拍摄对象的人脸角度,
所述第一判断子模块包括:
第二判断单元,用于根据预先配置的角度范围与调节量的第二对应关系,判断任意两个人脸的人脸角度是否在所述第二对应关系中命中目标角度范围;
第三判定单元,用于若所述第二判断单元判断任意两个人脸的人脸角度在所述第二对应关系中命中有目标角度范围,则判定需要调节所述参数;
第四判定单元,用于若所述第二判断单元判断任意两个人脸的人脸角度在所述第二对应关系中未命中有目标角度范围,则判定不需要调节所述参数;
所述第一获取单元包括:
第三获取子单元,用于在需要调节所述参数的情况下,根据所述第二对应关系,获取与所述目标角度范围对应的第二目标调节量;
第四获取子单元,用于根据所述第二目标调节量,获取所述参数的调节量;
其中,所述第二对应关系中不同角度范围之间的角度不同。
可选地,所述第四获取子单元,还用于当所述第二目标调节量的数量为一个时,则将所述第二目标调节量作为所述参数的调节量,或者,当所述第二目标调节量的数量为两个时,则将两个所述第二目标调节量的预设运算结果作为所述参数的调节量。
可选地,所述拍摄对象为人脸,所述每个拍摄对象的属性信息包括每个人脸的性别信息;
所述识别模块502包括:
分组子模块,用于按照所述每个人脸的所述性别信息,将所述多个待聚类图像划分为两个待聚类分组;
识别子模块,用于对所述两个待聚类分组,分别识别每个待聚类分组中分属不同的待聚类图像的任意两个人脸之间的相似度;
所述聚类模块503包括:
第二判断子模块,用于根据同一待聚类分组中所述任意两个人脸之间的相似度和所述两个人脸各自的属性信息,判断是否将所述两个人脸所属的两个待聚类图像归为一类。
可选地,所述装置还包括:
检测模块,用于对待聚类图像进行人脸检测;
归类模块,用于将未检测到人脸的待聚类图像归为一类,得到无人脸分组。
可选地,所述装置还包括:
保存模块,用于保存所述多个待聚类图像中每个拍摄对象的人脸特征信息以及每个拍摄对象的属性信息。
本发明实施例通过识别分属不同待聚类图像的任意两个拍摄对象之间的相似度,以及获取该两个拍摄对象的属性信息,并结合该相似度和两组属性信息,来对多个待聚类图像进行聚类,由于聚类时参考了待聚类图像中拍摄对象的属性信息,从而能够辅助进行两个待聚类图像是否包括同一个拍摄对象的判断,进而确保包括同一个拍摄对象的不同图像可以较为准确的划分为一组,提升了图像聚类的准确度、降低了图像聚类的错误率。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
根据本发明的又一个实施例,本发明还提供了一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像聚类程序,所述图像聚类程序被所述处理器执行时实现如上述任意一个实施例所述的图像聚类方法的步骤。
根据本发明的再一个实施例,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有图像聚类程序,所述图像聚类程序被处理器执行时实现如上述任意一个实施例所述的图像聚类方法中的步骤。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种图像聚类方法、一种图像聚类装置、一种电子设备、一种计算机可读存储介质,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像聚类方法,其特征在于,包括:
获取多个待聚类图像中每个拍摄对象的属性信息;
识别任意两个拍摄对象之间的相似度,其中,所述任意两个拍摄对象分属不同的待聚类图像;
根据所述任意两个拍摄对象之间的相似度和所述每个拍摄对象的属性信息,对所述多个待聚类图像进行聚类处理。
2.根据权利要求1所述的方法,其特征在于,所述根据所述任意两个拍摄对象之间的相似度和所述每个拍摄对象的属性信息,对所述多个待聚类图像进行聚类处理,包括:
根据所述任意两个拍摄对象各自的属性信息,判断是否需要调节用于识别所述两个拍摄对象的参数,其中,所述参数包括所述相似度或预设相似度阈值;
在需要调节所述参数的情况下,根据所述任意两个拍摄对象各自的属性信息,对所述参数进行调节;
若所述参数为所述相似度,则根据预设相似度阈值和调节后的相似度,对所述多个待聚类图像进行聚类处理;
若所述参数为预设相似度阈值,则根据相似度和调节后的预设相似度阈值,对所述多个待聚类图像进行聚类处理。
3.根据权利要求2所述的方法,其特征在于,
所述在需要调节所述参数的情况下,根据所述任意两个拍摄对象各自的属性信息,对所述参数进行调节,包括:
在需要调节所述参数的情况下,根据所述任意两个拍摄对象各自的属性信息,获取所述参数的调节量;
按照所述调节量,对所述参数进行调节。
4.根据权利要求3所述的方法,其特征在于,所述每个拍摄对象的属性信息包括所述每个拍摄对象的年龄,所述拍摄对象为人脸,
所述根据所述任意两个拍摄对象各自的属性信息,判断是否需要调节用于识别所述两个拍摄对象的参数,包括:
判断任意两个人脸的年龄的差值是否大于预设年龄阈值;
若是,则判定需要调节所述参数;
若否,则判定不需要调节所述参数;
所述在需要调节所述参数的情况下,根据所述任意两个拍摄对象各自的属性信息,获取所述参数的调节量,包括:
在需要调节所述参数的情况下,根据预先配置的年龄段与调节量的第一对应关系,识别所述两个人脸的年龄在所述第一对应关系中分别命中的目标年龄段;
根据所述第一对应关系,获取与所述目标年龄段对应的第一目标调节量;
根据所述第一目标调节量,获取所述参数的调节量;
其中,所述第一对应关系中不同年龄段之间的年龄不同。
5.根据权利要求3所述的方法,其特征在于,所述拍摄对象为人脸,所述每个拍摄对象的属性信息包括所述每个拍摄对象的人脸角度,
所述根据所述任意两个拍摄对象的各自的属性信息,判断是否需要调节用于识别所述两个拍摄对象的参数,包括:
根据预先配置的角度范围与调节量的第二对应关系,判断任意两个人脸的人脸角度是否在所述第二对应关系中命中目标角度范围;
若是,则判定需要调节所述参数;
若否,则判定不需要调节所述参数;
所述在需要调节所述参数的情况下,根据所述任意两个拍摄对象各自的属性信息,获取所述参数的调节量,包括:
在需要调节所述参数的情况下,根据所述第二对应关系,获取与所述目标角度范围对应的第二目标调节量;
根据所述第二目标调节量,获取所述参数的调节量;
其中,所述第二对应关系中不同角度范围之间的角度不同。
6.根据权利要求1所述的方法,其特征在于,所述拍摄对象为人脸,所述每个拍摄对象的属性信息包括每个人脸的性别信息;
所述识别任意两个拍摄对象之间的相似度,包括:
按照所述每个人脸的所述性别信息,将所述多个待聚类图像划分为两个待聚类分组;
对所述两个待聚类分组,分别识别每个待聚类分组中分属不同的待聚类图像的任意两个人脸之间的相似度;
所述根据所述任意两个拍摄对象之间的相似度和所述每个拍摄对象的属性信息,对所述多个待聚类图像进行聚类处理,包括:
根据同一待聚类分组中所述任意两个人脸之间的相似度和所述两个人脸各自的属性信息,判断是否将所述两个人脸所属的两个待聚类图像归为一类。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对待聚类图像进行人脸检测;
将未检测到人脸的待聚类图像归为一类,得到无人脸分组。
8.一种图像聚类装置,其特征在于,包括:
获取模块,用于获取多个待聚类图像中每个拍摄对象的属性信息;
识别模块,用于识别任意两个拍摄对象之间的相似度,其中,所述任意两个拍摄对象分属不同的待聚类图像;
聚类模块,用于根据所述任意两个拍摄对象之间的相似度和所述每个拍摄对象的属性信息,对所述多个待聚类图像进行聚类处理。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像聚类程序,所述图像聚类程序被所述处理器执行时实现如权利要求1至7中任一项所述的图像聚类方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有图像聚类程序,所述图像聚类程序被处理器执行时实现如权利要求1至7中任一项所述的图像聚类方法中的步骤。
CN201910381241.8A 2019-05-08 2019-05-08 图像聚类方法、装置、电子设备及计算机可读存储介质 Active CN110245679B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910381241.8A CN110245679B (zh) 2019-05-08 2019-05-08 图像聚类方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910381241.8A CN110245679B (zh) 2019-05-08 2019-05-08 图像聚类方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110245679A true CN110245679A (zh) 2019-09-17
CN110245679B CN110245679B (zh) 2021-12-28

Family

ID=67883844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910381241.8A Active CN110245679B (zh) 2019-05-08 2019-05-08 图像聚类方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110245679B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110650379A (zh) * 2019-09-26 2020-01-03 北京达佳互联信息技术有限公司 视频摘要生成方法、装置、电子设备及存储介质
CN110704708A (zh) * 2019-09-27 2020-01-17 深圳市商汤科技有限公司 数据处理方法、装置、设备和存储介质
CN110929679A (zh) * 2019-12-05 2020-03-27 杭州电子科技大学 一种基于gan的无监督自适应行人重识别方法
CN112307938A (zh) * 2020-10-28 2021-02-02 深圳市商汤科技有限公司 数据聚类方法及其装置、电子设备、存储介质
CN113052245A (zh) * 2021-03-30 2021-06-29 重庆紫光华山智安科技有限公司 图像聚类方法和装置、电子设备及存储介质
CN113762376A (zh) * 2021-08-31 2021-12-07 阿里巴巴新加坡控股有限公司 图像聚类的方法、装置、电子设备及存储介质
CN113965772A (zh) * 2021-10-29 2022-01-21 北京百度网讯科技有限公司 直播视频处理方法、装置、电子设备和存储介质
CN114155589A (zh) * 2021-11-30 2022-03-08 北京百度网讯科技有限公司 一种图像处理方法、装置、设备以及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140334734A1 (en) * 2013-05-09 2014-11-13 Tencent Technology (Shenzhen) Company Limited Systems and Methods for Facial Age Identification
CN104156695A (zh) * 2014-07-18 2014-11-19 小米科技有限责任公司 一种人脸图像的校正方法及装置
CN106355170A (zh) * 2016-11-22 2017-01-25 Tcl集团股份有限公司 照片分类方法及装置
CN106815309A (zh) * 2016-12-20 2017-06-09 北京奇虎科技有限公司 一种图像推送方法、装置以及移动终端
CN107480575A (zh) * 2016-06-07 2017-12-15 深圳市商汤科技有限公司 模型的训练方法、跨年龄人脸识别方法和对应的装置
CN107729815A (zh) * 2017-09-15 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
US20180157896A1 (en) * 2016-12-06 2018-06-07 Robert William Kocher Method and system for increasing biometric acceptance rates and reducing false accept rates and false rates
CN108875522A (zh) * 2017-12-21 2018-11-23 北京旷视科技有限公司 人脸聚类方法、装置和系统及存储介质
US20180341803A1 (en) * 2017-05-23 2018-11-29 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN109063737A (zh) * 2018-07-03 2018-12-21 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN109598278A (zh) * 2018-09-20 2019-04-09 阿里巴巴集团控股有限公司 聚类处理方法、装置、电子设备及计算机可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140334734A1 (en) * 2013-05-09 2014-11-13 Tencent Technology (Shenzhen) Company Limited Systems and Methods for Facial Age Identification
CN104156695A (zh) * 2014-07-18 2014-11-19 小米科技有限责任公司 一种人脸图像的校正方法及装置
CN107480575A (zh) * 2016-06-07 2017-12-15 深圳市商汤科技有限公司 模型的训练方法、跨年龄人脸识别方法和对应的装置
CN106355170A (zh) * 2016-11-22 2017-01-25 Tcl集团股份有限公司 照片分类方法及装置
US20180157896A1 (en) * 2016-12-06 2018-06-07 Robert William Kocher Method and system for increasing biometric acceptance rates and reducing false accept rates and false rates
CN106815309A (zh) * 2016-12-20 2017-06-09 北京奇虎科技有限公司 一种图像推送方法、装置以及移动终端
US20180341803A1 (en) * 2017-05-23 2018-11-29 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN107729815A (zh) * 2017-09-15 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质
CN108875522A (zh) * 2017-12-21 2018-11-23 北京旷视科技有限公司 人脸聚类方法、装置和系统及存储介质
CN109063737A (zh) * 2018-07-03 2018-12-21 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及移动终端
CN109598278A (zh) * 2018-09-20 2019-04-09 阿里巴巴集团控股有限公司 聚类处理方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WEI-LUN CHAO等: "Facial age estimation based on label-sensitive learning and age-oriented regression", 《PATTERN RECOGNITION》 *
WEN-SHENG CHU等: "Gender classification from unaligned facial images using support subspaces", 《INFORMATION SCIENCES》 *
李艳超: "基于SURF算法的人脸识别考勤管理系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
邵向阳: "基于深度学习的人脸识别智能系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110650379B (zh) * 2019-09-26 2022-04-01 北京达佳互联信息技术有限公司 视频摘要生成方法、装置、电子设备及存储介质
CN110650379A (zh) * 2019-09-26 2020-01-03 北京达佳互联信息技术有限公司 视频摘要生成方法、装置、电子设备及存储介质
CN110704708A (zh) * 2019-09-27 2020-01-17 深圳市商汤科技有限公司 数据处理方法、装置、设备和存储介质
CN110704708B (zh) * 2019-09-27 2023-04-07 深圳市商汤科技有限公司 数据处理方法、装置、设备和存储介质
CN110929679A (zh) * 2019-12-05 2020-03-27 杭州电子科技大学 一种基于gan的无监督自适应行人重识别方法
CN110929679B (zh) * 2019-12-05 2023-06-16 杭州电子科技大学 一种基于gan的无监督自适应行人重识别方法
CN112307938A (zh) * 2020-10-28 2021-02-02 深圳市商汤科技有限公司 数据聚类方法及其装置、电子设备、存储介质
CN113052245A (zh) * 2021-03-30 2021-06-29 重庆紫光华山智安科技有限公司 图像聚类方法和装置、电子设备及存储介质
CN113052245B (zh) * 2021-03-30 2023-08-25 重庆紫光华山智安科技有限公司 图像聚类方法和装置、电子设备及存储介质
CN113762376A (zh) * 2021-08-31 2021-12-07 阿里巴巴新加坡控股有限公司 图像聚类的方法、装置、电子设备及存储介质
CN113965772A (zh) * 2021-10-29 2022-01-21 北京百度网讯科技有限公司 直播视频处理方法、装置、电子设备和存储介质
CN114155589A (zh) * 2021-11-30 2022-03-08 北京百度网讯科技有限公司 一种图像处理方法、装置、设备以及存储介质
CN114155589B (zh) * 2021-11-30 2023-08-08 北京百度网讯科技有限公司 一种图像处理方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN110245679B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
CN110245679A (zh) 图像聚类方法、装置、电子设备及计算机可读存储介质
CN108197532B (zh) 人脸识别的方法、装置及计算机装置
US11494594B2 (en) Method for training model and information recommendation system
CN106658129B (zh) 基于情绪的终端控制方法、装置及终端
CN109145937A (zh) 一种模型训练的方法及装置
WO2019237657A1 (zh) 用于生成模型的方法和装置
CN109783642A (zh) 多人会议场景的结构化内容处理方法、装置、设备及介质
US10846515B2 (en) Efficient face detection and tracking
US20180174288A1 (en) SCORE WEIGHTS FOR USER INTERFACE (ui) ELEMENTS
CN109286848B (zh) 一种终端视频信息的交互方法、装置及存储介质
CN111914908B (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN109215037A (zh) 目标图像分割方法、装置及终端设备
CN112527113A (zh) 手势识别及手势识别网络的训练方法和装置、介质和设备
CN107590460A (zh) 人脸分类方法、装置及智能终端
CN109740567A (zh) 关键点定位模型训练方法、定位方法、装置及设备
CN113066092A (zh) 视频对象分割方法、装置及计算机设备
CN110955390B (zh) 数据处理方法、装置、电子设备和存储介质
CN106484614A (zh) 一种核对图片处理效果的方法、装置及移动终端
KR102440198B1 (ko) 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)
CN114639152A (zh) 基于人脸识别的多模态语音交互方法、装置、设备及介质
CN111970560B (zh) 视频获取方法、装置、电子设备及存储介质
CN112101109A (zh) 人脸关键点检测模型训练方法、装置、电子设备和介质
CN103984415B (zh) 一种信息处理方法及电子设备
CN108874657A (zh) 对人脸识别主机进行测试的方法、装置及计算机存储介质
CN109685015A (zh) 图像的处理方法、装置、电子设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant