CN106503656A - 一种图像分类方法、装置和计算设备 - Google Patents

一种图像分类方法、装置和计算设备 Download PDF

Info

Publication number
CN106503656A
CN106503656A CN201610927615.8A CN201610927615A CN106503656A CN 106503656 A CN106503656 A CN 106503656A CN 201610927615 A CN201610927615 A CN 201610927615A CN 106503656 A CN106503656 A CN 106503656A
Authority
CN
China
Prior art keywords
cluster
neighbourhood
radius
face
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610927615.8A
Other languages
English (en)
Inventor
陈良
曾志勇
张伟
许清泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN201610927615.8A priority Critical patent/CN106503656A/zh
Publication of CN106503656A publication Critical patent/CN106503656A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像分类方法,在计算设备中执行,适于根据图像中的人脸对图像进行分类,该方法包括:获取待分类的多个图像;识别每个图像中的人脸,每个人脸对应一个人脸特征向量;采用基于第一邻域半径的DBSCAN算法对人脸特征向量进行聚类,得到第一聚类结果;根据第二邻域半径对第一聚类结果中的类簇进行合并,得到第二聚类结果,其中,第二邻域半径大于第一邻域半径;若第二聚类结果中包括离群点,则根据第三邻域半径对离群点进行归类,得到第三聚类结果,其中,第三邻域半径大于第一邻域半径;根据第三聚类结果对待分类的多个图像进行分类。本发明还公开了能够实施上述方法的图像分类应用,和包括上述图像分类应用的计算设备。

Description

一种图像分类方法、装置和计算设备
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像分类方法、装置和计算设备。
背景技术
数码设备的快速发展极大地改变了人们的生活。拍照变得越来越方便,相应地,存储的照片也越来越多,如何高效地对照片进行管理成为一个现实问题。例如,当存储的照片很多时,用户需要按照照片中出现的人脸对照片进行分类,即将出现同一个人的照片归为同一类,以便于管理。
照片的归类可以通过聚类算法来实现。然而,经典的无监督聚类算法(例如kmeans)往往需要人为指定聚类的类簇数量和类簇中心的初值,这在基于人脸的照片自动分类的应用情景中并不适用。而其他不需要指定类簇数量的聚类算法,例如DBSCAN算法,虽然能够实现自动分类,但是其是一种基于密度的聚类算法,需要预先将邻域半径设定为一个固定的值。聚类结果对邻域半径的值很敏感,当数据点的密度分布不均匀时(如图1所示),会大大降低算法的聚类效果。此外,对应于人脸特征的聚类,不同人的人脸特征有很大差异,使用固定的邻域半径往往容易造成两种情况:过大的邻域半径容易将不同的人归为一类,过小的邻域半径容易造成本应被分为同一类的照片被判定为离群或者分为多个类。此外,DBSCAN算法“先聚先得”的边界点划分规则也使得边界点的划分情况不明确,容易出现错误划分。
直接使用DBSCAN算法得到的照片分类结果往往不理想。而现有的对DBSCAN算法的改进中大多需要人为干预,例如,通过多次尝试,将邻域半径设置为一个最优值来解决聚类结果对邻域半径敏感的问题,或人为划定边界数据所属的类别。这些方法加大了用户的使用负担,降低了用户体验。
发明内容
为此,本发明提供一种图像分类方法、装置和计算设备,以力图解决或至少缓解上面存在的问题。
根据本发明的一个方面,提供一种图像分类方法,在计算设备中执行,适于根据图像中的人脸对图像进行分类,该方法包括:获取待分类的多个图像;识别每个图像中的人脸,每个人脸对应一个人脸特征向量;采用基于第一邻域半径的DBSCAN算法对人脸特征向量进行聚类,得到第一聚类结果;根据第二邻域半径对第一聚类结果中的类簇进行合并,得到第二聚类结果,其中,第二邻域半径大于第一邻域半径;若第二聚类结果中包括离群点,则根据第三邻域半径对离群点进行归类,得到第三聚类结果,其中,第三邻域半径大于第一邻域半径;根据第三聚类结果对待分类的多个图像进行分类。
可选地,在根据本发明的图像分类方法中,识别每个图像中的人脸的步骤包括:检测每个图像的人脸区域,采用卷积神经网络模型提取所述人脸区域的人脸特征向量。
可选地,在根据本发明的图像分类方法中,卷积神经网络模型的卷积核为16*16,人脸特征向量的维数为256。
可选地,在根据本发明的图像分类方法中,在采用基于第一邻域半径的DBSCAN算法对人脸特征向量进行聚类时,两个人脸特征向量的距离按照以下公式计算:
其中,d为人脸特征向量a、b的距离,‖‖表示求2-范数。
可选地,在根据本发明的图像分类方法中,根据第二邻域半径对第一聚类结果中的类簇进行合并的步骤包括:从第一类簇中取出第一数量的人脸特征向量,构成第一向量集;从第二类簇中取出第二数量的人脸特征向量,构成第二向量集;其中,所述第一类簇和第二类簇为第一聚类结果中的任意两个类簇;分别计算第一向量集的每一个向量到第二向量集的每一个向量的距离;若距离小于第二邻域半径的向量对的数目与向量对总数的比值大于阈值,则合并第一类簇和第二类簇。
可选地,在根据本发明的图像分类方法中,根据第三邻域半径对离群点进行归类的步骤包括:计算离群点与目标类簇中的每一个人脸特征向量的距离,其中,所述目标类簇为第二聚类结果中的任意一个类簇;若离群点仅与一个目标类簇中的每一个人脸特征向量的距离均小于第三邻域半径,则将离群点归类于该目标类簇;若离群点与多个目标类簇中的每一个人脸特征向量的距离均小于第三邻域半径,则将离群点归类于平均距离最小的目标类簇。
可选地,在根据本发明的图像分类方法中,在根据第三聚类结果对待分类的多个图像进行分类的步骤之后,还包括:接收用户对于图像分类结果的反馈,并根据该反馈来调整图像分类结果。
根据本发明的一个方面,提供一种图像分类装置,驻留于计算设备中,适于根据图像中的人脸对图像进行分类,该装置包括:读取模块,适于获取待分类的多个图像;人脸识别模块,适于识别每个图像中的人脸,每个人脸对应一个人脸特征向量;第一聚类模块,适于采用基于第一邻域半径的DBSCAN算法对人脸特征向量进行聚类,得到第一聚类结果;第二聚类模块,适于根据第二邻域半径对第一聚类结果中的类簇进行合并,得到第二聚类结果,其中,第二邻域半径大于第一邻域半径;第三聚类模块,适于在第二聚类结果中包括离群点时,根据第三邻域半径对离群点进行归类,得到第三聚类结果,以及根据第三聚类结果对待分类的多个图像进行分类,其中,第三邻域半径大于第一邻域半径。
可选地,在根据本发明的图像分类装置中,人脸识别模块进一步适于:检测每个图像的人脸区域,采用卷积神经网络模型提取所述人脸区域的人脸特征向量。
可选地,在根据本发明的图像分类装置中,人脸识别模块适于将所述卷积神经网络模型的卷积核设为16*16,人脸特征向量的维数为256。
可选地,在根据本发明的图像分类装置中,第一聚类模块在采用基于第一邻域半径的DBSCAN算法对人脸特征向量进行聚类时,适于按照以下公式计算两个人脸特征向量的距离:
其中,d为人脸特征向量a、b的距离,‖‖表示求2-范数。
可选地,在根据本发明的图像分类装置中,第二聚类模块适于按照以下步骤对第一聚类结果中的类簇进行合并:从第一类簇中取出第一数量的人脸特征向量,构成第一向量集;从第二类簇中取出第二数量的人脸特征向量,构成第二向量集;其中,所述第一类簇和第二类簇为第一聚类结果中的任意两个类簇;分别计算第一向量集的每一个向量到第二向量集的每一个向量的距离;若距离小于第二邻域半径的向量对的数目与向量对总数的比值大于阈值,则合并第一类簇和第二类簇。
可选地,在根据本发明的图像分类装置中,第三聚类模块适于按照以下步骤对离群点进行归类:计算离群点与目标类簇中每一个人脸特征向量的距离,其中,所述目标类簇为第二聚类结果中的任意一个类簇;若离群点仅与一个目标类簇中每一个人脸特征向量的距离均小于第三邻域半径,则将离群点归类于该目标类簇;若离群点与多个目标类簇中的每一个人脸特征向量的距离均小于第三邻域半径,则将离群点归类于平均距离最小的目标类簇。
可选地,在根据本发明的图像分类装置中,还包括修正模块,适于在第三聚类模块得出图像分类结果后,接收用户对于图像分类结果的反馈,并根据该反馈来调整图像分类结果。
根据本发明的一个方面,提供一种计算设备,包括如上所述的图像分类装置。
根据本发明的技术方案,识别出图像中的人脸,每个人脸对应于一个人脸特征向量,根据人脸特征向量的聚类结果来确定图像的分类结果。
本发明采用多个邻域半径(即第一邻域半径、第二邻域半径和第三邻域半径)进行分阶段的聚类,有效地改进了DBSCAN算法对邻域半径值敏感以及边界点划分不明确的缺点,提高了分类的准确率,降低了某些人脸特征向量被错误离群(即该人脸特征向量未被归属于任何类簇)的概率。此外,在对人脸特征向量进行聚类时,基于两个人脸特征向量的余弦相似度来确定两向量的距离,使得两向量距离的值域为[0,1],因此也使得第一邻域半径的值域缩小为[0,1],相对于其他距离度量(例如欧氏距离,其值域为[0,+∞])大大缩小了第一邻域半径eps1的取值范围,在很大程度上缓解了DBSCAN算法对邻域半径值敏感的问题。
此外,本发明也可以接收用户对于图像分类结果的反馈,基于该反馈实时改进聚类效果。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了一种不适用于DBSCAN算法的数据点的分布图;
图2示出了根据本发明一个实施例的计算设备100的结构图;
图3示出了根据本发明一个实施例的图像分类装置200的结构图;以及
图4示出了根据本发明一个实施例的图像分类方法300的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图2示出了根据本发明一个实施例的计算设备100的结构图。计算设备100可以是手机、平板电脑、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、装置专用设备、或包括上面任何功能的混合设备。计算设备也可以是桌面计算机、笔记本电脑、服务器、工作站等设备。
如图2所示,计算设备100中驻留有图像分类装置200,使得计算设备100能够实现图像分类的功能。图像分类装置200可以作为搜索引擎的一个插件驻留于计算设备100的浏览器中,或作为一个独立的软件安装于计算设备100中,本发明对图像分类装置200在计算设备100中的存在形式不做限制。
图3示出了根据本发明一个实施例的图像分类装置200的结构图。如图3所示,图像分类装置200包括读取模块210、人脸识别模块220、第一聚类模块230、第二聚类模块240和第三聚类模块250。
读取模块210适于获取待分类的多个图像。
人脸识别模块220适于识别每个图像中的人脸,每个人脸对应一个人脸特征向量。若图像中仅有一个人脸,则识别出该人脸;若图像中有多个人脸,则需要对该图像中的每一个人脸均进行识别。因此,一个图像可以对应于一个或多个人脸特征向量,而一个人脸特征向量唯一对应于一个图像。由于一个人脸特征向量唯一对应于一个图像,人脸特征向量的聚类情况即该人脸特征向量所对应的图像的分类情况。应当指出,在准确分类的情况下,一个包含多个人脸的图像会同时属于多个类别。
根据一种实施例,人脸识别模块220可以检测每个图像的人脸区域,并采用卷积神经网络模型提取该人脸区域的人脸特征向量。例如,卷积神经网络模型的卷积核为16*16,采用该卷积神经网络模型对检测到的人脸区域做卷积,可以得到一个16*16的人脸特征图,将该特征图转化为向量,即为一个256维的人脸特征向量。
第一聚类模块230适于采用基于第一邻域半径的DBSCAN算法对人脸特征向量进行聚类,得到第一聚类结果。
DBSCAN算法是现有算法,其需要设置两个参数:邻域半径和密度阈值,为了叙述方便,将邻域半径记为eps,密度阈值记为minPts。DBSCAN算法中有以下几个基本概念:
邻域:某个点的邻域半径eps以内的区域为该点的邻域。
核心点:若某个点的邻域内所含的点的数目大于等于minPts,则该点为核心点。
边界点:若某个点位于核心点的邻域中,但该点本身不是核心点,则该点为边界点。
离群点:既不是核心点也不是边界点的点。
直接密度可达:若点q在点p的邻域内,且点p为核心点,则点q由点p处直接密度可达。
密度可达:给定多个点p1,p2,p3,…,pn,p1=p,pn=q,若对于任意i∈[1,n-1],点p(i+1)由点pi处直接密度可达,则点q由点p处密度可达。
密度相连:若点p和点q均从点o处密度可达,则点p和点q密度相连。
DBSCAN的基本原理是,遍历每一个点,如果某个点的邻域中的点的数目大于等于minPts,则该点为核心点,以该点为中心建立一个包括该点和其邻域中的点的类簇。如果一个类簇中有多个核心点,则合并以这些核心点为中心的类簇,即找到最大的密度相连集合。
在判断一个点是否为核心点时,需要计算其他点到该点的距离,若有某个点a到该点的距离小于eps,则点a位于该点的邻域中。显然,为了实现基于DBSCAN算法的聚类,首先需要定义两点距离的计算方式。对应于本发明,即需要定义两个人脸特征向量的距离的计算方式。根据一种实施例,第一聚类模块230适于采用以下公式计算两个人脸特征向量的距离:
其中,d为人脸特征向量a、b的距离,‖ ‖表示求2-范数。对于n维向量a=[x1,x2,…,xn],b=[y1,y2,…,yn],则a、b之间的距离d为:
由上述距离计算公式(1)、(2)可知,向量a、b越相似,其夹角余弦越大,相应地,其距离d越小。此外,基于上述公式,两个人脸特征向量的距离的值域为[0,1],因此也使得第一邻域半径eps1的值域缩小为[0,1],相对于其他距离度量(例如欧氏距离,其值域为[0,+∞])大大缩小了第一邻域半径eps1的取值范围,在很大程度上缓解了DBSCAN算法对邻域半径值敏感的问题。
基于上述人脸特征向量的距离计算公式,第一聚类模块230适于将第一邻域半径eps1设置为一个[0,1]之间的数。根据一种实施例,为了使本发明的分阶段的聚类方法更准确,将eps1设置为一个较小的数,例如0.2。当然,在其他的实施例中,也可以将eps1设置为其他数值,本发明对eps1的取值并无限制,本领域技术人员可以按需求自行设置eps1的值,只要其位于[0,1]即可。
第一聚类模块230还适于设置minPts的值。根据一种实施例,minPts的值可以根据待分类的图片的数目进行确定。应当指出,本发明对minPts的设置方法并无限制。
基于已设置好的第一邻域半径eps1和密度阈值minPts,第一聚类模块230采用DBSCAN算法对人脸特征向量进行聚类,得到第一聚类结果。一般来说,第一聚类结果中包括多个类簇和多个离群点。
在第一聚类模块230得出第一聚类结果后,由第二聚类模块240对第一聚类结果进行处理,即进行第二阶段的聚类。第二聚类模块240适于根据第二邻域半径eps2对第一聚类结果中的类簇进行合并,得到第二聚类结果,其中,eps2>eps1
根据一种实施例,第二聚类模块240从第一聚类结果的多个类簇中随机选出两个类簇,为了叙述方便,将这两个类簇分别记为第一类簇、第二类簇。从第一类簇中取出第一数量的人脸特征向量,构成第一向量集C={c1,c2,...,cm},m为第一数量;从第二类簇中取出第二数量的人脸特征向量,构成第二向量集E={e1,e2,…,en},n为第二数量。第二聚类模块240可以采用随机抽取的方式从类簇中取出向量来构成向量集,也可以采用其他算法来取出向量以构成向量集,本发明对向量的抽取方式不做限制。第一数量和第二数量的值可以相同,也可以不同。根据一种实施例,分别从第一类簇、第二类簇中取出相同数量的人脸特征向量构成第一向量集、第二向量集,第一数量和第二数量的值相同。根据另一种实施例,分别从第一类簇、第二类簇中抽取相同比例的人脸特征向量,这时第一数量和第二数量的值不一定相同。例如,第一类簇中有10个向量,第二类簇中有15个向量,分别从两个类簇中取出40%的向量,则第一数量为10*0.4=4,第二数量为15*0.4=6。当然,也可以采用其他方法来确定第一数量、第二数量的值,本发明对第一数量、第二数量的取值并无限制。
随后,第二聚类模块240分别计算第一向量集中的每一个向量到第二向量集中的每一个向量的距离。若距离小于eps2的向量对的数目与向量对总数的比值大于阈值,则合并第一类簇和第二类簇。上述过程相当于:分别将第一向量集C中的每一个人脸特征向量与第二向量集E中的每一个人脸特征向量进行配对,得到(m*n)个向量对(ci,ej),其中,1≤i≤m,1≤j≤n;分别计算每个向量对中的两个人脸特征向量的距离;若距离小于第二邻域半径的向量对的数量与(m*n)的比值大于阈值,则合并第一类簇和第二类簇。
例如,第一类簇={向量1;向量2;向量3;向量4},第二类簇={向量5;向量6;向量7;向量8;向量9;向量10},随机从两个类簇中取出50%向量,得到第一向量集C={向量1,向量2},第二向量集E={向量6;向量8;向量9},第一数量m=2,第二数量n=3。分别计算(向量1,向量6)、(向量1,向量8)、(向量1,向量9)、(向量2,向量6)、(向量2,向量8)、(向量2,向量9)的距离,若(距离小于eps2的向量对的数目/(2*3))>阈值,则合并第一类簇和第二类簇,得到新的类簇{向量1;向量2;…;向量10}。
在第二聚类模块240得到第二聚类结果后,由第三聚类模块250对第二聚类结果进行处理,即进行第三阶段的聚类。第三聚类模块250适于在第二聚类结果中包括离群点时,根据第三邻域半径eps3对离群点进行归类,得到第三聚类结果,以及根据第三聚类结果对待分类的多个图像进行分类,其中,eps3>eps1
根据一种实施例,对于某个离群点,第三聚类模块250适于分别计算该离群点与第二聚类结果的每个类簇中的各向量的距离。若该离群点与某个类簇中每一个人脸特征向量的距离均小于eps3,则将该离群点归类于该类簇。在实际应用中,可能会出现有多个类簇均满足要求的情况,即某个离群点与多个类簇中的每一个人脸特征向量的距离均小于eps3。这时,根据一种实施例,将离群点归类于平均距离最小的类簇。例如,eps3=0.5,某个离群点p与类簇①中的三个向量的距离分别为0.1、0.1、0.4,与类簇②中的两个向量的距离分别为0.3、0.4,离群点p到类簇①中各向量的平均距离为(0.1+0.1+0.4)/3=0.2,离群点p到类簇②中各向量的平均距离为(0.3+0.4)/2=0.35,离群点p到类簇①中各向量的平均距离更小,因此将离群点p归类于类簇①。
根据另一种实施例,当存在多个满足要求的类簇时,也可以采用“先到先得”的思想,将该离群点归类于最先检测出的满足要求的类簇。例如,eps3=0.5,首先检测出离群点p与类簇①中的三个向量的距离分别为0.1、0.1、0.4,距离均小于eps3,则类簇①是一个满足要求的类簇,将离群点p归类于类簇①。基于“先到先得”的原则,在首次检测到满足要求的类簇①时,离群点p就已经被归类,后续也不再继续检验是否还存在满足要求的其他类簇,即使存在其他满足要求的类簇,第三聚类模块250也不会再针对离群点p进行检测或重新归类。
当然,在存在多个满足要求的类簇时,还可以采用除上述两种实施例之外的方式来确定离群点的归属,本发明对此并无限制。
在第三聚类模块250完成所有离群点的归类后,得到第三聚类结果,并根据第三聚类结果对待分类的多个图像进行分类。第三聚类结果是人脸特征向量的聚类结果,由于每一个人脸特征向量均唯一对应于一个图像,因此,第三聚类结果所指示的人脸特征向量的聚类情况即为该人脸特征向量所对应的图像的分类结果。
根据一种实施例,图像分类装置200还包括修正模块260(图3中未示出),适于在第三聚类模块250得出图像分类结果后,接收用户对图像分类结果的反馈,并根据该反馈来调整图像分类结果。例如,用户可能将图像分类结果中的某两个图像类别①和②进行合并,得到类别③,那么第三聚类模块250将接受用户的上述修改,并且在以后的图像分类过程中,若新增的待分类图像与类别①或类别②相似(即新增图像中的人脸特征向量到类别①中的所有向量的距离均小于eps3或新增图像中的人脸特征向量到类别②中的所有向量的距离均小于eps3),则将该图像归类于类别③,直至用户做出新的修改。又例如,用户可能将某幅分类错误的图像移动到另一个类别,第三聚类模块250将接受用户的上述修改,并且在下次聚类时,被移动的图像将始终属于用户所指定的类别,直至用户做出新的修改。若用户仅将某幅图像从某个类别中删除,则第三聚类模块250将接受用户的删除,并且在下次图像分类时,这幅图像将不会再被划分为任何类别,直至用户做出新的修改。
图4示出了根据本发明一个实施例的图像分类方法300的流程图。如图4所示,该方法始于步骤S310。
在步骤S310中,获取待分类的多个图像。
随后,在步骤S320中,识别每个图像中的人脸,每个人脸对应一个人脸特征向量。
根据一种实施例,为了实现人脸识别,首先检测每个图像的人脸区域,随后采用卷积神经网络模型提取所述人脸区域的人脸特征向量。根据一种实施例,卷积神经网络模型的卷积核为16*16,相应地,人脸特征向量的维数为256。
随后,在步骤S330中,采用基于第一邻域半径的DBSCAN算法对人脸特征向量进行聚类,得到第一聚类结果。步骤S330的具体实施过程可以参考前述对第一聚类模块230的描述,此处不再赘述。
随后,在步骤S340中,根据第二邻域半径对第一聚类结果中的类簇进行合并,得到第二聚类结果,其中,第二邻域半径>第一邻域半径。步骤S340的具体实施过程可以参考前述对第二聚类模块240的描述,此处不再赘述。
随后,在步骤S350中,若第二聚类结果中包括离群点,则根据第三邻域半径对离群点进行归类,得到第三聚类结果,其中,第三邻域半径>第一邻域半径。
随后,在步骤S360中,根据第三聚类结果对待分类的多个图像进行分类。步骤S350及步骤S360的具体实施过程可以参考前述对第三聚类模块250的描述,此处不再赘述。
根据一种实施例,在步骤S360后,还包括步骤S370(图4中未示出)。在步骤S370中,接收用户对于图像分类结果的反馈,并根据该反馈来调整图像分类结果。步骤S370的具体实施过程可以参考前述对修正模块260的描述,此处不再赘述。
A6:A4或5所述的图像分类方法,其中,所述根据第三邻域半径对离群点进行归类的步骤包括:计算离群点与目标类簇中的每一个人脸特征向量的距离,其中,所述目标类簇为第二聚类结果中的任意一个类簇;若离群点仅与一个目标类簇中的每一个人脸特征向量的距离均小于第三邻域半径,则将离群点归类于该目标类簇;若离群点与多个目标类簇中的每一个人脸特征向量的距离均小于第三邻域半径,则将离群点归类于平均距离最小的目标类簇。
A7:A1所述的图像分类方法,其中,在所述根据第三聚类结果对待分类的多个图像进行分类的步骤之后,还包括:接收用户对于图像分类结果的反馈,并根据该反馈来调整图像分类结果。
B12:B11所述的图像分类装置,其中,所述第二聚类模块适于按照以下步骤对第一聚类结果中的类簇进行合并:从第一类簇中取出第一数量的人脸特征向量,构成第一向量集;从第二类簇中取出第二数量的人脸特征向量,构成第二向量集;其中,所述第一类簇和第二类簇为第一聚类结果中的任意两个类簇;分别计算第一向量集的每一个向量到第二向量集的每一个向量的距离;若距离小于第二邻域半径的向量对的数目与向量对总数的比值大于阈值,则合并第一类簇和第二类簇。
B13:B11或12所述的图像分类装置,其中,所述第三聚类模块适于按照以下步骤对离群点进行归类:计算离群点与目标类簇中每一个人脸特征向量的距离,其中,所述目标类簇为第二聚类结果中的任意一个类簇;若离群点仅与一个目标类簇中每一个人脸特征向量的距离均小于第三邻域半径,则将离群点归类于该目标类簇;若离群点与多个目标类簇中的每一个人脸特征向量的距离均小于第三邻域半径,则将离群点归类于平均距离最小的目标类簇。
B14:B8所述的图像分类装置,其中,还包括修正模块,适于在第三聚类模块得出图像分类结果后,接收用户对于图像分类结果的反馈,并根据该反馈来调整图像分类结果。
在此处所提供的说明书中,算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。

Claims (10)

1.一种图像分类方法,在计算设备中执行,适于根据图像中的人脸对图像进行分类,该方法包括:
获取待分类的多个图像;
识别每个图像中的人脸,每个人脸对应一个人脸特征向量;
采用基于第一邻域半径的DBSCAN算法对人脸特征向量进行聚类,得到第一聚类结果;
根据第二邻域半径对第一聚类结果中的类簇进行合并,得到第二聚类结果,其中,第二邻域半径大于第一邻域半径;
若第二聚类结果中包括离群点,则根据第三邻域半径对离群点进行归类,得到第三聚类结果,其中,第三邻域半径大于第一邻域半径;
根据第三聚类结果对待分类的多个图像进行分类。
2.如权利要求1所述的图像分类方法,其中,所述识别每个图像中的人脸的步骤包括:
检测每个图像的人脸区域,采用卷积神经网络模型提取所述人脸区域的人脸特征向量。
3.如权利要求2所述的图像分类方法,其中,所述卷积神经网络模型的卷积核为16*16,人脸特征向量的维数为256。
4.如权利要求1所述的图像分类方法,其中,在采用基于第一邻域半径的DBSCAN算法对人脸特征向量进行聚类时,两个人脸特征向量的距离按照以下公式计算:
d = 1 - | a · b | | a | | | | b | | |
其中,d为人脸特征向量a、b的距离,|| ||表示求2-范数。
5.如权利要求4所述的图像分类方法,其中,所述根据第二邻域半径对第一聚类结果中的类簇进行合并的步骤包括:
从第一类簇中取出第一数量的人脸特征向量,构成第一向量集;从第二类簇中取出第二数量的人脸特征向量,构成第二向量集;其中,所述第一类簇和第二类簇为第一聚类结果中的任意两个类簇;
分别计算第一向量集的每一个向量到第二向量集的每一个向量的距离;
若距离小于第二邻域半径的向量对的数目与向量对总数的比值大于阈值,则合并第一类簇和第二类簇。
6.一种图像分类装置,驻留于计算设备中,适于根据图像中的人脸对图像进行分类,该装置包括:
读取模块,适于获取待分类的多个图像;
人脸识别模块,适于识别每个图像中的人脸,每个人脸对应一个人脸特征向量;
第一聚类模块,适于采用基于第一邻域半径的DBSCAN算法对人脸特征向量进行聚类,得到第一聚类结果;
第二聚类模块,适于根据第二邻域半径对第一聚类结果中的类簇进行合并,得到第二聚类结果,其中,第二邻域半径大于第一邻域半径;
第三聚类模块,适于在第二聚类结果中包括离群点时,根据第三邻域半径对离群点进行归类,得到第三聚类结果,以及根据第三聚类结果对待分类的多个图像进行分类,其中,第三邻域半径大于第一邻域半径。
7.如权利要求6所述的图像分类装置,其中,所述人脸识别模块进一步适于:检测每个图像的人脸区域,采用卷积神经网络模型提取所述人脸区域的人脸特征向量。
8.如权利要求7所述的图像分类装置,其中,所述人脸识别模块适于将所述卷积神经网络模型的卷积核设为16*16,人脸特征向量的维数为256。
9.如权利要求6所述的图像分类装置,其中,所述第一聚类模块在采用基于第一邻域半径的DBSCAN算法对人脸特征向量进行聚类时,适于按照以下公式计算两个人脸特征向量的距离:
d = 1 - | a · b | | a | | | | b | | |
其中,d为人脸特征向量a、b的距离,|| ||表示求2-范数。
10.一种计算设备,包括如权利要求6-9中任一项所述的图像分类装置。
CN201610927615.8A 2016-10-24 2016-10-24 一种图像分类方法、装置和计算设备 Pending CN106503656A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610927615.8A CN106503656A (zh) 2016-10-24 2016-10-24 一种图像分类方法、装置和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610927615.8A CN106503656A (zh) 2016-10-24 2016-10-24 一种图像分类方法、装置和计算设备

Publications (1)

Publication Number Publication Date
CN106503656A true CN106503656A (zh) 2017-03-15

Family

ID=58318707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610927615.8A Pending CN106503656A (zh) 2016-10-24 2016-10-24 一种图像分类方法、装置和计算设备

Country Status (1)

Country Link
CN (1) CN106503656A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107247954A (zh) * 2017-06-16 2017-10-13 山东省计算中心(国家超级计算济南中心) 一种基于深度神经网络的图像离群点检测方法
CN107729928A (zh) * 2017-09-30 2018-02-23 百度在线网络技术(北京)有限公司 信息获取方法和装置
CN107909104A (zh) * 2017-11-13 2018-04-13 腾讯数码(天津)有限公司 一种图片的人脸聚类方法、装置及存储介质
CN108062576A (zh) * 2018-01-05 2018-05-22 百度在线网络技术(北京)有限公司 用于输出数据的方法和装置
CN108229419A (zh) * 2018-01-22 2018-06-29 百度在线网络技术(北京)有限公司 用于聚类图像的方法和装置
CN108280477A (zh) * 2018-01-22 2018-07-13 百度在线网络技术(北京)有限公司 用于聚类图像的方法和装置
CN108536769A (zh) * 2018-03-22 2018-09-14 深圳市安软慧视科技有限公司 图像分析方法、搜索方法及装置、计算机装置及存储介质
CN108875455A (zh) * 2017-05-11 2018-11-23 Tcl集团股份有限公司 一种无监督的人脸智能精确识别方法及系统
CN108875760A (zh) * 2017-05-11 2018-11-23 阿里巴巴集团控股有限公司 聚类方法和装置
CN109086720A (zh) * 2018-08-03 2018-12-25 腾讯科技(深圳)有限公司 一种人脸聚类方法、装置和存储介质
CN109815788A (zh) * 2018-12-11 2019-05-28 平安科技(深圳)有限公司 一种图片聚类方法、装置、存储介质及终端设备
CN110209658A (zh) * 2019-06-04 2019-09-06 北京字节跳动网络技术有限公司 数据清洗方法和装置
CN110610196A (zh) * 2019-08-14 2019-12-24 平安科技(深圳)有限公司 脱敏方法、系统、计算机设备和计算机可读存储介质
CN111125359A (zh) * 2019-12-17 2020-05-08 东软集团股份有限公司 一种文本信息分类的方法、装置及设备
CN111582057A (zh) * 2020-04-20 2020-08-25 东南大学 一种基于局部感受野的人脸验证方法
CN111641640A (zh) * 2020-05-28 2020-09-08 青岛海尔科技有限公司 一种设备绑定处理方法及装置
CN112015937A (zh) * 2020-08-31 2020-12-01 核工业北京地质研究院 一种图片地理定位方法及系统
CN112070144A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图像聚类方法、装置、电子设备以及存储介质
CN112288561A (zh) * 2020-05-25 2021-01-29 百维金科(上海)信息科技有限公司 基于dbscan算法的互联网金融欺诈行为检测方法
CN113033584A (zh) * 2019-12-09 2021-06-25 Oppo广东移动通信有限公司 数据处理方法及相关设备
CN113052245A (zh) * 2021-03-30 2021-06-29 重庆紫光华山智安科技有限公司 图像聚类方法和装置、电子设备及存储介质
CN114612967A (zh) * 2022-03-03 2022-06-10 北京百度网讯科技有限公司 一种人脸聚类的方法、装置、设备及存储介质
CN109815788B (zh) * 2018-12-11 2024-05-31 平安科技(深圳)有限公司 一种图片聚类方法、装置、存储介质及终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903276A (zh) * 2014-04-23 2014-07-02 吉林大学 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法
CN104408435A (zh) * 2014-12-05 2015-03-11 浙江大学 一种基于随机池化卷积神经网络的人脸识别方法
CN105426878A (zh) * 2015-12-22 2016-03-23 小米科技有限责任公司 人脸聚类方法及装置
CN105678266A (zh) * 2016-01-08 2016-06-15 北京小米移动软件有限公司 一种合并人脸相册的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903276A (zh) * 2014-04-23 2014-07-02 吉林大学 基于密度聚类法和形态学聚类法的驾驶员注视点聚类方法
CN104408435A (zh) * 2014-12-05 2015-03-11 浙江大学 一种基于随机池化卷积神经网络的人脸识别方法
CN105426878A (zh) * 2015-12-22 2016-03-23 小米科技有限责任公司 人脸聚类方法及装置
CN105678266A (zh) * 2016-01-08 2016-06-15 北京小米移动软件有限公司 一种合并人脸相册的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯少荣等: "DBSCAN 聚类算法的研究与改进", 《中国矿业大学学报》 *
陈若田: "针对非均匀数据集的DBSCAN聚类算法研究", 《万方在线公开:WWW.WANFANGDATA.COM.CN/DETAILS/DETAIL.DO?_TYPE=DEGREE*ID=D353939》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875760A (zh) * 2017-05-11 2018-11-23 阿里巴巴集团控股有限公司 聚类方法和装置
CN108875455B (zh) * 2017-05-11 2022-01-18 Tcl科技集团股份有限公司 一种无监督的人脸智能精确识别方法及系统
CN108875455A (zh) * 2017-05-11 2018-11-23 Tcl集团股份有限公司 一种无监督的人脸智能精确识别方法及系统
CN107247954A (zh) * 2017-06-16 2017-10-13 山东省计算中心(国家超级计算济南中心) 一种基于深度神经网络的图像离群点检测方法
CN107729928A (zh) * 2017-09-30 2018-02-23 百度在线网络技术(北京)有限公司 信息获取方法和装置
CN107729928B (zh) * 2017-09-30 2021-10-22 百度在线网络技术(北京)有限公司 信息获取方法和装置
CN107909104A (zh) * 2017-11-13 2018-04-13 腾讯数码(天津)有限公司 一种图片的人脸聚类方法、装置及存储介质
CN107909104B (zh) * 2017-11-13 2023-07-18 腾讯数码(天津)有限公司 一种图片的人脸聚类方法、装置及存储介质
CN108062576A (zh) * 2018-01-05 2018-05-22 百度在线网络技术(北京)有限公司 用于输出数据的方法和装置
CN108062576B (zh) * 2018-01-05 2019-05-03 百度在线网络技术(北京)有限公司 用于输出数据的方法和装置
CN108280477A (zh) * 2018-01-22 2018-07-13 百度在线网络技术(北京)有限公司 用于聚类图像的方法和装置
CN108229419B (zh) * 2018-01-22 2022-03-04 百度在线网络技术(北京)有限公司 用于聚类图像的方法和装置
CN108229419A (zh) * 2018-01-22 2018-06-29 百度在线网络技术(北京)有限公司 用于聚类图像的方法和装置
CN108280477B (zh) * 2018-01-22 2021-12-10 百度在线网络技术(北京)有限公司 用于聚类图像的方法和装置
CN108536769A (zh) * 2018-03-22 2018-09-14 深圳市安软慧视科技有限公司 图像分析方法、搜索方法及装置、计算机装置及存储介质
CN109086720A (zh) * 2018-08-03 2018-12-25 腾讯科技(深圳)有限公司 一种人脸聚类方法、装置和存储介质
CN109086720B (zh) * 2018-08-03 2021-05-07 腾讯科技(深圳)有限公司 一种人脸聚类方法、装置和存储介质
CN109815788B (zh) * 2018-12-11 2024-05-31 平安科技(深圳)有限公司 一种图片聚类方法、装置、存储介质及终端设备
CN109815788A (zh) * 2018-12-11 2019-05-28 平安科技(深圳)有限公司 一种图片聚类方法、装置、存储介质及终端设备
WO2020119053A1 (zh) * 2018-12-11 2020-06-18 平安科技(深圳)有限公司 一种图片聚类方法、装置、存储介质及终端设备
CN110209658B (zh) * 2019-06-04 2021-09-14 北京字节跳动网络技术有限公司 数据清洗方法和装置
CN110209658A (zh) * 2019-06-04 2019-09-06 北京字节跳动网络技术有限公司 数据清洗方法和装置
CN110610196A (zh) * 2019-08-14 2019-12-24 平安科技(深圳)有限公司 脱敏方法、系统、计算机设备和计算机可读存储介质
CN113033584B (zh) * 2019-12-09 2023-07-07 Oppo广东移动通信有限公司 数据处理方法及相关设备
CN113033584A (zh) * 2019-12-09 2021-06-25 Oppo广东移动通信有限公司 数据处理方法及相关设备
CN111125359B (zh) * 2019-12-17 2023-12-15 东软集团股份有限公司 一种文本信息分类的方法、装置及设备
CN111125359A (zh) * 2019-12-17 2020-05-08 东软集团股份有限公司 一种文本信息分类的方法、装置及设备
CN111582057B (zh) * 2020-04-20 2022-02-15 东南大学 一种基于局部感受野的人脸验证方法
CN111582057A (zh) * 2020-04-20 2020-08-25 东南大学 一种基于局部感受野的人脸验证方法
CN112288561A (zh) * 2020-05-25 2021-01-29 百维金科(上海)信息科技有限公司 基于dbscan算法的互联网金融欺诈行为检测方法
CN111641640A (zh) * 2020-05-28 2020-09-08 青岛海尔科技有限公司 一种设备绑定处理方法及装置
CN112015937A (zh) * 2020-08-31 2020-12-01 核工业北京地质研究院 一种图片地理定位方法及系统
CN112015937B (zh) * 2020-08-31 2024-01-19 核工业北京地质研究院 一种图片地理定位方法及系统
CN112070144A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图像聚类方法、装置、电子设备以及存储介质
CN113052245B (zh) * 2021-03-30 2023-08-25 重庆紫光华山智安科技有限公司 图像聚类方法和装置、电子设备及存储介质
CN113052245A (zh) * 2021-03-30 2021-06-29 重庆紫光华山智安科技有限公司 图像聚类方法和装置、电子设备及存储介质
CN114612967A (zh) * 2022-03-03 2022-06-10 北京百度网讯科技有限公司 一种人脸聚类的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106503656A (zh) 一种图像分类方法、装置和计算设备
US11017220B2 (en) Classification model training method, server, and storage medium
US11348249B2 (en) Training method for image semantic segmentation model and server
CN108132968B (zh) 网络文本与图像中关联语义基元的弱监督学习方法
Cao et al. Graph-based discriminative learning for location recognition
KR101531618B1 (ko) 이미지들의 비교 방법 및 시스템
TW201909112A (zh) 圖像特徵獲取
CN111047563B (zh) 一种应用于医学超声图像的神经网络构建方法
CN107683469A (zh) 一种基于深度学习的产品分类方法及装置
KR20210102039A (ko) 전자 디바이스 및 이의 제어 방법
Ye et al. Variable selection via penalized neural network: a drop-out-one loss approach
CN110428357A (zh) 图像中水印的检测方法、装置、电子设备及存储介质
WO2016095068A1 (en) Pedestrian detection apparatus and method
WO2023279847A1 (zh) 单元格位置的检测方法、装置和电子设备
CN113129335A (zh) 一种基于孪生网络的视觉跟踪算法及多模板更新策略
KR20210064817A (ko) 상이한 딥러닝 모델 간의 전이 학습방법
CN113159188B (zh) 用于图像分类的模型生成方法、装置、设备及存储介质
Chehreghani Efficient computation of pairwise minimax distance measures
CN109492697A (zh) 图片检测网络训练方法及图片检测网络训练装置
CN111191065B (zh) 一种同源图像确定方法及装置
CN110457155A (zh) 一种样本类别标签的修正方法、装置及电子设备
CN113344994B (zh) 图像配准方法、装置、电子设备及存储介质
CN106778872B (zh) 基于密度的连通图的聚类方法与装置
CN116091784A (zh) 一种目标跟踪方法、设备及存储介质
CN114385714A (zh) 基于反馈的多排序融合方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170315

RJ01 Rejection of invention patent application after publication