CN104408404B - 人脸识别方法及装置 - Google Patents

人脸识别方法及装置 Download PDF

Info

Publication number
CN104408404B
CN104408404B CN201410602236.2A CN201410602236A CN104408404B CN 104408404 B CN104408404 B CN 104408404B CN 201410602236 A CN201410602236 A CN 201410602236A CN 104408404 B CN104408404 B CN 104408404B
Authority
CN
China
Prior art keywords
photo
personages
distance
face
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410602236.2A
Other languages
English (en)
Other versions
CN104408404A (zh
Inventor
陈志军
张波
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Inc
Original Assignee
Xiaomi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Inc filed Critical Xiaomi Inc
Priority to CN201410602236.2A priority Critical patent/CN104408404B/zh
Publication of CN104408404A publication Critical patent/CN104408404A/zh
Application granted granted Critical
Publication of CN104408404B publication Critical patent/CN104408404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/167Detection; Localisation; Normalisation using comparisons between temporally consecutive images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种人脸识别方法及装置,所述人脸识别方法利用照片所包含的人物的衣服特征信息和/或照片的拍摄时间信息,对两个人物的人脸距离进行加权,两个人物的衣服特征信息越相似,越能够缩短两个人物的人脸距离,增大两个人物之间的相似度;两个人物的衣服特征信息越不同,增大两个人物的人脸距离,降低两个人物之间的相似度。综上所述,所述人脸识别方法,不仅考虑了两个人脸的五官和脸型等人脸特征之间的相似性,还考虑了照片特征信息对人脸相似性的影响,从而提高人脸识别的正确率。

Description

人脸识别方法及装置
技术领域
本公开涉及人脸识别技术领域,特别是涉及一种人脸识别方法及装置。
背景技术
利用人脸识别技术,能够识别出照片中的人物,并且根据照片中的人物将属于同一个人的照片归类到一个簇中。
但是,在人脸识别的过程中,经常出现照片中的人脸姿态、表情、光照等条件不同,导致同一个人的人脸特征提取的特征向量之间相似度降低,从而降低人脸识别的正确率。
发明内容
为克服相关技术中存在的问题,本公开提供一种人脸识别方法及装置,本公开实施例公开了如下技术方案:
根据本公开实施例的第一方面,提供一种人脸识别方法,包括:
按照照片的拍摄时间,对照片进行聚类,得到至少一个聚类集合;
对于每个聚类集合,提取各照片的照片特征信息,所述照片特征信息包括照片的拍摄时间和/或照片中人物的衣服特征信息;
根据所述照片特征信息,得到分别属于两张照片的两个人物之间的距离加权系数;
利用人脸识别技术,获取所述两个人物的人脸距离;
根据两个人物对应的所述距离加权系数及所述人脸距离,得到所述两个人物之间的加权人脸距离;
根据两个人物之间所述加权人脸距离,判断所述两个人物是否是同一个人。
结合第一方面,在第一方面的第一种可能的实现方式中,当所述照片特征信息包括照片中人物的衣服特征信息时,所述对于每个聚类集合,提取各照片的照片特征信息,包括:
利用人脸检测技术,确定所述照片中人脸图像的位置;
根据所述人脸图像的位置,提取所述人脸图像对应人物的衣服特征信息。
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,根据所述人脸图像的位置,提取所述人脸图像对应人物的衣服特征信息,包括:
根据所述人脸图像的位置,确定所述人脸图像对应人物的衣服区域;
在所述衣服区域内,提取颜色特征向量,得到所述人物的衣服特征信息。
结合第一方面的第一种可能的实现方式,在第一方面的第三种可能的实现方式中,根据所述人脸图像的位置,提取所述人脸图像对应人物的衣服特征信息,包括:
根据所述人脸图像的位置,在距离所述人脸图像预设距离的区域内,提取颜色特征向量,得到所述人物的衣服特征信息。
结合第一方面,在第一方面的第四种可能的实现方式中,所述根据所述照片特征信息,得到分别属于两张照片的两个人物之间的距离加权系数,包括:
当所述照片特征信息包括照片的拍摄时间时,获取所述两张照片的拍摄时间的绝对差值;将所述拍摄时间的绝对差值进行归一化,根据归一化后的拍摄时间的绝对差值得到所述两张照片中的两个人物的距离加权系数;
或者,
当所述照片特征信息包括人物的衣服特征信息时,根据所述两个人物的衣服特征信息,得到所述两个人物的衣服相似度;根据所述衣服相似度得到所述两个人物的距离加权系数;
或者,
当所述照片特征信息包括照片的拍摄时间和人物的衣服特征信息时,获取所述两张照片的拍摄时间的绝对差值,并将所述拍摄时间的绝对差值进行归一化,得到拍摄时间对应的时间特征值;获取分别属于所述两张照片的两个人物的衣服特征信息的衣服相似度,得到所述衣服特征信息的特征值;确定所述拍摄时间对应的时间特征系数,以及所述衣服特征信息的衣服特征系数;根据所述时间特征值与时间特征系数的乘积,以及所述衣服特征信息的特征值与所述衣服特征系数的乘积,得到所述两个人物的距离加权系数。
结合第一方面,在第一方面的第五种可能的实现方式中,所述根据两个人物对应的所述距离加权系数及所述人脸距离,得到所述两个人物之间的加权人脸距离,包括:
根据所述两个人物的所述距离加权系数及所述人脸距离的乘积,得到所述两个人物之间的加权人脸距离。
根据本公开实施例的第二方面,提供一种人脸识别装置,包括:
聚类单元,用于按照照片的拍摄时间,对照片进行聚类,得到至少一个聚类集合;
特征提取单元,用于对于每个聚类集合,提取各照片的照片特征信息,所述照片特征信息包括照片的拍摄时间和/或照片中人物的衣服特征信息;
第一获取单元,用于根据所述照片特征信息,得到分别属于两张照片的两个人物之间的距离加权系数;
第二获取单元,用于利用人脸识别技术,获取所述两个人物的人脸距离;
第三获取单元,用于根据两个人物对应的所述距离加权系数及所述人脸距离,得到所述两个人物之间的加权人脸距离;
判断单元,用于根据两个人物之间所述加权人脸距离,判断所述两个人物是否是同一个人。
结合第二方面,在第二方面的第一种可能的实现方式中,当所述照片特征信息包括照片中人物的衣服特征信息时,所述特征提取单元包括:
位置确定子单元,用于利用人脸检测技术,确定所述照片中人脸图像的位置;
特征提取子单元,用于根据所述人脸图像的位置,提取所述人脸图像对应人物的衣服特征信息。
结合第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述特征提取子单元包括:
衣服区域确定子单元,用于根据所述人脸图像的位置,确定所述人脸图像对应人物的衣服区域;
第一颜色特征提取子单元,用于在所述衣服区域内,提取颜色特征向量,得到所述人物的衣服特征信息。
结合第二方面的第一种可能的实现方式,在第二方面的第三种可能的实现方式中,所述特征提取子单元包括:
第二颜色特征提取子单元,用于根据所述人脸图像的位置,在距离所述人脸图像预设距离的区域内,提取颜色特征向量,得到所述人物的衣服特征信息。
结合第二方面,在第二方面的第四种可能的实现方式中:
当所述照片特征信息包括照片的拍摄时间时,所述第一获取单元包括:第一时间差获取子单元,用于获取所述两张照片的拍摄时间的绝对差值;第一归一化子单元,用于将所述拍摄时间的绝对差值进行归一化;第一距离加权系数获取子单元,用于根据归一化后的拍摄时间的绝对差值得到所述两张照片中的两个人物的距离加权系数;
或者,
当所述照片特征信息包括人物的衣服特征信息时,所述第一获取单元包括:第一衣服相似度获取子单元,用于根据所述两个人物的衣服特征信息,得到所述两个人物的衣服相似度;第二距离加权系数获取子单元,用于根据所述衣服相似度得到所述两个人物的距离加权系数;
或者,
当所述照片特征信息包括照片的拍摄时间和人物的衣服特征信息时,所述第一获取单元包括:第二时间差获取子单元,用于获取所述两张照片的拍摄时间的绝对差值;第二归一化子单元,用于将所述拍摄时间的绝对差值进行归一化,得到拍摄时间对应的时间特征值;第二衣服相似度获取子单元,用于获取分别属于所述两张照片的两个人物的衣服特征信息的衣服相似度,得到所述衣服特征信息的特征值;特征系数获取子单元,用于确定所述拍摄时间对应的时间特征系数,以及所述衣服特征信息的衣服特征系数;第三距离加权系数获取子单元,用于根据所述时间特征值与时间特征系数的乘积,以及所述衣服特征信息的特征值与所述衣服特征系数的乘积,得到所述两个人物的距离加权系数。
结合第二方面,在第二方面的第五种可能的实现方式中,所述第三获取单元包括:
乘积运算子单元,用于根据所述两个人物的所述距离加权系数及所述人脸距离的乘积,得到所述两个人物之间的加权人脸距离。
根据本公开实施例的第三方面,提供一种终端设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为:
按照照片的拍摄时间,对照片进行聚类,得到至少一个聚类集合;
对于每个聚类集合,提取各照片的照片特征信息,所述照片特征信息包括照片的拍摄时间和/或照片中人物的衣服特征信息;
根据所述照片特征信息,得到分别属于两张照片的两个人物之间的距离加权系数;
利用人脸识别技术,获取所述两个人物的人脸距离;
根据两个人物对应的所述距离加权系数及所述人脸距离,得到所述两个人物之间的加权人脸距离;
根据两个人物之间所述加权人脸距离,判断所述两个人物是否是同一个人。
本公开的实施例提供的技术方案可以包括以下有益效果:所述人脸识别方法,首先按照照片的拍摄时间,将处于同一预设时间段的照片归类到一个聚类集合中;接着,根据聚类集合中两张照片中的两个人物所在照片的照片特征信息,得到两个人物之间的距离加权系数。然后,结合两个人物之间的距离加权系数和人脸距离,得到两个人物之间的加权人脸距离,之后,根据加权人脸距离判断两个人物是否是同一个人,最后,从聚类集合中确定出属于同一个人的照片。
所述人脸识别方法利用照片所包含的人物的衣服特征信息和/或照片的拍摄时间信息,对两个人物的人脸距离进行加权,两个人物的衣服特征信息越相似,越能够缩短两个人物的人脸距离,增大两个人物之间的相似度;两个人物的衣服特征信息越不同,增大两个人物的人脸距离,降低两个人物之间的相似度。综上所述,所述人脸识别方法,不仅考虑了两个人脸的五官和脸型等人脸特征之间的相似性,还考虑了照片特征信息对人脸相似性的影响,从而提高人脸识别的正确率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种人脸识别方法的流程图;
图2是根据一示例性实施例示出的另一种人脸识别方法的流程图;
图3是根据一示例性实施例示出的一种人脸识别装置的框图;
图4是根据一示例性实施例示出的一种用于人脸识别的装置的框图;
图5是根据一示例性实施例示出的另一种用于人脸识别的装置的框图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种人脸识别方法的流程图,该方法应用于移动终端(例如,智能手机或平板电脑等)或服务器中,如图1所示,所述人脸识别方法包括以下步骤:
在步骤S110中,按照照片的拍摄时间,对照片进行聚类,得到至少一个聚类集合。
按照照片的拍摄时间,对图片库中的照片进行聚类,将处于同一时间段的照片归类到一个簇中。可以根据实际需要自由设定时间段的长短,例如,同一天内拍摄的照片归类到一个簇中,或者,将某一天上午拍摄的照片归类到一个簇中,或者,还可以将连续几天内拍摄的照片归类到一个簇中。
若本实施例的方法应用于智能手机中,即对智能手机的图片库中的照片进行处理;若本实施例的方法应用于服务器中,则智能手机上传到服务器的照片(例如,云相册中的照片)进行处理。
在步骤S120中,对于每个聚类集合,提取各照片的照片特征信息。所述照片特征信息包括照片的拍摄时间和/或照片中人物的衣服特征信息。
对于每个聚类集合中的各个照片,提取各个照片的照片特征信息。
若所述照片特征信息包括衣服特征信息,则可以首先利用人脸检测技术确定照片中人脸图像的位置,然后,根据人脸图像的位置,提取所述人脸图像对应人物的衣服特征信息。
若所述照片特征信息包括照片的拍摄时间,则可以从照片的拍摄信息中提取拍摄时间。
所述照片特征信息还可以包括照片的拍摄时间和人物的衣服特征信息,可以分别采用上述的方式获得,此处不再赘述。
在提取人物的衣服特征信息时,可以通过以下两种方式实现:
一种是:首先根据照片中人脸图像的位置,确定所述人脸图像对应人物的衣服区域。然后,利用图像分割技术,在所述衣服区域范围内,确定照片中的前景像素点和背景像素点,其中,所述前景像素点即所述人物的衣服的像素点。提取照片中前景像素点的SIFT(Scale-invariant Feature Transform,尺度不变量特征变换)或颜色直方图等特征向量,作为人物的衣服特征信息。
另一种是:根据所述人脸图像的位置,在距离所述人脸图像预设距离的区域内,提取颜色特征向量,得到所述人物的衣服特征信息。
通常人脸的下方的区域就是人物的衣服,利用这个特点,可以在人脸图像下方的一定区域内提取得到该人脸图像对应人物的衣服特征信息。在距离人脸图像预设距离的区域内提取衣服特征信息,所述预设距离可以根据经验设定,也可以对样本照片进行训练获得。
在步骤S130中,根据所述照片特征信息,得到分别属于两张照片中的两个人物之间的距离加权系数。
根据两个人物对应的照片特征信息,确定两个人物之间的距离加权系数,确定的过程可以包括以下三种情况:
(1)若所述照片特征信息包括衣服特征信息,则根据两个人物的衣服相似度确定所述距离加权系数。
例如,同一聚类集合中的照片A和B,提取照片A中的人物i和照片B中的人物j的衣服特征信息,并根据人物i和人物j的衣服特征信息计算两者的衣服相似度,其中,所述衣服相似度可以利用余弦相似度表示,余弦相似度在区间[0,1]内,然后,可以利用衣服相似度加上常数得到距离加权系数Wij,距离加权系数Wij的取值范围为[0,L],其中,L为大于1的数。Wij为1附近的数值,例如,0.8、1.5、2。若Wij>1,增大两个人脸的相似度;若Wij<1,降低两个人脸的相似度;若Wij=1,表明对人脸的相似度没有影响。
(2)若所述照片特征信息包括照片的拍摄时间,根据两张照片的拍摄时间的绝对差值,然后,将拍摄时间的绝对差值归一化到预设区间内,归一化后的拍摄时间绝对差值即两个人物的距离加权系数。
例如,聚类集合中的两张照片拍摄时间分别是:2014年1月1日10时0分0秒和2014年1月1日12时0分0秒,则两张照片的拍摄时间绝对差值为7200s,则可以利用映射函数将该拍摄时间绝对差值映射到[0,L]内,作为人脸i和人脸j之间的距离加权系数Wij。若Wij>1,增大两个人脸的相似度;若Wij<1,降低两个人脸的相似度;若Wij=1,表明对人脸的相似度没有影响。
(3)若所述照片特征信息包括衣服特征信息和照片的拍摄时间,则根据人物的衣服的相似度及拍摄时间差值共同确定人物的距离加权系数。
在步骤S140中,利用人脸识别技术,获取所述两个人物的人脸距离。利用人脸识别技术获取人脸特征,例如gabor特征、LBP(Local binary patterns,局部二值模式)特征,然后,根据人脸特征计算人脸距离dij,dij表示人脸i与人脸j之间的人脸距离。
在步骤S150中,根据两个人物对应的所述距离加权系数及所述人脸距离,得到所述两个人物之间的加权人脸距离。
在本公开一个实施例中,假设人脸i和人脸j之间的人脸距离dij,距离加权系数Wij,则根据公式1可以计算得到人脸i和人脸j之间的加权人脸距离Dij
Dij=Wijdij (公式1)
公式1中的距离加权系数Wij的取值范围是[0,L],其中,L为大于1的数值。可选地,距离加权系数Wij可以取1附近的数值,例如[1-m,1+m],其中,1+m不大于L。
在本公开另一个实施例中,根据公式2可以计算得到人脸i和人脸j之间的加权人脸距离Dij
Dij=Wij+dij (公式2)
公式2中的距离加权系数Wij的取值范围是[-1,1]。若Wij小于0,则降低两个人脸之间的相似度;若Wij大于0,则增大两个人脸之间的相似度。
在步骤S160中,根据两个人物之间所述加权人脸距离,判断所述两个人物是否是同一个人。
利用聚类算法,根据两个人物之间的加权人脸距离,判断两个人物是否是同一个人。如果照片中包含多个人物,则将该照片分别归类到照片中各个人物对应的簇中。
利用上述的方法从不同的聚类集合中识别出属于同一个人的照片,最终实现将图片库中属于同一个人的照片全部聚集到一个簇中。
本实施例提供的人脸识别方法,首先按照照片的拍摄时间,将处于同一预设时间段的照片归类到一个聚类集合中;接着,对于每个聚类集合,提取各照片的照片特征信息。根据照片特征得到两个人物之间的距离加权系数。然后,结合两个人物之间的距离加权系数和人脸距离,得到两个人物之间的加权人脸距离,再根据加权人脸距离判断两个人物是否是同一个人。
所述人脸识别方法利用照片所包含的人物的衣服特征信息和/或照片的拍摄时间信息,对两个人物的人脸距离进行加权,两个人物的衣服特征信息越相似,越能够缩短两个人物的人脸距离,增大两个人物之间的相似度;两个人物的衣服特征信息越不同,增大两个人物的人脸距离,降低两个人物之间的相似度。综上所述,所述人脸识别方法,不仅考虑了两个人脸的五官和脸型等人脸特征之间的相似性,还考虑了照片特征信息对人脸相似性的影响,从而提高人脸识别的正确率。
图2是根据一示例性实施例示出的另一种人脸识别方法的流程图,该方法应用于移动终端(例如,智能手机或平板电脑等)或服务器中,如图2所示,所述人脸识别方法包括以下步骤:
在步骤S210中,按照照片的拍摄时间,对照片进行聚类,得到至少一个聚类集合。
在步骤S220中,获取所述聚类集合的各照片的拍摄时间;
在步骤S230中,计算所述聚类集合中的两张照片之间的拍摄时间绝对差值,并对所述拍摄时间绝对差值进行归一化,得到时间特征值。
在步骤S240中,获取所述照片中人物的衣服特征信息。
在步骤S250中,获取分别属于两张照片的两个人物的衣服特征信息的衣服相似度,得到所述衣服特征信息的特征值。
在步骤S260中,确定所述拍摄时间对应的时间特征系数,以及所述衣服特征信息的衣服特征系数。
在步骤S270中,根据所述时间特征值与时间特征系数的乘积,以及所述衣服特征信息的特征值与所述衣服特征系数的乘积,得到所述两个人物的距离加权系数。
拍摄时间和衣服特征信息对距离加权系数Wij的影响程度可能不同,因此,可以确定这两个因素影响距离加权系数Wij的特征系数θ,θ的取值范围为[0,1]。θ的数值越大,表明特征Xi对距离加权系数Wij的影响越大;θ等于0时,该类特征Xi对距离加权系数Wij没有影响。
其中,特征系数θ的取值可以根据经验设定,也可以通过对样本进行训练得到。在根据经验设定时,可以将拍摄时间和衣服特征信息对应的θ之和设定为1,例如,若拍摄对应的特征系数为0.6,则衣服特征信息对应的特征系数为0.4。需要说明的是,拍摄时间和衣服特征信息对应的θ的取值可以不必限定拍摄时间和衣服特征信息对应的θ之和为1。
假设处于同一簇的照片A和照片B对应的时间特征值为X1,时间特征系数为θ1;照片A中的人脸i与照片B中的人脸j的衣服特征信息的特征值为X2,衣服特征系数为θ2
距离加权系数可以利用下述的公式3计算得到:
Wij=θ01x12x2 (公式3)
公式3中的θ0用于调整距离加权系数Wij的大小,数值可以根据试验得到。
在本公开的其它实施例中,可以根据不同的情况调节特征系数θ,例如,两张照片的拍摄时间相差很短,例如连拍的情况,相邻的两张照片可能相差不到1秒,这种情况下,两张照片中的人物变化不会太大,可以将时间特征系数设置为较大的数,而衣服特征系数设置为较小的数值。认为时间特征对距离加权系数的影响程度较大。
又如,若大家参身着同样的衣服(例如,参加某种公益活动),这种情况下,通过衣服特征区分两个人,比较困难,因此,可以将衣服特征系数设置为较小的数值,即衣服特征对距离加权系数的影响较小。
需要说明的是,拍摄时间和衣服特征信息都是人脸识别的辅助参考信息,人脸特征是判断两个人脸是否是同一个人的主要决定因素。
在步骤S280中,利用人脸识别技术,获取所述两个人物的人脸距离。
在步骤S290中,根据两个人物对应的所述距离加权系数及所述人脸距离,得到所述两个人物之间的加权人脸距离。
在步骤S2100中,根据两个人物之间所述加权人脸距离,判断所述两个人物是否是同一个人。
图3是根据一示例性实施例示出的一种人脸识别装置的框图,该装置应用于移动终端或服务器中,如图3所示,所述装置包括:聚类单元310、特征提取单元320、第一获取单元330、第二获取单元340、第三获取单元350和判断单元360
该聚类单元310被配置为,按照照片的拍摄时间,对照片进行聚类,得到至少一个聚类集合。
该特征提取单元320被配置为,对于每个聚类集合,提取各照片的照片特征信息。对于每个聚类集合中的各个照片,提取所述各个照片的照片特征信息。所述照片特征信息包括照片的拍摄时间和/或照片中人物的衣服特征信息。
若所述照片特征信息包括照片中人物的衣服特征信息,则所述特征提取单元320可以包括:位置确定子单元和特征提取子单元;
该位置确定子单元被配置为,利用人脸检测技术,确定所述照片中人脸图像的位置。
该特征提取子单元被配置为,根据所述人脸图像的位置,提取所述人脸图像对应人物的衣服特征信息。
在本公开一示例性实施例中,所述特征提取子单元包括:衣服区域确定子单元和第一颜色特征提取子单元;
该衣服区域确定子单元被配置为,根据所述人脸图像的位置,确定所述人脸图像对应人物的衣服区域。
该第一颜色特征提取子单元被配置为,在所述衣服区域内,提取颜色特征向量,得到所述人物的衣服特征信息。
在本公开另一示例性实施例中,所述特征提取子单元包括第二颜色特征提取子单元;
该第二颜色特征提取子单元被配置为,根据所述人脸图像的位置,在距离所述人脸图像预设距离的区域内,提取颜色特征向量,得到所述人物的衣服特征信息。
若所述照片特征信息包括照片的拍摄时间,则该特征提取单元320从照片的拍摄信息中提取照片的拍摄时间。
该第一获取单元330被配置为,根据所述照片特征信息,得到分别属于两张照片的两个人物之间的距离加权系数。
若所述照片特征信息包括照片的拍摄时间,所述第一获取单元330可以包括:第一时间差获取子单元、第一归一化子单元和第一距离加权系数获取子单元。
该第一时间差获取子单元被配置为,获取所述两张照片的拍摄时间的绝对差值。
该第一归一化子单元被配置为,将所述拍摄时间的绝对差值进行归一化。
该第一距离加权系数获取子单元被配置为,根据归一化后的拍摄时间的绝对差值得到所述两张照片中的两个人物的距离加权系数。
若所述照片特征信息包括人物的衣服特征信息,则所述第一获取单元330可以包括:第一衣服相似度获取子单元和第二距离加权系数获取子单元。
该第一衣服相似度获取子单元被配置为,根据所述两个人物的衣服特征信息,得到所述两个人物的衣服相似度。
该第二距离加权系数获取子单元被配置为,根据所述衣服相似度得到所述两个人物的距离加权系数。
若所述照片特征信息包括照片的拍摄时间和人物的衣服特征信息,则所述第一获取单元330可以包括:第二时间差获取子单元、第二归一化子单元、第二衣服相似度获取子单元、特征系数获取子单元和第三距离加权系数获取子单元;
该第二时间差获取子单元被配置为,获取所述两张照片的拍摄时间的绝对差值。
该第二归一化子单元被配置为,将所述拍摄时间的绝对差值进行归一化,得到拍摄时间对应的时间特征值。
该第二衣服相似度获取子单元被配置为,获取分别属于所述两张照片的两个人物的衣服特征信息的衣服相似度,得到所述衣服特征信息的特征值。
该特征系数获取子单元被配置为,确定所述拍摄时间对应的时间特征系数,以及所述衣服特征信息的衣服特征系数。
该第三距离加权系数获取子单元被配置为,根据所述时间特征值与时间特征系数的乘积,以及所述衣服特征信息的特征值与所述衣服特征系数的乘积,得到所述两个人物的距离加权系数。
该第二获取单元340被配置为,利用人脸识别技术,获取所述两个人物的人脸距离。
利用人脸识别技术获取人脸特征,例如gabor特征、LBP特征,然后,根据人脸特征计算人脸距离dij,dij表示人脸i与人脸j之间的人脸距离。
该第三获取单元350被配置为,根据两个人物对应的所述距离加权系数及所述人脸距离,得到所述两个人物之间的加权人脸距离。
在本公开一示例性实施例中,该第三获取单元350可以包括乘积运算子单元;该乘积运算子单元被配置为根据所述两个人物的所述距离加权系数及所述人脸距离的乘积,得到所述两个人物之间的加权人脸距离。可以利用公式1计算得到两个人物之间的加权人脸距离。
在本公开一示例性实施例中,该第三获取单元350可以包括累加子单元。该累加子单元被配置为,根据两个人物的所述距离加权系数及对应的所述人脸距离的累加和,得到两个人物之间的加权人脸距离。可以利用公式2计算得到两个人物之间的加权人脸距离。
该判断单元360被配置为,根据两个人物之间所述加权人脸距离,判断所述两个人物是否是同一个人。
本实施例提供的人脸识别装置,利用照片所包含的人物的衣服特征信息和/或照片的拍摄时间信息,对两个人物的人脸距离进行加权,两个人物的衣服特征信息越相似,越能够缩短两个人物的人脸距离,增大两个人物之间的相似度;两个人物的衣服特征信息越不同,增大两个人物的人脸距离,降低两个人物之间的相似度。综上所述,所述人脸识别方法,不仅考虑了两个人脸的五官和脸型等人脸特征之间的相似性,还考虑了照片特征信息对人脸相似性的影响,从而提高人脸识别的正确率。
图4是根据一示例性实施例示出的一种用于人脸识别方法的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
如图4所示,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得终端设备能够执行一种人脸识别方法,所述方法包括:
按照照片的拍摄时间,对照片进行聚类,得到至少一个聚类集合;
对于每个聚类集合,提取各照片的照片特征信息,所述照片特征信息包括照片的拍摄时间和/或照片中人物的衣服特征信息;
根据所述照片特征信息,得到分别属于两张照片的两个人物之间的距离加权系数;
利用人脸识别技术,获取所述两个人物的人脸距离;
根据两个人物对应的所述距离加权系数及所述人脸距离,得到所述两个人物之间的加权人脸距离;
根据两个人物之间所述加权人脸距离,判断所述两个人物是否是同一个人。
图5是根据一示例性实施例示出的一种用于人脸识别的装置1900的框图。例如,装置1900可以被提供为一服务器。如图5所示,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述图1~图2所示的方法实施例。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (11)

1.一种人脸识别方法,其特征在于,包括:
按照照片的拍摄时间,对照片进行聚类,得到至少一个聚类集合;
对于每个聚类集合,提取各照片的照片特征信息,所述照片特征信息包括照片的拍摄时间和/或照片中人物的衣服特征信息;
根据所述照片特征信息,得到分别属于两张照片的两个人物之间的距离加权系数;
利用人脸识别技术,获取所述两个人物的人脸距离;
根据两个人物对应的所述距离加权系数及所述人脸距离,得到所述两个人物之间的加权人脸距离;
根据两个人物之间所述加权人脸距离,判断所述两个人物是否是同一个人;
当所述照片特征信息包括照片中人物的衣服特征信息时,所述对于每个聚类集合,提取各照片的照片特征信息,包括:
利用人脸检测技术,确定所述照片中人脸图像的位置;
根据所述人脸图像的位置,提取所述人脸图像对应人物的衣服特征信息。
2.根据权利要求1所述的方法,其特征在于,根据所述人脸图像的位置,提取所述人脸图像对应人物的衣服特征信息,包括:
根据所述人脸图像的位置,确定所述人脸图像对应人物的衣服区域;
在所述衣服区域内,提取颜色特征向量,得到所述人物的衣服特征信息。
3.根据权利要求1所述的方法,其特征在于,根据所述人脸图像的位置,提取所述人脸图像对应人物的衣服特征信息,包括:
根据所述人脸图像的位置,在距离所述人脸图像预设距离的区域内,提取颜色特征向量,得到所述人物的衣服特征信息。
4.根据权利要求1所述的方法,其特征在于,所述根据所述照片特征信息,得到分别属于两张照片的两个人物之间的距离加权系数,包括:
当所述照片特征信息包括照片的拍摄时间时,获取所述两张照片的拍摄时间的绝对差值;将所述拍摄时间的绝对差值进行归一化,根据归一化后的拍摄时间的绝对差值得到所述两张照片中的两个人物的距离加权系数;
或者,
当所述照片特征信息包括人物的衣服特征信息时,根据所述两个人物的衣服特征信息,得到所述两个人物的衣服相似度;根据所述衣服相似度得到所述两个人物的距离加权系数;
或者,
当所述照片特征信息包括照片的拍摄时间和人物的衣服特征信息时,获取所述两张照片的拍摄时间的绝对差值,并将所述拍摄时间的绝对差值进行归一化,得到拍摄时间对应的时间特征值;获取分别属于所述两张照片的两个人物的衣服特征信息的衣服相似度,得到所述衣服特征信息的特征值;确定所述拍摄时间对应的时间特征系数,以及所述衣服特征信息的衣服特征系数;根据所述时间特征值与时间特征系数的乘积,以及所述衣服特征信息的特征值与所述衣服特征系数的乘积,得到所述两个人物的距离加权系数。
5.根据权利要求1所述的方法,其特征在于,所述根据两个人物对应的所述距离加权系数及所述人脸距离,得到所述两个人物之间的加权人脸距离,包括:
根据所述两个人物的所述距离加权系数及所述人脸距离的乘积,得到所述两个人物之间的加权人脸距离。
6.一种人脸识别装置,其特征在于,包括:
聚类单元,用于按照照片的拍摄时间,对照片进行聚类,得到至少一个聚类集合;
特征提取单元,用于对于每个聚类集合,提取各照片的照片特征信息,所述照片特征信息包括照片的拍摄时间和/或照片中人物的衣服特征信息;
第一获取单元,用于根据所述照片特征信息,得到分别属于两张照片的两个人物之间的距离加权系数;
第二获取单元,用于利用人脸识别技术,获取所述两个人物的人脸距离;
第三获取单元,用于根据两个人物对应的所述距离加权系数及所述人脸距离,得到所述两个人物之间的加权人脸距离;
判断单元,用于根据两个人物之间所述加权人脸距离,判断所述两个人物是否是同一个人;
当所述照片特征信息包括照片中人物的衣服特征信息时,所述特征提取单元包括:
位置确定子单元,用于利用人脸检测技术,确定所述照片中人脸图像的位置;
特征提取子单元,用于根据所述人脸图像的位置,提取所述人脸图像对应人物的衣服特征信息。
7.根据权利要求6所述的装置,其特征在于,所述特征提取子单元包括:
衣服区域确定子单元,用于根据所述人脸图像的位置,确定所述人脸图像对应人物的衣服区域;
第一颜色特征提取子单元,用于在所述衣服区域内,提取颜色特征向量,得到所述人物的衣服特征信息。
8.根据权利要求6所述的装置,其特征在于,所述特征提取子单元包括:
第二颜色特征提取子单元,用于根据所述人脸图像的位置,在距离所述人脸图像预设距离的区域内,提取颜色特征向量,得到所述人物的衣服特征信息。
9.根据权利要求6所述的装置,其特征在于:
当所述照片特征信息包括照片的拍摄时间时,所述第一获取单元包括:第一时间差获取子单元,用于获取所述两张照片的拍摄时间的绝对差值;第一归一化子单元,用于将所述拍摄时间的绝对差值进行归一化;第一距离加权系数获取子单元,用于根据归一化后的拍摄时间的绝对差值得到所述两张照片中的两个人物的距离加权系数;
或者,
当所述照片特征信息包括人物的衣服特征信息时,所述第一获取单元包括:第一衣服相似度获取子单元,用于根据所述两个人物的衣服特征信息,得到所述两个人物的衣服相似度;第二距离加权系数获取子单元,用于根据所述衣服相似度得到所述两个人物的距离加权系数;
或者,
当所述照片特征信息包括照片的拍摄时间和人物的衣服特征信息时,所述第一获取单元包括:第二时间差获取子单元,用于获取所述两张照片的拍摄时间的绝对差值;第二归一化子单元,用于将所述拍摄时间的绝对差值进行归一化,得到拍摄时间对应的时间特征值;第二衣服相似度获取子单元,用于获取分别属于所述两张照片的两个人物的衣服特征信息的衣服相似度,得到所述衣服特征信息的特征值;特征系数获取子单元,用于确定所述拍摄时间对应的时间特征系数,以及所述衣服特征信息的衣服特征系数;第三距离加权系数获取子单元,用于根据所述时间特征值与时间特征系数的乘积,以及所述衣服特征信息的特征值与所述衣服特征系数的乘积,得到所述两个人物的距离加权系数。
10.根据权利要求6所述的装置,其特征在于,所述第三获取单元包括:
乘积运算子单元,用于根据所述两个人物的所述距离加权系数及所述人脸距离的乘积,得到所述两个人物之间的加权人脸距离。
11.一种终端设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
按照照片的拍摄时间,对照片进行聚类,得到至少一个聚类集合;
对于每个聚类集合,提取各照片的照片特征信息,所述照片特征信息包括照片的拍摄时间和/或照片中人物的衣服特征信息;
根据所述照片特征信息,得到分别属于两张照片的两个人物之间的距离加权系数;
利用人脸识别技术,获取所述两个人物的人脸距离;
根据两个人物对应的所述距离加权系数及所述人脸距离,得到所述两个人物之间的加权人脸距离;
根据两个人物之间所述加权人脸距离,判断所述两个人物是否是同一个人;
当所述照片特征信息包括照片中人物的衣服特征信息时,所述对于每个聚类集合,提取各照片的照片特征信息,包括:
利用人脸检测技术,确定所述照片中人脸图像的位置;
根据所述人脸图像的位置,提取所述人脸图像对应人物的衣服特征信息。
CN201410602236.2A 2014-10-31 2014-10-31 人脸识别方法及装置 Active CN104408404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410602236.2A CN104408404B (zh) 2014-10-31 2014-10-31 人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410602236.2A CN104408404B (zh) 2014-10-31 2014-10-31 人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN104408404A CN104408404A (zh) 2015-03-11
CN104408404B true CN104408404B (zh) 2018-04-27

Family

ID=52646035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410602236.2A Active CN104408404B (zh) 2014-10-31 2014-10-31 人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN104408404B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850828B (zh) * 2015-04-29 2018-06-12 小米科技有限责任公司 人物识别方法及装置
JP6572629B2 (ja) * 2015-06-03 2019-09-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN105631403B (zh) * 2015-12-17 2019-02-12 小米科技有限责任公司 人脸识别方法及装置
CN106446797B (zh) * 2016-08-31 2019-05-07 腾讯科技(深圳)有限公司 图像聚类方法及装置
CN109815887B (zh) * 2019-01-21 2020-10-16 浙江工业大学 一种基于多智能体协作的复杂光照下人脸图像的分类方法
CN111723615B (zh) * 2019-03-20 2023-08-08 杭州海康威视数字技术股份有限公司 对检测物图像进行检测物匹配判定的方法和装置
CN110648382B (zh) * 2019-09-30 2023-02-24 北京百度网讯科技有限公司 图像生成方法和装置
CN111339979B (zh) * 2020-03-04 2023-09-19 平安科技(深圳)有限公司 基于特征提取的图像识别方法及图像识别装置
CN111488943A (zh) * 2020-04-16 2020-08-04 上海芯翌智能科技有限公司 人脸识别的方法及设备
CN117009564B (zh) * 2023-09-28 2024-01-05 荣耀终端有限公司 图片处理方法和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100580691C (zh) * 2007-03-16 2010-01-13 上海博康智能信息技术有限公司 综合利用人脸及人体辅助信息的交互式人脸识别系统及方法
CN101420301A (zh) * 2008-04-21 2009-04-29 林格灵 人脸识别身份认证系统
CN101315631B (zh) * 2008-06-25 2010-06-02 中国人民解放军国防科学技术大学 一种新闻视频故事单元关联方法
KR20120064581A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 영상 분류 방법 및 이를 위한 장치
US8660322B2 (en) * 2011-08-25 2014-02-25 King Saud University Passive continuous authentication method

Also Published As

Publication number Publication date
CN104408404A (zh) 2015-03-11

Similar Documents

Publication Publication Date Title
CN104408404B (zh) 人脸识别方法及装置
CN104408402B (zh) 人脸识别方法及装置
CN104850828B (zh) 人物识别方法及装置
CN105631403B (zh) 人脸识别方法及装置
CN110516745A (zh) 图像识别模型的训练方法、装置及电子设备
CN106295511B (zh) 人脸跟踪方法及装置
CN104700353B (zh) 图像滤镜生成方法及装置
CN107133576A (zh) 用户年龄识别方法及装置
CN105654039B (zh) 图像处理的方法和装置
WO2019024717A1 (zh) 防伪处理方法及相关产品
CN105404863B (zh) 人物特征识别方法及系统
CN106845377A (zh) 人脸关键点定位方法及装置
CN105069083B (zh) 关联用户的确定方法及装置
CN105069426B (zh) 相似图片判断方法以及装置
CN107368810A (zh) 人脸检测方法及装置
CN107527053A (zh) 目标检测方法及装置
CN104063865B (zh) 分类模型创建方法、图像分割方法及相关装置
CN106980840A (zh) 脸型匹配方法、装置及存储介质
CN107463903B (zh) 人脸关键点定位方法及装置
CN105528078B (zh) 控制电子设备的方法及装置
CN107688781A (zh) 人脸识别方法及装置
CN106384348B (zh) 监控图像的异常检测方法及装置
CN106971164A (zh) 脸型匹配方法及装置
CN105138956B (zh) 人脸检测方法和装置
CN109360197A (zh) 图像的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant