CN105975959A - 基于神经网络的人脸特征提取建模、人脸识别方法及装置 - Google Patents

基于神经网络的人脸特征提取建模、人脸识别方法及装置 Download PDF

Info

Publication number
CN105975959A
CN105975959A CN201610415337.8A CN201610415337A CN105975959A CN 105975959 A CN105975959 A CN 105975959A CN 201610415337 A CN201610415337 A CN 201610415337A CN 105975959 A CN105975959 A CN 105975959A
Authority
CN
China
Prior art keywords
face
picture
feature
tlv triple
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610415337.8A
Other languages
English (en)
Other versions
CN105975959B (zh
Inventor
张玉兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN201610415337.8A priority Critical patent/CN105975959B/zh
Publication of CN105975959A publication Critical patent/CN105975959A/zh
Priority to PCT/CN2016/113123 priority patent/WO2017215240A1/zh
Application granted granted Critical
Publication of CN105975959B publication Critical patent/CN105975959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于神经网络的人脸特征提取建模方法及装置,从预设应用场景的训练集中获取三元组人脸图片;获取经过训练的人脸识别神经网络,并根据人脸识别神经网络确定三元组深度神经网络;将三元组人脸图片作为三元组深度神经网络的输入,确定损失代价函数值;根据损失代价函数值及训练参数在训练集上训练三元组深度神经网络;通过预设应用场景的测试集对三元组深度神经网络进行人脸识别测试,并根据测试结果确定测试精度,根据测试精度及三元组深度神经网络确定目标人脸特征提取模型。该方法及装置可以达到将建模得到的人脸特征模型应用在特定的人脸识别应用场景中时,人脸识别精度高的有益效果。本发明还提供一种人脸识别方法及装置。

Description

基于神经网络的人脸特征提取建模、人脸识别方法及装置
技术领域
本发明涉及人脸识别技术领域,尤其涉及一种基于神经网络的人脸特征提取建模方法及装置以及一种人脸识别方法及装置。
背景技术
人脸识别,是一种基于人的脸部特征信息进行身份识别的生物识别技术,一般是用摄像机或摄像头采集含有人脸的图像或视频流后,自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部识别,通常也叫做人像识别、面部识别。
传统的人脸识别神经网络广泛应用于人脸识别中,但由于传统的人脸识别神经网络中的人脸特征提取模型多是基于在一个很大的人脸数据集(50万以上)上训练,然后作为通用模型应用在各种场景中。
由于通用模型对数据具有很强的依赖性,而特定应用场景的数据在通用人脸数据集中所占的比例较少。因此,通用模型在特定的人脸识别应用场景中的人脸识别精度并不高。
发明内容
基于此,有必要提供一种能够在特定的人脸识别应用场景中提高识别精度的基于神经网络的人脸特征提取建模方法及装置,以及一种应用通过该基于神经网络的人脸特征提取建模方法及装置建立的人脸特征模型的人脸识别方法及装置。
一种基于神经网络的人脸特征提取建模方法,包括:
从预设应用场景的训练集中获取三元组人脸图片;所述三元组人脸图片包括同一分类下的第一图片、第二图片,及另一分类下的第三图片;
获取经过训练的人脸识别神经网络,并根据所述人脸识别神经网络确定三元组深度神经网络;
将所述三元组人脸图片作为所述三元组深度神经网络的输入,确定损失代价函数值;
根据所述损失代价函数值及训练参数在所述训练集上训练所述三元组深度神经网络;
通过所述预设应用场景的测试集对所述三元组深度神经网络进行人脸识别测试,并根据测试结果确定测试精度,根据所述测试结果及所述三元组深度神经网络确定目标人脸特征提取模型。
一种基于神经网络的人脸特征提取建模装置,包括:
三元图片获取模块,用于从预设应用场景的训练集中获取三元组人脸图片;所述三元组人脸图片包括同一分类下的第一图片、第二图片,及另一分类下的第三图片;
三元网络确定模块,用于获取经过训练的人脸识别神经网络,并根据所述人脸识别神经网络确定三元组深度神经网络;
损失代价确定模块,用于将所述三元组人脸图片作为所述三元组深度神经网络的输入,确定损失代价函数值;
三元网络训练模块,用于根据所述损失代价函数值及训练参数在所述训练集上训练所述三元组深度神经网络;
特征模型确定模块,用于通过所述预设应用场景的测试集对所述三元组深度神经网络进行人脸识别测试,并根据测试结果确定测试精度,根据所述测试精度及所述三元组深度神经网络确定目标人脸特征提取模型。
上述基于神经网络的人脸特征提取建模方法及装置,由于训练模型的时候采用预设应用场景的训练集中获取的三元组人脸图片作为三元组深度神经网络的输入,进行神经网络的训练。因此,该建模方法及装置可以大大降低训练集的容量,且训练集均为预设应用场景的人脸图片,可以达到将建模得到的人脸特征模型应用在特定的人脸识别应用场景中时,人脸识别精度高的有益效果。
一种人脸识别方法,包括:
获取待识别图片,并将所述待识别图片作为目标人脸特征提取模型的输入,确定待识别特征;
将所述待识别特征与训练集中的人脸图片对应的图片特征进行对比,并将与所述待识别特征距离最近的图片特征对应的人脸图片所属的分类确定为所述待识别图片的分类。
一种人脸识别装置,包括:
待识特征确定模块,用于获取待识别图片,并将所述待识别图片作为目标人脸特征提取模型的输入,确定待识别特征;
对比分类确定模块,用于将所述待识别特征与训练集中的人脸图片对应的图片特征进行对比,并将与所述待识别特征距离最近的图片特征对应的人脸图片所属的分类确定为所述待识别图片的分类。
上述人脸识别方法及装置,由于根据通过上述基于神经网络的人脸特征提取建模装置建立的目标人脸特征提取模型进行人脸特征识别,因此,上述人脸识别方法及装置的识别精度高。
附图说明
图1为一实施例的基于神经网络的人脸特征提取建模方法的流程图;
图2为图1的基于神经网络的人脸特征提取建模方法的一个步骤的具体流程图;
图3为另一实施例的基于神经网络的人脸特征提取建模方法的流程图;
图4为一实施例的基于神经网络的人脸特征提取建模方法中进行人脸对齐处理前的示例图;
图5为图4的示例图进行人脸对齐处理后的结果图;
图6为图1的基于神经网络的人脸特征提取建模方法的另一个步骤的具体流程图;
图7为一实施例的人脸识别方法的流程图;
图8为一实施例的基于神经网络的人脸特征提取建模装置的结构图;
图9为一实施例的人脸识别方法的结构图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳的实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“或/和”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示,为本发明一个实施例的基于神经网络的人脸特征提取建模方法,包括:
S140:从预设应用场景的训练集中获取三元组人脸图片。所述三元组人脸图片包括同一分类下的第一图片、第二图片,及另一分类下的第三图片。
预设应用场景可以为对人脸识别精度要求较高的场景,如银行VTM(VirtualTeller Machine,远程柜员机)验证、珠宝店VIP(Very Important Person,贵宾)识别等场景。同一分类表示同一个对象,如可以为同一个人。
三元组图片结合了验证信息,即第一图片、第二图片属于同一分类而第一图片与第三图片属于不同分类。
假设总人数为N,每个人有M张人脸图片;即分类数为N,每个分类下面有M张人脸图片。假设从N个人中随机挑选K个人用于训练,形成训练集,则总共可以抽取个三元组用于训练。因此,利用三元组人脸图片作为神经网络训练的输入可以大大降低训练集的容量,无需准备大量用于训练的人脸图片,节约资源。
S150:获取经过训练的人脸识别神经网络,并根据所述人脸识别神经网络确定三元组深度神经网络。
经过训练的人脸识别神经网络为采用现有技术进行人脸识别的已经训练好了的神经网络。如此,在经过训练的人脸识别神经网络的基础上进行后续训练,而无需再从零开始训练。因此,可以节约训练时间,更快地找到最优神经网络。优选地,经过训练的人脸识别神经网络为深度神经网络。
三元组深度神经网络以经过训练的人脸识别神经网络为基础,包括三个经过训练的人脸识别神经网络中的人脸特征提取模型。
S160:将所述三元组人脸图片作为所述三元组深度神经网络的输入,确定损失代价函数值。
根据三元组深度神经网络中的三个经过训练的人脸识别神经网络中的人脸特征提取模型可以分别确定第一图片、第二图片及第三图片的图片特征,进而确定损失代价函数的值。三元组深度神经网络的损失代价函数loss定义为:
Σ i Q [ | | f ( x i a ) - f ( x i p ) | | 2 2 - | | f ( x i a ) - f ( x i n ) | | 2 2 + α ] +
其中,分别为第一图片、第二图片、第三图片的图片特征;α为训练参数,具体为特征距离阈值。特征距离阈值是认定为不同分类的人脸图片的特征距离与认定为同一分类的人脸图片的特征距离之差的最小值。式中,+表示[]内的值大于零的时候,取该值;[]内的值小于零的时候,取零。i为人脸图片的第i个特征元素,Q为人脸图片的特征元素的总数,在一个具体实施例中,Q为4096。式中,表示二范数运算。
S170:根据所述损失代价函数值及训练参数在所述训练集上训练所述三元组深度神经网络。
在一个实施例中,可以根据所述损失代价函数值及训练参数采用随机梯度下降法在所述训练集上训练所述三元组深度神经网络。
训练参数包括特征距离阈值及学习速率。在一个较优实施例中,特征距离阈值的值可以默认设置为0.2或0.25;学习速率的值可以默认设置为0.0001。
S180:通过所述预设应用场景的测试集对所述三元组深度神经网络进行测试,并根据测试结果确定测试精度,根据所述测试精度及所述三元组深度神经网络确定目标人脸特征提取模型。
只要测试集的容量足够大,对三元组深度神经网络的训练可以一致持续下去。在本实施例中,每次训练预设时间之后,通过所述预设应用场景的测试集对所述三元组深度神经网络进行测试,并根据测试结果确定测试精度。可以采用现有方式根据测试结果确定测试精度。
当测试精度到达预设精度时,不再继续训练,此时的三元组深度神经网络为目标三元组深度神经网络。通过目标三元组深度神经网络可以确定目标人脸特征提取模型。其中,预设精度为预先设置测试需要达到的精度要求。
在一个较优的实施例中,采用交叉验证的方式进行验证。测试集为与训练集没有交集的人脸图片的集合。
在一个具体的实施例中,测试集制作方式为:将N个分类中除了用于制作训练集的K个分类,剩下的N-K个分类的人脸照片用于制作测试集。测试集由随机抽取的人脸图片验证对组成,抽取规则如下:
第n个分类的第a张人脸图片,第n个分类的第b张人脸图片(正样本对)
...
第i个分类的第c张人脸图片,第j个分类的第d张人脸图片(负样本对)
...
按照国际标准人脸验证测试集的规则,此处正、负样本对各取3000对,共6000对。测试规则为:将正样本对中的两张照片判断成同一个人,则判断正确,即xi=1;将负样本对中的两张照片判断成不是同一个人,则判断正确,即xi=1;其它则判断错误,即xi=0。则测试精度定义为:
Σ i = 1 6000 x i 6000 × 100 % .
在其中一个实施例中,并不预设设置预设测试精度,预设精度的变化过程为先逐渐提升,当到达某个精度之后将产生较大波动;这里把这个精度记为最大稳定精度。因此,当测试精度不再稳定提升时,即到达最大稳定精度时,不再继续训练三元组深度神经网络,当前三元组深度神经网络即为最优的三元组深度神经网络。将三元组深度神经网络劈分成三个前向传播网络,由于三元组深度神经网络具有参数共享的特性,所以劈分后的三个网络和模型参数完全相同,提取任一网络的特征层及其对应的参数,即可确定新的神经网络,从而确定最终的目标人脸特征提取模型。
上述基于神经网络的人脸特征提取建模方法,由于训练模型的时候采用预设应用场景的训练集中获取的三元组人脸图片作为三元组深度神经网络的输入,进行神经网络的训练。因此,该建模方法可以大大降低训练集的容量,且训练集均为预设应用场景的人脸图片,可以达到将建模得到的人脸特征模型应用在特定的人脸识别应用场景中时,人脸识别精度高的有益效果。
请参阅图2,在其中一个实施例中,所述三元组深度神经网络包括三个所述人脸识别神经网络的人脸特征提取模型。所述将所述三元组人脸图片作为所述三元组深度神经网络的输入,确定损失代价函数值的步骤,即S160,包括:
S261:将所述第一图片、所述第二图片及所述第三图片分别作为所述三元组深度神经网络中的三个所述人脸特征提取模型的输入,确定三个图片特征分别为第一特征、第二特征及第三特征。
S263:根据所述第一特征、所述第二特征及所述第三特征确定损失代价函数值。
具体地,步骤S263包括:根据所述第一特征及所述第二特征确定同类特征距离;根据所述第一特征及所述第三特征确定异类特征距离;根据所述同类特征距离与异类特征距离的差加上特征距离阈值确定损失代价函数值。
请参阅图3,在其中一个实施例中,步骤S340~S380依次对应为步骤S140~S180。所述从预设应用场景的训练集中获取三元组人脸图片的步骤(即步骤S340)之前,还包括:
S310:在所述预设应用场景中采集视频图片,并对所述视频图片进行人脸检测得到人脸图片。
使用摄像头在预设应用场景中采集视频图片,并通过网络传输和数据线存放在计算机中。通过现有方式对采集到的视频图片进行人脸检测,将人脸图片提取出来存储在计算机硬盘中。
S320:获取对所述人脸图片进行分类的分类信息,根据所述分类信息对所述人脸图片进行分类,并将所述人脸图片进行人脸对齐处理,形成训练集。
人工对检测并提取出的人脸图片进行分类,因此,计算机获取人工输入的分类信息,并根据分类信息分类。属于相同分类的人脸照片放在一起并通过分类信息予以标记。
由于人脸图片中的人脸角度和人脸位置是不一致的,为了保证提取到稳定的特征并取得较好的人脸识别效果,需要通过现有方式对人脸图片进行关键点对齐操作,以进行人脸对齐处理,去除人脸角度对人脸识别带来的影响。其中,关键点包括眼睛、鼻尖和嘴角等的位置。如图4所示为一个采集到的人脸图片的,即进行人脸对齐处理前的示例图,对齐后的人脸图片如图5所示。
请参阅图6,在其中一个实施例中,所述根据所述损失代价函数值及训练参数在所述训练集上训练所述三元组深度神经网络的步骤,即步骤S170,包括:
S671:获取初始训练参数,根据所述损失代价函数值及所述初始训练参数在所述训练集上训练所述三元组深度神经网络。
S673:更新训练参数,根据所述损失代价函数值及更新后的所述训练参数在所述训练集上训练所述三元组深度神经网络。
如此,不断调整三元组深度神经网络的训练参数进行训练,确定最优地训练参数。通过大量调试和试验,发现针对本文描述的方法,特征距离阈值α=0.2且学习速率lr=0.001时,能得到最好的算法精度提升。
如图7所示,本发明还提供一种应用上述基于神经网络的人脸特征提取建模方法的人脸识别方法,包括:
S740:获取待识别图片,并将所述待识别图片作为目标人脸特征提取模型的输入,确定待识别特征。
目标人脸特征提取模型为通过上述基于神经网络的人脸特征提取建模方法建立的目标人脸特征提取模型。
通过摄像头采集待识别图片,并将该待识别图片传输至计算机;计算机获取该待识别图片,将该待识别图片输入所建立的目标人脸特征提取模型进行运算,从而可以确定待识别图片的图片特征,即待识别特征。
S760:将所述待识别特征与训练集中的人脸图片对应的图片特征进行对比,并将与所述待识别特征距离最近的图片特征对应的人脸图片所属的分类确定为所述待识别图片的分类。
在本实施例中,预先通过目标人脸特征提取模型确定训练集中所有人脸图片的图片特征。确定待识别特征之后,计算待识别特征与训练集中的各个人脸图片的图片特征的距离;与待识别特征距离最近的图片特征对应的人脸图片所属的分类即为待识别图片的分类。
上述人脸识别方法,由于根据通过上述基于神经网络的人脸特征提取建模方法建立的目标人脸特征提取模型进行人脸特征识别,因此,上述人脸识别方法的识别精度高。
请继续参阅图7,在其中一个实施例中,还包括:
S720:获取目标人脸特征提取模型。
本发明还提供一种与基于神经网络的人脸特征提取建模方法对应的虚拟装置。如图8所示,一个实施例的基于神经网络的人脸特征提取建模装置,包括:
三元图片获取模块840,用于从预设应用场景的训练集中获取三元组人脸图片;所述三元组人脸图片包括同一分类下的第一图片、第二图片,及另一分类下的第三图片;
三元网络确定模块850,用于获取经过训练的人脸识别神经网络,并根据所述人脸识别神经网络确定三元组深度神经网络;
损失代价确定模块860,用于将所述三元组人脸图片作为所述三元组深度神经网络的输入,确定损失代价函数值;
三元网络训练模块870,用于根据所述损失代价函数值及训练参数在所述训练集上训练所述三元组深度神经网络;
特征模型确定模块880,用于通过所述预设应用场景的测试集对所述三元组深度神经网络进行人脸识别测试,并根据测试结果确定测试精度,根据所述测试精度及所述三元组深度神经网络确定目标人脸特征提取模型。
上述基于神经网络的人脸特征提取建模装置,由于训练模型的时候采用预设应用场景的训练集中获取的三元组人脸图片作为三元组深度神经网络的输入,进行神经网络的训练。因此,该建模装置可以大大降低训练集的容量,且训练集均为预设应用场景的人脸图片,可以达到将建模得到的人脸特征模型应用在特定的人脸识别应用场景中时,人脸识别精度高的有益效果。
在其中一个实施例中,所述三元组深度神经网络包括三个所述人脸识别神经网络的人脸特征提取模型;所述损失代价确定模块860,包括:
图片特征确定单元861,用于将所述第一图片、所述第二图片及所述第三图片分别作为所述三元组深度神经网络中的三个所述人脸特征提取模型的输入,确定三个图片特征分别为第一特征、第二特征及第三特征;
损失代价确定单元863,用于根据所述第一特征、所述第二特征及所述第三特征确定损失代价函数值。
在其中一个实施例中,还包括:
图片采集检测模块810,用于在所述预设应用场景中采集视频图片,并对所述视频图片进行人脸检测得到人脸图片;
图片分类对齐模块820,用于获取对所述人脸图片进行分类的分类信息,根据所述分类信息对所述人脸图片进行分类,并将所述人脸图片进行人脸对齐处理,形成训练集。
在其中一个实施例中,所述三元网络训练模块870,包括:
初始参数训练单元871,用于获取初始训练参数,根据所述损失代价函数值及所述初始训练参数在所述训练集上训练所述三元组深度神经网络;
更新参数训练单元873,用于更新训练参数,根据所述损失代价函数值及更新后的所述训练参数在所述训练集上训练所述三元组深度神经网络。
本发明还提供一种与人脸识别方法对应的虚拟装置。如图9所示,一个实施例的人脸识别装置,包括:
待识特征确定模块940,用于获取待识别图片,并将所述待识别图片作为所述目标人脸特征提取模型的输入,确定待识别特征;
对比分类确定模块960,用于将所述待识别特征与训练集中的人脸图片对应的图片特征进行对比,并将与所述待识别特征距离最近的图片特征对应的人脸图片所属的分类确定为所述待识别图片的分类。
上述人脸识别装置,由于根据通过上述基于神经网络的人脸特征提取建模装置建立的目标人脸特征提取模型进行人脸特征识别,因此,上述人脸识别装置的识别精度高。
在其中一个实施例中,还包括:
特征模型获取模块920,用于获取目标人脸特征提取模型。
以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出多个变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于神经网络的人脸特征提取建模方法,其特征在于,包括:
从预设应用场景的训练集中获取三元组人脸图片;所述三元组人脸图片包括同一分类下的第一图片、第二图片,及另一分类下的第三图片;
获取经过训练的人脸识别神经网络,并根据所述人脸识别神经网络确定三元组深度神经网络;
将所述三元组人脸图片作为所述三元组深度神经网络的输入,确定损失代价函数值;
根据所述损失代价函数值及训练参数在所述训练集上训练所述三元组深度神经网络;
通过所述预设应用场景的测试集对所述三元组深度神经网络进行人脸识别测试,并根据测试结果确定测试精度,根据所述测试精度及所述三元组深度神经网络确定目标人脸特征提取模型。
2.根据权利要求1所述的基于神经网络的人脸特征提取建模方法,其特征在于,所述三元组深度神经网络包括三个所述人脸识别神经网络的人脸特征提取模型;所述将所述三元组人脸图片作为所述三元组深度神经网络的输入,确定损失代价函数值的步骤包括:
将所述第一图片、所述第二图片及所述第三图片分别作为所述三元组深度神经网络中的三个所述人脸特征提取模型的输入,确定三个图片特征分别为第一特征、第二特征及第三特征;
根据所述第一特征、所述第二特征及所述第三特征确定损失代价函数值。
3.根据权利要求1所述的基于神经网络的人脸特征提取建模方法,其特征在于,所述从预设应用场景的训练集中获取三元组人脸图片的步骤之前,还包括:
在所述预设应用场景中采集视频图片,并对所述视频图片进行人脸检测得到人脸图片;
获取对所述人脸图片进行分类的分类信息,根据所述分类信息对所述人脸图片进行分类,并将所述人脸图片进行人脸对齐处理,形成训练集。
4.根据权利要求1所述的基于神经网络的人脸特征提取建模方法,其特征在于,所述根据所述损失代价函数值及训练参数在所述训练集上训练所述三元组深度神经网络的步骤,包括:
获取初始训练参数,根据所述损失代价函数值及所述初始训练参数在所述训练集上训练所述三元组深度神经网络;
更新训练参数,根据所述损失代价函数值及更新后的所述训练参数在所述训练集上训练所述三元组深度神经网络。
5.一种人脸识别方法,其特征在于,包括:
获取待识别图片,并将所述待识别图片作为权利要求1-4任意一项所述的目标人脸特征提取模型的输入,确定待识别特征;
将所述待识别特征与训练集中的人脸图片对应的图片特征进行对比,并将与所述待识别特征距离最近的图片特征对应的人脸图片所属的分类确定为所述待识别图片的分类。
6.一种基于神经网络的人脸特征提取建模装置,其特征在于,包括:
三元图片获取模块,用于从预设应用场景的训练集中获取三元组人脸图片;所述三元组人脸图片包括同一分类下的第一图片、第二图片,及另一分类下的第三图片;
三元网络确定模块,用于获取经过训练的人脸识别神经网络,并根据所述人脸识别神经网络确定三元组深度神经网络;
损失代价确定模块,用于将所述三元组人脸图片作为所述三元组深度神经网络的输入,确定损失代价函数值;
三元网络训练模块,用于根据所述损失代价函数值及训练参数在所述训练集上训练所述三元组深度神经网络;
特征模型确定模块,用于通过所述预设应用场景的测试集对所述三元组深度神经网络进行人脸识别测试,并根据测试结果确定测试精度,根据所述测试精度及所述三元组深度神经网络确定目标人脸特征提取模型。
7.根据权利要求6所述的基于神经网络的人脸特征提取建模装置,其特征在于,所述三元组深度神经网络包括三个所述人脸识别神经网络的人脸特征提取模型;所述损失代价确定模块,包括:
图片特征确定单元,用于将所述第一图片、所述第二图片及所述第三图片分别作为所述三元组深度神经网络中的三个所述人脸特征提取模型的输入,确定三个图片特征分别为第一特征、第二特征及第三特征;
损失代价确定单元,用于根据所述第一特征、所述第二特征及所述第三特征确定损失代价函数值。
8.根据权利要求6所述的基于神经网络的人脸特征提取建模装置,其特征在于,还包括:
图片采集检测模块,用于在所述预设应用场景中采集视频图片,并对所述视频图片进行人脸检测得到人脸图片;
图片分类对齐模块,用于获取对所述人脸图片进行分类的分类信息,根据所述分类信息对所述人脸图片进行分类,并将所述人脸图片进行人脸对齐处理,形成训练集。
9.根据权利要求6所述的基于神经网络的人脸特征提取建模装置,其特征在于,所述三元网络训练模块,包括:
初始参数训练单元,用于获取初始训练参数,根据所述损失代价函数值及所述初始训练参数在所述训练集上训练所述三元组深度神经网络;
更新参数训练单元,用于更新训练参数,根据所述损失代价函数值及更新后的所述训练参数在所述训练集上训练所述三元组深度神经网络。
10.一种人脸识别装置,其特征在于,包括:
待识特征确定模块,用于获取待识别图片,并将所述待识别图片作为权利要求6-9任意一项所述的目标人脸特征提取模型的输入,确定待识别特征;
对比分类确定模块,用于将所述待识别特征与训练集中的人脸图片对应的图片特征进行对比,并将与所述待识别特征距离最近的图片特征对应的人脸图片所属的分类确定为所述待识别图片的分类。
CN201610415337.8A 2016-06-14 2016-06-14 基于神经网络的人脸特征提取建模、人脸识别方法及装置 Active CN105975959B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610415337.8A CN105975959B (zh) 2016-06-14 2016-06-14 基于神经网络的人脸特征提取建模、人脸识别方法及装置
PCT/CN2016/113123 WO2017215240A1 (zh) 2016-06-14 2016-12-29 基于神经网络的人脸特征提取建模、人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610415337.8A CN105975959B (zh) 2016-06-14 2016-06-14 基于神经网络的人脸特征提取建模、人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN105975959A true CN105975959A (zh) 2016-09-28
CN105975959B CN105975959B (zh) 2019-09-03

Family

ID=57011139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610415337.8A Active CN105975959B (zh) 2016-06-14 2016-06-14 基于神经网络的人脸特征提取建模、人脸识别方法及装置

Country Status (2)

Country Link
CN (1) CN105975959B (zh)
WO (1) WO2017215240A1 (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778527A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于三重损失的改进的神经网络行人再识别方法
CN107016372A (zh) * 2017-04-12 2017-08-04 邹霞 基于神经网络的人脸识别方法
WO2017215240A1 (zh) * 2016-06-14 2017-12-21 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN108090406A (zh) * 2016-11-23 2018-05-29 浙江宇视科技有限公司 人脸识别方法及系统
CN108229532A (zh) * 2017-10-30 2018-06-29 北京市商汤科技开发有限公司 图像识别方法、装置和电子设备
CN108629377A (zh) * 2018-05-10 2018-10-09 北京达佳互联信息技术有限公司 一种分类模型的损失值获取方法及装置
CN108875487A (zh) * 2017-09-29 2018-11-23 北京旷视科技有限公司 行人重识别网络的训练及基于其的行人重识别
CN108921106A (zh) * 2018-07-06 2018-11-30 重庆大学 一种基于capsule的人脸识别方法
CN109145991A (zh) * 2018-08-24 2019-01-04 北京地平线机器人技术研发有限公司 图像组生成方法、图像组生成装置和电子设备
CN109583332A (zh) * 2018-11-15 2019-04-05 北京三快在线科技有限公司 人脸识别方法、人脸识别系统、介质及电子设备
CN109657595A (zh) * 2018-12-12 2019-04-19 中山大学 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法
CN109815801A (zh) * 2018-12-18 2019-05-28 北京英索科技发展有限公司 基于深度学习的人脸识别方法及装置
CN110200468A (zh) * 2019-05-24 2019-09-06 济南浪潮高新科技投资发展有限公司 一种智能窗帘控制方法及系统
CN110826363A (zh) * 2018-08-09 2020-02-21 阿里巴巴集团控股有限公司 图片指纹生成方法及装置
CN110852733A (zh) * 2019-10-22 2020-02-28 杭州效准智能科技有限公司 一种基于rfid融合菜品图像匹配识别的智能餐饮结算系统
CN110889429A (zh) * 2019-10-22 2020-03-17 杭州效准智能科技有限公司 一种基于深度学习的智能菜品匹配识别方法
CN111133433A (zh) * 2017-09-29 2020-05-08 通用电气公司 使用面部识别用于访问控制的自动认证
CN111341459A (zh) * 2020-02-28 2020-06-26 上海交通大学医学院附属上海儿童医学中心 分类深度神经网络模型的训练方法、遗传病检测方法
WO2020155939A1 (zh) * 2019-01-31 2020-08-06 广州视源电子科技股份有限公司 图像识别方法、装置、存储介质和处理器
CN111680697A (zh) * 2020-03-17 2020-09-18 北京大学 实现领域自适应的方法、装置、电子设备及介质
CN112069995A (zh) * 2020-09-04 2020-12-11 西安西图之光智能科技有限公司 一种深度域人脸稠密特征提取方法、系统和存储介质
CN112613414A (zh) * 2020-12-25 2021-04-06 中用科技有限公司 融合眼部识别模型的局部遮挡人脸识别方法、系统、设备
CN112912887A (zh) * 2018-11-08 2021-06-04 北京比特大陆科技有限公司 基于人脸识别的处理方法、装置、设备及可读存储介质
CN113486914A (zh) * 2020-10-20 2021-10-08 腾讯科技(深圳)有限公司 图像特征提取的神经网络训练的方法、装置和存储介质

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108346208A (zh) * 2018-04-19 2018-07-31 深圳安邦科技有限公司 一种深度学习的人脸识别系统
CN110555338A (zh) * 2018-05-30 2019-12-10 北京三星通信技术研究有限公司 对象识别方法和装置、神经网络生成方法和装置
CN109829354B (zh) * 2018-11-29 2023-05-23 四川商通实业有限公司 一种基于深度学习的人脸识别方法
CN109711356B (zh) * 2018-12-28 2023-11-10 广州海昇教育科技有限责任公司 一种表情识别方法和系统
CN110147712A (zh) * 2019-03-27 2019-08-20 苏州书客贝塔软件科技有限公司 一种行人分析智能云平台
CN112001204B (zh) * 2019-05-27 2024-04-02 北京君正集成电路股份有限公司 一种二次人脸检测的网络模型的训练方法
CN112085041A (zh) * 2019-06-12 2020-12-15 北京地平线机器人技术研发有限公司 神经网络的训练方法、训练装置和电子设备
CN110414432B (zh) * 2019-07-29 2023-05-16 腾讯科技(深圳)有限公司 对象识别模型的训练方法、对象识别方法及相应的装置
CN110647840B (zh) * 2019-09-19 2023-07-28 天津天地伟业信息系统集成有限公司 一种基于改进的mobileNetV3的人脸识别方法
CN111079521A (zh) * 2019-11-04 2020-04-28 杨善棠 三维建模人脸识别方法、存储介质、嵌入式设备及系统
CN111160095B (zh) * 2019-11-26 2023-04-25 华东师范大学 基于深度自编码器网络的无偏人脸特征提取分类方法及系统
CN111126283B (zh) * 2019-12-25 2023-05-12 创新奇智(广州)科技有限公司 一种自动过滤模糊人脸的快速活体检测方法及系统
CN111209839B (zh) * 2019-12-31 2023-05-23 上海涛润医疗科技有限公司 人脸识别方法
CN111209860B (zh) * 2020-01-06 2023-04-07 上海海事大学 基于深度学习与强化学习的视频考勤系统及方法
CN111241992B (zh) * 2020-01-08 2024-02-20 科大讯飞股份有限公司 人脸识别模型构建方法、识别方法、装置、设备及存储介质
CN111582199B (zh) * 2020-05-12 2023-05-23 佛山市玖章智能科技有限公司 一种人脸识别模型训练方法和人脸识别方法
CN111860133A (zh) * 2020-06-08 2020-10-30 华南师范大学 无种族偏见的识别人类的人工智能伦理方法和机器人
CN111898465B (zh) * 2020-07-08 2024-05-14 北京捷通华声科技股份有限公司 一种人脸识别模型的获取方法和装置
CN112149564B (zh) * 2020-09-23 2023-01-10 上海交通大学烟台信息技术研究院 一种基于小样本学习的面容分类识别系统
CN112733632B (zh) * 2020-12-28 2023-02-14 华南理工大学 一种基于人脸识别与手势识别的机器人控制方法
CN113052144B (zh) * 2021-04-30 2023-02-28 平安科技(深圳)有限公司 活体人脸检测模型的训练方法、装置、设备及存储介质
CN113299295B (zh) * 2021-05-11 2022-12-30 支付宝(杭州)信息技术有限公司 声纹编码网络的训练方法及装置
CN113591716B (zh) * 2021-07-29 2023-05-05 四川大学 基于分数阶蚁群算法优化神经网络的法庭监控人脸识别方法
CN113449704B (zh) * 2021-08-31 2022-03-25 北京的卢深视科技有限公司 人脸识别模型训练方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067738A1 (en) * 2012-08-28 2014-03-06 International Business Machines Corporation Training Deep Neural Network Acoustic Models Using Distributed Hessian-Free Optimization
WO2014181895A1 (ko) * 2013-05-06 2014-11-13 인터월드 코리아 이중보안 및 기록을 위한 장치와 방법
CN105404877A (zh) * 2015-12-08 2016-03-16 商汤集团有限公司 基于深度学习和多任务学习的人脸属性预测方法及装置
CN105426963A (zh) * 2015-12-01 2016-03-23 北京天诚盛业科技有限公司 用于人脸识别的卷积神经网络的训练方法、装置及应用
CN105608450A (zh) * 2016-03-01 2016-05-25 天津中科智能识别产业技术研究院有限公司 基于深度卷积神经网络的异质人脸识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
CN105512273A (zh) * 2015-12-03 2016-04-20 中山大学 一种基于可变长深度哈希学习的图像检索方法
CN105975959B (zh) * 2016-06-14 2019-09-03 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN106203533B (zh) * 2016-07-26 2019-09-20 厦门大学 基于混合训练的深度学习人脸验证方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140067738A1 (en) * 2012-08-28 2014-03-06 International Business Machines Corporation Training Deep Neural Network Acoustic Models Using Distributed Hessian-Free Optimization
WO2014181895A1 (ko) * 2013-05-06 2014-11-13 인터월드 코리아 이중보안 및 기록을 위한 장치와 방법
CN105426963A (zh) * 2015-12-01 2016-03-23 北京天诚盛业科技有限公司 用于人脸识别的卷积神经网络的训练方法、装置及应用
CN105404877A (zh) * 2015-12-08 2016-03-16 商汤集团有限公司 基于深度学习和多任务学习的人脸属性预测方法及装置
CN105608450A (zh) * 2016-03-01 2016-05-25 天津中科智能识别产业技术研究院有限公司 基于深度卷积神经网络的异质人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FLORIAN SCHROFF: "FaceNet: A unified embedding for face recognition and clustering", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGINITION》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215240A1 (zh) * 2016-06-14 2017-12-21 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN108090406A (zh) * 2016-11-23 2018-05-29 浙江宇视科技有限公司 人脸识别方法及系统
CN108090406B (zh) * 2016-11-23 2022-03-11 浙江宇视科技有限公司 人脸识别方法及系统
CN106778527B (zh) * 2016-11-28 2019-11-12 中通服公众信息产业股份有限公司 一种基于三重损失的改进的神经网络行人再识别方法
CN106778527A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于三重损失的改进的神经网络行人再识别方法
CN107016372A (zh) * 2017-04-12 2017-08-04 邹霞 基于神经网络的人脸识别方法
CN108875487A (zh) * 2017-09-29 2018-11-23 北京旷视科技有限公司 行人重识别网络的训练及基于其的行人重识别
CN108875487B (zh) * 2017-09-29 2021-06-15 北京旷视科技有限公司 行人重识别网络的训练及基于其的行人重识别
CN111133433A (zh) * 2017-09-29 2020-05-08 通用电气公司 使用面部识别用于访问控制的自动认证
CN111133433B (zh) * 2017-09-29 2023-09-05 通用电气公司 使用面部识别用于访问控制的自动认证
CN108229532B (zh) * 2017-10-30 2021-02-12 北京市商汤科技开发有限公司 图像识别方法、装置和电子设备
CN108229532A (zh) * 2017-10-30 2018-06-29 北京市商汤科技开发有限公司 图像识别方法、装置和电子设备
CN108629377A (zh) * 2018-05-10 2018-10-09 北京达佳互联信息技术有限公司 一种分类模型的损失值获取方法及装置
CN108921106B (zh) * 2018-07-06 2021-07-06 重庆大学 一种基于capsule的人脸识别方法
CN108921106A (zh) * 2018-07-06 2018-11-30 重庆大学 一种基于capsule的人脸识别方法
CN110826363A (zh) * 2018-08-09 2020-02-21 阿里巴巴集团控股有限公司 图片指纹生成方法及装置
CN109145991B (zh) * 2018-08-24 2020-07-31 北京地平线机器人技术研发有限公司 图像组生成方法、图像组生成装置和电子设备
CN109145991A (zh) * 2018-08-24 2019-01-04 北京地平线机器人技术研发有限公司 图像组生成方法、图像组生成装置和电子设备
CN112912887A (zh) * 2018-11-08 2021-06-04 北京比特大陆科技有限公司 基于人脸识别的处理方法、装置、设备及可读存储介质
CN109583332B (zh) * 2018-11-15 2021-07-27 北京三快在线科技有限公司 人脸识别方法、人脸识别系统、介质及电子设备
CN109583332A (zh) * 2018-11-15 2019-04-05 北京三快在线科技有限公司 人脸识别方法、人脸识别系统、介质及电子设备
CN109657595A (zh) * 2018-12-12 2019-04-19 中山大学 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法
CN109815801A (zh) * 2018-12-18 2019-05-28 北京英索科技发展有限公司 基于深度学习的人脸识别方法及装置
WO2020155939A1 (zh) * 2019-01-31 2020-08-06 广州视源电子科技股份有限公司 图像识别方法、装置、存储介质和处理器
CN110200468A (zh) * 2019-05-24 2019-09-06 济南浪潮高新科技投资发展有限公司 一种智能窗帘控制方法及系统
CN110889429A (zh) * 2019-10-22 2020-03-17 杭州效准智能科技有限公司 一种基于深度学习的智能菜品匹配识别方法
CN110852733A (zh) * 2019-10-22 2020-02-28 杭州效准智能科技有限公司 一种基于rfid融合菜品图像匹配识别的智能餐饮结算系统
CN111341459A (zh) * 2020-02-28 2020-06-26 上海交通大学医学院附属上海儿童医学中心 分类深度神经网络模型的训练方法、遗传病检测方法
CN111680697A (zh) * 2020-03-17 2020-09-18 北京大学 实现领域自适应的方法、装置、电子设备及介质
CN111680697B (zh) * 2020-03-17 2024-03-22 北京大学 实现领域自适应的方法、装置、电子设备及介质
CN112069995A (zh) * 2020-09-04 2020-12-11 西安西图之光智能科技有限公司 一种深度域人脸稠密特征提取方法、系统和存储介质
CN112069995B (zh) * 2020-09-04 2024-02-27 西安西图之光智能科技有限公司 一种深度域人脸稠密特征提取方法、系统和存储介质
CN113486914A (zh) * 2020-10-20 2021-10-08 腾讯科技(深圳)有限公司 图像特征提取的神经网络训练的方法、装置和存储介质
CN113486914B (zh) * 2020-10-20 2024-03-05 腾讯科技(深圳)有限公司 图像特征提取的神经网络训练的方法、装置和存储介质
CN112613414A (zh) * 2020-12-25 2021-04-06 中用科技有限公司 融合眼部识别模型的局部遮挡人脸识别方法、系统、设备

Also Published As

Publication number Publication date
WO2017215240A1 (zh) 2017-12-21
CN105975959B (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN105975959A (zh) 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN106529571B (zh) 基于神经网络的多层图像特征提取建模、图像识别方法及装置
CN106250866A (zh) 基于神经网络的图像特征提取建模、图像识别方法及装置
CN109766872B (zh) 图像识别方法和装置
CN105468760B (zh) 对人脸图片进行标注的方法和装置
CN107358223B (zh) 一种基于yolo的人脸检测与人脸对齐方法
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN106548159A (zh) 基于全卷积神经网络的网纹人脸图像识别方法与装置
CN108171209A (zh) 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN106156702A (zh) 身份认证方法及设备
CN106503742A (zh) 一种可见光图像绝缘子识别方法
CN108304820A (zh) 一种人脸检测方法、装置及终端设备
CN109558833A (zh) 一种人脸识别算法评测方法以及装置
CN104021396A (zh) 基于集成学习的高光谱遥感数据分类方法
CN105160317A (zh) 一种基于区域分块行人性别识别方法
CN104504360B (zh) 古陶瓷自动认证方法
CN103390151B (zh) 人脸检测方法及装置
CN103310235B (zh) 一种基于参数识别与估计的隐写分析方法
CN108492298A (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN106295574A (zh) 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN110163117A (zh) 一种基于自激励判别性特征学习的行人重识别方法
CN110110754A (zh) 基于代价局部泛化误差的不平衡问题的分类方法
CN105893947A (zh) 基于多局部相关特征学习的两视角人脸识别方法
CN105005798A (zh) 一种基于局部相似结构统计匹配的目标识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant