CN112287753A - 一种基于机器学习提升人脸识别精度的系统及其算法 - Google Patents

一种基于机器学习提升人脸识别精度的系统及其算法 Download PDF

Info

Publication number
CN112287753A
CN112287753A CN202011005885.6A CN202011005885A CN112287753A CN 112287753 A CN112287753 A CN 112287753A CN 202011005885 A CN202011005885 A CN 202011005885A CN 112287753 A CN112287753 A CN 112287753A
Authority
CN
China
Prior art keywords
face
sample
grouping
comparison
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011005885.6A
Other languages
English (en)
Other versions
CN112287753B (zh
Inventor
尹忠政
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tianbaolai Information Technology Co ltd
Original Assignee
Wuhan Tianbaolai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tianbaolai Information Technology Co ltd filed Critical Wuhan Tianbaolai Information Technology Co ltd
Priority to CN202011005885.6A priority Critical patent/CN112287753B/zh
Publication of CN112287753A publication Critical patent/CN112287753A/zh
Application granted granted Critical
Publication of CN112287753B publication Critical patent/CN112287753B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及人工智能机器学习领域,且公开了一种基于机器学习提升人脸识别精度的系统及其算法由于不同人种存在差异,特别是欧美等外国人脸存在差异性大,因此对于亚洲人而言,采用通用的人脸特征识别算法存在误差较大,阈值较低等问题,因此通过对亚洲人脸的不断训练,可以获取亚洲人的人脸特征平均值,再通过归一算法,实现对亚洲人脸的精确识别。采用归一算法,提升亚洲人脸比对精度;人脸分组采集更广泛:基于机器学习构建的人脸库,对所有人脸进行采集分析和存储,可以支持后期数据回溯和新增人脸数据检索;不漏掉任何一个人的人脸,新增人脸会自建分组,同时通过基于机器学习分组模型不断优化样本的精度,实现精准识别。

Description

一种基于机器学习提升人脸识别精度的系统及其算法
技术领域
本发明涉及人工智能机器学习领域,尤其涉及一种基于机器学习提升人脸识别精度的系统及其算法。
背景技术
人脸识别的应用场景是非常宽泛的,现在主要两块,一个是金融行业,一个是安保行业。
在传统的视频分析中,人脸比对的往往需要一个重点人员管理的原始人脸库,通过比对原始人脸库筛查,这就有可能导致对未录入人员人脸的漏控现象,无法回溯新增人脸的历史轨迹信息。
因此急需一套对全区域地区无比对原始库的人脸库系统,系统通过对人脸的广泛采集,都每一个人构建一个人脸分组,不断完善本地人脸库样本,通过机器学习对分组样本进行自我调优,保证一个分组为同一人,为统计本地人口库,后期新增数据回溯和视频分析提供技术保障。
发明内容
本发明的目的就在于提供一种基于机器学习提升人脸识别精度的系统及其算法,基于机器学习构建本地人脸样本库系统,通过对人脸数据的积累完善本地人脸库系统和精确识别算法,为人脸识别比对分析后的应用、人脸历史数据溯源提供保障。
实现本发明目的技术方案是:本发明通过以下3种方式提升人脸库的识别精度;
亚洲人脸特征的训练模型
由于不同人种存在差异,特别是欧美等外国人脸存在差异性大,因此对于亚洲人而言,采用通用的人脸特征识别算法存在误差较大,阈值较低等问题,因此通过对亚洲人脸的不断训练,可以获取亚洲人的人脸特征平均值,再通过归一算法,实现对亚洲人脸的精确识别。
人脸识别比对算法
基于人脸样本分组集合归一值的人脸比对,可以有效解决人脸分组比对过程中的效率和准确性问题,同时对样本组的比对采用平均特征值可以提升人脸比对的效率,提升数据的准确性,同时可以减少资源消耗对硬件的要求;
基于机器学习的人脸分组样本库优化算法
人脸分组样本库[1,S]是所有新增人脸比对的基础,如何提升人脸库的精准度,过滤掉垃圾人脸数据,保留同一个人的清晰,姿势正面的图片,对于提升人脸识别的精准度至关重要。本算法通过机器学习模型,结合无向图和欧氏距离权重不断优化人脸分组样本库[1,S]的人脸特征质量,提升系统的正确性和比对性能。
本发明采用基于亚洲人脸特征的训练模型、人脸识别比对算法、基于机器学习的人脸分组样本库优化算法构建了本地人脸库系统,可以有效地提升人脸识别的精度,降低人脸误识别的风险,同时通过机器学习模型,可以不断完善人脸比对样本库,为人脸识别比对分析后的应用、人脸历史数据溯源提供保障。
具体地说:
一种基于机器学习提升人脸识别精度的系统及其算法(简称系统)
本系统包括人脸数据采集单元、人脸识别比对单元、人脸分组样本库机器学习单元和本地人脸库系统;人脸数据采集单元和人脸识别比对单元交互,人脸识别比对单元分别与人脸分组样本库机器学习单元和本地人脸库系统;人脸数据采集单元包括第1、2……N人脸数据采集单元110、220……2N0,N 是自然数,1≤N;人脸识别比对单元包括依次交互的人脸数据结构化模块210、人脸特征提取模块220、人脸特征识别算法模块230和人脸库比对分组模块 240;人脸分组样本库机器学习单元300包括依次交互的人脸分组样本特征库310、人脸分组样本库特征提取模块320和人脸分组样本库优化算法模块 (330);人脸分组样本库机器学习单元300获取的分组结果,保存到本地人脸库系统(400)中提供给用户进行数据查看和分析。
本发明具有下列优点和积极效果:
亚洲人脸分组更加精确:在无原始精准比对人脸样本下,基于卷积神经网络的人脸特征可以不断完善亚洲人的人脸特征模型,采用归一算法,提升亚洲人脸比对精度;
人脸分组采集更广泛:基于机器学习构建的人脸库,对所有人脸进行采集分析和存储,可以支持后期数据回溯和新增人脸数据检索;不漏掉任何一个人的人脸,新增人脸会自建分组,同时通过基于机器学习分组模型不断优化样本的精度,实现精准识别;
人脸分组识别算法简单高效:基于人脸样本分组集合归一值的人脸比对,可以有效解决人脸分组比对过程中的效率和准确性问题,同时对样本组的比对采用平均特征值可以提升人脸比对的效率,提升数据的准确性,同时可以减少资源消耗对硬件的要求;
系统可扩展高:基于松耦合架构技术,结合人口库系统,可以弹性扩展节点,提升系统的弹性和扩展性;
安防领域应用更广泛:可以广泛应用于智慧社区、智慧城市和公共安全领域,提升线索检索效率。
附图说明
图1是本系统的结构方框图;
图2是本系统的分组样本数据构件的无向权重图。
图中:100、人脸数据采集单元;110、第1人脸数据采集单元;120、第 2人脸数据采集单元;1N0、第N人脸数据采集单元。200、人脸识别比对单元; 210、人脸数据结构化模块;220、人脸特征提取模块;230、人脸特征识别算法模块;240、人脸库比对分组模块;300、人脸分组样本库机器学习单元; 310、人脸分组样本特征库;320、人脸分组样本库特征提取模块;330、人脸分组样本库优化算法模块;400、本地人脸库系统。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
请参阅图1,一种基于机器学习提升人脸识别精度的系统及其算法,本系统包括人脸数据采集单元100、人脸识别比对单元200、人脸分组样本库机器学习单元300和本地人脸库系统400,人脸数据采集单元100和人脸识别比对单元200交互,人脸识别比对单元200分别与人脸分组样本库机器学习单元 300和本地人脸库系统400,人脸数据采集单元100包括第1、2……N人脸数据采集单元110、220……2N0,N是自然数,1≤N;人脸识别比对单元200包括依次交互的脸数据结构化模块210、人脸特征提取模块220、人脸特征识别算法模块230和人脸库比对分组模块240,人脸分组样本库机器学习单元300 包括依次交互的人脸分组样本特征库310、人脸分组样本库特征提取模块320 和人脸分组样本库优化算法模块330,人脸分组样本库机器学习单元300获取的分组结果,保存到本地人脸库系统400中提供给用户进行数据查看和分析。
实施例2
请参阅图1,人脸识别比对单元200包括依次交互的人脸数据结构化模块 210、人脸特征提取模块220、人脸特征识别算法模块230和人脸库比对分组模块240,主要实现了对人脸数据采集单元100采集到的人脸数据的结构化过程,识别人脸,降维度分析,最终通过比对人脸分组样本库机器学习单元300 生成的分组样本库,确定人脸的身份信息,实现人脸数据的归类存储,提供给本地人脸库系统400进行应用分析。
人脸数据结构化模块210
通过和人脸数据采集单元(100)对接,可以获取摄像头获取的人脸图像信息,并通过视频格式的标准化处理、人脸图像增强算法、人脸切割实现人脸图片的精确提取,通过人脸检测(face detection),人脸对齐(face alignment),人脸校验(face verification)技术生成精准度较高的人脸图像,提供给人脸特征提取模块(220)进行人脸特征提取。
人脸特征提取模块220
通过C++工具箱中的卷积神经网络面部检测技术获取进行人脸关键点检测,首先需要检测出图片中的人脸,并估计人脸的关键点姿态。人脸关键点共有68个,分别是人脸各部位的点,如嘴角,眼睛边等,最终生成一个128 位的人脸特征向量,提供给人脸特征识别算法模块230进行人脸识别,最终确定目标人脸的分组。
人脸特征识别算法模块230
通过对人脸特征矫正,结合亚洲人脸特征训练模型,计算出符合亚洲人脸特征的特征维度,提供给人脸库比对分组模块240进行全量人脸样本库的比对。
人脸库比对分组模块240
对新增的人脸特征和人脸分组样本库计算的特征值进行相似度比对,当比对结果小于阈值判定为属于该人脸分组,当比对结果大于判定阈值,为新增人脸数据,需要在人脸分组样本库机器学习单元300和本地人脸库系统400 新增人脸分组。
该种基于机器学习模型提升人脸识别精度的人脸库系统及其算法,其工作原理如下:人脸数据结构化模块210对人脸数据采集单元100的数据进行图像增强和标准化处理,生成精准度较高的人脸图像;人脸特征提取模块220 对人脸数据结构化模块210处理后的图片通过C++工具箱中的卷积神经网络面部检测技术获取进行人脸关键点检测,并提取人脸特征值,提供给下面流程做人脸识别;人脸特征识别算法模块230通过对人脸特征矫正,结合亚洲人脸特征训练模型,计算出符合亚洲人脸特征的特征维度,提供给人脸库比对分组模块240进行全量人脸样本库的比对;人脸库比对分组模块240对新增的人脸特征和人脸分组样本库计算的特征值进行相似度比对;
a、当比对结果小于阈值判定为属于该人脸分组;
b、当比对结果大于判定阈值,为新增人脸数据。
人脸识别后,人脸数据进入入脸分组样本库机器学习单元300进行样本训练模型优化,提升分组样本的精确性;人脸识别确定分组后,数据入到本地人脸库系统400相应分组,如果没有分组的,新增人脸分组,提供给应用进行分析。
人脸分组样本库机器学习单元300
人脸分组样本库机器学习单元300主要实现了对人脸分组样本的维护功能,借助机器学习技术,实现对比对分组样本的机器学习,通过优化模型不断优化分组内的人脸图片质量,达到最优的分组结构,提供给人脸识别比对单元200进行比对分析。
人脸分组样本特征库310
人脸分组样本特征库310保存了比对样本的分组情况,用来提供给人脸识别比对单元200比对特征值信息。
人脸分组样本库特征提取模块320
新增样本后,人脸分组样本库特征提取模块320会提取样本的特征值,计算样本平均特征值,生成分组样本的比对特征值,并更新人脸分组样本特征库310。
人脸分组样本库优化算法模块330
新增样本后,人脸分组样本库优化算法模块330将触发对样本内的人脸机器学习模型。对分组样本进行优化处理,自动剔除质量差或者是错误的数据,当集合数量的值小于样本数量阈值的时候,将图片特征加入到样本中进行分析;当集合数量大于样本数量阈值的时候,取集合中欧式距离总和最大的值剔除集合。当数据量越来越多,欧式距离较远的人脸特征样本将逐渐被系统所淘汰,相似度较高的人脸特征会不断更新各个分组的样本,实现对同一人的精确比对。
人脸分组样本库机器学习单元300其工作流程是:
人脸分组样本特征库310初始化的时候,对没有人脸分组的情况下,对新增人脸图片进行新增样本分组,包括人脸分组编号、分组人脸比对特征值、人脸图片数量等,具体到每个分组包括多条记录人脸分组编号、人脸组内综合距离评分、人脸图片位置、人脸特征值、人脸组内排名等,实现对人脸分组样本特征库的初始化操作;人脸识别比对单元200分析完成的人脸数据,根据识别结果进行样本的训练学习;
a、当新增人脸分组已经不存在的情况下,新增新的分组;
b、当新增人脸分组已经存在的情况下,加入该分组进行样本学习。
新增图片在确定分组后,系统将触发人脸分组样本库优化算法模块330 进行人脸特征机器学习算法,更新分组模型的参数;
a、对新增的人脸结合亚洲人训练模型进行降维特征提取;
b、将新增的人脸图片加入该分组模型,对分组样本构建无向权重图,权重为各个节点之间的欧式距离;
c、计算分组集合内所有人脸特征所有点之间的欧式距离总和,并将该数据更新到集合中的所有节点;
d、对分组内计算的距离总和集合进行按照欧氏距离总和由小到大排序,欧式距离越小表示人脸特征越相似;
e、对分组样本N进行优化处理,自动剔除欧氏距离最大的数据集合。
人脸分组样本库特征提取模块320会提取样本分组的特征值,计算样本平均特征值;生成分组样本的比对特征值,并更新人脸分组样本特征库310。
本地人脸库系统400
本地人脸库系统400是人脸识别比对的结束位置,负责将人脸分组数据提供给其它系统调用和做业务分析。
本系统的工作机理如下:
人脸数据采集单元100负责整个系统的数据采集工作,可以对接摄像头,也可以对接国标视图库等标准数据,数据采集单元可以有多个;人脸识别比对单元200实现了对人脸数据采集单元100采集到的人脸数据的结构化过程,识别人脸,降维度分析,获取人脸特值;人脸识别比对单元200的人脸库比对分组模块240对新增的人脸特征和人脸分组样本库计算的特征值进行相似度比对,确定人脸的身份信息;比对结果分为两个部分,一部分提供给本地人脸库系统400进行应用分析,一部分提供给人脸分组样本库机器学习单元 300进行样本机器学习;新增图片在确定分组后,系统将触发人脸分组样本库优化算法模块330进行人脸特征机器学习算法,更新分组模型的参数;样本分组确定后,人脸分组样本库特征提取模块320会提取样本分组的特征值,计算样本分组平均特征值;新的样本分组信息更新到人脸分组样本特征库 310。
算法
人脸特征提取算法
特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系。将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇,统称特征子脸。特征子脸在相应的图像空间中生成子空间,称为子脸空间。计算出测试图像窗口在子脸空间的投影距离,若窗口图像满足阈值比较条件,则判断其为人脸。本方法中对于人脸特征的提取采用C++工具箱来实现人脸特征检测。通过C++工具箱中的卷积神经网络面部检测技术获取进行人脸关键点检测,可以生成一个128位的人脸特征向量ΩT,提供给人脸特征识别算法模块(230)进行人脸识别;
ΩT=[ω12,......,ω128]
亚洲人脸特征的训练模型
由于不同人种存在差异,特别是欧美等外国人脸存在差异性大,因此对于亚洲人而言,采用通用的人脸特征识别算法存在误差较大,阈值较低等问题,因此通过对亚洲人脸的不断训练,可以获取亚洲人的人脸特征平均值,再通过归一算法,实现对亚洲人脸的精确识别;假设系统已经识别了人脸图片h张图片(所述的h是自然数,代表系统处理的人脸图片数量,1≤h)。通过人脸识别算法将h个人脸特征值向量T放到一个集合N里,如下式所示: h={T1,T2,T3,T4,......,Th}计算亚洲人人脸训练模型平均值;在获取到人脸向量集合 h后,计算得到平均特征值Ψh。计算公式如下就是把集合特征里面的向量遍历一遍进行累加,然后取平均值。得到亚洲人脸特征集合h的“平均脸”,如下式所示:
Figure RE-GDA0002821864150000091
当新增一个亚洲人脸k(所述的k是自然数,代表新增人脸,1≤k)的时候,需要对训练模型进行再次调整。计算出新的亚洲人脸平均特征值,公式如下:
Figure RE-GDA0002821864150000092
更新当前亚洲人训练模型均值为ψk,赋值给全局变量ψh
人脸识别比对算法
距离方式直接计算测试图片和样本图片之间的距离来判断二者之间的相似性,在人脸识别中,我们通常采用欧氏距离和余弦距离来衡量人脸特征的相似度,判别是否为同一个人。具体流程如下:人脸特征提取,通过人脸特征提取,对新增人脸提取其128位的人脸特征值,如下式所示:ΩT=[ω12,......,ω128]通过训练的亚洲人脸均值进行人脸降维,将每一维的数据都减去该维的均值,可以得到人脸k(所述的k是自然数,代表新增人脸,1≤k) 对应的归一维度值,如下式所示:Φk=Tkh获取人脸分组样本库平均特征集合[1,S](所述的S是自然数,代表分组样本集合数量,1≤S),获取各个分组计算出来的分组样本归一值集合[1,ΦS];人脸比对,依次遍历分组样本归一值集合[1,ΦS],采用欧氏距离和余弦距离来衡量人脸特征的相似度,判别是否为同一个人。欧式计算公式如下:
Figure RE-GDA0002821864150000101
设置判断阈值为D (所述的D是小数,代表两张人脸的欧式距离阈值,0≤D≤1),当距离小于阈值D时说明要判别的脸和训练集内的脸是同一个人的。当遍历所有训练集都大于阈值D时,根据距离值的大小又可分为是新的人脸或者不是人脸的两种情况。根据训练集的不同,阈值设定可以动态调整;
人脸分组样本库平均特征算法
该算法实现了对人脸样本库的特征算法过程,通过该算法可以实现样本库特征算法,为大批量人脸比对减少比对数量,提升比对效率,可对百万级别数据进行快速运算;人脸特征样本集合初始[1,S],在无原始精准比对样本下,新增的人脸样本分组根据识别的结果自动生成新的样本集合N,已存在的人脸样本组,则将人脸数据加入该样本组,进行样本的机器学习(所述的S是自然数,代表分组样本集合数量,1≤S);人脸特征分组N的归类。通过比对结果获取单一人脸样本分组集合N。集合N为包含M张人脸图像的集合(所述的M是自然数,代表一个样本分组N的人脸图片数量,1≤M≤40)。通过人脸识别算法将M个人脸特征值向量T放到一个集合N里,如下式所示:N={T1,T2,T3,T4,......,TM}人脸样本分组集合N的平均特征。在获取到人脸向量集合N后,计算得到平均特征值Ψ。计算公式如下就是把集合N里面的向量遍历一遍进行累加,然后取平均值;得到的这个Ψ128维向量,可以获得该人脸样本分组集合N的“平均脸”,如下式所示:
Figure RE-GDA0002821864150000111
人脸样本分组集合N 的特征归一算法,归一算法可以减少不同人种之间的差异,将相似人种的特征通过归一进行放大,计算每张图像和平均图像的差值Φ,就是用N集合里的每个元素减去Ψ的平均值,如下式所示:Φ=Ti-ψ基于人脸样本分组集合N 归一值Φ的人脸比对,可以有效解决人脸分组比对过程中的效率和准确性问题,提升比对效率。
a、通过归一算法,可以减少不同人种之间的差异,让系统通过不断机器学习,构建一套满足亚洲人的样本集合,提升系统的人脸识别率;
b、相对于分组随机抽样比对,基于人脸样本分组集合N平均值的人脸比对可以减少随机抽样人脸图片比对的问题,提升比对的准确性;
c、相对于分组全量比对,基于人脸样本分组集合N平均值的人脸比对通过对分组特征值预处理可以避免和组内每张图片进行比对,减少了比对次数和时间,减少运算成本。
基于机器学习的人脸分组样本库优化算法
人脸分组样本库[1,S]是所有新增人脸比对的基础,如何提升人脸库的精准度,过滤掉垃圾人脸数据,保留同一个人的清晰,姿势正面的图片,对于提升人脸识别的精准度至关重要。本算法通过机器学习模型,结合无向图和欧氏距离权重不断优化人脸分组样本库[1,S]的人脸特征质量,提升系统的正确性和比对性能;在人脸分组样本库平均特征算法中实现了人脸特征分组集合N的归类,集合N为包含M张人脸图像的集合(所述的M是自然数,代表一个样本分组N的人脸图片数量,1≤M≤40)。通过人脸识别算法将M个人脸特征值向量T放到一个集合N里,如下式所示:N={T1,T2,T3,T4,......,TM}当新增一个人脸k(所述的k是自然数,代表新增人脸,1≤k)的加入时候,样本训练集合达到M+1个,这个时候回触发人脸分组样本库优化算法;对分组样本N中的M+1数据构建无向权重图,权重为各个节点之间的距离;
计算分组集合N内所有人脸特征所有点之间的欧式距离总和d,并将该数据更新到集合N中的所有节点,计算人脸k的欧式距离公式如下:
Figure RE-GDA0002821864150000121
(Nk,Nn)在人脸特征分组样本集合N中,生成新的欧式距离总和集合 DN,,如下式所示:DN={d1,d2,d3,d4,......,dk}对集合DN进行按照欧氏距离总和由小到大排序,欧式距离越小表示人脸特征越相似,人脸库对组内数据展示也可根据欧式距离总和排序进行展示;对分组样本N进行优化处理,自动剔除图片质量差或者是错误的数据,当k的值小于样本数量阈值M的时候,将图片特征加入到样本中进行分析;当k的值大于样本数量阈值M的时候,取DN集合中欧式距离总和最大的值dMAX将被剔除集合;通过上述机器学习算法,当数据量越来越多,欧式距离较远的人脸特征dMAX样本将逐渐被系统所淘汰,相似度较高的人脸特征会不断更新各个分组的样本,实现对同一人的精确比对。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于机器学习提升人脸识别精度的系统,包括本系统包括人脸数据采集单元(100)、人脸识别比对单元(200)、人脸分组样本库机器学习单元(300)和本地人脸库系统(400),其特征在于:所述人脸数据采集单元(100)和人脸识别比对单元(200)交互,人脸识别比对单元(200)分别与人脸分组样本库机器学习单元(300)和本地人脸库系统(400),人脸数据采集单元(100)包括第1、2……N人脸数据采集单元(110、220……2N0),N是自然数,1≤N;人脸识别比对单元(200)包括依次交互的人脸数据结构化模块(210)、人脸特征提取模块(220)、人脸特征识别算法模块(230)和人脸库比对分组模块(240);人脸分组样本库机器学习单元(300)包括依次交互的人脸分组样本特征库(310)、人脸分组样本库特征提取模块(320)和人脸分组样本库优化算法模块(330);人脸分组样本库机器学习单元(300)获取的分组结果,保存到本地人脸库系统(400)中提供给用户进行数据查看和分析。
2.根据权利要求1所述的一种基于机器学习提升人脸识别精度的系统,其特征在于:所述的人脸识别比对单元(200)其工作流程是:人脸数据结构化模块(210)通过和人脸数据采集单元(100)对接,可以获取摄像头获取的人脸图像信息,并通过视频格式的标准化处理、人脸图像增强算法、人脸切割实现人脸图片的精确提取,通过人脸检测(face detection),人脸对齐(face alignment),人脸校验(face verification)技术生成精准度较高的人脸图像,提供给人脸特征提取模块(220)进行人脸特征提取;人脸特征提取模块(220)通过C++工具箱中的卷积神经网络面部检测技术获取进行人脸关键点检测,首先需要检测出图片中的人脸,并估计人脸的关键点姿态。人脸关键点共有68个,分别是人脸各部位的点,如嘴角,眼睛边等,最终生成一个128位的人脸特征向量,提供给人脸特征识别算法模块(230)进行人脸识别,最终确定目标人脸的分组;
人脸特征识别算法模块(230)通过对人脸特征矫正,结合亚洲人脸特征训练模型,计算出符合亚洲人脸特征的特征维度,提供给人脸库比对分组模块(240)进行全量人脸样本库的比对;人脸库比对分组模块(240)对新增的人脸特征和人脸分组样本库计算的特征值进行相似度比对,当比对结果小于阈值判定为属于该人脸分组,当比对结果大于判定阈值,为新增人脸数据,需要在人脸分组样本库机器学习单元(300)和本地人脸库系统(400)新增人脸分组。
3.根据权利要求1所述的一种基于机器学习提升人脸识别精度的系统,其特征在于:所述的人脸分组样本库机器学习单元(300)其工作流程是:人脸分组样本特征库(310)保存了比对样本的分组情况,用来提供给人脸识别比对单元(200)比对特征值信息;新增样本后,人脸分组样本库优化算法模块(330)将触发对样本内的人脸机器学习模型。对分组样本进行优化处理,自动剔除质量差或者是错误的数据,当集合数量的值小于样本数量阈值的时候,将图片特征加入到样本中进行分析;当集合数量大于样本数量阈值的时候,取集合中欧式距离总和最大的值剔除集合。当数据量越来越多,欧式距离较远的人脸特征样本将逐渐被系统所淘汰,相似度较高的人脸特征会不断更新各个分组的样本,实现对同一人的精确比对;人脸分组优化后,人脸样本库特征提取模块(320)会提取样本的特征值,计算样本平均特征值,生成分组样本的比对特征值,并更新人脸分组样本特征库(310)。
4.一种基于机器学习提升人脸识别精度的系统,其特征在于:特征脸反映了隐含在人脸样本集合内部的信息和人脸的结构关系,将眼睛、面颊、下颌的样本集协方差矩阵的特征向量称为特征眼、特征颌和特征唇,统称特征子脸。特征子脸在相应的图像空间中生成子空间,称为子脸空间;计算出测试图像窗口在子脸空间的投影距离,若窗口图像满足阈值比较条件,则判断其为人脸;本方法中对于人脸特征的提取采用C++工具箱来实现人脸特征检测;通过C++工具箱中的卷积神经网络面部检测技术获取进行人脸关键点检测,可以生成一个128位的人脸特征向量ΩT,提供给人脸特征识别算法模块(230)进行人脸识别;
ΩT=[ω12,......,ω128]
亚洲人脸特征的训练模型,由于不同人种存在差异,特别是欧美等外国人脸存在差异性大,因此对于亚洲人而言,采用通用的人脸特征识别算法存在误差较大,阈值较低等问题,因此通过对亚洲人脸的不断训练,可以获取亚洲人的人脸特征平均值,再通过归一算法,实现对亚洲人脸的精确识别。
a、假设系统已经识别了人脸图片h张图片(所述的h是自然数,代表系统处理的人脸图片数量,1≤h)。通过人脸识别算法将h个人脸特征值向量T放到一个集合N里,如下式所示:
h={T1,T2,T3,T4,......,Th}
b、计算亚洲人人脸训练模型平均值。在获取到人脸向量集合h后,计算得到平均特征值Ψh。计算公式如下就是把集合特征里面的向量遍历一遍进行累加,然后取平均值。得到亚洲人脸特征集合h的“平均脸”,如下式所示:
Figure RE-FDA0002821864140000031
c、当新增一个亚洲人脸k(所述的k是自然数,代表新增人脸,1≤k)的时候,需要对训练模型进行再次调整。计算出新的亚洲人脸平均特征值,公式如下:
Figure RE-FDA0002821864140000032
d、更新当前亚洲人训练模型均值为ψk,赋值给全局变量ψh
人脸识别比对算法,距离方式直接计算测试图片和样本图片之间的距离来判断二者之间的相似性,在人脸识别中,我们通常采用欧氏距离和余弦距离来衡量人脸特征的相似度,判别是否为同一个人。具体流程如下:
a、人脸特征提取,通过人脸特征提取,对新增人脸提取其128位的人脸特征值,如下式所示:
ΩT=[ω12,......,ω128]
b、通过训练的亚洲人脸均值进行人脸降维,将每一维的数据都减去该维的均值,可以得到人脸k(所述的k是自然数,代表新增人脸,1≤k)对应的归一维度值,如下式所示:
Φk=Tkh
c、获取人脸分组样本库平均特征集合[1,S](所述的S是自然数,代表分组样本集合数量,1≤S),获取各个分组计算出来的分组样本归一值集合[1,ΦS];
d、人脸比对,依次遍历分组样本归一值集合[1,ΦS],采用欧氏距离和余弦距离来衡量人脸特征的相似度,判别是否为同一个人。欧式计算公式如下:
Figure RE-FDA0002821864140000041
设置判断阈值为D(所述的D是小数,代表两张人脸的欧式距离阈值,0≤D≤1),当距离小于阈值D时说明要判别的脸和训练集内的脸是同一个人的。当遍历所有训练集都大于阈值D时,根据距离值的大小又可分为是新的人脸或者不是人脸的两种情况。根据训练集的不同,阈值设定可以动态调整;
人脸分组样本库平均特征算法,该算法实现了对人脸样本库的特征算法过程,通过该算法可以实现样本库特征算法,为大批量人脸比对减少比对数量,提升比对效率,可对百万级别数据进行快速运算;
a、人脸特征样本集合初始[1,S],在无原始精准比对样本下,新增的人脸样本分组根据识别的结果自动生成新的样本集合N,已存在的人脸样本组,则将人脸数据加入该样本组,进行样本的机器学习(所述的S是自然数,代表分组样本集合数量,1≤S);
b、人脸特征分组N的归类。通过比对结果获取单一人脸样本分组集合N。集合N为包含M张人脸图像的集合(所述的M是自然数,代表一个样本分组N的人脸图片数量,1≤M≤40)。通过人脸识别算法将M个人脸特征值向量T放到一个集合N里,如下式所示:
N={T1,T2,T3,T4,......,TM}
c、人脸样本分组集合N的平均特征。在获取到人脸向量集合N后,计算得到平均特征值Ψ。计算公式如下就是把集合N里面的向量遍历一遍进行累加,然后取平均值。得到的这个Ψ128维向量,可以获得该人脸样本分组集合N的“平均脸”,如下式所示:
Figure RE-FDA0002821864140000051
d、人脸样本分组集合N的特征归一算法,归一算法可以减少不同人种之间的差异,将相似人种的特征通过归一进行放大,计算每张图像和平均图像的差值Φ,就是用N集合里的每个元素减去Ψ的平均值,如下式所示:
Φ=Ti
e、基于人脸样本分组集合N归一值Φ的人脸比对,可以有效解决人脸分组比对过程中的效率和准确性问题,提升比对效率。
(1)通过归一算法,可以减少不同人种之间的差异,让系统通过不断机器学习,构建一套满足亚洲人的样本集合,提升系统的人脸识别率;
(2)相对于分组随机抽样比对,基于人脸样本分组集合N平均值的人脸比对可以减少随机抽样人脸图片比对的问题,提升比对的准确性;
相对于分组全量比对,基于人脸样本分组集合N平均值的人脸比对通过对分组特征值预处理可以避免和组内每张图片进行比对,减少了比对次数和时间,减少运算成本。
5.根据权利要求4所述的一种基于机器学习提升人脸识别精度的系统,其特征在于:所述人脸分组样本库[1,S]是所有新增人脸比对的基础,如何提升人脸库的精准度,过滤掉垃圾人脸数据,保留同一个人的清晰,姿势正面的图片,对于提升人脸识别的精准度至关重要。本算法通过机器学习模型,结合无向图和欧氏距离权重不断优化人脸分组样本库[1,S]的人脸特征质量,提升系统的正确性和比对性能;
a、在人脸分组样本库平均特征算法中实现了人脸特征分组集合N的归类,集合N为包含M张人脸图像的集合(所述的M是自然数,代表一个样本分组N的人脸图片数量,1≤M≤40)。通过人脸识别算法将M个人脸特征值向量T放到一个集合N里,如下式所示:
N={T1,T2,T3,T4,......,TM}
b、当新增一个人脸k(所述的k是自然数,代表新增人脸,1≤k)的加入时候,样本训练集合达到M+1个,这个时候回触发人脸分组样本库优化算法;
c、对分组样本N中的M+1数据构建无向权重图,权重为各个节点之间的距离;
d、计算分组集合N内所有人脸特征所有点之间的欧式距离总和d,并将该数据更新到集合N中的所有节点,计算人脸k的欧式距离公式如下:
Figure RE-FDA0002821864140000061
e、在人脸特征分组样本集合N中,生成新的欧式距离总和集合DN,,如下式所示:
DN={d1,d2,d3,d4,......,dk}
f、对集合DN进行按照欧氏距离总和由小到大排序,欧式距离越小表示人脸特征越相似,人脸库对组内数据展示也可根据欧式距离总和排序进行展示;
g、对分组样本N进行优化处理,自动剔除图片质量差或者是错误的数据,当k的值小于样本数量阈值M的时候,将图片特征加入到样本中进行分析;当k的值大于样本数量阈值M的时候,取DN集合中欧式距离总和最大的值dMAX将被剔除集合;
通过上述机器学习算法,当数据量越来越多,欧式距离较远的人脸特征dMAX样本将逐渐被系统所淘汰,相似度较高的人脸特征会不断更新各个分组的样本,实现对同一人的精确比对。
CN202011005885.6A 2020-09-23 2020-09-23 一种基于机器学习提升人脸识别精度的系统及其算法 Active CN112287753B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011005885.6A CN112287753B (zh) 2020-09-23 2020-09-23 一种基于机器学习提升人脸识别精度的系统及其算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011005885.6A CN112287753B (zh) 2020-09-23 2020-09-23 一种基于机器学习提升人脸识别精度的系统及其算法

Publications (2)

Publication Number Publication Date
CN112287753A true CN112287753A (zh) 2021-01-29
CN112287753B CN112287753B (zh) 2024-09-06

Family

ID=74422169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011005885.6A Active CN112287753B (zh) 2020-09-23 2020-09-23 一种基于机器学习提升人脸识别精度的系统及其算法

Country Status (1)

Country Link
CN (1) CN112287753B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190707A (zh) * 2021-05-24 2021-07-30 浙江大华技术股份有限公司 一种人脸库管理系统、方法、装置、存储设备及存储介质
CN113378738A (zh) * 2021-06-18 2021-09-10 北京市商汤科技开发有限公司 比对方法及装置、设备和存储介质
CN113426129A (zh) * 2021-06-24 2021-09-24 网易(杭州)网络有限公司 自定义角色的相貌调整方法、装置、终端和存储介质
CN113743308A (zh) * 2021-09-06 2021-12-03 汇纳科技股份有限公司 基于特征质量的人脸识别方法、装置、存储介质及系统
CN114693306A (zh) * 2022-04-28 2022-07-01 润芯微科技(江苏)有限公司 一种适用非授权用户的付费预警方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130961A1 (en) * 2004-11-12 2008-06-05 Koichi Kinoshita Face Feature Point Detection Apparatus and Feature Point Detection Apparatus
CN102184388A (zh) * 2011-05-16 2011-09-14 苏州两江科技有限公司 人脸和车辆自适应快速检测系统及检测方法
CN103942545A (zh) * 2014-05-07 2014-07-23 中国标准化研究院 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
CN106203533A (zh) * 2016-07-26 2016-12-07 厦门大学 基于混合训练的深度学习人脸验证方法
CN108932783A (zh) * 2018-09-19 2018-12-04 南京邮电大学 一种基于二维人脸识别的面向大流量场景的门禁系统
CN109377616A (zh) * 2018-10-30 2019-02-22 南京邮电大学 一种基于二维人脸识别的门禁控制系统
CN109635148A (zh) * 2018-12-14 2019-04-16 深圳英飞拓科技股份有限公司 人脸图片存储方法及装置
CN109947960A (zh) * 2019-03-08 2019-06-28 南京信息工程大学 基于深度卷积的人脸多属性联合估计模型构建方法
CN110287835A (zh) * 2019-06-14 2019-09-27 南京云创大数据科技股份有限公司 一种亚洲人脸库智能建立方法
WO2020038136A1 (zh) * 2018-08-24 2020-02-27 深圳前海达闼云端智能科技有限公司 面部识别方法、装置、电子设备及计算机可读介质
CN111598012A (zh) * 2020-05-19 2020-08-28 恒睿(重庆)人工智能技术研究院有限公司 一种图片聚类管理方法、系统、设备及介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130961A1 (en) * 2004-11-12 2008-06-05 Koichi Kinoshita Face Feature Point Detection Apparatus and Feature Point Detection Apparatus
CN102184388A (zh) * 2011-05-16 2011-09-14 苏州两江科技有限公司 人脸和车辆自适应快速检测系统及检测方法
CN103942545A (zh) * 2014-05-07 2014-07-23 中国标准化研究院 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置
CN106203533A (zh) * 2016-07-26 2016-12-07 厦门大学 基于混合训练的深度学习人脸验证方法
WO2020038136A1 (zh) * 2018-08-24 2020-02-27 深圳前海达闼云端智能科技有限公司 面部识别方法、装置、电子设备及计算机可读介质
CN108932783A (zh) * 2018-09-19 2018-12-04 南京邮电大学 一种基于二维人脸识别的面向大流量场景的门禁系统
CN109377616A (zh) * 2018-10-30 2019-02-22 南京邮电大学 一种基于二维人脸识别的门禁控制系统
CN109635148A (zh) * 2018-12-14 2019-04-16 深圳英飞拓科技股份有限公司 人脸图片存储方法及装置
CN109947960A (zh) * 2019-03-08 2019-06-28 南京信息工程大学 基于深度卷积的人脸多属性联合估计模型构建方法
CN110287835A (zh) * 2019-06-14 2019-09-27 南京云创大数据科技股份有限公司 一种亚洲人脸库智能建立方法
CN111598012A (zh) * 2020-05-19 2020-08-28 恒睿(重庆)人工智能技术研究院有限公司 一种图片聚类管理方法、系统、设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
P. AISHWARYA 等: "Face recognition using multiple eigenface subspaces", 《JOURNAL OF ENGINEERING AND TECHNOLOGY RESEARCH》, pages 139 - 143 *
TURK M 等: "Eigenfaces for recognition", 《JOURNAL OF COGNITIVE NEUROSCIENCE》, pages 71 - 86 *
ZOUXY09: "人脸识别之特征脸方法(Eigenface)", pages 1 - 3, Retrieved from the Internet <URL:《https://blog.csdn.net/zouxy09/article/details/45276053》> *
王玫: "自然环境下的多种族人脸:利用信息最大化自适应网络去减少种族偏差", pages 1 - 18, Retrieved from the Internet <URL:《https://bbs.sffai.com/d/119》> *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190707A (zh) * 2021-05-24 2021-07-30 浙江大华技术股份有限公司 一种人脸库管理系统、方法、装置、存储设备及存储介质
CN113378738A (zh) * 2021-06-18 2021-09-10 北京市商汤科技开发有限公司 比对方法及装置、设备和存储介质
CN113426129A (zh) * 2021-06-24 2021-09-24 网易(杭州)网络有限公司 自定义角色的相貌调整方法、装置、终端和存储介质
CN113426129B (zh) * 2021-06-24 2024-03-01 网易(杭州)网络有限公司 自定义角色的相貌调整方法、装置、终端和存储介质
CN113743308A (zh) * 2021-09-06 2021-12-03 汇纳科技股份有限公司 基于特征质量的人脸识别方法、装置、存储介质及系统
CN113743308B (zh) * 2021-09-06 2023-12-12 汇纳科技股份有限公司 基于特征质量的人脸识别方法、装置、存储介质及系统
CN114693306A (zh) * 2022-04-28 2022-07-01 润芯微科技(江苏)有限公司 一种适用非授权用户的付费预警方法及系统

Also Published As

Publication number Publication date
CN112287753B (zh) 2024-09-06

Similar Documents

Publication Publication Date Title
CN112287753A (zh) 一种基于机器学习提升人脸识别精度的系统及其算法
Chavdarova et al. Deep multi-camera people detection
CN109919977B (zh) 一种基于时间特征的视频运动人物跟踪与身份识别方法
CN110598535B (zh) 一种监控视频数据中使用的人脸识别分析方法
KR100647322B1 (ko) 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
CN111353352B (zh) 异常行为检测方法及装置
CN111126122B (zh) 人脸识别算法评估方法及装置
CN110827432B (zh) 一种基于人脸识别的课堂考勤方法及系统
CN110399835B (zh) 一种人员停留时间的分析方法、装置及系统
CN109145717A (zh) 一种在线学习的人脸识别方法
CN111723656B (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN109902681B (zh) 用户群体关系确定方法、装置、设备及存储介质
CN111091057A (zh) 一种信息处理方法、装置及计算机可读存储介质
CN111353338A (zh) 一种基于营业厅视频监控的能效改进方法
CN110555386A (zh) 一种基于动态贝叶斯的人脸识别身份认证方法
CN111368867A (zh) 档案归类方法及系统、计算机可读存储介质
CN110321935B (zh) 业务事件关系确定方法及装置、计算机可读存储介质
CN109146913B (zh) 一种人脸跟踪方法及装置
CN115062186A (zh) 一种视频内容检索方法、装置、设备以及存储介质
CN110995713A (zh) 一种基于卷积神经网络的僵尸网络检测系统及方法
CN109359530B (zh) 一种智能视频监控方法及装置
CN109344758B (zh) 基于改进局部二值模式的人脸识别方法
CN114840748A (zh) 基于人脸识别的信息推送方法、装置、设备及存储介质
CN112001280B (zh) 一种实时、可在线优化的人脸识别系统和方法
CN112686180A (zh) 一种封闭空间人员数量计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant