CN109657609B - 人脸识别方法及系统 - Google Patents

人脸识别方法及系统 Download PDF

Info

Publication number
CN109657609B
CN109657609B CN201811551823.8A CN201811551823A CN109657609B CN 109657609 B CN109657609 B CN 109657609B CN 201811551823 A CN201811551823 A CN 201811551823A CN 109657609 B CN109657609 B CN 109657609B
Authority
CN
China
Prior art keywords
face
tracker
recognition
similarity
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811551823.8A
Other languages
English (en)
Other versions
CN109657609A (zh
Inventor
何学智
王欢
刘小扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Newland Digital Technology Co ltd
Original Assignee
Newland Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Newland Digital Technology Co ltd filed Critical Newland Digital Technology Co ltd
Priority to CN201811551823.8A priority Critical patent/CN109657609B/zh
Publication of CN109657609A publication Critical patent/CN109657609A/zh
Application granted granted Critical
Publication of CN109657609B publication Critical patent/CN109657609B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Abstract

本发明公开了一种人脸识别方法及系统，本方法将视频流图像进行人脸检测、对齐后，提取人脸特征向量，并计算每一帧图像与注册人脸特征库的人脸特征向量的相似度，对每一人脸都建立一个追踪器，并通过人脸位置坐标区域的交并比及人脸相似度的加权值确定人脸所属的追踪器，当追踪器采集到预设帧数的人脸图像时，统计追踪器所追踪的人脸的识别结果，将所有帧的图像按识别结果，由每组的投票比例及相似度平均值判断人脸识别的最终结果。本技术方案具有识别效率高、人脸识别准确、特征表达丰富性强的优点。

Description

人脸识别方法及系统
技术领域
本发明涉及视频监控技术领域，特别涉及一种人脸识别方法及系统。
背景技术
人脸识别属于生物识别技术，是一种基于人的面部特征进行身份验证的方法，随着人脸识别技术不断成熟，市场需求将加速释放，应用场景不断被挖掘，人脸识别应用的加速普及，行业也将呈现出新的发展趋势。人脸识别的实际的应用中，由于光线、人脸姿态的多样化以及物体遮挡等因素的影响，人脸识别技术具有对不同场景的反应不相同、恶劣环境下识别技术识别不够稳定、人脸视频数据帧在现实场景中的质量参差不齐的缺点，对此，目前技术使用的解决方法通常是在视频流中使用检测加追踪的技术对获取的所有人脸序列提取典型的人脸数据，根据人脸区域和非人脸区域的纹理特征推算追踪区域。
但是，现有的方法由于人脸非刚性变化的多样性，效果具有局限性，在人脸特征提取技术方面，采用传统方法提取人脸特征，特征表达能力有限；而使用基于深度学习的人脸识别技术，该方法存在的局限性是对训练数据的规模具有较高的要求，且日常场景下多姿态、多光线变化的训练数据缺少等因素，限制了该类方法识别率的进一步提高。
发明内容
本发明要解决的技术问题是如何提供一种识别效率高、特征表达丰富性强的人脸识别方法及人脸识别系统。
一种人脸识别方法，包括以下步骤：
S10：将获取的视频流的图像进行人脸检测及人脸对齐处理；
S20：将对齐后的图像及其镜像图像输入人脸识别模型，生成人脸特征向量；
S30：分别计算每帧图像的人脸特征向量与注册人脸特征库的所有人脸特征向量的人脸相似度，取相似度最高的人脸特征向量作为当前人脸的匹配结果；
S40：按个体对每个人脸分别建立追踪器，根据人脸位置坐标区域的交并比及人脸相似度的加权值确定人脸所属的追踪器；
S50：当追踪器采集到预设帧数的人脸图像时，统计追踪器所追踪的人脸的识别结果，将所有帧的图像按识别结果进行分组，由每组的投票比例及相似度平均值判断人脸识别的最终结果。
优选地，步骤S10包括：
S11：将每一帧图像都输入到人脸检测卷积神经网络中，获得五个关键点的位置坐标，五个关键点为左瞳孔、右瞳孔、鼻尖、左嘴角及右嘴角；
S12：利用姿态检测器筛选出优质角度的人脸图片；
S13：根据S11提取的五个关键点的坐标与一张标准脸的五个标准关键点的坐标，计算前后两者在平面内的仿射变换矩阵M，将仿射变换矩阵M作用于当前人脸F，由公式F`＝MF计算对齐后的人脸F`。
优选地，步骤S20中生成人脸特征向量的过程为：针对S10中的每一张图像进行水平翻转，得到其镜像图像,并将两个图像输入至人脸识别模型，分别得到一个512维的特征向量；将两个所述特征向量拼接得到1024维的特征向量。
作为优选，步骤S40中的确定人脸所属追踪器的方法为：
追踪器保存最新人脸位置坐标及对应的人脸特征向量，当前人脸所属的追踪器j有：
Figure RE-GDA0001989018560000021
其中，Bi和fi分别为视频中每帧图片出现的每一人脸位置坐标及人脸特征向量，TBj和Tfj分别为追踪器j所维护的最新人脸位置坐标与对应的人脸特征向量，α和β为预设的权重参数，Bi∩TBj/Bi∪TBj和sim(fi-Tfj)分别为视频中每帧图片出现的人脸与追踪器j的人脸位置坐标区域的交并比及人脸特征相似度；
设定阈值t，如果该计算值低于阈值t，则判定该人脸为未出现人脸，并新建独立的追踪器；
本人脸识别方法中，人脸相似度通过余弦距离公式进行度量。
优选地，步骤S50中的判断人脸识别的最终结果的过程为：
对该追踪器记录的所有人脸的识别结果汇总，按不同的识别结果进行分组统计；
通过公式：
Figure RE-GDA0001989018560000022
计算每组识别结果的得分Si的结果，其中，其中，Ni为识别结果i的人脸数量，N为属于追踪器记录的所有人脸的数量，Ni/N为识别结果i的投票比例；Simj为识别结果i中排名第j的相似度，
Figure RE-GDA0001989018560000023
为取识别结果i中排名前n的平均相似度；α和β为权重系数；
当一组识别结果的得分为最高且高于某一预设阈值时，该识别结果为人脸识别的最终结果。
本发明还提出了一种人脸识别系统，包括模块：
人脸对齐模块：将获取的视频流的图像进行人脸检测及人脸对齐处理；
特征向量提取模块：将对齐后的图像及其镜像图像输入人脸识别模型，生成人脸特征向量；
相似度计算模块：分别计算每帧图像的人脸特征向量与注册人脸特征库的所有
人脸特征向量的人脸相似度，取相似度最高的人脸特征向量作为当前人脸的匹配结果；
追踪器模块：按个体对每个人脸分别建立追踪器，根据人脸位置坐标区域的交并比及人脸相似度的加权值确定人脸所属的追踪器；
分组判断模块：当追踪器采集到预设帧数的人脸图像时，统计追踪器所追踪的人脸的识别结果，将所有帧的图像按识别结果进行分组，由每组的投票比例及相似度平均值判断人脸识别的最终结果。
优选地，所述人脸对齐模块包括：
关键点提取单元：将每一帧图像都输入到人脸检测卷积神经网络中，获得五个关键点的位置坐标，五个关键点为左瞳孔、右瞳孔、鼻尖、左嘴角及右嘴角；
筛选单元：利用姿态检测器筛选出优质角度的人脸图片；
计算单元：根据关键点提取单元提取的五个关键点的坐标与一张标准脸的五个标准关键点的坐标，计算前后两者在平面内的仿射变换矩阵M，将仿射变换矩阵M作用于当前人脸F，由公式F`＝MF计算对齐后的人脸F`。
优选地，所述特征向量中生成人脸特征向量的过程为：针对人脸对齐模块处理后的中的每一张图像进行水平翻转，得到其镜像图像,并将两个图像输入至人脸识别模型，分别得到一个512维的特征向量；将两个所述特征向量拼接得到1024维的特征向量。
优选地，追踪器模块中的确定人脸所属追踪器的方法为：
追踪器保存最新人脸位置坐标及对应的人脸特征向量，当前人脸所属的追踪器j有：
Figure RE-GDA0001989018560000031
其中，Bi和fi分别为视频中每帧图片出现的每一人脸位置坐标及人脸特征向量，TBj和Tfj分别为追踪器j所维护的最新人脸位置坐标与对应的人脸特征向量，α和β为预设的权重参数，Bi∩TBj/Bi∪TBj和sim(fi-Tfj)分别为视频中每帧图片出现的人脸与追踪器j的人脸位置坐标区域的交并比及人脸特征相似度；
设定阈值t，如果该计算值低于阈值t，则判定该人脸为未出现人脸，并新建独立的追踪器，
其中，人脸相似度通过余弦距离公式进行度量。
优选地，分组判断模块中的判断人脸识的最终结果的过程为：
对该追踪器记录的所有人脸的识别结果汇总，按不同的识别结果进行分组统计；
通过公式：
Figure RE-GDA0001989018560000032
计算每组识别结果的得分Si的结果，其中，其中，Ni为识别结果i的人脸数量，N为属于追踪器记录的所有人脸的数量，Ni/N为识别结果i的投票比例；Simj为识别结果i中排名第j的相似度，
Figure RE-GDA0001989018560000041
为取识别结果i中排名前n的平均相似度；α和β为权重系数；当一组识别结果的得分为最高且高于一预设阈值时，该识别结果为人脸识别的最终结果。
采用上述技术方案，结合人脸检测、人脸追踪、人脸识别三种手段基于视频流数据中的人脸信息对人物个体通过与注册特征库的比对分析进行身份确认。本技术方案具有以下优点：
通过姿态估计，加快了人脸识别的效率；
通过人脸位置坐标区域的交并比及人脸相似度的加权值确定人脸所属的追踪器，可以快速确定人脸所属的追踪器，且人脸相似度参与权衡可以有效地解决人流密度大时交并比追踪错误的问题；
根据统计每一帧的识别结果，通过投票及前N个相似度平均值判断人脸识别的最终结果，可以提升识别结果的准确性，滤除错误的识别结果。
附图说明
图1为本发明人脸识别方法一实施例的流程图；
图2为图1中步骤S10的流程图；
图3为本发明人脸识别系统一实施例的模块图。
图中，10-人脸对齐模块，20-特征向量提取模块，30-相识的计算模块，40-追踪器模块， 50-分组判断模块。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
参照图1，本实施例中，本人脸识别方法包括以下步骤：
S10：将获取的视频流的图像进行人脸检测及人脸对齐处理；该步骤具体为：
收集人脸数据集，包括公开的人脸数据集以及实际场景的数据集并按实际需求进行标注。
S11：将每一帧图像都输入到人脸检测卷积神经网络中，获得五个关键点的位置坐标，本实施例中，五个关键点为左瞳孔、右瞳孔、鼻尖、左嘴角及右嘴角；通过公开的MTCNN人脸检测模块对得到的人脸数据集中的每张图片进行人脸检测与关键点定位，得到图像中所有的人脸位置坐标以及5个人脸关键点坐标Li(i＝1，2，...，5)。
S12：利用姿态检测器筛选出优质角度的人脸图片。
需要说明的是，由于脸特征向量在人脸旋转角度较小时更加稳定，所以通过对所有人脸的姿态进行估计，并筛选出具有优质姿态的人脸图片，本实施例中优质姿态定义为低头角度小于20度，抬头角度小于30度，左右摆头角度小于35度。姿态估计方法是使用裁剪的MobileFaceNet网络模型，通过对大量人脸图像人工标注人脸角度，制作标注数据库，并将标注数据库输入网络进行训练，完成人脸姿态检测器的制作；利用检测器可以检测给定人脸图像的抬头低头角度与左右摆头角度。
通过姿态检测器筛滤除了低质量的图像，提高了识别成功率。
S13：根据S11提取的五个关键点的坐标与一张标准脸的五个标准关键点的坐标，计算前后两者在平面内的仿射变换矩阵M，将仿射变换矩阵M作用于当前人脸F，由公式F`＝MF计算对齐后的人脸F`。
S20：将对齐后的图像及其镜像图像输入人脸识别模型，生成人脸特征向量。
针对S10中的每一张图像进行水平翻转，得到其镜像图像,并将两个图像输入至人脸识别模型，分别得到一个512维的特征向量；将两个特征向量拼接得到1024维的特征向量。
需要说明的是，本发明实施例使用的神经网络为定制化的ResNet36层为基础网络模型，以基于角度间距的损失函数作为训练的目标函数进行训练得到人脸识别模型。
S30：分别计算每帧图像的人脸特征向量与注册人脸特征库的所有人脸特征向量的人脸相似度，取相似度最高的人脸特征向量作为当前人脸的匹配结果。
其中，人脸相似度通过余弦距离进行度量，对于人脸特征向量
Figure RE-GDA0001989018560000051
和
Figure RE-GDA0001989018560000052
人脸相似度计算公式为：
Figure RE-GDA0001989018560000053
其中，
Figure RE-GDA0001989018560000054
为特征向量
Figure RE-GDA0001989018560000055
和
Figure RE-GDA0001989018560000056
的内积操作，
Figure RE-GDA0001989018560000057
和
Figure RE-GDA0001989018560000058
为取模操作。
需要说明的是，步骤S30中，生成注册人脸特征库的步骤为：
根据实际应用，收集需要比对的人脸数据库，并按步骤S11，S12，S13得到对齐后的图像，存到注册库文件夹；
针对处理后的每一张图像进行水平翻转，得到其镜像图像,然后将两张图像送入到得到的人脸识别模型，分别得到512维的特征向量；把这两个512维的特征向量拼接得到1024维的特征向量，并将得到的特征向量存入到注册人脸特征库。
S40：按个体对每个人脸分别建立追踪器，根据人脸位置坐标区域的交并(简称IOU)比及人脸相似度的加权值确定人脸所属的追踪器；确定人脸所属追踪器的方法为：
追踪器保存最新人脸位置坐标及对应的人脸特征向量，当前人脸所属的追踪器j有：
Figure RE-GDA0001989018560000059
其中，Bi和fi分别为视频中每帧图片出现的每一人脸位置坐标及人脸特征向量，TBj和Tfj分别为追踪器j所维护的最新人脸位置坐标与对应的人脸特征向量，α和β为预设的权重参数，Bi∩TBj/Bi∪TBj和sim(fi-Tfj)分别为视频中每帧图片出现的人脸与追踪器j的人脸位置坐标区域的交并比及人脸特征相似度；每个人脸则根据人脸位置坐标区域的交并比与特征相似度这两者的值来权衡决定。使用人脸特征向量参与权衡的好处是可以有效地解决人流密度大时IOU追踪错误的问题。
设定阈值t，如果该计算值低于阈值t，则判定该人脸为未出现人脸，需新建独立的追踪器对其进行追踪。
S50：统计追踪器所追踪的人脸的识别结果，根据每一帧的识别结果进行分组，由每组的投票比例及相似度平均值判断人脸识别的最终结果。判断人脸识别的最终结果的过程为：
如一追踪器所追踪的人脸达到预设帧数时，本实施例采用的预设帧数为50帧，则开始进行结果分析。
对该追踪器记录的所有人脸的识别结果汇总，按不同的识别结果进行分组统计。
通过公式：
Figure RE-GDA0001989018560000061
计算每组识别结果的得分Si的结果，其中，其中，Ni为识别结果i的人脸数量，N为属于追踪器记录的所有人脸的数量，Ni/N为识别结果i的投票比例；Simj为识别结果i中排名第j的相似度，
Figure RE-GDA0001989018560000062
为取识别结果i中排名前n的平均相似度，本实施例中n为3；α和β为权重系数，本实施例中α取0.45，β取0.55，tanh(0.2*(N-1)) 的作用是削弱投票数低的情况下投票比例对整体得分Si的影响程度，这主要是考虑投票数越多时的投票比例越能够反映真实的投票分布。
当一组识别结果的得分为最高且高于一预设阈值时，该识别结果为人脸识别的最终结果，本实施例中预设的阈值取0.55。
需要说明的是，本实施例中，本实施例中的n取数值3，即相似度排名前3帧的平均相似度用于进行判断最终结果。
本发明还提出了一种人脸识别系统，包括模块：
人脸对齐模块：将获取的视频流的图像进行人脸检测及人脸对齐处理；人脸对齐模块包括：
关键点提取单元：将每一帧图像都输入到人脸检测卷积神经网络中，获得五个关键点的位置坐标，五个关键点为左瞳孔、右瞳孔、鼻尖、左嘴角及右嘴角；
筛选单元：利用姿态检测器筛选出优质角度的人脸图片；
计算单元：根据S11提取的五个关键点的坐标与一张标准脸的五个标准关键点的坐标，计算前后两者在平面内的仿射变换矩阵M，将仿射变换矩阵M作用于当前人脸F，由公式F`＝M F计算对齐后的人脸F`。
特征向量提取模块：将对齐后的图像及其镜像图像输入人脸识别模型，生成人脸特征向量；特征向量中生成人脸特征向量的过程为：针对每一张图像进行水平翻转，得到其镜像图像,并将两个图像输入至人脸识别模型，分别得到一个512维的特征向量；将两个特征向量拼接得到1024维的特征向量。
相似度计算模块：分别计算每帧图像的人脸特征向量与注册人脸特征库的所有人脸特征向量的人脸相似度，取相似度最高的人脸特征向量作为当前人脸的匹配结果；
追踪器模块：按个体对每个人脸分别建立追踪器，根据人脸位置坐标区域的交并比及人脸相似度的加权值确定人脸所属的追踪器；
分组判断模块：当追踪器失效，统计追踪器所追踪的人脸的识别结果，根据每一帧的识别结果进行分组，由每组的投票比例及相似度平均值判断人脸识别的最终结果。
需要说明的是，追踪器模块中的确定人脸所属追踪器的方法为：
追踪器保存对齐后的最新人脸位置坐标及对应的人脸特征向量，当前人脸所属的追踪器 j有：
Figure RE-GDA0001989018560000071
其中，Bi和fi分别为视频中每帧图片出现的每一人脸位置坐标及人脸特征向量，TBj和Tfj分别为追踪器j所维护的最新人脸位置坐标与对应的人脸特征向量，α和β为预设的权重参数，Bi∩TBj/Bi∪TBj和sim(fi-Tfj)分别为视频中每帧图片出现的人脸与追踪器j的人脸位置坐标区域的交并比及人脸特征相似度；
设定阈值t，如果该计算值低于阈值t，则判定该人脸为未出现人脸，并新建独立的追踪器，其中，人脸相似度通过余弦距离公式进行度量。
本实施例中，分组判断模块中的判断人脸识的最终结果的过程为：
如一追踪器在预设时间内无新的人脸添加，则判断该追踪器失效；
当追踪器所追踪的人脸达到预设帧数时，对该追踪器记录的所有人脸的识别结果汇总，按不同的识别结果进行分组统计；
通过公式：
Figure RE-GDA0001989018560000072
计算每组识别结果的得分Si的结果，其中，其中，Ni为识别结果i的人脸数量，N为属于追踪器记录的所有人脸的数量，Ni/N为识别结果i的投票比例；Simj为识别结果i中排名第j的相似度，
Figure RE-GDA0001989018560000081
为取识别结果i中排名前n的平均相似度，本实施例中n为3；α和β为权重系数；当一组识别结果的得分为最高且高于一预设阈值时，该识别结果为人脸识别的最终结果。
采用上述技术方案，结合人脸检测、人脸追踪、人脸识别三种手段基于视频流数据中的人脸信息对人物个体通过与注册特征库的比对分析进行身份确认。本技术方案具有以下优点：
通过人脸姿态检测器，滤除了一些角度不佳的无效图片，提升了图像的质量，加快了人脸识别的效率；
通过人脸位置坐标区域的交并比及人脸相似度的加权值确定人脸所属的追踪器，可以快速确定人脸所属的追踪器，且人脸相似度参与权衡可以有效地解决人流密度大时交并比追踪错误的问题；
根据统计每一帧的识别结果，通过投票及投相似度平均值判断人脸识别的最终结果，可以提升识别结果的准确性，滤除错误的识别结果。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (8)

1.一种人脸识别方法，其特征在于，包括以下步骤：
S10：将获取的视频流的图像进行人脸检测及人脸对齐处理；
S20：将对齐后的图像及其镜像图像输入人脸识别模型，生成人脸特征向量；
S30：分别计算每帧图像的人脸特征向量与注册人脸特征库的所有人脸特征向量的人脸相似度，取相似度最高的人脸特征向量作为当前人脸的匹配结果；
S40：按个体对每个人脸分别建立追踪器，根据人脸位置坐标区域的交并比及人脸相似度的加权值确定人脸所属的追踪器；
S50：当追踪器采集到预设帧数的人脸图像时，统计追踪器所追踪的人脸的识别结果，将所有帧的图像按识别结果进行分组，由每组的投票比例及相似度平均值判断人脸识别的最终结果，具体为：
对该追踪器记录的所有人脸的识别结果汇总，按不同的识别结果进行分组统计；
通过公式：
Figure FDA0003819515980000011
计算每组识别结果的得分Si的结果，其中，Ni为识别结果i的人脸数量，N为属于追踪器记录的所有人脸的数量，Ni/N为识别结果i的投票比例；Simj为识别结果i中排名第j的相似度，
Figure FDA0003819515980000012
为取识别结果i中排名前n的平均相似度，α和β为权重系数；
当一组识别结果的得分为最高且高于一预设阈值时，该识别结果为人脸识别的最终结果。
2.根据权利要求1所述的人脸识别方法，其特征在于，步骤S10包括：
S11：将每一帧图像都输入到人脸检测卷积神经网络中，获得五个关键点的位置坐标，五个关键点为左瞳孔、右瞳孔、鼻尖、左嘴角及右嘴角；
S12：利用姿态检测器筛选出优质角度的人脸图片；
S13：根据S11提取的五个关键点的坐标与一张标准脸的五个标准关键点的坐标，计算前后两者在平面内的仿射变换矩阵M，将仿射变换矩阵M作用于当前人脸F，由公式F`＝M F计算对齐后的人脸F`。
3.根据权利要求2所述的人脸识别方法，其特征在于，步骤S20中生成人脸特征向量的过程为：针对S10中的每一张图像进行水平翻转，得到其镜像图像,并将两个图像输入至人脸识别模型，分别得到一个512维的特征向量；将两个所述特征向量拼接得到1024维的特征向量。
4.根据权利要求1所述的人脸识别方法，其特征在于，步骤S40中的确定人脸所属追踪器的方法为：
追踪器保存最新人脸位置坐标及对应的人脸特征向量，当前人脸所属的追踪器j有：
Figure FDA0003819515980000021
其中，Bi和fi分别为视频中每帧图片出现的每一人脸位置坐标及人脸特征向量，T Bj和T fj分别为追踪器j所维护的最新人脸位置坐标与对应的人脸特征向量，α和β为预设的权重参数，Bi∩TBj/Bi∪TBj和sim(fi-Tfj)分别为视频中每帧图片出现的人脸与追踪器j的人脸位置坐标区域的交并比及人脸特征相似度；
设定阈值t，如果该计算值低于阈值t，则判定该人脸为未出现人脸，并新建独立的追踪器；
本人脸识别方法中，人脸相似度通过余弦距离公式进行度量。
5.一种人脸识别系统，其特征在于：包括模块：
人脸对齐模块：将获取的视频流的图像进行人脸检测及人脸对齐处理；
特征向量提取模块：将对齐后的图像及其镜像图像输入人脸识别模型，生成人脸特征向量；
相似度计算模块：分别计算每帧图像的人脸特征向量与注册人脸特征库的所有人脸特征向量的人脸相似度，取相似度最高的人脸特征向量作为当前人脸的匹配结果；
追踪器模块：按个体对每个人脸分别建立追踪器，根据人脸位置坐标区域的交并比及人脸相似度的加权值确定人脸所属的追踪器；
分组判断模块：当追踪器采集到预设帧数的人脸图像时，统计追踪器所追踪的人脸的识别结果，将所有帧的图像按识别结果进行分组，由每组的投票比例及相似度平均值判断人脸识别的最终结果；
其中，分组判断模块中的判断人脸识的最终结果的过程为：
对该追踪器记录的所有人脸的识别结果汇总，按不同的识别结果进行分组统计；
通过公式：
Figure FDA0003819515980000031
计算每组识别结果的得分Si的结果，其中，Ni为识别结果i的人脸数量，N为属于追踪器记录的所有人脸的数量，Ni/N为识别结果i的投票比例；Simj为识别结果i中排名第j的相似度，
Figure FDA0003819515980000032
为取识别结果i中排名前n的平均相似度；α和β为权重系数；
当一组识别结果的得分为最高且高于一预设阈值时，该识别结果为人脸识别的最终结果。
6.根据权利要求5所述的人脸识别系统，其特征在于，所述人脸对齐模块包括：
关键点提取单元：将每一帧图像都输入到人脸检测卷积神经网络中，获得五个关键点的位置坐标，五个关键点为左瞳孔、右瞳孔、鼻尖、左嘴角及右嘴角；
筛选单元：利用姿态检测器筛选出优质角度的人脸图片；
计算单元：根据所述关键点提取单元提取的五个关键点的坐标与一张标准脸的五个标准关键点的坐标，计算前后两者在平面内的仿射变换矩阵M，将仿射变换矩阵M作用于当前人脸F，由公式F`＝M F计算对齐后的人脸F`。
7.根据权利要求5所述的人脸识别系统，其特征在于，所述特征向量中生成人脸特征向量的过程为：针对人脸对齐模块处理后的每一张图像进行水平翻转，得到其镜像图像,并将两个图像输入至人脸识别模型，分别得到一个512维的特征向量；将两个所述特征向量拼接得到1024维的特征向量。
8.根据权利要求5所述的人脸识别系统，其特征在于，追踪器模块中的确定人脸所属追踪器的方法为：
追踪器保存最新人脸位置坐标及对应的人脸特征向量，当前人脸所属的追踪器j有：
Figure FDA0003819515980000033
其中，Bi和fi分别为视频中每帧图片出现的每一人脸位置坐标及人脸特征向量，T Bj和T fj分别为追踪器j所维护的最新人脸位置坐标与对应的人脸特征向量，α和β为预设的权重参数，Bi∩TBj/Bi∪TBj和sim(fi-Tfj)分别为视频中每帧图片出现的人脸与追踪器j的人脸位置坐标区域的交并比及人脸特征相似度；
设定阈值t，如果该计算值低于阈值t，则判定该人脸为未出现人脸，并新建独立的追踪器；
其中，人脸相似度通过余弦距离公式进行度量。
CN201811551823.8A 2018-12-19 2018-12-19 人脸识别方法及系统 Active CN109657609B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811551823.8A CN109657609B (zh) 2018-12-19 2018-12-19 人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811551823.8A CN109657609B (zh) 2018-12-19 2018-12-19 人脸识别方法及系统

Publications (2)

Publication Number Publication Date
CN109657609A CN109657609A (zh) 2019-04-19
CN109657609B true CN109657609B (zh) 2022-11-08

Family

ID=66113383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811551823.8A Active CN109657609B (zh) 2018-12-19 2018-12-19 人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN109657609B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070511B (zh) * 2019-04-30 2022-01-28 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质
CN110210404B (zh) * 2019-05-31 2023-03-21 深圳算子科技有限公司 人脸识别方法及系统
CN110264668A (zh) * 2019-07-10 2019-09-20 四川长虹电器股份有限公司 基于机器视觉技术的多策略老人看护方法
CN110321969B (zh) * 2019-07-11 2023-06-30 山东领能电子科技有限公司 一种基于mtcnn的车脸对齐方法
CN110532991A (zh) * 2019-09-04 2019-12-03 深圳市捷顺科技实业股份有限公司 一种人脸识别方法、装置及设备
CN110619295A (zh) * 2019-09-09 2019-12-27 深圳市三宝创新智能有限公司 一种人脸识别方法及系统
CN111209818A (zh) * 2019-12-30 2020-05-29 新大陆数字技术股份有限公司 视频个体识别方法、系统、设备及可读存储介质
CN111160307A (zh) * 2019-12-31 2020-05-15 帷幄匠心科技（杭州）有限公司 一种人脸识别方法及人脸识别打卡系统
CN111079720B (zh) * 2020-01-20 2022-04-22 杭州英歌智达科技有限公司 一种基于聚类分析自主再学习的人脸识别方法
CN111339990B (zh) * 2020-03-13 2023-03-24 乐鑫信息科技（上海）股份有限公司 一种基于人脸特征动态更新的人脸识别系统和方法
CN111652119B (zh) * 2020-05-31 2023-11-03 南京原为智能科技有限公司 一种结合位置信息的人脸特征提取方法
CN111738120B (zh) * 2020-06-12 2023-12-05 北京奇艺世纪科技有限公司 人物识别方法、装置、电子设备及存储介质
CN112990032B (zh) * 2021-03-23 2022-08-16 中国人民解放军海军航空大学航空作战勤务学院 人脸图像处理方法及装置
CN113158991B (zh) * 2021-05-21 2021-12-24 南通大学 一种嵌入式智能人脸检测与跟踪系统
CN113298008A (zh) * 2021-06-04 2021-08-24 杭州鸿泉物联网技术股份有限公司 基于活体检测的驾驶员人脸识别资质认证方法及装置
CN113361456B (zh) * 2021-06-28 2024-05-07 北京影谱科技股份有限公司 一种人脸识别方法和系统
CN113642415A (zh) * 2021-07-19 2021-11-12 南京南瑞信息通信科技有限公司 人脸特征表达方法及人脸识别方法
CN113642450A (zh) * 2021-08-09 2021-11-12 深圳市英威诺科技有限公司 视频人脸识别方法、系统及存储介质
CN113792168A (zh) * 2021-08-11 2021-12-14 同盾科技有限公司 人脸底库自维护的方法、系统、电子装置和存储介质
CN116152872A (zh) * 2021-11-18 2023-05-23 北京眼神智能科技有限公司 人脸跟踪方法、装置、存储介质及设备
CN114419716B (zh) * 2022-01-26 2024-03-15 北方工业大学 一种人脸图像面部关键点标定的校准方法
CN115439982A (zh) * 2022-07-22 2022-12-06 合享佳智(深圳)充电桩科技有限公司 一种带人脸识别功能的智能充电桩及人脸识别控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017016516A1 (zh) * 2015-07-24 2017-02-02 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN106548151A (zh) * 2016-11-03 2017-03-29 北京光年无限科技有限公司 面向智能机器人的目标物检测追踪识别方法和系统
CN108875602A (zh) * 2018-05-31 2018-11-23 珠海亿智电子科技有限公司 监控环境下基于深度学习的人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017016516A1 (zh) * 2015-07-24 2017-02-02 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN106548151A (zh) * 2016-11-03 2017-03-29 北京光年无限科技有限公司 面向智能机器人的目标物检测追踪识别方法和系统
CN108875602A (zh) * 2018-05-31 2018-11-23 珠海亿智电子科技有限公司 监控环境下基于深度学习的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉跟踪的实时视频人脸识别;任梓涵等;《厦门大学学报(自然科学版)》;20180528(第03期);全文 *

Also Published As

Publication number Publication date
CN109657609A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN109657609B (zh) 人脸识别方法及系统
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN110609920B (zh) 一种视频监控场景下的行人混合搜索方法及系统
CN110569878B (zh) 一种基于卷积神经网络的照片背景相似度聚类方法及计算机
WO2018028546A1 (zh) 一种关键点的定位方法及终端、计算机存储介质
CN106897658B (zh) 人脸活体的鉴别方法和装置
US20170161591A1 (en) System and method for deep-learning based object tracking
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN111241975B (zh) 一种基于移动端边缘计算的人脸识别检测方法及系统
JP2004192378A (ja) 顔画像処理装置およびその方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN111428689B (zh) 一种多池化信息融合的人脸图像特征提取方法
CN110827432B (zh) 一种基于人脸识别的课堂考勤方法及系统
CN111209818A (zh) 视频个体识别方法、系统、设备及可读存储介质
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及系统
CN110232331B (zh) 一种在线人脸聚类的方法及系统
CN113850183A (zh) 一种基于人工智能技术判断视频中行为的方法
CN113255608B (zh) 一种基于cnn分类的多摄像头人脸识别定位方法
CN113436231A (zh) 行人轨迹生成方法、装置、设备及存储介质
CN110879985B (zh) 一种抗噪声数据的人脸识别模型训练方法
CN112329663A (zh) 一种基于人脸图像序列的微表情时刻检测方法及装置
CN111597894A (zh) 一种基于人脸检测技术的人脸库更新方法
CN113221606B (zh) 一种基于ims视频会议登录的人脸识别方法
CN113449694A (zh) 基于Android的证件照合规性检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant