CN109344740A - 人脸识别系统、方法及计算机可读存储介质 - Google Patents
人脸识别系统、方法及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109344740A CN109344740A CN201811064609.XA CN201811064609A CN109344740A CN 109344740 A CN109344740 A CN 109344740A CN 201811064609 A CN201811064609 A CN 201811064609A CN 109344740 A CN109344740 A CN 109344740A
- Authority
- CN
- China
- Prior art keywords
- face
- network
- picture
- module
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种人脸识别系统、方法及计算机可读存储介质，包括：人脸检测模块：获取图片，通过卷积神经网络对图片进行人脸检测，获得人脸区域截图；人脸特征提取模块：根据获得的人脸区域截图，进行人脸特征提取，获得人脸特征数组；人脸识别模块：根据获得的人脸特征数组，进行人脸识别，获得人脸识别结果。本发明替换了常规的支持向量机用于对比人脸特征数组欧氏距离的方法，改为采用FLANN中k‑means算法，这种树结构递归搜索算法比原方案有更强的高维度数组处理能力，再算法速度和实现复杂度上也远好远支持向量机算法。
Description
技术领域
本发明涉及人脸识别技术领域，具体地，涉及人脸识别系统、方法及计算机可读存储介质。
背景技术
常规深度神经网络人脸识别算法采用卷积深度神经网络，通常采用128维人脸特征数组，及支持向量机算法等不同算法进行分类识别。本算法采用的FLANN算法及高维度人脸特征数组与其相比，更好的支持海量人脸识别及加快速度。
人脸识别系统需要高清晰的人脸照片，高精度的照片特征提取能力和准确快速的特征对比能力。常规深度网络人脸识别算法，采用opencv开源人脸检测模块作为人脸检测。特征提取网络的网络尺寸预设将人脸照片映射到128维欧式空间，并通过人脸库进行训练获得网络权重参数，变为可用的特征提取网络用于特征提取。而识别模块采用SVM支持向量机算法，预先训练所有人脸库人脸导出为缓存文件，在需要识别时，将需要识别的特征数组和缓存文件中的人脸库做欧式距离对比。以上三个模块的组合只可用于微小规模的人脸识别试验，在处理速度能处理能力上难以应对万级规模的人脸识别项目。
首先，opencv人脸检测模块为传统机器视觉算法，其核心是使用人脸关键点检测再图片中反复搜索，缺点在于效率底下且常出现漏检。其次，在实际应用中发现，128维度特征提取网络和SVM支持向量机作为识别算法的组合在人脸库中人脸数量增加到250左右时就会出现准确率下降。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种人脸识别系统、方法及计算机可读存储介质。
根据本发明提供的一种人脸识别系统，包括：
人脸检测模块：获取图片，通过卷积神经网络对图片进行人脸检测，获得人脸区域截图；
人脸特征提取模块：根据获得的人脸区域截图，进行人脸特征提取，获得人脸特征数组；
人脸识别模块：根据获得的人脸特征数组，进行人脸识别，获得人脸识别结果。
优选地，所述卷积神经网络包括：三组卷积神经网络、图片修改工具；
所述三组卷积神经网络包括：Pnet卷积神经网络、Rnet卷积神经网络、Onet卷积神经网络；
在所述人脸特征提取模块中：利用深度神经网络对获得的人脸区域截图进行人脸特征提取，获得人脸特征数组；
所述深度神经网络包括：无参数卷积深度神经网络、全连接网络。
优选地，所述人脸检测模块包括：
图像获取模块：获得图片，修正图片格式和大小，得到预处理好的图片；
候选框获取模块：将所述预处理好的图片传入Pnet卷积神经网络，Pnet卷积神经网络生成人脸候选框；
候选框精确模块：将图片和人脸候选框坐标参数均传入Rnet卷积神经网络，Rnet卷积神经网络在人脸候选框中进一步筛选，获得筛选后的候选框；
人脸校验模块：将图片和筛选后的候选框坐标参数均传入Onet卷积神经网络，Onet卷积神经网络根据人脸关键点模板对筛选后的候选框一一校验匹配，修正筛选后的候选框的坐标参数，并将侧脸的角度做尺度不变的转正，获得检测完毕后的人脸所在位置的矩形框坐标；
人脸截图模块：根据获得的矩形框坐标，对人脸区域进行截图，进行统一格式化处理保存，获得人脸区域截图。
优选地，所述人脸特征提取模块包括：
网络模型获取模块：搜集互联网上公开的、自建的人脸图片，对深度神经网络进行训练，获得能够对人脸进行特征提取的网络模型、网络模型参数；
人脸截图导入模块：将获得的人脸区域截图传入网络模型；
特征数组获取模块：输出网络模型根据人脸区域截图、网络参数，输出预设维度的特征数组；
特征数组存储模块：将人员的身份对应的人脸区域截图和网络模型输出的预设维度的特征数组，保存到人脸信息数据库；
所述网络模型获取模块包括：
人脸库照片获取模块：获得统一格式化的人脸库照片，将人脸库照片和人脸标签一一对应，将人脸库分为训练集合和验证集合；
网络尺寸修改模块：修改深度神经网络的输出尺寸；
准确度验证模块：在深度神经网络输出层后添加三元组损失函数，所述三元组损失函数在深度神经网络训练过程中，在验证集合中验证准确度；
网络准确率获取模块：将训练集合和验证集合均输入深度神经网络，将训练集合和验证集合分批次输入深度神经网络进行训练，每个批次训练完成后，获得训练后的深度神经网络、网络参数；
载入验证集合及三元组损失函数，对验证集合中的人脸进行特征提取并通过损失函数对验证集合中的人脸进行两两比对，获得深度神经网络的准确率；
判断准确率是否符合预设标准：
若是，则停止训练，输出训练后的深度神经网络；否则，则继续训练；
网络模型输出模块：根据训练后的深度神经网络，获得网络模型、网络模型参数。
优选地，所述人脸识别模块包括：
数据拉取模块：从人脸信息数据库获取人脸特征数组及对应的人脸标签；
算法导入模块：将获取的人脸特征数组及对应的人脸标签作为搜索池集合，将需要识别的人脸特征作为请求集合；
索引号获取模块：根据搜索池集合、请求集合，获得匹配结果在搜索池中的索引号；
人脸标签获取模块：根据索引号找到对应的人脸标签。
根据本发明提供的一种人脸识别方法，包括：
人脸检测步骤：获取图片，通过卷积神经网络对图片进行人脸检测，获得人脸区域截图；
人脸特征提取步骤：根据获得的人脸区域截图，进行人脸特征提取，获得人脸特征数组；
人脸识别步骤：根据获得的人脸特征数组，进行人脸识别，获得人脸识别结果。
优选地，所述卷积神经网络包括：三组卷积神经网络、图片修改工具；
所述三组卷积神经网络包括：Pnet卷积神经网络、Rnet卷积神经网络、Onet卷积神经网络；
在所述人脸特征提取步骤中：利用深度神经网络对获得的人脸区域截图进行人脸特征提取，获得人脸特征数组；
所述深度神经网络包括：无参数卷积深度神经网络、全连接网络。
所述人脸检测步骤包括：
图像获取步骤：获得图片，修正图片格式和大小，得到预处理好的图片；
候选框获取步骤：将所述预处理好的图片传入Pnet卷积神经网络，Pnet卷积神经网络生成人脸候选框；
候选框精确步骤：将图片和人脸候选框坐标参数均传入Rnet卷积神经网络，Rnet卷积神经网络在人脸候选框中进一步筛选，获得筛选后的候选框；
人脸校验步骤：将图片和筛选后的候选框坐标参数均传入Onet卷积神经网络，Onet卷积神经网络根据人脸关键点模板对筛选后的候选框一一校验匹配，修正筛选后的候选框的坐标参数，并将侧脸的角度做尺度不变的转正，获得检测完毕后的人脸所在位置的矩形框坐标；
人脸截图步骤：根据获得的矩形框坐标，对人脸区域进行截图，进行统一格式化处理保存，获得人脸区域截图。
优选地，所述人脸特征提取步骤包括：
网络模型获取步骤：搜集互联网上公开的、自建的人脸图片，对深度神经网络进行训练，获得能够对人脸进行特征提取的网络模型、网络模型参数；
人脸截图导入步骤：将获得的人脸区域截图传入网络模型；
特征数组获取步骤：输出网络模型根据人脸区域截图、网络参数，输出预设维度的特征数组；
特征数组存储步骤：将人员的身份对应的人脸区域截图和网络模型输出的预设维度的特征数组，保存到人脸信息数据库；
所述网络模型获取步骤包括：
人脸库照片获取步骤：获得统一格式化的人脸库照片，将人脸库照片和人脸标签一一对应，将人脸库分为训练集合和验证集合；
网络尺寸修改步骤：修改深度神经网络的输出尺寸；
准确度验证步骤：在深度神经网络输出层后添加三元组损失函数，所述三元组损失函数在深度神经网络训练过程中，在验证集合中验证准确度；
网络准确率获取步骤：将训练集合和验证集合均输入深度神经网络，将训练集合和验证集合分批次输入深度神经网络进行训练，每个批次训练完成后，获得训练后的深度神经网络、网络参数；
载入验证集合及三元组损失函数，对验证集合中的人脸进行特征提取并通过损失函数对验证集合中的人脸进行两两比对，获得深度神经网络的准确率；
判断准确率是否符合预设标准：
若是，则停止训练，输出训练后的深度神经网络；否则，则继续训练；
网络模型输出步骤：根据训练后的深度神经网络，获得网络模型、网络模型参数。
优选地，所述人脸识别步骤包括：
数据拉取步骤：从人脸信息数据库获取人脸特征数组及对应的人脸标签；
算法导入步骤：将获取的人脸特征数组及对应的人脸标签作为搜索池集合，将需要识别的人脸特征作为请求集合；
索引号获取步骤：根据搜索池集合、请求集合，获得匹配结果在搜索池中的索引号；
人脸标签获取步骤：根据索引号找到对应的人脸标签。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述任一项所述的人脸识别方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明改进了原网络中的卷积网络和全连接网络的尺寸，使得其可从图片中通过不断每一层的加强版卷积和池化获得从原先的128维度到现在的512维度。并对网络再次训练获得全新的网络节点权重参数，升级为提取更高精度人脸特征的特征提取网络
2、本发明替换了常规的支持向量机用于对比人脸特征数组欧氏距离的方法，改为采用FLANN中k-means算法，这种树结构递归搜索算法比原方案有更强的高维度数组处理能力，在算法速度和实现复杂度上也远好于支持向量机算法。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为根据本发明优选例的系统识别流程示意图。
图2为根据本发明优选例的特征提取网络预设提取128维特征流程示意图。
图3为根据本发明优选例的特征提取网络预设提取512维特征及网络参数训练流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种人脸识别系统，包括：
人脸检测模块：获取图片，通过卷积神经网络对图片进行人脸检测，获得人脸区域截图；
人脸特征提取模块：根据获得的人脸区域截图，进行人脸特征提取，获得人脸特征数组；
人脸识别模块：根据获得的人脸特征数组，进行人脸识别，获得人脸识别结果。
具体地，所述卷积神经网络包括：三组卷积神经网络、图片修改工具；
所述三组卷积神经网络包括：Pnet卷积神经网络、Rnet卷积神经网络、Onet卷积神经网络；
在所述人脸特征提取模块中：利用深度神经网络对获得的人脸区域截图进行人脸特征提取，获得人脸特征数组；
所述深度神经网络包括：无参数卷积深度神经网络、全连接网络。
具体地，所述人脸检测模块包括：
图像获取模块：获得图片，修正图片格式和大小，得到预处理好的图片；
候选框获取模块：将所述预处理好的图片传入Pnet卷积神经网络，Pnet卷积神经网络生成人脸候选框；
候选框精确模块：将图片和人脸候选框坐标参数均传入Rnet卷积神经网络，Rnet卷积神经网络在人脸候选框中进一步筛选，获得筛选后的候选框；
人脸校验模块：将图片和筛选后的候选框坐标参数均传入Onet卷积神经网络，Onet卷积神经网络根据人脸关键点模板对筛选后的候选框一一校验匹配，修正筛选后的候选框的坐标参数，并将侧脸的角度做尺度不变的转正，获得检测完毕后的人脸所在位置的矩形框坐标；
人脸截图模块：根据获得的矩形框坐标，对人脸区域进行截图，进行统一格式化处理保存，获得人脸区域截图。
具体地，所述人脸特征提取模块包括：
网络模型获取模块：搜集互联网上公开的、自建的人脸图片，对深度神经网络进行训练，获得能够对人脸进行特征提取的网络模型、网络模型参数；
人脸截图导入模块：将获得的人脸区域截图传入网络模型；
特征数组获取模块：输出网络模型根据人脸区域截图、网络参数，输出预设维度的特征数组；
特征数组存储模块：将人员的身份对应的人脸区域截图和网络模型输出的预设维度的特征数组，保存到人脸信息数据库；
所述网络模型获取模块包括：
人脸库照片获取模块：获得统一格式化的人脸库照片，将人脸库照片和人脸标签一一对应，将人脸库分为训练集合和验证集合；
网络尺寸修改模块：修改深度神经网络的输出尺寸；
准确度验证模块：在深度神经网络输出层后添加三元组损失函数，所述三元组损失函数在深度神经网络训练过程中，在验证集合中验证准确度；
网络准确率获取模块：将训练集合和验证集合均输入深度神经网络，将训练集合和验证集合分批次输入深度神经网络进行训练，每个批次训练完成后，获得训练后的深度神经网络、网络参数；
载入验证集合及三元组损失函数，对验证集合中的人脸进行特征提取并通过损失函数对验证集合中的人脸进行两两比对，获得深度神经网络的准确率；
判断准确率是否符合预设标准：
若是，则停止训练，输出训练后的深度神经网络；否则，则继续训练；
网络模型输出模块：根据训练后的深度神经网络，获得网络模型、网络模型参数。
具体地，所述人脸识别模块包括：
数据拉取模块：从人脸信息数据库获取人脸特征数组及对应的人脸标签；
算法导入模块：将获取的人脸特征数组及对应的人脸标签作为搜索池集合，将需要识别的人脸特征作为请求集合；
索引号获取模块：根据搜索池集合、请求集合，获得匹配结果在搜索池中的索引号；
人脸标签获取模块：根据索引号找到对应的人脸标签。
根据本发明提供的一种人脸识别方法，包括：
人脸检测步骤：获取图片，通过卷积神经网络对图片进行人脸检测，获得人脸区域截图；
人脸特征提取步骤：根据获得的人脸区域截图，进行人脸特征提取，获得人脸特征数组；
人脸识别步骤：根据获得的人脸特征数组，进行人脸识别，获得人脸识别结果。
具体地，所述卷积神经网络包括：三组卷积神经网络、图片修改工具；
所述三组卷积神经网络包括：Pnet卷积神经网络、Rnet卷积神经网络、Onet卷积神经网络；
在所述人脸特征提取步骤中：利用深度神经网络对获得的人脸区域截图进行人脸特征提取，获得人脸特征数组；
所述深度神经网络包括：无参数卷积深度神经网络、全连接网络。
所述人脸检测步骤包括：
图像获取步骤：获得图片，修正图片格式和大小，得到预处理好的图片；
候选框获取步骤：将所述预处理好的图片传入Pnet卷积神经网络，Pnet卷积神经网络生成人脸候选框；
候选框精确步骤：将图片和人脸候选框坐标参数均传入Rnet卷积神经网络，Rnet卷积神经网络在人脸候选框中进一步筛选，获得筛选后的候选框；
人脸校验步骤：将图片和筛选后的候选框坐标参数均传入Onet卷积神经网络，Onet卷积神经网络根据人脸关键点模板对筛选后的候选框一一校验匹配，修正筛选后的候选框的坐标参数，并将侧脸的角度做尺度不变的转正，获得检测完毕后的人脸所在位置的矩形框坐标；
人脸截图步骤：根据获得的矩形框坐标，对人脸区域进行截图，进行统一格式化处理保存，获得人脸区域截图。
具体地，所述人脸特征提取步骤包括：
网络模型获取步骤：搜集互联网上公开的、自建的人脸图片，对深度神经网络进行训练，获得能够对人脸进行特征提取的网络模型、网络模型参数；
人脸截图导入步骤：将获得的人脸区域截图传入网络模型；
特征数组获取步骤：输出网络模型根据人脸区域截图、网络参数，输出预设维度的特征数组；
特征数组存储步骤：将人员的身份对应的人脸区域截图和网络模型输出的预设维度的特征数组，保存到人脸信息数据库；
所述网络模型获取步骤包括：
人脸库照片获取步骤：获得统一格式化的人脸库照片，将人脸库照片和人脸标签一一对应，将人脸库分为训练集合和验证集合；
网络尺寸修改步骤：修改深度神经网络的输出尺寸；
准确度验证步骤：在深度神经网络输出层后添加三元组损失函数，所述三元组损失函数在深度神经网络训练过程中，在验证集合中验证准确度；
网络准确率获取步骤：将训练集合和验证集合均输入深度神经网络，将训练集合和验证集合分批次输入深度神经网络进行训练，每个批次训练完成后，获得训练后的深度神经网络、网络参数；
载入验证集合及三元组损失函数，对验证集合中的人脸进行特征提取并通过损失函数对验证集合中的人脸进行两两比对，获得深度神经网络的准确率；
判断准确率是否符合预设标准：
若是，则停止训练，输出训练后的深度神经网络；否则，则继续训练；
网络模型输出步骤：根据训练后的深度神经网络，获得网络模型、网络模型参数。
具体地，所述人脸识别步骤包括：
数据拉取步骤：从人脸信息数据库获取人脸特征数组及对应的人脸标签；
算法导入步骤：将获取的人脸特征数组及对应的人脸标签作为搜索池集合，将需要识别的人脸特征作为请求集合；
索引号获取步骤：根据搜索池集合、请求集合，获得匹配结果在搜索池中的索引号；
人脸标签获取步骤：根据索引号找到对应的人脸标签。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述任一项所述的人脸识别方法的步骤。
以下通过优选例，对本发明进行更为具体地说明。
实施例1：
如图1所示，一种人脸识别系统，包括：
人脸检测模块：该模块有三组具有独立功能的由卷积深度神经网络为主要构成组件的深度神经网络为核心，辅助一些图片修改的小工具组成。核心的三组深度神经网络由开源的Pnet,Rnet和Onet为组成。图片将依次进入三组网络，前一组网络的输出结果将作为后一组网络的输入。辅助小工具主要用户图像的获取和对已知的人脸区域截图的操作。
模块运行步骤如下，
步骤一，获得图片，小工具修正图片格式和大小
步骤二，将预处理好的图片传入Pnet,Pnet对图片中感兴趣区域画出人脸候选框
步骤三，将图片和候选框坐标参数同时传入Rnet。Rnet负责在候选框中做进一步筛选，定位出更精确的人脸候选框
步骤四，将图片和人脸候选框坐标参数同时传入Onet。Onet根据人脸关键点模板对人脸候选框一一校验匹配，修正人脸框的坐标，同时将侧脸的角度做尺度不变的转正。最后输出检测完毕后的人脸所在位置的矩形框坐标。
步骤五，小工具根据人脸坐标，对人脸区域截图，做统一格式化处理保存。
人脸特征提取模块：该模块是由一个23层的深度神经网络组成的，其主要构成为无参数卷积深度神经网络和全连接网络。如图2所示，根据网络初始设计的方案，根据卷积网络的尺寸和层数，预设将图片映射到128维的欧几里得空间，即128维特征数组。再通过大量人脸图像照片训练网络，让各层网络获得参数，导出网络结构和参数文件，成为可用的特征提取网络。
模块运行步骤如下，
步骤一，导入并加载网络结构和参数
步骤二，将人脸检测模块获得的人脸图片传入网络
步骤三，网络输出预设维度的特征数组
步骤四，将人员的身份对应的人脸图片和网络获得的特征数组保存到人脸信息数据库。
如图3所示，该发明的改进为修改了卷积网络的尺寸，将图片映射到512维的欧几里得空间，即将图片转换为512维数组。并重新搜集在互联网上公开和自建的人脸图片对网络进行训练，直至获得高准确率。实现步骤如下，
步骤一，获得并统一格式化人脸库照片，将图片和人脸标签一一对应，将人脸库分为训练集合和验证集合。(训练集合和验证集合比例为8：2)
步骤二，修改网络尺寸(修改卷积网络的输出尺寸，以便适应全连接层输入512个节点。)
步骤三，在网络输出层后添加三元组损失函数，用于在训练过程中在验证集合中验证准确度
步骤四，将训练集合和验证集合同时输入网络。训练网络将分批输入网路，每个批次完成后，网络将带着已经获得的网络参数。这时将载入验证集合和网络将载入三元组损失函数，对集合中的人脸进行特征提取并通过损失函数对验证集合中的人脸进行两两比对，获得网络的准确率。
步骤五，当准确率长时间稳定后，即可停止训练。
步骤六，导出网络模型(附带网络参数)，此时即获得可以对人脸进行准确512维度特征提取的深度网络。
修改后的模块运行步骤同上
人脸识别模块：
如图2所示，原方案，使用SVM支持向量机算法。将已获得的人脸库中的512维度特征和人脸标签预先映射到欧几里得空间并打包为缓存文件。把需要识别的人脸高维度特征通过SVM支持向量机算法在缓存文件中进行欧式距离比对。将人脸库中的特征数组和需要识别的人脸特征数组的欧氏距离最近的那一个的人脸标签作为识别结果输出。本方案的缺陷在于需要对人脸库额外做缓存文件打包，当人脸库需要添加新的人脸时，则需要对之前的人脸库和新的人脸库重新打包。当人脸库增大时，则会需要多个人脸库缓存文件，同时进行识别，每个库的识别结果重新打包再识别,得出的识别结果才为最终识别结果。
本系统才用flann算法包中的k-means算法。该算法将人脸库中的维度数据加载到多叉树结构中，通过树结构递归用k-means算法核算找到人脸库中和需要对比的人脸欧氏距离最近的结果。
步骤1，从数据库直接拉取所有人脸特征数组和对应的人脸标签
步骤2，将拉取的数据作为搜索池集合导入算法，将需要识别的人脸特征作为请求集合导入算法
步骤3，运行算法，输出最佳结果在搜索池中的索引号
步骤4，根据索引号找到对应的人脸标签
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种人脸识别系统，其特征在于，包括：
人脸检测模块：获取图片，通过卷积神经网络对图片进行人脸检测，获得人脸区域截图；
人脸特征提取模块：根据获得的人脸区域截图，进行人脸特征提取，获得人脸特征数组；
人脸识别模块：根据获得的人脸特征数组，进行人脸识别，获得人脸识别结果。
2.根据权利要求1所述的人脸识别系统，其特征在于，所述卷积神经网络包括：三组卷积神经网络、图片修改工具；
所述特征提取模块，修改深度神经网络的输出尺寸，对图片进行卷积和池化，将图片映射到512维的欧几里得空间，将图片从128维数组转换为512维数组；
所述人脸识别模块，采用flann算法包中的k-means算法，利用k-means算法将人脸信息数据库中的维度数据加载到多叉树结构中，通过树结构递归用k-means算法核算找到人脸信息数据库中和需要对比的人脸欧氏距离最近的结果，获得人脸识别结果；
所述三组卷积神经网络包括：Pnet卷积神经网络、Rnet卷积神经网络、Onet卷积神经网络；
在所述人脸特征提取模块中：利用深度神经网络对获得的人脸区域截图进行人脸特征提取，获得人脸特征数组；
所述深度神经网络包括：无参数卷积深度神经网络、全连接网络。
3.根据权利要求2所述的人脸识别系统，其特征在于，所述人脸检测模块包括：
图像获取模块：获得图片，修正图片格式和大小，得到预处理好的图片；
候选框获取模块：将所述预处理好的图片传入Pnet卷积神经网络，Pnet卷积神经网络生成人脸候选框；
候选框精确模块：将图片和人脸候选框坐标参数均传入Rnet卷积神经网络，Rnet卷积神经网络在人脸候选框中进一步筛选，获得筛选后的候选框；
人脸校验模块：将图片和筛选后的候选框坐标参数均传入Onet卷积神经网络，Onet卷积神经网络根据人脸关键点模板对筛选后的候选框一一校验匹配，修正筛选后的候选框的坐标参数，并将侧脸的角度做尺度不变的转正，获得检测完毕后的人脸所在位置的矩形框坐标；
人脸截图模块：根据获得的矩形框坐标，对人脸区域进行截图，进行统一格式化处理保存，获得人脸区域截图。
4.根据权利要求2所述的人脸识别系统，其特征在于，所述人脸特征提取模块包括：
网络模型获取模块：搜集互联网上公开的、自建的人脸图片，对深度神经网络进行训练，获得能够对人脸进行特征提取的网络模型、网络模型参数；
人脸截图导入模块：将获得的人脸区域截图传入网络模型；
特征数组获取模块：输出网络模型根据人脸区域截图、网络参数，输出预设维度的特征数组；
特征数组存储模块：将人员的身份对应的人脸区域截图和网络模型输出的预设维度的特征数组，保存到人脸信息数据库；
所述网络模型获取模块包括：
人脸库照片获取模块：获得统一格式化的人脸库照片，将人脸库照片和人脸标签一一对应，将人脸库分为训练集合和验证集合；
网络尺寸修改模块：修改深度神经网络的输出尺寸；
准确度验证模块：在深度神经网络输出层后添加三元组损失函数，所述三元组损失函数在深度神经网络训练过程中，在验证集合中验证准确度；
网络准确率获取模块：将训练集合和验证集合均输入深度神经网络，将训练集合和验证集合分批次输入深度神经网络进行训练，每个批次训练完成后，获得训练后的深度神经网络、网络参数；
载入验证集合及三元组损失函数，对验证集合中的人脸进行特征提取并通过损失函数对验证集合中的人脸进行两两比对，获得深度神经网络的准确率；
判断准确率是否符合预设标准：
若是，则停止训练，输出训练后的深度神经网络；否则，则继续训练；
网络模型输出模块：根据训练后的深度神经网络，获得网络模型、网络模型参数。
5.根据权利要求4所述的人脸识别系统，其特征在于，所述人脸识别模块包括：
数据拉取模块：从人脸信息数据库获取人脸特征数组及对应的人脸标签；
算法导入模块：将获取的人脸特征数组及对应的人脸标签作为搜索池集合，将需要识别的人脸特征作为请求集合；
索引号获取模块：根据搜索池集合、请求集合，获得匹配结果在搜索池中的索引号；
人脸标签获取模块：根据索引号找到对应的人脸标签。
6.一种人脸识别方法，其特征在于，包括：
人脸检测步骤：获取图片，通过卷积神经网络对图片进行人脸检测，获得人脸区域截图；
人脸特征提取步骤：根据获得的人脸区域截图，进行人脸特征提取，获得人脸特征数组；
人脸识别步骤：根据获得的人脸特征数组，进行人脸识别，获得人脸识别结果。
7.根据权利要求6所述的人脸识别方法，其特征在于，所述卷积神经网络包括：三组卷积神经网络、图片修改工具；
所述三组卷积神经网络包括：Pnet卷积神经网络、Rnet卷积神经网络、Onet卷积神经网络；
在所述人脸特征提取步骤中：利用深度神经网络对获得的人脸区域截图进行人脸特征提取，获得人脸特征数组；
所述深度神经网络包括：无参数卷积深度神经网络、全连接网络。
所述人脸检测步骤包括：
图像获取步骤：获得图片，修正图片格式和大小，得到预处理好的图片；
候选框获取步骤：将所述预处理好的图片传入Pnet卷积神经网络，Pnet卷积神经网络生成人脸候选框；
候选框精确步骤：将图片和人脸候选框坐标参数均传入Rnet卷积神经网络，Rnet卷积神经网络在人脸候选框中进一步筛选，获得筛选后的候选框；
人脸校验步骤：将图片和筛选后的候选框坐标参数均传入Onet卷积神经网络，Onet卷积神经网络根据人脸关键点模板对筛选后的候选框一一校验匹配，修正筛选后的候选框的坐标参数，并将侧脸的角度做尺度不变的转正，获得检测完毕后的人脸所在位置的矩形框坐标；
人脸截图步骤：根据获得的矩形框坐标，对人脸区域进行截图，进行统一格式化处理保存，获得人脸区域截图。
8.根据权利要求7所述的人脸识别方法，其特征在于，所述人脸特征提取步骤包括：
网络模型获取步骤：搜集互联网上公开的、自建的人脸图片，对深度神经网络进行训练，获得能够对人脸进行特征提取的网络模型、网络模型参数；
人脸截图导入步骤：将获得的人脸区域截图传入网络模型；
特征数组获取步骤：输出网络模型根据人脸区域截图、网络参数，输出预设维度的特征数组；
特征数组存储步骤：将人员的身份对应的人脸区域截图和网络模型输出的预设维度的特征数组，保存到人脸信息数据库；
所述网络模型获取步骤包括：
人脸库照片获取步骤：获得统一格式化的人脸库照片，将人脸库照片和人脸标签一一对应，将人脸库分为训练集合和验证集合；
网络尺寸修改步骤：修改深度神经网络的输出尺寸；
准确度验证步骤：在深度神经网络输出层后添加三元组损失函数，所述三元组损失函数在深度神经网络训练过程中，在验证集合中验证准确度；
网络准确率获取步骤：将训练集合和验证集合均输入深度神经网络，将训练集合和验证集合分批次输入深度神经网络进行训练，每个批次训练完成后，获得训练后的深度神经网络、网络参数；
载入验证集合及三元组损失函数，对验证集合中的人脸进行特征提取并通过损失函数对验证集合中的人脸进行两两比对，获得深度神经网络的准确率；
判断准确率是否符合预设标准：
若是，则停止训练，输出训练后的深度神经网络；否则，则继续训练；
网络模型输出步骤：根据训练后的深度神经网络，获得网络模型、网络模型参数。
9.根据权利要求8所述的人脸识别方法，其特征在于，所述人脸识别步骤包括：
数据拉取步骤：从人脸信息数据库获取人脸特征数组及对应的人脸标签；
算法导入步骤：将获取的人脸特征数组及对应的人脸标签作为搜索池集合，将需要识别的人脸特征作为请求集合；
索引号获取步骤：根据搜索池集合、请求集合，获得匹配结果在搜索池中的索引号；
人脸标签获取步骤：根据索引号找到对应的人脸标签。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求6至9中任一项所述的人脸识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811064609.XA CN109344740A (zh) | 2018-09-12 | 2018-09-12 | 人脸识别系统、方法及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811064609.XA CN109344740A (zh) | 2018-09-12 | 2018-09-12 | 人脸识别系统、方法及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109344740A true CN109344740A (zh) | 2019-02-15 |
Family
ID=65305031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811064609.XA Pending CN109344740A (zh) | 2018-09-12 | 2018-09-12 | 人脸识别系统、方法及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109344740A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109902665A (zh) * | 2019-03-28 | 2019-06-18 | 北京达佳互联信息技术有限公司 | 相似人脸检索方法、装置及存储介质 |
| CN109977803A (zh) * | 2019-03-07 | 2019-07-05 | 北京超维度计算科技有限公司 | 一种基于Kmeans监督学习的人脸识别方法 |
| CN110046870A (zh) * | 2019-04-16 | 2019-07-23 | 中山大学 | 一种基于地理位置和人脸特征的签到方法及系统 |
| CN110276320A (zh) * | 2019-06-26 | 2019-09-24 | 杭州创匠信息科技有限公司 | 基于人脸识别的门禁方法、装置、设备和存储介质 |
| CN110489951A (zh) * | 2019-07-08 | 2019-11-22 | 招联消费金融有限公司 | 风险识别的方法、装置、计算机设备和存储介质 |
| CN110598535A (zh) * | 2019-07-31 | 2019-12-20 | 广西大学 | 一种监控视频数据中使用的人脸识别分析方法 |
| CN111325328A (zh) * | 2020-03-06 | 2020-06-23 | 上海商汤临港智能科技有限公司 | 神经网络的生成方法、数据处理方法及装置 |
| CN111428224A (zh) * | 2020-04-02 | 2020-07-17 | 苏州杰锐思智能科技股份有限公司 | 基于人脸识别的电脑账户登录的方法 |
| CN112149638A (zh) * | 2020-10-23 | 2020-12-29 | 贵州电网有限责任公司 | 基于多模态生物特征的人员身份识别系统构建及使用方法 |
| CN113822927A (zh) * | 2021-09-22 | 2021-12-21 | 易联众智鼎(厦门)科技有限公司 | 一种适用弱质量图像的人脸检测方法、装置、介质及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678504A (zh) * | 2013-11-19 | 2014-03-26 | 西安华海盈泰医疗信息技术有限公司 | 基于相似度的乳腺图像的匹配图像检索方法及检索系统 |
| CN104239898A (zh) * | 2014-09-05 | 2014-12-24 | 浙江捷尚视觉科技股份有限公司 | 一种快速卡口车辆比对和车型识别方法 |
| CN106874868A (zh) * | 2017-02-14 | 2017-06-20 | 北京飞搜科技有限公司 | 一种基于三级卷积神经网络的人脸检测方法及系统 |
| CN107423690A (zh) * | 2017-06-26 | 2017-12-01 | 广东工业大学 | 一种人脸识别方法及装置 |
| CN108009528A (zh) * | 2017-12-26 | 2018-05-08 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
-
2018
- 2018-09-12 CN CN201811064609.XA patent/CN109344740A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678504A (zh) * | 2013-11-19 | 2014-03-26 | 西安华海盈泰医疗信息技术有限公司 | 基于相似度的乳腺图像的匹配图像检索方法及检索系统 |
| CN104239898A (zh) * | 2014-09-05 | 2014-12-24 | 浙江捷尚视觉科技股份有限公司 | 一种快速卡口车辆比对和车型识别方法 |
| CN106874868A (zh) * | 2017-02-14 | 2017-06-20 | 北京飞搜科技有限公司 | 一种基于三级卷积神经网络的人脸检测方法及系统 |
| CN107423690A (zh) * | 2017-06-26 | 2017-12-01 | 广东工业大学 | 一种人脸识别方法及装置 |
| CN108009528A (zh) * | 2017-12-26 | 2018-05-08 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| FLORIAN SCHROFF ET AL: "FaceNet: A Unified Embedding for Face Recognition and Clustering", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 任梓涵等: "基于视觉跟踪的实时视频人脸识别", 《厦门大学学报（自然科学版）》 * |
| 刘逸飞: "人脸识别中面部特征提取与匹配算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 钱程: "基于深度学习的人脸识别技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977803A (zh) * | 2019-03-07 | 2019-07-05 | 北京超维度计算科技有限公司 | 一种基于Kmeans监督学习的人脸识别方法 |
| US11294953B2 (en) | 2019-03-28 | 2022-04-05 | Beijing Dajia Internet Information Technology Co., Ltd. | Similar face retrieval method, device and storage medium |
| CN109902665A (zh) * | 2019-03-28 | 2019-06-18 | 北京达佳互联信息技术有限公司 | 相似人脸检索方法、装置及存储介质 |
| CN110046870A (zh) * | 2019-04-16 | 2019-07-23 | 中山大学 | 一种基于地理位置和人脸特征的签到方法及系统 |
| CN110046870B (zh) * | 2019-04-16 | 2023-10-20 | 中山大学 | 一种基于地理位置和人脸特征的签到方法及系统 |
| CN110276320A (zh) * | 2019-06-26 | 2019-09-24 | 杭州创匠信息科技有限公司 | 基于人脸识别的门禁方法、装置、设备和存储介质 |
| CN110489951A (zh) * | 2019-07-08 | 2019-11-22 | 招联消费金融有限公司 | 风险识别的方法、装置、计算机设备和存储介质 |
| CN110489951B (zh) * | 2019-07-08 | 2021-06-11 | 招联消费金融有限公司 | 风险识别的方法、装置、计算机设备和存储介质 |
| US11263435B2 (en) | 2019-07-31 | 2022-03-01 | Guangxi University | Method for recognizing face from monitoring video data |
| CN110598535A (zh) * | 2019-07-31 | 2019-12-20 | 广西大学 | 一种监控视频数据中使用的人脸识别分析方法 |
| CN111325328A (zh) * | 2020-03-06 | 2020-06-23 | 上海商汤临港智能科技有限公司 | 神经网络的生成方法、数据处理方法及装置 |
| CN111325328B (zh) * | 2020-03-06 | 2023-10-24 | 上海商汤临港智能科技有限公司 | 神经网络的生成方法、数据处理方法及装置 |
| CN111428224A (zh) * | 2020-04-02 | 2020-07-17 | 苏州杰锐思智能科技股份有限公司 | 基于人脸识别的电脑账户登录的方法 |
| CN111428224B (zh) * | 2020-04-02 | 2023-10-13 | 苏州杰锐思智能科技股份有限公司 | 基于人脸识别的电脑账户登录的方法 |
| CN112149638A (zh) * | 2020-10-23 | 2020-12-29 | 贵州电网有限责任公司 | 基于多模态生物特征的人员身份识别系统构建及使用方法 |
| CN112149638B (zh) * | 2020-10-23 | 2022-07-01 | 贵州电网有限责任公司 | 基于多模态生物特征的人员身份识别系统构建及使用方法 |
| CN113822927A (zh) * | 2021-09-22 | 2021-12-21 | 易联众智鼎(厦门)科技有限公司 | 一种适用弱质量图像的人脸检测方法、装置、介质及设备 |
| CN113822927B (zh) * | 2021-09-22 | 2024-01-23 | 易联众智鼎(厦门)科技有限公司 | 一种适用弱质量图像的人脸检测方法、装置、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344740A (zh) | 人脸识别系统、方法及计算机可读存储介质 | |
| WO2021073417A1 (zh) | 表情生成方法、装置、设备及存储介质 | |
| CN110147726B (zh) | 业务质检方法和装置、存储介质及电子装置 | |
| CN112801146B (zh) | 一种目标检测方法及系统 | |
| CN106326288A (zh) | 图像搜索方法及装置 | |
| WO2020164278A1 (zh) | 一种图像处理方法、装置、电子设备和可读存储介质 | |
| WO2017088537A1 (zh) | 一种元件分类方法及装置 | |
| CN110378343A (zh) | 一种财务报销数据处理方法、装置及系统 | |
| CN105139041A (zh) | 基于图像的语种识别方法及装置 | |
| CN110119353B (zh) | 测试数据生成方法、装置以及控制器和介质 | |
| CN105022984A (zh) | 指纹采集方法、指纹比对方法、指纹识别装置和系统 | |
| CN105117740A (zh) | 字体识别方法及装置 | |
| CN109726725A (zh) | 一种基于大间隔类间互异性多核学习的油画作者识别方法 | |
| CN109886110A (zh) | 微表情评分方法、装置、计算机设备及存储介质 | |
| CN111160387B (zh) | 一种基于多视角字典学习的图模型 | |
| CN106778714A (zh) | 基于非线性特征和模型合并的lda人脸识别方法 | |
| CN113095158A (zh) | 一种基于对抗生成网络的笔迹生成方法及装置 | |
| CN113869398B (zh) | 一种不平衡文本分类方法、装置、设备及存储介质 | |
| JP2021533493A (ja) | 指静脈照合方法、装置、コンピュータ機器、及び記憶媒体 | |
| CN112882899B (zh) | 一种日志异常检测方法及装置 | |
| CN112560925A (zh) | 一种复杂场景目标检测数据集构建方法及系统 | |
| CN111061779A (zh) | 一种基于大数据平台的数据处理方法及装置 | |
| CN105718914A (zh) | 一种人脸编码及识别方法 | |
| CN115795394A (zh) | 层级多模态和高级增量学习的生物特征融合身份识别方法 | |
| CN115713669A (zh) | 一种基于类间关系的图像分类方法、装置、存储介质及终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190215 |