CN115311705A - 一种基于深度学习的人脸云识别系统 - Google Patents

一种基于深度学习的人脸云识别系统 Download PDF

Info

Publication number
CN115311705A
CN115311705A CN202210796587.6A CN202210796587A CN115311705A CN 115311705 A CN115311705 A CN 115311705A CN 202210796587 A CN202210796587 A CN 202210796587A CN 115311705 A CN115311705 A CN 115311705A
Authority
CN
China
Prior art keywords
face
image
face feature
face image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210796587.6A
Other languages
English (en)
Other versions
CN115311705B (zh
Inventor
吴晓华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202210796587.6A priority Critical patent/CN115311705B/zh
Publication of CN115311705A publication Critical patent/CN115311705A/zh
Application granted granted Critical
Publication of CN115311705B publication Critical patent/CN115311705B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的人脸云识别系统，包括：人脸图像采集模块：用于通过网络摄像头拍摄视频流，并在所述视频流中定位目标人脸，获取第一人脸图像；图像处理模块：用于对所述人脸图像通过图像旋转、滤波和校正进行图像预处理，获得第二人脸图像；人脸云识别模块：用于基于卷积神经网络，构建人脸特征提取模型，并通过人脸特征提取模型提取所述第二人脸图像的人脸特征向量，与预设的人脸数据库中的人脸图像的人脸特征向量进行对比，获得对比结果，本发明通过在视频流中选择最佳人脸图像，进而一次性获得标准的人脸图像、并提高提取人脸特征数据速度，快速进行人脸云识别。

Description

一种基于深度学习的人脸云识别系统
技术领域
本发明涉及人脸识别技术领域，特别涉及一种基于深度学习的人脸云识别系统。
背景技术
目前，人脸识别技术已经相对成熟，同时在银行、超市及各大商场进行推广应用，相对于传统的人脸识别方法，基于深度学习的人脸识别方法的准确率更高，通过深度卷积神经网络构建深度学习框架，完成人脸识别，如专利CN201711338400-基于深度学习的人脸识别系统及方法中通过深度学习训练模块得到卷积神经网络模型，通过卷积神经网络模型进行人脸识别的特征进行提取和识别，相对与传统的人脸识别方法，这种方法提高了人脸识别的准确率，但是在对人脸图像进行进行采集，容易采集到模糊的人脸图像，对于这种人脸图像不能提取人脸特征，需要进行多次拍摄才能获得标准的人脸图像，在深度学习训练模块中也没有提高提取人脸特征数据速度的方法，因此，在进行人脸识别的时候，一次性获得标准的人脸图像、提高提取人脸特征数据速度、进一步提高人脸识别准确率，是我们需要探究的方向。
发明内容
本发明提供一种基于深度学习的人脸云识别系统，用以解决不能一次性获得标准的人脸图像、提取人脸特征数据速度慢、人脸识别准确率低的问题。
一种基于深度学习的人脸云识别系统，包括：
人脸图像采集模块：用于通过网络摄像头拍摄视频流，并在所述视频流中定位目标人脸，获取第一人脸图像；
图像处理模块：用于对所述人脸图像通过图像旋转、滤波和校正进行图像预处理，获得第二人脸图像；
人脸云识别模块：用于基于卷积神经网络，构建人脸特征提取模型，并通过人脸特征提取模型提取所述第二人脸图像的人脸特征向量，与预设的人脸数据库中的人脸图像的人脸特征向量进行对比，获得对比结果。
作为本发明的一种实施例：所述人脸图像采集模块，包括：
视频流拍摄单元：用于当所述网络摄像头识别到人脸时，主控端控制所述网络摄像头的云台进行角度调整，并拍摄目标人脸，生成视频流；
视频流上传单元：用于在所述网络摄像头中预设网络传输端口，将所述视频流从所述网络传输端口上传到主控端；
人脸确定单元：用于通过ASM人脸定位技术，对所述视频流中的视频图像进行筛选，定位最佳角度拍摄的人脸图像，标记为第一人脸图像。
作为本发明的一种实施例：所述人脸确定单元的具体执行步骤如下：
步骤一：通过预设的训练样本，对人脸模型进行训练，并对人脸模型上的特征点进行标记，并对每个特征点构建局部特征，将所述特征点的坐标串成特征向量；
步骤二：对所述视频流进行停帧识别，获取视频图像中的人脸特征向量和局部特征，并剔除人脸特征向量不全的视频图像，其中所述人脸特征包括：眼睛、鼻子、嘴巴、眉毛，所述局部特征包括：眼睛的轮廓、嘴巴的轮廓、鼻子的轮廓、眉毛的形状；
步骤三：将剔除后的视频图像的人脸特征向量和局部特征与人脸模型中的人脸特征向量和局部特征进行匹配，确定人脸图像。
作为本发明的一种实施例：所述图像处理模块，包括：
图像旋转单元：用于将所述第一人脸图像放在笛卡尔坐标中，进行图像旋转，获得旋转矩阵；
图像滤波处理单元：用于通过高斯差分滤波技术获得所述旋转矩阵中的第一人脸图像，并确定所述第一人脸图像的人脸边缘值，将所述人脸边缘值作为稳定点，进行精细化人脸拟合，生成稳定图像；
图像校正单元：用于通过仿射变换伽马校正检测出所述稳定图像的深色区域和浅色区域，并通过调节伽玛曲线，增大两个区域色调比例，获得第二人脸图像。
作为本发明的一种实施例：所述人脸云识别模块，包括：
人脸数据库：包括永久数据库和暂存数据库，所述永久数据库用于存储系统采集的人脸图像，所述暂存数据库用于暂存IC卡的人脸图像，当IC识别端口识别出IC卡后，将所述IC卡中的人脸图像暂存至暂存数据库；
深度学习单元：用于将所述永久数据库的人脸图像作为训练数据集，并清除身份重复的人脸图像，对清除后的人脸图像通过卷积神经网络模型提取人脸特征数据，训练并构建人脸特征提取模型；
对比识别单元：用于将所述第二人脸图像的人脸特征数据与人脸数据库的人脸特征数据进行对比，获得对比结果。
作为本发明的一种实施例：所述深度学习单元，包括：
数据训练子单元：用于将永久数据库的人脸图像作为训练数据集，通过卷积神经网络模型中卷积层、池化层、全连接层进行人脸特征向量提取，获得训练数据结果；
参数调节子单元：用于根据所述训练数据结果，确定训练参数，并通过调节学习策略，进行新一轮网络训练，当所述训练参数达到预设的训练参数时，确定人脸特征提取模型；其中，所述训练参数包括：学习率参数、迭代参数。
作为本发明的一种实施例：所述卷积神经网络模型，包括：
卷积层：用于对永久数据库的人脸图像进行卷积核移动训练，并与移动位置所在区域的像素值进行相乘并累加，获取人脸特征图；
池化层：用于根据预设的区域划分机制对所述人脸特征图进行区域划分，并根据池化规则计算每个区域的人脸特征图的池化值，并生成二维人脸特征图；
全连接层：用于将所述二维人脸特征图转换成一维的人脸特征向量。
作为本发明的一种实施例：所述对比识别单元，包括：
人脸图像特征提取子单元：用于根据所述人脸特征提取模型提取所述第二人脸图像的一维人脸特征向量；
人脸数据库特征提取子单元：用于根据所述人脸特征提取模型提取人脸数据库的人脸图像一维人脸特征向量；
特征对比单元：用于将所述第二人脸图像一维人脸特征向量与所述人脸数据库的人脸图像一维人脸特征向量进行对比，获得对比结果。
作为本发明的一种实施例：所述深度学习单元，还包括：
迁移学习子单元：用于采集不同人种的人脸图像，并作为训练数据集，通过二次训练卷积神经网络模型，提取对应的人脸特征数据；
特征提取加速子单元：用于在训练卷积神经网络模型，对人脸特征数据进行提取时，通过FFT技术加速人脸特征数据的提取。
作为本发明的一种实施例：所述池化层，包括：
均值池化：用于对所述人脸特征图进行区域划分，并计算每个区域的均值池化值；
最大值池化：用于对所述人脸特征图进行区域划分，并计算每个区域的最大池化值；
随机值池化：用于对所述人脸特征图进行区域划分，随机获取每个区域的池化值。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于深度学习的人脸云识别系统的示意图；
图2为本发明实施例中一种基于深度学习的人脸云识别系统的人脸确定单元步骤流程图；
图3为本发明实施例中一种基于深度学习的人脸云识别系统的图像处理模块示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
需说明的是，当部件被称为“固定于”或“设置于”另一个部件，它可以直接在另一个部件上或者间接在该另一个部件上。当一个部件被称为是“连接于”另一个部件，它可以是直接或者间接连接至该另一个部件上。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，“多个”的含义是两个或两个以上，除非另有明确具体的限定。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
实施例1：
本发明实施例提供了一种基于深度学习的人脸云识别系统，其特征在于，包括：
人脸图像采集模块：用于通过网络摄像头拍摄视频流，并在所述视频流中定位目标人脸，获取第一人脸图像；
图像处理模块：用于对所述人脸图像通过图像旋转、滤波和校正进行图像预处理，获得第二人脸图像；
人脸云识别模块：用于基于卷积神经网络，构建人脸特征提取模型，并通过人脸特征提取模型提取所述第二人脸图像的人脸特征向量，与预设的人脸数据库中的人脸图像的人脸特征向量进行对比，获得对比结果。
在一个实际的场景中：在人脸识别系统中，对人脸图像进行采集，容易采集到模糊的人脸图像，对于这种人脸图像不能提取人脸特征，需要进行多次拍摄才能获得标准的人脸图像，在深度学习训练模块中也没有提高提取人脸特征数据速度的方法，导致人脸识别过程慢。
本发明在进行实施的时候，通过网络摄像头拍摄视频流，在网络摄像头上对视频流进行网络传输技术的编码，将视频流上传到主控端，并对视频流的众多视频图像中，进行停帧识别，获得最佳角度、并且拍摄效果最好的人脸图像，并将所述人脸图像发送到图像处理模块，对所述人脸图像通过图像旋转、滤波和校正将人脸图像进行调整，并在人脸云识别模块中，通过构建好的人脸特征提取模型对人脸图像进行人脸特征数据的提取，并从系统的人脸数据库中调出人脸图像对应的目标人物的图像，对人脸数据库的图像通过人脸特征提取模型对图像进行人脸特征数据的提取，并通过FFT技术加速人脸特征数据的提取，将两组人脸特征数据进行对比，获取对比结果，进而获得匹配结果。
上述技术方案的有益效果为：在网络摄像头上对视频流进行网络传输技术的编码，拍摄的视频流可以不用于直接连接到主控端，直接通过网络传输端口将视频流传送到主控端，并且通过人脸图像采集模块的ASM人脸定位技术，在视频流中选取拍摄角度最佳、最清晰的人脸图像作为之后提取人脸特征数据的图像，人脸云识别模块中通过FFT技术加速人脸特征数据的提取，提高了人脸特征技术的提取速度。
实施例2：
在一个实施例中，所述人脸图像采集模块，包括：
视频流拍摄单元：用于当所述网络摄像头识别到人脸时，主控端控制所述网络摄像头的云台进行角度调整，并拍摄目标人脸，生成视频流；
视频流上传单元：用于在所述网络摄像头中预设网络传输端口，将所述视频流从所述网络传输端口上传到主控端；
人脸确定单元：用于通过ASM人脸定位技术，对所述视频流中的视频图像进行筛选，定位最佳角度拍摄的人脸图像，标记为第一人脸图像。
在一个实际的场景中：通过传统的摄像头对目标人脸进行拍摄，获得人脸图像，虽然可以快速获得人脸图像，但是拍摄的人脸图像质量时好时坏，可能拍摄的人脸图像不合格需要重新拍摄。
本发明在进行实施的时候，通过网络摄像头识别出人脸后，根据人脸的位置通过主控端控制网络摄像头的云台进行多角度拍摄，对人脸拍摄3秒中的视频，将拍摄的视频流传送到网络摄像头中网络传输端口，经网络传输端口上传到主控端通过ASM人脸定位技术，在3秒的视频流中删选出清晰度比较高，人脸特征全的人脸图像。
上述技术方案的有益效果为：本发明中，人脸的位置通过主控端控制网络摄像头的云台进行多角度拍摄，可以拍摄到更全的人脸特征，在视频流中通过ASM人脸定位技术选取最拍摄角度最佳，光线最好、人脸特征最全的图像作为人脸图像，可以减少之后的图像处理模块的工作量。
实施例3：
在一个实施例中，所述人脸确定单元的具体执行步骤如下：
步骤一：通过预设的训练样本，对人脸模型进行训练，并对人脸模型上的特征点进行标记，并对每个特征点构建局部特征，将所述特征点的坐标串成特征向量；
步骤二：对所述视频流进行停帧识别，获取视频图像中的人脸特征向量和局部特征，并剔除人脸特征向量不全的视频图像，其中所述人脸特征包括：眼睛、鼻子、嘴巴、眉毛，所述局部特征包括：眼睛的轮廓、嘴巴的轮廓、鼻子的轮廓、眉毛的形状；
步骤三：将剔除后的视频图像的人脸特征向量和局部特征与人脸模型中的人脸特征向量和局部特征进行匹配，确定人脸图像。
本发明在进行实施的时候，ASM人脸定位技术需要通过训练集训练样本，才能在实际应用中最快确定视频流中的视频图像，在训练时，对人脸模型的特征点进行标记，特征点包括：眼睛、鼻子、嘴巴、眉毛，并对每个特征点构建局部特征，例如，眼睛的轮廓、嘴巴的轮廓、鼻子的轮廓、眉毛的形状，并且将特征点进行串联，在坐标中串成特征向量，进行通过不同的训练集进行训练，训练好后，对视频流进行停帧识别，对每一帧的视频图像进行特征点识别和获取，剔除人脸特征向量不全的视频图像，在其余的视频图像中获取光线最好，清晰度高的视频图像作为人脸图像。
上述技术方案的有益效果为：本发明中，通过ASM人脸定位技术对视频流进行停帧识别，选取光线最好，清晰度高的视频图像作为人脸图像，不仅可以一次获的人脸图像，在之后的图像处理环节，对人脸图像的处理也可以减少一些步骤和流程。
实施例4：
在一个实施例中，所述图像处理模块，包括：
图像旋转单元：用于将所述第一人脸图像放在笛卡尔坐标中，进行图像旋转，获得旋转矩阵；
图像滤波处理单元：用于通过高斯差分滤波技术获得所述旋转矩阵中的第一人脸图像，并确定所述第一人脸图像的人脸边缘值，将所述人脸边缘值作为稳定点，进行精细化人脸拟合，生成稳定图像；
图像校正单元：用于通过仿射变换伽马校正检测出所述稳定图像的深色区域和浅色区域，并通过调节伽玛曲线，增大两个区域色调比例，获得第二人脸图像。
本发明在进行实施的时候，在图像处理模块，首先将人脸图像放在笛卡尔坐标中，进行图像旋转，获得旋转矩阵，在将人脸图像进行翻转的过程中，将人脸对齐，在图像滤波处理单元中，通过高斯差分滤波技术获得人脸图像旋转一定角度后的图像位置，并将图像位置的极大值点和极小值点作为稳定点，进行精细化人脸拟合，生成稳定图像，在图像校正单元中，通过仿射变换伽马校正检测出稳定图像的深色区域和浅色区域，并通过调节伽玛曲线，将深色区域和浅色区域的比例增大，获得第二人脸图像。
上述技术方案的有益效果为：本发明中，通过图像旋转单元，在将人脸图像进行翻转的过程中，将人脸旋转到一定的角度，将人脸对齐，达到摆正人脸位置的目的，在图像滤波处理单元中，将人脸图像进行图像稳定处理，并在图像校正单元中，增大两个区域色调比例，获得对比效果图像，对比效果图像更利于对人脸特征数据的提取。
在一个具体的实施例中，在图像滤波处理单元中，通过高斯差分滤波技术获得所述旋转矩阵中的图像位置，并确定所述图像位置的极值，将所述极值作为稳定点，进行精细化人脸拟合，生成稳定图像；
步骤一：确定旋转矩阵中的图像位置：
Figure BDA0003732372910000111
其中，M(X,Y)表示人脸图像在旋转矩阵中的位置坐标，X表示人脸图像在旋转矩阵中的X坐标值，Y表示人脸图像在旋转矩阵中的Y坐标值，D表示人脸像素值T，表示人脸图像滤波值；
步骤二：确定图像位置的极值：
Figure BDA0003732372910000112
其中，Gmax表示图像位置的最大值，Gmin表示图像位置的最小值，X0表示尺度空间中X轴的起始点，Y0表示尺度空间中Y轴的起始点；
本技术方案的工作原理：本发明中，在图像滤波处理单元中，通过高斯差分滤波技术获得所述旋转矩阵中的图像位置，并确定所述图像位置的最大值和最小值，将所述最大值和最小值作为稳定点，进行精细化人脸拟合，生成稳定图像。
上述技术方案的有益效果为：本发明中，通过在图像滤波处理单元中，高斯差分滤波技术获得所述旋转矩阵中的图像位置，并确定所述图像位置的最大值和最小值，将所述最大值和最小值作为稳定点，进行精细化人脸拟合，生成稳定图像，防止人脸图像在图像校正单元变换模糊。
实施例5：
在一个实施例中，所述人脸云识别模块，包括：
人脸数据库：包括永久数据库和暂存数据库，所述永久数据库用于存储系统采集的人脸图像，所述暂存数据库用于暂存IC卡的人脸图像，当IC识别端口识别出IC卡后，将所述IC卡中的人脸图像暂存至暂存数据库；
深度学习单元：用于将所述永久数据库的人脸图像作为训练数据集，并清除身份重复的人脸图像，对清除后的人脸图像通过卷积神经网络模型提取人脸特征数据，训练并构建人脸特征提取模型；
对比识别单元：用于将所述第二人脸图像的人脸特征数据与人脸数据库的人脸特征数据进行对比，获得对比结果。
人脸数据库：包括永久数据库和暂存数据库，所述永久数据库用于存储系统采集的人脸图像，所述暂存数据库用于暂存IC卡的人脸图像，当IC识别端口识别出IC卡后，将所述IC卡中的人脸图像暂存至暂存数据库；
深度学习单元：用于将所述永久数据库的人脸图像作为训练数据集，并清除身份重复的人脸图像，对清除后的人脸图像通过卷积神经网络模型提取人脸特征数据，训练并构建人脸特征提取模型；
对比识别单元：用于将所述第二人脸图像的人脸特征数据与人脸数据库的人脸特征数据进行对比，获得对比结果。
本发明在进行实施的时候，在人脸数据库中，包括永久数据库和暂存数据库，永久数据库中存储的人脸图像时已经在系统中注册等级的人脸图像，这些图像只有在用户注销账户时，人脸图像随之删除，在暂存数据库中，存储着通过IC识别端口获得的IC卡上的人脸图像，这些人脸图像存储在暂存数据库，通过人脸识别通过后，将暂存数据库的人脸图像进行周期性删除，在深度学习单元，通过卷积神经网络模型提取人脸特征数据，训练并构建人脸特征提取模型，在人脸特征提取模型对网络摄像头拍摄的人脸图像和人脸数据库中的人脸图像提取人脸特征数据，并进行两项数据对比，获得对比结果，进行人脸识别确定。
上述技术方案的有益效果为：本发明中，通过人脸数据库不仅存储已经在系统注册登记的用户人脸图像信息，还可以通过IC识别端口上传IC卡上的人脸图像信息，解决了系统数据库没有目标人脸图像，无法进行人脸特征数据对比的问题，通过卷积神经网络模型提取人脸特征数据，训练并构建人脸特征提取模型，可以人脸特征提取模型的准确率。
实施例6：
在一个实施例中，所述深度学习单元，包括：
数据训练子单元：用于将永久数据库的人脸图像作为训练数据集，通过卷积神经网络模型中卷积层、池化层、全连接层进行人脸特征向量提取，获得训练数据结果；
参数调节子单元：用于根据所述训练数据结果，确定训练参数，并通过调节学习策略，进行新一轮网络训练，当所述训练参数达到预设的训练参数时，确定人脸特征提取模型；其中，所述训练参数包括：学习率参数、迭代参数。
在一个实际的场景中：在深度学习模块中，对训练数据进行反复训练，通过训练结果，进行手动调节训练参数，但是手动调节训练参数，可能会调节不准确，影响后续的学习策略的调节。
本发明在进行实施的时候，在深度学习单元，通过数据训练子单元和参数调节子单元，训练人脸特征提取模型，首先，将永久数据库的人脸图像作为训练数据集，通过深度学习模型即卷积神经网络模型，对人脸图像进行提取人脸特征数据的训练，每次通过卷积神经网络模型提取人脸特征数据后，根据所述训练数据结果，确定训练参数，通过调整深度学习策略，重新进行训练人脸特征提取模型，当学习率参数和迭代参数达到预设的学习率参数、迭代参数时，确定该参数对应的学习策略的卷积神经网络模型，作为人脸特征提取模型。
上述技术方案的有益效果为：本发明中，通过数据训练子单元中的卷积神经网络模型对人脸图像进行提取人脸特征数据训练，根据训练结果，调整学习策略，重新进行卷积神经网络模型训练，当多次调整后，获得人脸特征提取模型，提高了人脸特征提取模型的特征提取正确率。
实施例7：
在一个实施例中，所述卷积神经网络模型，包括：
卷积层：用于对永久数据库的人脸图像进行卷积核移动训练，并与移动位置所在区域的像素值进行相乘并累加，获取人脸特征图；
池化层：用于根据预设的区域划分机制对所述人脸特征图进行区域划分，并根据池化规则计算每个区域的人脸特征图的池化值，并生成二维人脸特征图；
全连接层：用于将所述二维人脸特征图转换成一维的人脸特征向量。
本发明在进行实施的时候，在进行训练卷积神经网络模型时，通过卷积层对永久数据库的人脸图像进行卷积核移动训练，获得人脸特征图，在池化层，区域划分机制对所述人脸特征图进行区域划分，获得每个区域的池化均值、池化最大值、池化随机值、并生成二维人脸特征图，在全连接层将二维人脸特征图转换成一维的人脸特征向量。
上述技术方案的有益效果为：本发明中，通过训练卷积神经网络模型，将人脸图像的人脸特征数据以一维的人脸特征向量进行获取，这样在进行人脸特征数据对比时，可以进行快速对比。
实施例8：
在一个实施例中，所述对比识别单元，包括：
人脸图像特征提取子单元：用于根据所述人脸特征提取模型提取所述第二人脸图像的一维人脸特征向量；
人脸数据库特征提取子单元：用于根据所述人脸特征提取模型提取人脸数据库的人脸图像一维人脸特征向量；
特征对比单元：用于将所述第二人脸图像一维人脸特征向量与所述人脸数据库的人脸图像一维人脸特征向量进行对比，获得对比结果。
本发明在进行实施的时候，在对比识别单元，将从视频流中确定的人脸图像通过人脸特征提取模型提取第一人脸特征向量，将人脸数据库中的人脸图像通过人脸特征提取模型提取第二人脸特征向量，将所述第一人脸特征向量和第二人脸特征向量进行对比，获得对比结果。
上述技术方案的有益效果为：本发明中，通过将视频流中确定的人脸图像和人脸数据库中的人脸图像通过人脸特征提取模型进行人脸特征向量提取，进行快速对比，获得两个人脸特征向量的对比结果，进行人脸识别。
在一个具体的实施例中，在对比识别单元中，将从视频流中确定的人脸图像通过人脸特征提取模型提取第一人脸特征向量，将人脸数据库中的人脸图像通过人脸特征提取模型提取第二人脸特征向量，将所述第一人脸特征向量和第二人脸特征向量进行对比，获得对比结果，
步骤一：通过对比两个人脸特征向量夹角的余弦值，进行人脸图像相似度的确定：
Figure BDA0003732372910000161
其中，cosE表示第一人脸特征向量和第二人脸特征向量的余弦值，W表示第一人脸特征向量，R表示第二人脸特征向量；
步骤二：计算两个特征向量的余弦距离：
Figure BDA0003732372910000162
其中，SLY表示两个特征向量的余弦距离，i表示两个特征向量的顺序起始值，j表示两个特征向量的顺序结束值；
步骤三：通过余弦距离确定人脸识别结果：
SLYo≥SLY
其中，SLYo表示预设的余弦距离，将两个特征向量的余弦距离和预设的余弦距离进行比较，当SLY超过SLYo时，人脸认证失败，当SLY没有超过SLYo时，人脸认证成功。
本技术方案的工作原理：本发明中，通过对比两个人脸特征向量夹角的余弦值，夹角的余弦值可以反映出两个人脸图像的相似度，计算提取好的人脸特征数据的余弦距离，通过两个判断人脸特征数据的余弦距离进行人脸识别确认。
上述技术方案的有益效果为：本发明中，通过计算两个特征向量的余弦值和余弦距离，进行人脸识别，通过这种方法可以快速进行人脸识别。
实施例9：
在一个实施例中，所述深度学习单元，还包括：
迁移学习子单元：用于采集不同人种的人脸图像，并作为训练数据集，通过二次训练卷积神经网络模型，提取对应的人脸特征数据；
特征提取加速子单元：用于在训练卷积神经网络模型，对人脸特征数据进行提取时，通过FFT技术加速人脸特征数据的提取。
在一个实际的场景中：在传统的深度学习模型中，通过训练深度学习模型后就确定深度学习模型，没有对深度学习模型进行对维度训练，提高深度学习模型的学习能力，也没有对人脸特征数据的提取进行加速。
本发明在进行实施的时候，通过人脸数据库的人脸图像训练出来的卷积神经网络模型，可以对亚洲人脸进行快速人脸特征提取，但是对于黑皮肤的非洲人进而轮廓深邃的欧洲人，卷积神经网络模型不能很好地进行人脸特征提取，所说通过采集欧洲和非洲的人脸图像，并作为训练数据集，通过二次训练卷积神经网络模型，可以提高卷积神经网络模型的学习力，通过FFT技术加速人脸特征数据的提取，
上述技术方案的有益效果为：本发明中，通过二次训练卷积神经网络模型，可以提高卷积神经网络模型的学习力，提高卷积神经网络模型的提取人脸特征的准确率，并通过FFT技术加速人脸特征数据的提取。
实施例10：
在一个实施例中，所述池化层，包括：
均值池化：用于对所述人脸特征图进行区域划分，并计算每个区域的均值池化值；
最大值池化：用于对所述人脸特征图进行区域划分，并计算每个区域的最大池化值；
随机值池化：用于对所述人脸特征图进行区域划分，随机获取每个区域的池化值。
本发明在进行实施的时候，池化层中，对人脸特征图及你想过数据降维，首先进行区域划分，在每个区域中获取该区域的均值池化值、最大池化值和随机池化值，通过不同的池化值，获得人脸特征图的主要特征。
上述技术方案的有益效果为：本发明中，通过对人脸特征图进行区域划分，获取每个区域的池化值，根据不同的池化值，获得人脸特征图的主要特征，进行特征提取。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于深度学习的人脸云识别系统，其特征在于，包括：
人脸图像采集模块：用于通过网络摄像头拍摄视频流，并在所述视频流中定位目标人脸，获取第一人脸图像；
图像处理模块：用于对所述人脸图像通过图像旋转、滤波和校正进行图像预处理，获得第二人脸图像；
人脸云识别模块：用于基于卷积神经网络，构建人脸特征提取模型，并通过人脸特征提取模型提取所述第二人脸图像的人脸特征向量，与预设的人脸数据库中的人脸图像的人脸特征向量进行对比，获得对比结果。
2.如权利要求1所述的一种基于深度学习的人脸云识别系统，其特征在于，所述人脸图像采集模块，包括：
视频流拍摄单元：用于当所述网络摄像头识别到人脸时，主控端控制所述网络摄像头的云台进行角度调整，并拍摄目标人脸，生成视频流；
视频流上传单元：用于在所述网络摄像头中预设网络传输端口，将所述视频流从所述网络传输端口上传到主控端；
人脸确定单元：用于通过ASM人脸定位技术，对所述视频流中的视频图像进行筛选，定位最佳角度拍摄的人脸图像，标记为第一人脸图像。
3.如权利要求2所述的一种基于深度学习的人脸云识别系统，其特征在于，所述人脸确定单元的具体执行步骤如下：
步骤一：通过预设的训练样本，对人脸模型进行训练，并对人脸模型上的特征点进行标记，并对每个特征点构建局部特征，将所述特征点的坐标串成特征向量；
步骤二：对所述视频流进行停帧识别，获取视频图像中的人脸特征向量和局部特征，并剔除人脸特征向量不全的视频图像；其中，
所述人脸特征包括：眼睛、鼻子、嘴巴、眉毛，所述局部特征包括：眼睛的轮廓、嘴巴的轮廓、鼻子的轮廓、眉毛的形状；
步骤三：将剔除后的视频图像的人脸特征向量和局部特征与人脸模型中的人脸特征向量和局部特征进行匹配，确定人脸图像。
4.如权利要求1所述的一种基于深度学习的人脸云识别系统，其特征在于，所述图像处理模块，包括：
图像旋转单元：用于将所述第一人脸图像放在笛卡尔坐标中，进行图像旋转，获得旋转矩阵；
图像滤波处理单元：用于通过高斯差分滤波技术获得所述旋转矩阵中的第一人脸图像，并确定所述第一人脸图像的人脸边缘值，将所述人脸边缘值作为稳定点，进行精细化人脸拟合，生成稳定图像；
图像校正单元：用于通过仿射变换伽马校正检测出所述稳定图像的深色区域和浅色区域，并通过调节伽玛曲线，增大两个区域色调比例，获得第二人脸图像。
5.如权利要求1所述的一种基于深度学习的人脸云识别系统，其特征在于，所述人脸云识别模块，包括：
人脸数据库：包括永久数据库和暂存数据库，所述永久数据库用于存储系统采集的人脸图像，所述暂存数据库用于暂存IC卡的人脸图像，当IC识别端口识别出IC卡后，将所述IC卡中的人脸图像暂存至暂存数据库；
深度学习单元：用于将所述永久数据库的人脸图像作为训练数据集，并清除身份重复的人脸图像，对清除后的人脸图像通过卷积神经网络模型提取人脸特征数据，训练并构建人脸特征提取模型；
对比识别单元：用于将所述第二人脸图像的人脸特征数据与人脸数据库的人脸特征数据进行对比，获得对比结果。
6.如权利要求5所述的一种基于深度学习的人脸云识别系统，其特征在于，所述深度学习单元，包括：
数据训练子单元：用于将永久数据库的人脸图像作为训练数据集，通过卷积神经网络模型中卷积层、池化层、全连接层进行人脸特征向量提取，获得训练数据结果；
参数调节子单元：用于根据所述训练数据结果，确定训练参数，并通过调节学习策略，进行新一轮网络训练，当所述训练参数达到预设的训练参数时，确定人脸特征提取模型；其中，
所述训练参数包括：学习率参数、迭代参数。
7.如权利要求6所述的一种基于深度学习的人脸云识别系统，其特征在于，所述卷积神经网络模型，包括：
卷积层：用于对永久数据库的人脸图像进行卷积核移动训练，并与移动位置所在区域的像素值进行相乘并累加，获取人脸特征图；
池化层：用于根据预设的区域划分机制对所述人脸特征图进行区域划分，并根据池化规则计算每个区域的人脸特征图的池化值，并生成二维人脸特征图；
全连接层：用于将所述二维人脸特征图转换成一维的人脸特征向量。
8.如权利要求5所述的一种基于深度学习的人脸云识别系统，其特征在于，所述对比识别单元，包括：
人脸图像特征提取子单元：用于根据所述人脸特征提取模型提取所述第二人脸图像的一维人脸特征向量；
人脸数据库特征提取子单元：用于根据所述人脸特征提取模型提取人脸数据库的人脸图像一维人脸特征向量；
特征对比单元：用于将所述第二人脸图像一维人脸特征向量与所述人脸数据库的人脸图像一维人脸特征向量进行对比，获得对比结果。
9.如权利要求4所述的一种基于深度学习的人脸云识别系统，其特征在于，所述深度学习单元，还包括：
迁移学习子单元：用于采集不同人种的人脸图像，并作为训练数据集，通过二次训练卷积神经网络模型，提取对应的人脸特征数据；
特征提取加速子单元：用于在训练卷积神经网络模型，对人脸特征数据进行提取时，通过FFT技术加速人脸特征数据的提取。
10.如权利要求7所述的一种基于深度学习的人脸云识别系统，其特征在于，所述池化层，包括：
均值池化：用于对所述人脸特征图进行区域划分，并计算每个区域的均值池化值；
最大值池化：用于对所述人脸特征图进行区域划分，并计算每个区域的最大池化值；
随机值池化：用于对所述人脸特征图进行区域划分，随机获取每个区域的池化值。
CN202210796587.6A 2022-07-06 2022-07-06 一种基于深度学习的人脸云识别系统 Active CN115311705B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210796587.6A CN115311705B (zh) 2022-07-06 2022-07-06 一种基于深度学习的人脸云识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210796587.6A CN115311705B (zh) 2022-07-06 2022-07-06 一种基于深度学习的人脸云识别系统

Publications (2)

Publication Number Publication Date
CN115311705A true CN115311705A (zh) 2022-11-08
CN115311705B CN115311705B (zh) 2023-08-15

Family

ID=83857517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210796587.6A Active CN115311705B (zh) 2022-07-06 2022-07-06 一种基于深度学习的人脸云识别系统

Country Status (1)

Country Link
CN (1) CN115311705B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN107609459A (zh) * 2016-12-15 2018-01-19 平安科技（深圳）有限公司 一种基于深度学习的人脸识别方法及装置
KR101862639B1 (ko) * 2017-05-30 2018-07-04 동국대학교 산학협력단 나선 신경망 기법을 이용한 홍채 인식 장치 및 방법
CN110796101A (zh) * 2019-10-31 2020-02-14 广东光速智能设备有限公司 一种嵌入式平台的人脸识别方法及系统
CN111639535A (zh) * 2020-04-29 2020-09-08 深圳英飞拓智能技术有限公司 基于深度学习的人脸识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557743A (zh) * 2016-10-26 2017-04-05 桂林电子科技大学 一种基于fecnn的人脸特征提取系统及方法
CN107609459A (zh) * 2016-12-15 2018-01-19 平安科技（深圳）有限公司 一种基于深度学习的人脸识别方法及装置
KR101862639B1 (ko) * 2017-05-30 2018-07-04 동국대학교 산학협력단 나선 신경망 기법을 이용한 홍채 인식 장치 및 방법
CN110796101A (zh) * 2019-10-31 2020-02-14 广东光速智能设备有限公司 一种嵌入式平台的人脸识别方法及系统
CN111639535A (zh) * 2020-04-29 2020-09-08 深圳英飞拓智能技术有限公司 基于深度学习的人脸识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焦双健;王志远;: "卷积神经网络的人脸识别门禁系统设计", no. 09 *

Also Published As

Publication number Publication date
CN115311705B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
US10262190B2 (en) Method, system, and computer program product for recognizing face
CN106897675B (zh) 双目视觉深度特征与表观特征相结合的人脸活体检测方法
CN110728225B (zh) 一种用于考勤的高速人脸搜索方法
CN104517104B (zh) 一种基于监控场景下的人脸识别方法及系统
KR101185525B1 (ko) 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별
US8498454B2 (en) Optimal subspaces for face recognition
CN108563999A (zh) 一种面向低质量视频图像的人物身份识别方法与装置
CN106446779B (zh) 身份识别方法和装置
CN109508700A (zh) 一种人脸识别方法、系统及存储介质
CN110569731A (zh) 一种人脸识别方法、装置及电子设备
CN101710383A (zh) 一种身份认证的方法及认证装置
CN101131728A (zh) 一种基于Shape Context的人脸形状匹配方法
Alonso-Fernandez et al. Iris boundaries segmentation using the generalized structure tensor. A study on the effects of image degradation
CN102254188A (zh) 掌纹识别方法及装置
US10915739B2 (en) Face recognition device, face recognition method, and computer readable storage medium
CN110838119A (zh) 人脸图像质量评估方法、计算机装置及计算机可读存储介质
CN104091173A (zh) 一种基于网络摄像机的性别识别方法及装置
CN114445879A (zh) 一种高精度人脸识别方法及人脸识别设备
CN113449704A (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN109086728B (zh) 活体检测方法
CN116342968B (zh) 一种双通道人脸识别方法及装置
CN106156739A (zh) 一种基于脸部轮廓分析的证件照耳朵检测与提取方法
CN113128427A (zh) 人脸识别方法、装置、计算机可读存储介质及终端设备
CN116386118B (zh) 一种基于人像识别的粤剧匹配化妆系统及其方法
CN115311705B (zh) 一种基于深度学习的人脸云识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant