CN112396011B - 一种基于视频图像心率检测及活体检测的人脸识别系统 - Google Patents

一种基于视频图像心率检测及活体检测的人脸识别系统 Download PDF

Info

Publication number
CN112396011B
CN112396011B CN202011335221.6A CN202011335221A CN112396011B CN 112396011 B CN112396011 B CN 112396011B CN 202011335221 A CN202011335221 A CN 202011335221A CN 112396011 B CN112396011 B CN 112396011B
Authority
CN
China
Prior art keywords
face
heart rate
living body
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011335221.6A
Other languages
English (en)
Other versions
CN112396011A (zh
Inventor
谢巍
吴少文
周延
余锦伟
许练濠
陈定权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202011335221.6A priority Critical patent/CN112396011B/zh
Publication of CN112396011A publication Critical patent/CN112396011A/zh
Application granted granted Critical
Publication of CN112396011B publication Critical patent/CN112396011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Pulmonology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于视频图像心率检测及活体检测的人脸识别系统，该系统主要包括图像采集及预处理模块、人脸认证主机、后端数据服务器及身份信息与热成像图显示模块；本发明通过红外热成像摄像头和可见光摄像头分别获取人脸视频图像和人脸热成像，计算热成像图片中人脸温度平均值和根据光电容积脉搏波原理从人脸视频图像所检测出的心率值作为判断是否为活体的依据，将采集的人脸特征数据与后端数据服务器中人脸图像数据比对得出人脸识别结果；通过显示模块显示识别结果，并且能够实时显示当前人脸温度和心率值。本发明的心率检测进一步的减少了红外热像活体检测出现的误判现象，提高了人脸识别的安全系数和可靠性。

Description

一种基于视频图像心率检测及活体检测的人脸识别系统
技术领域
本发明属于视频图像检测和人脸识别技术领域，具体涉及一种基于视频图像心率检测及活体检测的人脸识别系统。
背景技术
人脸识别已经广泛应用与生活中，例如门禁系统，火车安检，手机支付，警方侦查都与人脸识别息息相关。但是目前人脸信息还是无法作为一些重要信息的安全密钥，这是因为目前的人脸识别系统还是无法良好地抵御照片、视频以及面具的攻击，安全系数还有待提高。一旦人脸识别系统被恶意攻击成功，使用者的信息将会泄露，甚至发生入室偷盗和财产损失等严重安全问题。现有的一些研究提出(张红彦,倪涛,邹少元,等.一种基于热成像效应的双摄像头人脸活体检测方法，中国,CN201810418468.0 2018.)仅利用红外热成像作为活体检测的依据，但现有的红外热像活体检测容易受到人脸检测距离远近，佩戴眼镜等外界条件的影响等影响出现误判现象。
发明内容
本发明针对以上提出的不足，提出了一种基于视频图像心率检测及活体检测的人脸识别系统，在红外热像活体检测方法的基础上增加基于光电容积脉搏波原理心率检测，双重活体检测提高了非活体的识别率，弥补了红外热像活体检测的不足，能够有效的防止视频、照片等恶意攻击，防止他人冒用，提高了人脸识别系统的安全可靠性；显示的人体热成像图能够直接观察到人体的温度情况，且实时的人脸温度和心率检测，对于新冠肺炎等特殊时期或是自身健康检测都十分有帮助。为了解决上述现有的容易受到照片、视频、面具等恶意攻击和红外热像活体检测容易误判的问题，本发明提供了一种基于视频图像心率检测及活体检测的人脸识别系统。
本发明至少通过如下技术方案之一实现。
一种基于视频图像心率检测及活体检测的人脸识别系统，包括图像采集及预处理模块、人脸认证主机、后端数据服务器、身份信息与热成像图显示模块；
所述图像采集及预处理模块用于采集红外热成像人脸图像与可见光人脸视频图像数据并将人脸图像数据和人脸温度数据传输至人脸认证主机；
所述后端数据服务器存储已录入的人脸图像数据；
所述人脸认证主机分为活体检测和人脸识别两部分，利用人脸温度数据和人脸图像数据测量出人脸平均温度和心率作为活体检测依据，检测为活体后，利用可见光人脸视频图像数据与已录入的人脸图像数据进行特征对比和匹配，得到匹配结果，并将结果传输至身份信息与热成像图显示模块；
身份信息与热成像图显示模块显示匹配出的人脸身份信息和当前人体的相关信息。
优选的，图像采集及预处理模块包括红外热成像摄像头和可见光摄像头；所述的红外热成像摄像头用于采集到的人脸温度，通过计算人脸的平均温度值作为判断是否为活体的检测依据；所述的可见光摄像头用于采集人脸视频图像，采用MTCNN网络检测人脸位置，选取人脸感兴趣区域用于心率检测，并将采集到的人脸图像进行几何归一化及直方图均衡化预处理，得到用于特征提取的标准人脸图像。
优选的，后端数据服务器执行Java、HTML语言指令，用于存储已录入人脸图像数据、匹配信息、系统硬件工作日志以及进行数据处理分析。
优选的，人脸认证主机结合Opencv的视觉开源库，执行Java语言指令。
优选的，人脸认证主机包括人脸活体检测模块、特征提取及特征降维模块和分类器模块。
优选的，所述人脸活体检测模块首先根据人脸温度数据计算人脸平均温度，当温度满足设定的范围，再利用图像采集及预处理模块所获得的人脸图像数据，根据血液容积变化率和光强变化率的关系：
其中，用于表示血液容积变化率，ΔVa表示血液体积的变化，Va表示血液的体积；/>用于表示光强变化率，ΔI表示光照强度的变化、I表示光照强度，I0表示光照强度，根据光强变化中求出血液容积变化，将光强转化为电信号，提取出脉搏信号，排除非活体的人脸图像数据，再将确定为活体的人脸图像数据提取的其特征信息与后端数据服务器中的已录入人脸图像数据进行对比和匹配，进而对身份进行确认。
优选的，所述人脸活体检测模块还包括心率检测，在MTCNN网络确定人脸的位置后，选取人脸视频图像中的感兴趣区域(ROI)，对感兴趣的区域的视频帧数计数，对窗口内视频片段做欧拉视频放大处理，得到放大微弱的心率信号如下：
其中，α表示放大倍数，δ(t)表示微小平移运动，x表示信号序列的位置，t表示当前的时刻，将欧拉放大处理后的视频图像中的每一帧的RGB通道分开，分别计算三通道图像的感兴趣区域内像素的空间平均值，形成对应每一帧的红绿蓝三个信号值，对应窗口内的视频的每一帧就形成三个原始信号序列；随后对心率原始信号序列做归一化和带通滤波预处理，再对带通滤波预处理过三个信号序列进行FFT(Fast Fourier Transfomationv，FFT)变化，计算三个信号序列的对应功率谱密度，选取G通道信号序列中最大功率对应的频率作为心率的估计值。
优选的，所述特征提取及特征降维模块将经过图像采集及预处理模块预处理后得到的标准人脸图像作为特征提取及特征降维模块的输入，特征提取及特征降维模块提取人脸的局部二进制模式(Local Binary Patterns，LBP)特征，通过计算LBP直方图的方式形成LBP特征向量，再利用主成分分析法(Principal Component Analysis，PCA主成分分析法)选对人脸特征向量降维，得到降维后的特征向量送入分类器模块。
优选的，分类器模块采用支持向量机(Support Vector Machine，简称SVM)，通过使两类数据之间的距离最大化来获得分类的决策边界，利用后端数据服务器中已经记录的图像数据训练，将采集到的待识别人员图像进行分类，得到识别结果，而从实现实时地进行人脸识别。
优选的，所述身份信息与热成像图显示模块显示匹配出的识别结果，并且显示当前人体的红外热像图、人脸温度值和心率值。
本发明与现有的技术相比，有益成果是：本发明在红外热像活体检测方法的基础上增加心率检测，双重活体检测提高了非活体的识别率，弥补了红外热像活体检测的不足，能够有效的防止视频、照片等尤其是面具等恶意攻击防止他人冒用，心率检测进一步的减少了红外热像活体检测出现的误判现象，提高了人脸识别系统的安全可靠性；显示的人体热成像图能够直接观察到人体的温度情况，且实时的人脸温度检测和心率，对于新冠肺炎等特殊时期或是日常的自身健康预防都十分有帮助。
附图说明
图1为本实施例一种基于视频图像心率检测及活体检测的人脸识别系统结构图；
图2为本实施例的具体工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提出了一种基于视频图像心率检测及活体检测的人脸识别系统，包括：图像采集及预处理模块、后端数据服务器、人脸认证主机、身份信息与热成像图显示模块。所述人脸认证主机包括人脸活体检测模块、特征提取及特征降维模块和分类器模块。
本实施例中的图像采集及预处理模块包括两个摄像头，一个是可见光摄像机，采用奥尼A30系列，1200万像素的相机；一个红外热成像摄像机，采用MLX90640的32*24红外测温点阵传感器模块，可输出768个温度数据。
本实施例中的后端数据服务器采用DELL-T430-E5-2603v3服务器；
本实施例中的身份认证主机的主板采用RK3288安卓开发板；
本实施例身份信息与热成像图显示模块中的显示模块采用10.1寸的MIPI接口液晶显示屏；
如图2所示，本发明在实际应用中的具体流程包括：图像采集层、算法实现层和结果显示层。
图像采集层即图像采集及预处理模块利用可见光摄像头采集人脸图像，该可见光图像将作为人脸特征提取和心率检测的关键因素，而红外热成像摄像头提取的热成像图像在活体检测中起到关键的作用。
算法实现层即人脸认证主机接收到来自图像采集层的图像，采用多任务卷积神经网络(MTCNN，Multi-task convolutional neural network)完成人脸和关键点的检测，其网络结构包含了P-Net、R-Net、O-Net三种，P-Net是一个人脸检测的区域建议网络，其由三个卷积层组成，可以快速生成人脸候选窗口。R-Net相比于P-Net来说多了一个全连接层，用于进一步选择和调整P-Net生成的候选人脸区域窗口，O-Net在结构上更为复杂，其相比于R-Net来说多了一个卷积层，可以通过提取更多的特征来识别面部区域，且对人的面部特征点进行回归，最终输出人脸面部特征点。MTCNN兼顾了人脸检测性能和准确率，相比于传统的滑动窗口加分类器等能够减少大量的性能消耗
先通过P-Net生成有一定可能性的目标区域候选框，然后再使用R-Net进行高精度候选窗口过滤，最终使用O-Net进行细分类和更高精度的区域框回归，并且让这一步递归执行，以此思想构成三层网络，实现快速高效的人脸检测。
具体地，由于无法限定待确定身份人员的在识别过程中的固定位置，所以采集到的图像很多的不确定因素，例如人脸的大小不一等。为了能够提高分类器的准确率的，需要将采集到的可见光图像进行几何归一化及直方图均衡化预处理。将检测到的人脸图像统一几何尺寸，归一化后的人脸图片利于提取脸部特征，提高识别率。由于光照因素的干扰，需要将彩色照片灰度化处理，得到的灰度照片的直方图分布不均衡，经过直方图均衡化后的图像直方图分布均衡，使得图像清晰度和质量都得以增加。
通过人脸检测后，可知道人脸在图像中的位置，通过数学几何变换，可以确定在热成像图像中的大致人脸位置。一旦确定了热成像图像的人脸位置后，计算该区域内的温度平均值，如计算出的平均值与正常的人体温度阈值做比较。由于照片、视频或者面具的攻击，人脸部分的温度值不为正常的人体温度，所以该方法可以有效的抵御照片、视频等攻击，但是容易受到眼镜和测量距离的影响，所以需要适当的调整阈值，以适应带眼镜人群的需求。
确定人脸的位置后，根据光电溶剂脉搏描记法的原理，所述人脸活体检测模块首先根据人脸温度数据计算人脸平均温度，当温度满足设定的范围，再利用图像采集及预处理模块所获得的人脸图像数据，根据血液容积变化率和光强变化率的关系：
其中，用于表示血液容积变化率，ΔVa表示血液体积的变化，Va表示血液的体积；/>用于表示光强变化率，ΔI表示光照强度的变化、I表示光照强度，I0表示关照强度，根据光强变化中求出血液容积变化，将光强转化为电信号，从光强的变化中提取出脉搏波信号，排除非活体的人脸图像数据。
在MTCNN网络确定人脸的位置后，选取人脸视频图像中每一帧在双眼下方的0.5d处(假设双眼之间的距离为4d)，长和宽分别是8d和3d的矩形区域设为感兴趣区域(ROI)，对感兴趣的区域的视频帧数计数，达到本实施例规定长度200帧时，对窗口内视频片段做欧拉视频放大处理，得到放大微弱的心率信号如下：
其中，α表示放大倍数，δ(t)表示微小平移运动，x表示信号序列的位置，t表示当前的。将欧拉放大处理后的视频图像中的每一帧的RGB通道分开，分别计算三通道图像的感兴趣区域内像素的空间平均值，形成了对应每一帧的红绿蓝三个信号值，对应窗口内的视频的每一帧就形成三个原始信号序列。随后对心率原始信号序列做归一化和带通滤波预处理，再对带通滤波预处理过三个信号序列进行FFT(Fast Fourier Transfomationv，FFT)变化，计算三个信号序列的对应功率谱密度，选取G通道信号序列中最大功率对应的频率，将其乘60后的结果作为心率的估计值。如若心率不处于人体正常心率范围内，则判定为非活体。添加心率检测能用减少红热热像活体检测所造成的的误判，双重活体检测提高了系统的安全系数。
将经过图像采集层预处理后得到的标准人脸图像作为特征提取及特征降维模块的输入，特征提取及特征降维模块提取人脸的LBP(Local Binary Patterns，局部二进制模式)特征。LBP算子因能较好地描述图像的纹理特征且计算效率高而被广泛使用，具有一定的旋转不变性和灰度不变性特点，通过计算LBP直方图的方式形成LBP特征向量，再利用PCA(Principal Component Analysis，主成分分析法)选对人脸特征向量降维，得到降维后的特征向量送入分类器模块从而分类识别。
分类器模块采用支持向量机(Support Vector Machine，简称SVM)的方法，通过使两类数据之间的距离最大化来获得分类的决策边界，利用后端数据服务器中已经记录的图像数据训练，可以快速地将采集到的待识别人员图像快速分类，得到识别结果，而从实现实时地进行人脸识别。
结果显示层即身份信息与热成像图显示模块将识别结果及识别出的人员具体信息显示在屏幕中显示出来。当检测出是非活体或者无法识别出当前待识别人员身份的时候显示识别不通过等字样；当待识别人员身份可以确定后，显示具体的人员信息，识别通过；将计算得到当前人体温度和心率值通过显示模块显示，能够显示温度及心率的人脸识别系统适用于自身健康情况检测和当下疫情背景。
以上所述仅为本发明的优选实施例，并非因此限制本发明的范围凡是在本发明的，发明创造构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的保护范围内。

Claims (6)

1.一种基于视频图像心率检测及活体检测的人脸识别系统，其特征在于，包括图像采集及预处理模块、人脸认证主机、后端数据服务器、身份信息与热成像图显示模块；
所述图像采集及预处理模块用于采集红外热成像人脸图像与可见光人脸视频图像数据并将人脸图像数据和人脸温度数据传输至人脸认证主机；
所述后端数据服务器存储已录入的人脸图像数据；
所述人脸认证主机分为活体检测和人脸识别两部分，利用人脸温度数据和人脸图像数据测量出人脸平均温度和心率作为活体检测依据，检测为活体后，利用可见光人脸视频图像数据与已录入的人脸图像数据进行特征对比和匹配，得到匹配结果，并将结果传输至身份信息与热成像图显示模块；
身份信息与热成像图显示模块显示匹配出的人脸身份信息和当前人体的相关信息；
图像采集及预处理模块包括红外热成像摄像头和可见光摄像头；所述的红外热成像摄像头用于采集到的人脸温度，通过计算人脸的平均温度值作为判断是否为活体的检测依据；所述的可见光摄像头用于采集人脸视频图像，采用MTCNN网络检测人脸位置，选取人脸感兴趣区域用于心率检测，并将采集到的人脸图像进行几何归一化及直方图均衡化预处理，得到用于特征提取的标准人脸图像；
人脸认证主机包括人脸活体检测模块、特征提取及特征降维模块和分类器模块；所述人脸活体检测模块首先根据人脸温度数据计算人脸平均温度，当温度满足设定的范围，再利用图像采集及预处理模块所获得的人脸图像数据，根据血液容积变化率和光强变化率的关系：
其中，用于表示血液容积变化率，ΔVa表示血液体积的变化，Va表示血液的体积；/>用于表示光强变化率，ΔI表示光照强度的变化、I表示光照强度，I0表示光照强度，根据光强变化中求出血液容积变化，将光强转化为电信号，提取出脉搏信号，排除非活体的人脸图像数据，再将确定为活体的人脸图像数据提取的其特征信息与后端数据服务器中的已录入人脸图像数据进行对比和匹配，进而对身份进行确认；
所述人脸活体检测模块还包括心率检测，在MTCNN网络确定人脸的位置后，选取人脸视频图像中的感兴趣区域(ROI)，对感兴趣的区域的视频帧数计数，对窗口内视频片段做欧拉视频放大处理，得到放大微弱的心率信号如下：
其中，α表示放大倍数，δ(t)表示微小平移运动，x表示信号序列的位置，t表示当前的时刻，将欧拉放大处理后的视频图像中的每一帧的RGB通道分开，分别计算三通道图像的感兴趣区域内像素的空间平均值，形成对应每一帧的红绿蓝三个信号值，对应窗口内的视频的每一帧就形成三个原始信号序列；随后对心率原始信号序列做归一化和带通滤波预处理，再对带通滤波预处理过三个信号序列进行FFT(Fast Fourier Transfomationv，FFT)变化，计算三个信号序列的对应功率谱密度，选取G通道信号序列中最大功率对应的频率作为心率的估计值。
2.根据权利要求1所述的一种基于视频图像心率检测及活体检测的人脸识别系统，其特征在于，后端数据服务器执行Java、HTML语言指令，用于存储已录入人脸图像数据、匹配信息、系统硬件工作日志以及进行数据处理分析。
3.根据权利要求1所述的一种基于视频图像心率检测及活体检测的人脸识别系统，其特征在于，人脸认证主机结合Opencv的视觉开源库，执行Java语言指令。
4.根据权利要求1所述的一种基于视频图像心率检测及活体检测的人脸识别系统，其特征在于，所述特征提取及特征降维模块将经过图像采集及预处理模块预处理后得到的标准人脸图像作为特征提取及特征降维模块的输入，特征提取及特征降维模块提取人脸的局部二进制模式(Local Binary Patterns，LBP)特征，通过计算LBP直方图的方式形成LBP特征向量，再利用主成分分析法(Principal Component Analysis，PCA主成分分析法)选对人脸特征向量降维，得到降维后的特征向量送入分类器模块。
5.根据权利要求1所述的一种基于视频图像心率检测及活体检测的人脸识别系统，其特征在于，分类器模块采用支持向量机(Support Vector Machine，简称SVM)，通过使两类数据之间的距离最大化来获得分类的决策边界，利用后端数据服务器中已经记录的图像数据训练，将采集到的待识别人员图像进行分类，得到识别结果，而从实现实时地进行人脸识别。
6.根据权利要求1～5所述的一种基于视频图像心率检测及活体检测的人脸识别系统，其特征在于，所述身份信息与热成像图显示模块显示匹配出的识别结果，并且显示当前人体的红外热像图、人脸温度值和心率值。
CN202011335221.6A 2020-11-24 2020-11-24 一种基于视频图像心率检测及活体检测的人脸识别系统 Active CN112396011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011335221.6A CN112396011B (zh) 2020-11-24 2020-11-24 一种基于视频图像心率检测及活体检测的人脸识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011335221.6A CN112396011B (zh) 2020-11-24 2020-11-24 一种基于视频图像心率检测及活体检测的人脸识别系统

Publications (2)

Publication Number Publication Date
CN112396011A CN112396011A (zh) 2021-02-23
CN112396011B true CN112396011B (zh) 2023-07-18

Family

ID=74606233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011335221.6A Active CN112396011B (zh) 2020-11-24 2020-11-24 一种基于视频图像心率检测及活体检测的人脸识别系统

Country Status (1)

Country Link
CN (1) CN112396011B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112998702A (zh) * 2021-04-02 2021-06-22 深圳市齐胜达科技有限公司 一种非接触式测心率、呼吸及体温的人脸识别系统、方法
CN113516021A (zh) * 2021-04-23 2021-10-19 上海菲戈恩微电子科技有限公司 一种生物活体特征检测方法及装置
CN113887474B (zh) * 2021-10-15 2022-09-23 深圳市商汤科技有限公司 呼吸率检测方法及装置、电子设备和存储介质
CN114140616A (zh) * 2021-10-15 2022-03-04 深圳市商汤科技有限公司 心率检测方法及装置、电子设备和存储介质
CN114882577B (zh) * 2022-07-11 2022-10-28 中海银河科技(北京)有限公司 健康状态识别方法、装置、电子设备和计算机可读介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163362A (zh) * 2010-02-22 2011-08-24 谢国华 一种防酒后驾车和安全健康行车方法
CN104808778A (zh) * 2014-01-24 2015-07-29 北京奇虎科技有限公司 判断头戴式智能设备操作有效性的装置和方法
CN104808776A (zh) * 2014-01-24 2015-07-29 北京奇虎科技有限公司 检测头戴式智能设备持续附着在人体上的装置和方法
CN107392177A (zh) * 2017-08-05 2017-11-24 江西中医药大学 一种人体身份识别验证方法及其装置
CN107644191A (zh) * 2016-07-21 2018-01-30 中兴通讯股份有限公司 一种人脸识别方法及系统、终端及服务器
CN109977858A (zh) * 2019-03-25 2019-07-05 北京科技大学 一种基于图像分析的心率检测方法及装置
CN110555931A (zh) * 2019-08-31 2019-12-10 华南理工大学 一种基于深度学习识别的人脸检测与门禁系统装置
CN111938622A (zh) * 2020-07-16 2020-11-17 启航汽车有限公司 心率检测方法、装置及系统、可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163362A (zh) * 2010-02-22 2011-08-24 谢国华 一种防酒后驾车和安全健康行车方法
CN104808778A (zh) * 2014-01-24 2015-07-29 北京奇虎科技有限公司 判断头戴式智能设备操作有效性的装置和方法
CN104808776A (zh) * 2014-01-24 2015-07-29 北京奇虎科技有限公司 检测头戴式智能设备持续附着在人体上的装置和方法
CN107644191A (zh) * 2016-07-21 2018-01-30 中兴通讯股份有限公司 一种人脸识别方法及系统、终端及服务器
CN107392177A (zh) * 2017-08-05 2017-11-24 江西中医药大学 一种人体身份识别验证方法及其装置
CN109977858A (zh) * 2019-03-25 2019-07-05 北京科技大学 一种基于图像分析的心率检测方法及装置
CN110555931A (zh) * 2019-08-31 2019-12-10 华南理工大学 一种基于深度学习识别的人脸检测与门禁系统装置
CN111938622A (zh) * 2020-07-16 2020-11-17 启航汽车有限公司 心率检测方法、装置及系统、可读存储介质

Also Published As

Publication number Publication date
CN112396011A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN112396011B (zh) 一种基于视频图像心率检测及活体检测的人脸识别系统
CN106874871B (zh) 一种活体人脸双摄像头识别方法及识别装置
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
US9104914B1 (en) Object detection with false positive filtering
JP2000259814A (ja) 画像処理装置及びその方法
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
CN109190475A (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN111523344A (zh) 人体活体检测系统及方法
CN111079688A (zh) 一种人脸识别中的基于红外图像的活体检测的方法
CN110222647B (zh) 一种基于卷积神经网络的人脸活体检测方法
Sakthimohan et al. Detection and Recognition of Face Using Deep Learning
Fathy et al. Benchmarking of pre-processing methods employed in facial image analysis
CN112861588B (zh) 一种活体检测的方法、装置
CN104615985B (zh) 一种人脸相似度的识别方法
Lin et al. Face detection based on skin color segmentation and SVM classification
KR100863882B1 (ko) 얼굴인식 보안 감시 방법과 이에 적용되는 얼굴인식장치
Yamamoto et al. Algorithm optimizations for low-complexity eye tracking
Xu et al. Efficient eye states detection in real-time for drowsy driving monitoring system
Thomas et al. Real Time Face Mask Detection and Recognition using Python
CN114663930A (zh) 一种活体检测方法、装置、终端设备及存储介质
KR20160017152A (ko) 이진 하르 캐스케이드에 기반한 성별 분류 방법
CN111080967A (zh) 基于热红外图像信息的居家老人摔倒行为识别与报警系统
Lian A face recognition approach based on computer vision
Horak et al. Eyes detection and tracking for monitoring driver vigilance
CN112861587B (zh) 一种活体检测的方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant