CN112364808A - 基于fmcw雷达与人脸跟踪识别的活体身份认证方法 - Google Patents
基于fmcw雷达与人脸跟踪识别的活体身份认证方法 Download PDFInfo
- Publication number
- CN112364808A CN112364808A CN202011330703.2A CN202011330703A CN112364808A CN 112364808 A CN112364808 A CN 112364808A CN 202011330703 A CN202011330703 A CN 202011330703A CN 112364808 A CN112364808 A CN 112364808A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- living body
- fmcw radar
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 47
- 230000000241 respiratory effect Effects 0.000 claims description 60
- 238000001514 detection method Methods 0.000 claims description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000010363 phase shift Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000001815 facial effect Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000001121 heart beat frequency Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036391 respiratory frequency Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
基于FMCW雷达与人脸跟踪识别的活体身份认证方法，涉及身份识别技术领域。本发明是为了解决现有的人脸识别技术难以精确的对照片、视频、建模等欺骗手段进行区分的问题。本发明首先通过FMCW雷达对测量物进行呼吸及心跳信号检测，当被测物具有呼吸及心跳信号后将对人脸进行检测，跟踪及特征提取，并通过FMCW雷达提取当前测量人员的呼吸信号特征，最后对提取的面部特征及人员呼吸特征分别与训练集的样本进行比对，当两部分的比对结果均为是时，则身份识别成功，若存在一个甚至多个不是，则识别失败。
Description
技术领域
本发明属于身份识别技术领域。
背景技术
随着计算机网络技术的迅速发展，身份识别与鉴定技术作为保障人们基本权益的重要手段日益受到重视，成功验证人员身份是进行下一步操作的前提。脸是一种完全开源且易于采集、使用方便、精确度高、检测速度快、鲁棒性高的生物特征。因此人脸识别验证技术是目前基于生物特征的身份验证技术的重要组成之一。
现有人脸跟踪识别的活体身份认证方法是通过图像光电容积描记法(iPPG)，通过记录该变化实现非接触式的心率测量，从而可以达到活体身份认证的目的。但是，因为iPPG是一种基于光线变化的测量方法，其受环境影响较大，如环境光，在雾霾条件下，光的散射会使检测结果准确度降低。
综上所述，在现有的人脸识别研究中，并没有一种能够很好的实现对照片、视频、建模等欺骗手段进行区分的手段。
发明内容
本发明是为了解决现有的人脸识别技术难以精确的对照片、视频、建模等欺骗手段进行区分的问题，现提供基于FMCW雷达与人脸跟踪识别的活体身份认证方法。
基于FMCW雷达与人脸跟踪识别的活体身份认证方法，包括以下步骤：
步骤1：利用FMCW雷达监测系统采集被测对象的呼吸及心跳信号，当采集到被测对象的呼吸及心跳信号时，同时执行步骤2a1和步骤2b1，否则结束身份认证；
步骤2a1：分别利用VPD寻峰算法、归一化短时能量、HHT变换提取呼吸信号的特征，然后执行2a2，
步骤2a2：将被测对象呼吸信号的特征与呼吸样本集进行比对，判断样本集中是否存在该被测对象呼吸信号的特征，是则执行步骤三，否则结束身份认证，所述呼吸样本集中包括活体呼吸信号的特征；
步骤2b1：采集被测对象图像，利用级联分类器对被测对象图像进行人脸检测，当检测结果为人脸图像时执行步骤2b2，
步骤2b2：利用LBP算子模型对被测对象图像进行身份识别，并将识别结果与身份样本集进行比对，判断身份样本集中是否存在该识别结果，是则执行步骤三，否则结束身份认证，所述身份样本集中包括活体身份信息；
步骤3：判断步骤2a2的判断结果和当步骤2b2的判断结果是否均为是，是则被测对象身份为真，否则被测对象身份为假。
上述FMCW雷达监测系统采集被测对象的呼吸及心跳信号的方法为：
利用合成器生成线性调频脉冲，并通过TX天线发射该线性调频脉冲，利用RX天线捕捉被测对象反射的线性调频脉冲；
将TX天线发射的线性调频脉冲与RX天线捕捉的线性调频脉冲合并，生成中频信号；
依次对中频信号进行带通滤波和AD采样；
对采样后数据进行FFT变换，获得呼吸及心跳信号的波形和频率。
上述步骤2a1利用VPD寻峰算法提取呼吸信号的特征的具体方法包括以下步骤：
步骤21：利用三点移动平均平滑滤波器消除呼吸信号在滤波时产生的相移；
步骤22：判断呼吸信号中第一个波峰位置是否位于第一个波谷位置之后，是则执行步骤33，否则将第一个波峰丢弃，然后执行步骤33；
步骤23：从第一个波谷开始计算峰谷差异值VPD(k)：
VPD(k)＝P(k)-V(k)
其中，k＝1,2,...,m，波峰和波谷的个数均由m表示，P(k)表示波峰值，V(k)表示波谷值，
步骤24：在波峰个数为m时，在VPD(k)中搜索符合下式的波峰，并将该波峰丢弃，
VPD(k)<0.7*{VPD(k-1)+VPD(k)+VPD(k+1)}/3；
步骤25：判断剩余波峰个数是否等于m，是则将剩余波峰值、波谷值及峰谷差异值作为呼吸信号的第一部分特征；否则使m＝m-g，然后返回步骤24，其中g为步骤24中丢弃的波峰个数。
上述步骤2a1利用归一化短时能量提取呼吸信号的特征的具体方法为：
对呼吸信号进行归一化处理，然后定义归一化后的呼吸信号如下：
其中，x为归一化后呼吸信号的幅值，xmax为x的最大值，xmin为x的最小值；
定义t时刻呼吸信号的短时能量Et：
其中，w(t)为窗函数，T为窗长，r为卷积中间变量，
分别计算所有时刻呼吸信号的短时能量的平均值和标准差，并作为呼吸信号的第二部分特征。
上述步骤2a1利用HHT变换提取呼吸信号的特征的具体方法为：
利用HHT变换提取呼吸信号的共轭正交变量，然后利用下式获得该共轭正交变量的解析信号z(t)：
z(t)＝a(t)ejθ(t)
其中，a(t)为幅度，θ(t)为相位，t为时间，
当z(t)的频谱值Z(ω)符合下式：
则有z(t)的平均瞬时功率<ω>：
<ω>＝∫ω|Z(ω)|2dω＝∫θ'(t)a2(t)dt
此时，解析信号z(t)的瞬时功率ω为θ(t)的导数：
分别提取所有时刻瞬时功率ω的平均值、标准差和最小值，并作为呼吸信号的第三部分特征。
上述步骤2b2中，当身份样本集中存在身份识别结果时，进行以下步骤：
变换采集角度二次采集被测对象图像，利用级联分类器对二次采集的被测对象图像进行人脸检测，当检测结果为人脸图像时执行步骤三，否则结束身份认证。
上述步骤2b1中采集的被测对象图像为被测对象人脸正面图像，二次采集的被测对象图像为被测对象人脸非正面图像。
上述利用Adaboost级联分类算法对级联分类器进行训练，利用训练好的级联分类器对被测对象图像进行人脸检测的具体方法为：
步骤31：对被测对象图像进行灰度化处理，
步骤32：对灰度图像进行直方图均衡化处理，
步骤33：判断经过步骤32处理后的图像中是否存在人脸，是则在图像中标识出人脸，否则采集下一张被测对象图像并返回步骤31。
上述步骤2b2中，利用LBP算子模型对被测对象图像进行身份识别的具体方法为：
提取被测对象图像中所有像素点的LBP编码，并利用LBP算子模型重新表征整幅被测对象图像，获得被测对象图像的统计直方图，将统计直方图作为被测对象图像的特征，利用相似性度量函数判断被测对象图像的特征与人脸特征实例模型之间的相似性，输出判断概率，完成对被测对象图像身份的识别。
本发明所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，通过FMCW雷达捕获被测物振动来实现呼吸及心率信号的非接触测量的，因此抗环境因素影响能力更强。面部识别过程成功实现了活体身份认证功能，有效避免了欺骗手段，能够适用于多种场合下的活体身份认证。
附图说明
图1为实现本发明所述基于FMCW雷达与人脸跟踪识别的活体身份认证方法的硬件示意图；
图2为本发明所述基于FMCW雷达与人脸跟踪识别的活体身份认证方法的流程图；
图3为基于FMCW雷达的生理信号监测系统架构图；
图4为VPD寻峰算法流程图；
图5为人脸检测算法流程图；
图6为利用Adaboost算法训练人脸检测器的原理框图；
图7为基本的Haar矩形特征图；
图8为利用积分图像快速计算Haar-like特征的方法中的积分图
图9为人脸检测器训练流程图；
图10为人脸识别算法流程图；
图11为LBP算子计算原理图；
图12为闭环PID控制系统原理框图；
图13为人脸跟踪模块活体检测原理框图。
具体实施方式
具体实施方式一：本实施方式所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，由于人与人之间的面部特征及呼吸时的速率强度均有一定的差异，因此本实施方式使用通过面部特征提取及基于FMCW雷达的呼吸状态特征提取的手段来实现面部跟踪识别中活体身份认证的功能。
首先通过FMCW雷达对测量物进行呼吸及心跳信号检测，当被测物具有呼吸及心跳信号后将对人脸进行检测，跟踪及特征提取，并通过FMCW雷达提取当前测量人员的呼吸信号特征，最后对提取的面部特征及人员呼吸特征分别与训练集的样本进行比对，当两部分的比对结果均为是时，则身份识别成功，若存在一个甚至多个不是，则识别失败。从而实现人员的身份识别。本实施方式在面部跟踪识别过程成功实现了活体身份认证功能，有效避免了欺骗手段，流程图如图2所示。
具体方法包括以下步骤：
步骤1：
利用FMCW雷达监测系统采集被测对象的呼吸及心跳信号，当采集到被测对象的呼吸及心跳信号时，同时执行步骤2a和步骤2b，否则结束身份认证。
高频段的毫米波雷达(76～81GHz)具有结构简单、体积小、成本低、功耗低的优点，能够应用到面部识别过程中，它能够检测出小至零点几毫米的移动，因此可以用来测量人体呼吸和心跳产生的微小振动。通过捕捉反射信号，毫米波雷达系统可以确定物体的距离、速度和角度，进而通过计算振动幅度和频率对心率和呼吸进行区分，实现对生命体征的非接触监测，从而实现对被测物的活体检测功能。
FMCW雷达进行呼吸及心跳信号提取时，雷达应对准人体胸部方向，距离在50-80cm左右。雷达根据呼吸和心率引起的体表震动幅度和频率的区别，可以利用不同频率的带通滤波器对其进行区分，具体的：首先，对被测生命体数据进行距离FFT变换；然后，将变换结果在距离库中匹配出相位并对相位进行解缠，进而计算出相位差信号，所述相位差信号为当前相位与前一时刻相位之差，所述距离库为含有生命体数据变换结果与相位对应关系的数据库；最后，对相位差信号进行带通滤波，区分出生命体的呼吸信号和心跳信号。
图3给出了基于FMCW雷达的生理信号监测系统的架构。首先利用合成器生成线性调频脉冲，并通过TX天线发射该线性调频脉冲。利用RX天线捕捉被测对象反射的线性调频脉冲。利用混频器将TX天线发射的线性调频脉冲与RX天线捕捉的线性调频脉冲合并，生成中频(IF)信号；依次对中频信号进行带通滤波和AD采样，再经处理器将数据封装为帧，以USB转串口的通信方式，将采集的数据发送到PC端进行通过FFT等方式数据处理，输出呼吸和心率两种生理信号的波形和频率。呼吸信号的频率为0.1Hz～0.5Hz，振幅为1mm～12mm；心跳信号的频率为0.8Hz～2Hz，振幅为0.1mm～0.5mm。
如果待测物体为非活物，即使由于外界环境造成震动，但由于其振动频率与呼吸及心跳频率相差很大，也无法提取出呼吸及心跳信号，进而无法被判定为活体，因此具有很强的可靠性。而当待测物为活体时，捕获的呼吸及心跳信号应处于一个正常范围(正常人呼吸每分钟在12次以上，心跳每分钟50次以上)，此时，则进行下一部分操作。
步骤2a：
分别利用VPD寻峰算法、归一化短时能量、HHT变换提取呼吸信号的特征，然后执行2a2。所述三种方法分别如下：
1、生理信号(心跳信号和呼吸信号)的处理通常涉及峰值检测及找到峰值间的间隔。峰值检测是在满足某些特性的信号中查找局部最大值的位置和幅度的过程。本实施方式使用了VPD寻峰算法，该算法通过循环消除了噪声和重音造成的所有虚假峰，直到两次连续迭代中的峰数目保持不变为止。如图4所示，利用VPD寻峰算法提取呼吸信号的特征的具体方法包括以下步骤：
步骤21：VPD寻峰算法的第一步是使用三点移动平均平滑滤波器处理信号，以增强信号分量；向前和向后应用滤波器，消除信号滤波产生的任何相移。
步骤22：检测所有波峰和波谷并确定其位置，给定生理信号时间序列： S(n)＝{s1，s2，s3，...，sN}，其中n＝1,2,...,N，N为生理信号的总数，则有：
波峰点表达式：P(n)＝S(n):S(n-1)<S(n)>S(n+1)，
波峰位置表达式：0p(k)＝n:S(n-1)<S(n)>S(n+1)，
波谷点表达式：V(n)＝S(n):S(n-1)>S(n)<S(n+1)，
波谷位置表达式：Lv(k)＝n:S(n-1)>S(n)<S(n+1)，
其中，k＝1,2,...,m，由于波峰和波谷一一对应，所以波峰和波谷的个数均由m表示。
在此阶段，需要确保VPD处理从波谷处开始。因此，判断呼吸信号中第一个波峰位置是否位于第一个波谷位置之后，是则执行步骤33，否则将第一个波峰丢弃，然后执行步骤23。
步骤23：从第一个波谷开始计算峰谷差异值VPD(k)：
VPD(k)＝P(k)-V(k)
P(k)表示波峰值，V(k)表示波谷值。
步骤24：在波峰个数为m时，在VPD(k)中搜索符合下式的波峰，并将该波峰丢弃，
VPD(k)<0.7*{VPD(k-1)+VPD(k)+VPD(k+1)}/3；
满足上式条件的实例判断为过度检测，因此从候选序列中删除了相应的峰值点和峰值点对应的位置。
步骤25：判断剩余波峰个数是否等于m，是则将剩余波峰值、波谷值及峰谷差异值作为呼吸信号的第一部分特征值；否则使m＝m-g，然后返回步骤24，其中g为步骤24中丢弃的波峰个数。此迭代步骤能够消除所有杂音峰和由于噪声和伪影而引起的波峰。
2、由于呼吸信号的能量随时间而变化，弱呼吸和强呼吸之间的能量有一定差别。因此，对呼吸信号的短时能量进行分析，可描述呼吸的这种特征变化情况。归一化可把数据映射到-1～1范围之内处理，消除不同实验者、不同呼吸模式呼吸信号幅值之间的差异。利用归一化短时能量提取呼吸信号的特征的具体方法为：
对呼吸信号进行归一化处理，归一化后呼吸信号的幅值x为：
其中，x0为呼吸信号的幅值，|x0|max为x0绝对值的最大值。
然后定义归一化后的呼吸信号如下：
其中，x为归一化后呼吸信号的幅值，xmax为x的最大值，xmin为x的最小值；
定义t时刻呼吸信号的短时能量Et：
其中，w(t)为窗函数，T为窗长，加窗可以减少呼吸帧的截断效应，r为卷积中间变量，由公式可得短时能量为一帧样点值的加权平方和。
特殊的，当窗函数选用窗长为4s的矩形窗，毫米波雷达每秒采样20个点，4秒采样80个点，即T＝80。应用的矩形窗公式w(t)为：
短时能量Et表达式能够改写为：
之后，分别计算所有时刻呼吸信号的短时能量的平均值和标准差，并作为呼吸信号的第二部分特征。
3、利用HHT变换提取呼吸信号的特征的具体方法为：
利用HHT变换提取呼吸信号的共轭正交变量，然后利用下式获得该共轭正交变量的解析信号z(t)：
z(t)＝x(t)+by(t)＝a(t)ejθ(t)
其中，a(t)为幅度，a(t)＝[x2(t)+y2(t)]1/2，θ(t)为相位，
a(t) 和θ(t)均为时间函数，t为时间。
当z(t)的频谱值Z(ω)符合下式：
则有解析信号z(t)的瞬时功率平均值<ω>：
<ω>＝∫ω|Z(ω)|2dω＝∫θ′(t)a2(t)dt，
此时，解析信号z(t)的瞬时功率ω为θ(t)的导数：
分别提取所有时刻瞬时功率ω的平均值、标准差和最小值，并作为呼吸信号的第三部分特征。
将被测对象呼吸信号的特征与呼吸样本集进行比对，判断样本集中是否存在该被测对象呼吸信号的特征，是则执行步骤三，否则结束身份认证，所述呼吸样本集中包括活体呼吸信号的特征。
步骤2b：
采集的被测对象图像为被测对象人脸正面图像，利用Adaboost级联分类算法对级联分类器进行训练，利用训练好的级联分类器对被测对象图像进行人脸检测。如图5所示，包括以下步骤：
步骤31：对被测对象图像进行灰度化处理，
步骤32：对灰度图像进行直方图均衡化处理，
步骤33：判断经过步骤32处理后的图像中是否存在人脸，是则在图像中标识出人脸，否则采集下一张被测对象图像并返回步骤31。
Adaboost是一种迭代算法，其算法核心为数据权值的不断更新与再分配，如图6所示。 Haar特征用于进行人脸检测中灰度图样本的特征提取，如图7所示为基本的Haar矩形特征。基于Haar特征的特征提取方法原理为：
用各种矩形特征覆盖图像上的特定区域，矩形特征的黑白区域将随着图像灰度值的变化而发生不同变化，Haar特征值N定义为图像灰度图中白色矩形像素之和∑wi与黑色矩形像素之和∑bj的差值，如下式所示：
N＝∑wi-∑bj。
在执行具体的检测任务过程中，每一级分类器对任一特定区域图像的特征提取都需要计算当前图像的特征值。如果提取所有的特征并进行特征值计算，此检测任务的计算量将会变得非常巨大，通过计算可得，在长度为m像素的子窗口中，满足条件的所有特征的数量可由如下式计算：
式中m表示图像子窗口的尺寸大小，s和t表示矩形特征的两个条件限制变量。下表1 列出了在不同类型的图像子窗口中包含的特征数量：
表1 不同窗口类型对应的特征数量
通过实验计算可以看到，一个24×24的图像子窗口内特征总量大约为16万个，因为训练分类器所使用的人脸样本集数量很大，矩形特征的个数非常多，如果对各种矩阵特征全部进行遍历计算将消耗大量的时间和资源，而且大部分都是在做重复性工作，这超出了小型嵌入式平台的性能上限，极大地降低了分类器的训练速度。所以，为了提高算法计算能力，提升人脸检测效率，利用积分图像快速计算Haar-like特征的方法，这种图像表示法只需要遍历图像一次就可以得到图像子窗口的全部特征值，检测效率很高。积分图通过图像左上角到该点的像素灰度值的积分来标定图中的每个位置。如图8为基础的积分图。
在实际应用中，特征矩阵中的任意点存储的数据是整个灰色区域的灰度值之和，而非 A点的灰度值。A点积分图计算公式为：
式中A(x,y)表示点在图像中的像素灰度值，取值区间为0-255。
通过训练可以得到一系列具有最小错误率的弱分类器，将这些弱分类进行线性组合与加权求和即可得到强分类器。一般最初得到的强分类器的误检率并不能达到理想的指标，但是由于分类器的误检率与训练次数成反比，因此只要适当增加训练次数就可达到希望的误检率指标，从而得到最终可以用于解决实际人脸检测问题的强分类器。如图9为人脸检测器训练流程图：
级联分类器为一系列具有不同阈值的不同样本种类强分类器的组合，在使用级联分类器检测样本时，并不是直接运用所有的弱分类器组合对样本进行“一次性”的分类工作，而是通过多层强分类器的筛选检测完成整体任务，只要检测到为非人脸样本便直接淘汰不再继续进行下一层次的筛查，因此能够在最短的时间内筛选并淘汰大量非人脸样本，减少大量不必要的运算任务，大大降低运算压力并提升检测效率。当检测结果为人脸图像时，继续执行以下步骤进行身份识别。
身份识别主要采用LBPH(局部二值模式直方图)方法，设计并实现基于LBP(局部二值模式)人脸识别算法完成针对人脸的身份鉴别功能。人脸检测与人脸识别是需要基于完全的不同思想来解决的两种问题，前者的核心思想是人脸特征的提取与二分类，而后者的核心思想是人脸特征的处理与概率比对，人脸识别是在人脸检测的基础上进行的。人脸检测算法的主要实现过程为：检测到人脸并对其进行实时的人脸特征采集与分析，将其人脸特征与已录入人脸样本数据库中的对应不同身份ID的人脸特征进行比对，若偏差小于可接受的最大偏差范围，则有一定的把握可以断定此人身份并输出对应的身份ID；若与所有库中特征的偏差均远大于最大偏差范围，则可以断定此人为外来未知人员。其中最大偏差范围关系到人脸识别结果的置信度，直接影响系统的可靠性，必须设置合理，过大则通过率低实用性下降，过高则误识率高可靠性下降。解决人脸识别问题的关键就是找到一个既轻量又能表征个体特征差异性的算子模型，在完成人脸检测的基础上通过人脸检测模块提取人脸特征，将此特征运用选择好的算子模型重新表达得到人脸差异性特征模型，再将此模型通过已训练好的人脸识别器与已录入样本库中的人脸样本特征模型进行差异性比对，得到具有一定置信度的识别结果。经典的人脸识别方法有：LBPH方法、Fisherfaces方法、EigenFishfaces方法等，其中LBPH(局部二值模式直方图)方法所使用的模型是LBP(局部二值模式)算子模型，LBP是一种高效的图像局部纹理描述算子。
基于LBP算子描述图像局部纹理的基本原理为：对某一像素点求LBP表征模型即将此像素点的灰度值作为标准值，用其周围的八个像素点灰度值与此标准值进行比较，大于标准值则输出1，小于标准值则输出0，用二进制码代表这八个像素点，将八位二进制数转化为十进制数输出并以此重新表征此像素点，而不再用像素灰度值作为其表征，这就是此点的LBP算子模型。较之像素灰度值表征法，LBP算子模型具有很强的个体差异性和局部纹理表示能力，轻量易于计算，对主控制器模块的计算性能要求低，而像素灰度值不仅没有纹理表达能力还会加大计算量，不适用于嵌入式平台系统的开发。如图11为LBP算子的计算原理图。
综上所述，本实施方式利用LBP算子模型对被测对象图像进行身份识别，并将识别结果与身份样本集进行比对，判断身份样本集中是否存在该识别结果，具体流程如图10所示。
具体的，提取被测对象图像中所有像素点的LBP编码，并利用LBP算子模型重新表征整幅被测对象图像，获得被测对象图像的统计直方图，将统计直方图作为被测对象图像的特征，利用相似性度量函数判断被测对象图像的特征与人脸特征实例模型之间的相似性，输出判断概率，完成对被测对象图像身份的识别。
基于LBP的图像特征表述法具有可分割性，即可以通过对图像的分割得到局部LBP特征向量，大大减少人脸没有正对摄像头而产生的识别误差。同时，可分割意味着可以人为得根据图像中不同区域对人脸识别的重要性而分配不同的权重，例如：可以增加对人脸识别最为重要的五官区域的权重，降低没有明显个体差异的额头和脸颊区域的权重，实现更高效简洁的人脸识别算法，在满足识别准确率指标的基础上突出重点，减少不必要的计算量。
在判断身份样本集中不存在识别结果时，结束身份认证。而在特殊场景下，为了进行欺骗，会出现将照片贴在脸上或用视频进行身份认证等手段。因此当判断身份样本集中存在识别结果时，还要通过云台舵机对人脸进行多角度识别。
传统PID控制系统原理如图12所示，r(t)是输入值，y(t)是系统的实际输出，系统可以是一个或多个比例环节、积分环节、微分环节的组合。将给定值与实际输出值取差值得到系统偏差：e(t)＝r(t)-y(t)，以此差值作为反馈变量反馈到系统输入端对系统进行控制，形成完整的闭环控制系统。PID控制中三个重要的参数：
(1)P(比例参数)：过小时系统响应速度慢，但输出基本无震荡现象；过大时系统响应速度快，但输出易伴有剧烈的高频振荡；
(2)I(积分参数)：适当调节P参数可以有效地消除系统的输出静差；
(3)D(微分参数)：减小最大超调量，调整参数可有效抑制振荡。
位置式PID控制规律公式为：
根据系统的应用准确度要求，考虑到避免积分误差累积饱和效应以及嵌入式平台的计算量负担，采用位置式PID控制来控制云台跟踪人脸。舵机云台实现人脸跟踪随动功能的核心是对人脸中心定位的获取，这里使用face_recognition函数库中的face_locations()函数，它能够返回一个元组类型的数据，即框选人脸矩形的四个顶点到图像右上顶点的像素距离，分别把上下和左右的像素距离取平均即得到脸中心的位置。考虑到本系统实现简易的人脸追踪功能即可，对追踪速度要求高而对锁定的精确度要求不高，所以可以将舵机的运转角度与人脸移动的距离近似的看作线性关系，即如下式所示：
α＝k×d
其中，k为比例系数，由视野角度和对应维度的像素点个数的商值决定。
云台由16路舵机控制板PCA9685、4409MG舵机、云台金属架构组成。两个舵机分别控制两个自由度的运动，配合云台架构形成两自由度舵机云台，适用于在本系统中实现对人脸跟踪随动的功能。同时，本系统也将毫米波雷达固定在云台上，且其位置在摄像头下方40cm处(由于正常情况下人脸中心于人体胸部距离约为40cm)，这样，在云台在进人脸跟踪的情况下，也能对人体胸部进行一定的跟踪。
具体的，在完成正面人脸识别后，云台以人脸中心为中心，摆动角度从其它方向进行人脸识别数据获取，与训练完毕的下方多角度人脸进行比对。即变换采集角度二次采集被测对象人脸非正面图像，利用级联分类器对被测对象人脸非正面图像进行人脸检测，当检测结果为人脸图像时执行步骤三，否则结束身份认证。如图13所示。
因为照片和视频是单一角度，无法对从下方角度进行的人脸识别进行欺骗，所以通过云台舵机进行多角度的人脸识别能够有效地预防照片或视频欺诈。
步骤3：
判断步骤2a2的判断结果和当步骤2b2的判断结果是否均为是，是则被测对象身份为真，否则被测对象身份为假。
通过这种判断方法，能够进一步实现面部识别时的活体身份认证，因为当使用照片，视频及3D模型等欺骗手段对面部识别系统进行欺骗时，由于被模仿者平稳状态下的呼吸特征无法被模仿，因此，呼吸特征识别结果为不存在，此时，身份识别为假，由此便实现了活体身份认证功能。
实现本实施方式的硬件示意图如图1所示，硬件部分主要由嵌入式平台、FMCW雷达监测系统、摄像头模块，舵机控制板PCA9685及金属舵机构成，其中嵌入式平台主要负责对信号的接收、发送、数据处理与分析，进行各个模块之间的调配协调，最终实现人脸跟踪识别的活体身份认证功能。摄像头模块主要负责对被测对象图像的感知记录，并将图像信息传输给嵌入式平台，进行后续的人脸检测、识别及跟踪功能。FMCW雷达监测系统的主要功能是实现对人体呼吸及心跳信号的非接触检测、并传送给嵌入式平台，从而实现活体检测及呼吸识别。而舵机控制板及金属舵机则是由嵌入式平台控制，进而实现对人脸及人体胸部的跟踪功能。
Claims (12)
1.基于FMCW雷达与人脸跟踪识别的活体身份认证方法，其特征在于，包括以下步骤：
步骤1：利用FMCW雷达监测系统采集被测对象的呼吸及心跳信号，当采集到被测对象的呼吸及心跳信号时，同时执行步骤2a1和步骤2b1，否则结束身份认证；
步骤2a1：分别利用VPD寻峰算法、归一化短时能量、HHT变换提取呼吸信号的特征，然后执行2a2，
步骤2a2：将被测对象呼吸信号的特征与呼吸样本集进行比对，判断样本集中是否存在该被测对象呼吸信号的特征，是则执行步骤三，否则结束身份认证，所述呼吸样本集中包括活体呼吸信号的特征；
步骤2b1：采集被测对象图像，利用级联分类器对被测对象图像进行人脸检测，当检测结果为人脸图像时执行步骤2b2，
步骤2b2：利用LBP算子模型对被测对象图像进行身份识别，并将识别结果与身份样本集进行比对，判断身份样本集中是否存在该识别结果，是则执行步骤三，否则结束身份认证，所述身份样本集中包括活体身份信息；
步骤3：判断步骤2a2的判断结果和当步骤2b2的判断结果是否均为是，是则被测对象身份为真，否则被测对象身份为假。
2.根据权利要求1所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，其特征在于，FMCW雷达监测系统采集被测对象的呼吸及心跳信号的方法为：
利用合成器生成线性调频脉冲，并通过TX天线发射该线性调频脉冲，利用RX天线捕捉被测对象反射的线性调频脉冲；
将TX天线发射的线性调频脉冲与RX天线捕捉的线性调频脉冲合并，生成中频信号；
依次对中频信号进行带通滤波和AD采样；
对采样后数据进行FFT变换，获得呼吸及心跳信号的波形和频率。
3.根据权利要求1所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，其特征在于，
呼吸信号的频率为0.1Hz～0.5Hz，振幅为1mm～12mm；
心跳信号的频率为0.8Hz～2Hz，振幅为0.1mm～0.5mm。
4.根据权利要求1所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，其特征在于，步骤2a1利用VPD寻峰算法提取呼吸信号的特征的具体方法包括以下步骤：
步骤21：利用三点移动平均平滑滤波器消除呼吸信号在滤波时产生的相移；
步骤22：判断呼吸信号中第一个波峰位置是否位于第一个波谷位置之后，是则执行步骤33，否则将第一个波峰丢弃，然后执行步骤33；
步骤23：从第一个波谷开始计算峰谷差异值VPD(k)：
VPD(k)＝P(k)-V(k)
其中，k＝1,2,...,m，波峰和波谷的个数均由m表示，P(k)表示波峰值，V(k)表示波谷值，
步骤24：在波峰个数为m时，在VPD(k)中搜索符合下式的波峰，并将该波峰丢弃，
VPD(k)<0.7*{VPD(k-1)+VPD(k)+VPD(k+1)}/3；
步骤25：判断剩余波峰个数是否等于m，是则将剩余波峰值、波谷值及峰谷差异值作为呼吸信号的第一部分特征；否则使m＝m-g，然后返回步骤24，其中g为步骤24中丢弃的波峰个数。
5.根据权利要求1所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，其特征在于，步骤2a1利用归一化短时能量提取呼吸信号的特征的具体方法为：
对呼吸信号进行归一化处理，然后定义归一化后的呼吸信号如下：
其中，x为归一化后呼吸信号的幅值，xmax为x的最大值，xmin为x的最小值；
定义t时刻呼吸信号的短时能量Et：
其中，w(t)为窗函数，T为窗长，r为卷积中间变量，
分别计算所有时刻呼吸信号的短时能量的平均值和标准差，并作为呼吸信号的第二部分特征。
6.根据权利要求5所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，其特征在于，对呼吸信号进行归一化处理，归一化后呼吸信号的幅值x为：
其中，x0为呼吸信号的幅值，|x0|max为x0绝对值的最大值。
7.根据权利要求5所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，其特征在于，当窗函数为矩形窗时，窗函数w(t)为：
短时能量Et表达式能够改写为：
8.根据权利要求1所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，其特征在于，步骤2a1利用HHT变换提取呼吸信号的特征的具体方法为：
利用HHT变换提取呼吸信号的共轭正交变量，然后利用下式获得该共轭正交变量的解析信号z(t)：
z(t)＝a(t)ejθ(t)
其中，a(t)为幅度，θ(t)为相位，t为时间，
当z(t)的频谱值Z(ω)符合下式：
则有z(t)的平均瞬时功率<ω>：
<ω>＝∫ω|Z(ω)|2dω＝∫θ'(t)a2(t)dt
此时，解析信号z(t)的瞬时功率ω为θ(t)的导数：
分别提取所有时刻瞬时功率ω的平均值、标准差和最小值，并作为呼吸信号的第三部分特征。
9.根据权利要求1所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，其特征在于，步骤2b2中，当身份样本集中存在身份识别结果时，进行以下步骤：
变换采集角度二次采集被测对象图像，利用级联分类器对二次采集的被测对象图像进行人脸检测，当检测结果为人脸图像时执行步骤三，否则结束身份认证。
10.根据权利要求9所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，其特征在于，步骤2b1中采集的被测对象图像为被测对象人脸正面图像，二次采集的被测对象图像为被测对象人脸非正面图像。
11.根据权利要求1所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，其特征在于，利用Adaboost级联分类算法对级联分类器进行训练，利用训练好的级联分类器对被测对象图像进行人脸检测的具体方法为：
步骤31：对被测对象图像进行灰度化处理，
步骤32：对灰度图像进行直方图均衡化处理，
步骤33：判断经过步骤32处理后的图像中是否存在人脸，是则在图像中标识出人脸，否则采集下一张被测对象图像并返回步骤31。
12.根据权利要求1所述的基于FMCW雷达与人脸跟踪识别的活体身份认证方法，其特征在于，步骤2b2中，利用LBP算子模型对被测对象图像进行身份识别的具体方法为：
提取被测对象图像中所有像素点的LBP编码，并利用LBP算子模型重新表征整幅被测对象图像，获得被测对象图像的统计直方图，将统计直方图作为被测对象图像的特征，利用相似性度量函数判断被测对象图像的特征与人脸特征实例模型之间的相似性，输出判断概率，完成对被测对象图像身份的识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011330703.2A CN112364808A (zh) | 2020-11-24 | 2020-11-24 | 基于fmcw雷达与人脸跟踪识别的活体身份认证方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011330703.2A CN112364808A (zh) | 2020-11-24 | 2020-11-24 | 基于fmcw雷达与人脸跟踪识别的活体身份认证方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112364808A true CN112364808A (zh) | 2021-02-12 |
Family
ID=74534122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011330703.2A Pending CN112364808A (zh) | 2020-11-24 | 2020-11-24 | 基于fmcw雷达与人脸跟踪识别的活体身份认证方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112364808A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220128A (zh) * | 2021-05-27 | 2021-08-06 | 齐喝彩(上海)人工智能科技有限公司 | 一种自适应智能交互方法、装置及电子设备 |
| CN113468494A (zh) * | 2021-06-16 | 2021-10-01 | 南京润楠医疗电子研究院有限公司 | 一种非接触式的基于心跳的用户身份连续认证方法与系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1924894A (zh) * | 2006-09-27 | 2007-03-07 | 北京中星微电子有限公司 | 多姿态人脸检测与追踪系统及方法 |
| CN102708383A (zh) * | 2012-05-21 | 2012-10-03 | 广州像素数据技术开发有限公司 | 一种多模态比对功能的活体人脸检测系统与方法 |
| CN103529436A (zh) * | 2013-10-12 | 2014-01-22 | 南京信息工程大学 | 基于hht的无接触生命探测中呼吸和心跳信号的分离及时频分析方法 |
| US20160183812A1 (en) * | 2014-12-24 | 2016-06-30 | Samsung Electronics Co., Ltd. | Biometric authentication method and apparatus |
| CN107590473A (zh) * | 2017-09-19 | 2018-01-16 | 杭州登虹科技有限公司 | 一种人脸活体检测方法、介质和相关装置 |
| US20190059786A1 (en) * | 2017-08-25 | 2019-02-28 | Baidu Online Network Technology (Beijing) Co., Ltd . | Living body detecting method and apparatus, device and computer storage medium |
| CN109446981A (zh) * | 2018-10-25 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 一种脸部活体检测、身份认证方法及装置 |
-
2020
- 2020-11-24 CN CN202011330703.2A patent/CN112364808A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1924894A (zh) * | 2006-09-27 | 2007-03-07 | 北京中星微电子有限公司 | 多姿态人脸检测与追踪系统及方法 |
| CN102708383A (zh) * | 2012-05-21 | 2012-10-03 | 广州像素数据技术开发有限公司 | 一种多模态比对功能的活体人脸检测系统与方法 |
| CN103529436A (zh) * | 2013-10-12 | 2014-01-22 | 南京信息工程大学 | 基于hht的无接触生命探测中呼吸和心跳信号的分离及时频分析方法 |
| US20160183812A1 (en) * | 2014-12-24 | 2016-06-30 | Samsung Electronics Co., Ltd. | Biometric authentication method and apparatus |
| US20190059786A1 (en) * | 2017-08-25 | 2019-02-28 | Baidu Online Network Technology (Beijing) Co., Ltd . | Living body detecting method and apparatus, device and computer storage medium |
| CN107590473A (zh) * | 2017-09-19 | 2018-01-16 | 杭州登虹科技有限公司 | 一种人脸活体检测方法、介质和相关装置 |
| CN109446981A (zh) * | 2018-10-25 | 2019-03-08 | 腾讯科技（深圳）有限公司 | 一种脸部活体检测、身份认证方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220128A (zh) * | 2021-05-27 | 2021-08-06 | 齐喝彩(上海)人工智能科技有限公司 | 一种自适应智能交互方法、装置及电子设备 |
| CN113468494A (zh) * | 2021-06-16 | 2021-10-01 | 南京润楠医疗电子研究院有限公司 | 一种非接触式的基于心跳的用户身份连续认证方法与系统 |
| CN113468494B (zh) * | 2021-06-16 | 2024-04-12 | 南京润楠医疗电子研究院有限公司 | 一种非接触式的基于心跳的用户身份连续认证方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220280087A1 (en) | Visual Perception-Based Emotion Recognition Method | |
| KR102367481B1 (ko) | 생체 인증 장치 및 방법 | |
| Monkaresi et al. | A machine learning approach to improve contactless heart rate monitoring using a webcam | |
| EP3478176B1 (en) | Method and apparatus for face detection/recognition systems | |
| US10380444B2 (en) | 3D mask face anti-spoofing with remote photoplethysmography | |
| Trabelsi et al. | Hand vein recognition system with circular difference and statistical directional patterns based on an artificial neural network | |
| CN112364808A (zh) | 基于fmcw雷达与人脸跟踪识别的活体身份认证方法 | |
| Patil et al. | A non-contact PPG biometric system based on deep neural network | |
| CN108446690A (zh) | 一种基于多视角动态特征的人脸活体检测方法 | |
| Raghavendra et al. | Hand dorsal vein recognition: Sensor, algorithms and evaluation | |
| US20230094411A1 (en) | Systems and methods of facial and body recognition, identification and analysis | |
| Wu et al. | Activity recognition from mobile phone using deep CNN | |
| Karmuse et al. | A robust rPPG approach for continuous heart rate measurement based on face | |
| Schuiki et al. | Improved liveness detection in dorsal hand vein videos using photoplethysmography | |
| CN112861588A (zh) | 一种活体检测的方法、装置 | |
| El-Barkouky et al. | Face detection at a distance using saliency maps | |
| Hammouche et al. | Toward a real time view-invariant 3d action recognition | |
| Chung et al. | Face detection and posture recognition in a real time tracking system | |
| CN114333075A (zh) | 动态手写签名识别方法、装置及电子设备 | |
| Yang et al. | Video-based human respiratory wavelet extraction and identity recognition | |
| Singh et al. | Real-time aerial suspicious analysis (asana) system for the identification and re-identification of suspicious individuals using the bayesian scatternet hybrid (bsh) network | |
| Huang et al. | A real-time recognition gait framework for personal authentication via image-based neural network: accelerated by feature reduction in time and frequency domains | |
| Devi et al. | High Speed Image Searching for Human Gait Feature Selection | |
| Aranjo et al. | Lie Detection Using Facial Analysis Electrodermal Activity Pulse and Temperature | |
| Sathishkumar et al. | A Biometric-Finger Vein Authentication System for Security Purpose using Deep Learning Technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |