CN111814738A - 基于人工智能的人脸识别方法、装置、计算机设备及介质 - Google Patents
基于人工智能的人脸识别方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN111814738A CN111814738A CN202010733205.6A CN202010733205A CN111814738A CN 111814738 A CN111814738 A CN 111814738A CN 202010733205 A CN202010733205 A CN 202010733205A CN 111814738 A CN111814738 A CN 111814738A
- Authority
- CN
- China
- Prior art keywords
- face
- skin color
- blood flow
- skin
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例属于人工智能领域,应用于智慧安防领域中,涉及一种基于人工智能的人脸识别方法,包括获取人脸视频;对人脸视频的人脸图像进行人脸识别,得到人脸图像中的肤色区域;根据肤色颜色对肤色区域进行分区,得到肤色分区;对肤色分区进行色调特征提取到血流时变信号特征;计算相位差,将相位差输入活体检测模型中进行活体人脸识别,得到识别结果。本申请还提供一种基于人工智能的人脸识别装置、计算机设备及存储介质。此外,本申请还涉及区块链技术,所述人脸视频和识别结果数据还存储于区块链中。采用本方法克服了现有技术中识别方式仅仅利用消耗的振幅信息,对信号中的噪音不够鲁棒,以至于识别的准确率较低的技术问题。
Description
技术领域
本申请涉及人工智能领域,特别是涉及一种基于人工智能的人脸识别方法、装置、计算机设备和存储介质。
背景技术
现在人脸识别应用于生活中的各个方面,比如智慧城市、智慧交通、智慧支付、考勤、账户登录等场景,但针对人脸识别系统漏洞的攻击也越来越多。早期人脸识别系统尚未完善的情况下,典型的攻击方式包括使用高清的人脸照片,随着人脸识别系统逐渐加入了活体验证功能,例如,张开嘴巴、眨眨眼睛等动作,静态人脸图像的人脸攻击不再有效。但近年来,利用高仿真面具的攻击开始出现,部分三维面具甚至用硅胶制作,能够精确反应被模仿人的面部三维结构特征以及肤色发色等细节,而且具有弹性,可眨眼睛或者展开嘴巴配合活体检测,给人脸识别系统的安全带来了很高的风险。
虽然,现有技术中也可以通过依赖浅显的生物物理特征判别活体和假体,比如利用远程光体积变化描述的方式来识别三维面具攻击,但是这种识别方式仅仅利用消耗的振幅信息,对信号中的噪音不够鲁棒,以至于识别的准确率较低。
发明内容
基于此,针对上述技术问题,本申请提供一种基于人工智能的人脸识别方法、装置、计算机设备及存储介质,以解决现有技术中对信号中的噪音不够鲁棒,以至于识别的准确率较低的技术问题。
一种基于人工智能的人脸识别方法,所述方法包括:
获取采集的人脸视频;
对所述人脸视频的人脸图像进行人脸识别,得到人脸图像中的肤色区域;
识别所述肤色区域的颜色,并根据所述颜色对所述肤色区域进行分区,得到多个肤色分区;
对所述肤色分区进行色调特征提取,得到所述肤色分区的血流时变信号特征,其中,血流时变信号特征是血流在肤色分区上引起的色调特征变化的表现;
提取所述血流时变信号特征的相位,并根据所述相位计算不同所述肤色分区的相位差;
将所述相位差输入活体检测模型中进行活体人脸识别,得到识别结果。
一种基于人工智能的人脸识别装置,所述装置包括:
识别模块,用于对所述人脸视频的人脸图像进行人脸识别,得到人脸图像中的肤色区域;
分区模块,用于识别所述肤色区域的颜色,并根据所述颜色对所述肤色区域进行分区,得到多个肤色分区;
提取模块,用于对所述肤色分区进行色调特征提取,得到所述肤色分区的血流时变信号特征,其中,血流时变信号特征是血流在肤色分区上引起的色调特征变化的表现;
计算模块,用于提取所述血流时变信号特征的相位,并根据所述相位计算不同所述肤色分区的相位差;
输出模块,用于将所述相位差输入活体检测模型中进行活体人脸识别,得到识别结果。
一种计算机设备,包括存储器和处理器,以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上基于人工智能的人脸识别方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于人工智能的人脸识别方法的步骤。
上述基于人工智能的人脸识别方法、装置、计算机设备和存储介质,通过根据肤色颜色对肤色区域进行分区,得到肤色分区;对肤色分区进行色调特征提取到血流时变信号特征;计算相位差,挖掘更深层次的生物物理信号,并进行基于相位差的信号分析,进行活体识别,克服了现有技术中识别方式仅仅利用消耗的振幅信息,对信号中的噪音不够鲁棒,以至于识别的准确率较低。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为基于人工智能的人脸识别方法的应用环境示意图;
图2为基于人工智能的人脸识别方法的流程示意图;
图3为基于人工智能的人脸识别方法另一实施例的流程示意图;
图4为基于人工智能的人脸识别装置的示意图;
图5为一个实施例中计算机设备的示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本申请的目的、技术方案及优点更加清楚明白,下面结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的基于人工智能的人脸识别方法,可以应用于如图1所示的应用环境中。其中,该应用环境可以包括终端102、网络以及服务端104,网络用于在终端102和服务端104之间提供通信链路介质,网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端102通过网络与服务端104交互,以接收或发送消息等。终端102上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端102可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务端104可以是提供各种服务的服务器,例如对终端102上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的基于人工智能的人脸识别方法一般由服务端/终端执行,相应地,基于人工智能的人脸识别装置一般设置于服务端/终端设备中。
本申请可应用于智慧安防领域中,从而推动智慧城市的建设。
应该理解,图1中的终端、网络和服务端的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
其中,终端102通过网络与服务端104进行通信。终端102可以采集人脸视频,然后通过网络将采集到的人脸视频发送到服务端104,服务端104对人脸视频中的人脸图像进行识别,得到肤色区域,然后再对其进行分区后得到多个分区,并求取不同分区的血流时变信号特征,将不同肤色分区的血流时变信号特征的相位差数据输入到活体检测模型中进行人脸识别,得到识别结果。其中,终端102和服务端104之间通过网络进行连接,该网络可以是有线网络或者无线网络,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务端104可以用独立的服务器或者是多个组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种基于人工智能的人脸识别方法,以该方法应用于图1中的服务端为例进行说明,包括以下步骤:
步骤202,获取采集的人脸视频。
本实施例可以通过人脸识别系统采集人脸视频,人脸识别系统以人脸识别技术为核心,可以用于人脸的采集和处理等操作。本实施例中的人脸识别系统主要用于人脸的采集。
采集到的人脸视频可能是假体人脸即高仿真人脸面具的人脸,也可能是活体人脸。
需要强调的是,为进一步保证上述人脸视频的私密和安全性,上述人脸视频还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
步骤204,对人脸视频的人脸图像进行人脸识别,得到人脸图像中的肤色区域。
本实施例可以使用opencv库中的cascade分类器对人脸进行识别。Opencv是一个基于BSD许可(开源)发行的跨平台计算机视觉库,同时提供了Python、Ruby、MATLAB等语言的接口,实现了图像处理和计算机视觉方面的很多通用算法。cascade分类器是Opencv里面自带的人脸识别的分类器。
具体的识别步骤为:
对人脸图像进行灰度处理,得到灰度图像。
即,读入人脸视频的每一帧人脸图像,对每一帧人脸图像进行灰度化处理,得到灰度图像。
再通过训练完成的人脸分类器对灰度图像中的人脸进行识别,得到包括人脸的方框坐标,其中,方框坐标中的区域为肤色区域。
其中,人脸分类器是cascade分类器中的正面人脸分类器,该人脸分类器会返回包含人脸的一个方框坐标,也就是人脸的肤色区域。cascade分类器中的正面人脸分类器使用哈尔小波检测人脸,计算量小。其他的例如基于深度神经网络的分类器就很慢了,因为计算很复杂,所以本实施例优选的使用cascade分类器。其中,小波变换的基本思想是用一组小波函数或者基函数表示一个函数或者信号,例如图像信号。
进一步地,为了提高计算效率,可以在前面的人脸图像中识别出人脸之后,采用dlib库中的landmark算法对人脸进行追踪,在后续的帧中迅速检测到人脸,并返回人脸方框坐标。其中,Dlib是一个包含机器学习算法的C++开源工具包,landmark是一种人脸部特征点提取的技术。通过这种方式无需重复对每一帧人脸图像中的人脸进行识别,快速追踪到后续人脸图像中的人脸,返回人脸方框坐标,提高识别效率。
步骤206,识别肤色区域的颜色,并根据颜色对肤色区域进行分区,得到多个肤色分区。
因为在视频录制过程中会出现因环境变化而造成的人脸阴影或颜色发生改变,从而导致识别不准确的情况。
所以本实施例可以通过分离噪声的方式将环境光的变化去除,具体地:
读取人脸图像中肤色区域的图形,并将其转换到HSV色彩空间;其中,可以利用OpenCV中的cvtColor函数将其转换成HSV色彩空间。
对HSV色彩空间的色调通道进行区间限定,提取肤色像素,并获取肤色像素的坐标,得到人脸坐标区域;
其中,色调通道是指H(色调)的通道,区间限定是指设定H通道的取值范围,然后提取出肤色像素。此外,可以通过计算每一肤色像素在人脸图像中的像素坐标,来确定人脸坐标区域。具体地,将RGB色彩空间转换到HSV色彩空间,其中,H为色调通道。皮肤的颜色在色调通道上有典型的分布带,比如白色带黄或棕或红,但很少有绿色蓝色橙色的皮肤,通过限定H通道上的取值范围即可实现肤色识别。
按照人脸器官对人脸坐标区域进行分区划分,得到划分后的肤色分区。
具体地,对前述得到的人脸坐标区域中的人脸区域,按器官比例的进行大致的划分,划分出若干区域,对应的,例如额头,左眼周围、右眼周围、左脸颊、右脸颊、唇部、下颌部等区域。
可选地,一般会对划分的区域个数进行限制,比如对可以独立检测出的额头、左脸、右脸、鼻部、下巴的人脸识别系统,那么可以将肤色区域划分为5个肤色分区。
一般来说,我们通过活体生物组织内的随心率变化的血流时变相位差特征来将其与假体区分开。因为血流沿着血管从心脏流到身体各个部分,受到血管走向的限制,是有一定顺序的,面部不同区域在一个心跳周期内,其颜色变化也有先后次序。然而,仅有活体人脸具有这样的特征,伪造的面具则没有这样的特征。
优选的,本实施例肤色分区的建议区域为额头、左眼周围,右眼周围,左脸颊,右脸颊,鼻部,唇部,下颌部分区域。
可选地,不仅可以通过根据人脸器官进行肤色分区,还可以通过对人脸坐标区域进行n*n的等比例划分,得到划分后的肤色分区,其中,n为正整数,n不小于2。
优选的,n为3。
血液从面部下方往上方流动,面部下方和上方的颜色变化存在一个微小的时差,表现为不同区域信号的相位差别。而面部上不同分区的血流引起的颜色变化也是不同的。比如人面颊温度通常高于鼻的温度,却低于唇的温度,不同温度所表现出的色调也有些微的差别,而这些差别是受血流影响。更重要的是人左右面部的温度也有些微的不同,然而,仅有活体人脸具有这样的特征,伪造的面具则没有这样的特征。而n为3时正好将人脸区域分为了9部分,比如左右额头、左右脸颊、左右下巴,这样得到的肤色分区更加精准,提高了后续识别的精确度。
本实施例是对方框进行3*3的等比例划分,将人脸划分为9个等面积区域,作为肤色分区。
进一步地,还可以对根据人脸器官或者n*n划分出的这些肤色分区,再进一步地细分肤色分区,以提高检测的精准度。
其中,在实现肤色区域识别时,因为人脸上的毛发、眼镜以及阴影区域不能保真地反映血流变化带来的皮肤颜色的变化,影响识别的精度,所以可以直接通过区间限定进行肤色识别过程中将其去除。也就是说在实现肤色区域识别过程中,也同时完成了通过肤色区域识别去除毛发、眼睛、阴影等非肤色区域的操作,提高识别精度的目的。
步骤208,对肤色分区进行色调特征提取,得到肤色分区的血流时变信号特征,其中,血流时变信号特征是血流在肤色分区上引起的色调特征变化的表现。
通过挖掘更深层次的生物物理信号,并进行基于相位差的信号分析,进行活体识别,从而将真正的活体生物组织和面具区分开。
计算每帧人脸图像中每一肤色分区内肤色像素的色调值的平均值,作为色调标量,得到每一个肤色分区的色调标量随帧变化的血流时变信号特征。
此外还可以通过中值滤波器或者去噪滤波器得到每帧人脸图像中肤色分区的色调标量,但本实施例,优选的通过计算肤色像素的色调值的平均值来获取肤色分区的色调标量,得到血流时变信号特征。
对每一个肤色区域内所有肤色像素的H值求均值,这样,每一帧的每一个区域提取出一个色调标量;对所有帧处理完成之后,得到每一个区域色调标量随帧变化的向量c,即血流时变信号。
步骤210,提取血流时变信号特征的相位,并根据相位计算不同肤色分区的相位差。
一般来说,我们通过活体生物组织内的随心率变化的血流时变相位差特征来将其与假体区分开。因为血流沿着血管从心脏流到身体各个部分,受到血管走向的限制,是有一定顺序的,面部不同区域在一个心跳周期内,其颜色变化也有先后次序。然而,仅有活体人脸具有这样的特征,伪造的面具则没有这样的特征。
通常的,血液从面部下方往上方流动,面部下方和上方的颜色变化存在一个微小的时差,表现为不同区域信号的相位差别(在常用的傅里叶域,时差表现为相位差)。
所以,不同肤色分区具有血流方向带来的颜色变化之间的微小时差。
其中,获取到的血流时变信号特征可以用c(i)表示。
c(1),c(2),…c(n),其中c(i)为面部肤色区域的血流时变信号特征的向量,每个c(i)向量的长度为指定采集时间内的帧数,例如帧速率为24帧/秒,采集时间为10秒,则帧数为240帧,c向量的长度为240,i从1到n,n为面部肤色区域的个数。
p(1),p(2),…p(N),其中p(i)为两个肤色区域的c向量之间的差值,即c(i)c(j)之间的相位差,i从1到N,其中N=n(n-1)/2。
p向量由p(a),p(b)两个子向量拼接组成,p(a)和p(b)的长度和c(i),c(j)向量等长,并有下述关系:
F(c(j))=p(a)exp(jwp(b))*F(c(i)),其中F为傅里叶变换,j为虚数单位,w为圆周频率,p向量是由不同肤色分区的血流时变信号特征的时间差引起来的,在傅里叶分析域中体现为相位差。通过等式左右两边做元素除法,即可得到p(a)和p(b),从而得到p向量,即相位差。其中,所谓向量拼接为两个向量组合在一起作为一个向量。
步骤212,将相位差输入活体检测模型中进行活体人脸识别,得到识别结果。
在将得到的相位差p向量输入到活体检测模型中进行活体人脸识别之前,还需要对活体检测模型进行训练。
一般地,需要收集正、负面部样本对应的血流时变信号的相位差特征,其中,正面部样本为活体人脸,负面部样本为佩戴面具的人脸;
然后将相位差特征输入到待训练活体检测模型中,正负样本的各种特征向量及人工标注的标签输入待训练活体检测模型中,进行训练,得到训练好的活体检测模型,即可用于未知样本的分类,标签标注人脸视频中的人脸是活体人脸还是三维面具人脸。
具体地,收集正面部样本、负面部样本,其中,正面部样本、负面部样本都包括样本标签以指示样本的类别;
提取正面部样本、负面部样本的特征向量c、p;将提取到的特征向量和样本标签输入到待训练模型中,进行训练,直到模型收敛,得到活体检测模型。
具体地,收集正面部样本,即真实人脸的视频,视频采集的帧率需固定,并将视频分割成等时长的视频片段。提取特征向量c和p,作为正面样本。典型的分割长度为10-20秒,典型帧率在每秒15-30帧之间。
收集负面部样本,即带面具或者其他遮挡的视频时,采集的帧率与正面部样本需保持一致。其中,考虑到高仿真硅胶面具的难以获得性,可以使用普通的半透明到不透明的塑料膜/面膜/硅胶膜遮挡人脸。将视频分割成等时长的视频片段。
然后提取特征向量c和p,作为正面样本。正、负面部样本收集越多,模型的预期效果就越好,不同的模型对于样本的数量要求也不同。
以简单的逻辑回归模型为例,总计1000个正负样本(正负样本比例不可过于悬殊)可取得较好的结果。
将正、负面部样本的特征向量和标签(例如正样本为1,负样本为0)输入到分类器/待训练的活体检测模型中,训练分类器/待训练的活体检测模型(例如使用分类器的fit函数),得到分类模型。
训练完成后,将未知视频片段(需要和训练样本视频片段等帧率,等时长),将其输入到待训练的活体检测模型中,活体检测模型会给出一个标签输出(0或者1),即可判断此视频片段为真人活体的视频还是带面具拍摄的视频。
为进一步保证上述人脸视频的私密和安全性,上述识别结果还可以存储于一区块链的节点中。
上述基于人工智能的人脸识别方法中,考虑到三维面具非活体生物组织,不具有活体生物组织的众多特征,在本实施例中,我们称其为“假体”。目前的人脸识别系统中配置的活体检测,多是基于假体不能动的假设,通过张开嘴巴、睁开眼睛等动作来区分活体和照片/面具等假体。然而对于高仿真的硅胶三维面具来说,“假体不能动”的假设不再成立,冒名顶替者戴上硅胶三维面具依然可以自如的做各种面部表情动作。从生物物理的角度来说,“假体不能动”是一种比较浅层的活体特征,对于区分真正的活体生物组织和假体来说,这个特征的区分度不够显著。所以通过本实施例根据肤色颜色对肤色区域进行分区,得到肤色分区;对肤色分区进行色调特征提取到血流时变信号特征;计算相位差,挖掘更深层次的生物物理信号,并进行基于相位差的信号分析,进行活体识别,克服了现有技术中识别方式仅仅利用消耗的振幅信息,对信号中的噪音不够鲁棒,以至于识别的准确率较低。
在一个实施例中,如图3所示,在步骤208之前,还包括:
步骤302,将血流时变信号特征变换为小波域。本实施例是小波变换进行特征变换,具体地,可以通过Matlab时频分析或者Python实现。
步骤304,根据血流时变信号特征的信噪比选择小波域的小波阈值。信噪比主要依赖人脸视频质量,小波阈值选取通常通过保留小波系数的比例来计算,比如对于高质量的人脸视频,选择保留98%的小波系数,对于低质量的人脸视频,选择保留90%的小波系数。将小波系数按大小排序,选择比例保留时对应的临界值即为小波阈值。
步骤306,通过小波阈值对小波系数进行软阈值去噪。其中,软阈值是将信号的绝对值和阈值进行比较,小于阈值的点置为零,大于或等于阈值的点则向零收缩,变为该点值与阈值之差的去噪方法。步骤308,将去噪后的小波系数进行逆小波变换,得到去噪后的血流时变信号特征。
小波变换是一种信号的时间——尺度(时间——频率)分析方法,它具有多分辨分析的特点,而且在时频两域都具有表征信号局部特征的能力,是一种窗口大小固定不变但其形状可改变,时间窗和频率窗都可以改变的时频局部化分析方法。即在低频部分具有较低的时间分辨率和较高的频率分辨率,在高频部分具有较高的时间分辨率和较低的频率分辨率,很适合于分析非平稳的信号和提取信号的局部特征。可选地,除了小波去噪,还可以使用中值滤波等简单去噪方式,时间分辨率会受影响。
基于上述实施例中得到的肤色分区:
对每一个肤色区域内所有肤色像素的H值求均值,这样,每一帧的每一个区域提取出一个色调标量;对所有帧处理完成之后,得到每一个区域色调标量随帧变化的向量c,即血流时变信号。
本实施例通过小波去噪的方式对血流时变信号特征进行去噪,提高了对信号的鲁棒性,提高了对活体人脸识别的精准度。
应该理解的是,虽然图2-图3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种基于人工智能的人脸识别装置,该基于人工智能的人脸识别装置与上述实施例中基于人工智能的人脸识别方法一一对应。该基于人工智能的人脸识别装置包括:
获取模块402,用于获取采集的人脸视频;
识别模块404,用于对人脸视频的人脸图像进行人脸识别,得到人脸图像中的肤色区域;
分区模块406,用于识别肤色区域的颜色,并根据颜色对肤色区域进行分区,得到多个肤色分区;
提取模块408,用于对肤色分区进行色调特征提取,得到肤色分区的血流时变信号特征,其中,血流时变信号特征是血流在肤色分区上引起的色调特征变化的表现;
计算模块410,用于提取血流时变信号特征的相位,并根据相位计算不同肤色分区的相位差;
输出模块412,用于将相位差输入活体检测模型中进行活体人脸识别,得到识别结果。
需要强调的是,为进一步保证上述人脸视频的私密和安全性,上述人脸视频还可以存储于一区块链的节点中。
进一步地,识别模块404,包括:
灰度子模块,用于对人脸图像进行灰度处理,得到灰度图像;
识别子模块,用于使用训练完成的人脸分类器对灰度图像中的人脸进行识别,得到包括人脸的方框坐标,其中,方框坐标中的区域为肤色区域。
进一步地,分区模块406,包括:
转换子模块,用于读取人脸图像中肤色区域的图形,并将其转换到HSV色彩空间;
提取子模块,用于对HSV色彩空间的色调通道进行区间限定,提取肤色像素,并获取肤色像素的坐标,得到人脸坐标区域;
第一划分子模块,用于按照人脸器官对人脸坐标区域进行分区划分,得到划分后的肤色分区。
进一步地,还包括:
第二分区子模块,用于对人脸坐标区域进行n*n的等比例划分,得到划分后的肤色分区,其中,n为正整数,n不小于2。
进一步地,在计算模块410之前,还包括,去噪模块,去噪模块包括:
变换子模块,用于将血流时变信号特征变换为小波域;
选择子模块,用于根据血流时变信号特征的信噪比选择小波域的小波阈值;
去噪子模块,用于通过小波阈值对小波系数进行软阈值去噪;
逆转子模块,用于将去噪后的小波系数进行逆小波变换,得到去噪后的血流时变信号特征。
上述基于人工智能的人脸识别装置中,考虑到三维面具非活体生物组织,不具有活体生物组织的众多特征,在本实施例中,我们称其为“假体”。目前的人脸识别系统中配置的活体检测,多是基于假体不能动的假设,通过张开嘴巴、睁开眼睛等动作来区分活体和照片/面具等假体。然而对于高仿真的硅胶三维面具来说,“假体不能动”的假设不再成立,冒名顶替者戴上硅胶三维面具依然可以自如的做各种面部表情动作。从生物物理的角度来说,“假体不能动”是一种比较浅层的活体特征,对于区分真正的活体生物组织和假体来说,这个特征的区分度不够显著。所以通过本实施例挖掘更深层次的生物物理信号,并进行基于相位差的信号分析,进行活体识别,克服了现有技术中识别方式仅仅利用消耗的振幅信息,对信号中的噪音不够鲁棒,以至于识别的准确率较低。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储人脸视频。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的人脸识别方法。通过本实施例挖掘更深层次的生物物理信号,并进行基于相位差的信号分析,进行活体识别,克服了现有技术中识别方式仅仅利用消耗的振幅信息,对信号中的噪音不够鲁棒,以至于识别的准确率较低。
其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中基于人工智能的人脸识别方法的步骤,例如图2所示的步骤202至步骤212,或者,处理器执行计算机程序时实现上述实施例中基于人工智能的人脸识别装置的各模块/单元的功能,例如图4所示模块402至模块412的功能。
通过本实施例挖掘更深层次的生物物理信号,并进行基于相位差的信号分析,进行活体识别,克服了现有技术中识别方式仅仅利用消耗的振幅信息,对信号中的噪音不够鲁棒,以至于识别的准确率较低。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形、改进或者对部分技术特征进行等同替换,而这些修改或者替换,并不使相同技术方案的本质脱离本发明个实施例技术方案地精神和范畴,都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于人工智能的人脸识别方法,其特征在于,所述方法包括:
获取采集的人脸视频;
对所述人脸视频的人脸图像进行人脸区域识别,得到人脸图像中的肤色区域;
识别所述肤色区域的颜色,并根据所述颜色对所述肤色区域进行分区,得到多个肤色分区;
对所述肤色分区进行色调特征提取,得到所述肤色分区的血流时变信号特征,其中,血流时变信号特征是血流在肤色分区上引起的色调特征变化的表现;
提取所述血流时变信号特征的相位,并根据所述相位计算不同所述肤色分区的相位差;
将所述相位差输入活体检测模型中进行活体人脸识别,得到识别结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述人脸视频的人脸图像进行人脸区域识别,得到人脸图像中的肤色区域,包括:
对所述人脸图像进行灰度处理,得到灰度图像;
使用训练完成的人脸分类器对所述灰度图像中的人脸区域进行识别,得到包括人脸的方框坐标,其中,所述方框坐标中的区域为所述肤色区域。
3.根据权利要求2所述的方法,其特征在于,所述使用训练完成的人脸分类器对所述灰度图像中的人脸区域进行识别之后,还包括:
采用dlib库中的landmark算法,对人脸识别后的人脸图像之后人脸图像中的人脸进行追踪,检测到人脸,并返回人脸的方框坐标。
4.根据权利要求1所述的方法,其特征在于,所述识别所述肤色区域的颜色,并根据所述颜色对所述肤色区域进行分区,得到多个肤色分区,包括:
读取所述人脸图像中肤色区域的图形,并将其转换到HSV色彩空间;
对HSV色彩空间的色调通道进行区间限定,提取肤色像素,并获取肤色像素的坐标,得到人脸坐标区域;
按照人脸器官对所述人脸坐标区域进行分区划分,得到划分后的所述肤色分区。
5.根据权利要求1所述的方法,其特征在于,所述识别所述肤色区域的颜色,并根据所述颜色对所述肤色区域进行分区,得到多个肤色分区,包括:
读取所述人脸图像中肤色区域的图形,并将其转换到HSV色彩空间;
对HSV色彩空间的色调通道进行区间限定,提取肤色像素,并获取肤色像素的坐标,得到人脸坐标区域;
对所述人脸坐标区域进行n*n的等比例划分,得到划分后的所述肤色分区,其中,所述n为正整数,n不小于2。
6.根据权利要求1所述的方法,其特征在于,所述对所述肤色分区进行色调特征提取,得到所述肤色分区的血流时变信号特征,包括:
计算每帧人脸图像中每一所述肤色分区内肤色像素的色调值的平均值,作为色调标量,得到每一个肤色分区的色调标量随帧变化的所述血流时变信号特征。
7.根据权利要求1所述的方法,其特征在于,在所述提取所述血流时变信号特征的相位之前,包括:
将所述血流时变信号特征变换为小波域;
根据所述血流时变信号特征的信噪比选择所述小波域的小波阈值;
通过所述小波阈值对小波系数进行软阈值去噪;
将去噪后的小波系数进行逆小波变换,得到去噪后的所述血流时变信号特征。
8.一种基于人工智能的人脸识别装置,其特征在于,包括:
获取模块,用于获取采集的人脸视频;
识别模块,用于对所述人脸视频的人脸图像进行人脸识别,得到人脸图像中的肤色区域;
分区模块,用于识别所述肤色区域的颜色,并根据所述颜色对所述肤色区域进行分区,得到多个肤色分区;
提取模块,用于对所述肤色分区进行色调特征提取,得到所述肤色分区的血流时变信号特征,其中,血流时变信号特征是血流在肤色分区上引起的色调特征变化的表现;
计算模块,用于提取所述血流时变信号特征的相位,并根据所述相位计算不同所述肤色分区的相位差;
输出模块,用于将所述相位差输入活体检测模型中进行活体人脸识别,得到识别结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010733205.6A CN111814738A (zh) | 2020-07-27 | 2020-07-27 | 基于人工智能的人脸识别方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010733205.6A CN111814738A (zh) | 2020-07-27 | 2020-07-27 | 基于人工智能的人脸识别方法、装置、计算机设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111814738A true CN111814738A (zh) | 2020-10-23 |
Family
ID=72862696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010733205.6A Pending CN111814738A (zh) | 2020-07-27 | 2020-07-27 | 基于人工智能的人脸识别方法、装置、计算机设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111814738A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112381065A (zh) * | 2020-12-07 | 2021-02-19 | 福建天创信息科技有限公司 | 一种人脸定位的方法及终端 |
CN114445925A (zh) * | 2022-04-11 | 2022-05-06 | 深圳市润璟元信息科技有限公司 | 一种能够自动载入和删除的面部识别智能考勤系统 |
-
2020
- 2020-07-27 CN CN202010733205.6A patent/CN111814738A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112381065A (zh) * | 2020-12-07 | 2021-02-19 | 福建天创信息科技有限公司 | 一种人脸定位的方法及终端 |
CN112381065B (zh) * | 2020-12-07 | 2024-04-05 | 福建天创信息科技有限公司 | 一种人脸定位的方法及终端 |
CN114445925A (zh) * | 2022-04-11 | 2022-05-06 | 深圳市润璟元信息科技有限公司 | 一种能够自动载入和删除的面部识别智能考勤系统 |
CN114445925B (zh) * | 2022-04-11 | 2022-07-22 | 深圳市润璟元信息科技有限公司 | 一种能够自动载入和删除的面部识别智能考勤系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108701216B (zh) | 一种人脸脸型识别方法、装置和智能终端 | |
Yuan et al. | Fingerprint liveness detection using an improved CNN with image scale equalization | |
Dibeklioğlu et al. | Combining facial dynamics with appearance for age estimation | |
CN107330408B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
WO2019100282A1 (zh) | 一种人脸肤色识别方法、装置和智能终端 | |
CN107333071A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
WO2019014813A1 (zh) | 一种定量检测人脸肤质参量的方法、装置和智能终端 | |
CN109389076B (zh) | 图像分割方法及装置 | |
CN111222380B (zh) | 一种活体检测方法、装置、及其识别模型训练方法 | |
CN113920568B (zh) | 基于视频图像的人脸和人体姿态情绪识别方法 | |
WO2019014814A1 (zh) | 一种定量检测人脸抬头纹的方法和智能终端 | |
CN111814738A (zh) | 基于人工智能的人脸识别方法、装置、计算机设备及介质 | |
Sabharwal et al. | Recognition of surgically altered face images: an empirical analysis on recent advances | |
CN107256543A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
Monwar et al. | Pain recognition using artificial neural network | |
CN107346419A (zh) | 虹膜识别方法、电子装置和计算机可读存储介质 | |
CN107483636A (zh) | 用于推送信息的方法和装置 | |
CN113128373A (zh) | 基于图像处理的色斑评分方法、色斑评分装置及终端设备 | |
CN112818899A (zh) | 人脸图像处理方法、装置、计算机设备和存储介质 | |
CN109784157B (zh) | 一种图像处理方法、装置及系统 | |
KR102495889B1 (ko) | 반자동 라벨링에 따라 학습된 딥러닝 기반 주름 검출 모델을 이용하여 얼굴 주름을 검출하기 위한 방법 및 장치 | |
CN110675312A (zh) | 图像数据处理方法、装置、计算机设备以及存储介质 | |
CN115953822A (zh) | 一种基于rPPG生理信号的人脸视频鉴伪方法和装置 | |
Nath et al. | Lip contour extraction scheme using morphological reconstruction based segmentation | |
Hsu et al. | Extraction of visual facial features for health management |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |