CN111259831B - 基于重组颜色空间的虚假人脸判别方法 - Google Patents

基于重组颜色空间的虚假人脸判别方法 Download PDF

Info

Publication number
CN111259831B
CN111259831B CN202010063711.9A CN202010063711A CN111259831B CN 111259831 B CN111259831 B CN 111259831B CN 202010063711 A CN202010063711 A CN 202010063711A CN 111259831 B CN111259831 B CN 111259831B
Authority
CN
China
Prior art keywords
color
layer
color space
space
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010063711.9A
Other languages
English (en)
Other versions
CN111259831A (zh
Inventor
张锋
党晨
冯晓毅
张浩浩
王豪
冯硕阳
蒋晓悦
夏召强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010063711.9A priority Critical patent/CN111259831B/zh
Publication of CN111259831A publication Critical patent/CN111259831A/zh
Application granted granted Critical
Publication of CN111259831B publication Critical patent/CN111259831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于重组颜色空间的虚假人脸判别方法，根据2D图像选择不同颜色空间中对虚假人脸检测最有效的颜色通道构成重组颜色空间，然后通过神经网络训练权重矩阵确定重组颜色空间的颜色通道的构成比重，通过分类网络完成虚假人脸判别。本发明不依赖图像深度信息，相较3D图像方法降低设备要求和部署成本，相较2D图像方法判别效果好，本发明在普通2D摄像头的支持下运行，降低了算法的部署成本。

Description

基于重组颜色空间的虚假人脸判别方法
技术领域
本发明涉及图像处理领域，尤其是一种对抗虚假人脸入侵的判别方法。
背景技术
近年来，虚假人脸判别算法广泛地应用在人脸识别系统中，甄别盗用他人生物特征信息的不法分子，以提高人脸识别系统的安全性、稳定性。虚假人脸判别算法通常分为：基于3D图像的虚假人脸判别算法和基于2D图像的虚假人脸判别算法。目前市场上基于3D图像的虚假人脸判别算法采用3D摄像头采集人脸图像，通过结构光、激光雷达测距或双目摄像头获取人脸图像的深度信息，从而分辨出基于照片或视频回放的虚假人脸入侵。另外，文献1“Boulkenafet Z,Komulainen J,Hadid A.Face Spoofing Detection Using ColourTexture Analysis[J].IEEE Transactions on Information Forensics and Security,2016,11(8):1-1”提出提取2D图像的RGB、HSV、YCbCr以及它们直接级联的颜色特征，然后进行虚假人脸判别。文献1中3D图像判别效果较好，但严重依赖图像深度信息，从而导致算法对图像采集设备要求很高，整个系统的成本较高。另外，文献1中的2D图像方法没有打破不同颜色空间的界限选择最有效的颜色通道组合。
发明内容
为了克服现有技术的不足，本发明提供一种基于重组颜色空间的虚假人脸判别方法，提出了一种基于重组颜色空间的虚假人脸判别方法，根据2D图像选择不同颜色空间中对虚假人脸检测最有效的颜色通道构成重组颜色空间，然后通过神经网络训练权重矩阵确定重组颜色空间的颜色通道的构成比重，通过分类网络完成虚假人脸判别。
本发明解决其技术问题所采用的技术方案是包括以下步骤：
步骤1：首先将RGB颜色空间的人脸图像映射到HSV、YCbCr、Lab颜色空间，选择HSV、YCbCr以及Lab三个颜色通道中反应蓝色或者偏蓝色分量的通道H、S、Cb和b，根据公式(1)、(2)、(3)和(7)分别计算得到HSV空间的H、S通道，YCbCr的Cb通道和Lab的b通道，进而构成重组颜色空间：
Figure BDA0002375315100000021
Figure BDA0002375315100000022
Cb＝-0.148R-0.291G+0.439B+128 (3)
由于Lab空间不能由RGB空间直接得到，先由RGB空间转换到XYZ模式，再从XYZ模式转换到Lab，相应公式如下：
X＝0.4125R+0.3576G+0.1805B (4)
Y＝0.2126R+0.7122G+0.0752B (5)
Z＝0.0193R+0.1192G+0.9505B (6)
Figure BDA0002375315100000023
其中，R、G、B分别代表RGB图像3个通道的像素值，公式(1)、(2)、(3)和(7)分别计算重组颜色空间的H、S、Cb和b四个通道，f(·)为一个分段函数，计算公式为
Figure BDA0002375315100000024
步骤2：在网络中加入权重矩阵的学习，权重矩阵的计算公式如下：
Figure BDA0002375315100000025
其中，神经网络在卷积层之前增加了一个权重层，权重层通过网络学习四个颜色通道的权重分配，步骤1得到的颜色特征经过加权处理以后输入到卷积层Conv1到Conv3进行初步特征提取，经过池化层P1以后，通过Conv4到Conv5进一步提取特征，再次进过池化层P2，全连接层FC1初步分类，全连接层FC2进行二分类，得到最终的分类结果。
其中，卷积核大小全部是3×3，卷积层的激活函数是ReLU，池化层窗口大小为2×2，每次池化以后对四分之一的神经元进行dropout处理，第一次全连接层后对二分之一的神经元进行dropout处理，避免数据过拟合；FC1的激活函数选用ReLU，FC2的全连接层选用softmax作为激活函数。
本发明的有益效果在于本发明不依赖图像深度信息，相较3D图像方法降低设备要求和部署成本，相较2D图像方法判别效果好。根据提出的重合颜色空间映射公式可以看出，该本发明在普通2D摄像头的支持下运行，降低了算法的部署成本。活体检测模块在公开的Replay-Attack数据集上进行了测试，以其中划分好的训练集和测试集训练和测试，相对于文献1的2D图像方法，本发明提出的虚假人脸判别方法在Replay-Attack数据库得到的等错误率(EER,Equal Error Rate)降低到了0.3％，平均错误率(HTER,Half-Total ErrorRate)降低到了1.5％。
附图说明
图1是本发明提出的颜色通道加权的神经网络结构图。
图2是本发明提出的基于重组颜色空间的虚假人脸判别方法的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明打破不同颜色空间的界限，根据皮肤表皮层的生物特性从不同的颜色空间中选择对虚假人脸判别最有效的颜色通道，得到重组颜色空间，并且通过网络训练的方式自适应的学习重组颜色空间中不同颜色通道的权重，剔除冗余信息，提高颜色信息的利用效率。根据2D摄像头采集到的人脸图像进行虚假人脸判别，将最终的判别结果返回给用户。本发明利用重组颜色空间，通过2D图像进行训练，摆脱了虚假人脸判别算法对人脸图像深度信息的依赖，仅通过2D图像就可进行虚假人脸判别，精度较高。
本发明提出了基于2D图像的虚假人脸判别方法，选择不同颜色空间下最有效的颜色通道构成重组颜色空间，并通过网络学习的方式自适应的学习不同颜色通道的权重，提高颜色信息的利用效率，以解决现有虚假人脸判别算法依赖深度图像、对图像采集设备要求高，且难以在嵌入式上面运行的问题。
如图2所示，本发明提出的基于重组颜色空间的虚假人脸判别方法的具体步骤如下：
(1)选择颜色通道构成重组颜色空间
步骤1：首先将RGB颜色空间的人脸图像映射到HSV、YCbCr、Lab颜色空间，皮肤表层中含有大量血红色素，使得波长在450～480nm范围内光的反射强度发生大幅度降低，但是照片等攻击手段不具备这样的特性。蓝色光波处于440～475nm，选择HSV、YCbCr以及Lab这三个颜色通道中反应蓝色或者偏蓝色分量的通道H、S、Cb和b构成，重组颜色空间可以有效提高判别算法性能。根据公式(1)、(2)、(3)和(7)分别计算得到HSV空间的H、S通道，YCbCr的Cb通道和Lab的b通道，进而构成重组颜色空间：
Figure BDA0002375315100000041
Figure BDA0002375315100000042
Cb＝-0.148R-0.291G+0.439B+128 (3)
由于Lab空间不能由RGB空间直接得到，先由RGB空间转换到XYZ模式，再从XYZ模式转换到Lab，相应公式如下：
X＝0.4125R+0.3576G+0.1805B (4)
Y＝0.2126R+0.7122G+0.0752B (5)
Z＝0.0193R+0.1192G+0.9505B (6)
Figure BDA0002375315100000043
其中，R、G、B分别代表RGB图像3个通道的像素值，公式(1)、(2)、(3)和(7)分别表示重组颜色空间的H、S、Cb和b四个通道，f(·)为一个分段函数，计算公式为
Figure BDA0002375315100000051
(2)颜色通道加权
根据皮肤表层对特定光波的吸收特性，选择HSV空间的H、S通道，YCbCr的Cb通道以及Lab的b通道这四个蓝色或偏蓝色通道通过直接级联的方式输入分类器可以得到较好的判别结果。但是，考虑到这些颜色通道均由RGB颜色空间转化而来存在一定的信息冗余，在分类网络之前加入权重学习层，通过网络学习各个颜色通道的权值，提高颜色信息的利用效率，进一步提高算法性能。颜色特征加权通过以下公式(8)实现：
Figure BDA0002375315100000052
颜色通道加权神经网络的具体结构如图1所示，颜色特征经过加权处理以后输入到卷积层Conv1到Conv3进行初步特征提取，经过池化层P1以后，通过Conv4到Conv5进一步提取特征，,再次进过池化层P2，全连接层FC1初步分类，全连接层FC2进行二分类，得到最终的分类结果。卷积核大小全部是3×3,卷积层的激活函数是ReLU，池化层窗口大小为2×2，每次池化以后对四分之一的神经元进行dropout处理，第一次全连接层后对二分之一的神经元进行dropout处理，避免数据过拟合。FC1的激活函数选用ReLU，FC2的全连接层选用softmax作为激活函数做二分类操作。最终通过神经网络输出采集到的人脸的判别结果。

Claims (2)

1.一种基于重组颜色空间的虚假人脸判别方法，其特征在于包括下述步骤：
步骤1：首先将RGB颜色空间的人脸图像映射到HSV、YCbCr、Lab颜色空间，选择HSV、YCbCr以及Lab三个颜色通道中反应蓝色或者偏蓝色分量的通道H、S、Cb和b，根据公式(1)、(2)、(3)和(7)分别计算得到HSV空间的H、S通道，YCbCr的Cb通道和Lab的b通道，进而构成重组颜色空间：
Figure FDA0002375315090000011
Figure FDA0002375315090000012
Cb＝-0.148R-0.291G+0.439B+128 (3)
由于Lab空间不能由RGB空间直接得到，先由RGB空间转换到XYZ模式，再从XYZ模式转换到Lab，相应公式如下：
X＝0.4125R+0.3576G+0.1805B (4)
Y＝0.2126R+0.7122G+0.0752B (5)
Z＝0.0193R+0.1192G+0.9505B (6)
Figure FDA0002375315090000013
其中，R、G、B分别代表RGB图像3个通道的像素值，公式(1)、(2)、(3)和(7)分别计算重组颜色空间的H、S、Cb和b四个通道，f(·)为一个分段函数，计算公式为
Figure FDA0002375315090000014
步骤2：在网络中加入权重矩阵的学习，权重矩阵的计算公式如下：
Figure FDA0002375315090000015
其中，神经网络在卷积层之前增加了一个权重层，权重层通过网络学习四个颜色通道的权重分配，步骤1得到的颜色特征经过加权处理以后输入到卷积层Conv1到Conv3进行初步特征提取，经过池化层P1以后，通过Conv4到Conv5进一步提取特征，再次进过池化层P2，全连接层FC1初步分类，全连接层FC2进行二分类，得到最终的分类结果。
2.根据权利要求1所述的一种基于重组颜色空间的虚假人脸判别方法，其特征在于：
卷积核大小全部是3×3，卷积层的激活函数是ReLU，池化层窗口大小为2×2，每次池化以后对四分之一的神经元进行dropout处理，第一次全连接层后对二分之一的神经元进行dropout处理，避免数据过拟合；FC1的激活函数选用ReLU，FC2的全连接层选用softmax作为激活函数。
CN202010063711.9A 2020-01-20 2020-01-20 基于重组颜色空间的虚假人脸判别方法 Active CN111259831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010063711.9A CN111259831B (zh) 2020-01-20 2020-01-20 基于重组颜色空间的虚假人脸判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010063711.9A CN111259831B (zh) 2020-01-20 2020-01-20 基于重组颜色空间的虚假人脸判别方法

Publications (2)

Publication Number Publication Date
CN111259831A CN111259831A (zh) 2020-06-09
CN111259831B true CN111259831B (zh) 2023-03-24

Family

ID=70947051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010063711.9A Active CN111259831B (zh) 2020-01-20 2020-01-20 基于重组颜色空间的虚假人脸判别方法

Country Status (1)

Country Link
CN (1) CN111259831B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315755A (zh) * 2023-10-09 2023-12-29 北京大学 一种异常图像识别方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019114580A1 (zh) * 2017-12-13 2019-06-20 深圳励飞科技有限公司 活体检测方法、计算机装置及计算机可读存储介质
CN109948566A (zh) * 2019-03-26 2019-06-28 江南大学 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN109977865A (zh) * 2019-03-26 2019-07-05 江南大学 一种基于人脸颜色空间和度量分析的欺诈检测方法
CN109977830A (zh) * 2019-03-16 2019-07-05 四川大学 基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法
WO2019214557A1 (zh) * 2018-05-08 2019-11-14 深圳大学 一种深度网络生成人脸图像的检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019114580A1 (zh) * 2017-12-13 2019-06-20 深圳励飞科技有限公司 活体检测方法、计算机装置及计算机可读存储介质
WO2019214557A1 (zh) * 2018-05-08 2019-11-14 深圳大学 一种深度网络生成人脸图像的检测方法及系统
CN109977830A (zh) * 2019-03-16 2019-07-05 四川大学 基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法
CN109948566A (zh) * 2019-03-26 2019-06-28 江南大学 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN109977865A (zh) * 2019-03-26 2019-07-05 江南大学 一种基于人脸颜色空间和度量分析的欺诈检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于CMYK-H-CbCr肤色检测和改进型AdaBoost算法的人脸检测;方承志等;《计算机应用与软件》;20170815(第08期);全文 *

Also Published As

Publication number Publication date
CN111259831A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111914907B (zh) 一种基于深度学习空谱联合网络的高光谱图像分类方法
CN111652038B (zh) 基于卷积神经网络的遥感的海冰图像分类方法
CN100361451C (zh) 基于内容的网络色情图像和不良图像检测系统
CN101630363B (zh) 复杂背景下彩色图像人脸的快速检测方法
CN110084108A (zh) 基于gan神经网络的行人重识别系统及方法
CN111950515B (zh) 一种基于语义特征金字塔网络的小人脸检测方法
CN102902956B (zh) 一种地基可见光云图识别处理方法
JP2002109525A (ja) 画像の顕著性及びアピール性に基づく画像処理パス変更方法
CN109684922A (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN102509112A (zh) 车牌识别方法及其识别系统
CN110598560A (zh) 基于神经网络增强的夜间监控识别方法和系统
CN107657619A (zh) 一种低照度林火图像分割方法
CN102663451A (zh) 一种基于色彩空间特征的图形图像分类方法
CN113361474B (zh) 基于图像块特征提取的双流网络图像伪造检测方法及系统
CN110348320B (zh) 一种基于多损失深度融合的人脸防伪方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN111832461A (zh) 一种基于视频流的非机动车骑行人员头盔佩戴检测方法
CN114419413A (zh) 感受野自适应的变电站绝缘子缺陷检测神经网络构建方法
CN116152658A (zh) 一种基于域对抗特征融合网络的林火烟雾检测方法
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
Al Farsi et al. A Review on models of human face verification techniques
CN111259831B (zh) 基于重组颜色空间的虚假人脸判别方法
CN117115675A (zh) 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质
CN111368776A (zh) 一种基于深度集成学习的高分辨率遥感图像分类方法
Neagoe et al. Subject independent drunkenness detection using pulse-coupled neural network segmentation of thermal infrared facial imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Feng Xiaoyi

Inventor after: Zhang Feng

Inventor after: Dang Chen

Inventor after: Zhang Haohao

Inventor after: Wang Hao

Inventor after: Feng Shuoyang

Inventor after: Jiang Xiaoyue

Inventor after: Xia Zhaoqiang

Inventor before: Zhang Feng

Inventor before: Dang Chen

Inventor before: Feng Xiaoyi

Inventor before: Zhang Haohao

Inventor before: Wang Hao

Inventor before: Feng Shuoyang

Inventor before: Jiang Xiaoyue

Inventor before: Xia Zhaoqiang

CB03 Change of inventor or designer information