CN109086675A - 一种基于光场成像技术的人脸识别及攻击检测方法及其装置 - Google Patents
一种基于光场成像技术的人脸识别及攻击检测方法及其装置 Download PDFInfo
- Publication number
- CN109086675A CN109086675A CN201810734675.7A CN201810734675A CN109086675A CN 109086675 A CN109086675 A CN 109086675A CN 201810734675 A CN201810734675 A CN 201810734675A CN 109086675 A CN109086675 A CN 109086675A
- Authority
- CN
- China
- Prior art keywords
- image
- light field
- face
- dimensional
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 title claims abstract description 26
- 238000005516 engineering process Methods 0.000 title claims abstract description 24
- 230000003287 optical effect Effects 0.000 title abstract description 4
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000009877 rendering Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 39
- 210000001508 eye Anatomy 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 15
- 238000012706 support-vector machine Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 11
- 241000282414 Homo sapiens Species 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000001276 controlling effect Effects 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000009471 action Effects 0.000 abstract description 5
- 238000012795 verification Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102100032912 CD44 antigen Human genes 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 108010069264 keratinocyte CD44 Proteins 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明公开了一种基于光场成像技术的人脸识别及攻击检测方法及其装置，采集RAW图像并计算每个子影像的中心坐标；利用子影像坐标求解得到深度图，并对图像进行RGB深度图像渲染，得到光场图像；对光场图像进行二维图像识别攻击，确定光场图像的维度数；对光场图像进行局部特征提取，再进行全局特征提取，再判别面具攻击；根据光场相机的四维信息，选取光场图像中的图像进行特征提取，再进行特征认证，完成人脸识别。本发明首次采用光场成像技术来实施人脸识别，具有实时性强，检测速度快的优势；有效避免了传统对焦所带来的不稳定性，避免了动作序列检测的复杂算法的使用；对人脸识别的准确程度有了大幅度的提高。
Description
技术领域
本发明涉及光场成像技术、数字图像处理技术以及机器学习技术，特别涉及一种基于 光场成像技术的人脸识别及攻击检测方法及其装置。
背景技术
人脸识别(Face Recognition)是通过摄像头等图像采样设备采集含有人脸信息的图像 或视频流，提取相关特征后通过与数据库的比对结果进行身份识别的技术。人脸识别技术 发展经历了基于人脸几何结构特征的模式识别方法，基于三维人脸建模的识别方法以及目 前可适用于真实环境条件的基于深度神经网络的识别方式等阶段。最近几年，深度学习算 法尤其是深度卷积神经网络的发展大大提高了人脸识别的准确性，在国际权威人脸识别公 开测试集LFW(labeled face in the wild)中，无限制条件下人脸验证测试(unrestricted labeled outside data)中提交的最新识别率为99.80％，该识别率甚至已经超过人类自身的人脸识别 能力。
然而必须说明的是，获得上述高识别率的实验是在理想条件，即没有恶意识别攻击的 条件下进行的，并且使用人为噪音较小的数据集进行测试。现有的人脸识别系统在面对各 类识别攻击时仍然十分脆弱，主要的缺陷包括并不局限于：单纯的人脸识别系统无法有效 区分真实人脸与二维图像/视频或者三维面具；而现有的识别攻击检测方法(Presentation Attack Detection,PAD)，如要求用户配合系统指令完成眨眼等动作序列，大大增加了系统冗 余度并降低了其稳定性，经试验测试，现有检测方法的部分漏洞由于用户体貌特征不明显 等缘故，甚至导致无法准确识别出用户本人的系统故障。因此当前人脸识别系统的痛点在 于，在保证用户使用便捷性以及系统稳定性的同时解决识别过程中的攻击检测问题。
基于以上难点，本专利提出一种基于光场成像技术的人脸识别及攻击检测装置。该装 置能够通过单次成像得到摄像头前方空间包含人脸信息的四维光场数据，通过光场数据中 耦合的深度信息辨别二维图像/视频攻击，并通过LBP(局部二值化)算法用以高效检测三 维面具攻击，在攻击检测后对用户身份进行认证。该装置仅通过单次采样，无需用户配合 进行复杂的面部动作，提高了用户使用的便捷程度；与此同时，使用光场成像及相关图像 处理算法进行识别攻击检测，有效提高了攻击检测效率。
发明内容
本发明的目的在于解决传统人脸识别过程中存在无法识别二维图像攻击和三维面具攻 击以及人脸识别需要复杂的配合动作的缺陷，提供一种基于光场成像技术的人脸识别及攻 击检测方法及其装置。
本发明采用的技术方案如下：
一种基于光场成像技术的人脸识别及攻击检测方法，包括以下几个步骤：
步骤1：打开光场相机，进行相机校准，光场相机采集RAW图像并在图像计算单元计算RAW图像中的每个子影像坐标；
步骤2：用光场相机拍摄得到原始光场图像，利用子影像坐标求解得到深度图，并对图 像进行RGB深度图像渲染，得到光场图像；
步骤3：对光场图像进行二维图像识别攻击，根据线性支持向量机(SVM)分类器确定光场图像的维度数，若维度数为3，则进入下一步，否则自动将该图像标记为恶意攻击；
步骤4：对光场图像进行局部特征提取，再进行全局特征提取，再使用支持向量机判别 面具攻击；
步骤5：根据光场相机的四维信息，选取一系列光场图像中人脸清晰度高的几张图像进 行特征提取，再进行特征认证，完成人脸识别。
进一步，所述步骤1中的相机校准包括以下几个步骤：
步骤1.1：将光场相机进行多次曝光，并采集RAW图像，每一次曝光采集，均通过伽马校正调整照片的光强；
步骤1.2：将多次采集的RAW图像求取平均值，得到处理后的白色图像；
步骤1.3：处理后的白色图像RGB值相等，再使用Demosaic算法得到可观测的RGB图像；将RGB图像转化为灰度图；
步骤1.4：从灰度图中找到频域系数最大值，并反求出偏转角，旋转校正，得到旋转校 正后的图像；
步骤1.5：对旋转校正后的图像做侵蚀处理，根据抛物线原理找出每个子影像中的光强 最大值以确定中心坐标，最后利用Delaunay三角剖分算法适应图像，平移得到校正后的图 像。
进一步，所述步骤2中的RGB深度图像渲染包括以下几个步骤：
步骤2.1：根据光场表示方式L(x,y,u,v)，分别固定u和x，y和v数值，即u和x的数值固定y和v变化以及y和v的数值固定u和x变化，在RAW图像中遍历其他两项得到纵 向与横向的EPI；
步骤2.2：通过权重函数定义平行四边形的尺寸，权重函数如下：
其中，dθ(i,j)＝i-(xr+(j-ur)·tanθ)，c为常数，a为主镜焦距与关注点对应像距的 比值，xr和ur为关注点坐标，权重用以决定范围内像素对于求解距离的贡献度，为遍历像素到关注点的距离，距离关注点越近的像素权重越高；
步骤2.3：关注点对应特定物点，随坐标的改变而改变，该点到传感器平面的光线角度 有变化量θ，定义的SPO随坐标的改变而旋转，中心线斜率即为θ；通过对比中心线两侧的图像差异可得到直方图距离，找到轮廓位置与非轮廓位置的θ角；
步骤2.4：根据相似三角形关系式，得
即可由θ推出关注点深度信息，其中，f为uv，xy面的距离，再耦合两方向的EPI的遍历深度信息，得到完整深度图；
步骤2.5：建立以微透镜阵列平面和传感器平面分别为uv和xy平面的光场坐标系，根 据相似三角形原理，将完整深度图中每个深度的信息进行坐标代换，得到各个深度对应的 光场表达式；
步骤2.6：根据傅里叶中心切片定理，在频域对光场表达式做成像平面的积分得到再聚 焦的光场图像。
进一步，所述二维图像识别攻击包括以下几个步骤：
步骤3.1：给定一个光场，进行一次曝光后获得一个深度图像，在进行RGB渲染后得到：
ID＝{ID1,ID2,ID3,...,IDk}，
其中，ID代表深度图像进行RGB渲染后得到的一组二维图像的集合，k代表经过渲染 得到的图像的数量；对于每一张经过渲染得到的图像，采取Viola-Jones facedetector进行人 脸寻找，得到局部人脸图像；
步骤3.2：对局部人脸图像进行高斯滤波去除高频，再将被滤波处理的图像的大小进行 调整，并记为Ip＝{IpD1,IpD2,IpD3,...,IpDk}，其中，Ip指光场图像集；
步骤3.3：定量地测量Ip中每一个图像的焦点，对焦点的测量表示为FMC，
其中，表示第k个深度图像所计算出来的关于焦点的参数；
步骤3.3：进一步计算反映光场相机所渲染的多个图像之间的焦点变化的定量值，所述 公式如下：
VFA＝max(FMC)-min(FMC)
VFFu＝VFA||VFR
其中，VFFu表示将VFA与VFR两个参数相结合的一种线性运算；
步骤3.4：采用线性支持向量机(SVM)分类器确定所获得的图像样本的维度数，其中 SVM分类器事先用两组样本进行训练，一组样本为二维的图片，一组为三维的真事人像；焦点的参数FMC作为横坐标，参数VFFu作为纵坐标，则在坐标系中SVN分类器会根据之前 训练的结果对图像进行二维三维的判断。
进一步，所述步骤4的三维面具识别攻击包括以下几个步骤：
步骤4.1：基于三维面具与真实人脸在眼部和鼻子处有显著差异的认识，则选择眼部和 鼻子作为局部特征，即光场图像中的眼部区域和鼻子区域作为局部特征；
步骤4.2：使用Haar级联检测器提取眼部区域，依次使用短时傅里叶变换(STFT)、功 率谱密度计算(PSD)、归一化操作算法将眼部区域进行空间域频域转换，得到眼部归一化 功率谱，分析眼部归一化功率谱中的功率响应，真实人脸的功率响应远高于三维面具的功 率响应；
步骤4.3：使用Haar级联检测器提取鼻子区域，对鼻子周围区域进行参数化，得到鼻 子区域的尺寸并对尺寸进行分析，真实人脸的鼻子尺寸与三维面具有明显差别；
步骤4.4：基于面具细微纹理以及表面光滑度与真实人脸有显著差异，采用细微纹理分 析(micro-texture analysis)作为全局特征进行判别。
进一步，所述步骤5包括以下几个步骤：
步骤5.1：将步骤2中再聚焦的光场图像采用局部二元模式(LBP)算法取2*2邻域内的差值得到直方图，再将直方图均衡化处理后，得到图像特征；
步骤5.2：采用Log-Gabor(LG)滤波器，通过高斯变换方程将步骤2中再聚焦的光场图像转换到频域，得到频域图像特征；
步骤5.3：结合步骤5.1的图像特征和步骤5.2的频域图像特征，采用多项式核函数将 图像特征在降维空间表示，再计算投影空间的欧几里得距离进行特征认证，完成人脸识别。
一种基于光场成像技术的人脸识别及攻击检测装置，包括以下几个单元：
中央控制单元，负责统一调控本装置中其它单元的工作；
光场相机，接收控制单元指令，完成光场信息的采样工作，并将采样数据传输到存储 单元；
图像计算单元，从存储单元中提取所需数据，并依次完成光场信息向二维图像信息以 及深度信息的转换，攻击检测以及最后的人脸识别工作，然后将当前工作状态及及所处流 程阶段反馈至控制单元；
存储单元，保存图像计算单元中产生的中间信息如二维RGB图像等以备后续使用；
所述中央控制单元分别连接光场相机、存储单元、图像计算单元，所述存储单元连接 光场相机和图像计算单元。
进一步，所述存储系统存储有待识别的人的信息，包括真实人脸的功率效应、真实人 脸的尺寸特征等。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明首次采用光场成像技术来实施人脸识别，相较于需要用户配合作出眨眼等动作 序列的传统攻击判别方式来说，具有实时性强，检测速度快等明显优势；
2.本发明使用的数字对焦算法有效避免了传统对焦所带来的不稳定性，另一方面利用光 场相片内部耦合的深度信息避免了动作序列检测的复杂算法的使用，有效规避了后者的一 些固有漏洞；
3.本方法利用了光场成像技术中较为成熟的超分辨重构技术获取高精度的人脸图像，对 人脸识别的准确程度有了大幅度的提高；
4.本发明仅通过单次采样，无需用户配合进行复杂的面部动作，提高了用户使用的便捷 程度；与此同时，使用光场成像及相关图像处理算法进行识别攻击检测，有效提高了攻击 检测效率。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的硬件连接图；
图2是本发明的技术流程图；
图3是本发明的光场相机的校正步骤图；
图4是本发明的深度求解流程图；
图5是本发明的图像渲染流程图；
图6是本发明的二维图像攻击识别流程图；
图7是本发明的三维面具攻击识别流程图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征 和/或步骤以外，均可以以任何方式组合。
下面结合附图对本发明作详细说明。
图2描述了本发明的具体实施流程。先对光场相机进行校正，并求出光场相机RAW图 像中每个子影像的中心坐标。用光场相机拍摄得到原始光场图像，利用子影像坐标求解得 到深度图，并对图像进行RGB渲染。基于深度图的算法能够对所拍摄物体是二维图片还是 三维人脸进行识别，判断出三维人脸后，通过提取局部和全局面部特征后使用支持向量机 判别面具攻击。当最后判断摄像头拍摄到的是真实人脸后，在根据现有的成熟算法进行人 脸识别。
光场相机照出的是原始的RAW图像，微透镜阵列与传感器平面间会有以主镜光轴为轴 向的平移和旋转偏移量，我们需要对RAW图像进行校正。校正的主要目标是求出每个微透 镜对应子影像的中心点坐标，对偏移量进行校正并记录最终中心坐标值，以便于后期应用 于深度求解和数字对焦算法。此校正过程适用于之后的所有拍照过程。校正过程如图3所 示。
所述光场相机校正步骤包括以下几个：
1.曝光采集RAW白图像：多次采集并求平均值以减少传感器噪声影响；
2.进行伽马校正：对于每次独立的采集过程，通过伽马校正调整照片的光强(γ值从 RAW图像文件中得到)；
3.可视RGB图像转化：处理后得到的白色图像RGB值相等，据此使用Demosaic算法得到可观测的RGB图像；将RGB图转化为灰度图，以便于下面图像增强步骤；
4.偏移量校正：
A.旋转偏移量求解：找到频域系数最大值，并反求出偏转角，旋转校正；
B.中心像素坐标求解：对旋转校正后的图像做侵蚀处理，根据抛物线原理找出每个子影 像中的光强最大值以确定中心坐标。最后利用Delaunay三角剖分算法适应图像，平移得到 校正后的图像。
应用基于旋转平行四边形算子(SPO)的对极平面图像(EPI)深度估计算法进行深度图求 解。主要求解流程如图4所示。
A.根据光场表示方式L(x,y,u,v)，分别固定ux，yv数值，在RAW图像中遍历其他两项可得到纵向与横向的EPI。
B.通过权重函数：
定义平行四边形的尺寸。权重用以决定范围内像素对于求解距离的贡献度，其中dθ(i,j)＝i-(xr+(j-ur)·tanθ)，为遍历像素到关注点的距离，距离关注点越近的像素权重越高。
C.以vy固定，遍历x为例：关注点对应特定物点，随ux坐标改变，该点到传感器平面的光线角度有变化量θ；定义的SPO随ux改变而旋转，中心线斜率即为θ。通过对比中 心线两侧的图像差异可得到直方图距离，从而找到轮廓位置与非轮廓位置的θ角。
D.根据相似三角形关系，由公式：
即可由θ推出关注点深度信息(f为uv，xy面距离)；耦合两方向EPI的遍历深度信息即可得到完整深度图。
通过几何关系换算与积分得出基于光强的特定范围景深的二维图像。所需过程如图5所 示：
A.建立以微透镜阵列平面和传感器平面分别为uv和xy平面的光场坐标系；
B.根据相似三角形原理，代换得到所需成像平面的光场表达式；
C.根据傅立叶中心切片定理，在频域计算得到再聚焦的光场图像。
(1)二维图像攻击识别
目前，对人脸识别系统的攻击最直接有效的就是使用二维照片和提前拍摄的影像资料等。 所以第一步着手的问题就是判断呈现在人脸识别系统前的图像的维度，如图6所示。
1.前期处理
(1)给定一个光场，进行一次曝光后获得一个深度图像。在进行RGB渲染后得到 ID＝{ID1,ID2,ID3,...,IDk}，ID代表深度图像进行RGB渲染后得到的一组二维图像的集合， k代表经过渲染得到的图像的数量。
(2)对于每一张经过渲染得到的图像，采取Viola-Jones face detector进行人脸寻找，得 到局部人脸图像。
(3)获得一系列局部人脸图像之后，执行以下步骤：
a.对局部人脸图像进行高斯滤波去除高频，方便后续进行的焦点测量。
b.将被滤波处理的图像的大小进行重新定义与调整，来减少计算成本。将处理后的图像 记为Ip＝{IpD1,IpD2,IpD3,...,IpDk}，其中，Ip指光场图像集；
2.焦点测量
这一步中，定量地测量Ip中每一个图像的焦点。进行焦点测量的方法大致分为四类：
a.梯度法。这类方法基于分析梯度或者图像的第一阶导数来进行焦点的测量。
b.数据法，这个方法将以纹理的形式来探索图像描述焦点。
c.变化法：这个方法包括拉帕西变化和小波定量测量焦点。
d.图像特征法：这个方法通过分析图像特征，例如对比度和锐度来测量焦点。
对于预处理后的光场图像集Ip，对焦点的测量可以表示为FMC。
其中，代表第k个深度图像所计算出来的关于焦点的参数。
3.计算并比较焦点量化值的参数
在计算完焦点FMc的量化值后，将进一步计算可以反映光场相机所渲染的多个图像之 间的焦点变化的定量值。这里采用最权威最准确的一种方法，这个方法需要利用FMc计算 两个不同的数据参数VFA，VFR来得到参数VFFu。
VFA＝max(FMC)-min(FMC)
VFFu＝VFA||VFR
4.判定
采用线性支持向量机(SVM)分类器来确定所获得的图像样本的维度数。
在活体检测过程中，通过光场深度信息检测图像样本的维度数排除目标为二维照片或者 视频攻击的可能性之后，将光场照片在人脸处进行数字再对焦(digitalrefocusing)，并使用超 分辨率重构获得人脸处的高像素图像，传输到三维面具攻击识别部分。该部分分别提取人 脸局部特征以及全局特征，再综合两种特征使用支持向量机(SVM)进行判别，最后输出目标 是否为三维面具攻击的判断结果。具体流程如下：
1.局部特征提取：
基于三维面具与真实人脸在眼部周围以及鼻子处有显著差异的认识，因此将其作为局部 特征提取选择的部位。具体过程如下：
1)眼部周围：
A.提取眼部区域：该部分使用Haar级联检测器。
B.空间域频域转换：该步骤使用算法包括短时傅里叶变换(STFT)、功率谱密度计算(PSD)、归一化操作。
通过比较眼部归一化功率谱来区分真实人脸与三维面具，真实人脸眼部周围的眼睑与睫 毛会造成远高于三维面具的功率响应。
2)鼻子周围：
A.提取鼻子周围区域：该部分使用Haar级联检测器。
B.尺寸检测：对检测目标鼻子部分尺寸进行参数化。
通过比较鼻子部分尺寸来区分真实人脸与三维面具，参数化后真实人脸鼻子尺寸会与三 维面具有明显差别。
2.全局特征提取：
基于面具细微纹理以及表面光滑度与真实人脸有显著差异的认识，使用细微纹理分析 (micro-texture analysis)作为全局特征进行判别。主要使用以下几种分析算法：
A.局部二值模式(local binary pattern,LBP)：
LBP算子定义在3*3的检测窗口内，并将中心点像素值与相邻8个像素值作比较，通过 二进制串记录比较结果，并将该数值串作为中心点的LBP值，并使用该值作为反映纹理信 息，可以将相邻像素拓展到多于8个以得到不同模式的LBP算子；
公式描述如下：
其中，(xc,yc)是中心像素，ic是灰度值，ip是相邻像素的灰度值，s是一个符号函数， 该函数为：
B.局部相位量化算法(local phase quantization,LPQ)；
C.二值化统计图像特征提取(binarized statistical image feature,BSIF)。
在通过光场相机四维信息完成活体识别后，选取一系列光场再聚焦图片中能够清晰显示 使用者人脸的几张来进行人脸识别。对于二维的人脸识别模块，我们选择采用现有的成熟 识别系统来进行识别；
为了不失一般性与准确性，我们采用两种方法来进行特征提取并对其认证。
(1)特征提取
A.局部二元模式(LBP)算法。在本系统中取2*2邻域内的差值做直方图均衡化处理后得到图像特征；
B.Log-Gabor(LG)滤波器。采用LG滤波器，通过高斯变换方程转换到频域进行处理。
(2)特征认证
核判别分析(KDA)。采用二次核多项式表示通过LBP和LG两种方法取得的图像特征并在降维空间中表示。为了学习亚空间，我们随机抽取相机采样的大量学习数据。最终通过计算投影空间的欧几里德距离来得到可比拟的判断。
所有过程中的分析判断过程或对比过程
实施例2
中央控制单元负责统一调控本装置中其它单元的工作，首先光场相机接收控制单元指令， 完成光场信息的采样工作，并将采样数据传输到存储单元。然后控制单元命令图像计算单 元从存储单元中提取所需数据，并依次完成光场信息向二维图像信息以及深度信息的转换， 攻击检测以及最后的人脸识别工作。图像计算单元中产生的中间信息如二维RGB图像等将 保存至存储单元以备后续使用，并将当前工作状态及所处流程阶段反馈至控制单元。
在图像计算单元的工作流程中，
首先进行相机校准，即偏移量离线获取工作。
中央控制单元命令光场相机多次曝光并将所得的RAW图像经存储单元传送至图像计算 单元，通过伽马校正等程序对相机的偏移量进行求解并应用到后续流程。
然后图像计算单元提取存储单元中采样对象的光场信息，在求解物体到镜头深度信息之 后在适当位置进行RGB成像并将其保存在存储单元中。
在活体识别部分图像计算单元会进行包括对二维照片/视频翻拍攻击的识别以及对三维 人脸面具攻击的识别，前者通过之前保存在存储单元中不同深度的RGB图像来估算采样场 景的景深并以此排除不具备景深范围的二维照片/视频翻拍攻击；后者基于面具与真实人脸 在局部与全局特征上的差异性，使用在人脸位置准确对焦(DigitalRefocusing)的RGB图像对 三维面具攻击进行判别。
经攻击检测筛选出来的真实人脸图像将由图像计算单元进行人脸识别程序，对用户信息 进行最终确认。
Claims (8)
1.一种基于光场成像技术的人脸识别及攻击检测方法，其特征在于，包括以下几个步骤：
步骤1：采集RAW图像，计算RAW图像中的每个子影像坐标；
步骤2：利用子影像坐标求解得到深度图，并对图像进行RGB深度图像渲染，得到光场图像；
步骤3：对光场图像进行二维图像识别攻击，确定光场图像的维度数，若维度数为3，则进入下一步，否则自动将该图像标记为恶意攻击；
步骤4：对光场图像进行局部特征提取，再进行全局特征提取，再判别面具攻击；
步骤5：根据光场相机的四维信息，选取光场图像中的几张图像进行特征提取，再进行特征认证，完成人脸识别。
2.根据权利要求1所述的一种基于光场成像技术的人脸识别及攻击检测方法，其特征在于，所述步骤1包括以下几个步骤：
步骤1.1：将光场相机进行多次曝光，并采集RAW图像，每一次曝光采集，均通过伽马校正调整照片的光强；
步骤1.2：将多次采集的RAW图像求取平均值，得到处理后的白色图像；
步骤1.3：使用Demosaic算法得到可观测的RGB图像，将RGB图像转化为灰度图；
步骤1.4：从灰度图中找到频域系数最大值，并反求出偏转角，旋转校正，得到旋转校正后的图像；
步骤1.5：对旋转校正后的图像做侵蚀处理，根据抛物线原理找出每个子影像中的光强最大值以确定中心坐标，最后利用Delaunay三角剖分算法适应图像，平移得到校正后的图像。
3.根据权利要求1所述的一种基于光场成像技术的人脸识别及攻击检测方法，其特征在于，所述步骤2中的RGB深度图像渲染包括以下几个步骤：
步骤2.1：根据光场表示方式L(x,y,u,v)，分别固定u和x，y和v数值，在RAW图像中遍历其他两项得到纵向与横向的EPI；
步骤2.2：通过权重函数定义平行四边形的尺寸，权重函数如下：
其中，dθ(i,j)＝i-(xr+(j-ur)·tanθ)，c为常数，a为主镜焦距与关注点对应像距的比值，xr和ur为关注点坐标，权重用以决定范围内像素对于求解距离的贡献度；
步骤2.3：关注点到传感器平面的光线角度有变化量θ，定义的SPO随坐标的改变而旋转，中心线斜率即为θ；通过对比中心线两侧的图像差异得到直方图距离，找到轮廓位置与非轮廓位置的θ角；
步骤2.4：根据相似三角形关系式，得
由θ推出关注点深度信息，其中，f为uv，xy面的距离，再耦合两方向的EPI的遍历深度信息，得到完整深度图；
步骤2.5：建立以微透镜阵列平面和传感器平面分别为uv和xy平面的光场坐标系，根据相似三角形原理，将完整深度图中每个深度的信息进行坐标代换，得到各个深度对应的光场表达式；
步骤2.6：根据傅里叶中心切片定理，在频域对光场表达式做成像平面的积分得到再聚焦的光场图像。
4.根据权利要求1所述的一种基于光场成像技术的人脸识别及攻击检测方法，其特征在于，所述二维图像识别攻击包括以下几个步骤：
步骤3.1：给定一个光场，进行一次曝光后获得一个深度图像，在进行RGB渲染后得到：
ID＝{ID1,ID2,ID3,...,IDk}，
其中，ID代表深度图像进行RGB渲染后得到的一组二维图像的集合，k代表经过渲染得到的图像的数量；对于每一张经过渲染得到的图像，采取Viola-Jones face detector进行人脸寻找，得到局部人脸图像；
步骤3.2：对局部人脸图像进行高斯滤波去除高频，再将被滤波处理的图像的大小进行调整，并记为Ip＝{IpD1,IpD2,IpD3,...,IpDk}，其中，Ip指光场图像集；
步骤3.3：定量地测量Ip中每一个图像的焦点，对焦点的测量表示为FMC，
其中，表示第k个深度图像所计算出来的关于焦点的参数；
步骤3.3：进一步计算反映光场相机所渲染的多个图像之间的焦点变化的定量值，所述公式如下：
VFA＝max(FMC)-min(FMC)
VFFu＝VFA||VFR
其中，VFFu表示将VFA与VFR两个参数相结合的一种线性运算；
步骤3.4：采用线性支持向量机(SVM)分类器确定所获得的图像样本的维度数，其中SVM分类器事先用两组样本进行训练，一组样本为二维的图片，一组为三维的真事人像；焦点的参数FMC作为横坐标，参数VFFu作为纵坐标，则在坐标系中SVN分类器会根据之前训练的结果对图像进行二维三维的判断。
5.根据权利要求1所述的一种基于光场成像技术的人脸识别及攻击检测方法，其特征在于，所述步骤4的三维面具识别攻击包括以下几个步骤：
步骤4.1：基于三维面具与真实人脸在眼部和鼻子处有显著差异的认识，则选择光场图像中的眼部区域和鼻子区域作为局部特征；
步骤4.2：使用Haar级联检测器提取眼部区域，依次使用短时傅里叶变换(STFT)、功率谱密度计算(PSD)、归一化操作算法将眼部区域进行空间域频域转换，得到眼部归一化功率谱，分析眼部归一化功率谱中的功率响应；
步骤4.3：使用Haar级联检测器提取鼻子区域，对鼻子周围区域进行参数化，得到鼻子区域的尺寸并对尺寸进行分析；
步骤4.4：基于面具细微纹理以及表面光滑度与真实人脸有显著差异，采用细微纹理分析(micro-texture analysis)作为全局特征进行判别。
6.根据权利要求1所述的一种基于光场成像技术的人脸识别及攻击检测方法，其特征在于，所述步骤5包括以下几个步骤：
步骤5.1：将步骤2中再聚焦的光场图像采用局部二元模式(LBP)算法取2*2邻域内的差值得到直方图，再将直方图均衡化处理后，得到图像特征；
步骤5.2：采用Log-Gabor(LG)滤波器，通过高斯变换方程将步骤2中再聚焦的光场图像转换到频域，得到频域图像特征；
步骤5.3：结合步骤5.1的图像特征和步骤5.2的频域图像特征，采用多项式核函数将图像特征在降维空间表示，再计算投影空间的欧几里得距离进行特征认证，完成人脸识别。
7.一种基于光场成像技术的人脸识别及攻击检测装置，其特征在于，包括：
中央控制单元，负责统一调控本装置的工作；
光场相机，完成光场信息的采样工作，并将采样数据传输到存储单元；
图像计算单元，从存储单元中提取所需数据，并依次完成光场信息向二维图像信息以及深度信息的转换，攻击检测以及最后的人脸识别工作；
存储单元，保存光场相机的图像和图像计算单元中产生的中间信息以备后续使用。
8.根据权利要求7所述的一种基于光场成像技术的人脸识别及攻击检测装置，其特征在于，所述存储系统存储有待识别的人的信息，包括真实人脸的功率效应、真实人脸的尺寸特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810734675.7A CN109086675B (zh) | 2018-07-06 | 2018-07-06 | 一种基于光场成像技术的人脸识别及攻击检测方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810734675.7A CN109086675B (zh) | 2018-07-06 | 2018-07-06 | 一种基于光场成像技术的人脸识别及攻击检测方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109086675A true CN109086675A (zh) | 2018-12-25 |
| CN109086675B CN109086675B (zh) | 2021-08-24 |
Family
ID=64837045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810734675.7A Expired - Fee Related CN109086675B (zh) | 2018-07-06 | 2018-07-06 | 一种基于光场成像技术的人脸识别及攻击检测方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109086675B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801267A (zh) * | 2018-12-27 | 2019-05-24 | 北京航天福道高技术股份有限公司 | 基于特征点检测与svm分类器的巡检目标缺陷检测方法 |
| CN109961062A (zh) * | 2019-04-16 | 2019-07-02 | 北京迈格威科技有限公司 | 图像识别方法、装置、终端和可读存储介质 |
| CN109993805A (zh) * | 2019-03-29 | 2019-07-09 | 武汉大学 | 一种面向深度神经网络的高隐蔽性对抗性图像攻击方法 |
| CN111241989A (zh) * | 2020-01-08 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 图像识别方法及装置、电子设备 |
| CN111897433A (zh) * | 2020-08-04 | 2020-11-06 | 吉林大学 | 一种集成成像显示系统中实现动态手势识别与控制方法 |
| CN112215879A (zh) * | 2020-09-25 | 2021-01-12 | 北京交通大学 | 一种光场极平面图像的深度提取方法 |
| CN113192008A (zh) * | 2021-04-09 | 2021-07-30 | 西安理工大学 | 一种证件数字图像的光场防篡改采集装置及防篡改方法 |
| CN114359150A (zh) * | 2021-12-03 | 2022-04-15 | 深圳市宏电技术股份有限公司 | 一种基于边缘检测和直方图阈值设定的工服检测方法 |
| CN114898125A (zh) * | 2022-07-14 | 2022-08-12 | 武汉东沃慧达科技有限公司 | 基于光场成像技术的轮轴识别方法、系统及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100128145A1 (en) * | 2008-11-25 | 2010-05-27 | Colvin Pitts | System of and Method for Video Refocusing |
| CN103996023A (zh) * | 2014-05-09 | 2014-08-20 | 清华大学深圳研究生院 | 基于深度信念网络的光场人脸识别方法 |
| CN104184936A (zh) * | 2013-05-21 | 2014-12-03 | 吴俊辉 | 基于光场相机的影像对焦处理方法及其系统 |
| CN104978550A (zh) * | 2014-04-08 | 2015-10-14 | 上海骏聿数码科技有限公司 | 基于大规模人脸数据库的人脸识别方法及系统 |
| US20150350531A1 (en) * | 2013-01-11 | 2015-12-03 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and program, and image pickup apparatus |
| US20160191995A1 (en) * | 2011-09-30 | 2016-06-30 | Affectiva, Inc. | Image analysis for attendance query evaluation |
| CN107609475A (zh) * | 2017-08-08 | 2018-01-19 | 天津理工大学 | 基于光场相机的行人检测误检提出方法 |
-
2018
- 2018-07-06 CN CN201810734675.7A patent/CN109086675B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100128145A1 (en) * | 2008-11-25 | 2010-05-27 | Colvin Pitts | System of and Method for Video Refocusing |
| US20160191995A1 (en) * | 2011-09-30 | 2016-06-30 | Affectiva, Inc. | Image analysis for attendance query evaluation |
| US20150350531A1 (en) * | 2013-01-11 | 2015-12-03 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and program, and image pickup apparatus |
| CN104184936A (zh) * | 2013-05-21 | 2014-12-03 | 吴俊辉 | 基于光场相机的影像对焦处理方法及其系统 |
| CN104978550A (zh) * | 2014-04-08 | 2015-10-14 | 上海骏聿数码科技有限公司 | 基于大规模人脸数据库的人脸识别方法及系统 |
| CN103996023A (zh) * | 2014-05-09 | 2014-08-20 | 清华大学深圳研究生院 | 基于深度信念网络的光场人脸识别方法 |
| CN107609475A (zh) * | 2017-08-08 | 2018-01-19 | 天津理工大学 | 基于光场相机的行人检测误检提出方法 |
Non-Patent Citations (5)
| Title |
|---|
| N. ERDOGMUS AND S. MARCEL: "Spoofing in 2D face recognition with 3D masks and anti-spoofing with Kinect", 《2013 IEEE SIXTH INTERNATIONAL CONFERENCE ON BIOMETRICS: THEORY, APPLICATIONS AND SYSTEMS (BTAS)》 * |
| R. RAGHAVENDRA, B. YANG, K. B. RAJA AND C. BUSCH: "A new perspective — Face recognition with light-field camera", 《2013 INTERNATIONAL CONFERENCE ON BIOMETRICS (ICB), MADRID》 * |
| R. RAGHAVENDRA, K. B. RAJA AND C. BUSCH: "Presentation Attack Detection for Face Recognition Using Light Field Camera", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| RAGHAVENDRA R , RAJA K B , YANG B: "Improved face recognition at a distance using light field camera & super resolution schemes", 《2013 ACM 978-1-4503-2498-4/13/11》 * |
| RAGHAVENDRA R , RAJA K B , YANG B: "Multi-face Recognition at a Distance Using Light-Field Camera", 《PROCEEDINGS OF THE 2013 NINTH INTERNATIONAL CONFERENCE ON INTELLIGENT INFORMATION HIDING AND MULTIMEDIA SIGNAL PROCESSING》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109801267A (zh) * | 2018-12-27 | 2019-05-24 | 北京航天福道高技术股份有限公司 | 基于特征点检测与svm分类器的巡检目标缺陷检测方法 |
| CN109801267B (zh) * | 2018-12-27 | 2023-06-09 | 北京航天福道高技术股份有限公司 | 基于特征点检测与svm分类器的巡检目标缺陷检测方法 |
| CN109993805B (zh) * | 2019-03-29 | 2022-08-30 | 武汉大学 | 一种面向深度神经网络的高隐蔽性对抗性图像攻击方法 |
| CN109993805A (zh) * | 2019-03-29 | 2019-07-09 | 武汉大学 | 一种面向深度神经网络的高隐蔽性对抗性图像攻击方法 |
| CN109961062A (zh) * | 2019-04-16 | 2019-07-02 | 北京迈格威科技有限公司 | 图像识别方法、装置、终端和可读存储介质 |
| CN111241989A (zh) * | 2020-01-08 | 2020-06-05 | 腾讯科技（深圳）有限公司 | 图像识别方法及装置、电子设备 |
| CN111241989B (zh) * | 2020-01-08 | 2023-06-13 | 腾讯科技（深圳）有限公司 | 图像识别方法及装置、电子设备 |
| US12087097B2 (en) | 2020-01-08 | 2024-09-10 | Tencent Technology (Shenzhen) Company Limited | Image recognition method and apparatus, computer-readable storage medium, and electronic device |
| CN111897433A (zh) * | 2020-08-04 | 2020-11-06 | 吉林大学 | 一种集成成像显示系统中实现动态手势识别与控制方法 |
| CN112215879A (zh) * | 2020-09-25 | 2021-01-12 | 北京交通大学 | 一种光场极平面图像的深度提取方法 |
| CN113192008A (zh) * | 2021-04-09 | 2021-07-30 | 西安理工大学 | 一种证件数字图像的光场防篡改采集装置及防篡改方法 |
| CN113192008B (zh) * | 2021-04-09 | 2024-02-02 | 西安理工大学 | 一种证件数字图像的光场防篡改采集装置及防篡改方法 |
| CN114359150A (zh) * | 2021-12-03 | 2022-04-15 | 深圳市宏电技术股份有限公司 | 一种基于边缘检测和直方图阈值设定的工服检测方法 |
| CN114898125A (zh) * | 2022-07-14 | 2022-08-12 | 武汉东沃慧达科技有限公司 | 基于光场成像技术的轮轴识别方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109086675B (zh) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109086675B (zh) | 一种基于光场成像技术的人脸识别及攻击检测方法及其装置 | |
| Lopez et al. | Deep single image camera calibration with radial distortion | |
| US7715596B2 (en) | Method for controlling photographs of people | |
| CN107818554B (zh) | 信息处理设备和信息处理方法 | |
| CN108549886A (zh) | 一种人脸活体检测方法及装置 | |
| Cao et al. | Sparse photometric 3D face reconstruction guided by morphable models | |
| CN104079827A (zh) | 一种光场成像自动重对焦方法 | |
| CN106372629A (zh) | 一种活体检测方法和装置 | |
| CN110520768B (zh) | 高光谱光场成像方法和系统 | |
| CN104143185A (zh) | 一种污点区域检测方法 | |
| CN111080669B (zh) | 一种图像反射分离方法及装置 | |
| CN112633221B (zh) | 一种人脸方向的检测方法及相关装置 | |
| CN111507426A (zh) | 基于视觉融合特征的无参考图像质量分级评价方法及装置 | |
| CN116958419A (zh) | 一种基于波前编码的双目立体视觉三维重建系统和方法 | |
| Tian et al. | Face anti-spoofing by learning polarization cues in a real-world scenario | |
| kumar Shukla et al. | A novel method for identification and performance improvement of Blurred and Noisy Images using modified facial deblur inference (FADEIN) algorithms | |
| CN113298700B (zh) | 一种在散射场景中的高分辨图像重构方法 | |
| CN105488780A (zh) | 一种用于工业生产线的单目视觉测距追踪装置及其追踪方法 | |
| Pini et al. | Learning to generate facial depth maps | |
| Fathy et al. | Benchmarking of pre-processing methods employed in facial image analysis | |
| US20230194847A1 (en) | Microscopy System and Method for Modifying Microscope Images in the Feature Space of a Generative Network | |
| JP2005317000A (ja) | 最適な視点のセットで得られた２ｄ画像からの顔の３ｄ形状構築に最適な視点のセットを求める方法 | |
| CN111047546A (zh) | 一种红外图像超分辨率重构方法、系统及电子设备 | |
| CN114067187A (zh) | 一种基于对抗生成网络的红外偏振可见光人脸翻译方法 | |
| Arunkumar et al. | Estimation of vehicle distance based on feature points using monocular vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210824 |