CN113128269A - 一种基于图像风格迁移信息融合的活体检测方法 - Google Patents

一种基于图像风格迁移信息融合的活体检测方法 Download PDF

Info

Publication number
CN113128269A
CN113128269A CN201911403173.7A CN201911403173A CN113128269A CN 113128269 A CN113128269 A CN 113128269A CN 201911403173 A CN201911403173 A CN 201911403173A CN 113128269 A CN113128269 A CN 113128269A
Authority
CN
China
Prior art keywords
image
depth
infrared
face
avg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911403173.7A
Other languages
English (en)
Inventor
侯广琦
李海青
赵家磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongke Hongxing Technology Co ltd
Original Assignee
Tianjin Zhongke Hongxing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongke Hongxing Technology Co ltd filed Critical Tianjin Zhongke Hongxing Technology Co ltd
Priority to CN201911403173.7A priority Critical patent/CN113128269A/zh
Publication of CN113128269A publication Critical patent/CN113128269A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明请求保护一种基于图像风格迁移信息融合的活体检测方法，具体步骤如下：第一步多模态图像信息采集；第二步人脸位置标定；第三步多模态输入图像；第四步近红外活体特征提取；第五步分类器赋分；第六步多模态信息融合；第七步设计。决策过程通过对多模态信息加权循环测试得到最终检测结果。该方法更广泛更显著的对人面部生物特征进行活体检测，通过风格迁移提高检测的可靠性，用智能加权计算的方式，以在准确可靠检测的同时，进一步提用户的检测速度，实现高可靠、高进度、高速的多模态生物特征活体检测，有利于提高用户的产品使用感受，具有重大的生产实践意义。

Description

一种基于图像风格迁移信息融合的活体检测方法
技术领域
本发明涉及生物特征识别技术领域，尤其涉及一种基于图像风格迁移融合识别的活体检测方法。
背景技术
随着计算机视觉、人脸技术的不断发展，生物特征识别技术广泛应用在了智能监控、智能手机应用、智能家居等各个领域。人脸技术在生物特征识别方面也得到了快速的发展和广泛的应用。但是随之而来的安全问题也同样存在，比如，恶意攻击者可以利用用户的人脸照片(即，非活体/假体)欺骗人脸认证系统，进而窃取用户的信息。
为解决非活体攻击的问题，人们提出了活体检测算法以判断当前是活体用户还是假体用户(用户的照片、视频、面具等)。
传统的活体检测算法为了抵御照片的攻击，采用了交互式的方案，即用户登录时要求用户进行眨眼、摇头等动作。这种方法虽然能够抵御大多数的静态照片攻击，但是无法很好的抵御视频攻击(即预先录制了用户的视频信息)。由于人脸经过二次或多次采集后，其纹理细节特征与真人脸有差异，另外一类传统方法通过捕捉频域和空间域的细节纹理特征，以区分活体和非活体。这类方法往往对成像质量和外部环境要求较高，当摄像头分辨率较高，或光照不均匀时，抵御攻击的效果较差。
现有的活体检测方法中使用红外图和深度信息进行人脸识别，仅依赖2D像素信息，在一些场景下的抗干扰能力弱，如光照不均、逆光条件都会导致细节纹理的丢失，导致识别精度大幅下降无法在黑暗、昏暗环境下工作等，难以保证检测结果的精度，且检测过程复杂，检测时间较长，使用户体验较差。
发明内容
因此，需要要解决背景技术中的不足，基于近红外图像、深度图像、色彩图像进行风格迁移，融合决策得出活体检测结果的方法及其应用，在生物特征识别系统的实际应用过程中，通过多种数据融合的方法保障检测，相比传统方法更具备扬长避短、劣势补足的特点，且检测过程速度快，用户友好度教高用户体验好。为了解决非活体攻击的问题，提出活体检测方法以快速准确地判断当前用户的活体真实性。
为此，本发明提供了一种基于图像风格迁移信息融合的活体检测方法，包括步骤：
第一步，多模态图像信息采集：分别拍摄采集用户人脸的近红外图像、深度图像和色彩图像。
第二步，人脸位置标定：通过人脸检测器获取近红外图像中的人脸位置，将此人脸位置分别映射到深度图像和色彩图像中对应的位置，从而分别标定深度图像和色彩图像中的人脸位置。
第三步，输入风格迁移图像：根据上述所得近红外图像和色彩图像的人脸位置，通过图像仿射变换，分别截取近红外图像和色彩图像中人脸区域的图像信息，根据上述所得深度图像中的人脸位置，将深度图像中人脸区域的截取范围向外扩充1倍，从而截取到深度图像中的半身区域图像，并分别将人脸近红外图像、半身深度图像和人脸色彩图像归一化到统一尺寸M*N，其中M表示图像的高，N表示图像的宽，得到相同分辨率的近红外备检图像ImgNir、深度备检图像Imgdepth和色彩备检图像Imgrgb。
第四步，近红外活体特征提取：在已获取的近红外备检图像ImgNir中，通过虹膜检测器标定图像中虹膜位置，截取图像中虹膜区域的图像并将此虹膜图像归一化到统一尺寸M*N。
第五步，分类器赋分：通过特征提取器将传入图像提取特征，通过softmax逻辑回归函数对图像特征进行赋分，得出结果为0-1之间的预测分数，若结果为高分则判为活体，若结果为低分则判为假体，若分数在临界之间则判为不能确定，进行下一步算法判断。
第六步，多模态信息融合：分类器赋分过程中判为不能直接确定时，将深度备检图像Imgdepth和色彩备检图像Imgrgb分别按照活体检测训练中的深度标准目标图像Objdepth和色彩标准目标图像Objrgb进行风格迁移处理，得到与两标准目标图像相同域的新的深度图像Detdepth和色彩图像Detrgb，并输入到特征提取器进行特征提取，将提取后的特征输入到分类器进行赋分，利用三个模态图像Detnir、Detdepth和Detrgb得到的赋分，进行多模态融合策略，对三个模态的赋分取平均值Avg，
即Avg＝1/3(score nir+score depth+score rgb)，得到：
若Avg结果为大于0.9的值则判为活体；
若Avg结果为小于0.1则判为假体；
若分数在0.1-0.9之间则判为不能确定，对三个模态的赋分取加权平均值Avg’，即Avg’＝(2*Avg+score nir)/3，得到：
若Avg’结果大于0.9则判为活体；
若Avg’结果小于0.1则判为假体；
若分数在0.1-0.9之间则判为不能确定，则将Avg’送入回环结构。
第七步，回环设计，回环设计放大测试效果的公式为
Avg”＝arctanh(Avg’-m)+m，其中m取中值0.5，
此处，Avg”为放大效果后的新的赋分取平均值，令Avg’经回环放大效果后，如图3所示：
当(Avg’-m)＞0时，Avg”值会递增；
当(Avg’-m)＜0时，Avg”值会递减。
将Avg”结果反馈回到第五步，更新Avg预测结果，重复上述步骤，直至得出活体或假体。
融合策略为回环反馈设计，利用融合信息结果，返回影响结果权重，进一步提高精度，利用三个模态得到的分数，进行多模态融合策略，以判断是活体还是非活体，经过回环三次后得分仍为无法确认的，则提示检测人员重新进行检测。
所述第一步中，通过近红外像机采集拍摄采集用户的近红外图像；通过深度像机采集拍摄采集用户的深度图像，获得用户所在位置的深度距离；通过自然光像机采集拍摄采集用户的色彩图像；
其中，所述的虹膜摄像机，用于拍摄采集用户的人脸部分区域图像，以及从所述人脸部分区域图像中分割获得人眼区域图像；
其中，所属的近红外相机配有光源模块，用于向用户发出虹膜成像所需的LED近红外光；
其中，所述深度摄像机包括飞行时间法TOF摄像机、结构光深度相机和激光扫描深度相机中的任意一种；
其中，色彩像机，用于拍摄采集用户的正面图像。
所述的第二步中的人脸位置定位模块、第四步虹膜位置的定位模块，其特征为：采用常用的人脸检测器，如BlazeFace、MTCNN等)，在目标数据集上训练，定位出人脸位置和虹膜位置。
所述第三步中，进一步包括：根据人脸的位置，通过图像仿射变换，截取图像中的人脸区域，并归一化到统一尺度M*N，其中M表示图像的高，N表示图像的宽，该步骤同时作用于深度图和近红外图，得到相同分辨率的深度和近红外人脸图。
所述第四步中，预设特征提取器，特征提取器通过在目标数据集上训练获得。
其中，提取图像特征，特征提取器通过在目标数据集上训练获得，与目标图像特征进行迁移，使传入图像特征与活体检测分类训练时所使用的图像所在的域相同，其中深度图像关注的域在设备，环境，近红外图像关注的域在光照，设备，色彩图像关注的域在光照，设备，环境，通过对输入图像所在域进行风格迁移，能解决活体检测跨设备，不同光照环境，图像质量对活体检测的严重影响，目标图像为三个模态分类器训练数据所在的域。
其中，通过归一化处理，将得到的深度人脸图，进行深度距离归一化处理，得到人脸的相对深度图，所述深度距离归一化处理公式如下：D(i，j)＝D(i，j)-μ其中D(i，j)表示人脸深度图中位于(i，j)位置的深度值，μ是D(i，j)的均值。
其中，深度归一化后所获得的深度图和第三步所获得的近红外人脸图合并成一个两通道矩阵A，输入到一个训练好的已知的CNN网络中，提取特征；A是一个三维矩阵，包含两个通道，每个通道的都是高为M，宽为N的矩阵，这两个通道可以表示成如下形式：A(M，N，1)深度通道(或近红外通道)；A(M，N，2)近红外通道(或深度通道)。
其中，所述CNN网络的输入为2*M*N的矩阵，输出是一个D维的全连接层，表示提取的特征，所述提取的特征为最后一层全连接层的网络输出，或者是最后若干层全连接网络输出，所述网络结构包括VGG16，VGG19，Alex Net，ResNet，Inception或GoogLeNet网络结构。
所述第五步中，通过softmax逻辑回归函数对图像特征进行赋分，以取得赋分的放大效果。
所述第六步中，在进行风格迁移后，得到新的深度图像Detdepth和色彩图像Detrgb是分别与深度标准目标图像Objdepth和色彩标准目标图像Objrgb相同域的。
其中，对三个模态的赋分取平均值的公式为：
Avg＝1/3(score nir+score depth+score rgb)
其中，对三个模态的赋分取加权平均值的公式为：
Avg’＝(2*Avg+score nir)/3
其中，对近红外赋分进行权重附加。
所述第七步中，回环设计放大测试效果的公式为：
Avg”＝arctanh(Avg’-m)+m，其中m取中值0.5(即极限中值)，此处，Avg”为放大效果后的新的赋分取平均值。
其中，对赋分取平均值不断放大效果，得到更具备显著性特征的Avg”。
其中，经过循环回环三次后，得出检测结果，从而判断活体真实性。
其中，经过循环操作回环设计三次后得分仍为无法确认的，则提示检测人员重新进行检测。
由以上本发明提供的技术方案可见，与现有技术相比较，本发明提供了一种基于图像风格迁移融合识别的活体检测方法，其利用风格迁移后的多模态生物特征信息融合技术，突破单模态特征在适用范围、识别精度和安全防伪等方面的局限，利用不同材质对近红外光的吸收、反射特性不同的原理，突破现有检测技术在3D面具的攻击方面的技术瓶颈，构建高精度面部生物特征检测机制，采用智能加权计算的方式，比较传统的单生物特征识别而言，不仅可以实现各特征间的扬长避短、劣势补足，而且可以在准确可靠检测的同时，进一步提用户的检测速度，实现高可靠、高进度、高速的多模态生物特征活体检测，有利于提高用户的产品使用感受，具有重大的生产实践意义。
附图说明
图1为本发明提供的一种基于图像风格迁移融合识别的活体检测方法的流程图；
图2为本发明提供的一种基于图像风格迁移融合识别的活体检测方法的逻辑示意图；
图3为本发明提供的一种基于图像风格迁移融合识别的活体检测方法中的回环设计赋分效果放大时，循环赋分结果的曲线图；
图4为本发明提供的一种基于图像风格迁移融合识别的活体检测方法进行测试后的效果示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。
图1为本发明提供的一种基于图像风格迁移融合识别的活体检测方法的流程图。
参见图1，本发明提供的一种远距离多模态生物特征识别方法，包括以下步骤：
第一步，使用具有如TOF，光场等设备采集深度信息，利用红外滤波片采集近红外信息，利用CMOS采集RGB图像，将采集到的具有人脸深度信息，彩色图像信息和红外信息的图像，将图像输入活体检测模块；
第二步，人脸位置标定：通过人脸检测器获取近红外图像中的人脸位置，将此人脸位置分别映射到深度图像和色彩图像中对应的位置，从而分别标定深度图像和色彩图像中的人脸位置。
对于本发明，对于第一步和第二步，具体实现中，由配有光源模块的近红外像机采集拍摄采集用户的近红外图像；通过深度像机采集拍摄采集用户的深度图像，获得用户所在位置的深度距离；通过自然光像机采集拍摄采集用户的色彩图像；
具体实施上，由于电子显示屏幕中的内容(人像)在近红外光下不可见，因此使用近红外图可以过滤电子显示屏非活体的攻击。
如果检测不出人脸，则表示目前没有活体，如果检测出人脸，则表示当前可能是活体，也有可能是非电子屏幕显示的非活体，算法进入下一步继续判读。其中采用人脸检测器检测人脸位置，人脸检测器是使用近红外图训练出来的，可以在近红外图上检测出人脸，常用的人脸检测器，如BlazeFace、MTCNN等。
第三步，通过人脸检测器获取近红外图像中的人脸位置，将此人脸位置分别映射到深度图像和色彩图像中对应的位置，从而分别标定深度图像和色彩图像中的人脸位置。
优选的，将检测出的人脸在红外图上的位置映射到深度图和色彩图上，定位出深度图和色彩图像上的人脸位置的位置。
第四步，近红外活体特征提取：在已获取的近红外备检图像ImgNir中，通过虹膜检测器标定图像中虹膜位置，截取图像中虹膜区域的图像并将此虹膜图像归一化到统一尺寸M*N。
具体实施上，根据人脸的位置，通过将色彩图像仿射变换，截取图像中的人脸区域，将深度图像人脸范围向外扩充1倍，截取图像中的人的半身区域，并将三种图像归一化到统一尺度M*N，其中M表示图像的高，N表示图像的宽，得到相同分辨率的彩色图，深度和近红外人脸图。
优选的，将近红外的人脸图采用虹膜检测模块定位虹膜位置，虹膜检测模块同人脸检测模块相同，在近红外图像上训练出来，截取图像中的虹膜区域并将虹膜图像图像归一化到统一尺度M*N；
优选的，对虹膜图像进行风格迁移到目标图像，利用训练好的特征提取器将传入图像提取特征，与目标图像特征进行迁移，目标图像是活体检测分类训练时所使用的图像；
优选的，将提取后的特征输入到分类器进行分类，风格迁移域虹膜方法相同，但相较近红外图像更关注的域在光照，设备，深度图像更关注的域在设备，环境，色彩图像更关注的域在光照，特征提取和分类的训练和使用与虹膜相同。
将输入图像的特征域迁移到目标图像所在的域，使输入图像在光照，清晰度，色度与训练图像的成像风格相同，用来克服跨设备，跨平台对结果的影响。
在本发明中，需要说明的是，预设特征提取器，特征提取器通过在目标数据集上训练获得。
将迁移后的图像输入到特征提取器进行特征提取的提取模块；将提取后的特征输入到分类器进行分类以判断是活体还是非活体的判断。
第五步，分类器赋分：通过特征提取器将传入图像提取特征，通过softmax逻辑回归函数对图像特征进行赋分，得出结果为0-1之间的预测分数，若结果为高分则判为活体，若结果为低分则判为假体，若分数在临界之间则判为不能确定，进行下一步算法判断。
具体实施上，特征提取选用CNN网络，输入是一个3*M*N的矩阵，经骨干网络提取特征，经过全局平均池化进行降采样后，最后一层经过一层全卷积结构输出两个结果，经过softmax 操作后，最后的两个输出分别表示活体和非活体的概率。骨干网络结构可以是VGG，ResNet，Mobilnet等已有的网络结构，也可以是用户自定义的网络结构。
在本发明中，需要说明的是，技术方案中的CNN可以替换为传统一些的分类器(如Adaboost，SVM，Bayesian)。传统的分类器需要和特征提取结合到一起，即先提取人脸特征点周围的特征，然后将特征输入到分类器或回归器进行分类。
特征提取可以在空间域(像素域)提取特征，也可以在频域(如Fourier、DCT)提取特征，常见的特征提取方式有：HOG，LBP，SIFT，SURF等。彩色和深度同理。
优选的，得出结果为0-1之间的预测分数，若结果为高分，如大于0.9则判为活体，若结果为低分，如小于0.1则判为假体，若分数在0.1-0.9之间则判为不能确定，进行下一步算法判断。
第六步，多模态信息融合：分类器赋分过程中判为不能直接确定时，将深度备检图像 Imgdepth和色彩备检图像Imgrgb分别按照活体检测训练中的深度标准目标图像Objdepth和色彩标准目标图像Objrgb进行风格迁移处理，得到与两标准目标图像相同域的新的深度图像 Detdepth和色彩图像Detrgb，并输入到特征提取器进行特征提取，将提取后的特征输入到分类器进行赋分，利用三个模态图像Detnir、Detdepth和Detrgb得到的赋分，进行多模态融合策略。
具体实施上，对三个模态的赋分取平均值Avg，
即Avg＝1/3(score nir+score depth+score rgb)，得到：
若Avg结果为大于0.9的值则判为活体；
若Avg结果为小于0.1则判为假体；
若分数在0.1-0.9之间则判为不能确定。
对三个模态的赋分取加权平均值Avg’，
即Avg’＝(2*Avg+score nir)/3，得到：
若Avg’结果大于0.9则判为活体；
若Avg’结果小于0.1则判为假体；
若分数在0.1-0.9之间则判为不能确定，则将Avg’送入回环结构。
第七步，回环设计，回环设计放大测试效果的公式为
Avg”＝arctanh(Avg’-m)+m，其中m取中值0.5，
此处，Avg”为放大效果后的新的赋分取平均值，令Avg’经回环放大效果后，如图3所示：
当(Avg’-m)＞0时，Avg”值会递增；
当(Avg’-m)＜0时，Avg”值会递减。
将Avg”结果反馈回到第五步，更新Avg预测结果，重复上述步骤，直至得出活体或假体。
融合策略为回环反馈设计，利用融合信息结果，返回影响结果权重，进一步提高精度，利用三个模态得到的分数，进行多模态融合策略，以判断是活体还是非活体，经过回环三次后得分仍为无法确认的，则提示检测人员重新进行检测。
综上所述，与现有技术相比较，本发明提供了一种基于图像风格迁移融合识别的活体检测方法，其利用风格迁移后的多模态生物特征信息融合技术，突破单模态特征在适用范围、识别精度和安全防伪等方面的局限，利用不同材质对近红外光的吸收、反射特性不同的原理，突破现有检测技术在3D面具的攻击方面的技术瓶颈，构建高精度面部生物特征检测机制，采用智能加权计算的方式，比较传统的单生物特征识别而言，不仅可以实现各特征间的扬长避短、劣势补足，而且可以在准确可靠检测的同时，进一步提用户的检测速度，实现高可靠、高进度、高速的多模态生物特征活体检测，有利于提高用户的产品使用感受，具有重大的生产实践意义。
在以上的描述中阐述了很多具体细节以便于充分理解本发明。但是以上描述仅是本发明的较佳实施例而已，本发明能够以很多不同于在此描述的其它方式来实施，因此本发明不受上面公开的具体实施的限制。同时任何熟悉本领域技术人员在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种基于图像风格迁移信息融合的活体检测方法，其特征在于，包括以下步骤：
第一步，多模态图像信息采集：分别拍摄采集用户人脸的近红外图像、深度图像和色彩图像。
第二步，人脸位置标定：通过人脸检测器获取近红外图像中的人脸位置，将此人脸位置分别映射到深度图像和色彩图像中对应的位置，从而分别标定深度图像和色彩图像中的人脸位置。
第三步，输入风格迁移图像：根据上述所得近红外图像和色彩图像的人脸位置，通过图像仿射变换，分别截取近红外图像和色彩图像中人脸区域的图像信息，根据上述所得深度图像中的人脸位置，将深度图像中人脸区域的截取范围向外扩充1倍，从而截取到深度图像中的半身区域图像，并分别将人脸近红外图像、半身深度图像和人脸色彩图像归一化到统一尺寸M*N，其中M表示图像的高，N表示图像的宽，得到相同分辨率的近红外备检图像ImgNir、深度备检图像Imgdepth和色彩备检图像Imgrgb。
第四步，近红外活体特征提取：在已获取的近红外备检图像ImgNir中，通过虹膜检测器标定图像中虹膜位置，截取图像中虹膜区域的图像并将此虹膜图像归一化到统一尺寸M*N。
第五步，分类器赋分：通过特征提取器将传入图像提取特征，通过softmax逻辑回归函数对图像特征进行赋分，得出结果为0-1之间的预测分数，若结果为高分则判为活体，若结果为低分则判为假体，若分数在临界之间则判为不能确定，进行下一步算法判断。
第六步，多模态信息融合：分类器赋分过程中判为不能直接确定时，将深度备检图像Imgdepth和色彩备检图像Imgrgb分别按照活体检测训练中的深度标准目标图像Objdepth和色彩标准目标图像Objrgb进行风格迁移处理，得到与两标准目标图像相同域的新的深度图像Detdepth和色彩图像Detrgb，并输入到特征提取器进行特征提取，将提取后的特征输入到分类器进行赋分，利用三个模态图像Detnir、Detdepth和Detrgb得到的赋分，进行多模态融合策略，对三个模态的赋分取平均值Avg，即Avg＝1/3(score nir+score depth+score rgb)，得到：
若Avg结果为大于0.9的值则判为活体；
若Avg结果为小于0.1则判为假体；
若分数在0.1-0.9之间则判为不能确定，对三个模态的赋分取加权平均值Avg’，即Avg’＝(2*Avg+score nir)/3，得到：
若Avg’结果大于0.9则判为活体；
若Avg’结果小于0.1则判为假体；
若分数在0.1-0.9之间则判为不能确定，则将Avg’送入回环结构。
第七步，回环设计，回环设计放大测试效果的公式为Avg”＝arctanh(Avg’-m)+m，其中m取中值0.5。令Avg’经回环放大效果后，如图3所示：当(Avg’-m)＞0时，Avg”值会递增；当(Avg’-m)＜0时，Avg”值会递减。将Avg”结果反馈回到步骤(5)，更新Avg预测结果，重复上述步骤，直至得出活体或假体。融合策略为回环反馈设计，利用融合信息结果，返回影响结果权重，进一步提高精度。利用三个模态得到的分数，进行多模态融合策略，以判断是活体还是非活体，经过循环操作回环设计三次后得分仍为无法确认的，则提示检测人员重新进行检测。
2.如权利要求1所述的方法，其特征在于，在所述第一步中，通过深度像机采集拍摄采集用户的深度图像，获得用户所在位置的深度距离；通过自然光像机采集拍摄采集用户的色彩图像；通过近红外像机采集拍摄采集用户的近红外图像。
3.根据权利要求1所述的人脸位置定位模块、虹膜位置的定位模块，其特征为：采用常用的人脸检测器，如BlazeFace、MTCNN等)，在目标数据集上训练，定位出人脸位置和虹膜位置。
4.根据权利要求1所述的第四步，其特征为：利用特征提取器将传入图像提取特征，特征提取器通过在目标数据集上训练获得，与目标图像特征进行迁移，使传入图像特征与活体检测分类训练时所使用的图像所在的域相同，其中深度图像关注的域在设备，环境，近红外图像关注的域在光照，设备，色彩图像关注的域在光照，设备，环境，通过对输入图像所在域进行风格迁移，能解决活体检测跨设备，不同光照环境，图像质量对活体检测的严重影响，目标图像为三个模态分类器训练数据所在的域。
5.根据权利要求1-4任一所述的一种基于深度和近红外信息的活体检测装置的检测方法，其特征是，包括如下步骤：步骤1：通过带有深度和近红外采集功能的摄像机采集深度信息和红外信息；步骤2：采用人脸检测器检测人脸位置的检测模块；步骤3：将人脸在红外图上的位置映射到深度图上，定位出深度图上的人脸位置；步骤4：归一化、配准红外图和深度图人脸；步骤5：将配准后的红外图和深度图输入到特征提取器进行特征提取；步骤6：将提取后的特征输入到分类器进行分类，判断是活体还是非活体。
6.根据权利要求5所述的一种基于深度和近红外信息的活体检测方法，其特征为：所述步骤4进一步包括：根据人脸的位置，通过图像仿射变换，截取图像中的人脸区域，并归一化到统一尺度M*N，其中M表示图像的高，N表示图像的宽，该步骤同时作用于深度图和近红外图，得到相同分辨率的深度和近红外人脸图。
7.根据权利要求5所述的一种基于深度和近红外信息的活体检测方法，其特征为：所述步骤4进一步包括：将得到的深度人脸图，进行深度距离归一化处理，得到人脸的相对深度图，所述深度距离归一化处理公式如下：D(i，j)＝D(i，j)-μ其中D(i，j)表示人脸深度图中位于(i，j)位置的深度值，μ是D(i，j)的均值。
8.根据权利要求6所述的一种基于深度和近红外信息的活体检测方法，其特征为：将步骤4得到的深度归一化后的深度图和步骤3的近红外人脸图合并成一个两通道矩阵A，输入到一个训练好的已知的CNN网络中，提取特征；A是一个三维矩阵，包含两个通道，每个通道的都是高为M，宽为N的矩阵，这两个通道可以表示成如下形式：A(M，N，1)深度通道(或近红外通道)；A(M，N，2)近红外通道(或深度通道)。
9.根据权利要求8所述的一种基于深度和近红外信息的活体检测方法，其特征为：所述CNN网络的输入为2*M*N的矩阵，输出是一个D维的全连接层，表示提取的特征，所述提取的特征为最后一层全连接层的网络输出，或者是最后若干层全连接网络输出，所述网络结构包括VGG16，VGG19，Alex Net，ResNet，Inception或GoogLeNet网络结构。
10.一种采用权利要求5-9任一所述的基于深度和近红外信息的活体检测方法的手机解锁或门禁或金融支付，以用于提升用户信息的安全性。
CN201911403173.7A 2019-12-31 2019-12-31 一种基于图像风格迁移信息融合的活体检测方法 Pending CN113128269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911403173.7A CN113128269A (zh) 2019-12-31 2019-12-31 一种基于图像风格迁移信息融合的活体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911403173.7A CN113128269A (zh) 2019-12-31 2019-12-31 一种基于图像风格迁移信息融合的活体检测方法

Publications (1)

Publication Number Publication Date
CN113128269A true CN113128269A (zh) 2021-07-16

Family

ID=76768375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911403173.7A Pending CN113128269A (zh) 2019-12-31 2019-12-31 一种基于图像风格迁移信息融合的活体检测方法

Country Status (1)

Country Link
CN (1) CN113128269A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115034257A (zh) * 2022-05-09 2022-09-09 西北工业大学 一种基于特征融合的跨模态信息目标识别方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115034257A (zh) * 2022-05-09 2022-09-09 西北工业大学 一种基于特征融合的跨模态信息目标识别方法及装置
CN115034257B (zh) * 2022-05-09 2023-04-07 西北工业大学 一种基于特征融合的跨模态信息目标识别方法及装置

Similar Documents

Publication Publication Date Title
CN109558764B (zh) 人脸识别方法及装置、计算机设备
US20210287026A1 (en) Method and apparatus with liveness verification
CN110443192B (zh) 一种基于双目图像的非交互式人脸活体检测方法及系统
CN109101871A (zh) 一种基于深度和近红外信息的活体检测装置、检测方法及其应用
CN110889312B (zh) 活体检测方法和装置、电子设备、计算机可读存储介质
CN110008813B (zh) 基于活体检测技术的人脸识别方法和系统
CN108921041A (zh) 一种基于rgb和ir双目摄像头的活体检测方法及装置
WO2019137178A1 (zh) 人脸活体检测
Kang et al. Person re-identification between visible and thermal camera images based on deep residual CNN using single input
CN109858439A (zh) 一种基于人脸的活体检测方法及装置
KR101640014B1 (ko) 허위 안면 이미지 분류가 가능한 홍채 인식 장치
CN109684965A (zh) 一种基于近红外成像与深度学习的人脸识别系统
CN112818722A (zh) 模块化动态可配置的活体人脸识别系统
JP7151875B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN108021892A (zh) 一种基于极短视频的人脸活体检测方法
CN108537131A (zh) 一种基于人脸特征点和光流场的人脸识别活体检测方法
CN107392187A (zh) 一种基于梯度方向直方图的人脸活体检测方法
CN111767879A (zh) 一种活体检测方法
Ballotta et al. Fully convolutional network for head detection with depth images
CN112541421A (zh) 一种开放空间的行人换装重识别方法
Tian et al. Face anti-spoofing by learning polarization cues in a real-world scenario
Song et al. Face liveness detection based on joint analysis of rgb and near-infrared image of faces
Song et al. Face liveliness detection based on texture and color features
CN110110606A (zh) 基于神经网络的可见光与红外人脸图像的融合方法
Peng et al. Presentation attack detection based on two-stream vision transformers with self-attention fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: TIANJIN ZHONGKE HONGXING TECHNOLOGY CO.,LTD. Person in charge of patentsThe principal of patent

Document name: Notice before the expiry of the actual trial request period

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210716