CN116403294B - 基于Transformer的多视图宽度学习活体检测方法、介质及设备 - Google Patents

基于Transformer的多视图宽度学习活体检测方法、介质及设备 Download PDF

Info

Publication number
CN116403294B
CN116403294B CN202310673551.3A CN202310673551A CN116403294B CN 116403294 B CN116403294 B CN 116403294B CN 202310673551 A CN202310673551 A CN 202310673551A CN 116403294 B CN116403294 B CN 116403294B
Authority
CN
China
Prior art keywords
living body
width learning
body detection
view
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310673551.3A
Other languages
English (en)
Other versions
CN116403294A (zh
Inventor
陈俊龙
郭继凤
张通
陈业林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
South China University of Technology SCUT
Original Assignee
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou, South China University of Technology SCUT filed Critical Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Guangzhou
Priority to CN202310673551.3A priority Critical patent/CN116403294B/zh
Publication of CN116403294A publication Critical patent/CN116403294A/zh
Application granted granted Critical
Publication of CN116403294B publication Critical patent/CN116403294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及活体检测技术领域，具体提供了一种基于Transformer的多视图宽度学习活体检测方法、介质及设备；其中方法为：获取待检测人员的多视图视频帧；多视图视频帧经过人脸区域检测模块获得对应的人脸区域图像；使用基于ViT嵌入的多视图宽度学习活体检测模型对人脸区域图像进行特征提取，并计算输出结果及置信度；将置信度与阈值做比较，得出活体检测结果。该方法能够充分挖掘图像中的人脸关键信息；基于多视图学习技术，能够有效解决因距离、光线等问题造成的不稳定性，不需要刻意面向摄像头进行验证；采用宽度学习方式，能使用比较少的参数实现较高的识别精度和响应速度，具有良好的鲁棒性。

Description

基于Transformer的多视图宽度学习活体检测方法、介质及 设备
技术领域
本发明涉及活体检测技术领域，更具体地说，涉及一种基于Transformer的多视图宽度学习活体检测方法。
背景技术
在考试、考勤、在线支付等场景中，人脸识别和身份认证技术发挥至关重要的作用。人脸识别技术因其便捷和非接触等优点渗透到各个商业应用中，如互联网金融行业识别开户身份，防诈骗、防损失；移动出行识别司机身份，保证司乘安全；在线考试远程识别学生身份防止替考；电子民生社保认证；在线医疗中挂号拒绝排队难……但单一的人脸识别系统仍无法准确辨别人脸真伪，造成安全性隐患。因此活体检测成为人脸识别迈向更高层次的核心技术，具有很高的研究意义和商业应用价值。
在金融支付，门禁等应用场景，活体检测一般是嵌套在人脸检测与人脸验证中的模块，用来验证是否用户真实本人，可以防止照片、视频、面具等攻击手段用于身份认证，杜绝在考勤、签到、考试等场景的顶替、作弊行为，保证真人通过率，实现人脸识别的安全保障。因此，在进行人脸识别前要首先判断捕捉的人脸是否是一个真实的脸部，之后再进行身份验证，这样有助于杜绝顶替、作弊行为，保证真人通过率。
目前，活体检测技术主要分为基于手工设计特征的方法和基于深度学习的方法。人工设计的特征针对图像采集时的信息损失和噪声引入，对比图像的纹理差异，如局部高光、阴影变化、模糊程度和高频分量信息损失等实现识别目的。这种基于纹理信息的方法简单，实时性高，成本低，但随着高清摄像机和高清3D面具的应用，其不足之处日益凸显。基于运动信息的检测方法是常见识别率较高的人脸认证技术，但它需要认证人员的高度配合，检测过程不友好，且耗时较长。其他如基于深度信息、热红外成像分析、心率检测分析的方法需要较高的底层硬件支持以获得所需人工设计特征。总体来讲，这类方法虽识别率较高，但严重依赖于特征表达（需要解决细节损失、颜色失真、阴影模糊和图像高光等问题）和硬件支持，在视频回放、3D面具等逼真的伪信息下，鲁棒性和泛化能力有限。
相较于基于手工设计特征的方法，基于深度学习的活体检测方式具有无法比拟的优势，适用于各种欺骗手段。如针对照片和视频攻击的双流CNN的人脸反欺骗方法；反3D 面具欺骗方法；使用Inception 和ResNet架构在不同的环境下的人脸欺骗检测等。然而该类方法成本高、体量大，轻量化部署难度高，不能满足在线实时处理需求。因此，如何设计出一种检测精度高、耗时短、鲁棒性强、实时响应的人脸活体检测技术至关重要。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于Transformer的多视图宽度学习活体检测方法、介质及设备；该方法将视觉Transformer机制嵌入到宽度学习的映射特征节点层，能够充分挖掘图像中的人脸关键信息；基于多视图学习技术，能够有效解决因距离、光线等问题造成的不稳定性，不需要刻意面向摄像头进行验证；采用宽度学习方式，能使用比较少的参数实现较高的识别精度和响应速度，具有良好的鲁棒性。
为了达到上述目的，本发明通过下述技术方案予以实现：一种基于Transformer的多视图宽度学习活体检测方法，包括如下步骤：
S1、获取待检测人员的多视图视频帧；
S2、多视图视频帧经过人脸区域检测模块获得对应的人脸区域图像X i ，i=1,2,… n；
S3、使用基于ViT嵌入的多视图宽度学习活体检测模型对人脸区域图像X i 进行特征提取，并计算输出结果及置信度；
S4、将置信度与阈值做比较，得出活体检测结果；
所述S3包括如下分步骤：
S31、对于人脸区域图像X i ，第i个视图ViT模块将对应的人脸区域图像X i 分成若干个Patch，进行线性变换，加上位置编码向量和分类标志位后形成D维的编码序列V i ：
；
其中，x c 为分类标志位；为Patch压平后的序列数据，k=1,2,…N；N为Patch的数量；E为Patch嵌入的全连接层；E pos 为位置编码向量；
S32、将编码序列V i 输入到视觉transformer中进行全局注意力计算和特征提取：经过多头注意力机制获得编码序列间特征V i ’ l ，并利用MLP模块的各层依次对特征V i ’ l 进行特征变换：
V i ’ l =MSA(LN(V il-1 ))+V il-1 ；
V il =MLP(LN(V i ’ l ))+V i ’ l ；
其中，MSA( )为多头注意力对应的转化函数；LN( )为线性标准化；MLP( )为多层感知机对应的映射函数；V il-1 、V il 分别为MLP模块第l-1、l层输出的特征；
经过MLP模块的L层计算得到最后一层特征的输出V iL ；
S33、采用宽度学习方式计算人脸区域图像X i 的映射特征组Z n 及增强特征组H，进而得到多视图宽度学习活体检测模型的输出Y；
S34、对输出Y计算置信度Cd i 。
优选地，所述S33是指：
采用宽度学习方式计算每个人脸区域图像X i 对应的映射特征Z i ：
Z i =LN(V iL )；
所有视图数据对应的映射特征组表示为Z n =[Z 1 ,Z 2 ,…,Z n ]；映射特征组Z n 经过非线性映射函数，形成增强特征组H m =[H 1 ,H 2 ,…,H m ]；
其中，第j个增强特征H j 为，j=1,2,…m：
；
其中，W hj 和β hj 分别是随机产生的连接权重；为非线性激活函数；
合并得到的映射特征Z n 和增强特征组H m ，形成新的人脸活体识别特征A=[Z n |H m ]，并连接到输出层，从而得到多视图宽度学习活体检测模型的输出Y为：
Y=Max(AW)；
其中，W为多视图宽度学习活体检测模型的特征层和输出层的连接权重。
优选地，所述多视图宽度学习活体检测模型的特征层和输出层的连接权重W的计算方法是：
使用岭回归来求解权值矩阵，通过公式arg min优化问题求解W：
；
使，解得：W=(λI+AA T )-1 A T Y。
优选地，所述置信度Cd i 的计算方法是：
。
一种可读存储介质，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述基于Transformer的多视图宽度学习活体检测方法。
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述基于Transformer的多视图宽度学习活体检测方法。
与现有技术相比，本发明具有如下优点与有益效果：
1、针对主流的基于深度学习的检测方法存在的消耗大，训练时间长等问题，本发明以宽度学习为基础循序渐进设计高效的轻量级检测方法；将视觉transformer嵌入宽度学习生成映射特征组，提高了宽度学习的特征提取能力，并通过增强层加强和融合特征，为后期人脸识别模块提供有效的人脸特征；此外，由于宽度学习的特点，该框架能使用比较少的参数实现较高的识别精度和响应速度；
2、本发明采用的多视图方式能够有效解决由于距离、角度和光照等原因造成的不稳定性，不需要刻意面向摄像头进行验证，对环境等因素具有较高的容忍性；
3、本发明研发基于宽度学习的轻量化人脸活体检测技术，可提高识别精度，并解决基于深度学习的方法时间消耗和资源占用问题，有助于模型的快速开发和技术部署；本发明中使用的增量学习方式能够方便利用新增加的各种类型攻击手段数据，无需模型重建，使用最低成本提高模型鲁棒性。
附图说明
图1是本发明基于Transformer的多视图宽度学习活体检测方法的流程图；
图2是本发明多视图宽度学习活体检测模型的结构框图；
图3是本发明多视图宽度学习活体检测模型的视图ViT模块。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例
本实施例一种基于Transformer的多视图宽度学习活体检测方法，如图1所示，包括如下步骤：
S1、获取待检测人员的多视图视频帧。
S2、多视图视频帧经过人脸区域检测模块获得对应的人脸区域图像X i ，i=1,2,… n。人脸区域检测模块可采用现有技术。
S3、使用基于ViT嵌入的多视图宽度学习活体检测模型对人脸区域图像X i 进行特征提取，多视图宽度学习活体检测模型，并计算输出结果及置信度。
多视图宽度学习活体检测模型，如图2。多视图的人脸区域图像X i 通过多组轻量化预训练视图ViT模块分别提取不同视图数据下的初步特征，然后通过非线性函数将其映射，得到增强节点，该部分特征能够有效结合多视图数据的互补信息等。最后，单视图特征与融合特征，即最终人脸活体多粒度识别特征连接到输出层。输出层输出置信度。根据置信度，判断该区域人脸是否是活体。值得注意的是，该模型也可采用增量学习的方式进行训练。这样既能缓解计算压力，又能在动态环境中不断更新数据和模型。
视图ViT模块，如图3所示，包括：
Embedding层，用于将输入人脸区域图像X i 格式[H, W, C]转化为Transformer编码器设定的向量序列；
Transformer 编码器，包含重复堆叠的L次编码器模块，包括Layer Norm、多头注意力部分、Dropout和MLP Block；其中多头注意力部分用于获得关注部分；MLP 层用于得到视图ViT模块最后一层的特征输出。
S3具体包括如下分步骤：
S31、对于人脸区域图像X i ，第i个视图ViT模块将对应的人脸区域图像X i 分成若干个Patch，进行线性变换，加上位置编码向量和分类标志位后形成D维的编码序列V i ：
；
其中，x c 为分类标志位，该向量是人为设定的，可学习的嵌入向量，用于Transformer训练过程中的类别信息学习；为Patch压平后的序列数据，k=1,2,…N；N为Patch的数量；E为Patch嵌入的全连接层；E pos 为位置编码向量，为了保持输入图像patch之间的空间位置信息；其中位置编码向量由以下公式计算：
；
其中，t为向量在序列中的实际位置（例如第一个向量为1，第二个向量为2…）；d为向量对应的维度；
S32、将编码序列V i 输入到视觉transformer中进行全局注意力计算和特征提取：经过多头注意力机制获得编码序列间特征V i ’ l ，并利用MLP模块的各层依次对特征V i ’ l 进行特征变换：
V i ’ l =MSA(LN(V il-1 ))+V il-1 ；
V il =MLP(LN(V i ’ l ))+V i ’ l ；
其中，MSA( )为多头注意力对应的转化函数；LN( )为线性标准化；MLP( )为多层感知机对应的映射函数；V il-1 、V il 分别为MLP模块第l-1、l层输出的特征；
这里MSA模块计算过程与Self-Attention中的计算过程一样；
经过MLP模块的L层计算得到最后一层特征的输出V iL 。
S33、采用宽度学习方式计算人脸区域图像X i 的映射特征组Z n 及增强特征组H，进而得到多视图宽度学习活体检测模型的输出Y；
具体地说，采用宽度学习方式计算每个人脸区域图像X i 对应的映射特征Z i ：
Z i =LN(V iL )；
所有视图数据对应的映射特征组表示为Z n =[Z 1 ,Z 2 ,…,Z n ]；映射特征组Z n 经过非线性映射函数，形成增强特征组H m =[H 1 ,H 2 ,…,H m ]；增强特征能实现单视图信息的融合和互补；
其中，第j个增强特征H j 为，j=1,2,…m：
；
其中，W hj 和β hj 分别是随机产生的连接权重和偏置；为非线性激活函数；
合并得到的映射特征Z n 和增强特征组H m ，形成新的人脸活体识别特征A=[Z n |H m ]，并连接到输出层；由于每一帧图像对应的人脸真伪信息已知，只需计算特征层和输出层的连接权重W即可；
多视图宽度学习活体检测模型的特征层和输出层的连接权重W的计算方法是：
W=A -1 Y；
使用岭回归来求解权值矩阵，通过公式arg min优化问题求解W：
；
使，解得：W=(λI+AA T )-1 A T Y。
从而得到多视图宽度学习活体检测模型的输出Y为：
Y=Max(AW)。
S34、对输出Y计算置信度Cd i ：
。
S4、将置信度与阈值做比较，得出活体检测结果。
S4之后还可以包括S5：根据活体检测结果，决定是否进行人脸识别。若为假体，则给出警报和提示；若为真人，则进行人脸识别。
实施例二
本实施例一种可读存储介质，其中所述可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行实施例一所述的基于Transformer的多视图宽度学习活体检测方法。
实施例三
本实施例一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例一所述的基于Transformer的多视图宽度学习活体检测方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于Transformer的多视图宽度学习活体检测方法，其特征在于：包括如下步骤：
S1、获取待检测人员的多视图视频帧；
S2、多视图视频帧经过人脸区域检测模块获得对应的人脸区域图像X i ，i=1,2,…n；
S3、使用基于ViT嵌入的多视图宽度学习活体检测模型对人脸区域图像X i 进行特征提取，并计算输出结果及置信度；
S4、将置信度与阈值做比较，得出活体检测结果；
所述S3包括如下分步骤：
S31、对于人脸区域图像X i ，第i个视图ViT模块将对应的人脸区域图像X i 分成若干个Patch，进行线性变换，加上位置编码向量和分类标志位后形成D维的编码序列V i ：
；
其中，x c 为分类标志位；为Patch压平后的序列数据，k=1,2,…N；N为Patch的数量；E为Patch嵌入的全连接层；E pos 为位置编码向量；
S32、将编码序列V i 输入到视觉transformer中进行全局注意力计算和特征提取：经过多头注意力机制获得编码序列间特征V i ’ l ，并利用MLP模块的各层依次对特征V i ’ l 进行特征变换：
V i ’ l =MSA(LN(V il-1 ))+ V il-1 ；
V il =MLP(LN(V i ’ l ))+ V i ’ l ；
其中，MSA( )为多头注意力对应的转化函数；LN( )为线性标准化；MLP( )为多层感知机对应的映射函数；V il-1 、V il 分别为MLP模块第l-1、l层输出的特征；
经过MLP模块的L层计算得到最后一层特征的输出V iL ；
S33、采用宽度学习方式计算人脸区域图像X i 的映射特征组Z n 及增强特征组H，进而得到多视图宽度学习活体检测模型的输出Y；
S34、对输出Y计算置信度Cd i ；
所述S33是指：
采用宽度学习方式计算每个人脸区域图像X i 对应的映射特征Z i ：
Z i =LN(V iL ) ；
所有视图数据对应的映射特征组表示为Z n =[Z 1 ,Z 2 ,…, Z n ]；映射特征组Z n 经过非线性映射函数，形成增强特征组H m =[H 1 ,H 2 ,…, H m ]；
其中，第j个增强特征H j 为，j=1,2,…m：
；
其中，W hj 和β hj 分别是随机产生的连接权重；为非线性激活函数；
合并得到的映射特征Z n 和增强特征组H m ，形成新的人脸活体识别特征A=[Z n |H m ]，并连接到输出层，从而得到多视图宽度学习活体检测模型的输出Y为：
Y=Max(AW) ；
其中，W为多视图宽度学习活体检测模型的特征层和输出层的连接权重。
2.根据权利要求1所述的基于Transformer的多视图宽度学习活体检测方法，其特征在于：
所述多视图宽度学习活体检测模型的特征层和输出层的连接权重W的计算方法是：
使用岭回归来求解权值矩阵，通过公式arg min优化问题求解W：
；
使，解得：W=(λI+ AA T )-1 A T Y。
3.根据权利要求1所述的基于Transformer的多视图宽度学习活体检测方法，其特征在于：所述置信度Cd i 的计算方法是：
。
4.一种可读存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-3中任一项所述的基于Transformer的多视图宽度学习活体检测方法。
5.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-3中任一项所述的基于Transformer的多视图宽度学习活体检测方法。
CN202310673551.3A 2023-06-08 2023-06-08 基于Transformer的多视图宽度学习活体检测方法、介质及设备 Active CN116403294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310673551.3A CN116403294B (zh) 2023-06-08 2023-06-08 基于Transformer的多视图宽度学习活体检测方法、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310673551.3A CN116403294B (zh) 2023-06-08 2023-06-08 基于Transformer的多视图宽度学习活体检测方法、介质及设备

Publications (2)

Publication Number Publication Date
CN116403294A CN116403294A (zh) 2023-07-07
CN116403294B true CN116403294B (zh) 2023-10-27

Family

ID=87010934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310673551.3A Active CN116403294B (zh) 2023-06-08 2023-06-08 基于Transformer的多视图宽度学习活体检测方法、介质及设备

Country Status (1)

Country Link
CN (1) CN116403294B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117133059B (zh) * 2023-08-18 2024-03-01 北京科技大学 一种基于局部注意力机制的人脸活体检测方法及装置
CN117238018A (zh) * 2023-09-20 2023-12-15 华南理工大学 基于多粒度的可增量深宽网络活体检测方法、介质及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490324A (zh) * 2019-08-21 2019-11-22 重庆大学 一种梯度下降宽度学习系统实现方法
CN111461176A (zh) * 2020-03-09 2020-07-28 华南理工大学 基于归一化互信息的多模态融合方法、装置、介质及设备
CN114863497A (zh) * 2022-04-20 2022-08-05 华南理工大学 一种基于Transformer的静脉认证方法
WO2023022727A1 (en) * 2021-08-20 2023-02-23 Google Llc Prompt tuning using one or more machine-learned models
CN116206373A (zh) * 2023-02-10 2023-06-02 北京旷视科技有限公司 活体检测方法、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490324A (zh) * 2019-08-21 2019-11-22 重庆大学 一种梯度下降宽度学习系统实现方法
CN111461176A (zh) * 2020-03-09 2020-07-28 华南理工大学 基于归一化互信息的多模态融合方法、装置、介质及设备
WO2023022727A1 (en) * 2021-08-20 2023-02-23 Google Llc Prompt tuning using one or more machine-learned models
CN114863497A (zh) * 2022-04-20 2022-08-05 华南理工大学 一种基于Transformer的静脉认证方法
CN116206373A (zh) * 2023-02-10 2023-06-02 北京旷视科技有限公司 活体检测方法、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization;Zhengang Li 等;2022 32nd International Conference on Field-Programmable Logic and Applications (FPL);全文 *
基于ViT的细粒度图像分类;李佳盈 等;计算机工程与设计;第44卷(第3期);第917-920页 *

Also Published As

Publication number Publication date
CN116403294A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN116403294B (zh) 基于Transformer的多视图宽度学习活体检测方法、介质及设备
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
Yu et al. A survey on deepfake video detection
CN109815893B (zh) 基于循环生成对抗网络的彩色人脸图像光照域归一化的方法
CN106780906B (zh) 一种基于深度卷积神经网络的人证合一识别方法及系统
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
Yuan et al. Deep residual network with adaptive learning framework for fingerprint liveness detection
CN108038420B (zh) 一种基于深度视频的人体行为识别方法
Kumar et al. An object detection technique for blind people in real-time using deep neural network
CN104599287B (zh) 对象跟踪方法和装置、对象识别方法和装置
CN107590430A (zh) 活体检测方法、装置、设备及存储介质
CN105205453B (zh) 基于深度自编码器的人眼检测和定位方法
JP2017010543A (ja) 顔認識方法及び装置
CN106650617A (zh) 一种基于概率潜在语义分析的行人异常识别方法
CN105138951B (zh) 基于图模型表示的人脸画像-照片识别方法
Lin et al. Building damage assessment from post-hurricane imageries using unsupervised domain adaptation with enhanced feature discrimination
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
CN114882537A (zh) 一种基于神经辐射场的手指新视角图像生成方法
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN113033305A (zh) 活体检测方法、装置、终端设备和存储介质
Zhu [Retracted] A Face Recognition System Using ACO‐BPNN Model for Optimizing the Teaching Management System
CN113034433B (zh) 数据鉴伪方法、装置、设备以及介质
Kong et al. Improved YOLOv4 for pedestrian detection and counting in UAV images
Dong 3D face recognition neural network for digital human resource management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant