CN111709409B - 人脸活体检测方法、装置、设备及介质 - Google Patents
人脸活体检测方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111709409B CN111709409B CN202010840383.9A CN202010840383A CN111709409B CN 111709409 B CN111709409 B CN 111709409B CN 202010840383 A CN202010840383 A CN 202010840383A CN 111709409 B CN111709409 B CN 111709409B
- Authority
- CN
- China
- Prior art keywords
- feature
- vector
- training
- network
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种人脸活体检测方法、装置、设备及介质,人脸检测方法包括:获取训练集;将训练数据输入教师网络进行第一训练,得到训练好的教师网络模型;将训练数据输入学生网络进行第二训练,得到训练好的人脸活体检测模型;将待检测的人脸图像输入人脸活体检测模型,得到人脸图像中对象是否为活体的检测结果。本申请通过知识蒸馏学习器指导学生网络进行训练,得到模型参数更少的学生网络模型作为训练好的人脸活体检测模型,提升了模型的计算速度和人脸活体检测的速度;通过元学习器对模型参数的更新优化来辅助人脸活体检测模型的训练过程,通用性更好。本申请可广泛应用于人工智能领域。
Description
技术领域
本发明涉及人工智能领域,尤其是涉及一种人脸活体检测方法、装置、设备及介质。
背景技术
活体检测,是指计算机判别检测的人脸是真实的人脸,还是伪造的人脸攻击,如各种打印照片攻击(包括彩色打印照片、黑白打印照片、红外打印照片等)、屏幕播放攻击(手机屏幕、平板屏幕、电脑屏幕等)和高清3D攻击(各种材质的面具、头部模型、头套面具等)等。对此,出现了各种各样基于计算机视觉的活体检测方法。
随着深度学习的发展,人工智能中深度学习方法因强大、灵活的特征提取能力而被应用于活体检测领域并逐渐成为活体检测的主流方法。目前,基于深度学习的活体检测方法,需要对不同场景训练多个活体检测模型,即需要进行具体场景的定制化设计,通用性不高;需要的模型参数较多,导致模型的计算速度变慢,难以在低计算能力的终端平台(如嵌入式设备等)上实时运行。
发明内容
本申请实施例提供一种人脸活体检测方法、装置、设备及介质,以提升检测的速度以及通用性。
根据本申请实施例的第一方面,一种人脸活体检测方法,包括以下步骤:
获取训练集,其中所述训练集包含多个训练数据,所述训练数据为带有标签的人脸图像数据;
将所述训练数据输入教师网络进行第一训练,得到训练好的教师网络模型,所述第一训练包括提取所述训练数据的第一特征,以及对所述第一特征进行分类得到第一输出;
将所述训练数据输入学生网络进行第二训练,得到训练好的人脸活体检测模型,其中,所述学生网络包括第二特征分类网络,所述第二训练包括:提取所述训练数据的第二特征,并通过第一知识蒸馏学习器约束所述第二特征与所述第一特征的差距在第一预设范围内;通过元学习器更新所述第二特征分类网络的模型参数,通过更新模型参数后的所述第二特征分类网络对所述第二特征进行分类得到第二输出,并通过第二知识蒸馏学习器约束所述第二输出与第一输出的差距在第二预设范围内;
将待检测的人脸图像输入所述人脸活体检测模型,得到所述人脸图像中对象是否为活体的检测结果。
根据本申请实施例的第二方面,一种人脸活体检测装置,包括:
获取模块,用于获取训练集,其中所述训练集包含多个训练数据,所述训练数据为带有标签的人脸图像数据;
第一训练模块,用于将所述训练数据输入教师网络进行第一训练,得到训练好的教师网络模型,所述第一训练包括提取所述训练数据的第一特征,以及对所述第一特征进行分类得到第一输出;
第二训练模块,用于将所述训练数据输入学生网络进行第二训练,得到训练好的人脸活体检测模型,其中,所述学生网络包括第二特征分类网络,所述第二训练包括:提取所述训练数据的第二特征,并通过第一知识蒸馏学习器约束所述第二特征与所述第一特征的差距在第一预设范围内;通过元学习器更新所述第二特征分类网络的模型参数,通过更新模型参数后的所述第二特征分类网络对所述第二特征进行分类得到第二输出,并通过第二知识蒸馏学习器约束所述第二输出与第一输出的差距在第二预设范围内;
检测模块,用于将待检测的人脸图像输入所述人脸活体检测模型,得到所述人脸图像中对象是否为活体的检测结果。
根据本申请实施例的第三方面,一种计算机设备,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现第一方面所述的方法。
根据本申请实施例的第四方面,一种计算机可读存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于实现第一方面所述的方法。
本申请实施例提供的技术方案将训练数据输入学生网络进行第二训练,第二训练包括通过第一知识蒸馏学习器约束所述第二特征与所述第一特征的差距在第一预设范围内,以及通过第二知识蒸馏学习器约束所述第二输出与第一输出的差距在第二预设范围内,基于训练好的教师网络模型,通过第一知识蒸馏学习器和第二知识蒸馏学习器指导用于人脸活体检测的学生网络进行训练,得到模型参数更少的学生网络模型作为训练好的人脸活体检测模型,提升了模型的计算速度和人脸活体检测的速度,降低了对终端平台的计算能力要求,能在低计算能力的终端平台上实时运行;第二训练包括通过元学习器更新第二特征分类网络的模型参数,通过元学习器对模型参数的更新优化来辅助人脸活体检测模型的训练过程,从而获得适用于多个场景的通用活体检测模型,提升了训练的人脸活体检测模型对跨场景活体检测的能力,通用性更好。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种人脸活体检测方法的实施环境示意图;
图2为本申请实施例提供的另一种人脸活体检测方法的实施环境示意图;
图3本申请实施例提供的一种人脸活体检测方法流程图;
图4为本申请实施例人脸活体检测模型的架构图;
图5为本申请实施例元学习器辅助神经网络模型进行训练的过程示意图;
图6为本申请实施例的人脸活体检测方法应用于门禁系统场景时的流程图;
图7为本申请实施例一种显示方法的流程图;
图8为本申请实施例的一种终端设备显示界面示意图;
图9为本申请实施例一种人脸活体检测装置的结构示意图;
图10为本申请实施例一种计算机设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
首先,对本申请实施例中涉及的相关名词术语进行介绍和说明:
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision, CV):计算机视觉是一门研究如何使机器“看”的科学,更进一步地说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML):一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
知识蒸馏(knowledge distillation):也叫暗知识提取,是指通过结构复杂、计算量大但是性能优秀的教师神经网络(teacher network),对结构相对简单、计算量较小的学生神经网络络(student network)的训练进行指导,以提升学生神经网络的性能,实现知识迁移(knowledge transfer)的过程。知识蒸馏能使模型变轻量的同时(方便部署),尽量不损失性能。
KL散度( Kullback-Leibler divergence):又称相对熵(relative entropy),是描述两个概率分布间差异的一种方法。在机器学习领域,KL散度被用来度量两个函数的相似程度或者相近程度。
元学习:又叫做学会学习, 是机器学习领域一个重要的研究方向, 它解决的是学会如何学习的问题。传统的机器学习研究模式是:获取特定任务的数据集, 每次再利用这些数据集从头开始训练模型。然而, 人类可以通过获取以往的经验, 对同类型的任务或有共性的任务进行快速学习, 这是因为人类懂得如何学习。如果把特征提取视为机器在数据集上学习的过程, 那么元学习器就是要评估这个学习过程, 也就是让机器学习学习的过程, 即通过学习获得学习经验, 利用这些经验再去对最终的目标任务进行评估。一种常见的元学习方式是将学习算法编码进卷积神经网络中, 包括基于距离度量的元学习和基于模型的元学习。基于距离度量的元学习将图像映射到一个度量空间并使用某种度量方式计算不同图像样本的差异, 度量方式包括固定距离度量(欧式距离、余弦距离或点乘)和非固定距离度量(例如使用Sigmoid计算距离得分);基于模型的元学习通过构建元模型来获得经验知识, 再利用这些经验去评估最终的分类任务。另一种元学习方式是基于优化的元学习, 基于优化的元学习目的是使网络具有一个好的初始化。
本申请各实施例的方案主要涉及人工智能中计算机视觉的人脸活体检测等技术,具体通过如下实施例进行说明:
相关技术基于深度学习的活体检测方法,通常采用由特征提取和特征分类组成的二级活体检测算法框架,先通过卷积神经网络等提取特征,再利用多层感知机对特征进行高精度分类。然而,深度学习方法是数据驱动的学习方法,对于与训练数据同源、同分布的测试集,深度学习方法通常能达到很高的分类精度,而对于与训练数据差异较大的非同源、非同分布的测试集,深度学习方法的预测充满了不确定性。在活体检测方面,该不确定性就体现在对不同摄像头不同场景下活体检测结果的不确定性,这极大地限制了活体检测方法的通用性,导致需要对不同场景训练多个活体检测模型,即需要进行具体场景的定制化设计。另外,为了实现高精度的活体检测,深度学习方法需要引入更大、更深的神经网络模型,这使得模型的计算速度变慢,该问题在计算能力低的终端平台(如嵌入式设备等)上体现更明显,导致其难以在低计算能力的终端平台上实时运行。
为此,本申请实施例提供了一种人脸活体检测方法,该方法融合了知识蒸馏的方法和元学习的方法实现了人脸活体检测功能,通过知识蒸馏学习器获得模型参数更少的人脸活体检测模型,提升了模型的计算速度和人脸活体检测的速度,降低了对终端平台的计算能力要求,能在低计算能力的终端平台上实时运行;通过元学习器对模型参数的更新优化来辅助人脸活体检测模型的训练过程,从而获得适用于多个场景的通用活体检测模型,提升了训练的人脸活体检测模型对跨场景跨摄像头活体检测的能力,通用性更好。该检测方法可应用于终端中,或者可应用于服务器中,或者可应用于由终端和服务器所组成的实施环境中。此外,该检测方法还可以是运行于终端或服务器中的软体,例如具有人脸活体检测功能的应用程序等。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器。
图1和图2是本申请实施例提供的一种人脸活体检测方法的实施环境。两种实施环境中包括的设备不同,每个设备的功能也可以不同,则该活体检测方法中每个设备所执行的步骤则可以不同。本申请实施例对具体为哪种实施环境不作限定。
在一种可能实现方式中,参见图1,该实施环境可以包括计算机设备101,该计算机设备101可以具有图像采集功能和图像处理功能,该计算机设备101可以采集对象(如人、环境)的图像,并对图像中人脸区域进行活体检测,以确定对象是否为活体。图1中,智能手机1011、平板电脑1012、台式计算机1013均为终端的示例性实施例;而1014则为服务器。
在另一种可能实现方式中,参见图2,该实施环境可以包括计算机设备101和图像采集设备102,该图像采集设备102可以具有图像采集功能,计算机设备101可以具有图像处理功能。图像采集设备102可以采集对象的图像,并将采集到的图像发送至计算机设备101,由计算机设备101对图像中人脸区域进行活体检测,以确定对象是否为活体。图2中,智能手机1011、平板电脑1012、台式计算机1013均为终端的示例性实施例;而1014则为服务器。
该活体检测方法可以应用于各种场景中,例如,该活体检测方法可以应用于智能门禁系统中,可以采集对象的图像,确定对象是否为活体,如果是活体,则可以控制开门,如果不是活体,则可以不执行开门逻辑。又例如,该活体检测方法可以应用于人脸识别支付场景中,可以采集对象的图像,确定对象是否为活体,如果是活体,则可以执行支付逻辑,如果不是活体,则可以返回支付失败。当然,该活体检测方法还可以应用于考勤、智慧社区、智慧零售等其他身份验证场景中,在此不一一列举。
本领域技术人员可以理解的是,计算机设备101可以是终端,也可以是服务器,本申请实施例对此不作限定。
如图4所示,本申请实施例的人脸活体检测模型的整个网络主要包括特征提取网络、特征分类网络、知识蒸馏学习器和元学习器。
特征提取网络为第一个神经网络,其通过多个卷积层提取输入图像的特征。特征提取网络的输入是包含人脸区域的图像(即人脸图像)。特征提取网络的主干部分可以使用相关技术的深度卷积网络,如VGGNet (Visual Geometry GroupNetwork)、ResNet(Residual Neural Network)、GoogleNet(Google Network)、DenseNet(DenseConvolutional Network)等经典的网络结构,也可以根据实际的空间与时间需求自行调整和修改。为了加速网络的收敛和提升网络的性能,在一种可能的实施方式中,可以使用串联的若干残差块作为特征提取网络的结构,每一个残差块中包含两组第一计算单元4011,每一个第一计算单元4011又由卷积层Conv、批归一化层BN和非线性激活函数ReLU组成。卷积层用于进行特征提取,可由一组滤波器组成,滤波器本身可以视为数学矩阵,可选地,滤波器可以使用高斯滤波器。批归一化层用于对卷积层特征提取的结果进行批量规范化处理,即在模型每次通过随机梯度下降训练时,通过对相应的响应做规范化操作,使得输出结果的均值为0,方差为1,这样不仅能够加快模型收敛速度,而且更重要的是在一定程度可以缓解深层网络的“梯度弥散”难题,从而使得训练得到的神经网络模型更加稳定。非线性激活函数通过引入非线性特征进行激活处理,使得模型能够应对更复杂数据的学习或模拟情况,提升模型的学习能力。
特征分类网络为第二个神经网络,由多层感知机(multi-layer perceptron,MLP)组成。特征分类网络的输入是第一个神经网络(即特征提取网络)输出的特征,特征分类网络的输出为预测的真人分数值。为了保证计算速度,在一种可能的实施方式中,可以使用两层全连接层做真人与攻击的分类。
上述两个神经网络组成的活体检测模型是相关技术所采用的活体检测框架,存在容易因模型的参数多而导致过拟合和模型计算速度慢、对多种场景摄像头支持效果不好(即通用性不高)等问题。为了提升模型的通用性和计算速度,本申请实施例引入了元学习器和知识蒸馏学习器,实现在计算能力低的终端平台(如嵌入式设备等)上的快速通用人脸活体检测。
知识蒸馏学习器作用于整个神经网络模型,即作用于特征提取网络和特征分类网络。本实施例将作用于特征提取网络的知识蒸馏学习器称为第一知识蒸馏学习器,将作用于特征分类网络的知识蒸馏学习器称为第二知识蒸馏学习器,这样的划分是为了区分不同的作用对象。本领域的技术人员可以理解,本申请实施例既可以通过一个知识蒸馏学习器来共同实现第一知识蒸馏学习器和第二知识蒸馏学习器的功能,也可以通过2个独立的知识蒸馏学习器来分别实现第一知识蒸馏学习器和第二知识蒸馏学习器的功能。如图4所示,知识蒸馏学习器的主要组成部分是教师网络400和学生网络410。教师网络400是一个高精度、参数量大的用于活体检测的深层网络,学生网络410则是一个参数量少、可在嵌入式终端设备等在低计算能力的终端平台上实时运行的小网络。在一种可能的实施方式中,与教师网络400相对应,学生网络410同样可以使用串联的若干残差块作为特征提取网络的结构,每一个残差块中包含一组第二计算单元4111,每一个第二计算单元4111又由卷积层Conv、批归一化层BN和非线性激活函数ReLU组成。
知识蒸馏学习器的目标是利用教师网络的输出指导学生网络的学习,达到学生网络的输出分布与教师网络的输出分布相同或相近的效果。具体地,为了使学生网络和教师网络的达到相同或相近的人脸活体检测效果,本申请实施例不仅使用了传统知识蒸馏教师网络400对应的特征分类网络(即第一特征分类网络402)的输出(即第一输出)分布与学生网络410对应的特征分类网络(即第二特征分类网络412)的输出(即第二输出)分布之间的KL散度约束(即第二知识蒸馏器的约束),还增加了教师网络400对应的特征提取网络(即第一特征提取网络401)的特征(即第一特征)分布与学生网络410对应的特征提取网络(即第二特征提取网络411)的特征(即第二特征)之间的距离约束和角度约束(即第一知识蒸馏器的2个约束),通过这3个约束的共同作用从而训练获得更加精准的学生网络模型用于人脸活体检测的预测。其中,KL散度约束需要满足:教师网络与学生网络得到的输出(即第一输出和第二输出)的分布相似。距离和角度约束需要满足:对于同一批人脸图像,经过教师网络与学生网络提取特征得到的特征(即第一特征与第二特征)间的距离和角度应该相近。具体地,距离可以是欧氏距离或余弦距离,还可以是其他距离(如L1距离等)。
实际进行人脸活体预测时使用的是学生网络模型,故元学习器主要作用于第二特征分类网络412,以提升训练的学生网络模型(即人脸活体检测模型)对不同场景(如不同摄像头)的通用性。本申请实施例元学习器可以采用基于优化的元学习方法来辅助第二特征分类网络412的训练,从而通过迭代训练得到能适用于不同场景的通用模型参数。图5示出了元学习器辅助神经网络模型进行训练的过程示意图,其中,501为输入的训练图像,502为初始的神经网络,5021为神经网络的初始模型参数,5031为损失函数的参数梯度,504表示元学习器,5041为元学习器504的参数,5051为神经网络经元学习器504更新后的模型参数。图5中,元学习器完成一次训练的步骤(即元学习器完成一次优化步骤)为:首先获取神经网络的初始模型参数5021和初始的神经网络502;接着,根据初始的神经网络502预测的结果和训练图像标签计算损失函数和参数梯度5031;再接着,通过元学习器504修改更新模型参数(一般是在梯度5031的方向上修改),得到更新模型参数后的神经网络。如图5所示,完整的元学习器学习过程就是不断地重复这个优化步骤,直到神经网络中的参数收敛。
在一种可能的实施方式中,元学习器辅助第二特征网络412进行分类训练的具体过程如下:
元学习器首先按照一定的标准(如按摄像头的型号)将训练集分为训练样本集和评测样本集两部分,需保证这两部分无交集;随后,学生网络先在训练样本集上计算损失函数La0并求取临时参数梯度,此时对应的学生网络模型为a0;再按该临时参数梯度方向修改模型a0的参数获得一个临时学生网络模型b0,然后将该临时模型b0在评测样本集上计算交叉熵损失Lb0,最终根据总损失La0+Lb0计算该学生网络模型的实际参数梯度。如此,元学习器实际上促使学生网络模型获得一套对大多数场景更优的参数梯度来进行特征分类,从而可通过梯度下降优化法得到更通用和更好的人脸活体检测模型。
综上所述,本申请实施例的人脸活体检测模型,在当前神经网络框架的基础上,引入了知识蒸馏学习器和元学习器作为辅助学习器,在实现了支持多场景的通用活体检测目标的同时,可以在低计算能力的平台实时运行。
示例性地,以不同场景为不同型号的摄像头为例,应用图4的人脸活体检测结构来训练出用于人脸活体检测的学生网络模型,包括以下步骤一至步骤五:
步骤一.获得人脸图像数据集:分别获得{A,B,C,…}摄像头的{NA,NB,NC,…}张真人图片和{MA,MB,MC,…}张攻击图片,并从中提取人脸区域,然后将图像人脸区域重新缩放至相同分辨率大小。其中,A,B,C,…为摄像头的型号,NA,NB,NC为整数,MA,MB,MC也为整数。
通过以上步骤,包含NA+NB+NC+…个真人图像和MA+MB+MC+…个攻击图像的数据集W就已经获得,接着将该数据集W按摄像头类型或型号分为两部分,称为训练样本集X和评测样本集Y。
步骤二.进行教师网络的预训练。
具体地,教师网络包括第一特征提取网络401和第一特征分类网络402,网络宽度和深度都比学生网络更大。本实施例教师网络可选择使用标准的ResNet-18。训练时可先将教师网络的第一特征提取网络401在ImageNet数据集上预训练,然后将整个教师网络在数据集W上精调优化。
步骤三.进行学生网络的第二特征提取网络411和第二特征分类网络412的训练。
特征提取网络和特征分类网络构成的活体检测网络是相关技术常用的活体检测框架。本实施例与其他框架相同,学生网络使用基于分类的交叉熵损失分类真人与攻击。本申请实施例为了简化问题建模过程,可进行真人与非真人样本的二分类任务,因此训练时可使用二分类交叉熵损失对网络进行训练。
步骤四.元学习器的辅助训练:在步骤三进行的同时,元学习器需要同时参与训练。如前所述,此时学生网络410的第二特征分类网络412先在训练样本集上计算损失函数La0并求取临时参数梯度,再按该梯度方向修改模型参数获得一个临时学生网络模型b0,然后将该临时模型b0在评测样本集上计算交叉熵损失Lb0,最终根据总损失La0+Lb0计算该学生网络模型的实际参数梯度,将其作为最终的第二特征分类网络的梯度下降方向。
步骤五.知识蒸馏学习器的辅助训练:在步骤三和步骤四进行的同时,知识蒸馏学习器需要同时参与训练,利用第一特征向量和第二特征向量的距离和角度约束以及第一输出向量和第二输出向量的KL散度约束共同优化,得到模型参数少且性能不受影响的学生网络模型,以用于实际的人脸活体预测。
图3是本申请实施例提供的一种人脸活体检测方法的流程图,该方法应用于图1所示或图2所示的计算机设备101中并采用图4的网络结构。参见图3,该方法可以包括以下步骤S301、S302、S303和S304:
S301、获取训练集,其中训练集包含多个训练数据,训练数据为带有标签的人脸图像数据。
具体地,带有标签的人脸图像数据是指人脸活体检测结果已知的人脸图像数据。可选地,训练数据可以是通过图像采集设备或计算机设备获取到目标图像后提取出的人脸区域图像,也可以来自互联网或第三方应用(如图像处理软件)的人脸图像,还可以是预先存储在数据库中的人脸图像,本申请对此不作限定。
S302、将训练数据输入教师网络进行第一训练,得到训练好的教师网络模型,其中,第一训练包括提取训练数据的第一特征,以及对第一特征进行分类得到第一输出。
基于图4的网络架构,教师网络400可包括第一特征提取网络401和第一特征分类网络402,第一特征提取网络用于提取训练数据的第一特征,第一特征分类网络用于对第一特征进行分类得到第一输出。
在一种可能的实施方式中,采用第一特征提取网络对训练数据(即人脸图像)进行特征提取后,可以得到一个多维度的特征向量,该人脸特征在特征空间中可以表现为一个多维度的点。也就是说,第一特征可以是一个向量,记为第一特征向量。相应地,第一特征经过第一特征分类网络后输出的第一输出也可以是一个向量,记为第一输出向量。此时,步骤S302可以进一步包括以下步骤S3021- S3022:
S3021、将训练数据输入第一特征提取网络进行特征提取,得到第一特征向量。
S3022、将第一特征向量输入第一特征分类网络进行分类,得到第一输出向量。
S303、将训练数据输入学生网络进行第二训练,得到训练好的人脸活体检测模型,其中,第二训练包括:提取训练数据的第二特征,并通过第一知识蒸馏学习器约束第二特征与第一特征的差距在第一预设范围内;通过元学习器更新第二特征分类网络的模型参数,通过更新模型参数后的第二特征分类网络对第二特征进行分类得到第二输出,并通过第二知识蒸馏学习器约束第二输出与第一输出的差距在第二预设范围内。
基于图4的网络架构,学生网络可包括第二特征提取网络411、第一知识蒸馏学习器、第二特征分类网络412、第二知识蒸馏学习器和元学习器,第二特征提取网络411用于提取训练数据的第二特征,第一知识蒸馏学习器用于约束第二特征与第一特征的差距在第一预设范围内,第二知识蒸馏学习器用于约束第二输出与第一输出的差距在第二预设范围内,元学习器用于更新第二特征分类网络412的模型参数,第二特征分类网络412用于根据第一输出采用更新模型参数后的第二特征分类网络对第二特征进行分类得到第二输出。
在一种可能的实施方式中,采用第二特征提取网络对训练数据(即人脸图像)进行特征提取后,可以得到一个多维度的特征向量,该人脸特征在特征空间中可以表现为一个多维度的点。也就是说,第二特征可以是一个向量,记为第二特征向量。相应地,第二特征经过第二特征分类网络后输出的第二输出也可以是一个向量,记为第二输出向量。此时,步骤S303可以进一步包括以下步骤S3031- S3032:
S3031、将训练数据输入第二特征提取网络进行特征提取,得到第二特征向量,并通过第一知识蒸馏学习器约束第二特征向量与第一特征向量的差距在第一预设范围内。
具体地,第一知识蒸馏学习器将第二特征向量与第一特征向量的差距约束在第一预设范围内,是为了利用教师网络学习或训练的模型指导学生网络模型的训练或学习,使得学生网络模型性能尽量与教师网络模型的性能接近或相同。在训练的过程中,第二特征向量与第一特征向量的差距可以根据训练的输入和蒸馏损失函数计算出来。
在一种可能的实施方式中,第二特征向量与第一特征向量的差距满足前述的距离约束和角度约束时,可以认为二者的差距在第一预设范围内。相应地,蒸馏损失函数可以采用距离损失函数和角度损失函数。
具体地,本申请实施例第一知识蒸馏学习器的角度约束针对的是三张图像的特征向量,在输入教师网络的N张图像中,任意挑选三张图像,经过第一特征提取网络得到他们对应的特征向量,分别为a/b/c;将这三张图像送入学生网络中,经过第二特征提取网络同样得到三个特征向量,分别为d/e/f。本申请实施例第一知识蒸馏学习器的角度约束需要满足:向量b-a与向量c-a的角度值应当和向量e-d与向量f-d的角度值相等,或者向量b-a与向量c-a的角度值应当和向量e-d与向量f-d的角度值的差值小于预设角度阈值。
本申请实施例第一知识蒸馏学习器的距离约束针对的是两张图像的特征向量,在输入教师网络的N张图像中,任意挑选两张图像,经过第一特征提取网络得到他们对应的特征向量,分别为a/b。将这两张图像送入学生网络中,同样得到两个特征向量,分别为d/e。本申请实施例第一知识蒸馏学习器的距离约束需要满足:向量a与向量b的距离(如欧式距离或余弦距离等)应当和向量d与向量e的距离(如欧式距离或余弦距离等)相等,或者向量a与向量b的距离和向量d与向量e的距离的差值小于预设距离阈值。
在一种可能的实施方式中,步骤S3031可以进一步细分为以下步骤S30311-S30314:
S30311、将训练数据输入第二特征提取网络进行特征提取,得到第三特征向量;
具体地,第三特征向量为当前输入经第二特征提取网络后对应输出的特征向量(即训练过程实时提取的特征向量),为第二输出向量的一个中间值,迭代训练结束时的第三特征向量即为第二输出向量。
S30312、基于第一特征向量与第三特征向量,根据蒸馏损失函数得到第一损失值。
具体地,根据前述的距离约束和角度约束,蒸馏损失函数可以采用距离损失函数和角度损失函数,第一损失值用于评价第三特征向量与第一特征向量的相似程度。
本申请实施例在现有知识蒸馏的KL散度约束基础上新增了距离约束和角度约束,从而能获取更加精准的人脸活体检测模型。
在一种可能的实施方式中,根据前述角度约束的理论,当蒸馏损失函数为角度损失函数时,步骤S30312可以进一步细分为以下步骤S303121- S303126:
S303121、从训练集中任选3张人脸图像作为第一图像、第二图像和第三图像;
S303122、获取第一图像的第一特征向量作为第一向量;获取第二图像的第一特征向量作为第二向量;获取第三图像的第一特征向量作为第三向量;
S303123、获取第一图像的第三特征向量作为第四向量;获取第二图像的第三特征向量作为第五向量;获取第三图像的所述第三特征向量作为第六向量;
S303124、根据第一向量、第二向量和第三向量确定第一夹角,其中,第一夹角为第一差向量与第二差向量的夹角,第一差向量为所述第二向量与所述第一向量的差向量,第二差向量为第三向量与第一向量的差向量;
S303125、根据第四向量、第五向量和第六向量确定第二夹角,其中,第二夹角为第三差向量与第四差向量的夹角,第三差向量为第五向量与第四向量的差向量,第四差向量为第六向量与第四向量的差向量;
S303126、根据第一夹角和第二夹角,确定第一损失值。
根据前述角度约束的理论,角度损失函数需要根据3张图像的特征向量来计算得到,按照上述的步骤计算出第一夹角和第二夹角之后,可以将第一夹角和第二夹角的差值作为第一损失值。
而根据前述距离约束的理论,当蒸馏损失函数为距离损失函数时,距离损失函数需要根据2张图像的特征向量来计算得到,与角度损失函数类似,步骤S30312可以进一步细分为以下步骤S303121- S303126:
S303121、从训练集中任选2张人脸图像作为第四图像和第五图像;
S303122、获取第四图像的第一特征向量作为第七向量;获取第五图像的第一特征向量作为第八向量;
S303123、获取第四图像的第三特征向量作为第九向量;获取第五图像的第三特征向量作为第十向量;
S303124、获取第七向量与第八向量的距离为第一距离;
S303125、获取第九向量与第十向量的距离为第二距离;
S303126、根据第一距离和第二距离,确定第一损失值。
具体地,第一距离或第二距离可以是但不限于欧氏距离、余弦距离等距离。计算出第一距离和第二距离之后,可以将第一距离和第二距离的差值作为第一损失值。
S30313、根据第一损失值,更新第二特征提取网络的第一参数;
具体地,在学生网络的第二特征提取网络训练过程中,可以根据第一损失值来调整第二特征提取网络的模型参数(即第一参数),直至模型参数收敛(即第一损失值小于预设损失阈值)。
S30314、根据更新第一参数后的第二特征提取网络,得到第二特征向量。
具体地,模型参数收敛时的第二特征提取网络即为训练好的特征提取网络,这样输入训练数据或实际的人脸图像,即可通过该训练好的特征提取网络得到第二特征向量。
S3032、通过元学习器更新第二特征分类网络的模型参数,通过更新模型参数后的第二特征分类网络对第二特征向量进行分类得到第二输出向量,并通过第二知识蒸馏学习器约束第二输出向量与第一输出向量的差距在第二预设范围内。
具体地,在学生网络的特征分类网络(即第二特征分类网络)训练过程中,第二知识蒸馏学习器的引入是为了使得学生网络模型与教师网络模型的性能相同或尽可能相近;而元学习器则辅助第二特征分类网络训练出更通用的模型参数,以适应不同场景(如不同型号或类型的摄像头等图像采集设备)的人脸活体检测要求。
在一种可能的实施方式中,步骤S3032可以包括以下步骤S30321-S303210:
S30321、通过元学习器将训练集划分为训练样本集和评测样本集;
可选地,划分的标准可以是摄像头等图像采集设备的型号或类型,这样训练出的模型可以适用于不同型号或类型等场景的图像采集设备需求,不再需要针对每个图像采集设备定制化设计人脸活体检测模型。
S30322、获取第二特征分类网络的初始模型参数作为第一模型参数;
如前所述,本申请实施例可以选用基于优化的元学习方法来构建元学习器,相应地,可以在训练开始时给定第二特征分类网络的初始模型参数作为初始的模型参数(即第一模型参数)。
S30323、根据第一模型参数和第二特征向量,在训练样本集中确定第二损失函数和第一梯度;
具体地,第一模型参数对应的第二特征分类网络为第一模型,此时可以在训练样本集中计算第一模型的损失函数作为第二损失函数,同时可以计算出第一模型的参数梯度作为第一梯度。
S30324、在第一梯度的方向上修改第二特征分类网络的模型参数,得到第二模型参数;
具体地,通过在第一梯度的方向上修改模型参数,可以得到临时学生网络模型的参数(即第二模型参数)。
S30325、根据第二模型参数和第二特征向量,在评测样本集上确定第三损失函数;
具体地,第二模型参数对应的第二特征分类网络为第二模型(即临时学生网络模型),此时可以在评测样本集中计算第二模型的损失函数作为第三损失函数。
S30326、根据第二损失函数和第三损失函数确定第二特征分类网络的总损失函数;
根据基于优化的元学习方法的相关理论,可以将第二损失函数和第三损失函数之和作为第二特征分类网络的总损失函数。
S30327、根据总损失函数确定第二特征分类网络的第二梯度;
具体地,获取到第二特征分类网络的总损失函数之后,可以根据该总损失函数计算当前实际参数梯度作为第二梯度。
S30328、根据第二梯度对第二特征分类网络进行模型梯度下降,得到第三模型参数;
具体地,获取到第二梯度之后,可以采用梯度下降的方法调整或更新第二特征分类网络,得到第三模型参数。
S30329、以第三模型参数作为第一模型参数,返回步骤S30323,直至满足预设迭代停止条件;
具体地,获取到第三模型参数之后,可以将第三模型参数赋值给第一模型参数,然后重新执行步骤S30323,也就是说,步骤S30323- S30328是迭代进行的,直至满足预设迭代停止条件后结束。
在一种可能的实施方式中,根据现有知识蒸馏的相关理论,预设迭代停止条件可以是第三模型参数对应的输出向量与第一输出向量的相对熵(即KL散度)小于预设阈值。该预设阈值可以是0.02或其他数值,可以根据实际的需要选取,本申请对预设阈值的具体数值不作限定。
在另一种可能的实施方式中,预设迭代停止条件可以是训练的次数达到预设的训练总数,例如,训练的次数到达预设的训练总数50次,当然预设的训练总数可以根据实际的需要选取,本申请对预设的训练总数的具体数值不作限定。
S303210、以满足预设迭代停止条件的第三模型参数作为第二特征分类网络更新后的模型参数。
具体地,满足预设迭代停止条件的第三模型参数即为训练好的第二特征分类网络的模型参数,此时,将第二特征向量输入该训练好的第二特征分类网络即可得到第二输出向量。
S304、将待检测的人脸图像输入人脸活体检测模型,得到人脸图像中对象是否为活体的检测结果。
在本申请实施例中,计算机设备具有图像处理功能,可以对获取到的图像进行活体检测,以确定图像中对象是否为活体。该计算机设备可以具有图像采集功能,也即采集对象图像的相机或摄像头等图像采集设备可以安装于该计算机设备上。该计算机设备也可以不具有图像采集功能,也即图像采集设备为外设于计算机设备的相机或摄像头等。其中,人脸图像可以是彩色人脸图像、红外人脸图像、超声波人脸图像等,可以根据实际的需要灵活选取,本申请实施例对此不作限定。相应地,相机或摄像头等图像采集设备可以是彩色图像采集设备、红外图像采集设备、超声波图像采集设备。为了提升人脸活体检测的精度,避免单一人脸图像可能造成的信息缺失,本申请实施例还可以同时获取两种或两种以上的人脸图像,如同时获取彩色人脸图像和红外人脸图像,或者同时获取彩色人脸图像和超声波人脸图像等。
在此以该人脸活体检测方法应用于智能门禁系统中,计算机设备为智能门禁终端为例,该智能门禁终端上可以安装有双目相机作为图像采集设备,该双目相机包括彩色相机和红外相机,两个相机可以同时采集图像,也可以同时采集视频流,并截取视频流中的图像作为对象的彩色图像和红外图像。具体截取时,可以在两个相机采集的视频流中,截取同一时刻的一对图像作为该对象的彩色图像和红外图像。当然,该彩色相机和该红外相机也可以为两个单独的相机,本申请实施例对此不作限定。
可选地,在通过图像采集设备或计算机设备获取到对象图像后,计算机设备可以对获取的对象图像进行人脸检测,以确定对象图像中是否有人脸,如果有,则获取该人脸区域(即待检测的人脸图像)进行后续的活体检测步骤。
在一种可能实现方式中,该人脸检测过程可以基于人脸目标部位的关键点检测实现。具体地,计算机设备可以分别对该对象图像进行人脸关键点检测,得到目标部位的关键点位置,基于该目标部位的关键点位置,获取对应的人脸区域。当然,该人脸检测过程还可以通过其他人脸检测算法实现,本申请实施例对此不作限定。
例如,在一个具体示例中,该人脸关键点检测过程可以为人脸配准过程,计算机设备可以对对象图像进行人脸配准,得到关键点位置,从人脸关键点位置中提取目标部位的关键点位置,比如,左瞳孔、右瞳孔、鼻尖、左嘴角和右嘴角五个部位的位置。计算机设备基于该目标部位的关键点位置,确定一个最小外接正方形,在该正方形的基础上扩大目标倍数作为对应的人脸区域。其中,该目标倍数可以为2.4倍,也可以为其他数值,该目标倍数可以由相关技术人员根据需求进行设置,本申请实施例对此不作限定。
经过前述的训练过程训练好学生网络模型(即第二特征提取网络和第二特征分类网络)之后,即可以在实际的人脸活体检测中应用该学生网络模型来进行人脸活体检测,预测待检测的人脸图像是否为真人人脸。此时,步骤S304可以进一步细分为以下步骤S3041-S3043:
S3041、将待检测的人脸图像输入训练好的第二特征提取网络和训练好的第二特征分类网络,得到第二输出向量;
S3042、基于第二输出向量,通过softmax函数获取真人分数;
S3043、根据真人分数和预设分数阈值,得到人脸图像中对象是否为活体的检测结果。
具体地,真人分数大于预设分数阈值时,则认为待检测的人脸图像为真人人脸,否则,则认为待检测的人脸图像为攻击人脸。
下面以本申请在门禁系统场景中的应用为例,对本申请的人脸活体检测方法的具体实现过程进行说明。其中,获取的对象图像为智能终端设备(如手机等)的视频流中抽取的彩色图像,本实施例采用前述的人脸关键点检测过程对对象图像对进行人脸检测。
如图4和图6所示,该方法包括以下步骤S601-S604:
S601、从智能终端设备的视频流中抽取彩色图像用于人脸检测,当检测到图像中有人脸出现时启动后续检测流程;否则,直接判断为人脸活体检测失败。
S602、通过人脸关键点检测算法获取活体检测所需的人脸图像。
具体地,可根据检测到的人脸框信息进行配准,分别生成人脸关键点信息,从中提取人脸5个关键点的坐标信息,包括左瞳孔、右瞳孔、鼻尖、左嘴角和右嘴角。对于彩色图像,根据人脸的5点信息可确定一个最小外接正方形,并在此基础上扩大2.4倍(也可以为其它倍数)作为活体检测所需的人脸图像。最后再将人脸图像缩放至224像素×224像素大小(也可以是其他像素大小,本实施例对此不作限定),如此便获得了图4中输入的彩色人脸图像(包括图4的训练样本图像R和评测样本图像T)。
S603、将人脸图像输入至训练好的第二特征提取网络中,得到第二特征向量。
S604、将第二特征向量输入至训练好的第二特征分类网络,得到真人分数预测结果。当该预测的真人分数不小于阈值时,该样本被认为是真人人脸,否则为非真人人脸(如攻击人脸)。
为了更好地验证本申请的人脸活体检测方法的性能,本申请实施例分别以tongyong_cross_pos、tongyong_cross_pos_c3、tongyong_cross_paper、tongyong_cross_paper_c3、tongyong_camera_paper这五个数据集的人脸图像作为输入,通过本申请人脸活体检测方法的教师网络模型和学生网络模型进行活体检测,检测结果如下表1所示:
表1中,tongyong_cross_pos和tongyong_cross_pos_c3是真人人脸图像数据集,tongyong_cross_pos_c3是tongyong_cross_pos的一个子数据集,代表tongyong_cross_pos中型号为c3的摄像头所采集的人脸图像数据集;tongyong_cross_paper、tongyong_cross_paper_c3和tongyong_camera_paper是照片人脸图像数据集,tongyong_cross_paper_c3是tongyong_cross_paper的一个子数据集,代表tongyong_cross_pos中摄像头型号为c3采集的照片攻击人脸图像数据集,tongyong_camera paper为跨场景的多个摄像头采集的照片攻击人脸图像数据集。
从表1可以看出,对于真人人脸,本申请实施例的方法中教师网络模型和学生网络模型正确检测为活体的比例(即通过率)都超过了99.16%;而对于照片攻击人脸,本申请实施实施例的方法中教师网络模型和学生网络模型错误检测为活体的比例(即误过率)都不超过4.74%。由此可见,应用本申请实施例训练好的学生网络模型(即人脸活体检测模型)进行人脸检测,能较好地抵御照片等伪造的人脸攻击,安全性高。
参照图7,本申请实施例还公开了一种显示方法,包括以下步骤S701-S702:
S701、输入人脸图像;
S702、显示人脸图像的活体检测结果,其中,活体检测结果通过上述的人脸活体检测方法得到。
本申请实施例中,该显示方法可以应用在各类终端设备或服务器上,图8给出了本申请一个示例性实施例提供的终端设备显示界面示意图。图8中,通过在输入界面的人脸图像输入与显示框801中输入待检测的人脸图像后,待检测的人脸图像即显示在框801中。接着,用户可以通过触控、按键输入等方式在真人分数阈值输入框802中输入用户需要设置的阈值。最后,终端设备会在检测结果界面的真人分数显示框803中显示预测的真人分数,同时会在活体检测结果显示框804中显示活体检测结果(即真人人脸或攻击人脸)。本实施例中的显示方法在应用在该终端设备上时,通过获取输入的人脸图像,经内部程序执行活体检测任务后可直接在页面上显示出活体检测得到的结果,其中,该内部程序中采用的是如前述活体检测方法实施例中的神经网络模型对输入的人脸图像进行活体检测。
本申请实施例中,基于前述本申请实施例中的活体检测方法实施例提出了一种显示方法,使得输入的人脸能够在相关设备上输出显示对应的活体检测结果。利用该方法对大批量的人脸图像进行活体检测,能够大幅度提升活体检测的速度和检测方法的通用性。
参照图9,本申请实施例还公开了一种人脸活体检测装置,包括:
获取模块901,用于获取训练集,其中训练集包含多个训练数据,训练数据为带有标签的人脸图像数据;
第一训练模块902,用于将训练数据输入教师网络进行第一训练,得到训练好的教师网络模型,其中,第一训练包括提取所述训练数据的第一特征,以及对第一特征进行分类得到第一输出;
第二训练模块903,用于将训练数据输入学生网络进行第二训练,得到训练好的人脸活体检测模型,其中,学生网络包括第二特征分类网络,第二训练包括:提取训练数据的第二特征,并通过第一知识蒸馏学习器约束第二特征与第一特征的差距在第一预设范围内;通过元学习器更新第二特征分类网络的模型参数,通过更新模型参数后的第二特征分类网络对第二特征进行分类得到第二输出,并通过第二知识蒸馏学习器约束第二输出与第一输出的差距在第二预设范围内;
检测模块904,用于将待检测的人脸图像输入人脸活体检测模型,得到人脸图像中对象是否为活体的检测结果。
图3所示的检测方法实施例中的内容均适用于本人脸活体检测装置实施例中,本人脸活体检测装置实施例所具体实现的功能与图3所示的检测方法实施例相同,并且达到的有益效果与图3所示的检测方法实施例所达到的有益效果也相同。
参照图10,本申请实施例还公开了一种计算机设备,包括:
至少一个处理器1001;
至少一个存储器1002,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器1001执行,使得所述至少一个处理器实现图3所示的检测方法或图7所示的显示方法。
图3所示的检测方法或图7所示的显示方法实施例中的内容均适用于本计算机设备实施例中,本计算机设备实施例所具体实现的功能与图3所示的检测方法或图7所示的显示方法实施例相同,并且达到的有益效果与图3所示的检测方法或图7所示的显示方法实施例所达到的有益效果也相同。
本申请实施例还公开了一种计算机可读存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序在由处理器执行时用于实现图3所示的检测方法或图7所示的显示方法。
图3所示的检测方法或图7所示的显示方法实施例中的内容均适用于本存储介质实施例中,本存储介质实施例所具体实现的功能与图3所示的检测方法或图7所示的显示方法实施例相同,并且达到的有益效果与图3所示的检测方法或图7所示的显示方法实施例所达到的有益效果也相同。
可以理解的是,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
上面结合附图对本申请实施例作了详细说明,但是本申请不限于上述实施例,在技术领域普通技术人员所具备的知识范围内,还可以在不脱离本申请宗旨的前提下作出各种变化。
Claims (12)
1.一种人脸活体检测方法,其特征在于,包括以下步骤:
获取训练集,其中所述训练集包含多个训练数据,所述训练数据为带有标签的人脸图像数据;
将所述训练数据输入教师网络进行第一训练,得到训练好的教师网络模型,所述第一训练包括提取所述训练数据的第一特征,以及对所述第一特征进行分类得到第一输出;
将所述训练数据输入学生网络进行第二训练,得到训练好的人脸活体检测模型,其中,所述学生网络包括第二特征分类网络,所述第二训练包括:提取所述训练数据的第二特征,并通过第一知识蒸馏学习器约束所述第二特征与所述第一特征的差距在第一预设范围内;通过元学习器更新所述第二特征分类网络的模型参数,通过更新模型参数后的所述第二特征分类网络对所述第二特征进行分类得到第二输出,并通过第二知识蒸馏学习器约束所述第二输出与第一输出的差距在第二预设范围内;
将待检测的人脸图像输入所述人脸活体检测模型,得到所述人脸图像中对象是否为活体的检测结果;
通过第一知识蒸馏学习器约束所述第二特征与所述第一特征的差距在第一预设范围内包括:通过第一知识蒸馏学习器的距离约束和角度约束来使得所述第二特征与所述第一特征的差距在第一预设范围内,所述距离约束满足:同一批人脸图像经过第一训练提取的所述第一特征与经过第二训练提取的所述第二特征间的距离相近;所述角度约束满足:同一批人脸图像经过第一训练提取的所述第一特征与经过第二训练提取的所述第二特征间的角度相近;
通过第二知识蒸馏学习器约束所述第二输出与第一输出的差距在第二预设范围内包括:通过相对熵散度约束使得所述第二输出与第一输出的分布相似;
通过元学习器更新所述第二特征分类网络的模型参数,包括:通过元学习器将训练集划分为训练集和和评测样本集;在训练样本集上计算第二特征分类网络的初始学生网络模型的损失函数并求取临时参数梯度;按临时参数梯度方向修改初始学生网络模型的模型参数获得临时学生网络模型;在评测样本集上计算临时学生网络模型的交叉熵损失,根据初始学生网络模型的损失函数和所述交叉熵损失计算学生网络模型更新后的参数梯度,根据更新后的参数梯度采用梯度下降法得到所述第二特征分类网络更新好的模型参数。
2.根据权利要求1所述的人脸活体检测方法,其特征在于,所述教师网络包括第一特征提取网络和第一特征分类网络,所述第一特征为第一特征向量,所述第一输出为第一输出向量;
其中,所述将所述训练数据输入教师网络进行第一训练,得到训练好的教师网络模型,包括:
将所述训练数据输入第一特征提取网络进行特征提取,得到所述第一特征向量;
将所述第一特征向量输入第一特征分类网络进行分类,得到所述第一输出向量。
3.根据权利要求2所述的人脸活体检测方法,其特征在于,所述学生网络还包括第二特征提取网络,所述第二特征为第二特征向量,所述第二输出为第二输出向量;
其中,将所述训练数据输入学生网络进行第二训练,包括:
将所述训练数据输入第二特征提取网络进行特征提取,得到所述第二特征向量,并通过所述第一知识蒸馏学习器约束所述第二特征向量与所述第一特征向量的差距在所述第一预设范围内;
通过元学习器更新所述第二特征分类网络的模型参数,通过更新模型参数后的所述第二特征分类网络对所述第二特征向量进行分类得到第二输出向量,并通过所述第二知识蒸馏学习器约束所述第二输出向量与所述第一输出向量的差距在所述第二预设范围内。
4.根据权利要求3所述的人脸活体检测方法,其特征在于,所述将所述训练数据输入第二特征提取网络进行特征提取,得到所述第二特征向量,并通过所述第一知识蒸馏学习器约束所述第二特征向量与所述第一特征向量的差距在所述第一预设范围内,包括:
将所述训练数据输入第二特征提取网络进行特征提取,得到第三特征向量;
基于所述第一特征向量与所述第三特征向量,根据所述第一知识蒸馏学习器的蒸馏损失函数得到第一损失值;
根据所述第一损失值,更新所述第二特征提取网络的第一参数;
根据更新所述第一参数后的所述第二特征提取网络,得到所述第二特征向量。
5.根据权利要求4所述的人脸活体检测方法,其特征在于,所述蒸馏损失函数包括角度损失函数;
所述基于所述第一特征向量与所述第三特征向量,根据所述第一知识蒸馏学习器的蒸馏损失函数得到第一损失值,包括:
从所述训练集中任选3张人脸图像作为第一图像、第二图像和第三图像;
获取所述第一图像的所述第一特征向量作为第一向量;获取所述第二图像的所述第一特征向量作为第二向量;获取所述第三图像的所述第一特征向量作为第三向量;
获取所述第一图像的所述第三特征向量作为第四向量;获取所述第二图像的所述第三特征向量作为第五向量;获取所述第三图像的所述第三特征向量作为第六向量;
根据所述第一向量、所述第二向量和所述第三向量确定第一夹角,所述第一夹角为第一差向量与第二差向量的夹角,所述第一差向量为所述第二向量与所述第一向量的差向量,所述第二差向量为所述第三向量与所述第一向量的差向量;
根据所述第四向量、所述第五向量和所述第六向量确定第二夹角,所述第二夹角为第三差向量与第四差向量的夹角,所述第三差向量为所述第五向量与所述第四向量的差向量,所述第四差向量为所述第六向量与所述第四向量的差向量;
根据所述第一夹角和所述第二夹角,确定第一损失值。
6.根据权利要求3所述的人脸活体检测方法,其特征在于,所述通过元学习器更新所述第二特征分类网络的模型参数,包括:
通过元学习器将所述训练集划分为训练样本集和评测样本集;
获取所述第二特征分类网络的初始模型参数作为第一模型参数;
根据所述第一模型参数和所述第二特征向量,在所述训练样本集中确定第二损失函数和第一梯度;
在所述第一梯度的方向上修改所述第二特征分类网络的模型参数,得到第二模型参数;
根据所述第二模型参数和所述第二特征向量,在所述评测样本集上确定第三损失函数;
根据所述第二损失函数和所述第三损失函数确定所述第二特征分类网络的总损失函数;
根据所述总损失函数确定所述第二特征分类网络的第二梯度;
根据所述第二梯度对所述第二特征分类网络进行模型梯度下降,得到第三模型参数;
以所述第三模型参数作为第一模型参数,返回根据所述第一模型参数和所述第二特征向量,在所述训练样本集中确定第二损失函数和第一梯度的步骤,直至满足预设迭代停止条件;
以满足预设迭代停止条件的所述第三模型参数作为所述第二特征分类网络更新后的模型参数。
7.根据权利要求6所述的人脸活体检测方法,其特征在于,所述预设迭代停止条件包括:
训练的次数达到预设的训练总数;
或者,所述第三模型参数对应的输出向量与所述第一输出向量的相对熵小于预设阈值。
8.根据权利要求3所述的人脸活体检测方法,其特征在于,所述将待检测的人脸图像输入所述人脸活体检测模型,得到所述人脸图像中对象是否为活体的检测结果,包括:
将待检测的人脸图像输入训练好的第二特征提取网络和训练好的第二特征分类网络,得到所述第二输出向量;
基于所述第二输出向量,获取真人分数;
根据所述真人分数和预设分数阈值,得到所述人脸图像中对象是否为活体的检测结果。
9.根据权利要求1-8任一项所述的人脸活体检测方法,其特征在于,所述人脸图像包括红外人脸图像、超声波人脸图像或者彩色人脸图像中的至少一种。
10.一种人脸活体检测装置,其特征在于,包括:
获取模块,用于获取训练集,其中所述训练集包含多个训练数据,所述训练数据为带有标签的人脸图像数据;
第一训练模块,用于将所述训练数据输入教师网络进行第一训练,得到训练好的教师网络模型,所述第一训练包括提取所述训练数据的第一特征,以及对所述第一特征进行分类得到第一输出;
第二训练模块,用于将所述训练数据输入学生网络进行第二训练,得到训练好的人脸活体检测模型,其中,所述学生网络包括第二特征分类网络,所述第二训练包括:提取所述训练数据的第二特征,并通过第一知识蒸馏学习器约束所述第二特征与所述第一特征的差距在第一预设范围内;通过元学习器更新所述第二特征分类网络的模型参数,通过更新模型参数后的所述第二特征分类网络对所述第二特征进行分类得到第二输出,并通过第二知识蒸馏学习器约束所述第二输出与第一输出的差距在第二预设范围内;
检测模块,用于将待检测的人脸图像输入所述人脸活体检测模型,得到所述人脸图像中对象是否为活体的检测结果;
通过第一知识蒸馏学习器约束所述第二特征与所述第一特征的差距在第一预设范围内包括:通过第一知识蒸馏学习器的距离约束和角度约束来使得所述第二特征与所述第一特征的差距在第一预设范围内,所述距离约束满足:同一批人脸图像经过第一训练提取的所述第一特征与经过第二训练提取的所述第二特征间的距离相近;所述角度约束满足:同一批人脸图像经过第一训练提取的所述第一特征与经过第二训练提取的所述第二特征间的角度相近;
通过第二知识蒸馏学习器约束所述第二输出与第一输出的差距在第二预设范围内包括:通过相对熵散度约束使得所述第二输出与第一输出的分布相似;
通过元学习器更新所述第二特征分类网络的模型参数,包括:通过元学习器将训练集划分为训练集和和评测样本集;在训练样本集上计算第二特征分类网络的初始学生网络模型的损失函数并求取临时参数梯度;按临时参数梯度方向修改初始学生网络模型的模型参数获得临时学生网络模型;在评测样本集上计算临时学生网络模型的交叉熵损失,根据初始学生网络模型的损失函数和所述交叉熵损失计算学生网络模型更新后的参数梯度,根据更新后的参数梯度采用梯度下降法得到所述第二特征分类网络更新好的模型参数。
11.一种计算机设备,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-9中任一项所述的方法。
12.一种计算机可读存储介质,其中存储有处理器可执行的程序,其特征在于:所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010840383.9A CN111709409B (zh) | 2020-08-20 | 2020-08-20 | 人脸活体检测方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010840383.9A CN111709409B (zh) | 2020-08-20 | 2020-08-20 | 人脸活体检测方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111709409A CN111709409A (zh) | 2020-09-25 |
CN111709409B true CN111709409B (zh) | 2020-11-20 |
Family
ID=72547192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010840383.9A Active CN111709409B (zh) | 2020-08-20 | 2020-08-20 | 人脸活体检测方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111709409B (zh) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112464989B (zh) * | 2020-11-02 | 2024-02-20 | 北京科技大学 | 一种基于目标检测网络的闭环检测方法 |
CN112560978B (zh) * | 2020-12-23 | 2023-09-12 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备及存储介质 |
CN114814800A (zh) * | 2021-01-19 | 2022-07-29 | 腾讯科技(深圳)有限公司 | 基于超声回波的对象识别方法、装置及存储介质 |
CN114863470A (zh) * | 2021-02-08 | 2022-08-05 | 中国科学技术大学 | 伪造人像检测模型的训练方法 |
CN112990298B (zh) * | 2021-03-11 | 2023-11-24 | 北京中科虹霸科技有限公司 | 关键点检测模型训练方法、关键点检测方法及装置 |
CN113099175B (zh) * | 2021-03-29 | 2022-11-04 | 苏州华云视创智能科技有限公司 | 一种基于5g的多模型手持云端检测传输系统及检测方法 |
CN113011387B (zh) * | 2021-04-20 | 2024-05-24 | 上海商汤科技开发有限公司 | 网络训练及人脸活体检测方法、装置、设备及存储介质 |
CN113159073B (zh) * | 2021-04-23 | 2022-11-18 | 上海芯翌智能科技有限公司 | 知识蒸馏方法及装置、存储介质、终端 |
CN113128419B (zh) * | 2021-04-23 | 2023-12-05 | 京东鲲鹏(江苏)科技有限公司 | 一种障碍物识别方法和装置、电子设备及存储介质 |
CN113052144B (zh) * | 2021-04-30 | 2023-02-28 | 平安科技(深圳)有限公司 | 活体人脸检测模型的训练方法、装置、设备及存储介质 |
CN113052150B (zh) * | 2021-05-24 | 2021-07-30 | 腾讯科技(深圳)有限公司 | 活体检测方法、装置、电子设备和计算机可读存储介质 |
CN113033519B (zh) * | 2021-05-25 | 2021-08-31 | 腾讯科技(深圳)有限公司 | 活体检测方法、估算网络处理方法、装置和计算机设备 |
CN113298158B (zh) * | 2021-05-28 | 2024-05-28 | 平安科技(深圳)有限公司 | 数据检测方法、装置、设备及存储介质 |
CN113361381B (zh) * | 2021-06-03 | 2022-12-23 | 上海哔哩哔哩科技有限公司 | 人体关键点检测模型训练方法、检测方法及装置 |
CN113269117B (zh) * | 2021-06-04 | 2022-12-13 | 重庆大学 | 一种基于知识蒸馏的行人重识别方法 |
CN113378712B (zh) * | 2021-06-10 | 2023-07-04 | 北京百度网讯科技有限公司 | 物体检测模型的训练方法、图像检测方法及其装置 |
CN113657293B (zh) * | 2021-08-19 | 2023-11-24 | 北京神州新桥科技有限公司 | 活体检测方法、装置、电子设备、介质及程序产品 |
CN114022425A (zh) * | 2021-10-25 | 2022-02-08 | 连云港杰瑞电子有限公司 | 一种具备场景自适应功能的车辆检测方法和装置 |
CN114332994A (zh) * | 2021-12-20 | 2022-04-12 | 深圳数联天下智能科技有限公司 | 训练年龄预测模型的方法、年龄检测方法及相关装置 |
CN114445667A (zh) * | 2022-01-28 | 2022-05-06 | 北京百度网讯科技有限公司 | 图像检测方法和用于训练图像检测模型的方法 |
CN114611672A (zh) * | 2022-03-16 | 2022-06-10 | 腾讯科技(深圳)有限公司 | 模型训练方法、人脸识别方法及装置 |
CN114612449A (zh) * | 2022-03-17 | 2022-06-10 | 腾讯科技(深圳)有限公司 | 图像检测方法、装置、电子设备及存储介质 |
CN114677565B (zh) * | 2022-04-08 | 2023-05-05 | 北京百度网讯科技有限公司 | 特征提取网络的训练方法和图像处理方法、装置 |
CN116091875B (zh) * | 2023-04-11 | 2023-08-29 | 合肥的卢深视科技有限公司 | 模型训练方法、活体检测方法、电子设备及存储介质 |
CN117238018B (zh) * | 2023-09-20 | 2024-06-21 | 华南理工大学 | 基于多粒度的可增量深宽网络活体检测方法、介质及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109754105A (zh) * | 2017-11-07 | 2019-05-14 | 华为技术有限公司 | 一种预测方法及终端、服务器 |
CN110059740A (zh) * | 2019-04-12 | 2019-07-26 | 杭州电子科技大学 | 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 |
CN110598603A (zh) * | 2019-09-02 | 2019-12-20 | 深圳力维智联技术有限公司 | 人脸识别模型获取方法、装置、设备和介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180268292A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Learning efficient object detection models with knowledge distillation |
CN109919299A (zh) * | 2019-02-19 | 2019-06-21 | 西安交通大学 | 一种基于元学习器逐步梯度校正的元学习算法 |
CN110705690B (zh) * | 2019-09-23 | 2021-09-14 | 清华大学 | 基于生成模型和元学习优化方法的连续学习方法及系统 |
-
2020
- 2020-08-20 CN CN202010840383.9A patent/CN111709409B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109754105A (zh) * | 2017-11-07 | 2019-05-14 | 华为技术有限公司 | 一种预测方法及终端、服务器 |
CN110059740A (zh) * | 2019-04-12 | 2019-07-26 | 杭州电子科技大学 | 一种针对嵌入式移动端的深度学习语义分割模型压缩方法 |
CN110598603A (zh) * | 2019-09-02 | 2019-12-20 | 深圳力维智联技术有限公司 | 人脸识别模型获取方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111709409A (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
CN110414432B (zh) | 对象识别模型的训练方法、对象识别方法及相应的装置 | |
CN110472531B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN110728209B (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
CN110909651B (zh) | 视频主体人物的识别方法、装置、设备及可读存储介质 | |
EP3968179A1 (en) | Place recognition method and apparatus, model training method and apparatus for place recognition, and electronic device | |
WO2022188697A1 (zh) | 提取生物特征的方法、装置、设备、介质及程序产品 | |
CN111241989A (zh) | 图像识别方法及装置、电子设备 | |
CN111767900A (zh) | 人脸活体检测方法、装置、计算机设备及存储介质 | |
CN112116684A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
CN112257665A (zh) | 图像内容的识别方法、图像识别模型的训练方法及介质 | |
US20230053911A1 (en) | Detecting an object in an image using multiband and multidirectional filtering | |
CN113011387A (zh) | 网络训练及人脸活体检测方法、装置、设备及存储介质 | |
Zhang | Innovation of English teaching model based on machine learning neural network and image super resolution | |
CN117058723B (zh) | 掌纹识别方法、装置及存储介质 | |
Zheng et al. | Attention assessment based on multi‐view classroom behaviour recognition | |
CN116959123A (zh) | 一种人脸活体检测方法、装置、设备及存储介质 | |
CN112862840B (zh) | 图像分割方法、装置、设备及介质 | |
CN115659221A (zh) | 一种教学质量的评估方法、装置及计算机可读存储介质 | |
KR102540290B1 (ko) | 이종 센서 카메라 기반 사람 재식별 장치 및 방법 | |
CN115019396A (zh) | 一种学习状态监测方法、装置、设备及介质 | |
CN114639132A (zh) | 人脸识别场景下的特征提取模型处理方法、装置、设备 | |
CN111275183B (zh) | 视觉任务的处理方法、装置和电子系统 | |
CN112700494A (zh) | 定位方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40028567 Country of ref document: HK |