CN112711968A - 人脸活体检测方法及其系统 - Google Patents
人脸活体检测方法及其系统 Download PDFInfo
- Publication number
- CN112711968A CN112711968A CN201911019158.2A CN201911019158A CN112711968A CN 112711968 A CN112711968 A CN 112711968A CN 201911019158 A CN201911019158 A CN 201911019158A CN 112711968 A CN112711968 A CN 112711968A
- Authority
- CN
- China
- Prior art keywords
- face
- detection
- infrared image
- detected
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 181
- 230000004044 response Effects 0.000 claims abstract description 43
- 238000001727 in vivo Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 11
- 238000013500 data storage Methods 0.000 description 8
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 4
- 229910052802 copper Inorganic materials 0.000 description 4
- 239000010949 copper Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种人脸活体检测方法，包括，获取待测人脸的红外图像和包含深度信息的图像数据；对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息；响应于所述人脸区域的尺寸在预设范围内，对所述包含深度信息的图像数据中的人脸区域进行人脸平面拟合；响应于所述人脸平面拟合的结果满足预设要求，对所述包含深度信息的图像数据中的人脸区域进行人脸侧面拟合；以及响应于所述人脸侧面拟合的结果满足预设要求，确定该待测人脸为活体人脸。与传统人脸活体检测方法相比，本发明所提供的所述人脸活体检测方法检测精度高。
Description
技术领域
本发明涉及人脸检测领域，进一步地涉及一种人脸活体检测方法及其系统，尤其涉及一种基于TOF摄像装置的人脸活体检测方法及其系统。
背景技术
随着科技的发展，人脸识别技术得到了极大的发展，并且被广泛地应用到了支付领域、安防领域以及嵌入式移动端领域，比如刷脸支付、车站或机场的刷脸过安检以及嵌入式移动终端的刷脸开机等，给人们的生活带来极大的便利。
但是需要指出的是，传统人脸识别系统常常面临非活体入侵的挑战，传统人脸识别系统常常被具有人脸的打印纸张、照片、视频以及人脸模具等欺骗，极大地影响人脸识别系统的安全性能。比如，在不需要经过本人同意的情况下，别人拿一张机主的照片就能够打开机主的移动终端，将会给具有人脸识别功能的移动终端的使用者造成极大的损失。因此，确保人脸识别系统防止非活体的入侵越来越成为人们关注的焦点，在人脸识别系统中，活体检测便成为至关重要的一步，是防止系统遭受非活体攻击的主要手段。
传统活体检测方法大致有三种，基于传统图像知识的活体检测方法、基于深度学习的神经网络的活体检测方法以及人机交互的活体检测方法。
基于传统图像知识的活体检测方法在检测过程中，利用人脸彩色图像提取纹理信息，进而区别活体人脸与非活体人脸。但是这种检测方法容易受环境变化的影响，尤其是光照发生变化时，彩色摄像头的成像效果很容易受到光照等环境因素的影响，使得活体判断的准确度降低，导致活体检测算法的鲁棒性不佳。
基于深度学习的神经网络的活体检测方法在检测过程中，首先要设计合理有效的网络结构，利用大量预先采集的活体和非活体数据训练网络提取特征，最终实现活体检测。基于深度学习的神经网络的活体检测方法在面对与训练样本背景差别较大的活体时，活体识别效果会大打折扣。
人机交互活体检测方法在检测过程中通常需要被识别者面对摄像头做出一系列规定动作，比如点头、张嘴、闭眼等。在检测过程中增加人机交互能够在一定程度上增强活体检测算法的可靠性，但是增加交互过程不符合智能化发展的理念，势必会降低人脸识别系统的用户体验。
综上所述，针对传统活体检测方法所存在的缺陷与不足，需要对传统活体检测方法进行改进。
发明内容
本发明的一个目的在于提供一人脸活体检测方法及其系统，与传统人脸活体检测方法相比，其能够在复杂环境下进行人脸活体检测。
本发明的另一个目的在于提供一人脸活体检测方法及其检测系统，与传统人脸活体检测方法相比，其能够在复杂光照环境下进行人脸活体检测。
本发明的另一个目的在于提供一人脸活体检测方法及其检测系统，与传统人脸活体检测方法相比，其能够在人脸活体检测过程中克服外界光照的干扰，人脸活体检测稳定性好。
本发明的另一个目的在于提供一人脸活体检测方法及其系统，其采用多种活体属性判断机制，能够有效地进行活体检测。
本发明的另一个目的在于提供一人脸活体检测方法及其系统，其结合红外图像和包含深度信息的图像数据进行多机制人脸活体检测，人脸活体检测精度高。
相应地，为了实现以上至少一个发明目的，本发明提供一人脸活体检测方法，包括：
获取由TOF摄像装置采集的待测人脸的红外图像和包含深度信息的图像数据；
对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息；
基于所述人脸区域、人脸特征点和所述包含深度信息的图像数据，进行活体检测，其中，所述活体检测的过程，包括：
响应于所述人脸区域的尺寸在预设范围内，对所述包含深度信息的图像数据中的人脸区域进行人脸平面拟合；
响应于所述人脸平面拟合的结果满足预设要求，对所述包含深度信息的图像数据中的人脸区域进行人脸侧面拟合；以及
响应于所述人脸侧面拟合的结果满足预设要求，确定该待测人脸为活体人脸。
在本发明的一些优选实施例中，在获取由TOF摄像装置采集的待测人脸的红外图像和包含深度信息的图像数据之后，以及，在对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息之前，进一步包括：
对所述红外图像进行归一化处理；和/或
对所述包含深度信息的图像数据进行滤波处理。
在本发明的一些优选实施例中，对所述红外图像进行人脸区域检测，以获得所述红外图像中的人脸区域，包括：
对所述红外图像进行人脸区域检测，以获得一系列人脸框；以及
选择所述一系列人脸框中的尺寸最大者为所述人脸框，其中，所述人脸框所包括的区域为所述红外图像中的人脸区域。
在本发明的一些优选实施例中，在对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息的过程中，进一步包括：
对所述人脸区域进行跟踪。
在本发明的一些优选实施例中，所述人脸活体检测方法，进一步包括：
响应于没有检测到所述红外图像中的人脸区域和/或人脸特征点，确定该待测人脸为非活体人脸。
在本发明的一些优选实施例中，在对所述红外图像进行人脸特征点检测，以获得所述红外图像中的人脸特征点的位置信息，包括：
对所述红外图像进行人脸区域检测，以获得一组人脸特征点；和
将所述一组人脸特征点进行转换，以获得左眼、右眼、鼻子、左嘴角和右嘴角这5个特征点及其位置信息。
在本发明的一些优选实施例中，对所述包含深度信息的图像数据中的人脸区域进行人脸侧面拟合，包括：
对所述包含深度信息的图像数据中的人脸区域进行水平方向拟合；以及
对所述包含深度信息的图像数据中的人脸区域进行垂直方向拟合。
在本发明的一些优选实施例中，在确定所述待测人脸为活体人脸后，进一步包括：
在人脸数据库内匹配所述待测人脸；和
响应于在所述人脸数据库中匹配到所述待测人脸，生成与该待测人脸相关的检测结果，其中所述检测结果包括所述人脸数据库中与该待测人脸所对应的人员信息。
在本发明的一些优选实施例中，所述包含深度信息的图像数据为点云数据、深度图像或RGB-D融合图像中的任意一种。
根据本发明的另一方面，本发明进一步提供一种人脸活体检测系统，其包括：
图像数据获取单元，用于获取由TOF摄像装置采集的待测人脸的红外图像和包含深度信息的图像数据；
人脸检测单元，用于对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息；以及
活体检测单元，用于基于所述人脸区域、所述人脸特征点和所述包含深度信息的图像数据，进行活体检测，其中，所述活体检测的过程，包括：
响应于所述人脸区域的尺寸在预设范围内，对所述包含深度信息的图像数据中的人脸区域进行人脸平面拟合；
响应于所述人脸平面拟合的结果满足预设要求，对所述包含深度信息的图像数据中的人脸区域进行人脸侧面拟合；以及
响应于所述人脸侧面拟合的结果满足预设要求，确定该待测人脸为活体人脸。
根据本发明的另一方面，本发明进一步提供一种电子设备，其包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行人脸活体检测方法，其中所述人脸活体检测方法包括：
获取由TOF摄像装置采集的待测人脸的红外图像和包含深度信息的图像数据；
对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息；
基于所述人脸区域、人脸特征点和所述包含深度信息的图像数据，进行活体检测，其中，所述活体检测的过程，包括：
响应于所述人脸区域的尺寸在预设范围内，对所述包含深度信息的图像数据中的人脸区域进行人脸平面拟合；
响应于所述人脸平面拟合的结果满足预设要求，对所述包含深度信息的图像数据中的人脸区域进行人脸侧面拟合；以及
响应于所述人脸侧面拟合的结果满足预设要求，确定该待测人脸为活体人脸。
根据本发明的另一方面，本发明进一步提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算机装置执行时，可操作来执行人脸活体检测方法，其中所述人脸活体检测方法包括：
获取由TOF摄像装置采集的待测人脸的红外图像和包含深度信息的图像数据；
对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息；
基于所述人脸区域、人脸特征点和所述包含深度信息的图像数据，进行活体检测，其中，所述活体检测的过程，包括：
响应于所述人脸区域的尺寸在预设范围内，对所述包含深度信息的图像数据中的人脸区域进行人脸平面拟合；
响应于所述人脸平面拟合的结果满足预设要求，对所述包含深度信息的图像数据中的人脸区域进行人脸侧面拟合；以及
响应于所述人脸侧面拟合的结果满足预设要求，确定该待测人脸为活体人脸。
本发明的其他目的和优势将通过具体实施方式和权利要求的内容进一步体现。
附图说明
图1是根据本发明的一个优选实施例的人脸活体检测方法的流程图。
图2是根据本发明的一个优选实施例的人脸活体检测方法的流程示意图。
图3是根据本发明的一个优选实施例的人脸活体检测方法的红外图像获取示意图。
图4是根据本发明的一个优选实施例的人脸活体检测方法的人脸跟踪示意图。
图5是根据本发明的一个优选实施例的人脸活体检测方法的侧面结果拟合示意图。
图6是根据本发明的一个优选实施例的人脸活体检测系统的结构示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
参考说明书附图1至6，本发明所提供的人脸活体检测方法100被阐述，其包括：
101：获取由TOF摄像装置采集的待测人脸的红外图像和包含深度信息的图像数据；
102：对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息；
103：基于所述人脸区域、所述人脸特征点和所述包含深度信息的图像数据，进行活体检测，其中所述活体检测的过程，包括：
1031：响应于所述人脸区域的尺寸在预设范围内，对所述包含深度信息的图像数据中的人脸区域进行人脸平面拟合；
1032：响应于所述人脸平面拟合的结果满足预设要求，对所述包含深度信息的图像数据中的人脸区域进行人脸侧面拟合；以及
1033：响应于所述人脸侧面拟合的结果满足预设要求，确定该被测人脸为活体人脸。
在所述步骤101，获取由TOF摄像装置采集的待测人脸的红外图像和包含深度信息的图像数据步骤中，通过所述TOF摄像装置采集所述待测人脸的所述红外图像和所述包含深度信息的图像数据，其中所述包含深度信息的图像数据包括点云数据、深度图像或RGB-D融合图像中的任意一种。
进一步地，在获取由TOF摄像装置采集的待测人脸的红外图像和包含深度信息的图像数据步骤和对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息步骤之间进一步包括：
104：对所述红外图像进行归一化处理；和/或
105：对所述包含深度信息的图像数据进行滤波处理。
在所述步骤102，对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息进一步包括：
106：对所述红外图像进行人脸区域检测，以获得一系列人脸框；以及
107：选择所述一系列人脸框中的尺寸最大者为所述人脸框，其中所述人脸框所包括的区域为所述红外图像中的人脸区域。
在所述步骤106，对所述红外图像进行人脸区域检测，以获得一系列人脸框步骤中，利用训练的深度学习模型对所述红外图像进行人脸框检测，以获得一系列人脸框。分别计算所述一系列人脸框中所有的人脸框的尺寸，选择所述一系列人脸框中的尺寸最大者为所述人脸框，其中所述人脸框所包括的区域为所述红外图像中的人脸区域。
进一步地，在所述步骤102，对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息进一步包括：
108：对所述人脸区域进行跟踪。
参考说明书附图4，本领域的技术人员可以理解的是，在进行活体检测的过程中，该待测人脸相对于TOF摄像装置的位置不是一成不变的，也就是说，该待测人脸相对于所述TOF摄像装置的距离、角度等位置关系都可能发生变化，从而导致该待测人脸的所述人脸区域在所述红外图像中的大小和位置也会发生相应的改变。比如，当该待测人脸与所述TOF摄像装置之间的距离变大，该待测人脸的所述人脸区域在所述红外图像中变小，当该待测人脸与所述TOF摄像装置之间的距离变小，该待测人脸的所述人脸区域在所述红外图像中变大。因此，在本发明中，在确定所述红外图像中的所述人脸区域之后，采用跟踪算法对所述人脸区域进行实时跟踪，以使得所述人脸区域能够真实地反应该待测人脸的人脸区域。
具体地，由于所述一系列人脸框中尺寸最大的人脸框所包含的区域为所述红外图像中的所述人脸区域，因此，在对所述人脸区域进行跟踪的时候，只需要对尺寸最大的所述人脸框进行跟踪即可，也就是采用跟踪算法实时对具有最大尺寸的所述人脸框进行跟踪。
进一步地，在所述步骤102，对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息进一步包括：
109：对所述红外图像进行人脸区域检测，以获得一组人脸特征点；和
1010：将所述一组人脸特征点进行转换，以获得左眼、右眼、鼻子、左嘴角和右嘴角这五个特征点及其位置信息。
优选地，在本优选实施例中，对所述红外图像进行人脸区域检测，并检测获得68个人脸特征点，然后将所获得的所述68个人脸特征点进行转换，获得左眼、右眼、鼻子、左嘴角和右嘴角这五个特征点及其位置信息。本领域的技术人员应当理解的是，在本发明的另一些优选实施例中，对所述红外图像进行人脸区域检测所获得的所述人脸特征点的数量还能够是其他的数量。进行人脸特征点转换后所获得的所述左眼、右眼、鼻子、左嘴角和右嘴角五个人脸特征点还能够是人脸区域的其他位置，比如眉毛、脸颊等。只要能够达到本发明的发明目的，对所述红外图像进行人脸区域检测所获得的所述人脸特征点的数量以及进行人脸特征点转化后具体的人脸特征点的位置不应当构成对本发明的限制。
具体地，在获取所述人脸特征点并进行人脸特征点转换后，运用罗德里格斯Rodrigues进行三维位姿估算，能够输出人脸姿态角度，采用Yaw、Pitch、Roll用于人脸角度判断。
在所述步骤103中，基于所述人脸区域、所述人脸特征点和所述包含深度信息的图像数据，进行活体检测，以判断所述待测人脸是否为活体。
具体地，在所述步骤1031，响应于所述人脸区域的尺寸在预设范围内，对所述包含深度信息的图像数据中的人脸区域进行平面拟合中，首先计算所述人脸区域的尺寸大小，然后判断所述人脸区域的尺寸是否在所述预设范围内，当所述人脸区域的尺寸在所述预设范围内时，对所述包含深度信息的图像数据中的人脸区域进行平面拟合。
优选地，响应于所述人脸区域的面积在所述预设范围内，对所述包含深度信息的图像数据中的人脸区域进行平面拟合。可以理解的是，由于最大尺寸的所述人脸框围绕形成所述人脸区域，因此能够通过计算所述最大尺寸的人脸框的长度和宽度，然后计算获得所述最大尺寸人脸框的面积，以获得所述人脸区域的面积。当所述人脸区域的面积在预设面积范围内时，对所述包含深度信息的图像数据中的人脸区域进行平面拟合。
在本发明的另一些优选实施例中，还能够通过判断所述具有最大尺寸的人脸框的对角线的长度是否在一预设长度范围内，以判断所述人脸区域的尺寸是否在所述预设范围内。当所述具有最大尺寸的人脸框的对角线的长度在一预设长度范围内时，确定所述人脸区域的尺寸在所述预设范围内，当所述具有最大尺寸的人脸框的对角线的长度不在所述预设长度范围内时，确定所述人脸区域的尺寸不在所述预设范围内。
参考说明书附图3，需要指出的是，通过判断所述红外图像中的所述人脸区域的尺寸是否在所述预设范围内，能够快速地排除照片、视频对人脸活体检测的干扰，可以理解的是，TOF所发出的红外光是通过发射调制的近红外，针对电子视频屏幕、照片是不成像的，因此能够通过所述红外图像中的所述人脸区域的尺寸是否在预设范围内，快速地排除照片、视频的干扰。
进一步地，在所述步骤102和所述步骤103之间进一步包括：
1011：响应于没有检测到所述红外图像中的人脸区域和/或人脸特征点，确定该待测人脸为非活体人脸。
可以理解的是，当所述待测人脸是非活体，比如照片、视频以及模具等时，所述TOF摄像装置所获取的所述红外图像中不能够获取所述非活体的图像，因此在所述红外图像中检测不到所述人脸区域和/或人脸特征点。因此，当在所述红外图像中没有检测到所述人脸区域和/或所述人脸特征点时，能够确定该待测人脸是非活体。
在本发明的另一些优选实施例中，确定所述待测人脸为非活体时还能够是响应于所述人脸区域的尺寸不在所述预设范围内，确定该待测人脸为非活体。本领域的技术人员应当理解的是，在实际检测的过程中，往往会受到外界的干扰，即使是所述TOF摄像装置在获取非活体的红外图像时，比如照片、视频以及模具等，也往往会采集到一些外界环境中的活体信息，但是通常会与真实的活体具有较大侧尺寸差异。因此，当所述人脸区域的尺寸不在所述预设范围内时能够确定该待测人脸为非活体。
进一步地，本领域的技术人员可以理解的是，真实的活体人脸是立体的，有凸凹的，属于非平面，而普通纸张和铜板纸上的人脸图像等往往是平面的，因此通过对所述包含深度信息的图像数据中的人脸区域进行平面拟合，并通过对平面拟合效果的分析能够快速地区分活体和非活体。
具体地，在所述步骤1032，响应于所述人脸平面拟合的结果满足预设要求，对所述包含深度信息的图像数据中的人脸区域进行侧面拟拟合，可以理解的是，当所述人脸平面拟合的结果满足预设要求的时候则能够在一定程度上说明该待测人体是活体，然后对所述包含深度信息的图像数据中的人脸区域进行侧面拟合。当所述人脸平面拟合的结果不满足预设要求的时候，则能够表明所述待测人体是非活体，输出该待测人体是非活体。
需要指出的是，在所述人脸平面拟合的结果满足预设要求之后，再次对所述包含深度信息的图像数据中的人脸区域进行侧面拟合，能够在一定程度上提高人脸活体检测的精度，提高人脸活体检测的可靠性。
在所述步骤1033，响应于所述人脸侧面拟合的结果满足预设要求，确定该待测人脸为活体人脸，也就是说当所述人脸侧面拟合的结果满足预设要求，则确定该待测人脸为活体人脸。本领域的技术人员可以理解的是，真实活体人脸的侧面有明显的轮廓起伏，而普通纸张和铜板纸上的人脸图像等非活体弯曲时不具有像真实活体人脸一样的起伏特征，因此能够通过人脸侧面拟合的结果判断该待测人脸是否为活体。
进一步地，对所述包含深度信息的图像数据中的人脸区域进行人脸侧面拟合进一步包括：
1012：对所述包含深度信息的图像数据中的人脸区域进行水平方向拟合；以及
1013：对所述包含深度信息的图像数据中的人脸区域进行垂直方向拟合。
也就是说，在对所述包含深度信息的图像数据中的人脸区域进行侧面拟合的时候在水平方向和垂直方向同时进行，以供增加侧面拟合的效果。
优选地，在判断所述人脸侧面拟合的结果是否满足预设要求时，以所述人脸侧面的轮廓起伏是否在一预设起伏范围内为依据，当所述人脸侧面的轮廓起伏在所述预设起伏范围内时，确定所述人脸侧面拟合的结果满足预设要求，生成该待测人脸是活体；当所述人脸侧面轮廓起伏不在所述预设起伏范围内时，确定所述人脸侧面拟合的结果不满足预设要求，确定该待测人脸为非活体。本领域的技术人员应当理解的是，在本发明的另一些优选实施例中，在判断所述人脸侧面拟合的结果是否满足预设要求时，还能够以其他的判断方式为依据进行判断，只要能够达到本发明的发明目的，具体判断所述人脸侧面拟合的结果是否满足预设要求的方式不应当构成对本发明的限制。
参考说明书附图5，当该待测人脸是真实的活体人脸时，侧面拟合的结果无论是俯视轮廓还是侧面轮廓都具有明显的轮廓起伏，而当该待测人脸是普通纸张和铜板纸上的人脸图像时，侧面拟合的结果无论是俯视轮廓还是侧面轮廓的轮廓起伏都不明显。因此能够通过人脸侧面拟合的轮廓起伏区分该待测人脸为活体和非活体。
值得一提的是，本发明所提供的所述人脸活体检测方法融合多种方式综合判断，包括人脸区域尺寸判断、人脸平面拟合以及人脸侧面拟合，充分利用活体与非活体之间的差异性，能够有效地排除打印纸张、照片、视频、铜板纸以及模具等非活体。另外还结合红外相机本身的属性能够大幅度地提高活体判断的精度。
进一步地，本发明所提供的所述人脸活体检测方法在确定所述待测人脸为活体人脸后，进一步包括：
1014：在人脸数据库内匹配所述待测人脸；和
1015：响应于在所述人脸数据库中匹配到所述待测人脸，生成与该待测人脸相关的检测结果，其中所述检测结果包括所述人脸数据库中与该待测人脸对应的人员信息。
具体地，在所述步骤1014，在人脸数据库内匹配所述待测人脸，包括：
提取所述待测人脸的特征向量；和
基于所述人脸特征向量在所述人脸数据库内进行匹配。
具体地，提取所述待测人脸的特征向量，包括：
通过深度学习训练的特征提取模型，提取所述待测人脸的人脸特征向量。
在基于所述人脸特征向量在所述人脸数据库内进行匹配，包括：
基于所提取的所述待测人脸的所述人脸特征向量和所述人脸数据库内所保存的人脸特征向量进行比对，以供对所述待测人脸进行匹配。
所述人脸数据库内预先存储有预设的人脸信息，所述人脸信息包括人脸特征向量和对应的人员信息，所述人脸特征向量用于与所述待测人脸进行匹配，所述人员信息用于表明预设人脸的信息，比如姓名、性别、照片、身份证号、工号等信息中的一种或多种的组合。
在所述步骤1014，在人脸数据库内匹配所述待测人脸中，以所获取的所述待测人脸的特征向量为匹配条件，在所述人脸数据库中匹配与所述待测人脸具有相应人脸特征向量的预设人脸。
在所述步骤1015，响应于在所述人脸数据库中匹配到所述待测人脸，生成与该待测人脸相关的检测结果，其中所述检测结果包括所述人脸数据库中与该待测人脸对应的人员信息，其中所述人员信息包括姓名、性别、照片、身份证号、工号等信息中的一种或多种的组合。
在本优选实施例中，当在所述人脸数据库中匹配到所述待测人脸，则生成与所述待测人脸相关的检测结果。优选地，所述检测结果包括所述人脸数据库中与该待测人脸所对应的人员信息。在本发明的另一些优选实施例中，与所述待测人脸相关的检测结果还能够包括控制指令，所述控制指令用于控制打开门禁，以便于具有所述被识别的所述待测人脸的人员的通行。本领域的技术人员应当理解的是，所述控制指令还能够控制执行其他的动作，只要能够达到本发明的发明目的，所述控制指令具体控制执行的动作不应当构成对本发明的限制。本领域的技术人员应当理解的是，在本发明的另一些优选实施例中，与所述待测人脸相关的检测结果还能够是其他的信息，只要能够达到本发明的发明目的，所生成的与所述待测人脸相关的检测结果的具体形式不应当构成对本发明的限制。
参考说明书附图6，根据本发明的另一方面，本发明进一步提供一种人脸活体检测系统，其包括一图像数据获取单元10、一人脸检测单元20以及一活体检测单元30，其中所述图像数据获取单元10用于获取由TOF摄像装置采集的待测人脸的红外图像和包含深度信息的图像数据，所述人脸检测单元20用于对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息，所述活体检测单元30用于基于所述人脸区域、所述人脸特征点和所述包含深度信息的图像数据，进行活体检测，其中所述活体检测的过程，包括：
响应于所述人脸区域的尺寸在预设范围内，对所述包含深度信息的图像数据中的人脸区域进行人脸平面拟合；
响应于所述人脸平面拟合的结果满足预设要求，对所述包含深度信息的图像数据中的人脸区域进行人脸侧面拟合；以及
响应于所述人脸侧面拟合的结果满足预设要求，确定该待测人脸为活体人脸。
进一步地，所述活体检测单元30还用于响应没有检测到所述红外图像中的人脸区域和/或人脸特征点，确定该待测人脸为非活体人脸。
所述包含深度信息的图像数据为点云数据、深度图像或RGB-D融合图像中的任意一种。
进一步地，所述人脸活体检测系统进一步包括一数据预处理单元40，所述数据预处理单元40用于对所述红外图像进行归一化处理，和/或对所述包含深度信息的图像数据进行滤波处理。还需要指出的是，所述数据预处理单元40对所述红外图像进行归一化处理，和/或对所述包含深度信息的图像数据进行滤波处理之后，所述人脸检测单元20对所述红外图像进行人脸区域检测和人脸特征点检测。
所述人脸检测单元20进一步包括一人脸框检测模块21和一尺寸比较模块22，其中所述人脸框检测模块21用于对所述红外图像进行人脸区域检测，以获得一系列人脸框；所述尺寸比较模块22用于选择所述一系列人脸框中的尺寸最大者为所述人脸框，其中具有最大尺寸的所述人脸框所包括的区域为所述红外图像中的人脸区域。
所述人脸检测单元20进一步包括一人脸跟踪模块23，所述人脸跟踪模块23用于对所述红外图像中的所述人脸区域进行跟踪。可以理解的是，由于具有最大尺寸的所述人脸框所包括的区域是所述人脸区域，换句话说，所述人脸跟踪模块23实时对具有最大尺寸的所述人脸框进行跟踪，以供对所述红外图像中的所述人脸区域进行跟踪。
优选地，所述人脸跟踪模块23采用跟踪算法实时对所述人脸区域进行跟踪。
进一步地，所述人脸检测单元20进一步包括一特征点获取模块24和一特征点转换模块25，其中所述特征点获取模块24用于获取所述红外图像中所述人脸区域所对应的一组人脸特征点，所述特征点转换模块25用于将所述特征点获取模块24所获取的所述一组人脸特征点进行转换，以获得左眼、右眼、鼻子、左嘴角和右嘴角这五个特征点及其位置信息。
具体地，所述活体检测单元30进一步包括一人脸平面拟合模块31和一人脸侧面拟合模块32，其中所述人脸平面拟合模块31用于响应所述人脸区域的尺寸在预设范围内，对所述包含深度信息的图像数据中的人脸区域进行人脸平面拟合，所述人脸侧面拟合模块32用于响应于所述人脸平面拟合的结果满足预设要求，对所述包含深度信息的图像数据中的人脸区域进行侧面拟合，所述人脸侧面拟合模块32还用于响应于所述人脸侧面拟合的结果满足预设要求，确定该待测人脸为活体人脸。
进一步地，本发明所提供的所述人脸活体检测系统进一步包括一人脸数据存储单元50和一人脸匹配单元60，所述人脸数据存储单元50用于存储预设人脸数据，所述人脸匹配单元60用于基于所述人脸数据存储单元50匹配所述待测人脸，并且当在所述人脸数据存储单元50内匹配到所述待测人脸，生成与该待测人脸相关的检测结果，其中所述检测结果包括所述人脸数据库中与该待测人脸所对应的人员信息。
优选地，所述人脸数据存储单元50内所存储的预设人脸数据包括预设人脸特征点和预设人脸多对应的人员的信息，比如姓名、性别、照片、身份证号以及工号等。所述人脸数据存储单元50还能够被称为人脸数据库。相应地，当所述人脸匹配单元60在所述人脸数据存储单元50内匹配到所述待测人脸时，生成与该待测人脸相关的检测结果，其中所述检测结果包括所述人脸数据库中与该待测人脸所对应的人员信息，其中所述人员信息包括姓名、性别、照片、身份证号或工号中的一种或多种的组合。
在本发明的另一些变形实施方式中，当在所述人脸数据存储单元50内匹配到所述待测人脸时，生成的与该待测人脸相关的检测结果还能够包括一控制指令或者其本身就是一控制指令，所述控制指令用于控制一控制装置的打开，比如，门禁系统，以供允许具有该待测人脸的人员通过。本领域的技术人员应当理解的是，只要能够达到本发明的发明目的，所生成的与该待测人脸相关的检测结果的具体类型不应当构成对本发明的限制。
根据本发明的另一方面，本发明进一步提供一种电子设备，包括一处理器和一存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行本发明所提供的上述所述人脸活体检测方法。
根据本发明的另一方面，本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算机装置执行时，可操作来执行本发明所提供的上述人脸活体检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
Claims (12)
1.一种人脸活体检测方法，其特征在于，包括：
获取由TOF摄像装置采集的待测人脸的红外图像和包含深度信息的图像数据；
对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息；
基于所述人脸区域、人脸特征点和所述包含深度信息的图像数据，进行活体检测，其中，所述活体检测的过程，包括：
响应于所述人脸区域的尺寸在预设范围内，对所述包含深度信息的图像数据中的人脸区域进行人脸平面拟合；
响应于所述人脸平面拟合的结果满足预设要求，对所述包含深度信息的图像数据中的人脸区域进行人脸侧面拟合；以及
响应于所述人脸侧面拟合的结果满足预设要求，确定该待测人脸为活体人脸。
2.根据权利要求1所述的人脸活体检测方法，其中，在获取由TOF摄像装置采集的待测人脸的红外图像和包含深度信息的图像数据之后，以及，在对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息之前，进一步包括：
对所述红外图像进行归一化处理；和/或
对所述包含深度信息的图像数据进行滤波处理。
3.根据权利要求1所述的人脸活体检测方法，其中，对所述红外图像进行人脸区域检测，以获得所述红外图像中的人脸区域，包括：
对所述红外图像进行人脸区域检测，以获得一系列人脸框；以及
选择所述一系列人脸框中的尺寸最大者为所述人脸框，其中，所述人脸框所包括的区域为所述红外图像中的人脸区域。
4.根据权利要求3所述的人脸活体检测方法，其中，在对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息的过程中，进一步包括：
对所述人脸区域进行跟踪。
5.根据权利要求1所述的人脸活体检测方法，进一步包括：
响应于没有检测到所述红外图像中的人脸区域和/或人脸特征点，确定该待测人脸为非活体人脸。
6.根据权利要求4所述的人脸活体检测方法，其中，在对所述红外图像进行人脸特征点检测，以获得所述红外图像中的人脸特征点的位置信息，包括：
对所述红外图像进行人脸区域检测，以获得一组人脸特征点；和
将所述一组人脸特征点进行转换，以获得左眼、右眼、鼻子、左嘴角和右嘴角这5个特征点及其位置信息。
7.根据权利要求1所述的人脸活体检测方法，其中，对所述包含深度信息的图像数据中的人脸区域进行人脸侧面拟合，包括：
对所述包含深度信息的图像数据中的人脸区域进行水平方向拟合；以及
对所述包含深度信息的图像数据中的人脸区域进行垂直方向拟合。
8.根据权利要求1所述的人脸活体检测方法，在确定所述待测人脸为活体人脸后，进一步包括：
在人脸数据库内匹配所述待测人脸；和
响应于在所述人脸数据库中匹配到所述待测人脸，生成与该待测人脸相关的检测结果，其中所述检测结果包括所述人脸数据库中与该待测人脸所对应的人员信息。
9.根据权利要求1-8任一所述的人脸活体检测方法，其中，所述包含深度信息的图像数据为点云数据、深度图像或RGB-D融合图像中的任意一种。
10.一种人脸活体检测系统，其特征在于，包括：
图像数据获取单元，用于获取由TOF摄像装置采集的待测人脸的红外图像和包含深度信息的图像数据；
人脸检测单元，用于对所述红外图像进行人脸区域检测和人脸特征点检测，以获得所述红外图像中的人脸区域和人脸特征点的位置信息；以及
活体检测单元，用于基于所述人脸区域、所述人脸特征点和所述包含深度信息的图像数据，进行活体检测，其中，所述活体检测的过程，包括：
响应于所述人脸区域的尺寸在预设范围内，对所述包含深度信息的图像数据中的人脸区域进行人脸平面拟合；
响应于所述人脸平面拟合的结果满足预设要求，对所述包含深度信息的图像数据中的人脸区域进行人脸侧面拟合；以及
响应于所述人脸侧面拟合的结果满足预设要求，确定该待测人脸为活体人脸。
11.一种电子设备，其特征在于，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-9中任一项所述的人脸活体检测方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算机装置执行时，可操作来执行如权利要求1-9中任一项所述的人脸活体检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911019158.2A CN112711968A (zh) | 2019-10-24 | 2019-10-24 | 人脸活体检测方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911019158.2A CN112711968A (zh) | 2019-10-24 | 2019-10-24 | 人脸活体检测方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112711968A true CN112711968A (zh) | 2021-04-27 |
Family
ID=75541321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911019158.2A Pending CN112711968A (zh) | 2019-10-24 | 2019-10-24 | 人脸活体检测方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112711968A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113392719A (zh) * | 2021-05-21 | 2021-09-14 | 华南农业大学 | 智能电子锁解锁方法、电子设备以及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105956518A (zh) * | 2016-04-21 | 2016-09-21 | 腾讯科技（深圳）有限公司 | 一种人脸识别方法、装置和系统 |
| CN107506752A (zh) * | 2017-09-18 | 2017-12-22 | 艾普柯微电子（上海）有限公司 | 人脸识别装置及方法 |
| CN108564041A (zh) * | 2018-04-17 | 2018-09-21 | 广州云从信息科技有限公司 | 一种基于rgbd相机的人脸检测和修复方法 |
| CN108805024A (zh) * | 2018-04-28 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| CN109101871A (zh) * | 2018-08-07 | 2018-12-28 | 北京华捷艾米科技有限公司 | 一种基于深度和近红外信息的活体检测装置、检测方法及其应用 |
| CN109508702A (zh) * | 2018-12-29 | 2019-03-22 | 安徽云森物联网科技有限公司 | 一种基于单一图像采集设备的三维人脸活体检测方法 |
| CN109858439A (zh) * | 2019-01-30 | 2019-06-07 | 北京华捷艾米科技有限公司 | 一种基于人脸的活体检测方法及装置 |
| CN109961062A (zh) * | 2019-04-16 | 2019-07-02 | 北京迈格威科技有限公司 | 图像识别方法、装置、终端和可读存储介质 |
| CN110309782A (zh) * | 2019-07-02 | 2019-10-08 | 四川大学 | 一种基于红外与可见光双目系统的活体人脸检测方法 |
-
2019
- 2019-10-24 CN CN201911019158.2A patent/CN112711968A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105956518A (zh) * | 2016-04-21 | 2016-09-21 | 腾讯科技（深圳）有限公司 | 一种人脸识别方法、装置和系统 |
| CN107506752A (zh) * | 2017-09-18 | 2017-12-22 | 艾普柯微电子（上海）有限公司 | 人脸识别装置及方法 |
| CN108564041A (zh) * | 2018-04-17 | 2018-09-21 | 广州云从信息科技有限公司 | 一种基于rgbd相机的人脸检测和修复方法 |
| CN108805024A (zh) * | 2018-04-28 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| CN109101871A (zh) * | 2018-08-07 | 2018-12-28 | 北京华捷艾米科技有限公司 | 一种基于深度和近红外信息的活体检测装置、检测方法及其应用 |
| CN109508702A (zh) * | 2018-12-29 | 2019-03-22 | 安徽云森物联网科技有限公司 | 一种基于单一图像采集设备的三维人脸活体检测方法 |
| CN109858439A (zh) * | 2019-01-30 | 2019-06-07 | 北京华捷艾米科技有限公司 | 一种基于人脸的活体检测方法及装置 |
| CN109961062A (zh) * | 2019-04-16 | 2019-07-02 | 北京迈格威科技有限公司 | 图像识别方法、装置、终端和可读存储介质 |
| CN110309782A (zh) * | 2019-07-02 | 2019-10-08 | 四川大学 | 一种基于红外与可见光双目系统的活体人脸检测方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113392719A (zh) * | 2021-05-21 | 2021-09-14 | 华南农业大学 | 智能电子锁解锁方法、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102596897B1 (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| CN109446981B (zh) | 一种脸部活体检测、身份认证方法及装置 | |
| US7715596B2 (en) | Method for controlling photographs of people | |
| JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| EP1650711B1 (en) | Image processing device, imaging device, image processing method | |
| CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及系统 | |
| CN110059644A (zh) | 一种基于人脸图像的活体检测方法、系统及相关组件 | |
| JP2000306095A (ja) | 画像照合・検索システム | |
| JP2000259814A (ja) | 画像処理装置及びその方法 | |
| CN108537131B (zh) | 一种基于人脸特征点和光流场的人脸识别活体检测方法 | |
| WO2019011073A1 (zh) | 人脸活体检测方法及相关产品 | |
| Kose et al. | Mask spoofing in face recognition and countermeasures | |
| JP7151875B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US11315360B2 (en) | Live facial recognition system and method | |
| KR20190093799A (ko) | Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법 | |
| JP2020518879A (ja) | 検出システム、検出装置およびその方法 | |
| CN112633217A (zh) | 基于三维眼球模型计算视线方向的人脸识别活体检测方法 | |
| CN109325472A (zh) | 一种基于深度信息的人脸活体检测方法 | |
| KR20200119425A (ko) | 도메인 적응 기반 객체 인식 장치 및 그 방법 | |
| US11354940B2 (en) | Method and apparatus for foreground geometry and topology based face anti-spoofing | |
| CN112711968A (zh) | 人脸活体检测方法及其系统 | |
| KR100862526B1 (ko) | 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템. | |
| CN112149598A (zh) | 一种侧脸评估方法、装置、电子设备及存储介质 | |
| CN112347904A (zh) | 基于双目深度和图片结构的活体检测方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |