CN111985442A - 一种基于多模态数据融合的活体检测识别方法 - Google Patents
一种基于多模态数据融合的活体检测识别方法 Download PDFInfo
- Publication number
- CN111985442A CN111985442A CN202010904340.2A CN202010904340A CN111985442A CN 111985442 A CN111985442 A CN 111985442A CN 202010904340 A CN202010904340 A CN 202010904340A CN 111985442 A CN111985442 A CN 111985442A
- Authority
- CN
- China
- Prior art keywords
- image
- palm vein
- vein distribution
- face image
- living body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001727 in vivo Methods 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 title claims abstract description 17
- 210000003462 vein Anatomy 0.000 claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1382—Detecting the live character of the finger, i.e. distinguishing from a fake or cadaver finger
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明涉及活体检测识别，具体涉及一种基于多模态数据融合的活体检测识别方法，采集待检测指纹图像、手掌静脉分布图像和虹膜图像，并采集正向人脸图像以及红外非正面人脸图像，提取指纹图像、手掌静脉分布图像分别经过离散余弦变换得到的矩阵，并与活体数据库中的数据进行比对，判断采集的指纹图像、手掌静脉分布图像是否为活体图像，提取指纹图像、手掌静脉分布图像分别经过离散余弦变换得到的矩阵，并与活体数据库中的数据进行比对，判断采集的指纹图像、手掌静脉分布图像是否为活体图像；本发明提供的技术方案能够有效克服现有技术所存在的容易被伪装攻击、检测存在局限性、缺少多种形态下人脸图像关联识别的缺陷。
Description
技术领域
本发明涉及活体检测识别，具体涉及一种基于多模态数据融合的活体检测识别方法。
背景技术
生物特征识别技术可通过人脸特征、指纹特征、静脉特征、掌纹特征、声纹特征乃至虹膜特征等来进行个人身份的鉴定。目前，是最为便捷与安全的一种识别技术，且易于配合电脑实现自动化管理，而被广泛使用。但是，随着仿真头套、全息投影、人脸跟踪等高科技手段的不断出现，利用单一生物特征进行身份识别认证的方法，其在准确性、安全性等评价方面已经大打折扣，故多模态是生物特征识别的必然趋势。
现有生物识别技术常采用单一维度的生物特征识别实现，由于活体检测攻击的攻击方式多种多样，攻击模态各不相同，单一维度的生物特征很容易被伪造，从而导致活体检测识别的准确度降低，并且在实际应用中也存在检测的局限性。此外，在人脸图像检测识别过程中，缺少多种形态下人脸图像的关联识别，导致无法确定多个不同角度的人脸图像是否来源于同一活体。
发明内容
(一)解决的技术问题
针对现有技术所存在的上述缺点，本发明提供了一种基于多模态数据融合的活体检测识别方法，能够有效克服现有技术所存在的容易被伪装攻击、检测存在局限性、缺少多种形态下人脸图像关联识别的缺陷。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种基于多模态数据融合的活体检测识别方法，包括以下步骤：
S1、采集待检测指纹图像、手掌静脉分布图像和虹膜图像，并采集正向人脸图像以及红外非正面人脸图像；
S2、提取指纹图像、手掌静脉分布图像分别经过离散余弦变换得到的矩阵，并与活体数据库中的数据进行比对，判断采集的指纹图像、手掌静脉分布图像是否为活体图像；
S3、将虹膜图像输入虹膜识别器中，判断采集的虹膜图像是否为活体图像；
S4、对红外非正面人脸图像进行几何变换形成正面人脸图像，分别提取正向人脸图像、正面人脸图像的脸部特征；
S5、对正向人脸图像、正面人脸图像的脸部特征进行分析比对，判断采集的正向人脸图像是否为活体图像；
S6、综合指纹图像、手掌静脉分布图像、虹膜图像、正向人脸图像是否为活体图像的判断结果，进行多模态身份认证。
优选地，所述指纹图像、手掌静脉分布图像采用红外CCD摄像头进行采集；
还包括近红外光源，所述近红外光源在红外CCD摄像头采集指纹图像、手掌静脉分布图像时自动调节红外光线照射强度。
优选地，S2中判断采集的指纹图像、手掌静脉分布图像是否为活体图像，包括：
对指纹图像、手掌静脉分布图像分别进行离散余弦变换得到矩阵，若该矩阵与活体数据库中的数据相同，则该指纹图像、手掌静脉分布图像为活体图像；
否则，该指纹图像、手掌静脉分布图像不是活体图像，并将该指纹图像、手掌静脉分布图像删除。
优选地，所述活体数据库的模型训练方法，包括：
采集活体指纹图像、活体手掌静脉分布图像，对活体指纹图像、活体手掌静脉分布图像分别进行离散余弦变换得到矩阵，并将该矩阵输入活体数据库进行训练；
当S2中判断采集的指纹图像、手掌静脉分布图像为活体图像时，将该指纹图像、手掌静脉分布图像分别经过离散余弦变换得到的矩阵输入活体数据库进行训练。
优选地，S3中虹膜识别器的模型训练方法，包括：
获取活体虹膜图像的虹膜纹理特征，将虹膜纹理特征输入虹膜识别器进行训练。
优选地，S4中对红外非正面人脸图像进行几何变换形成正面人脸图像，包括：
利用视角差关系将红外非正面人脸图像变换为与正向人脸图像在同一拍摄平面的中间图像，再将中间图像校正为与正向人脸图像相关的正面人脸图像。
优选地，S4中分别提取正向人脸图像、正面人脸图像的脸部特征，包括：
使用拉普拉斯算子分别对正向人脸图像、正面人脸图像进行滤波处理，对滤波后的图像构造直方图特征，并使用序列浮动选择特征选择算法提取有效的特征子集。
优选地，所述红外非正面人脸图像包括除去正向以外，上、下、左、右各个角度的非正面人脸图像。
优选地，S6中综合指纹图像、手掌静脉分布图像、虹膜图像、正向人脸图像是否为活体图像的判断结果，进行多模态身份认证，包括：
当指纹图像、手掌静脉分布图像、虹膜图像、正向人脸图像的判断结果中任意三项为活体图像时，判定身份认证为活体，否则为假体。
(三)有益效果
与现有技术相比，本发明所提供的一种基于多模态数据融合的活体检测识别方法，利用指纹图像、手掌静脉分布图像、虹膜图像、正向人脸图像进行多模态活体检测识别，能够有效阻止伪装攻击，并且由于采用多种生物特征识别方式，也拓宽了实际应用中识别方式的可选择范围，并且能够将多个非正面人脸图像与正向人脸图像进行有效关联，进一步提高活体检测识别的准确性、安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明多模态活体检测识别的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于多模态数据融合的活体检测识别方法，如图1所示，采集待检测指纹图像、手掌静脉分布图像和虹膜图像，并采集正向人脸图像以及红外非正面人脸图像。
其中，指纹图像、手掌静脉分布图像采用红外CCD摄像头进行采集，还包括近红外光源，近红外光源在红外CCD摄像头采集指纹图像、手掌静脉分布图像时自动调节红外光线照射强度。
本申请技术方案中，可以设置用于控制近红外光源补光强度的自动补光控制系统，利用光照传感器对光照强度进行采集，并通过灰度值判断当前环境的光照强度，借此实现对近红外光源的有效控制。
提取指纹图像、手掌静脉分布图像分别经过离散余弦变换得到的矩阵，并与活体数据库中的数据进行比对，判断采集的指纹图像、手掌静脉分布图像是否为活体图像。
其中，判断采集的指纹图像、手掌静脉分布图像是否为活体图像，包括：
对指纹图像、手掌静脉分布图像分别进行离散余弦变换得到矩阵，若该矩阵与活体数据库中的数据相同，则该指纹图像、手掌静脉分布图像为活体图像；
否则，该指纹图像、手掌静脉分布图像不是活体图像，并将该指纹图像、手掌静脉分布图像删除。
活体数据库的模型训练方法，包括：
采集活体指纹图像、活体手掌静脉分布图像，对活体指纹图像、活体手掌静脉分布图像分别进行离散余弦变换得到矩阵，并将该矩阵输入活体数据库进行训练；
当S2中判断采集的指纹图像、手掌静脉分布图像为活体图像时，将该指纹图像、手掌静脉分布图像分别经过离散余弦变换得到的矩阵输入活体数据库进行训练。
当采集的指纹图像、手掌静脉分布图像为活体图像时，也可以输入活体数据库进行训练，实现边检测边“自我学习”，进一步提升活体数据库识别的准确度。
将虹膜图像输入虹膜识别器中，判断采集的虹膜图像是否为活体图像。
其中，虹膜识别器的模型训练方法，包括：
获取活体虹膜图像的虹膜纹理特征，将虹膜纹理特征输入虹膜识别器进行训练。
对红外非正面人脸图像进行几何变换形成正面人脸图像，分别提取正向人脸图像、正面人脸图像的脸部特征。
其中，对红外非正面人脸图像进行几何变换形成正面人脸图像，包括：
利用视角差关系将红外非正面人脸图像变换为与正向人脸图像在同一拍摄平面的中间图像，再将中间图像校正为与正向人脸图像相关的正面人脸图像。
其中，分别提取正向人脸图像、正面人脸图像的脸部特征，包括：
使用拉普拉斯算子分别对正向人脸图像、正面人脸图像进行滤波处理，对滤波后的图像构造直方图特征，并使用序列浮动选择特征选择算法提取有效的特征子集。
红外非正面人脸图像包括除去正向以外，上、下、左、右各个角度的非正面人脸图像。
对正向人脸图像、正面人脸图像的脸部特征进行分析比对，判断采集的正向人脸图像是否为活体图像。
综合指纹图像、手掌静脉分布图像、虹膜图像、正向人脸图像是否为活体图像的判断结果，进行多模态身份认证。
其中，综合指纹图像、手掌静脉分布图像、虹膜图像、正向人脸图像是否为活体图像的判断结果，进行多模态身份认证，包括：
当指纹图像、手掌静脉分布图像、虹膜图像、正向人脸图像的判断结果中任意三项为活体图像时，判定身份认证为活体，否则为假体。
本申请技术方案设定的身份认证规则为：当四种生物特征识别方式中任意三项检测为活体图像时，判定身份认证为活体。充分考虑到被检测方由于某些特定因素或生理缺陷可能出现的无法检测识别的问题，进一步扩大了实际应用中可检测群体范围。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于多模态数据融合的活体检测识别方法，其特征在于：包括以下步骤：
S1、采集待检测指纹图像、手掌静脉分布图像和虹膜图像，并采集正向人脸图像以及红外非正面人脸图像；
S2、提取指纹图像、手掌静脉分布图像分别经过离散余弦变换得到的矩阵，并与活体数据库中的数据进行比对，判断采集的指纹图像、手掌静脉分布图像是否为活体图像；
S3、将虹膜图像输入虹膜识别器中，判断采集的虹膜图像是否为活体图像；
S4、对红外非正面人脸图像进行几何变换形成正面人脸图像，分别提取正向人脸图像、正面人脸图像的脸部特征；
S5、对正向人脸图像、正面人脸图像的脸部特征进行分析比对，判断采集的正向人脸图像是否为活体图像；
S6、综合指纹图像、手掌静脉分布图像、虹膜图像、正向人脸图像是否为活体图像的判断结果，进行多模态身份认证。
2.根据权利要求1所述的基于多模态数据融合的活体检测识别方法，其特征在于：所述指纹图像、手掌静脉分布图像采用红外CCD摄像头进行采集；
还包括近红外光源，所述近红外光源在红外CCD摄像头采集指纹图像、手掌静脉分布图像时自动调节红外光线照射强度。
3.根据权利要求1所述的基于多模态数据融合的活体检测识别方法，其特征在于：S2中判断采集的指纹图像、手掌静脉分布图像是否为活体图像，包括：
对指纹图像、手掌静脉分布图像分别进行离散余弦变换得到矩阵，若该矩阵与活体数据库中的数据相同，则该指纹图像、手掌静脉分布图像为活体图像；
否则，该指纹图像、手掌静脉分布图像不是活体图像，并将该指纹图像、手掌静脉分布图像删除。
4.根据权利要求3所述的基于多模态数据融合的活体检测识别方法，其特征在于：所述活体数据库的模型训练方法，包括：
采集活体指纹图像、活体手掌静脉分布图像，对活体指纹图像、活体手掌静脉分布图像分别进行离散余弦变换得到矩阵，并将该矩阵输入活体数据库进行训练；
当S2中判断采集的指纹图像、手掌静脉分布图像为活体图像时，将该指纹图像、手掌静脉分布图像分别经过离散余弦变换得到的矩阵输入活体数据库进行训练。
5.根据权利要求1所述的基于多模态数据融合的活体检测识别方法，其特征在于：S3中虹膜识别器的模型训练方法，包括：
获取活体虹膜图像的虹膜纹理特征，将虹膜纹理特征输入虹膜识别器进行训练。
6.根据权利要求1所述的基于多模态数据融合的活体检测识别方法，其特征在于：S4中对红外非正面人脸图像进行几何变换形成正面人脸图像，包括：
利用视角差关系将红外非正面人脸图像变换为与正向人脸图像在同一拍摄平面的中间图像，再将中间图像校正为与正向人脸图像相关的正面人脸图像。
7.根据权利要求6所述的基于多模态数据融合的活体检测识别方法，其特征在于：S4中分别提取正向人脸图像、正面人脸图像的脸部特征，包括：
使用拉普拉斯算子分别对正向人脸图像、正面人脸图像进行滤波处理，对滤波后的图像构造直方图特征，并使用序列浮动选择特征选择算法提取有效的特征子集。
8.根据权利要求6所述的基于多模态数据融合的活体检测识别方法，其特征在于：所述红外非正面人脸图像包括除去正向以外，上、下、左、右各个角度的非正面人脸图像。
9.根据权利要求1所述的基于多模态数据融合的活体检测识别方法，其特征在于：S6中综合指纹图像、手掌静脉分布图像、虹膜图像、正向人脸图像是否为活体图像的判断结果，进行多模态身份认证，包括：
当指纹图像、手掌静脉分布图像、虹膜图像、正向人脸图像的判断结果中任意三项为活体图像时，判定身份认证为活体，否则为假体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010904340.2A CN111985442A (zh) | 2020-09-01 | 2020-09-01 | 一种基于多模态数据融合的活体检测识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010904340.2A CN111985442A (zh) | 2020-09-01 | 2020-09-01 | 一种基于多模态数据融合的活体检测识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111985442A true CN111985442A (zh) | 2020-11-24 |
Family
ID=73447183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010904340.2A Pending CN111985442A (zh) | 2020-09-01 | 2020-09-01 | 一种基于多模态数据融合的活体检测识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111985442A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668512A (zh) * | 2020-12-31 | 2021-04-16 | 深兰盛视科技（苏州）有限公司 | 手掌静脉识别方法、装置、电子设备及存储介质 |
| CN117253296A (zh) * | 2023-11-17 | 2023-12-19 | 深圳市安思疆科技有限公司 | 一种用于身份认证的3d成像系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008091401A2 (en) * | 2006-09-15 | 2008-07-31 | Retica Systems, Inc | Multimodal ocular biometric system and methods |
| CN102708383A (zh) * | 2012-05-21 | 2012-10-03 | 广州像素数据技术开发有限公司 | 一种多模态比对功能的活体人脸检测系统与方法 |
| CN107423703A (zh) * | 2017-07-21 | 2017-12-01 | 山东大学 | 基于人脸、指纹和指静脉特征的多模态识别装置及方法 |
| CN108427871A (zh) * | 2018-01-30 | 2018-08-21 | 深圳奥比中光科技有限公司 | 3d人脸快速身份认证方法与装置 |
| CN109871811A (zh) * | 2019-02-22 | 2019-06-11 | 中控智慧科技股份有限公司 | 一种基于图像的活体目标检测方法、装置及系统 |
-
2020
- 2020-09-01 CN CN202010904340.2A patent/CN111985442A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008091401A2 (en) * | 2006-09-15 | 2008-07-31 | Retica Systems, Inc | Multimodal ocular biometric system and methods |
| CN102708383A (zh) * | 2012-05-21 | 2012-10-03 | 广州像素数据技术开发有限公司 | 一种多模态比对功能的活体人脸检测系统与方法 |
| CN107423703A (zh) * | 2017-07-21 | 2017-12-01 | 山东大学 | 基于人脸、指纹和指静脉特征的多模态识别装置及方法 |
| CN108427871A (zh) * | 2018-01-30 | 2018-08-21 | 深圳奥比中光科技有限公司 | 3d人脸快速身份认证方法与装置 |
| CN109871811A (zh) * | 2019-02-22 | 2019-06-11 | 中控智慧科技股份有限公司 | 一种基于图像的活体目标检测方法、装置及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668512A (zh) * | 2020-12-31 | 2021-04-16 | 深兰盛视科技（苏州）有限公司 | 手掌静脉识别方法、装置、电子设备及存储介质 |
| CN117253296A (zh) * | 2023-11-17 | 2023-12-19 | 深圳市安思疆科技有限公司 | 一种用于身份认证的3d成像系统 |
| CN117253296B (zh) * | 2023-11-17 | 2024-02-27 | 深圳市安思疆科技有限公司 | 一种用于身份认证的3d成像系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20060280340A1 (en) | Conjunctival scans for personal identification | |
| CN107423703B (zh) | 基于人脸、指纹和指静脉特征的多模态识别装置及方法 | |
| TW201322147A (zh) | 利用多種生理資訊混合辨識身份之系統及方法 | |
| JP7192872B2 (ja) | 虹彩認証装置、虹彩認証方法、虹彩認証プログラムおよび記録媒体 | |
| CN111985442A (zh) | 一种基于多模态数据融合的活体检测识别方法 | |
| KR101640014B1 (ko) | 허위 안면 이미지 분류가 가능한 홍채 인식 장치 | |
| US20210256244A1 (en) | Method for authentication or identification of an individual | |
| CN108846269A (zh) | 一种面向多种特征的身份认证方法和身份认证装置 | |
| CN109255219A (zh) | 一种基于生物识别终端的温度感应解锁方法和系统 | |
| CN111445640A (zh) | 基于虹膜识别的快递取件方法、装置、设备及存储介质 | |
| US9946929B2 (en) | Method of detecting boundaries of the human eye | |
| Seal et al. | Minutiae based thermal face recognition using blood perfusion data | |
| US8325991B2 (en) | Device and method for biometrics authentication | |
| CN113920591A (zh) | 基于多模态生物特征识别的中远距离身份认证方法及装置 | |
| CN113420582B (zh) | 用于掌静脉识别的防伪检测方法及其系统 | |
| CN108288040A (zh) | 基于面部轮廓的多参数人脸识别系统 | |
| CN111241505A (zh) | 一种终端设备及其登录验证方法、计算机存储介质 | |
| CN110781708A (zh) | 基于采集设备的手指静脉图像识别系统及手指静脉图像识别方法 | |
| KR101336834B1 (ko) | Ｕｓｂ 홍채 인식기 | |
| KR101767051B1 (ko) | 퍼지 추론 기반 지정맥 영상 추출 방법 및 그 장치 | |
| Mohammed et al. | Conceptual analysis of Iris Recognition Systems | |
| KR101704717B1 (ko) | 홍채 인식 장치 및 그 동작 방법 | |
| Seal et al. | Minutiae based thermal human face recognition using label connected component algorithm | |
| CN110287841B (zh) | 图像传输方法及装置、图像传输系统、存储介质 | |
| KR20110023407A (ko) | 얼굴 변화에 강인한 얼굴 인식 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |