CN112883940A - 静默活体检测方法、装置、计算机设备及存储介质 - Google Patents
静默活体检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112883940A CN112883940A CN202110410488.5A CN202110410488A CN112883940A CN 112883940 A CN112883940 A CN 112883940A CN 202110410488 A CN202110410488 A CN 202110410488A CN 112883940 A CN112883940 A CN 112883940A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- face
- living body
- rgb
- silent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 161
- 238000001727 in vivo Methods 0.000 title abstract description 16
- 230000003287 optical effect Effects 0.000 claims abstract description 173
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000013136 deep learning model Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 40
- 230000007246 mechanism Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000001994 activation Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了静默活体检测方法、装置、计算机设备及存储介质。所述方法包括：获取待检测视频；对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图；将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果；其中，所述静默活体检测模型是通过带有活体或非活体标签的人脸光流特征图以及RGB人脸图作为样本集训练深度学习模型所得的。通过实施本发明实施例的方法可实现提高活体检测准确率，做到真正意义上的静默活体检测。
Description
技术领域
本发明涉及活体检测方法，更具体地说是指静默活体检测方法、装置、计算机设备及存储介质。
背景技术
当前最有效的静默活体检测方法是基于深度学习方法的人脸活体检测方法，为了对RGB人脸图像中活体与非活体由于光照反射出现的细微差异进行有效地判断，并使对应的算法拥有很好的泛化能力，现采用的方式包括以下三种，一种是输入连续多帧人脸图，通过捕获活体与非活体微动作之间的差异来设计特征；第二种是利用中心差分卷积捕捉人脸边缘信息的细微差异；还有一种是多模态融合的人脸活体检测，通过频谱变换来辅助RGB图像的深度学习方法，这对于非活体发生的摩尔纹、扭曲，光影异常等有很好的效果。但是上述方式均比较复杂，多帧人脸图像输入则需要或者图像的存储空间，除了复杂以外，所有的人脸活体检测方法都存在一个缺点就是泛化能力较差，跨摄像头，跨光照环境都没有很好的解决方法，受光照影响大，在人脸不运动时，光流运动特征不明显，容易导致活体检测准确率低，无法做到真正意义上的静默活体检测。
因此，有必要设计一种新的方法，实现提高活体检测准确率，做到真正意义上的静默活体检测。
发明内容
本发明的目的在于克服现有技术的缺陷，提供静默活体检测方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：静默活体检测方法，包括：
获取待检测视频；
对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图；
将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果；
其中，所述静默活体检测模型是通过带有活体或非活体标签的人脸光流特征图以及RGB人脸图作为样本集训练深度学习模型所得的。
其进一步技术方案为：所述对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图，包括：
利用图像序列中像素在时间域上的变化以及相邻帧之间的关系确定上一帧跟当前帧之间存在的对应关系，以计算出相邻帧之间物体的运动信息，以得到光流特征；
计算所述光流特征的方向以及角度，并归一化所述光流特征的方向与角度，以得到归一化后的特征值；
转换归一化后的特征值，以得到多维光流特征向量；
根据所述待检测视频的RGB图像对应的人脸矩形框对多维光流特征向量进行剪裁，以得到人脸光流特征向量；
根据所述人脸矩形框裁剪所述待检测视频的RGB图像，以得到RGB人脸图；
对所述RGB人脸图转换为灰度图，并将所述灰度图与所述人脸光流特征向量合并，以得到人脸光流特征图。
其进一步技术方案为：所述光流特征包括位移向量以及位移方向。
其进一步技术方案为：所述静默活体检测模型包括卷积组、注意力机制网络组、全连接层以及损失函数层；所述卷积组包括第一卷积层、第一池化层、第一归一化层以及第一激活层；所述注意力机制网络组包括注意力机制层、卷积层、池化层、归一化层以及激活层。
其进一步技术方案为：所述将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果，包括：
将所述RGB人脸图输入至所述静默活体检测模型内的第一个卷积组，以得到RGB人脸图的特征图；
将所述人脸光流特征图输入至所述静默活体检测模型内的注意力机制网络组，以得到光流人脸的特征图；
将所述RGB人脸图的特征图以及所述光流人脸的特征图合并，并输入多个卷积组内进行处理，以得到卷积结果；
将所述卷积结果输入至所述全连接层进行分类，得到检测结果。
其进一步技术方案为：所述将所述卷积结果输入至所述全连接层进行分类，得到检测结果，包括：
将所述卷积结果输入至所述全连接层进行活体可信度和非活体可信度的获取，根据所述活体可信度和非活体可信度确定检测结果。
其进一步技术方案为：所述对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图之前，还包括：
对所述待检测视频进行人脸检测，以得到人脸矩形框。
本发明还提供了静默活体检测装置，包括：
视频获取单元，用于获取待检测视频；
特征提取单元，用于对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图；
检测单元，用于将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果；
其中，所述静默活体检测模型是通过带有活体或非活体标签的人脸光流特征图以及RGB人脸图作为样本集训练深度学习模型所得的。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过将光流人脸的特征与RGB人脸图的特征融合，通过卷积神经网络提取特征，获得活体与非活体的可信度，先提取光流特征，不会增加存储图片的内存，仅增多光流特征的存储，将光流特征经过注意力机制，获得显著的光流人脸的特征，再与RGB人脸图的特征统合，更好地起到了辅助作用，更能很好地将其注意力特征表现出来，达到更好的效果，无需人配合，实现提高活体检测准确率，做到真正意义上的静默活体检测。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的静默活体检测方法的应用场景示意图；
图2为本发明实施例提供的静默活体检测方法的流程示意图；
图3为本发明实施例提供的静默活体检测方法的子流程示意图；
图4为本发明实施例提供的静默活体检测方法的子流程示意图；
图5为本发明另一实施例提供的静默活体检测方法的流程示意图；
图6为本发明实施例提供的静默活体检测装置的示意性框图；
图7为本发明实施例提供的静默活体检测装置的特征提取单元的示意性框图；
图8为本发明实施例提供的静默活体检测装置的检测单元的示意性框图；
图9为本发明另一实施例提供的静默活体检测装置的示意性框图；
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的静默活体检测方法的应用场景示意图。图2为本发明实施例提供的静默活体检测方法的示意性流程图。该静默活体检测方法应用于服务器中。该服务器与终端和摄像头进行数据交互，利用摄像头获取需要检测的视频后，服务器对视频进行光流特征提取，并以人脸光流特征图为辅，RGB人脸图为主的方式输入到静默活体检测模型内进行活体检测，无需人配合，可以做到真正意义上的静默活体检测。
图2是本发明实施例提供的静默活体检测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S130。
S110、获取待检测视频。
在本实施例中，待检测视频是指在应用场合由摄像头所拍摄的视频。
S120、对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图。
在本实施例中，人脸光流特征图是指带有光流特征的人脸图像，RGB人脸图是指仅保留人脸的RGB图像。
光流特征包括位移向量以及位移方向。光流指运动物体在像素平面上的瞬时速度，它利用图像序列中像素在时间域上的变化以及相邻帧之间的关系来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。所以光流特征就是瞬时速度，即光流特征包括位移向量，以及位移方向
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S126。
S121、利用图像序列中像素在时间域上的变化以及相邻帧之间的关系确定上一帧跟当前帧之间存在的对应关系，以计算出相邻帧之间物体的运动信息，以得到光流特征。
在本实施例中，采用DIS(稠密逆搜索，Dense Inverse Search-based method)光流方法进行光流特征提取，DIS光流方法是指一种在光流质量和计算时间中取得平衡的算法。
S122、计算所述光流特征的方向以及角度，并归一化所述光流特征的方向与角度，以得到归一化后的特征值。
在本实施例中，光流特征包括位移向量以及位移方向，便可根据光流特征确定方向和角度。
归一化后的特征值是指归一化处理后的光流特征的方向和角度。
S123、转换归一化后的特征值，以得到多维光流特征向量。
在本实施例中，多维光流特征向量是指将归一化后的特征值转换为0-255值所获得的W*H*2维光流特征向量，其中，W为待检测视频内的单帧图像的宽；H为待检测视频内的单帧图像的高。
S124、根据所述待检测视频的RGB图像对应的人脸矩形框对多维光流特征向量进行剪裁，以得到人脸光流特征向量。
在本实施例中，人脸光流特征向量是指落入在人脸矩形框内的光流特征向量。
根据所述待检测视频的RGB图像的人脸矩形框，对W*H*2维光流特征向量进行裁剪，获得人脸光流特征向量w*h*2，x,y为人脸矩形框的左上角的位置信息，w和h为人脸矩形框的长和宽。
S125、根据所述人脸矩形框裁剪所述待检测视频的RGB图像，以得到RGB人脸图。
在本实施例中，RGB人脸图像是指仅保留人脸所在区域的RGB图像。
S126、对所述RGB人脸图转换为灰度图，并将所述灰度图与所述人脸光流特征向量合并，以得到人脸光流特征图。
将RGB人脸图像转换成灰度图，将灰度图与人脸光流特征向量合并，形成w*h*3的人脸光流特征图。
S130、将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果。
在本实施例中，检测结果是指当前的人脸是属于活体还是非活体的结果。
其中，所述静默活体检测模型是通过带有活体或非活体标签的人脸光流特征图以及RGB人脸图作为样本集训练深度学习模型所得的。
具体地，上述的静默活体检测模型是通过带有活体或非活体标签的人脸光流特征图以及RGB人脸图作为样本集训练深度学习模型所得的，包括：
采集数据；数据主要包括活体视频以及非活体攻击视频，采集活体视频指用不同摄像头在不同场景、不同光照下拍摄不同姿态、不同距离、不同表情的真人人脸；采集非活体攻击视频是指用不同的摄像头在不同场景，不同光照变换环境下拍摄不同的攻击体。攻击体包括超高清的人脸图像、3D的不同材质的打印人脸、用不同设备播放活体视频。在拍摄过程中，将攻击体摆弄成不同的姿态使得拍摄出来的非活体人脸图片具有各种光照变化。
预处理数据；对每个视频的每一帧进行光流特征提取，获得人脸光流特征图作为图像进行保存，并保存光流特征图对应的从原图裁剪下来的人脸图。将图片分成四部分，分别是活体的人脸光流特征图，活体的RGB人脸图即原图裁剪下来的人脸图，非活体的人脸光流特征图，非活体的RGB人脸图。
训练模型；将所有人脸光流特征图以及对应的原RGB人脸图缩放到同一尺寸，在本实施用例中缩放到统一尺寸96*112，宽96，高112。将数据输入深度卷积神经网络框架进行训练，经过N次迭代后。获得最优参数的模型，即静默活体检测模型，每次迭代都是一张人脸光流特征图与对应的RGB人脸图同时输入深度卷积神经网络框架。
在一实施例中，所述静默活体检测模型包括卷积组、注意力机制网络组、全连接层以及损失函数层；所述卷积组包括第一卷积层、第一池化层、第一归一化层以及第一激活层；所述注意力机制网络组包括注意力机制层、卷积层、池化层、归一化层以及激活层。
在本实施例中，损失函数层采用sigmoid损失函数。
在一实施例中，请参阅图4，上述的步骤S130可包括步骤S131～S134。
S131、将所述RGB人脸图输入至所述静默活体检测模型内的第一个卷积组，以得到RGB人脸图的特征图。
在本实施例中，RGB人脸图的特征图是指第一个卷积组对RGB人脸图进行卷积、池化、归一化以及激活后得到的特征图。
将RGB人脸图传入第一个卷积组，获得n个RGB人脸图的特征图，在本本实施例中，n取32，于其他实施例，n可以为其他数值。
S132、将所述人脸光流特征图输入至所述静默活体检测模型内的注意力机制网络组，以得到光流人脸的特征图。
在本实施例中，光流人脸的特征图是指注意力机制网络组对人脸光流特征图进行注意力机制处理、卷积、池化、归一化以及激活后得到的特征图。
将人脸光流特征图经过一个注意力机制网络组，获得n个光流人脸的特征图，在本本实施例中，n取32，于其他实施例，n可以为其他数值。
S133、将所述RGB人脸图的特征图以及所述光流人脸的特征图合并，并输入多个卷积组内进行处理，以得到卷积结果。
在本实施例中，卷积结果是指RGB人脸图的特征图以及所述光流人脸的特征图合并后进行卷积、池化、归一化以及激活后得到的特征图。
合并的目的是将RGB人脸图的特征和光流人脸的特征进行融合。以RGB人脸图的特征为主，GRB图像有更多的细节信息特征，光流人脸的特征为辅，光流人脸的特征更具特殊特性。
S134、将所述卷积结果输入至所述全连接层进行分类，得到检测结果。
具体地，将所述卷积结果输入至所述全连接层进行活体可信度和非活体可信度的获取，根据所述活体可信度和非活体可信度确定检测结果。
将n个RGB人脸图的特征图与n个光流人脸的特征图合并，共同输入多个卷积组，最终通过一个全连接层进行分类。本实施示例中图像合并后，共同输入18个卷积组。
上述的静默活体检测方法，通过将光流人脸的特征与RGB人脸图的特征融合，通过卷积神经网络提取特征，获得活体与非活体的可信度，先提取光流特征，不会增加存储图片的内存，仅增多光流特征的存储，将光流特征经过注意力机制，获得显著的光流人脸的特征，再与RGB人脸图的特征统合，更好地起到了辅助作用，更能很好地将其注意力特征表现出来，达到更好的效果，无需人配合，实现提高活体检测准确率，做到真正意义上的静默活体检测。
图5是本发明另一实施例提供的一种静默活体检测方法的流程示意图。如图5所示，本实施例的静默活体检测方法包括步骤S210-S240。其中步骤S230-S240与上述实施例中的步骤S120-S130类似，步骤S210与上述实施例中的步骤S110类似，在此不再赘述。下面详细说明本实施例中所增加的步骤S220。
S220、对所述待检测视频进行人脸检测，以得到人脸矩形框。
对当前视频的当前帧图像进行人脸检测和光流特征提取。本实施用例中采用RetinaFace人脸检测方法，获取多人脸矩形框。如果当前帧图像检测到人脸，则光流特征的提取，如果没有检测到人脸，则进行下一帧图像的人脸检测和光流特征的提取，将光流特征转换成光流特征图，通过检测到的人脸矩形框裁剪光流特征图，获得人脸光流特征图；将人脸光流特征图以及对应的RGB人脸图缩放到同一尺寸。作为训练得到的模型参数的输入。经过深度学习网络框架的运算，获得活体与非活体的可信度；如果活体的可信度大于阈值，阈值取值为0.9，则当前帧的人脸为活体，否则为非活体。
采用人脸检测与光流特征结合的方式进行静默活体检测，可以提高整个活体检测的准确率。
图6是本发明实施例提供的一种静默活体检测装置300的示意性框图。如图6所示，对应于以上静默活体检测方法，本发明还提供一种静默活体检测装置300。该静默活体检测装置300包括用于执行上述静默活体检测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图6，该静默活体检测装置300包括视频获取单元301、特征提取单元303以及检测单元304。
视频获取单元301，用于获取待检测视频；特征提取单元303，用于对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图；检测单元304，用于将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果；
其中，所述静默活体检测模型是通过带有活体或非活体标签的人脸光流特征图以及RGB人脸图作为样本集训练深度学习模型所得的。
在一实施例中，如图7所示，所述特征提取单元303包括特征获取子单元3031、归一化子单元3032、转换子单元3033、向量确定子单元3034、裁剪子单元3035以及灰度转换子单元3036。
特征获取子单元3031，用于利用图像序列中像素在时间域上的变化以及相邻帧之间的关系确定上一帧跟当前帧之间存在的对应关系，以计算出相邻帧之间物体的运动信息，以得到光流特征；归一化子单元3032，用于计算所述光流特征的方向以及角度，并归一化所述光流特征的方向与角度，以得到归一化后的特征值；转换子单元3033，用于转换归一化后的特征值，以得到多维光流特征向量；向量确定子单元3034，用于根据所述待检测视频的RGB图像对应的人脸矩形框对多维光流特征向量进行剪裁，以得到人脸光流特征向量；裁剪子单元3035，用于根据所述人脸矩形框裁剪所述待检测视频的RGB图像，以得到RGB人脸图；灰度转换子单元3036，用于对所述RGB人脸图转换为灰度图，并将所述灰度图与所述人脸光流特征向量合并，以得到人脸光流特征图。
在一实施例中，如图8所示，所述检测单元304包括第一卷积子单元3041、特征图获取子单元3042、第二卷积子单元3043以及分类子单元3044。
第一卷积子单元3041，用于将所述RGB人脸图输入至所述静默活体检测模型内的第一个卷积组，以得到RGB人脸图的特征图；特征图获取子单元3042，用于将所述人脸光流特征图输入至所述静默活体检测模型内的注意力机制网络组，以得到光流人脸的特征图；第二卷积子单元3043，用于将所述RGB人脸图的特征图以及所述光流人脸的特征图合并，并输入多个卷积组内进行处理，以得到卷积结果；分类子单元3044，用于将所述卷积结果输入至所述全连接层进行分类，得到检测结果。
在一实施例中，所述分类子单元3044，用于将所述卷积结果输入至所述全连接层进行活体可信度和非活体可信度的获取，根据所述活体可信度和非活体可信度确定检测结果。
图9是本发明另一实施例提供的一种静默活体检测装置300的示意性框图。如图9所示，本实施例的静默活体检测装置300是上述实施例的基础上增加了矩形框确定单元302。
矩形框确定单元302，用于对所述待检测视频进行人脸检测，以得到人脸矩形框。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述静默活体检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述静默活体检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种静默活体检测方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种静默活体检测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取待检测视频；对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图；将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果；
其中，所述静默活体检测模型是通过带有活体或非活体标签的人脸光流特征图以及RGB人脸图作为样本集训练深度学习模型所得的。
所述静默活体检测模型包括卷积组、注意力机制网络组、全连接层以及损失函数层；所述卷积组包括第一卷积层、第一池化层、第一归一化层以及第一激活层；所述注意力机制网络组包括注意力机制层、卷积层、池化层、归一化层以及激活层。
在一实施例中，处理器502在实现所述对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图步骤时，具体实现如下步骤：
利用图像序列中像素在时间域上的变化以及相邻帧之间的关系确定上一帧跟当前帧之间存在的对应关系，以计算出相邻帧之间物体的运动信息，以得到光流特征；计算所述光流特征的方向以及角度，并归一化所述光流特征的方向与角度，以得到归一化后的特征值；转换归一化后的特征值，以得到多维光流特征向量；根据所述待检测视频的RGB图像对应的人脸矩形框对多维光流特征向量进行剪裁，以得到人脸光流特征向量根据所述人脸矩形框裁剪所述待检测视频的RGB图像，以得到RGB人脸图；对所述RGB人脸图转换为灰度图，并将所述灰度图与所述人脸光流特征向量合并，以得到人脸光流特征图。
其中，所述光流特征包括位移向量以及位移方向。
在一实施例中，处理器502在实现所述将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果步骤时，具体实现如下步骤：
将所述RGB人脸图输入至所述静默活体检测模型内的第一个卷积组，以得到RGB人脸图的特征图；将所述人脸光流特征图输入至所述静默活体检测模型内的注意力机制网络组，以得到光流人脸的特征图；将所述RGB人脸图的特征图以及所述光流人脸的特征图合并，并输入多个卷积组内进行处理，以得到卷积结果；将所述卷积结果输入至所述全连接层进行分类，得到检测结果。
在一实施例中，处理器502在实现所述将所述卷积结果输入至所述全连接层进行分类，得到检测结果步骤时，具体实现如下步骤：
将所述卷积结果输入至所述全连接层进行活体可信度和非活体可信度的获取，根据所述活体可信度和非活体可信度确定检测结果。
在一实施例中，处理器502在实现所述对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图步骤之前，还实现如下步骤：
对所述待检测视频进行人脸检测，以得到人脸矩形框。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取待检测视频；对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图；将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果；
其中，所述静默活体检测模型是通过带有活体或非活体标签的人脸光流特征图以及RGB人脸图作为样本集训练深度学习模型所得的。
所述静默活体检测模型包括卷积组、注意力机制网络组、全连接层以及损失函数层；所述卷积组包括第一卷积层、第一池化层、第一归一化层以及第一激活层；所述注意力机制网络组包括注意力机制层、卷积层、池化层、归一化层以及激活层。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图步骤时，具体实现如下步骤：
利用图像序列中像素在时间域上的变化以及相邻帧之间的关系确定上一帧跟当前帧之间存在的对应关系，以计算出相邻帧之间物体的运动信息，以得到光流特征；计算所述光流特征的方向以及角度，并归一化所述光流特征的方向与角度，以得到归一化后的特征值；转换归一化后的特征值，以得到多维光流特征向量；根据所述待检测视频的RGB图像对应的人脸矩形框对多维光流特征向量进行剪裁，以得到人脸光流特征向量；根据所述人脸矩形框裁剪所述待检测视频的RGB图像，以得到RGB人脸图；对所述RGB人脸图转换为灰度图，并将所述灰度图与所述人脸光流特征向量合并，以得到人脸光流特征图。
其中，所述光流特征包括位移向量以及位移方向。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果步骤时，具体实现如下步骤：
将所述RGB人脸图输入至所述静默活体检测模型内的第一个卷积组，以得到RGB人脸图的特征图；将所述人脸光流特征图输入至所述静默活体检测模型内的注意力机制网络组，以得到光流人脸的特征图；将所述RGB人脸图的特征图以及所述光流人脸的特征图合并，并输入多个卷积组内进行处理，以得到卷积结果；将所述卷积结果输入至所述全连接层进行分类，得到检测结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述卷积结果输入至所述全连接层进行分类，得到检测结果步骤时，具体实现如下步骤：
将所述卷积结果输入至所述全连接层进行活体可信度和非活体可信度的获取，根据所述活体可信度和非活体可信度确定检测结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图步骤之前，还实现如下步骤：
对所述待检测视频进行人脸检测，以得到人脸矩形框。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.静默活体检测方法，其特征在于，包括：
获取待检测视频；
对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图；
将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果；
其中，所述静默活体检测模型是通过带有活体或非活体标签的人脸光流特征图以及RGB人脸图作为样本集训练深度学习模型所得的。
2.根据权利要求1所述的静默活体检测方法，其特征在于，所述对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图，包括：
利用图像序列中像素在时间域上的变化以及相邻帧之间的关系确定上一帧跟当前帧之间存在的对应关系，以计算出相邻帧之间物体的运动信息，以得到光流特征；
计算所述光流特征的方向以及角度，并归一化所述光流特征的方向与角度，以得到归一化后的特征值；
转换归一化后的特征值，以得到多维光流特征向量；
根据所述待检测视频的RGB图像对应的人脸矩形框对多维光流特征向量进行剪裁，以得到人脸光流特征向量；
根据所述人脸矩形框裁剪所述待检测视频的RGB图像，以得到RGB人脸图；
对所述RGB人脸图转换为灰度图，并将所述灰度图与所述人脸光流特征向量合并，以得到人脸光流特征图。
3.根据权利要求2所述的静默活体检测方法，其特征在于，所述光流特征包括位移向量以及位移方向。
4.根据权利要求1所述的静默活体检测方法，其特征在于，所述静默活体检测模型包括卷积组、注意力机制网络组、全连接层以及损失函数层；所述卷积组包括第一卷积层、第一池化层、第一归一化层以及第一激活层；所述注意力机制网络组包括注意力机制层、卷积层、池化层、归一化层以及激活层。
5.根据权利要求4所述的静默活体检测方法，其特征在于，所述将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果，包括：
将所述RGB人脸图输入至所述静默活体检测模型内的第一个卷积组，以得到RGB人脸图的特征图；
将所述人脸光流特征图输入至所述静默活体检测模型内的注意力机制网络组，以得到光流人脸的特征图；
将所述RGB人脸图的特征图以及所述光流人脸的特征图合并，并输入多个卷积组内进行处理，以得到卷积结果；
将所述卷积结果输入至所述全连接层进行分类，得到检测结果。
6.根据权利要求5所述的静默活体检测方法，其特征在于，所述将所述卷积结果输入至所述全连接层进行分类，得到检测结果，包括：
将所述卷积结果输入至所述全连接层进行活体可信度和非活体可信度的获取，根据所述活体可信度和非活体可信度确定检测结果。
7.根据权利要求1所述的静默活体检测方法，其特征在于，所述对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图之前，还包括：
对所述待检测视频进行人脸检测，以得到人脸矩形框。
8.静默活体检测装置，其特征在于，包括：
视频获取单元，用于获取待检测视频；
特征提取单元，用于对所述待检测视频进行光流特征的提取，以得到人脸光流特征图以及RGB人脸图；
检测单元，用于将所述人脸光流特征图以及所述RGB人脸图输入至静默活体检测模型内进行静默活体检测，以得到检测结果；
其中，所述静默活体检测模型是通过带有活体或非活体标签的人脸光流特征图以及RGB人脸图作为样本集训练深度学习模型所得的。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110410488.5A CN112883940A (zh) | 2021-04-13 | 2021-04-13 | 静默活体检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110410488.5A CN112883940A (zh) | 2021-04-13 | 2021-04-13 | 静默活体检测方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112883940A true CN112883940A (zh) | 2021-06-01 |
Family
ID=76040646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110410488.5A Pending CN112883940A (zh) | 2021-04-13 | 2021-04-13 | 静默活体检测方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112883940A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113743192A (zh) * | 2021-07-16 | 2021-12-03 | 华中科技大学 | 静默式人脸活体检测模型及方法 |
| CN114140844A (zh) * | 2021-11-12 | 2022-03-04 | 北京海鑫智圣技术有限公司 | 人脸静默活体检测方法、装置、电子设备及存储介质 |
| CN114495290A (zh) * | 2022-02-21 | 2022-05-13 | 平安科技（深圳）有限公司 | 活体检测方法、装置、设备及存储介质 |
| CN114663476A (zh) * | 2022-04-01 | 2022-06-24 | 北京理工大学 | 一种基于视频光流信息的人脸检测、计数方法及系统 |
| WO2023273297A1 (zh) * | 2021-06-30 | 2023-01-05 | 平安科技（深圳）有限公司 | 基于多模态的活体检测方法、装置、电子设备及存储介质 |
| CN117975543A (zh) * | 2024-04-01 | 2024-05-03 | 武汉烽火信息集成技术有限公司 | 一种基于光流表情的区块链零知识身份认证凭证交互方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107895155A (zh) * | 2017-11-29 | 2018-04-10 | 五八有限公司 | 一种人脸识别方法及装置 |
| US20180239955A1 (en) * | 2015-08-10 | 2018-08-23 | Yoti Holding Limited | Liveness detection |
| CN110991432A (zh) * | 2020-03-03 | 2020-04-10 | 支付宝(杭州)信息技术有限公司 | 活体检测方法、装置、电子设备及系统 |
| WO2020088588A1 (zh) * | 2018-11-01 | 2020-05-07 | 长沙小钴科技有限公司 | 一种基于深度学习的静态三维人脸活体检测方法 |
| CN111626163A (zh) * | 2020-05-18 | 2020-09-04 | 浙江大华技术股份有限公司 | 一种人脸活体检测方法、装置及计算机设备 |
| CN112528872A (zh) * | 2020-12-15 | 2021-03-19 | 中化资本数字科技有限公司 | 基于视频流的人脸检测模型的训练方法、装置及计算设备 |
-
2021
- 2021-04-13 CN CN202110410488.5A patent/CN112883940A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180239955A1 (en) * | 2015-08-10 | 2018-08-23 | Yoti Holding Limited | Liveness detection |
| CN107895155A (zh) * | 2017-11-29 | 2018-04-10 | 五八有限公司 | 一种人脸识别方法及装置 |
| WO2020088588A1 (zh) * | 2018-11-01 | 2020-05-07 | 长沙小钴科技有限公司 | 一种基于深度学习的静态三维人脸活体检测方法 |
| CN110991432A (zh) * | 2020-03-03 | 2020-04-10 | 支付宝(杭州)信息技术有限公司 | 活体检测方法、装置、电子设备及系统 |
| CN111626163A (zh) * | 2020-05-18 | 2020-09-04 | 浙江大华技术股份有限公司 | 一种人脸活体检测方法、装置及计算机设备 |
| CN112528872A (zh) * | 2020-12-15 | 2021-03-19 | 中化资本数字科技有限公司 | 基于视频流的人脸检测模型的训练方法、装置及计算设备 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023273297A1 (zh) * | 2021-06-30 | 2023-01-05 | 平安科技（深圳）有限公司 | 基于多模态的活体检测方法、装置、电子设备及存储介质 |
| CN113743192A (zh) * | 2021-07-16 | 2021-12-03 | 华中科技大学 | 静默式人脸活体检测模型及方法 |
| CN114140844A (zh) * | 2021-11-12 | 2022-03-04 | 北京海鑫智圣技术有限公司 | 人脸静默活体检测方法、装置、电子设备及存储介质 |
| CN114495290A (zh) * | 2022-02-21 | 2022-05-13 | 平安科技（深圳）有限公司 | 活体检测方法、装置、设备及存储介质 |
| CN114663476A (zh) * | 2022-04-01 | 2022-06-24 | 北京理工大学 | 一种基于视频光流信息的人脸检测、计数方法及系统 |
| CN117975543A (zh) * | 2024-04-01 | 2024-05-03 | 武汉烽火信息集成技术有限公司 | 一种基于光流表情的区块链零知识身份认证凭证交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112883940A (zh) | 静默活体检测方法、装置、计算机设备及存储介质 | |
| CN109035304B (zh) | 目标跟踪方法、介质、计算设备和装置 | |
| US9665927B2 (en) | Method and apparatus of multi-frame super resolution robust to local and global motion | |
| CN108062525B (zh) | 一种基于手部区域预测的深度学习手部检测方法 | |
| US8269722B2 (en) | Gesture recognition system and method thereof | |
| EP3709266A1 (en) | Human-tracking methods, apparatuses, systems, and storage media | |
| CN110580472B (zh) | 一种基于全卷积网络和条件对抗网络的视频前景检测方法 | |
| CN110381268B (zh) | 生成视频的方法，装置，存储介质及电子设备 | |
| JP2008501172A (ja) | 画像比較方法 | |
| WO2021027325A1 (zh) | 视频相似度获取方法、装置、计算机设备及存储介质 | |
| WO2011161579A1 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
| KR100572768B1 (ko) | 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법 | |
| US20230127009A1 (en) | Joint objects image signal processing in temporal domain | |
| CN112232356A (zh) | 一种基于合群度和边界特征的事件相机去噪方法 | |
| Rozumnyi et al. | Fmodetect: Robust detection of fast moving objects | |
| Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
| CN112784854B (zh) | 基于数理统计的服装颜色分割提取方法、装置和设备 | |
| Bhattacharya et al. | Visual saliency detection using spatiotemporal decomposition | |
| Patro | Design and implementation of novel image segmentation and BLOB detection algorithm for real-time video surveillance using DaVinci processor | |
| Teixeira et al. | Object segmentation using background modelling and cascaded change detection | |
| US20140376822A1 (en) | Method for Computing the Similarity of Image Sequences | |
| Chuang et al. | Moving object segmentation and tracking using active contour and color classification models | |
| CN113409331B (zh) | 图像处理方法、图像处理装置、终端及可读存储介质 | |
| Apewokin et al. | Embedded real-time surveillance using multimodal mean background modeling | |
| CN109785367A (zh) | 三维模型追踪中外点滤除方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |