CN112528909A - 活体检测方法、装置、电子设备及计算机可读存储介质 - Google Patents
活体检测方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112528909A CN112528909A CN202011508416.6A CN202011508416A CN112528909A CN 112528909 A CN112528909 A CN 112528909A CN 202011508416 A CN202011508416 A CN 202011508416A CN 112528909 A CN112528909 A CN 112528909A
- Authority
- CN
- China
- Prior art keywords
- face
- key
- detection
- living body
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 144
- 238000012795 verification Methods 0.000 claims abstract description 51
- 238000001727 in vivo Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012216 screening Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 28
- 230000002093 peripheral effect Effects 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 19
- 239000003086 colorant Substances 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 14
- 210000001508 eye Anatomy 0.000 description 48
- 210000001061 forehead Anatomy 0.000 description 8
- 238000001574 biopsy Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人脸识别技术，揭露一种活体检测方法，包括：基于随机生成的颜色序列进行反光照射，得到人脸反光视频并进行关键信息抽取，得到关键帧；通过对关键帧进行区域聚类，将每个关键帧划分为多个区域图；提取每一个区域图中的特征数据，得到每个区域图对应的特征数据集并进行汇总，得到标准特征数据集；根据标准特征数据集进行人脸的活体检测，得到检测概率值；当检测概率值大于预设的检测阈值时，对人脸进行活体验证，得到并输出活体验证结果。本发明还涉及区块链技术，所述活体验证结果可存储在区块链节点中。本发明还揭露一种活体检测装置、电子设备及存储介质。本发明可以解决现有活体检测技术在用户配合度不高时检测准确率较低的问题。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种活体检测方法、装置、电子设备及计算机可读存储介质。
背景技术
人脸检测技术与其他生物特征识别技术相比，在实际应用中具有天然独到的优势，通过摄像头以非接触的方式直接获取人脸完成识别，方便快捷。随着技术的不断发展，人脸识别技术的识别率已经得到质的提升，但同时，网络黑产的技术水平也越来越高，利用假人脸，如人脸照片完成线上人脸识别的例子越来越多见，给人脸识别技术带来挑战。
为了克服利用假人脸执行线上人脸识别的问题，发展出了活体人脸检测技术。所述活体检测技术通过某些方式，如要求用户执行眨眼、张嘴、摇头、点头等组合动作验证人脸是否是活体，但目前这些方式需要客户较多的主动配合，在用户配合度不高时，这种活体检测技术的活体检测准确率较低。
发明内容
本发明提供一种活体检测方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决现有活体检测技术检测准确率较低的问题。
为实现上述目的，本发明提供的一种活体检测方法，包括：
基于随机生成的颜色序列，对人脸进行反光照射，得到人脸反光视频；
对所述人脸反光视频进行关键信息抽取处理，得到关键帧；
通过对所述关键帧进行区域聚类处理，将每个所述关键帧划分为多个区域图；
提取每一个所述区域图中的特征数据，得到每个所述区域图对应的特征数据集，并将每个所述区域图对应的特征数据集进行汇总处理，得到标准特征数据集；
利用预先训练完成的检测模型根据所述标准特征数据集进行所述人脸的活体检测，得到检测概率值；
当所述检测概率值大于预设的检测阈值时，利用预先训练完成的验证模型对所述人脸进行活体验证，得到并输出活体验证结果。
可选地，所述对人脸进行反光照射，得到人脸反光视频，包括：
利用拍摄装置定位人脸，并获取所述颜色序列；
根据所述颜色序列，利用所述拍摄装置依次发出不同颜色的光线，并接收从所述人脸反射回来的反射光，生成人脸反光视频。
可选地，所述对所述人脸反光视频进行关键信息抽取处理，得到关键帧，包括：
计算每种颜色对应的视频帧的起始帧数以及终止帧数，在所述起始帧数及终止帧数之间，抽取第一预设数量的视频帧，得到每种颜色对应的视频帧；
判断抽取得到的所述视频帧是否满足预设的条件，在所述视频帧不满足所述预设的条件时，重新执行抽取视频帧；
得到每种颜色对应的满足所述预设条件的第一预设数量的视频帧时，将所述视频帧汇总，得到所述关键帧。
可选地，所述区域图包括眼睛区域图、人脸外围区域图和人脸中心区域图。
可选地，所述通过对所述关键帧进行区域聚类处理，将每个所述关键帧划分为多个区域图，包括：
对所述关键帧进行关键点提取，得到关键点的位置信息；
根据预设的眼睛区域关键点筛选条件从所述关键点的位置信息进行眼睛区域关键点筛选，生成眼睛区域图；
根据预设的人脸外围区域关键点筛选条件从所述关键点的位置信息进行脸外围区域关键点筛选，生成人脸外围区域图；及
根据预设的人脸中心区域关键点筛选条件从所述关键点的位置信息进行人脸中心区域关键点筛选，生成人脸中心区域图。
可选地，所述根据预设的眼睛区域关键点筛选条件从所述关键点的位置信息进行眼睛区域关键点筛选，生成眼睛区域图，包括：
根据所提取的关键点在关键帧上的位置信息，按照从左至右，从上至下的顺序对所述关键点进行编号，得到关键点编号集合；
从所述关键点编号集合中筛选出预设范围内的编号对应的关键点，得到眼睛区域的关键点集合；
根据所述眼睛区域的关键点集合，生成所述眼睛区域图。
可选地，所述利用预先训练完成的检测模型根据所述标准特征数据集进行所述人脸的活体检测，得到检测概率值之前，还包括：
生成训练数据集和所述训练数据集对应的标准结果；
将所述训练数据集输入至初始检测模型进行检测，得到训练结果；
利用预设的损失函数对所述训练结果与标准结果进行损失值计算，得到损失值；
当所述损失值大于或等于预设的损失阈值时，调整所述检测模型的参数，返回至将所述训练数据集输入至检测模型进行检测的步骤；
当所述损失值小于所述损失阈值时，得到训练完成的检测模型。
为了解决上述问题，本发明还提供一种活体检测装置，所述装置包括：
反光照射模块，用于基于随机生成的颜色序列，对人脸进行反光照射，得到人脸反光视频；
关键帧抽取模块，用于对所述人脸反光视频进行关键信息抽取处理，得到关键帧；
区域划分模块，用于通过对所述关键帧进行区域聚类处理，将每个所述关键帧划分为多个区域图；
特征数据汇总模块，用于提取每一个所述区域图中的特征数据，得到每个所述区域图对应的特征数据集，并将每个所述区域图对应的特征数据集进行汇总处理，得到标准特征数据集；
活体检测模块，用于利用预先训练完成的检测模型根据所述标准特征数据集进行所述人脸的活体检测，得到检测概率值；
活体验证模块，用于当所述检测概率值大于预设的检测阈值时，利用预先训练完成的验证模型对所述人脸进行活体验证，得到并输出活体验证结果。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的活体检测方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的活体检测方法。
本发明实施例根据随机生成的颜色序列中的不同颜色对人脸照射，得到的人脸反光视频中包含不同视频帧下眼球光斑颜色跳变的特征以及人脸外环境的变色特征，从而提高后续进行活体检测的抗攻击性，利用预先训练完成的检测模型进行人脸的活体检测，得到检测概率值，不需要用户较多的主动配合，从而具有良好的用户交互体验。当所述检测概率值大于预设的检测阈值时，进一步利用预先训练完成的验证模型对所述人脸进行活体验证，得到并输出活体验证结果，所述验证模型是对检测模型的结果进行二次矫正处理，提高了活体检测的准确性。因此，本发明提出的活体检测方法、装置及计算机可读存储介质，可以提高活体检测方法的效率，解决现有活体检测技术在用户配合度不高时检测准确率较低的问题。
附图说明
图1为本发明实施例提供的活体检测方法的流程示意图；
图2为图1所示的活体检测方法中其中一个步骤的流程示意图；
图3为图1所示的活体检测方法中另外一个步骤的流程示意图；
图4为本发明实施例提供的活体检测装置的模块示意图；
图5为本发明实施例提供的实现活体检测方法的电子设备的内部结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种活体检测方法，所述活体检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述活体检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明实施例提供的一种活体检测方法的流程示意图。在本实施例中，所述活体检测方法包括：
S1、基于随机生成的颜色序列，对人脸进行反光照射，得到人脸反光视频。
在本发明实施例中，所述颜色序列由预设数量的不同颜色组合而成。例如，本发明实施例从赤橙黄绿青蓝紫黑白九种颜色中随机抽取四种颜色生成所述颜色序列。
应该了解，从九种颜色中采用随机组合法随机选择四种颜色，并按照不同的顺序排序，可以得到
种不同颜色序列，从而提高了所述颜色序列的隐私性和不易被窃取性。
参阅图2所示，所述对人脸进行反光照射，得到人脸反光视频包括：
S10、利用拍摄装置定位人脸，并获取所述颜色序列；
S11、根据所述颜色序列，利用所述拍摄装置依次发出不同颜色的光线，并接收从所述人脸反射回来的反射光，生成人脸反光视频。
其中，所述拍摄装置可以是用于人脸识别的手机等终端中包含的相机模块。
S2、对所述人脸反光视频进行关键信息抽取处理，得到关键帧。
本发明实施例根据所述颜色序列，从所述人脸反光视频中抽取每种颜色对应的一张或者多张视频帧，得到所述关键帧。
详细地，参阅图3所示，本发明实施例中，所述对所述人脸反光视频进行关键信息抽取处理，得到关键帧，包括：
S21、计算每种颜色对应的视频帧的起始帧数以及终止帧数，在所述起始帧数及终止帧数之间，抽取第一预设数量的视频帧，得到每种颜色对应的视频帧；
S22、判断所述抽取得到的视频帧是否满足预设的条件，在某种颜色对应的视频帧不满足所述预设的条件时，返回至上述的S21，重新在该种颜色的起始帧数及终止帧数之间，抽取预设数量的视频帧；
若得到每种颜色对应的满足所述预设条件的第一预设数量的视频帧时，执行S23、将所述视频帧汇总，得到所述关键帧。
例如，本发明其中一个实施例中，所述人脸反光视频中共有S帧，以及有N种颜色，所述N种颜色的颜色序列为N1、N2…Ni，则每种颜色的视频帧的起始帧为
帧，以及所述每种颜色的视频帧的结束帧为
本发明实施例中，所述预设数量可以设置为1，以及所述预设条件可以为所述视频帧中同时包括眼睛区域、人脸外围区域及人脸中心区域。
S3、通过对所述关键帧进行区域聚类处理，将每个所述关键帧划分为多个区域图。
本发明实施例对每个所述关键帧中包含的像素点进行区域聚类处理，以将每个所述关键帧划分为多个区域图。所述区域图包括眼睛区域图、人脸外围区域图和人脸中心区域图。
具体地，所述通过对所述关键帧进行区域聚类处理，将每个所述关键帧划分为多个区域图，包括：
对所述关键帧进行关键点提取，得到关键点的位置信息；
根据预设的眼睛区域关键点筛选条件从所述关键点的位置信息进行眼睛区域关键点筛选，生成眼睛区域图；
根据预设的人脸外围区域关键点筛选条件从所述关键点的位置信息进行脸外围区域关键点筛选，生成人脸外围区域图；及
根据预设的人脸中心区域关键点筛选条件从所述关键点的位置信息进行人脸中心区域关键点筛选，生成人脸中心区域图。
详细地，本发明实施例预先训练的人脸关键点模型对所述关键帧进行关键点提取，得到关键点的位置信息。
具体地，所述根据预设的眼睛区域关键点筛选条件从所述关键点的位置信息进行眼睛区域关键点筛选，生成眼睛区域图，包括：
步骤A、根据所提取的关键点在关键帧上的位置信息，按照从左至右，从上至下的顺序对所述关键点进行编号，得到关键点编号集合；
步骤B、从所述关键点编号集合中筛选出预设范围内的编号对应的关键点，得到眼睛区域的关键点集合；
步骤C、根据所述眼睛区域的关键点集合，生成所述眼睛区域图。
例如，本发明其中一个实施例从所述关键帧提取出68个关键点，并根据所述关键点的位置信息，按照从左到右、从上到下的顺序为所述68个关键点编号，则编号属于(36、37、38、39、40、41、42)范围的关键点为眼睛区域关键点。
本发明实施例将筛选得到的眼睛区域的关键点编号集合的位置信息映射到预设的二维坐标系中，生成眼睛区域图。
进一步地，为了排除闭眼的情况，本发明中另一实施例中，还可以包括：
计算所述眼睛区域图的宽和高，根据所述眼睛区域图的宽和高，计算得到宽高比；
若所述宽高比小于或者等于预设的比例阈值时，删除所述眼睛区域图；
若所述宽高比大于预设的比例阈值时，保留所述眼睛区域图。
优选地，在本发明实施例中，所述比例阈值可以设置为6。
进一步地，所述根据预设的人脸外围区域关键点筛选条件从所述关键点的位置信息进行脸外围区域关键点筛选，生成人脸外围区域图，包括：
根据所述关键点的位置信息计算人脸的左上角坐标、宽及高，根据所述左上角坐标、宽及高提取人脸最小矩形框；
利用人脸的高和预设的额头高度计算公式，计算额头高度；
根据所述人脸最小矩形框和所述额头高度，筛选出人脸区域的关键点集合；
根据所述人脸区域的关键点集合生成所述人脸区域图，并将所述人脸区域图的像素点置0，剩余区域图上像素点为非0的即为人脸外围区域图。
详细地，本发明实施例采用下述方式计算人脸的左上角坐标、宽及高：
左上角：left_corner.x＝min(landmark.x)
left_corner.y＝min(landmark.y)
宽：w＝max(landmark.x)-min(landmark.x)
高：h＝max(landmark.y)-min(landmark.y)
其中，left_corner.x为左上角的横坐标，left_corner.y为左上角的纵坐标，min(landmark.x)为所述关键点的位置信息中的横坐标最小值，min(landmark.y)为所述关键点的位置信息中的纵坐标最小值。
本发明实施例根据上述人脸的左上角坐标、宽及高，得到人脸最小矩形框。
进一步地，本发明实施例利用人脸的高h和下述额头高度计算公式，计算额头高度：e_h：e_h＝0.25*h。
本发明实施例通过所述额头高度得到额头区域。
详细地，本发明实施例通过将所述人脸最小矩形框及所述额头区域结合，得到人脸区域，并获取所述人脸区域的关键点集合。
进一步地，所述根据预设的人脸中心区域关键点筛选条件从所述关键点的位置信息进行关键点筛选，生成人脸中心区域图，包括：
根据所述人脸的左上角坐标、宽及高及预设的缩放比例系数，得到人脸中心关键点集合；
将所述人脸关键点集合映射至预设的二维坐标系，得到人脸中心区域图。
具体地，本发明实施例采用下述方法计算所述人脸的左上角坐标、宽，包括：
左上角：face_center.x＝left_corner.x+a*left_corner.x
face_center.y＝left_corner.y+b*left_corner.y
宽为：face_center_w＝left_corner.x+c*left_corner.x
高为：face_center_h＝left_corner.y+d*left_corner.y
其中，face_center.x为人脸中心区域图左上角的横向坐标，face_center.y为人脸中心区域图左上角的纵向坐标，face_center_w为人脸中心区域图的宽，face_center_h为人脸中心区域图的高，a、b、c及d为预设的缩放比例系数。
S4、提取每一个所述区域图中的特征数据，得到每个所述区域图对应的特征数据集，并将每个所述区域图对应的特征数据集进行汇总处理，得到标准特征数据集。
详细地，本发明实施例中所述提取每一个所述区域图中的特征数据，得到每个所述区域图对应的特征数据集，包括：
对所述眼睛区域图进行特征提取处理，得到眼睛特征数据集；
所述对所述人脸外围区域图进行特征提取处理，得到人脸外围特征数据集；及
对所述人脸中心区域图进行特征提取处理，得到人脸中心特征数据集。
详细地，所述对所述眼睛区域图进行特征提取处理，得到眼睛特征数据集，包括：
对所述眼睛区域图中的像素点进行编号，得到像素点编号集合；
利用预设的第一变换颜色对所述眼睛区域图进行反光处理，得到第一眼睛区域图，利用预设的第二变换颜色对所述眼睛区域图进行反光处理，得到第二眼睛区域图；
计算所述第一眼睛区域图和所述第二眼睛区域图中像素点编号相同的像素值之间的差值，得到像素差集合；
当所述像素差集合中的像素差大于预设的像素阈值时，将所述眼睛区域图中像素差对应编号的像素点置成1，当所述像素差集合中的像素差小于或者等于预设的像素阈值时，将所述眼睛区域图中像素差对应编号的像素点置成0；
提取所述眼睛区域图中像素点为1的区域为眼睛变化区域图，根据所述眼睛变化区域图中上述选择的4种颜色占比面积，将所述每种颜色占比面积中的特征数据进行汇总，得到眼睛特征数据集。
优选地，在本发明实施例中，所述像素阈值为70。
进一步地，所述对所述人脸外围区域图进行特征提取处理，得到人脸外围特征数据集，以及对所述人脸中心区域图进行特征提取处理，得到人脸中心特征数据集的处理过程与上述对所述眼睛区域图进行特征提取处理，得到眼睛特征数据集相同，此处不再赘述。
本发明实施例对所述眼睛特征数据集、所述人脸外围特征数据集和所述人脸中心特征数据集进行汇总处理，得到标准特征数据集。
S5、利用预先训练的检测模型根据所述标准特征数据集进行所述人脸的活体检测，得到检测概率值。
本发明实施例中，所述检测模型可以是采用了linear核的SVM分类器。
本发明其中一个实施例中，所述利用预先训练的检测模型根据所述标准特征数据集进行所述人脸的活体检测，得到检测概率值之前，还可以包括：
步骤A：生成训练数据集和所述训练数据集对应的标准结果；
步骤B：将所述训练数据集输入至初始检测模型进行检测，得到训练结果；
步骤C：利用预设的损失函数对所述训练结果与标准结果进行损失值计算，得到损失值；
步骤D：当所述损失值大于或等于预设的损失阈值，则说明所述检测模型的输出结果不够精确，调整所述检测模型的参数，返回至步骤B；
步骤E：当所述损失值小于所述损失阈值，则说明所述检测模型的输出结果精确，得到训练完成的检测模型。
详细地，本发明实施例利用如下所述损失函数对所述训练结果与预设的目标结果进行损失值计算，得到损失值：
其中，
为损失值，
为所述训练结果，Y为所述标准结果，α表示误差因子，为预设常数。
进一步地，利用预先训练的检测模型根据所述标准特征数据集进行所述人脸的活体检测，得到检测概率值。
S6、判断所述检测概率值是否大于预设的检测阈值。
当所述检测概率值小于预设预设的检测阈值时，执行S7、判断所述人脸为非活体，并输出非活体的验证结果。
当所述检测概率值大于所述预设的检测阈值时，初步判断为活体，为了确保检测的正确性，需要进行验证处理，因此进一步执行S8、利用预先训练的验证模型对所述人脸进行活体验证，得到并输出活体验证结果。
本发明实施例中，所述验证模型为轻量级深度神经网络mobileNetV3，并在mobileNetV3中第4、8、12层种添加SE Block模块来让所述验证模型更加关注重要信息。
本发明实施例利用预先训练的验证模型对待检测图片进行验证处理，得到验证概率值，根据所述验证概率值进行判断，当所述验证概率值大于预设的验证阈值时，确定为活体，当所述验证概率值小于或者等于预设的验证阈值时，判断为非活体。
进一步地，本发明其中一个实施例中，所述活体或者非活体的验证结果可以存储在区块链节点中。
本发明实施例根据随机生成的颜色序列中的不同颜色对人脸照射，得到的人脸反光视频中包含不同视频帧下眼球光斑颜色跳变的特征以及人脸外环境的变色特征，从而提高后续进行活体检测的抗攻击性，利用预先训练完成的检测模型进行人脸的活体检测，得到检测概率值，不需要用户较多的主动配合，从而具有良好的用户交互体验。当所述检测概率值大于预设的检测阈值时，进一步利用预先训练完成的验证模型对所述人脸进行活体验证，得到并输出活体验证结果，所述验证模型是对检测模型的结果进行二次矫正处理，提高了活体检测的准确性。因此，本发明提出的活体检测方法、装置及计算机可读存储介质，可以提高活体检测方法的效率，解决现有活体检测技术在用户配合度不高时检测准确率较低的问题。
如图4所示，是本发明实施例提供的活体检测装置的模块示意图。
本发明所述活体检测装置100可以安装于电子设备中。根据实现的功能，所述活体检测装置100可以包括反光照射模块101、关键帧抽取模块102、区域划分模块103、特征数据汇总模块104、活体检测模块105、活体验证模块106。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述反光照射模块101，用于基于随机生成的颜色序列，对人脸进行反光照射，得到人脸反光视频；
所述关键帧抽取模块102，用于对所述人脸反光视频进行关键信息抽取处理，得到关键帧；
所述区域划分模块103，用于通过对所述关键帧进行区域聚类处理，将每个所述关键帧划分为多个区域图；
所述特征数据汇总模块104，用于提取每一个所述区域图中的特征数据，得到每个所述区域图对应的特征数据集，并将每个所述区域图对应的特征数据集进行汇总处理，得到标准特征数据集；
所述活体检测模块105，用于利用预先训练完成的检测模型根据所述标准特征数据集进行所述人脸的活体检测，得到检测概率值；
所述活体验证模块106，用于当所述检测概率值大于预设的检测阈值时，利用预先训练完成的验证模型对所述人脸进行活体验证，得到并输出活体验证结果。
本发明实施例中所述活体检测装置100的上述模块，在由电子设备的处理器执行时，可以实现如上述图1至图3所述的活体检测方法，并产生相同的有益效果，这里不再赘述。
如图5所示，是本发明实现活体检测方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如活体检测程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如活体检测程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行活体检测程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的活体检测程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
基于随机生成的颜色序列，对人脸进行反光照射，得到人脸反光视频；
对所述人脸反光视频进行关键信息抽取处理，得到关键帧；
通过对所述关键帧进行区域聚类处理，将每个所述关键帧划分为多个区域图；
提取每一个所述区域图中的特征数据，得到每个所述区域图对应的特征数据集，并将每个所述区域图对应的特征数据集进行汇总处理，得到标准特征数据集；
利用预先训练完成的检测模型根据所述标准特征数据集进行所述人脸的活体检测，得到检测概率值；
当所述检测概率值大于预设的检测阈值时，利用预先训练完成的验证模型对所述人脸进行活体验证，得到并输出活体验证结果。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的，例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
基于随机生成的颜色序列，对人脸进行反光照射，得到人脸反光视频；
对所述人脸反光视频进行关键信息抽取处理，得到关键帧；
通过对所述关键帧进行区域聚类处理，将每个所述关键帧划分为多个区域图；
提取每一个所述区域图中的特征数据，得到每个所述区域图对应的特征数据集，并将每个所述区域图对应的特征数据集进行汇总处理，得到标准特征数据集；
利用预先训练完成的检测模型根据所述标准特征数据集进行所述人脸的活体检测，得到检测概率值；
当所述检测概率值大于预设的检测阈值时，利用预先训练完成的验证模型对所述人脸进行活体验证，得到并输出活体验证结果。
进一步地，所述计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图表记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种活体检测方法，其特征在于，所述方法包括：
基于随机生成的颜色序列，对人脸进行反光照射，得到人脸反光视频；
对所述人脸反光视频进行关键信息抽取处理，得到关键帧；
通过对所述关键帧进行区域聚类处理，将每个所述关键帧划分为多个区域图；
提取每一个所述区域图中的特征数据，得到每个所述区域图对应的特征数据集，并将每个所述区域图对应的特征数据集进行汇总处理，得到标准特征数据集；
利用预先训练完成的检测模型根据所述标准特征数据集进行所述人脸的活体检测，得到检测概率值；
当所述检测概率值大于预设的检测阈值时，利用预先训练完成的验证模型对所述人脸进行活体验证，得到并输出活体验证结果。
2.如权利要求1所述的活体检测方法，其特征在于，所述对人脸进行反光照射，得到人脸反光视频，包括：
利用拍摄装置定位人脸，并获取所述颜色序列；
根据所述颜色序列，利用所述拍摄装置依次发出不同颜色的光线，并接收从所述人脸反射回来的反射光，生成人脸反光视频。
3.如权利要求2所述的活体检测方法，其特征在于，所述对所述人脸反光视频进行关键信息抽取处理，得到关键帧，包括：
计算每种颜色对应的视频帧的起始帧数以及终止帧数，在所述起始帧数及终止帧数之间，抽取第一预设数量的视频帧，得到每种颜色对应的视频帧；
判断抽取得到的所述视频帧是否满足预设的条件，在所述视频帧不满足所述预设的条件时，重新执行抽取视频帧；
得到每种颜色对应的满足所述预设条件的第一预设数量的视频帧时，将所述视频帧汇总，得到所述关键帧。
4.如权利要求1所述的活体检测方法，其特征在于，所述区域图包括眼睛区域图、人脸外围区域图和人脸中心区域图。
5.如权利要求1所述的活体检测方法，其特征在于，所述通过对所述关键帧进行区域聚类处理，将每个所述关键帧划分为多个区域图，包括：
对所述关键帧进行关键点提取，得到关键点的位置信息；
根据预设的眼睛区域关键点筛选条件从所述关键点的位置信息进行眼睛区域关键点筛选，生成眼睛区域图；
根据预设的人脸外围区域关键点筛选条件从所述关键点的位置信息进行脸外围区域关键点筛选，生成人脸外围区域图；及
根据预设的人脸中心区域关键点筛选条件从所述关键点的位置信息进行人脸中心区域关键点筛选，生成人脸中心区域图。
6.如权利要求5所述的活体检测方法，其特征在于，所述根据预设的眼睛区域关键点筛选条件从所述关键点的位置信息进行眼睛区域关键点筛选，生成眼睛区域图，包括：
根据所提取的关键点在关键帧上的位置信息，按照从左至右，从上至下的顺序对所述关键点进行编号，得到关键点编号集合；
从所述关键点编号集合中筛选出预设范围内的编号对应的关键点，得到眼睛区域的关键点集合；
根据所述眼睛区域的关键点集合，生成所述眼睛区域图。
7.如权利要求1至6中任意一项所述的活体检测方法，其特征在于，所述利用预先训练完成的检测模型根据所述标准特征数据集进行所述人脸的活体检测，得到检测概率值之前，还包括：
生成训练数据集和所述训练数据集对应的标准结果；
将所述训练数据集输入至初始检测模型进行检测，得到训练结果；
利用预设的损失函数对所述训练结果与标准结果进行损失值计算，得到损失值；
当所述损失值大于或等于预设的损失阈值时，调整所述检测模型的参数，返回至将所述训练数据集输入至检测模型进行检测的步骤；
当所述损失值小于所述损失阈值时，得到训练完成的检测模型。
8.一种活体检测装置，其特征在于，所述装置包括：
反光照射模块，用于基于随机生成的颜色序列，对人脸进行反光照射，得到人脸反光视频；
关键帧抽取模块，用于对所述人脸反光视频进行关键信息抽取处理，得到关键帧；
区域划分模块，用于通过对所述关键帧进行区域聚类处理，将每个所述关键帧划分为多个区域图；
特征数据汇总模块，用于提取每一个所述区域图中的特征数据，得到每个所述区域图对应的特征数据集，并将每个所述区域图对应的特征数据集进行汇总处理，得到标准特征数据集；
活体检测模块，用于利用预先训练完成的检测模型根据所述标准特征数据集进行所述人脸的活体检测，得到检测概率值；
活体验证模块，用于当所述检测概率值大于预设的检测阈值时，利用预先训练完成的验证模型对所述人脸进行活体验证，得到并输出活体验证结果。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的活体检测方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的活体检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011508416.6A CN112528909B (zh) | 2020-12-18 | 2020-12-18 | 活体检测方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011508416.6A CN112528909B (zh) | 2020-12-18 | 2020-12-18 | 活体检测方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112528909A true CN112528909A (zh) | 2021-03-19 |
| CN112528909B CN112528909B (zh) | 2024-05-21 |
Family
ID=75001915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011508416.6A Active CN112528909B (zh) | 2020-12-18 | 2020-12-18 | 活体检测方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528909B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255531A (zh) * | 2021-05-31 | 2021-08-13 | 腾讯科技（深圳）有限公司 | 活体检测模型的处理方法、装置、计算机设备和存储介质 |
| CN113449708A (zh) * | 2021-08-31 | 2021-09-28 | 深圳市爱深盈通信息技术有限公司 | 人脸识别方法、装置、设备终端和可读存储介质 |
| CN113869219A (zh) * | 2021-09-29 | 2021-12-31 | 平安银行股份有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
| CN113888500A (zh) * | 2021-09-29 | 2022-01-04 | 平安银行股份有限公司 | 基于人脸图像的炫光程度检测方法、装置、设备及介质 |
| CN114067394A (zh) * | 2021-11-09 | 2022-02-18 | 北京百度网讯科技有限公司 | 人脸活体检测方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992794A (zh) * | 2016-12-30 | 2018-05-04 | 腾讯科技（深圳）有限公司 | 一种活体检测方法、装置和存储介质 |
| CN109858375A (zh) * | 2018-12-29 | 2019-06-07 | 深圳市软数科技有限公司 | 活体人脸检测方法、终端及计算机可读存储介质 |
| CN112016437A (zh) * | 2020-08-26 | 2020-12-01 | 中国科学院重庆绿色智能技术研究院 | 一种基于人脸视频关键帧的活体检测方法 |
-
2020
- 2020-12-18 CN CN202011508416.6A patent/CN112528909B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107992794A (zh) * | 2016-12-30 | 2018-05-04 | 腾讯科技（深圳）有限公司 | 一种活体检测方法、装置和存储介质 |
| CN109858375A (zh) * | 2018-12-29 | 2019-06-07 | 深圳市软数科技有限公司 | 活体人脸检测方法、终端及计算机可读存储介质 |
| CN112016437A (zh) * | 2020-08-26 | 2020-12-01 | 中国科学院重庆绿色智能技术研究院 | 一种基于人脸视频关键帧的活体检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 马思源;郑涵;郭文;: "应用深度光学应变特征图的人脸活体检测", 中国图象图形学报, no. 03 * |
| 马思源;郑涵;郭文;: "应用深度光学应变特征图的人脸活体检测", 中国图象图形学报, no. 03, 16 March 2020 (2020-03-16) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113255531A (zh) * | 2021-05-31 | 2021-08-13 | 腾讯科技（深圳）有限公司 | 活体检测模型的处理方法、装置、计算机设备和存储介质 |
| CN113449708A (zh) * | 2021-08-31 | 2021-09-28 | 深圳市爱深盈通信息技术有限公司 | 人脸识别方法、装置、设备终端和可读存储介质 |
| CN113869219A (zh) * | 2021-09-29 | 2021-12-31 | 平安银行股份有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
| CN113888500A (zh) * | 2021-09-29 | 2022-01-04 | 平安银行股份有限公司 | 基于人脸图像的炫光程度检测方法、装置、设备及介质 |
| CN113869219B (zh) * | 2021-09-29 | 2024-05-21 | 平安银行股份有限公司 | 人脸活体检测方法、装置、设备及存储介质 |
| CN114067394A (zh) * | 2021-11-09 | 2022-02-18 | 北京百度网讯科技有限公司 | 人脸活体检测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112528909B (zh) | 2024-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112528909A (zh) | 活体检测方法、装置、电子设备及计算机可读存储介质 | |
| CN112507934A (zh) | 活体检测方法、装置、电子设备及存储介质 | |
| CN108596908B (zh) | Led显示屏检测方法、装置及终端 | |
| CN112528908B (zh) | 活体检测方法、装置、电子设备及存储介质 | |
| CN114758249B (zh) | 基于野外夜间环境的目标物监测方法、装置、设备及介质 | |
| CN113705461A (zh) | 人脸清晰度检测方法、装置、设备及存储介质 | |
| CN113869219A (zh) | 人脸活体检测方法、装置、设备及存储介质 | |
| CN113705469B (zh) | 人脸识别方法、装置、电子设备及计算机可读存储介质 | |
| CN112132812A (zh) | 证件校验方法、装置、电子设备及介质 | |
| CN113887408A (zh) | 活化人脸视频的检测方法、装置、设备及存储介质 | |
| CN114864043A (zh) | 基于vr设备的认知训练方法、装置及介质 | |
| CN113869218B (zh) | 人脸活体检测方法、装置、电子设备及可读存储介质 | |
| CN113888500A (zh) | 基于人脸图像的炫光程度检测方法、装置、设备及介质 | |
| CN113723280A (zh) | 基于静态人脸的对抗样本检测方法、装置、设备、介质 | |
| CN113792801B (zh) | 人脸炫光程度的检测方法、装置、设备及存储介质 | |
| CN114463685B (zh) | 行为识别方法、装置、电子设备及存储介质 | |
| CN113255456B (zh) | 非主动活体检测方法、装置、电子设备及存储介质 | |
| CN114917590B (zh) | 一种虚拟现实的游戏系统 | |
| CN113792671B (zh) | 人脸合成图像的检测方法、装置、电子设备及介质 | |
| CN112561893B (zh) | 图片匹配方法、装置、电子设备及存储介质 | |
| CN114973374A (zh) | 基于表情的风险评测方法、装置、设备及存储介质 | |
| CN113343882A (zh) | 人群计数方法、装置、电子设备及存储介质 | |
| CN113095284A (zh) | 人脸选取方法、装置、设备及计算机可读存储介质 | |
| CN112541436A (zh) | 专注度分析方法、装置、电子设备及计算机存储介质 | |
| CN112633134A (zh) | 基于图像识别的车内人脸识别方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |