CN108334817A - 基于三目的活体人脸检测方法及系统 - Google Patents

基于三目的活体人脸检测方法及系统 Download PDF

Info

Publication number
CN108334817A
CN108334817A CN201810037840.3A CN201810037840A CN108334817A CN 108334817 A CN108334817 A CN 108334817A CN 201810037840 A CN201810037840 A CN 201810037840A CN 108334817 A CN108334817 A CN 108334817A
Authority
CN
China
Prior art keywords
face
human
human eye
camera
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810037840.3A
Other languages
English (en)
Inventor
李贤晨
刘羽思
康毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Intellidata Technology Co Ltd
Original Assignee
Shenzhen Qianhai Intellidata Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Intellidata Technology Co Ltd filed Critical Shenzhen Qianhai Intellidata Technology Co Ltd
Priority to CN201810037840.3A priority Critical patent/CN108334817A/zh
Publication of CN108334817A publication Critical patent/CN108334817A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了基于三目的活体人脸检测方法,该方法包括:采集第一场景图像、第二场景图像;获取3D人脸特征点;对分类器进行训练,获取3D人脸检测分类器;将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入第五步骤,否则输出非活体人脸结果;采集第三场景图像从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;对第一卷积神经网络进行训练,获取人眼检测模型;对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果。与现有技术相比,本发明能快速地检测活体人脸,且鲁棒性较好。

Description

基于三目的活体人脸检测方法及系统
技术领域
本发明涉及图像处理、视频监控以及安防,特别涉及人脸识别方法及系统。
背景技术
近年来,由于人脸识别的广泛应用和其较高的市场期望,人脸识别一直是模式识别中的一个热门方向。
然而,随着科技和互联网的不断发展,获取合法用户的人脸图像信息是一件非常容易的事情,假冒者能够利用监控摄像、智能手机、相机、互联网等取得合法用户的人脸图像信息,从而达到攻击的目的。为了抵抗上述攻击,活体人脸检测得到越来越多的关注。
综上所述,需要提出一种能够有效抵抗攻击的活体人脸检测方法。
发明内容
有鉴于此,本发明的主要目的在于快速的实现活体人脸检测。
为达到上述目的,按照本发明的第一个方面,提供了基于三目的活体人脸检测方法,该方法包括:
第一步骤,采用第一摄像头、第二摄像头分别采集第一场景图像、第二场景图像;
第二步骤,采用基于双目的人脸特征点获取方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点;
第三步骤,选取真实人脸的3D人脸特征点为正样本,选取非真实人脸的3D人脸特征点的为负样本,对分类器进行训练,获取3D人脸检测分类器;
第四步骤,将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入第五步骤,否则输出非活体人脸结果;
第五步骤,采用第三摄像头采集第三场景图像,采用人脸检测方法和人眼定位方法,从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;
第六步骤,选取真实人眼区域图像为正样本,选取非真实人眼区域图像为负样本,对第一卷积神经网络进行训练,获取人眼检测模型;
第七步骤,采用人眼检测模型,对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果。
进一步地,所述第五步骤包括:
第三场景图像采集步骤,采用第三摄像头采集第三场景图像;
人脸检测步骤,采用人脸检测方法,从第三场景图像中提取出人脸区域;
人眼定位步骤,采用人眼定位方法,从人眼区域中提取出人眼区域;
人眼检测区域获取步骤,对人脸区域中的人眼区域进行合并,获取候选区域,按照人眼区域的宽度,将候选区域的左边界和右边界分别向左和右扩展宽度的T1倍,按照人眼区域的高度,将候选区域的上边界和下边界分别向上和下扩展高度的T2倍,扩充后的候选区域为人眼检测区域。
进一步地,所述第一摄像头、所述第二摄像头为焦距范围在3.6mm~12mm的摄像头。
进一步地,所述第一摄像头、第二摄像头安装的高度位于距地面0.4~1.8m的范围内的左、右两侧,以便能够获取左、右侧场景中的人脸图像。
进一步地,所述第三步骤中所述分类器包括但不限于:SVM分类器、Adaboost分类器等或者上述组合。
进一步地,所述第五步骤包括:
第三场景图像采集步骤,采用第三摄像头采集第三场景图像;
人脸检测步骤,采用人脸检测方法,从第三场景图像中提取出人脸区域;
人眼定位步骤,采用人眼定位方法,从人脸区域中提取出人眼区域;
人眼检测区域获取步骤,对人脸区域中的人眼区域进行合并,获取候选区域,按照人眼区域的宽度,将候选区域的左边界和右边界分别向左和右扩展宽度的T1倍,按照人眼区域的高度,将候选区域的上边界和下边界分别向上和下扩展高度的T2倍,扩充后的候选区域为人眼检测区域。
进一步地,所述第三摄像头安装的高度位于距地面0.4~1.8m的范围内,以便能够获取场景中的人脸图像。
进一步地,所述第三摄像头安装在所述第一摄像头和所述第二摄像头的中间区域。
进一步地,所述第六步骤中所述真实人眼区域图像包括:不同场景、不同光照、不同姿态、不同肤色等情况下只框选活体人脸的人眼的图像;所述非真实人眼区域图像包括:不同场景、不同光照等情况下框选佩戴面具、3D套膜等的人眼的图像。
按照本发明的第二个方面,提供了基于三目活体人脸检测的门禁控制方法,该方法包括:
第一步骤,采用第一摄像头、第二摄像头分别采集第一场景图像、第二场景图像;
第二步骤,采用基于双目的人脸特征点获取方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点;
第三步骤,选取真实人脸的3D人脸特征点为正样本,选取非真实人脸的3D人脸特征点的为负样本,对分类器进行训练,获取3D人脸检测分类器;
第四步骤,将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入第五步骤,否则输出非活体人脸结果;
第五步骤,采用第三摄像头采集第三场景图像,采用人脸检测方法和人眼定位方法,从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;
第六步骤,选取真实人眼区域图像为正样本,选取非真实人眼区域图像为负样本,对第一卷积神经网络进行训练,获取人眼检测模型;
第七步骤,采用人眼检测模型,对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果;
第八步骤,采用基于卷积神经网络的人脸识别方法,根据人脸数据库,对活体人脸区域进行人脸识别,并输出识别结果;
第九步骤,若识别结果为识别成功,则输出对应人脸数据库中的人脸信息,并给门禁通信模块发送打开信号;若识别结果为识别不成功,则输出识别不成功并发出警报信号。
进一步地,所述第八步骤包括:
人脸识别网络训练步骤,从人脸库中选取样本图像,对第二卷积神经网络进行训练,获取训练好的人脸识别网络;
人脸识别网络识别步骤,采用训练好的人脸识别网络,根据人脸数据库,对活体人脸区域进行人脸识别,输出识别结果。
按照本发明的第三个方面,提供了基于三目的活体人脸检测系统,该系统包括:
第一第二场景图像采集模块,用于采用第一摄像头、第二摄像头分别采集第一场景图像、第二场景图像;
3D人脸特征点提取模块,用于采用基于双目的人脸特征点获取方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点;
3D人脸检测分类器训练模块,用于选取真实人脸的3D人脸特征点为正样本,选取非真实人脸的3D人脸特征点的为负样本,对分类器进行训练,获取3D人脸检测分类器;
3D人脸检测模块,用于将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入人眼检测区域提取模块,否则输出非活体人脸结果;
人眼检测区域提取模块,用于采用第三摄像头采集第三场景图像,采用人脸检测方法和人眼定位方法,从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;
人眼检测模型训练模块,用于选取真实人眼区域图像为正样本,选取非真实人眼区域图像为负样本,对第一卷积神经网络进行训练,获取人眼检测模型;
活体人脸区域获取模块,用于采用人眼检测模型,对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果。
进一步地,所述人眼检测区域提取模块包括:
第三场景图像采集模块,用于采用第三摄像头采集第三场景图像;
人脸检测模块,用于采用人脸检测方法,从第三场景图像中提取出人脸区域;
人眼定位模块,用于采用人眼定位方法,从人脸区域中提取出人眼区域;
人眼检测区域获取模块,用于对人脸区域中的人眼区域进行合并,获取候选区域,按照人眼区域的宽度,将候选区域的左边界和右边界分别向左和右扩展宽度的T1倍,按照人眼区域的高度,将候选区域的上边界和下边界分别向上和下扩展高度的T2倍,扩充后的候选区域为人眼检测区域。
进一步地,所述第三摄像头为焦距范围在36mm~500mm的摄像头。
进一步地,所述第三摄像头安装的高度位于距地面0.4~1.8m的范围内,以便能够获取场景中的人脸图像。
进一步地,所述第三摄像头安装在所述第一摄像头和所述第二摄像头的中间区域。
按照本发明的第四个方面,提供了基于三目活体人脸检测的门禁控制系统包括:
第一第二场景图像采集模块,用于采用第一摄像头、第二摄像头分别采集第一场景图像、第二场景图像;
3D人脸特征点提取模块,用于采用基于双目的人脸特征点获取方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点;
3D人脸检测分类器训练模块,用于选取真实人脸的3D人脸特征点为正样本,选取非真实人脸的3D人脸特征点的为负样本,对分类器进行训练,获取3D人脸检测分类器;
3D人脸检测模块,用于将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入人眼检测区域提取模块,否则输出非活体人脸结果;
人眼检测区域提取模块,用于采用第三摄像头采集第三场景图像,采用人脸检测方法和人眼定位方法,从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;
人眼检测模型训练模块,用于选取真实人眼区域图像为正样本,选取非真实人眼区域图像为负样本,对第一卷积神经网络进行训练,获取人眼检测模型;
活体人脸区域获取模块,用于采用人眼检测模型,对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果;
人脸识别模块,用于采用基于卷积神经网络的人脸识别方法,根据人脸数据库,对活体人脸区域进行人脸识别,并输出识别结果;
门禁通信和警报信号模块,用于若识别结果为识别成功,则输出对应人脸数据库中的人脸信息,并给门禁通信模块发送打开信号;若识别结果为识别不成功,则输出识别不成功并发出警报信号。
与现有的活体人脸检测技术相比,本发明的基于三目的活体人脸识别方法及系统采用三个摄像头,一方面通过双摄像头提取3D人脸特征点并进行3D人脸检测,以区分是否为3D人脸,另一方面通过基于卷积神经网络的人眼检测方法,可以进一步区分真实人眼与虚假人眼,从而有效地提高了活体人脸检测的准确性。
附图说明
图1示出了按照本发明的基于三目的活体人脸检测方法的流程图。
图2示出了按照本发明的基于三目活体人脸检测的门禁控制方法的流程图。
图3示出了按照本发明的基于三目的活体人脸检测系统的框架图。
图4示出了按照本发明的基于三目活体人脸检测的门禁控制系统的框架图。
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的,现结合所附较佳实施例详细说明如下,所说明的较佳实施例仅用于说明本发明的技术方案,并非限定本发明。
图1给出了按照本发明的基于三目的活体人脸检测方法的流程图。如图1所示,按照本发明的基于三目的活体人脸检测方法包括:
第一步骤S1,采用第一摄像头、第二摄像头分别采集第一场景图像、第二场景图像;
第二步骤S2,采用基于双目的人脸特征点获取方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点;
第三步骤S3,选取真实人脸的3D人脸特征点为正样本,选取非真实人脸的3D人脸特征点的为负样本,对分类器进行训练,获取3D人脸检测分类器;
第四步骤S4,将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入第五步骤S5,否则输出非活体人脸结果;
第五步骤S5,采用第三摄像头采集第三场景图像,采用人脸检测方法和人眼定位方法,从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;
第六步骤S6,选取真实人眼区域图像为正样本,选取非真实人眼区域图像为负样本,对第一卷积神经网络进行训练,获取人眼检测模型;
第七步骤S7,采用人眼检测模型,对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果。
所述第一步骤S1中所述第一摄像头、所述第二摄像头为焦距范围在3.6mm~12mm的摄像头。
进一步地,所述第一摄像头、第二摄像头安装的高度位于距地面0.4~1.8m的范围内的左、右两侧,以便能够获取左、右侧场景中的人脸图像。进一步地,所述第一摄像头、第二摄像头安装的高度位于距地面0.8~1.3m的范围内的左、右两侧。
进一步地,所述第二步骤S2中的所述基于双目的人脸特征点获取方法为现有技术,可以通过现有的基于双目的人脸特征点提取或者定位方法实现。实施例,采用“基于双目视觉的三维人脸特征点提取技术研究.张磊,李莉,赵成,董秀则.《微计算机信息》,2010,26(22):184-186”中的方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点。
进一步地,所述第三步骤S3中所述分类器包括但不限于:SVM分类器、Adaboost分类器等或者上述组合。
实施例,所述第三步骤S3包括:从实际中采集或者获取大量真实人脸3D人脸图像,提取真实人脸的3D人脸特征点,将这些真实人脸的3D人脸特征点拉成一维特征向量,并作为多组正样本数据;从实际中采集或者获取大量非真实人脸3D人脸图像,提取非真实人脸的3D人脸特征点,将这些非真实人脸的3D人脸特征点拉成一维特征向量,并作为多组负样本数据;采用多组正样本数据和多组负样本数据对SVM分类器进行反复训练,以获取3D人脸检测分类器。
进一步地,所述第五步骤S5包括:
第三场景图像采集步骤S51,采用第三摄像头采集第三场景图像;
人脸检测步骤S52,采用人脸检测方法,从第三场景图像中提取出人脸区域;
人眼定位步骤S53,采用人眼定位方法,从人脸区域中提取出人眼区域;
人眼检测区域获取步骤S54,对人脸区域中的人眼区域进行合并,获取候选区域,按照人眼区域的宽度,将候选区域的左边界和右边界分别向左和右扩展宽度的T1倍,按照人眼区域的高度,将候选区域的上边界和下边界分别向上和下扩展高度的T2倍,扩充后的候选区域为人眼检测区域。
所述第三场景图像采集步骤S51中所述第三摄像头为焦距范围在36mm~500mm的摄像头。
进一步地,所述第三摄像头安装的高度位于距地面0.4~1.8m的范围内,以便能够获取场景中的人脸图像。进一步地,所述第三摄像头安装的高度位于距地面0.8~1.3m的范围内。
进一步地,所述第三摄像头安装在所述第一摄像头和所述第二摄像头的中间区域。
所述人脸检测步骤S52中所述人脸检测方法可以通过现有的人脸检测方法实现,包括但不限于:基于肤色分割的人脸检测方法、基于分类器的人脸检测方法、基于神经网络的人脸检测方法等或者上述组合。
所述人眼定位步骤S53中人眼定位方法可以通过现有的人眼定位或者检测方法实现,包括但不限于:基于灰度投影的人眼定位方法、基于分类器的人眼定位方法、基于神经网络的人眼方法等或者上述组合。
实施例,采用“基于肤色信息的人脸检测和人眼定位方法.沈荻帆,滕晓龙,刘重庆.《计算机工程与应用》,2004,40(36):93-94”中的方法实现人脸检测和人眼定位,获取人脸检测区域和人眼区域。
所述T1的取值范围为0.3~1,所述T2的取值范围为0.3~1。进一步地,所述T1的取值范围为0.4~0.8,所述T2的取值范围为0.4~0.8。
实施例,所述人眼检测区域获取步骤S54包括:在人脸区域内,将两个人眼区域合并成一个候选区域;分别计算两个人眼区域的宽度平均值WEA和高度平均值HEA;获取候选区域的左边界x=x1、右边界x=x2、上边界y=y1、下边界y=y2,并对这四个边界进行扩展,扩展后的人眼检测区域的左边界为右边界为上边界为下边界为其中,Fx1、Fx2、Fy1、Fy2分别为人脸区域的左边界、右边界、上边界、下边界的边界值。
进一步地,所述第六步骤S6中所述真实人眼区域图像包括:不同场景、不同光照、不同姿态、不同肤色等情况下只框选活体人脸的人眼的图像;所述非真实人眼区域图像包括:不同场景、不同光照等情况下框选佩戴面具、3D套膜等的人眼的图像。
所述第一卷积神经网络(Convolutional Neural Network,简称CNN)为现有的卷积神经网络,可以包括但不限于:一般的CNN、RCNN、SPPNET、Fast-RCNN、Faster-RCNN、YOLO、SSD等或者上述网络的组合。
实施例,所述第一卷积神经网络采用“卷积神经网络在人脸检测中的应用研究.刘秀青.山西大学,2015”论文中的卷积神经网络结构,其中最后一个全连接层输出为2,表示输出2个分类结果,包括:人眼与非人眼。
图2给出了按照本发明的基于三目活体人脸检测的门禁控制方法的流程图。如图2所示,按照本发明的基于三目活体人脸检测的门禁控制方法包括:
第一步骤S1,采用第一摄像头、第二摄像头分别采集第一场景图像、第二场景图像;
第二步骤S2,采用基于双目的人脸特征点获取方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点;
第三步骤S3,选取真实人脸的3D人脸特征点为正样本,选取非真实人脸的3D人脸特征点的为负样本,对分类器进行训练,获取3D人脸检测分类器;
第四步骤S4,将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入第五步骤S5,否则输出非活体人脸结果;
第五步骤S5,采用第三摄像头采集第三场景图像,采用人脸检测方法和人眼定位方法,从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;
第六步骤S6,选取真实人眼区域图像为正样本,选取非真实人眼区域图像为负样本,对第一卷积神经网络进行训练,获取人眼检测模型;
第七步骤S7,采用人眼检测模型,对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果;
第八步骤S8,采用基于卷积神经网络的人脸识别方法,根据人脸数据库,对活体人脸区域进行人脸识别,并输出识别结果;
第九步骤S9,若识别结果为识别成功,则输出对应人脸数据库中的人脸信息,并给门禁通信模块发送打开信号;若识别结果为识别不成功,则输出识别不成功并发出警报信号。
所述第八步骤S8中的人脸区域为第七步骤S7输出的活体人脸区域。
所述第八步骤S8的基于卷积神经网络的人脸识别方法可以通过现有的基于卷积神经网络的人脸识别方法实现。
进一步地,所述第八步骤S8包括:
人脸识别网络训练步骤S81,从人脸库中选取样本图像,对第二卷积神经网络进行训练,获取训练好的人脸识别网络;
人脸识别网络识别步骤S82,采用训练好的人脸识别网络,根据人脸数据库,对活体人脸区域进行人脸识别,输出识别结果。
进一步地,所述人脸库包括但不限于:采集的人脸图像库、注册的人脸图像库、公开的人脸图像库等或者上述组合。
所述第二卷积神经网络为现有的卷积神经网络,可以包括但不限于:一般的CNN、RCNN、SPPNET、Fast-RCNN、Faster-RCNN、YOLO、SSD等或者上述网络的组合。
实施例,采用“基于卷积神经网络的人脸识别算法.李辉,石波.《软件导刊》,2017,16(3):26-29”的中所述的方法,根据人脸数据库,对人脸区域进行人脸识别。
所述人脸数据库为采集或者注册的人脸信息的数据库。进一步地,所述人脸数据库包括但不限于:人脸注册图像、身份信息、权限等或者上述组合。
进一步地,所述第九步骤S9中的人脸信息包括但不限于:注册号、注册人脸图像、身份信息等或者上述组合。
图3给出了按照本发明的基于三目的活体人脸检测系统的框架图。如图3所示,按照本发明的基于三目的活体人脸检测系统包括:
第一第二场景图像采集模块1,用于采用第一摄像头、第二摄像头分别采集第一场景图像、第二场景图像;
3D人脸特征点提取模块2,用于采用基于双目的人脸特征点获取方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点;
3D人脸检测分类器训练模块3,用于选取真实人脸的3D人脸特征点为正样本,选取非真实人脸的3D人脸特征点的为负样本,对分类器进行训练,获取3D人脸检测分类器;
3D人脸检测模块4,用于将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入人眼检测区域提取模块5,否则输出非活体人脸结果;
人眼检测区域提取模块5,用于采用第三摄像头采集第三场景图像,采用人脸检测方法和人眼定位方法,从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;
人眼检测模型训练模块6,用于选取真实人眼区域图像为正样本,选取非真实人眼区域图像为负样本,对第一卷积神经网络进行训练,获取人眼检测模型;
活体人脸区域获取模块7,用于采用人眼检测模型,对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果。
所述第一第二场景图像采集模块1中所述第一摄像头、所述第二摄像头为焦距范围在3.6mm~12mm的摄像头。
进一步地,所述第一摄像头、第二摄像头安装的高度位于距地面0.4~1.8m的范围内的左、右两侧,以便能够获取左、右侧场景中的人脸图像。
进一步地,所述3D人脸特征点提取模块2中的所述基于双目的人脸特征点获取方法为现有技术,可以通过现有的基于双目的人脸特征点提取或者定位方法实现。
进一步地,所述3D人脸检测分类器训练模块3中所述分类器包括但不限于:SVM分类器、Adaboost分类器等或者上述组合。
进一步地,所述人眼检测区域提取模块5包括:
第三场景图像采集模块51,用于采用第三摄像头采集第三场景图像;
人脸检测模块52,用于采用人脸检测方法,从第三场景图像中提取出人脸区域;
人眼定位模块53,用于采用人眼定位方法,从人脸区域中提取出人眼区域;
人眼检测区域获取模块54,用于对人脸区域中的人眼区域进行合并,获取候选区域,按照人眼区域的宽度,将候选区域的左边界和右边界分别向左和右扩展宽度的T1倍,按照人眼区域的高度,将候选区域的上边界和下边界分别向上和下扩展高度的T2倍,扩充后的候选区域为人眼检测区域。
所述第三场景图像采集模块51中所述第三摄像头为焦距范围在36mm~500mm的摄像头。
进一步地,所述第三摄像头安装的高度位于距地面0.4~1.8m的范围内,以便能够获取场景中的人脸图像。
进一步地,所述第三摄像头安装在所述第一摄像头和所述第二摄像头的中间区域。
所述人脸检测模块52中所述人脸检测方法可以通过现有的人脸检测方法实现,包括但不限于:基于肤色分割的人脸检测方法、基于分类器的人脸检测方法、基于神经网络的人脸检测方法等或者上述组合。
所述人眼定位模块53中人眼定位方法可以通过现有的人眼定位或者检测方法实现,包括但不限于:基于灰度投影的人眼定位方法、基于分类器的人眼定位方法、基于神经网络的人眼方法等或者上述组合。
所述T1的取值范围为0.3~1,所述T2的取值范围为0.3~1。进一步地,所述T1的取值范围为0.4~0.8,所述T2的取值范围为0.4~0.8。
进一步地,所述人眼检测模型训练模块6中所述真实人眼区域图像包括:不同场景、不同光照、不同姿态、不同肤色等情况下只框选活体人脸的人眼的图像;所述非真实人眼区域图像包括:不同场景、不同光照等情况下框选佩戴面具、3D套膜等的人眼的图像。
所述第一卷积神经网络(Convolutional Neural Network,简称CNN)为现有的卷积神经网络,可以包括但不限于:一般的CNN、RCNN、SPPNET、Fast-RCNN、Faster-RCNN、YOLO、SSD等或者上述网络的组合。
图4给出了按照本发明的基于三目活体人脸检测的门禁控制系统的框架图。如图4所示,按照本发明的基于三目活体人脸检测的门禁控制系统包括:
第一第二场景图像采集模块1,用于采用第一摄像头、第二摄像头分别采集第一场景图像、第二场景图像;
3D人脸特征点提取模块2,用于采用基于双目的人脸特征点获取方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点;
3D人脸检测分类器训练模块3,用于选取真实人脸的3D人脸特征点为正样本,选取非真实人脸的3D人脸特征点的为负样本,对分类器进行训练,获取3D人脸检测分类器;
3D人脸检测模块4,用于将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入人眼检测区域提取模块5,否则输出非活体人脸结果;
人眼检测区域提取模块5,用于采用第三摄像头采集第三场景图像,采用人脸检测方法和人眼定位方法,从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;
人眼检测模型训练模块6,用于选取真实人眼区域图像为正样本,选取非真实人眼区域图像为负样本,对第一卷积神经网络进行训练,获取人眼检测模型;
活体人脸区域获取模块7,用于采用人眼检测模型,对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果;
人脸识别模块8,用于采用基于卷积神经网络的人脸识别方法,根据人脸数据库,对活体人脸区域进行人脸识别,并输出识别结果;
门禁通信和警报信号模块9,用于若识别结果为识别成功,则输出对应人脸数据库中的人脸信息,并给门禁通信模块发送打开信号;若识别结果为识别不成功,则输出识别不成功并发出警报信号。
所述人脸识别模块8中的人脸区域为活体人脸区域获取模块7输出的活体人脸区域。
所述人脸识别模块8的基于卷积神经网络的人脸识别方法可以通过现有的基于卷积神经网络的人脸识别方法实现。
进一步地,所述人脸识别模块8包括:
人脸识别网络训练模块81,用于从人脸库中选取样本图像,对第二卷积神经网络进行训练,获取训练好的人脸识别网络;
人脸识别网络识别模块82,用于采用训练好的人脸识别网络,根据人脸数据库,对活体人脸区域进行人脸识别,输出识别结果。
进一步地,所述人脸库包括但不限于:采集的人脸图像库、注册的人脸图像库、公开的人脸图像库等或者上述组合。
所述第二卷积神经网络为现有的卷积神经网络,可以包括但不限于:一般的CNN、RCNN、SPPNET、Fast-RCNN、Faster-RCNN、YOLO、SSD等或者上述网络的组合。
所述人脸数据库为采集或者注册的人脸信息的数据库。进一步地,所述人脸数据库包括但不限于:人脸注册图像、身份信息、权限等或者上述组合。
进一步地,所述门禁通信和警报信号模块9中的人脸信息包括但不限于:注册号、注册人脸图像、身份信息等或者上述组合。
与现有的活体人脸检测技术相比,本发明的基于三目的活体人脸识别方法及系统采用三个摄像头,一方面通过双摄像头提取3D人脸特征点并进行3D人脸检测,以区分是否为3D人脸,另一方面通过基于卷积神经网络的人眼检测方法,可以进一步区分真实人眼与虚假人眼,从而有效地提高了活体人脸检测的准确性。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。

Claims (13)

1.基于三目的活体人脸检测方法,其特征在于,该方法包括:
第一步骤,采用第一摄像头、第二摄像头分别采集第一场景图像、第二场景图像;
第二步骤,采用基于双目的人脸特征点获取方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点;
第三步骤,选取真实人脸的3D人脸特征点为正样本,选取非真实人脸的3D人脸特征点的为负样本,对分类器进行训练,获取3D人脸检测分类器;
第四步骤,将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入第五步骤,否则输出非活体人脸结果;
第五步骤,采用第三摄像头采集第三场景图像,采用人脸检测方法和人眼定位方法,从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;
第六步骤,选取真实人眼区域图像为正样本,选取非真实人眼区域图像为负样本,对第一卷积神经网络进行训练,获取人眼检测模型;
第七步骤,采用人眼检测模型,对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果。
2.如权利要求1所述的方法,其特征在于,所述第一摄像头、所述第二摄像头为焦距范围在3.6mm~12mm的摄像头;所述第一摄像头、第二摄像头安装的高度位于距地面0.4~1.8m的范围内的左、右两侧,以便能够获取左、右侧场景中的人脸图像。
3.如权利要求1所述的方法,所述第三步骤中所述分类器包括但不限于:SVM分类器、Adaboost分类器或者上述组合。
4.如权利要求1所述的方法,其特征在于,所述第五步骤进一步包括:
第三场景图像采集步骤,采用第三摄像头采集第三场景图像;
人脸检测步骤,采用人脸检测方法,从第三场景图像中提取出人脸区域;
人眼定位步骤,采用人眼定位方法,从人脸区域中提取出人眼区域;
人眼检测区域获取步骤,对人脸区域中的人眼区域进行合并,获取候选区域,按照人眼区域的宽度,将候选区域的左边界和右边界分别向左和右扩展宽度的T1倍,按照人眼区域的高度,将候选区域的上边界和下边界分别向上和下扩展高度的T2倍,扩充后的候选区域为人眼检测区域。
5.如权利要求4所述的方法,其特征在于,所述第三摄像头安装的高度位于距地面0.4~1.8m的范围内,以便能够获取场景中的人脸图像;所述第三摄像头安装在所述第一摄像头和所述第二摄像头的中间区域。
6.如权利要求4所述的方法,所述T1的取值范围为0.3~1,所述T2的取值范围为0.3~1。
7.如权利要求1所述的方法,所述第六步骤中所述真实人眼区域图像包括但不限于:不同场景、不同光照、不同姿态、不同肤色的情况下只框选活体人脸的人眼的图像;所述非真实人眼区域图像包括但不限于:不同场景、不同光照的情况下框选佩戴面具、3D套膜等的人眼的图像。
8.基于三目活体人脸检测的门禁控制方法,其特征在于,该方法包括:
第一步骤,采用第一摄像头、第二摄像头分别采集第一场景图像、第二场景图像;
第二步骤,采用基于双目的人脸特征点获取方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点;
第三步骤,选取真实人脸的3D人脸特征点为正样本,选取非真实人脸的3D人脸特征点的为负样本,对分类器进行训练,获取3D人脸检测分类器;
第四步骤,将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入第五步骤,否则输出非活体人脸结果;
第五步骤,采用第三摄像头采集第三场景图像,采用人脸检测方法和人眼定位方法,从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;
第六步骤,选取真实人眼区域图像为正样本,选取非真实人眼区域图像为负样本,对第一卷积神经网络进行训练,获取人眼检测模型;
第七步骤,采用人眼检测模型,对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果;
第八步骤,采用基于卷积神经网络的人脸识别方法,根据人脸数据库,对活体人脸区域进行人脸识别,并输出识别结果;
第九步骤,若识别结果为识别成功,则输出对应人脸数据库中的人脸信息,并给门禁通信模块发送打开信号;若识别结果为识别不成功,则输出识别不成功并发出警报信号。
9.基于三目的活体人脸检测系统,其特征在于,该系统包括:
第一第二场景图像采集模块,用于采用第一摄像头、第二摄像头分别采集第一场景图像、第二场景图像;
3D人脸特征点提取模块,用于采用基于双目的人脸特征点获取方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点;
3D人脸检测分类器训练模块,用于选取真实人脸的3D人脸特征点为正样本,选取非真实人脸的3D人脸特征点的为负样本,对分类器进行训练,获取3D人脸检测分类器;
3D人脸检测模块,用于将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入人眼检测区域提取模块,否则输出非活体人脸结果;
人眼检测区域提取模块,用于采用第三摄像头采集第三场景图像,采用人脸检测方法和人眼定位方法,从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;
人眼检测模型训练模块,用于选取真实人眼区域图像为正样本,选取非真实人眼区域图像为负样本,对第一卷积神经网络进行训练,获取人眼检测模型;
活体人脸区域获取模块,用于采用人眼检测模型,对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果。
10.如权利要求9所述的系统,其特征在于,所述第一摄像头、所述第二摄像头为焦距范围在3.6mm~12mm的摄像头;所述第一摄像头、第二摄像头安装的高度位于距地面0.4~1.8m的范围内的左、右两侧,以便能够获取左、右侧场景中的人脸图像。
11.如权利要求9所述的系统,其特征在于,所述人眼检测区域提取模块包括:第三场景图像采集模块,用于采用第三摄像头采集第三场景图像;
人脸检测模块,用于采用人脸检测方法,从第三场景图像中提取出人脸区域;
人眼定位模块,用于采用人眼定位方法,从人脸区域中提取出人眼区域;
人眼检测区域获取模块,用于对人脸区域中的人眼区域进行合并,获取候选区域,按照人眼区域的宽度,将候选区域的左边界和右边界分别向左和右扩展宽度的T1倍,按照人眼区域的高度,将候选区域的上边界和下边界分别向上和下扩展高度的T2倍,扩充后的候选区域为人眼检测区域。
12.如权利要求11所述的系统,其特征在于,所述第三摄像头安装的高度位于距地面0.4~1.8m的范围内,以便能够获取场景中的人脸图像;所述第三摄像头安装在所述第一摄像头和所述第二摄像头的中间区域。
13.基于三目活体人脸检测的门禁控制系统,其特征在于,该系统包括:
第一第二场景图像采集模块,用于采用第一摄像头、第二摄像头分别采集第一场景图像、第二场景图像;
3D人脸特征点提取模块,用于采用基于双目的人脸特征点获取方法,根据第一摄像头、第二摄像头的摄像参数、以及第一场景图像和第二场景图像,获取3D人脸特征点;
3D人脸检测分类器训练模块,用于选取真实人脸的3D人脸特征点为正样本,选取非真实人脸的3D人脸特征点的为负样本,对分类器进行训练,获取3D人脸检测分类器;
3D人脸检测模块,用于将3D人脸特征点拉成一组特征向量,采用3D人脸检测分类器进行检测,若检测为3D人脸则转入人眼检测区域提取模块,否则输出非活体人脸结果;
人眼检测区域提取模块,用于采用第三摄像头采集第三场景图像,采用人脸检测方法和人眼定位方法,从第三场景图像中提取出人脸区域和人眼区域,对人眼区域进行扩充,获取人眼检测区域;
人眼检测模型训练模块,用于选取真实人眼区域图像为正样本,选取非真实人眼区域图像为负样本,对第一卷积神经网络进行训练,获取人眼检测模型;
活体人脸区域获取模块,用于采用人眼检测模型,对人眼检测区域进行检测,若检测为人眼,则输出人眼检测所在的人脸区域作为活体人脸区域,否则输出非活体人脸结果;
人脸识别模块,用于采用基于卷积神经网络的人脸识别方法,根据人脸数据库,对活体人脸区域进行人脸识别,并输出识别结果;
门禁通信和警报信号模块,用于若识别结果为识别成功,则输出对应人脸数据库中的人脸信息,并给门禁通信模块发送打开信号;若识别结果为识别不成功,则输出识别不成功并发出警报信号。
CN201810037840.3A 2018-01-16 2018-01-16 基于三目的活体人脸检测方法及系统 Pending CN108334817A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810037840.3A CN108334817A (zh) 2018-01-16 2018-01-16 基于三目的活体人脸检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810037840.3A CN108334817A (zh) 2018-01-16 2018-01-16 基于三目的活体人脸检测方法及系统

Publications (1)

Publication Number Publication Date
CN108334817A true CN108334817A (zh) 2018-07-27

Family

ID=62924301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810037840.3A Pending CN108334817A (zh) 2018-01-16 2018-01-16 基于三目的活体人脸检测方法及系统

Country Status (1)

Country Link
CN (1) CN108334817A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144365A (zh) * 2019-12-31 2020-05-12 北京三快在线科技有限公司 活体检测方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740780A (zh) * 2016-01-25 2016-07-06 北京天诚盛业科技有限公司 人脸活体检测的方法和装置
CN106204856A (zh) * 2016-08-11 2016-12-07 苏州优化智能仪器科技有限公司 一个智能门禁传媒系统
CN106599826A (zh) * 2016-12-09 2017-04-26 杭州宇泛智能科技有限公司 基于近红外光人脸3d重建的方法
CN106997452A (zh) * 2016-01-26 2017-08-01 北京市商汤科技开发有限公司 活体验证方法及装置
CN107563329A (zh) * 2017-09-01 2018-01-09 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740780A (zh) * 2016-01-25 2016-07-06 北京天诚盛业科技有限公司 人脸活体检测的方法和装置
CN106997452A (zh) * 2016-01-26 2017-08-01 北京市商汤科技开发有限公司 活体验证方法及装置
CN106204856A (zh) * 2016-08-11 2016-12-07 苏州优化智能仪器科技有限公司 一个智能门禁传媒系统
CN106599826A (zh) * 2016-12-09 2017-04-26 杭州宇泛智能科技有限公司 基于近红外光人脸3d重建的方法
CN107563329A (zh) * 2017-09-01 2018-01-09 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张磊 等: "基于双目视觉的三维人脸特征点提取技术研究", 《微计算机信息》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144365A (zh) * 2019-12-31 2020-05-12 北京三快在线科技有限公司 活体检测方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN105354902B (zh) 一种基于人脸识别的安保管理方法及系统
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN103886301B (zh) 一种人脸活体检测方法
CN103984915B (zh) 一种监控视频中行人重识别方法
RU2431190C2 (ru) Способ и устройство распознавания рельефности лица
CN108021892B (zh) 一种基于极短视频的人脸活体检测方法
CN105740780B (zh) 人脸活体检测的方法和装置
CN110458063B (zh) 防视频、照片欺骗的人脸活体检测方法
CN110059644A (zh) 一种基于人脸图像的活体检测方法、系统及相关组件
CN102214309B (zh) 一种基于头肩模型的特定人体识别方法
CN105574509B (zh) 一种基于光照的人脸识别系统回放攻击检测方法及应用
WO2019137178A1 (zh) 人脸活体检测
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN109784130B (zh) 行人重识别方法及其装置和设备
CN114783003B (zh) 一种基于局部特征注意力的行人重识别方法和装置
CN109977897A (zh) 一种基于深度学习的船舶特征重识别方法、应用方法及系统
CN108446690B (zh) 一种基于多视角动态特征的人脸活体检测方法
KR101436290B1 (ko) 생체인식 유형의 접근제어시스템에 대한 부정 검출
CN105243376A (zh) 一种活体检测方法和装置
CN112052831A (zh) 人脸检测的方法、装置和计算机存储介质
CN107609515B (zh) 一种基于飞腾平台的双重验证的人脸比对系统及方法
CN103605993B (zh) 一种基于面向场景判别性分析的图像到视频人脸识别方法
CN106599880A (zh) 一种面向无人监考的同人判别方法
CN109492509A (zh) 身份识别方法、装置、计算机可读介质及系统
CN104318216A (zh) 视频监控中跨盲区行人目标的识别匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180727

RJ01 Rejection of invention patent application after publication