CN105069448A - 一种真假人脸识别方法及装置 - Google Patents

一种真假人脸识别方法及装置 Download PDF

Info

Publication number
CN105069448A
CN105069448A CN201510631384.1A CN201510631384A CN105069448A CN 105069448 A CN105069448 A CN 105069448A CN 201510631384 A CN201510631384 A CN 201510631384A CN 105069448 A CN105069448 A CN 105069448A
Authority
CN
China
Prior art keywords
face
near infrared
human face
region
facial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510631384.1A
Other languages
English (en)
Inventor
车全宏
陈书楷
杨奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Central Intelligent Information Technology Co., Ltd.
Original Assignee
Xiamen Zhongkong Biological Recognition Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Zhongkong Biological Recognition Information Technology Co Ltd filed Critical Xiamen Zhongkong Biological Recognition Information Technology Co Ltd
Priority to CN201510631384.1A priority Critical patent/CN105069448A/zh
Publication of CN105069448A publication Critical patent/CN105069448A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种真假人脸识别方法及装置,用于有效地识别出真实人脸和假体人脸,以提高人脸识别的安全性。本发明实施例方法包括:采集人脸对象获得近红外人脸图像;提取所述近红外人脸图像的人脸区域,得到近红外人脸区域;获取所述近红外人脸区域的人脸特征;根据所述近红外人脸区域的人脸特征,对所述人脸对象进行真假识别。

Description

一种真假人脸识别方法及装置
技术领域
本发明涉及生物特征识别技术领域,具体涉及一种真假人脸识别方法及装置。
背景技术
人脸识别特指利用分析比较人脸视觉特征信息进行身份鉴别,随着其技术的成熟和社会认同度的提高,人脸识别被应用在很多领域,例如,人脸识别门禁考勤系统,人脸识别防盗门,公安、司法和刑侦中用于搜捕逃犯等。近年来,在人脸识别技术的发展过程中,出现了人脸假体的欺骗行为,例如打印人脸图像到纸张上,或者使用投影、液晶显示屏(LiquidCrystalDisplay,简称LCD)等播放设备显示在屏幕上,或者制作人脸的3维立体模型,然后将纸张上的人脸图像或者投影人脸图像或者3维立体模型的假体人脸放置于人脸识别系统的采集装置前,会得到各种人脸图像,这些人脸图像跟真实的人脸图像有很大的相似性,容易被系统当成真实的人脸进行识别,成为人脸识别系统中的不安全因素。然而,在人脸识别系统中,特别是无人值守或高安全性场合,防止人使用人脸假体欺骗系统是非常重要的。因此,如何在人脸识别技术中进行真假人脸识别成为目前的研究课题之一。
发明内容
本发明实施例提供了一种真假人脸识别方法及装置,用于有效地识别出真实人脸和假体人脸,以提高人脸识别的安全性。
本发明第一方面提供了一种真假人脸识别方法,可包括:
采集人脸对象获得近红外人脸图像;
提取所述近红外人脸图像的人脸区域,得到近红外人脸区域;
获取所述近红外人脸区域的人脸特征;
根据所述近红外人脸区域的人脸特征,对所述人脸对象进行真假识别。
本发明第二方面提供了一种真假人脸识别装置,可包括:
采集模块,用于采集人脸对象获得近红外人脸图像;
处理模块,用于提取所述近红外人脸图像的人脸区域,得到近红外人脸区域,获取所述近红外人脸区域的人脸特征,根据所述近红外人脸区域的人脸特征,对所述人脸对象进行真假识别。
从以上技术方案可以看出,本发明实施例中可以通过采集人脸对象获得近红外人脸图像,然后从近红外人脸图像中提取近红外人脸区域,再从近红外人脸区域中获取人脸特征,由于真实人脸和假体人脸在特征体现上是不同的,尤其近红外拍摄下的人脸区域的特征区别更大,因此,根据近红外人脸区域的人脸特征可以有效识别出人脸对象为的真假。本发明实施例能够有效地识别出真实人脸和假体人脸,以提高人脸识别的安全性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的真假人脸识别方法的流程示意图;
图1b为本发明一些实施例提供的真假人脸识别方法的流程示意图;
图2a为本发明实施例提供的正规化的近红外人脸区域示意图;
图2b为本发明实施例提供的正规化的近红外人脸区域划分区域的示意图;
图2c为本发明实施例提供的近红外人脸区域的15个LBP直方图特征的示意图;
图3a为本发明实施例提供的灰度化的可见光人脸区域示意图;
图3b为本发明实施例提供的灰度化的可见光人脸区域划分区域的示意图;
图3c为本发明实施例提供的可见光人脸区域的15个LBP直方图特征的示意图;
图4为本发明实施例提供的人脸特征集示意图;
图5为本发明实施例提供的逻辑回归分类器训练方法的流程示意图;
图6为本发明实施例提供的真假人脸识别装置的结构示意图;
图7为本发明另一实施例提供的真假人脸识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种真假人脸识别方法,有效地识别出真实人脸和假体人脸,以提高人脸识别的安全性。本发明实施例相应地提供了一种真假人脸识别装置。
本发明实施例应用于人脸识别系统中,在根据人脸进行身份识别之前,先确认人脸的真假。所谓人脸真假是指人脸是真实人脸还是假体人脸。
其中,假体人脸可以包括:一些简单使用喷墨打印机打印的彩色人脸图像、使用投影、LCD等显示在屏幕上的人脸图像、或者采用硅胶或者其它材料制作出来的3维立体模型。若是将这些假体人脸作为人脸对象进行采集,采集得到的人脸图像与真实的人脸图像有着很大的相似性,人脸识别系统容易将这些假体人脸当成真实的人脸。
因此,本发明实施例主要用于识别被识别的人脸对象是真实的人脸还是假体人脸。
简述本发明实施例中能够识别出人脸对象为真实人脸或假体人脸的依据与原理:例如假体人脸为使用喷墨打印机打印的彩色人脸图像,由于各种颜色的打印墨水对近红外光谱的吸收率是一样的,因此在近红外光感应的摄像头下,则难以拍摄出假体人脸中的人脸图像;再例如采用硅胶或者其它材料制作出来的3维立体模型,制作材料与真实人脸的肤质村存在很大区别,具体体现在人脸一些特征上是不相同的,因此,可以通过从近红外的人脸图像中提取人脸特征,作为真实人脸和假体人脸识别的依据。
进一步地,当然,还可以结合近红外的人脸图像和可见光的人脸图像来识别真实人脸和假体人脸,结合两种人脸图像,能够有效地提高识别准确性。
基于上述介绍,本发明实施例提供了一种真假人脸识别方法,如图1a所示,该真假人脸识别方法可以包括:
101、采集人脸对象获得近红外人脸图像;
其中,在人脸识别系统中,人脸识别系统发射近红外线照射人脸对象,采集到近红外人脸图像。
需要说明,本发明实施例中的人脸对象可以是上述介绍的真实人脸也可以是假体人脸。
102、提取所述近红外人脸图像的人脸区域,得到近红外人脸区域;
103、获取所述近红外人脸区域的人脸特征;
104、根据所述近红外人脸区域的人脸特征,对所述人脸对象进行真假识别。
可以看出,本发明实施例中可以通过采集人脸对象获得近红外人脸图像,然后从近红外人脸图像中提取近红外人脸区域,再从近红外人脸区域中获取人脸特征,由于真实人脸和假体人脸在特征体现上是不同的,尤其近红外拍摄下的人脸区域的特征区别更大,因此,根据近红外人脸区域的人脸特征可以有效识别出人脸对象为的真假。本发明实施例能够有效地识别出真实人脸和假体人脸,以提高人脸识别的安全性。
请参阅图1b,图1b为本发明一些实施例提供的真假人脸识别方法的流程示意图;在图1b所示的实施例中,将在图1a所示的实施例的基础上,结合近红外人脸图像和可见光人脸图像进行人脸识别,以提高人脸真假识别的准确性。
110、采集人脸对象获得近红外人脸图像和可见光人脸图像;
其中,在人脸识别系统中,设置双摄像头。人脸识别系统发射近红外线照射人脸对象,其中一个摄像头采集到近红外人脸图像,然后人脸识别系统关闭近红外线,另一个摄像头采集可见光人脸图像。
需要说明,本发明实施例中的人脸对象可以是上述介绍的真实人脸也可以是假体人脸。
120、提取所述近红外人脸图像的人脸区域,得到近红外人脸区域,以及提取所述可见光人脸图像的人脸区域,得到可见光人脸区域;
130、获取所述近红外人脸区域的人脸特征和所述可见光人脸区域的人脸特征,集合所述近红外人脸区域的人脸特征和所述可见光人脸区域的人脸特征,得到人脸特征集;
140、根据所述人脸特征集,对所述人脸对象进行真假识别。
在上述介绍中,不管是从各种墨色打印的人脸图像中采集到的近红外人脸图像,还是从用材料制作的3维立体模型采集到的近红外人脸图像,都能在人脸特征上体现出不同来,而且不同材料的假体人脸,与人脸本身的表面材质也存在差别,因此,在可见光人脸图像中也可以提取到一些反映材质的特征,作为真实人脸和假体人脸的识别依据,因此,本发明实施例能够结合近红外人脸图像和可见光人脸图像中的人脸特征有效地、准确地识别出人脸对象的真假,以提高人脸识别的安全性。
在本发明一些实施例中,上述步骤102或者130中获取所述近红外人脸区域的人脸特征包括:对所述近红外人脸区域进行正规化处理得到正规化的近红外人脸区域;将所述正规化的近红外人脸区域划分成至少2个近红外子区域;从所述近红外子区域中提取近红外子区域特征,所述近红外子区域特征为所述近红外人脸区域的人脸特征,其中,所述近红外子区域特征与所述近红外子区域一一对应。
具体地,在本发明实施例中,可以通过获取近红外人脸图像中人脸区域的位置和大小等信息,根据这些信息,从近红外人脸图像中提取人脸区域,在此,将该人脸区域称之为近红外人脸区域,然后进一步将近红外人脸区域缩放到固定尺寸,如150x150,得到一个正规化的近红外人脸区域。
进一步地,将正规化的近红外人脸区域划分成至少2个区域,在此将该区域称为近红外子区域,从每一个近红外子区域中提取区域特征,得到近红外子区域特征,近红外子区域特征与近红外子区域一一对应,因此,能够得到与近红外子区域数量相等的近红外子区域特征。
其中,可以在正规化的近红外人脸区域的横向上划分3等分,纵向上划分5等分,得到15个大小相同的矩形区域。而区域特征可以是局部二值模式(LocalBinaryPattern,简称LBP)直方图特征、方向梯度直方图(HistogramofOrientedGradient,简称HOG)特征、韦伯局部描述(WeberLocalDescriptor,简称WLD)特征。
举例来说,若本发明实施例区域特征为LBP直方图特征,并且通过以上方式将正规化的近红外人脸区域划分得到15个大小相同近红外子区域,该近红外子区域为一个矩形区域,在近红外子区域上提取LBP直方图特征,每一个近红外子区域提取到一个LBP直方图特征,那么一共提取到15个LBP直方图特征。如图2a~2c所示,其中,图2a为本发明实施例提供的正规化的近红外人脸区域示意图,图2b为本发明实施例提供的正规化的近红外人脸区域划分区域的示意图,图2c为本发明实施例提供的近红外人脸区域的15个LBP直方图特征的示意图,其中,以正规化的近红外人脸区域宽度为横坐标X,高度为纵坐标Y,则图2c中的第1个LBP直方图特征对应图2b中坐标位置为(1,1)的近红外子区域,图2c中的第2个LBP直方图特征对应图2b中坐标位置为(1,2)的近红外子区域,---,依次类推,图2c中的第15个LBP直方图特征对应图2b中坐标位置为(15,15)的近红外子区域。
需要说明,在本发明实施例中,提取LBP直方图特征仅是提取UniformLBP直方图特征。
同样,上述步骤130中获取所述可见光人脸区域的人脸特征包括:对所述可见光人脸区域进行正规化处理得到正规化的可见光人脸区域;对所述正规化的可见光人脸区域进行灰度化处理,得到灰度化的可见光人脸区域;将所述灰度化的可见光人脸区域划分成至少2个可见光子区域;从所述可见光子区域提取可见光子区域特征,所述可见光子区域特征为所述可见光人脸区域的人脸特征,其中,所述可见光子区域特征与可见光子区域一一对应。
具体地,在本发明实施例中,可以通过获取可见光人脸图像中人脸区域的位置和大小等信息,根据这些信息,从可见光人脸图像中提取人脸区域,在此,将该人脸区域称之为可见光人脸区域,还可以进一步将可见光人脸区域缩放到固定尺寸,如150x150,得到一个正规化的可见光人脸区域。
可以理解,由于可见光人脸图像为彩色图像,那么,正规化得到的可见光人脸区域也为彩色图像,因此,在本发明实施例中,先将彩色的正规化的可见光人脸区域转换成灰度图,得到灰度化的可见光人脸区域。
进一步地,将灰度化的可见光人脸区域划分成至少2个区域,在此将该区域称为可见光子区域,从每一个可见光子区域中提取区域特征,得到可见光子区域特征,可见光子区域特征与可见光子区域一一对应,因此,能够得到与可见光子区域数量相等的可见光子区域特征。
同样可以理解,可以在灰度化的可见光人脸区域的横向上划分3等分,纵向上划分5等分,得到15个大小相同的矩形区域。而区域特征可以是LBP直方图特征、HOG特征、WLD特征。
举例来说,若本发明实施例区域特征为LBP直方图特征,并且通过以上方式将灰度化的可见光人脸区域划分得到15个大小相同可见光子区域,该可见光子区域为一个矩形区域,在可见光子区域上提取LBP直方图特征,每一个可见光子区域提取到一个LBP直方图特征,那么一共提取到15个LBP直方图特征。如图3a~3c所示,其中,图3a为本发明实施例提供的灰度化的可见光人脸区域示意图,图3b为本发明实施例提供的灰度化的可见光人脸区域划分区域的示意图,图3c为本发明实施例提供的可见光人脸区域的15个LBP直方图特征的示意图,其中,以灰度化的可见光人脸区域为横坐标X,高度为纵坐标Y,则图3c中的第1个LBP直方图特征对应图3b中坐标位置为(1,1)的可见光子区域,图3c中的第2个LBP直方图特征对应图3b中坐标位置为(1,2)的可见光子区域,---,依次类推,图3c中的第15个LBP直方图特征对应图3b中坐标位置为(15,15)的可见光子区域。
需要说明,在本发明实施例中,提取LBP直方图特征仅是提取UniformLBP直方图特征。
上述步骤130中的集合所述近红外人脸区域的人脸特征和所述可见光人脸区域的人脸特征,得到人脸特征集具体是指:将近红外人脸区域的人脸特征和可见光人脸区域的人脸特征集合起来得到人脸特征集。
举例来说,如图4所示,将上述图2c的15个LBP直方图特征和图3c的15个LBP直方图特征拼接得到如图4所示的人脸特征集。其中,图4中的前15个为从近红外人脸图像提取的LBP直方图特征,后15个为从可见光人脸图像提取的LBP直方图特征。
在本发明一些实施例中,上述步骤103中根据所述近红外人脸区域的人脸特征,对所述人脸对象进行真假识别包括:将所述近红外人脸区域的人脸特征作为预置的逻辑回归分类器的输入值,经过所述逻辑回归分类器得到输出值;当所述输出值小于预设阀值时,确定所述人脸对象为真实人脸;当所述输出值大于所述预设阀值时,确定所述人脸对象为假体人脸;当所述输出值等于所述预设阀值时,确定所述人脸对象为真实人脸或者假体人脸。
相同地,在本发明一些实施例中,上述步骤140中的根据所述人脸特征集,对所述人脸对象进行真假识别包括:将所述人脸特征集作为逻辑回归分类器的输入值,经过所述逻辑回归分类器得到输出值;当所述输出值小于预设阀值时,确定所述人脸对象为真实人脸;当所述输出值大于所述预设阀值时,确定所述人脸对象为假体人脸;当所述输出值等于所述预设阀值时,确定所述人脸对象为真实人脸或者假体人脸。
其中,在本发明实施例中,采用逻辑回归分类器对所述人脸特征集进行分类,以识别人脸对象是真实人脸还是假体人脸。逻辑回归分类器经过多次训练得到,具体将在后续进行介绍。
本发明实施例提供的逻辑回归分类器如下公式所示:
h θ ( x ) = g ( θ 0 + θ 1 x 1 + ... + θ m x m ) , g ( z ) = 1 1 + e - z (公式1)
由公式1得到公式2:
h θ ( x ) = 1 1 + e - ( θ 0 + θ 1 X 1 + ... + θ m X m ) (公式2)
其中,对从真实人脸中采集的人脸图像和从假体人脸采集的人脸图像进行训练得到上述公式中的参数θ0、θ1---θm,x为以上实施例提供人脸特征。其中,若仅有近红外人脸区域的人脸特征,那么x为近红外人脸区域的人脸特征,所述X1、---、Xm为所述近红外人脸区域的人脸特征中的第1个、---、第m个人脸特征,若同时有近红外人脸区域和可见光人脸区域的人脸特征,那么X1、---、Xm为上述人脸特征集中的第1个、---、第m个人脸特征。时
在一个实施例中,通过将人脸特征集作为逻辑回归分类器的输入值,也就是上述公式右边的x,然后计算得到hθ(x),hθ(x)作为逻辑回归分类器的输出值,其中,假设上述预设阀值为0.5,若hθ(x)<0.5时,确定人脸对象为真实人脸,若hθ(x)>0.5时,确定人脸对象为假体人脸,若hθ(x)=0.5时,确定人脸对象为真实人脸或假体人脸。
可以看出,在本发明实施例中通过结合了上述介绍的近红外人脸图像中真假人脸的人脸特征表现不同的特点,以及真假人脸反应出的不同特征等,通过逻辑回归分类器对人脸特征集进行分类,以有效识别出人脸对象为真实人脸或者假体人脸。
下面将详细介绍训练逻辑回归分类器参数的方法。
如图5所示,图5为本发明实施例提供的逻辑回归分类器训练方法的流程示意图,如图5所示,一种逻辑回归分类器训练方法可包括:
501、从真实人脸采集得到真实人脸图像样本,以及从所述真实人脸的假体人脸采集得到假体人脸图像样本,所述真实人脸图像样本包括第一近红外人脸图像样本和第一可见光人脸图像样本,所述假体人脸图像样本包括第二近红外人脸图像样本和第二可见光人脸图像样本;
需要说明,在训练逻辑回归分类器过程中,优选至少一对训练对象,所谓一对训练对象是指一个真实人脸和该真实人脸的假体人脸,分别从真实人脸和真实人脸的假体人脸采集人脸图像进行训练。
其中,假体人脸通过以下方式获取:例如使用打印机打印彩色和灰度的人脸图像到各种显示材质上(普通复印纸、光面照相纸等)作为假体人脸图像样本,以及采用手机、相机等摄像设备拍摄的图像,这些图像在某一个显示屏幕上显示,作为假体人脸图像样本。然后按照通过其中一个摄像头采集假体人脸图像样本的近红外人脸图像样本,其中一个摄像头采集假体人脸图像样本的可见光人脸图像样本,分别为本发明实施例的第二近红外人脸图像样本和第二可见光人脸图像样本。
同样,需要采集一些真实人脸的真实人脸图像样本,该真实人脸图像样本同样包括近红外人脸图像样本和可见光人脸图像样本,及本发明实施例中的第一近红外人脸图像样本和第一可见光人脸图像样本。
需要说明,为了提高逻辑回归分类器的识别率,在训练逻辑回归分类器时,尽可能对更多的真实人脸图像样本和假体人脸图像样本进行训练,可以采集10000对(共20000个图像样本(包括真实人脸图像样本和假体人脸图像样本))图像样本进行训练,而且在采集真实人脸图像样本和假体人脸图像样本,可以通过改变真实人脸和真实人脸的假体人脸的位置和姿态,以采集到更多不一样角度和光照条件的真实人脸图像样本和假体人脸图像样本。
502、分别从真实人脸图像样本和假体人脸图像样本提取人脸特征;
可以理解,真实人脸图像样本中包括第一近红外人脸图像样本和第一可见光人脸图像样本,可以通过上述提取近红外人脸图像的人脸特征的方法从第一近红外人脸图像样本中提取到人脸特征,通过上述提取可见光人脸图像的人脸特征的方法从第一可见光人脸图像样本提取到人脸特征。同样,假体人脸图像样本中包括第二近红外人脸图像样本和第二可见光人脸图像样本,因此,可以通过上述提取近红外人脸图像的人脸特征的方法从第二近红外人脸图像样本中提取到人脸特征,通过上述提取可见光人脸图像的人脸特征的方法从第二可见光人脸图像样本提取到人脸特征,在此不再详细介绍。
503、根据所述人脸特征和所述人脸特征对应的标签,得到训练样本集合,所述标签用于表示对应的人脸特征来源于所述真实人脸图像样本或者假体人脸图像样本;
具体地,将从第一近红外人脸图像样本和第一可见光人脸图像样本提取到的人脸特征拼接起来,得到第一组训练样本,同样,将第二近红外人脸图像样本和第二可见光人脸图像样本提取到的人脸特征拼接起来,得到第二组训练样本,然后将第一组训练样本和第二组训练样本组合得到训练样本集合。当然,为了提高逻辑回归分类器的识别率,将用于参加训练的多有人脸特征组合得到训练样本集合。
训练样本集合的表示如公式3:
S={(xi,yi)|i∈(1,N)}|(公式3)
其中,xi为第i个图像样本的人脸特征(例如将上述20000个图像样本排序,第i个图像样本为20000个图像样本中的第i个),yi为xi对应的标签,该标签表示第i个图像样本的人脸特征来源于真实人脸图像样本或者假体人脸图像样本,例如,若标签取值为0表示来源于假体人脸图像样本,若标签取值为1表示来源于真实人脸图像样本。
504、根据所述训练样本集合训练得到所述逻辑回归分类器的参数。
利用上述训练样本集合进行训练,得到如上述公式1所示的逻辑回归分类器。具体地,利用上述训练样本集合,使用随机梯度下降法求得损失函数最小时参数,即公式1中的θ0、θ1---θm。可见,公式3的参数为损失函数最小时得到的参数,能够保证公式3计算得到的输出更加准确的表示人脸对象是真实人脸还是假人脸。
本发明实施例提供的计算最小损失函数的公式如下:
l o s s ( &theta; ) = &Sigma; i = 0 N | h &theta; ( x i ) - y i | 2 + r &Sigma; i = 0 m | &theta; i | 公式4
其中,用于正则化,用于解决过拟合问题,r为正则化因子,通常取值为1。
还可以理解,在进行逻辑回归分类器训练时,可以同时训练得到用于判断逻辑回归分类器的输出值的预设阀值。
本发明实施例具体介绍了通过训练逻辑回归器来识别人脸对象的真假,可以理解,本发明实施例中还可以通过训练其他线性和非线性分类器、例如Lasso(LeastAbsoluteShrinkageandSelectionOperator)回归器,Ridge(Regression)回归器、SVM(SupportVectorMachine)分类器等。
请参阅图6,图6为本发明实施例提供的一种真假人脸识别装置的结构示意图;如图6所示,一种真假人脸识别方法对应的装置可包括:
采集模块610,用于采集人脸对象获得近红外人脸图像;
处理模块620,用于提取所述近红外人脸图像的人脸区域,得到近红外人脸区域,获取所述近红外人脸区域的人脸特征,根据所述近红外人脸区域的人脸特征,对所述人脸对象进行真假识别。
在本发明实施例中,采集模块610采集人脸对象以获得近红外人脸图像,其中,人脸对象可以是真实人脸也可以是假体人脸。处理模块620从近红外人脸图像中提取近红外人脸区域,再从近红外人脸区域中获取人脸特征,由于真实人脸和假体人脸在特征体现上是不同的,尤其近红外拍摄下的人脸区域的特征区别更大,因此,根据近红外人脸区域的人脸特征可以有效识别出人脸对象为的真假。本发明实施例能够有效地识别出真实人脸和假体人脸,以提高人脸识别的安全性。
在本发明一些实施例中,上述采集模块610还用于,采集人脸对象获得可见光人脸图像;
上述处理模块620具体用于,提取所述可见光人脸图像的人脸区域,得到可见光人脸区域;获取所述可见光人脸区域的人脸特征;集合所述近红外人脸区域的人脸特征和所述可见光人脸区域的人脸特征,得到人脸特征集,根据所述人脸特征集,对所述人脸对象进行真假识别。
在本发明一些实施例中,上述处理模块620具体用于,对所述近红外人脸区域进行正规化处理得到正规化的近红外人脸区域;将所述正规化的近红外人脸区域划分成至少2个近红外子区域;从所述近红外子区域中提取近红外子区域特征,所述近红外子区域特征为所述近红外人脸区域的人脸特征,其中,所述近红外子区域特征与所述近红外子区域一一对应。
在本发明一些实施例中,上述处理模块620具体用于,对所述可见光人脸区域进行正规化处理得到正规化的可见光人脸区域;对所述正规化的可见光人脸区域进行灰度化处理,得到灰度化的可见光人脸区域;将所述灰度化的可见光人脸区域划分成至少2个可见光子区域;从所述可见光子区域提取可见光子区域特征,所述可见光子区域特征为所述可见光人脸区域的人脸特征,其中,所述可见光子区域特征与可见光子区域一一对应。
在本发明一些实施例中,上述处理模块620具体用于,将所述近红外人脸区域的人脸特征作为预置的逻辑回归分类器的输入值,经过所述逻辑回归分类器得到输出值;当所述输出值小于预设阀值时,确定所述人脸对象为真实人脸;当所述输出值大于所述预设阀值时,确定所述人脸对象为假体人脸;当所述输出值等于所述预设阀值时,确定所述人脸对象为真实人脸或者假体人脸。
在本发明一些实施例中,所述逻辑回归分类器表示为:
h &theta; ( x ) = 1 1 + e - ( &theta; 0 + &theta; 1 X 1 + ... + &theta; m X m )
其中,所述hθ(x)为所述逻辑回归分类器的输出值,所述X1、---、Xm为所述近红外人脸区域的人脸特征中的第1个、---、第m个人脸特征,所述θ0、θ1、---、θm为参数。
在本发明一些实施例中,如图7所示,上述真假人脸识别装置还包括:训练模块710,用于训练所述逻辑回归分类器的参数。
其中,上述训练模块710具体用于,从真实人脸采集得到真实人脸图像样本,以及从所述真实人脸的假体人脸采集得到假体人脸图像样本,所述真实人脸图像样本包括第一近红外人脸图像样本和第一可见光人脸图像样本,所述假体人脸图像样本包括第二近红外人脸图像样本和第二可见光人脸图像样本;分别从真实人脸图像样本和假体人脸图像样本提取人脸特征;根据所述人脸特征和所述人脸特征对应的标签,得到训练样本集合,所述标签用于表示对应的人脸特征来源于所述真实人脸图像样本或者假体人脸图像样本;根据所述训练样本集合训练得到所述逻辑回归分类器的参数。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本发明所提供的一种真假人脸识别方法及装置进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种真假人脸识别方法,其特征在于,包括:
采集人脸对象获得近红外人脸图像;
提取所述近红外人脸图像的人脸区域,得到近红外人脸区域;
获取所述近红外人脸区域的人脸特征;
根据所述近红外人脸区域的人脸特征,对所述人脸对象进行真假识别。
2.根据权利要求1所述的方法,其特征在于,所述根据所述近红外人脸区域的人脸特征,对所述人脸对象进行真假识别之前包括:
采集人脸对象获得可见光人脸图像;
提取所述可见光人脸图像的人脸区域,得到可见光人脸区域;
获取所述可见光人脸区域的人脸特征;
所述根据所述近红外人脸区域的人脸特征,对所述人脸对象进行真假识别包括:
集合所述近红外人脸区域的人脸特征和所述可见光人脸区域的人脸特征,得到人脸特征集,根据所述人脸特征集,对所述人脸对象进行真假识别。
3.根据权利要求1所述的方法,其特征在于,所述获取所述近红外人脸区域的人脸特征包括:
对所述近红外人脸区域进行正规化处理得到正规化的近红外人脸区域;
将所述正规化的近红外人脸区域划分成至少2个近红外子区域;
从所述近红外子区域中提取近红外子区域特征,所述近红外子区域特征为所述近红外人脸区域的人脸特征,其中,所述近红外子区域特征与所述近红外子区域一一对应。
4.根据权利要求2所述的方法,其特征在于,所述获取可见光人脸区域的人脸特征包括:
对所述可见光人脸区域进行正规化处理得到正规化的可见光人脸区域;
对所述正规化的可见光人脸区域进行灰度化处理,得到灰度化的可见光人脸区域;
将所述灰度化的可见光人脸区域划分成至少2个可见光子区域;
从所述可见光子区域提取可见光子区域特征,所述可见光子区域特征为所述可见光人脸区域的人脸特征,其中,所述可见光子区域特征与可见光子区域一一对应。
5.根据权利要求1~4任一项所述的方法,其特征在于,
所述根据所述近红外人脸区域的人脸特征,对所述人脸对象进行真假识别包括:
将所述近红外人脸区域的人脸特征作为预置的逻辑回归分类器的输入值,经过所述逻辑回归分类器得到输出值;
当所述输出值小于预设阀值时,确定所述人脸对象为真实人脸;
当所述输出值大于所述预设阀值时,确定所述人脸对象为假体人脸;
当所述输出值等于所述预设阀值时,确定所述人脸对象为真实人脸或者假体人脸。
6.根据权利要求5所述的方法,其特征在于,所述逻辑回归分类器表示为:
h &theta; ( x ) = 1 1 + e - ( &theta; 0 + &theta; 1 X 1 + ... + &theta; m X m )
其中,所述hθ(x)为所述逻辑回归分类器的输出值,所述X1、---、Xm为所述近红外人脸区域的人脸特征中的第1个、---、第m个人脸特征,所述θ0、θ1、---、θm为参数。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
训练所述逻辑回归分类器的参数。
8.根据权利要求7所述的方法,其特征在于,所述训练所述逻辑回归分类器的参数包括:
从真实人脸采集得到真实人脸图像样本,以及从所述真实人脸的假体人脸采集得到假体人脸图像样本,所述真实人脸图像样本包括第一近红外人脸图像样本和第一可见光人脸图像样本,所述假体人脸图像样本包括第二近红外人脸图像样本和第二可见光人脸图像样本;
分别从真实人脸图像样本和假体人脸图像样本提取人脸特征;
根据所述人脸特征和所述人脸特征对应的标签,得到训练样本集合,所述标签用于表示对应的人脸特征来源于所述真实人脸图像样本或者假体人脸图像样本;
根据所述训练样本集合训练得到所述逻辑回归分类器的参数。
9.一种真假人脸识别装置,其特征在于,包括:
采集模块,用于采集人脸对象获得近红外人脸图像;
处理模块,用于提取所述近红外人脸图像的人脸区域,得到近红外人脸区域,获取所述近红外人脸区域的人脸特征,根据所述近红外人脸区域的人脸特征,对所述人脸对象进行真假识别。
10.根据权利要求9所述的装置,其特征在于,
所述采集模块还用于,采集人脸对象获得可见光人脸图像;
所述处理模块具体用于,提取所述可见光人脸图像的人脸区域,得到可见光人脸区域;获取所述可见光人脸区域的人脸特征;集合所述近红外人脸区域的人脸特征和所述可见光人脸区域的人脸特征,得到人脸特征集,根据所述人脸特征集,对所述人脸对象进行真假识别。
11.根据权利要求9所述的装置,其特征在于,
所述处理模块具体用于,对所述近红外人脸区域进行正规化处理得到正规化的近红外人脸区域;将所述正规化的近红外人脸区域划分成至少2个近红外子区域;从所述近红外子区域中提取近红外子区域特征,所述近红外子区域特征为所述近红外人脸区域的人脸特征,其中,所述近红外子区域特征与所述近红外子区域一一对应。
12.根据权利要求10所述的装置,其特征在于,
所述处理模块具体用于,对所述可见光人脸区域进行正规化处理得到正规化的可见光人脸区域;对所述正规化的可见光人脸区域进行灰度化处理,得到灰度化的可见光人脸区域;将所述灰度化的可见光人脸区域划分成至少2个可见光子区域;从所述可见光子区域提取可见光子区域特征,所述可见光子区域特征为所述可见光人脸区域的人脸特征,其中,所述可见光子区域特征与可见光子区域一一对应。
13.根据权利要求9~12任一项所述的装置,其特征在于,
所述处理模块具体用于,将所述近红外人脸区域的人脸特征作为预置的逻辑回归分类器的输入值,经过所述逻辑回归分类器得到输出值;当所述输出值小于预设阀值时,确定所述人脸对象为真实人脸;当所述输出值大于所述预设阀值时,确定所述人脸对象为假体人脸;当所述输出值等于所述预设阀值时,确定所述人脸对象为真实人脸或者假体人脸。
14.根据权利要求13所述的装置,其特征在于,所述逻辑回归分类器表示为:
h &theta; ( x ) = 1 1 + e - ( &theta; 0 + &theta; 1 X 1 + ... + &theta; m X m )
其中,所述hθ(x)为所述逻辑回归分类器的输出值,所述X1、---、Xm为所述近红外人脸区域的人脸特征中的第1个、---、第m个人脸特征,所述θ0、θ1、---、θm为参数。
15.根据权利要求14所述的装置,其特征在于,所述装置还包括:
训练模块,用于训练所述逻辑回归分类器的参数。
16.根据权利要求15所述的装置,其特征在于,
所述训练模块具体用于,从真实人脸采集得到真实人脸图像样本,以及从所述真实人脸的假体人脸采集得到假体人脸图像样本,所述真实人脸图像样本包括第一近红外人脸图像样本和第一可见光人脸图像样本,所述假体人脸图像样本包括第二近红外人脸图像样本和第二可见光人脸图像样本;分别从真实人脸图像样本和假体人脸图像样本提取人脸特征;根据所述人脸特征和所述人脸特征对应的标签,得到训练样本集合,所述标签用于表示对应的人脸特征来源于所述真实人脸图像样本或者假体人脸图像样本;根据所述训练样本集合训练得到所述逻辑回归分类器的参数。
CN201510631384.1A 2015-09-29 2015-09-29 一种真假人脸识别方法及装置 Pending CN105069448A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510631384.1A CN105069448A (zh) 2015-09-29 2015-09-29 一种真假人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510631384.1A CN105069448A (zh) 2015-09-29 2015-09-29 一种真假人脸识别方法及装置

Publications (1)

Publication Number Publication Date
CN105069448A true CN105069448A (zh) 2015-11-18

Family

ID=54498810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510631384.1A Pending CN105069448A (zh) 2015-09-29 2015-09-29 一种真假人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN105069448A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868749A (zh) * 2016-06-27 2016-08-17 张业 基于物联网和云计算的智能建筑集成系统
CN106372615A (zh) * 2016-09-19 2017-02-01 厦门中控生物识别信息技术有限公司 一种人脸防伪识别方法以及装置
CN106599829A (zh) * 2016-12-09 2017-04-26 杭州宇泛智能科技有限公司 基于主动近红外光的人脸防伪算法
CN107038786A (zh) * 2017-04-28 2017-08-11 深圳市新和创软件有限公司 门禁人脸识别方法及其系统
CN107729879A (zh) * 2017-11-14 2018-02-23 北京进化者机器人科技有限公司 人脸识别方法和系统
CN107798281A (zh) * 2016-09-07 2018-03-13 北京眼神科技有限公司 一种基于lbp特征的人脸活体检测方法和装置
CN107844773A (zh) * 2017-11-10 2018-03-27 广东日月潭电源科技有限公司 一种三维动态智能人脸识别方法及系统
CN108347516A (zh) * 2018-01-16 2018-07-31 宁波金晟芯影像技术有限公司 一种3d识别的人脸识别系统及方法
CN109543640A (zh) * 2018-11-29 2019-03-29 中国科学院重庆绿色智能技术研究院 一种基于图像转换的活体检测方法
CN109753934A (zh) * 2019-01-09 2019-05-14 中控智慧科技股份有限公司 一种识别图像真伪的方法以及识别装置
WO2019137178A1 (zh) * 2018-01-12 2019-07-18 杭州海康威视数字技术股份有限公司 人脸活体检测
WO2019232862A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质
CN110956080A (zh) * 2019-10-14 2020-04-03 北京海益同展信息科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110969844A (zh) * 2019-11-19 2020-04-07 惠州市德赛西威汽车电子股份有限公司 一种基于行车数据计算驾驶行为相似度的方法及应用
CN111401348A (zh) * 2020-06-05 2020-07-10 支付宝(杭州)信息技术有限公司 一种目标对象的活体检测方法及系统
CN111879724A (zh) * 2020-08-05 2020-11-03 中国工程物理研究院流体物理研究所 基于近红外光谱成像的人皮面具识别方法及系统
CN112468794A (zh) * 2020-11-27 2021-03-09 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN112966664A (zh) * 2021-04-01 2021-06-15 科世达(上海)机电有限公司 一种疲劳驾驶检测方法、系统、装置及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964056A (zh) * 2010-10-26 2011-02-02 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统
US20140037152A1 (en) * 2011-04-20 2014-02-06 Institute Of Automation, Chinese Academy Of Sciences Identity recognition based on multiple feature fusion for an eye image
CN103902992A (zh) * 2014-04-28 2014-07-02 珠海易胜电子技术有限公司 人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964056A (zh) * 2010-10-26 2011-02-02 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统
US20140037152A1 (en) * 2011-04-20 2014-02-06 Institute Of Automation, Chinese Academy Of Sciences Identity recognition based on multiple feature fusion for an eye image
CN103902992A (zh) * 2014-04-28 2014-07-02 珠海易胜电子技术有限公司 人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘华成: "人脸活体检测关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868749A (zh) * 2016-06-27 2016-08-17 张业 基于物联网和云计算的智能建筑集成系统
CN107798281A (zh) * 2016-09-07 2018-03-13 北京眼神科技有限公司 一种基于lbp特征的人脸活体检测方法和装置
CN107798281B (zh) * 2016-09-07 2021-10-08 北京眼神科技有限公司 一种基于lbp特征的人脸活体检测方法和装置
CN106372615A (zh) * 2016-09-19 2017-02-01 厦门中控生物识别信息技术有限公司 一种人脸防伪识别方法以及装置
CN106599829A (zh) * 2016-12-09 2017-04-26 杭州宇泛智能科技有限公司 基于主动近红外光的人脸防伪算法
CN107038786A (zh) * 2017-04-28 2017-08-11 深圳市新和创软件有限公司 门禁人脸识别方法及其系统
CN107844773A (zh) * 2017-11-10 2018-03-27 广东日月潭电源科技有限公司 一种三维动态智能人脸识别方法及系统
CN107729879A (zh) * 2017-11-14 2018-02-23 北京进化者机器人科技有限公司 人脸识别方法和系统
WO2019137178A1 (zh) * 2018-01-12 2019-07-18 杭州海康威视数字技术股份有限公司 人脸活体检测
CN108347516A (zh) * 2018-01-16 2018-07-31 宁波金晟芯影像技术有限公司 一种3d识别的人脸识别系统及方法
WO2019232862A1 (zh) * 2018-06-06 2019-12-12 平安科技(深圳)有限公司 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质
CN109543640A (zh) * 2018-11-29 2019-03-29 中国科学院重庆绿色智能技术研究院 一种基于图像转换的活体检测方法
CN109543640B (zh) * 2018-11-29 2022-06-17 中国科学院重庆绿色智能技术研究院 一种基于图像转换的活体检测方法
CN109753934A (zh) * 2019-01-09 2019-05-14 中控智慧科技股份有限公司 一种识别图像真伪的方法以及识别装置
CN110956080A (zh) * 2019-10-14 2020-04-03 北京海益同展信息科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110956080B (zh) * 2019-10-14 2023-11-03 京东科技信息技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110969844A (zh) * 2019-11-19 2020-04-07 惠州市德赛西威汽车电子股份有限公司 一种基于行车数据计算驾驶行为相似度的方法及应用
CN111401348A (zh) * 2020-06-05 2020-07-10 支付宝(杭州)信息技术有限公司 一种目标对象的活体检测方法及系统
CN111879724A (zh) * 2020-08-05 2020-11-03 中国工程物理研究院流体物理研究所 基于近红外光谱成像的人皮面具识别方法及系统
CN112468794A (zh) * 2020-11-27 2021-03-09 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN112966664A (zh) * 2021-04-01 2021-06-15 科世达(上海)机电有限公司 一种疲劳驾驶检测方法、系统、装置及可读存储介质

Similar Documents

Publication Publication Date Title
CN105069448A (zh) 一种真假人脸识别方法及装置
CN105654028A (zh) 一种真假人脸识别方法及装置
Figueira et al. Semi-supervised multi-feature learning for person re-identification
CN109359696A (zh) 一种车款识别方法、系统及存储介质
CN109978893A (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
CN105354565A (zh) 基于全卷积网络人脸五官定位与判别的方法及系统
CN112016464A (zh) 检测人脸遮挡的方法、装置、电子设备及存储介质
CN104751143B (zh) 一种基于深度学习的人证核验系统及方法
CN103577838A (zh) 一种人脸识别方法和装置
CN108197544B (zh) 人脸分析、过滤方法、装置、嵌入式设备、介质和集成电路
CN103824090B (zh) 一种自适应的人脸低层特征选择方法及人脸属性识别方法
CN103136516A (zh) 可见光与近红外信息融合的人脸识别方法及系统
Hebbale et al. Real time COVID-19 facemask detection using deep learning
CN103390151A (zh) 人脸检测方法及装置
Yingthawornsuk et al. Automatic Thai Coin Calculation System by Using SIFT
Wang Exploring intelligent image recognition technology of football robot using omnidirectional vision of internet of things
CN104318224B (zh) 一种人脸识别方法及监控设备
Suhaimin et al. Real-time mask detection and face recognition using eigenfaces and local binary pattern histogram for attendance system
Hoang et al. Scalable histogram of oriented gradients for multi-size car detection
Bekzod Face recognition based automated student attendance system
Wang et al. Fusion of multiple channel features for person re-identification
CN106384089A (zh) 基于终生学习的人体可靠检测方法
Goud et al. Smart attendance notification system using SMTP with face recognition
CN112766176A (zh) 轻量化卷积神经网络的训练方法及人脸属性识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170824

Address after: 361008, Xiamen three software park, Fujian Province, 8 North Street, room 2001

Applicant after: Xiamen Central Intelligent Information Technology Co., Ltd.

Address before: 361000 Fujian province Xiamen software park two sunrise Road No. 32 403 unit 02 District

Applicant before: XIAMEN ZHONGKONG BIOLOGICAL RECOGNITION INFORMATION TECHNOLOGY CO., LTD.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20151118

RJ01 Rejection of invention patent application after publication