CN110555926A - 一种基于多证件识别的门禁方法及相应的装置 - Google Patents

一种基于多证件识别的门禁方法及相应的装置 Download PDF

Info

Publication number
CN110555926A
CN110555926A CN201910684102.2A CN201910684102A CN110555926A CN 110555926 A CN110555926 A CN 110555926A CN 201910684102 A CN201910684102 A CN 201910684102A CN 110555926 A CN110555926 A CN 110555926A
Authority
CN
China
Prior art keywords
person
image
face image
certificate
communicated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910684102.2A
Other languages
English (en)
Other versions
CN110555926B (zh
Inventor
彭勤牧
尤新革
龙紫晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910684102.2A priority Critical patent/CN110555926B/zh
Publication of CN110555926A publication Critical patent/CN110555926A/zh
Application granted granted Critical
Publication of CN110555926B publication Critical patent/CN110555926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于多证件识别的门禁方法及相应的装置,该门禁方法包括:获取待通行人员的人脸图像,对人脸图像进行验证,并确定待通行人员的类型;根据待通行人员的类型,选择性验证待通行人员的证件的真伪;在待通行人员的证件通过真伪验证后,判断确定待通行人员的人脸图像与证件中存储的图像的一致性;当待通行人员的人脸图像与证件中存储的图像的一致时,开启门禁,以使待通行人员通过门禁。本发明的门禁方法结合人脸识别和证件识别对不同类型的待通行人员进行验证,在保证安全性的基础上,一方面可以覆盖更广的人群范围进行验证,另一方面针对特定的人群(例如,常驻人员)只进行人脸检测,可以提高验证的效率。

Description

一种基于多证件识别的门禁方法及相应的装置
技术领域
本发明属于门禁领域以及证件识别领域,更具体地,涉及一种基于多证件识别的门禁方法及门禁装置。
背景技术
目前,大家日益重视公共空间的安全性,但是公共空间由于其性质具有较大的人员流动性,幸运的是,某些具有封闭结构的公共空间,例如居民区、政府机关、办公楼等地,通过利用门禁系统可以具有一定的防护能力。在过去,主要依靠门卫起到安全监督警示作用,放行内部人员,登记外部人员。随着经济的发展,交通的进步,人口流动越发复杂,单靠门卫识别人员并不是一个好方法。于是发放通行卡片,指纹识别和人脸识别方法应运而生,但这主要是针对内部人员的方法;对于外部人员还是会随意放行,抑或是登记姓名电话,管理严格的地方还会暂时扣押身份证。
例如,申请号为CN201520664530.6,名称为“一种智能型门禁器及门禁控制系统”的专利文献,提出了一种基于门禁卡的智能门禁器。申请号为CN201320144609.7,名称为“基于三维人脸识别和指纹识别的无人值守变电站门禁系统”的专利文献,提出了一种基于三维人脸识别和指纹识别的无人值守变电站门禁系统,该门禁系统包含门禁控制器,以及电路连接该门禁控制器的门锁、指纹识别仪、三维人脸识别仪。
但是,无论宽松的方法还是严格的方法都存在着一定的隐患与不便。问题之一是目前针对二维平面人脸识别的欺诈技术已经初现端倪,除此以外初代人脸识别技术对于头发、眼睛和手指等外来原因造成的部分人脸遮挡并没有较好的处理方法,识别率较低。问题之二是欺骗指纹识别机器的指纹套早已应用于市场,再者通过门禁系统的人员手中可能会拎有物体,抑或是手上有污渍,每个人都做一次指纹识别的效率低下且不便。并且指纹识别设别磨损率高,设备故障几率较大。问题之三是现在各种交通卡,身份证,会员卡种类繁多,继续发放通行卡片,会继续增加卡片数目,遗忘或丢失概率较大。。问题之四是登记姓名电话完全可以作假,而如果扣押身份证件,可能会给当事人带来不便,并且身份证件的真假一时难以验证。问题之五是港澳台人民和外籍人员根本不具有身份证,往来十分不便,门禁系统的管理愈发困难。
鉴于此,克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于多证件识别的门禁方法及相应装置,其目的在于本发明的门禁方法结合人脸识别和多证件识别对不同类型的待通行人员进行验证,在保证安全性的基础上,一方面可以覆盖更广的人群范围进行验证,另一方面针对特定的人群(例如,常驻人员)只进行人脸检测,可以提高验证的效率,本发明的门禁方法可以兼顾全面性以及验证的安全性,适用于市场使用,由此解决门禁系统的管理愈发困难的技术问题。
为实现上述目的,按照本发明的一个方面,提供了一种基于多证件识别的门禁方法,其特征在于,所述门禁方法包括:
获取待通行人员的人脸图像,对所述人脸图像进行验证,并确定所述待通行人员的类型;
根据所述待通行人员的类型,选择性验证所述待通行人员的证件的真伪;
在所述待通行人员的证件通过真伪验证后,判断确定所述待通行人员的人脸图像与所述证件中存储的图像的一致性;
当所述待通行人员的人脸图像与所述证件中存储的图像的一致时,开启门禁,以使待通行人员通过门禁。
优选地,所述获取待通行人员的人脸图像,对所述人脸图像进行验证,并确定所述待通行人员的类型包括:
获取待通行人员的三维人脸图像;
对所述三维人脸图像进行处理,得到所述三维人脸图像的实际径向曲线;
将所述实际径向曲线与数据库中存储的参照径向曲线进行弹性匹配;
若匹配成功,则所述待通行人员为常驻人员,开启门禁,以使所述待通行人员通过门禁;
若匹配不成功,则所述待通行人员为外来人员,执行验证所述待通行人员的证件的真伪步骤。
优选地,对所述三维人脸图像进行处理,得到所述三维人脸图像的实际径向曲线包括:
对图像进行预处理,并检测所述三维人脸图像上是否存在遮挡物
若存在,则移除所述遮挡物,再次进行图像处理,得到包含空白区域的三维人脸图像,并采集以鼻尖为中心的人脸径向曲线;
判断确定所述空白区域相对于所述三维人脸图像是否呈对称分布;
若所述空白区域相对于所述三维人脸图像呈非对称分布,则依据人脸特征的对称性,采用与空白区域相对称的人脸径向曲线填充所述空白区域,以补偿遮挡物造成的缺失数据,得到补偿后的三维人脸图像;
采集所述补偿后的三维人脸图像的径向曲线作为所述实际径向曲线。
优选地,对所述三维人脸图像进行处理,得到所述三维人脸图像的实际径向曲线还包括:
若所述空白区域相对于所述三维人脸图像呈对称分布,则获取数据库中相应空白区域的径向曲线的平均值;
采用所述径向曲线的平均值填充所述空白区域,以补偿遮挡物造成的缺失数据,得到补偿后的三维人脸图像;
采集所述补偿后的三维人脸图像的径向曲线作为所述实际径向曲线。
优选地,验证所述待通行人员的证件的真伪包括:
采集所述待通行人员的证件的红外图像;
识别所述红外图像中的第一机读码,采用所述第一机读码激活证件的芯片,获取芯片内存储的第二机读码;
校验所述第一机读码和所述第二机读码对应位置处的字符是否一致;
若不一致,则所述待通行人员的证件为伪造的。
优选地,验证所述待通行人员证件的真伪还包括:
若一致,采集所述待通行人员的证件的紫外图像;
分别对所述紫外图像和所述红外图像的防伪点进行鉴伪;
当所述紫外图像和所述红外图像对应的防伪点均通过鉴伪验证时,所述待通行人员的证件通过真伪验证。
优选地,所述待通行人员的类型包括外来人员,所述外来人员包括快递人员、外卖人员或家政服务人员,所述门禁方法还包括:
当所述待通行人员为快递人员、外卖人员或者家政服务人员时,授予所述待通行人员对应的预设访问时间;
当所述待通行人员超过预设访问时间后,将所述待通行人员的人脸图像和来访事由发送至保卫处,进行警示。
优选地,所述紫外图像的防伪点包括紫外图案,对所述紫外图像的防伪点进行鉴伪包括:
对紫外图像进行预检测,进而从数据库中初步筛选出,与所述紫外图像中的紫外图案相对应的标准图案A;
依次对所述紫外图像进行图像分离、图像更新和图像合成,以实现所述紫外图像中紫外图案的前景增强;
从前景增强后的紫外图案中提取特征,并与数据库中标准图案A的特征进行匹配,得到所述紫外图案与所述标准图案A的相似度;
根据预先设置的相似度阈值,判断得到的所述相似度是否满足预设条件,进而鉴别所述紫外图像的真伪。
优选地,所述红外图像的防伪点包括标识图像,对所述红外图像的防伪点进行鉴伪包括:
从数据库中筛选出与所述红外图像中的待鉴别标识图像相匹配的标识模板图像;
分别获取所述待鉴别标识图像和所述标识模板图像的环形投影向量,根据所述待鉴别标识图像的环形投影向量和所述标识模板图像的环形投影向量的相似度情况,确定所述待鉴别标识图像的真伪,从而确定红外图像的真伪。
按照本发明的另一方面,提供了一种门禁装置,包括至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被程序设置为执行如本发明所述的门禁方法。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有如下有益效果:本实施例提供一种门禁方法,门禁方法包括:获取待通行人员的人脸图像,对人脸图像进行验证,并确定待通行人员的类型;根据待通行人员的类型,选择性验证待通行人员的证件的真伪;在待通行人员的证件通过真伪验证后,判断确定待通行人员的人脸图像与证件中存储的图像的一致性;当待通行人员的人脸图像与证件中存储的图像的一致时,开启门禁,以使待通行人员通过门禁。本实施例的门禁方法结合人脸识别和多证件识别对不同类型的待通行人员进行验证,在保证安全性的基础上,一方面可以覆盖更广的人群范围进行验证,另一方面针对特定的人群(例如,常驻人员)只进行人脸检测,可以提高验证的效率,本实施例的门禁方法可以兼顾全面性以及验证的安全性,适用于市场使用。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种门禁方法的流程示意图;
图2是本发明实施例提供的一种门禁方法的实现方式的流程示意图;
图3是本发明实施例提供的图1中步骤10的具体实现方式之一;
图4是本发明实施例提供的图3中步骤102的具体实现方式之一;
图5是本发明实施例提供的人脸验证的实现方式之一;
图6是本发明实施例提供的另一种门禁方法的流程示意图;
图7是本发明实施例提供的一种门禁系统的结构示意图;
图8是本发明实施例提供的一种门禁装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
参阅图1和图2,本实施例提供一种基于多证件识别的门禁方法,该门禁方法包括如下步骤:
步骤10:获取待通行人员的人脸图像,对所述人脸图像进行验证,并确定所述待通行人员的类型。
结合图2,该步骤为“图像采集及处理”和“人脸验证”过程,其中,待通行人员的类型包括“外来人员”和“常驻人员”,其中,外来人员为非本厂人员,常驻人员包括本厂人员。当待通行人员接近大门时,通过外置摄像头拍摄三维人脸图像,进行预处理得到待通行人员的人脸图像,其中,预处理包括降噪处理和去遮挡处理。在本实施例中,数据库中预存有常驻人员的人脸图像,将待通行人员的人脸图像与数据库中预存的人脸图像进行比对,当数据库中存在一人脸图像与待通行人员的人脸图像相匹配时,确定所述待通行人员为常驻人员,当所述待通行人员为常驻人员时,开启门禁,使得待通行人员通过门禁。当数据库中不存在一人脸图像与待通行人员的人脸图像相匹配时,确定所述待通行人员为外来人员,此时需要对待通行人员进行证件的验证。
步骤11:根据所述待通行人员的类型,选择性验证所述待通行人员的证件的真伪。
在可选的实施例中,在所述待通行人员为外来人员时,需要继续验证第一识别信息的真伪,其中,第一识别信息可以为待通行人员的证件,其中,本实施例所适用的证件包括但不限于身份证、护照、港澳通行证、台胞证、港澳回乡证、港澳台居民居住证和驾驶证等证件
当待通行人员为常驻人员时,人脸验证通过后,即开启门禁。当待通行人员为外来人员时,需要对待通行人员的证件进行验证,当待通行人员的证件通过真伪验证后,再执行人证验证,当人证验证通过后,开启门禁。其中,人证验证为人脸图像与证件中存储的人脸图像的一致性验证。
步骤12:在所述待通行人员的证件通过真伪验证后,判断确定所述待通行人员的人脸图像与所述证件中存储的图像的一致性。
该步骤为“人证验证”过程,为了避免待通行人员盗用其他人员的证件,导致无法追溯外来人员情况的发生,在本实施例中,需要保证待通行人员与其证件的一致性,一般而言,验证待通行人员的人脸图像与证件中存储的图像的一致性,在二者一致的时候,才开启门禁。
步骤13:当所述待通行人员的人脸图像与所述证件中存储的图像的一致时,开启门禁,以使待通行人员通过门禁。
在本实施例中,通过对待通行人员的人脸图像与证件中存储的图像进行特征匹配,当二者的特征匹配值达到预设的阈值(其中,预设的阈值可以为90%、95%或者其他数据)时,说明所述待通行人员的人脸图像与所述证件中存储的图像具有一致性,开启门禁,以使待通行人员通过门禁。当待通行人员的人脸图像与所述证件中存储的图像的不一致时,关闭门禁,并上报保卫处。
区别于现有技术,本实施例的门禁方法结合人脸识别和多证件识别对不同类型的待通行人员进行验证,在保证安全性的基础上,一方面可以覆盖更广的人群范围进行验证,另一方面针对特定的人群(例如,常驻人员)只进行人脸检测,可以提高验证的效率,本实施例的门禁方法可以兼顾全面性以及验证的安全性,适用于市场使用。进一步地,本实施例的方法采用三维人脸识别算法,可以避免二维平面中的人脸欺骗问题,并具有更高的识别能力,可以在很大程度上处理由于外部遮挡,表情变化等原因带来的低识别率问题。
在实际应用场景下,待通行人员包括常驻人员(内部人员),例如,公司员工,还包括外来人员,例如,快递人员、服务人员、外卖人员以及来访人员。针对常驻人员,数据库中预存有常驻人员的人脸图像,为了提高检测的效率针对常驻人员,人脸验证通过后,即开启门禁,这样在保证安全性的基础上,可以提高检测的效率,减少冗余的检测过程;针对外来人员,需要采集外来人员的人脸图像,然后对外来人员的证件进行验证,在外来人员的证件通过验证后,进行人证合一验证,通过多重验证,提高检测的安全性,避免冒用他人证件的情况的发生,便于追溯外来人员。
基于上述理念,在优选的实施例中,如图3,步骤10具体包括如下步骤:
步骤101:获取待通行人员的三维人脸图像。
在实际应用场景下,二维人脸图像的识别率较低,容易出现漏检的情况发生,为避免前述问题,在本实施例中,当待通行人员靠近门禁时,通过外置摄像头获取待通行人员的三维人脸图像,不仅可以提高识别率,而且有效避免部分人脸遮挡(例如,头发、眼睛被遮挡)而带来的识别率低的问题。
步骤102:对所述三维人脸图像进行处理,得到所述三维人脸图像的实际径向曲线。
在本实施例中,对待通行人员的三维人脸图像A进行预处理,得到三维人脸图像B,并将三维人脸图像B存储至临时存储区,并采集三维人脸图像B的实际径向曲线。同时,将三维人脸图像B降维成二维人脸图像A2,并将二维人脸图像A2存储至临时存储区,以便于进行后续人证验证。
其中,前述的预处理过程为:采用cubic方法填充三维人脸图像A中的空洞,并定位鼻尖点,从整体图像中裁剪出人脸区域,再进行降噪处理。
步骤103:将所述实际径向曲线与数据库中存储的参照径向曲线进行弹性匹配。
其中,参照径向曲线为数据库中存储的人脸图像对应的径向曲线,参照径向曲线的数目为多个。在本实施例中,将所述实际径向曲线与参照径向曲线进行相似度匹配,当存在一参照径向曲线与实际径向曲线之间的相似度大于预设的相似度阈值(其中,预设的相似度阈值可以为90%、95%或者其他数值)时,所述实际径向曲线与参照径向曲线匹配成功,执行步骤104;当不存在一参照径向曲线与实际径向曲线之间的相似度大于预设的相似度阈值时,所述实际径向曲线与参照径向曲线匹配不成功,执行步骤105。
此外,本实施例采用弹性匹配进行验证,可以很好的适应表情变化带来的面部曲线变化。
步骤104:若匹配成功,则所述待通行人员为常驻人员,开启门禁,以使所述待通行人员通过门禁。
步骤105:若匹配不成功,则所述待通行人员为外来人员,执行验证所述待通行人员的证件的步骤。
本实施例的门禁方法可以兼顾全面性以及验证的安全性,针对外来人员,结合人脸验证与证件验证,最大程度降低通过门禁的繁琐性,可以覆盖更广的人群范围;针对特定的人群(例如,常驻人员)只进行人脸检测,可以提高验证的效率。进一步地,本实施例的方法采用三维人脸识别算法,可以避免二维平面中的人脸欺骗问题,并具有更高的识别能力,可以在很大程度上处理表情变化等原因带来的低识别率问题。
在实际应用场景下,当待通行人员的部分面部被遮挡时,例如,头发、眼睛被遮挡,会降低识别率。为解决此问题,结合图4和图5,步骤102具体包括如下步骤:
步骤1021:对图像进行预处理,并检测所述三维人脸图像上是否存在遮挡物。
在本实施例中,对图像进行预处理后,检测所述三维人脸图像上是否存在遮挡物,具体地,如图5所示,依次对三维人脸图像进行粗糙匹配和以迭代ICP(Iterative ClosestPoint,简写为ICP)算法为基础的精准匹配,然后检测确定是否存在遮挡,若存在遮挡,则执行步骤1022;若不存在遮挡,则执行步骤1028。
步骤1022:若存在,则移除所述遮挡物,得到包含空白区域的三维人脸图像,并采集以鼻尖为中心的人脸径向曲线。
在本实施例中,首先对径向曲线的含义以及获取径向曲线的方法进行说明:经过预处理后的三维人脸表面设为S,将S旋转至水平(双眼所在水平线相对于地面水平),从额头到下巴并经过鼻尖点的一条将三维人脸表面S分为左右两部分的曲线称为参考线,包含有参考线并与三维人脸表面S相垂直的平面称为参考面。以鼻尖点为中心,将参考面以鼻尖点为中心逆时针旋转角度α,此时旋转平面会与三维人脸表面S相交出一条曲线该曲线就是一条以鼻尖点为中心的径向曲线。再逆时针旋转平面角度α,可与表面S相交出径向曲线不断旋转平面,直至平面又回到参考面位置。最后可以获得n条以鼻尖点为中心的径向曲线,其中,n=2π/α,一般会选择能够使n为整数的α。
在本实施例中,若三维人脸图像中存在遮挡,则将遮挡区域去掉,留下包含空白区域的三维人脸图像E1,然后再对图像做以迭代ICP算法为基础的精细匹配,采集以鼻尖点为中心人脸径向曲线,并对曲线做质量滤波处理,删除达不到标准的曲线(一般由噪声引起)。最后,填充缺失数据,其中,填充缺失数据的方式依据空白区域相对于三维人脸图像的分布情况而定。
步骤1023:判断确定所述空白区域相对于所述三维人脸图像是否呈对称分布。
在实际应用场景下,脸部径向曲线一般是左右对称分布的,可以依靠对称曲线,填充缺失部位(空白区域),但是空白区域的分布呈不同方式时,填充的方式存在差异。当空白区域(即遮挡物)位于人脸图像的某一侧,且空白区域相对于所述三维人脸图像呈非对称分布时,执行步骤1024,填充缺失数据。当空白区域(即遮挡物)相对于所述三维人脸图像呈对称分布时,无法依据对称性填充缺失数据,执行步骤1025,需要采用数据库中存储的人脸图像的径向曲线的平均值以及标准人脸,按照预设的权重填充缺失数据。
步骤1024:若所述空白区域相对于所述三维人脸图像呈非对称分布,则依据人脸特征的对称性,采用与空白区域相对称的人脸径向曲线填充所述空白区域,以补偿遮挡物造成的缺失数据,得到补偿后的三维人脸图像。
步骤1025:若所述空白区域相对于所述三维人脸图像呈对称分布,则获取数据库中相应空白区域的径向曲线的平均值。
步骤1026:采用所述径向曲线的平均值填充所述空白区域,以补偿遮挡物造成的缺失数据,得到补偿后的三维人脸图像。
具体地,步骤1025和步骤1026的具体实现过程为:对三维人脸图像进行特征提取,获取三维人脸图像的轮廓(脸型),并确定待通行人员的性别,再根据三维人脸图像的轮廓(脸型)和待通行人员的性别,在数据库中筛选出与三维人脸图像相匹配的多个标准人脸,获取多个标准人脸的径向曲线平均值,采用所述径向曲线的平均值填充所述空白区域,以补偿遮挡物造成的缺失数据,得到补偿后的三维人脸图像。
步骤1027:采集所述补偿后的三维人脸图像的径向曲线作为所述实际径向曲线。
最后,采集所述补偿后的三维人脸图像的径向曲线作为所述实际径向曲线。将所述实际径向曲线与数据库中存储的参照径向曲线进行弹性匹配,可以有效消除遮挡以及表情变化带来的识别率低的问题。
步骤1028:获取所述三维人脸图像的实际径向曲线,将所述实际径向曲线与数据库中存储的参照径向曲线进行弹性匹配。
在前述的方案中,主要依据人脸的对称性对被遮挡的部分进行补偿或依据径向曲线的平均值对被遮挡的部分进行补偿。前述的补偿方法并不适用于所有的场景,而且人脸并非是严格对称的,在可选的方案中,提供了另外一种验证思路,具体如下:
获取三维人脸图像,检测所述三维人脸图像上是否存在遮挡物,若存在,则移除所述遮挡物,得到包含空白区域的三维人脸图像。
将包含空白区域的三维人脸图像与数据库中存储的参照人脸图像进行相似度匹配,初步筛选出相似度大于预设阈值的参照人脸图像,其中,预设阈值依据实际情况而定,在此,不做具体限定,前述初步筛选出来的参照人脸图像的数目可能为多个。根据三维人脸图像中空白区域的位置,去除初步筛选出来的参照人脸图像中的相同位置处的数据,得到包含空白区域的参照人脸图像。
分别获取包含空白区域的三维人脸图像的实际径向曲线,包含空白区域的参照人脸图像的参照径向曲线,然后将所述实际径向曲线与所述参照径向曲线进行弹性匹配,若匹配成功,则所述待通行人员为常驻人员,开启门禁,以使所述待通行人员通过门禁,若匹配不成功,则所述待通行人员为外来人员,执行验证所述待通行人员的证件的步骤。
在此,需要说明的是本实施例的实际径向曲线和参照径向曲线与上述实施例的实际径向曲线和参照径向曲线存在差异,上述实施例的实际径向曲线和参照径向曲线基本上包含人脸图像的全部曲线信息,而本实施例的实际径向曲线和参照径向曲线仅包含人脸图像的部分曲线信息,即不包含空白区域对应的曲线信息。
前述主要描述了人脸识别以及人脸匹配验证的过程,主要是针对常驻人员的验证,当待通行人员为外来人员时,还需要对待通行人员的证件进行真伪验证,在真伪验证通过后,进行人证合一验证,当人证合一验证通过后,才开启门禁。下面具体说明待通行人员的证件真伪验证过程。
在可选的方案中,当确定待通行人员为外来人员时,提示待通行人员将证件信息面朝下放入硬件设备,硬件设备自动通过内置摄像头采集白光条件下的白光图像W,红外光源下的红外图像IR以及紫外光源下的紫外图像UV。
然后,使用OCR技术识别所述红外图像中的第一机读码S1,对第一机读码S1进行校验,当第一机读码S1通过校验后,采用所述第一机读码S1激活证件的芯片,获取芯片内存储的第二机读码S2;校验第一机读码S1和所述第二机读码S2对应位置处的字符是否一致,若一致则继续进行紫外图像和红外图像的防伪点验证;否则,显示证件错误,所述待通行人员的证件为伪造的,待通行人员的证件验证不通过。在其他应用场景下,如果证件内部没有芯片,则只检验第一机读码S1是否合乎规范。
当第一机读码S1和所述第二机读码S2对应位置处的字符一致时,采集所述待通行人员的证件的紫外图像,分别对所述紫外图像和所述红外图像的防伪点进行鉴伪;当所述紫外图像和所述红外图像对应的防伪点均通过鉴伪验证时,所述待通行人员的证件通过真伪验证。
其中,紫外图像的防伪点包括对紫外图案(紫外花纹)的验证,对紫外图像的防伪点验证包括:对紫外图像进行预检测,进而从数据库中初步筛选出,与所述紫外图像中的紫外图案相对应的标准图案A;依次对所述紫外图像进行图像分离、图像更新和图像合成,以实现所述紫外图像中紫外图案的前景增强;从前景增强后的紫外图案中提取特征,并与数据库中标准图案A的特征进行匹配,得到所述紫外图案与所述标准图案A的相似度;根据预先设置的相似度阈值,判断得到的所述相似度是否满足预设条件,进而鉴别所述紫外图像的真伪。
在本实施例中,给出前景增强和相似度检测一体化的思路,可避免证件图像中的字符遮挡干扰,在前景增强的图像分离中调整自适应参数,提升了图像分离速度和精度;在图像更新中对纹理图像的更新算法进行改进,提升更新区域的视觉效果;在相似度检测的过程中引入权重图像,减小前景增强算法产生的偏差,抑制前景增强区域的特征向量对检测结果的影响。
其中,红外图像的防伪点包括标识图像,对红外图像的防伪点验证包括:从数据库中筛选出与所述红外图像中的待鉴别标识图像相匹配的标识模板图像;分别获取所述待鉴别标识图像和所述标识模板图像的环形投影向量,根据所述待鉴别标识图像的环形投影向量和所述标识模板图像的环形投影向量的相似度情况,确定所述待鉴别标识图像的真伪,从而确定红外图像的真伪。
在本实施例中,对图像进行分割,得到待鉴别标识图像,可以有效提取标识信息,以进行鉴别;基于环形投影向量对待鉴别标识图像进行鉴别,具有良好的旋转不变性,提高了鉴伪的准确度,能够有效解决标识信息难以鉴别的问题。
在优选的实施例中,在进行前述验证后,还需进行证件人员照片验证步骤:采用前述第一机读码S1激活芯片,得到芯片内部存储的人脸图像C,通过图像处理技术检测出白光图像W中的人脸图片D,并通过人脸识别算法对人脸图像D和人脸图像C提取特征进行一致性匹配,当人脸图像D和人脸图像C一致时,待通行人员的证件通过真伪验证。
在待通行人员的证件通过真伪验证后,需要进行人证合一的验证,具体地,将前述降维后得到的二维人脸图像A2与证件内部人脸图像C进行一致性验证,具体地,分别通过人脸识别算法对二维人脸图像A2与人脸图像C提取特征,进行一致性判定,若通过一致性判定,则开启门禁,以使待通行人员通过门禁。
在实际应用场景下,会存在外来人员忘记携带证件的情况的发生,在此情况下,获取与外来人员相关的常驻人员(担保人)的人脸图像,并将外来人员的人脸图像与常驻人员的人脸图像进行关联,在得到常驻人员的授权后,开启门禁,以使外来人员通过门禁,后续可以通过前述常驻人员(担保人)进行外来人员的追溯。
在实际应用场景下,结合图6,外来人员的类型不同时,访问的时间会存在差异,为了进一步保证安全性,在优选的实施例中,根据外来人员的类型预设访问时间,当外来人员超过预设访问时间时,将所述待通行人员的人脸图像和来访事由发送至保卫处,以进行警示。
具体地,所述待通行人员的类型包括外来人员,所述外来人员包括快递人员、外卖人员或家政服务人员,当外来人员包括快递人员、外卖人员或家政服务人员需要进行短期授权,所述门禁方法还包括:当所述待通行人员为快递人员、外卖人员或者家政服务人员时,授予所述待通行人员对应的预设访问时间;当所述待通行人员超过预设访问时间后,将所述待通行人员的人脸图像和来访事由发送至保卫处,以进行警示。
在实际应用场景下,结合图6,还存在一些外来人员为与公司合作交流的来访人员或者常驻人员的亲友,需要进行长期授权。所述门禁方法还包括:获取与外来人员相关的常驻人员授权后,将外来人员的人脸图像存储至临时存储区,并设置外来人员访问时间的截止时间点,直至截止时间点之前,对经过长期授权的外来人员进行人脸验证,在人脸验证通过后,即开启门禁。
在优选的实施例中,所述门禁方法还包括统计预设时间段的外来人员的人流量,并筛选出人流量高于预设阈值的时间段,进而显示出外来人员的来访高峰,从而提醒管理人员在相应时间段提高注意力。
在实际应用场景下,门禁附近活动的人员较多,存在一些人员只是路过门禁,而非需要通过门禁的人员,为了避免对路过的人员进行识别,占用识别资源,造成资源的浪费,在优选的实施例中,门禁系统可以与多个摄像头连接,每个摄像头的成像角度不同,同一个人形物的大小在不同摄像头对应的采集图像中的显示大小不同,但是成像物体的大小是呈比例的,因此,在采集图像中设定一个界限(在采集图像中表现为一条直线),当人员距离门禁小于此界限后将所述人员标记为待通行人员。具体地,在步骤10之前还包括如下过程:通过摄像头采集人员图像,当人员图像的成像大小超过预设的界限时,将所述人员标记为待通行人员。
本实施例的门禁方法结合人脸识别和多证件识别对不同类型的待通行人员进行验证,在保证安全性的基础上,一方面可以覆盖更广的人群范围进行验证,另一方面针对特定的人群(例如,常驻人员)只进行人脸检测,可以提高验证的效率,本实施例的门禁方法可以兼顾全面性以及验证的安全性,适用于市场使用。
实施例2:
基于上述实施例的门禁方法,本实施例提供一种门禁系统,该门禁系统包括:图像采集及处理单元、人脸验证单元、证件信息采集及处理单元、人证验证单元以及授权单元。该门禁系统与数据库连接,数据库中存储常驻人员的基本信息以及人脸图像,每当对待通行人员验证时,从数据库内数据进行比对。其中,可以通过后台操作,添加/删除/修改常驻人员信息。
此外,门禁系统还与多个摄像头和显示屏连接,可以在不同网格中同时显示所有位置摄像头图像。当门禁出入口出现尾随等异常情况时,可以在显示屏发出警告。同时,单位外围,小区围墙外部等非通道区域可以布置摄像头,使用图像处理算法,当有人接近此区域出现异常行为,可以将管理中心相应监控图像网格标红警告。
在本实施例中,图像采集及处理单元用于获取待通行人员的人脸图像;人脸验证单元用于对所述人脸图像进行验证,并确定所述待通行人员的类型;证件信息采集及处理单元用于验证所述待通行人员的证件的真伪;人证验证单元用于在所述待通行人员的证件通过真伪验证后,判断确定所述待通行人员的人脸图像与所述证件中存储的图像的一致性;当所述待通行人员的人脸图像与所述证件中存储的图像的一致时,开启门禁,以使待通行人员通过门禁;授权单元用于对外来人员进行长时间或短时间授权。
关于门禁系统的管理方法详见实施例1,在此不再赘述。
本实施例的门禁系统具有如下优势:第一,本系统作为一种新型的门禁系统,可以独立使用,不用联网时也可具备基础功能。第二,本系统支持多类证件的验证及鉴伪,包括且不限于身份证、台胞证、港澳通行证、港澳回乡证、各国护照、驾驶证等,并且首次支持港澳台居民证等新发证件;第三,本系统采用了较为新颖的三维人脸识别算法,设计了特别的框架作为算法识别流程,可以避免二维平面中的人脸欺骗问题,并具有更高的识别能力,可以在很大程度上处理由于外部遮挡,表情变化等原因带来的低识别率问题。第四,本系统针对外来人员问题提出了长短期授权方案,并统计数据来提高安全性。第五,本系统针对非通行区域的安全问题,采用一种划定安全界限的方式,当有人形物体越过此界限,在监控摄像显示中会发出警告。
进一步地,在联网状态下,门禁系统的所有功能完备;在断电等意外因素处于断网状态时,门禁系统可以固定至上位机中使用,仍具有三维人脸识别功能,多证件验证功能与短期授权功能。
实施例3:
请参阅图8,图8是本发明实施例提供的一种门禁装置的结构示意图。本实施例的门禁装置包括一个或多个处理器41以及存储器42。其中,图8中以一个处理器41为例。
处理器41和存储器42可以通过总线或者其他方式连接,图8中以通过总线连接为例。
存储器42作为一种基于门禁方法的非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如实施例1中的门禁方法以及对应的程序指令。处理器41通过运行存储在存储器42中的非易失性软件程序、指令以及模块,从而执行门禁方法的各种功能应用以及数据处理,实现实施例1的门禁方法的功能。
其中,存储器42可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器42可选包括相对于处理器41远程设置的存储器,这些远程存储器可以通过网络连接至处理器41。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
关于门禁方法请参照图1~图6及相关的文字描述在此,不再赘述。
值得说明的是,上述装置和系统内的模块、单元之间的信息交互、执行过程等内容,由于与本发明的处理方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(Read Only Memory,简写为ROM)、随机存取存储器(Random AccessMemory,简写为RAM)、磁盘或光盘等。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多证件识别的门禁方法,其特征在于,所述门禁方法包括:
获取待通行人员的人脸图像,对所述人脸图像进行验证,并确定所述待通行人员的类型;
根据所述待通行人员的类型,选择性验证所述待通行人员的证件的真伪;
在所述待通行人员的证件通过真伪验证后,判断确定所述待通行人员的人脸图像与所述证件中存储的图像的一致性;
当所述待通行人员的人脸图像与所述证件中存储的图像的一致时,开启门禁,以使待通行人员通过门禁。
2.根据权利要求1所述的门禁方法,其特征在于,所述获取待通行人员的人脸图像,对所述人脸图像进行验证,并确定所述待通行人员的类型包括:
获取待通行人员的三维人脸图像;
对所述三维人脸图像进行处理,得到所述三维人脸图像的实际径向曲线;
将所述实际径向曲线与数据库中存储的参照径向曲线进行弹性匹配;
若匹配成功,则所述待通行人员为常驻人员,开启门禁,以使所述待通行人员通过门禁;
若匹配不成功,则所述待通行人员为外来人员,执行验证所述待通行人员的证件的真伪步骤。
3.根据权利要求2所述的门禁方法,其特征在于,对所述三维人脸图像进行处理,得到所述三维人脸图像的实际径向曲线包括:
对图像进行预处理,并检测所述三维人脸图像上是否存在遮挡物;
若存在,则移除所述遮挡物,得到包含空白区域的三维人脸图像,并采集以鼻尖为中心的人脸径向曲线;
判断确定所述空白区域相对于所述三维人脸图像是否呈对称分布;
若所述空白区域相对于所述三维人脸图像呈非对称分布,则依据人脸特征的对称性,采用与空白区域相对称的人脸径向曲线填充所述空白区域,以补偿遮挡物造成的缺失数据,得到补偿后的三维人脸图像;
采集所述补偿后的三维人脸图像的径向曲线作为所述实际径向曲线。
4.根据权利要求3所述的门禁方法,其特征在于,对所述三维人脸图像进行处理,得到所述三维人脸图像的实际径向曲线还包括:
若所述空白区域相对于所述三维人脸图像呈对称分布,则获取数据库中相应空白区域的径向曲线的平均值;
采用所述径向曲线的平均值填充所述空白区域,以补偿遮挡物造成的缺失数据,得到补偿后的三维人脸图像;
采集所述补偿后的三维人脸图像的径向曲线作为所述实际径向曲线。
5.根据权利要求1所述的门禁方法,其特征在于,验证所述待通行人员的证件的真伪包括:
采集所述待通行人员的证件的红外图像;
识别所述红外图像中的第一机读码,采用所述第一机读码激活证件的芯片,获取芯片内存储的第二机读码;
校验所述第一机读码和所述第二机读码对应位置处的字符是否一致;
若不一致,则所述待通行人员的证件为伪造的。
6.根据权利要求5所述的门禁方法,其特征在于,验证所述待通行人员证件的真伪还包括:
若一致,采集所述待通行人员的证件的紫外图像;
分别对所述紫外图像和所述红外图像的防伪点进行鉴伪;
当所述紫外图像和所述红外图像对应的防伪点均通过鉴伪验证时,所述待通行人员的证件通过真伪验证。
7.根据权利要求6所述的门禁方法,其特征在于,所述紫外图像的防伪点包括紫外图案,对所述紫外图像的防伪点进行鉴伪包括:
对紫外图像进行预检测,进而从数据库中初步筛选出,与所述紫外图像中的紫外图案相对应的标准图案A;
依次对所述紫外图像进行图像分离、图像更新和图像合成,以实现所述紫外图像中紫外图案的前景增强;
从前景增强后的紫外图案中提取特征,并与数据库中标准图案A的特征进行匹配,得到所述紫外图案与所述标准图案A的相似度;
根据预先设置的相似度阈值,判断得到的所述相似度是否满足预设条件,进而鉴别所述紫外图像的真伪。
8.根据权利要求6所述的门禁方法,其特征在于,所述红外图像的防伪点包括标识图像,对所述红外图像的防伪点进行鉴伪包括:
从数据库中筛选出与所述红外图像中的待鉴别标识图像相匹配的标识模板图像;
分别获取所述待鉴别标识图像和所述标识模板图像的环形投影向量,根据所述待鉴别标识图像的环形投影向量和所述标识模板图像的环形投影向量的相似度情况,确定所述待鉴别标识图像的真伪,从而确定红外图像的真伪。
9.根据权利要求1~8任一项所述的门禁方法,其特征在于,所述待通行人员的类型包括外来人员,所述外来人员包括快递人员、外卖人员或家政服务人员,所述门禁方法还包括:
当所述待通行人员为快递人员、外卖人员或者家政服务人员时,授予所述待通行人员对应的预设访问时间;
当所述待通行人员超过预设访问时间后,将所述待通行人员的人脸图像和来访事由发送至保卫处,进行警示。
10.一种门禁装置,其特征在于,包括至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被程序设置为执行如权利要求1~9任一项所述的门禁方法。
CN201910684102.2A 2019-07-26 2019-07-26 一种基于多证件识别的门禁方法及相应的装置 Active CN110555926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910684102.2A CN110555926B (zh) 2019-07-26 2019-07-26 一种基于多证件识别的门禁方法及相应的装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910684102.2A CN110555926B (zh) 2019-07-26 2019-07-26 一种基于多证件识别的门禁方法及相应的装置

Publications (2)

Publication Number Publication Date
CN110555926A true CN110555926A (zh) 2019-12-10
CN110555926B CN110555926B (zh) 2021-01-22

Family

ID=68736517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910684102.2A Active CN110555926B (zh) 2019-07-26 2019-07-26 一种基于多证件识别的门禁方法及相应的装置

Country Status (1)

Country Link
CN (1) CN110555926B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570549A (zh) * 2019-07-26 2019-12-13 华中科技大学 一种智能开锁方法及相应的装置
CN111582047A (zh) * 2020-04-15 2020-08-25 浙江大华技术股份有限公司 人脸识别验证通行方法及其相关装置
CN111612948A (zh) * 2020-05-14 2020-09-01 深圳旦倍科技有限公司 智能监控人员进出方法、装置、设备及可读存储介质
CN111833502A (zh) * 2020-06-28 2020-10-27 云南电网有限责任公司昆明供电局 一种无人值守变电站进出站人员智能监控管理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102013020434A2 (pt) * 2013-08-12 2017-05-02 Brasil Tecnologia E Sist Ltda Access control face for facial biometry
CN108205835A (zh) * 2017-12-15 2018-06-26 深圳市商汤科技有限公司 门禁控制方法及门禁控制系统
CN108230490A (zh) * 2016-12-22 2018-06-29 无锡日联科技股份有限公司 一种基于安检系统的智能访客系统
CN108229427A (zh) * 2018-01-29 2018-06-29 南京华科和鼎信息科技有限公司 一种基于身份证件和人脸识别的身份安全验证方法及系统
CN108334828A (zh) * 2018-01-23 2018-07-27 佛吉亚好帮手电子科技有限公司 一种车载3d人脸识别身份认证系统
CN108765656A (zh) * 2018-05-22 2018-11-06 国政通科技股份有限公司 访客验证管理系统及方法
CN109102611A (zh) * 2018-08-31 2018-12-28 镇江赛唯思智能科技有限公司 一种身份核验方法及系统
CN109191633A (zh) * 2018-08-15 2019-01-11 深圳市烽焌信息科技有限公司 员工识别方法及机器人
CN109684987A (zh) * 2018-12-19 2019-04-26 南京华科和鼎信息科技有限公司 一种基于证件的身份验证系统及方法
CN109872407A (zh) * 2019-01-28 2019-06-11 北京影谱科技股份有限公司 一种人脸识别方法、装置、设备及打卡方法、装置和系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102013020434A2 (pt) * 2013-08-12 2017-05-02 Brasil Tecnologia E Sist Ltda Access control face for facial biometry
CN108230490A (zh) * 2016-12-22 2018-06-29 无锡日联科技股份有限公司 一种基于安检系统的智能访客系统
CN108205835A (zh) * 2017-12-15 2018-06-26 深圳市商汤科技有限公司 门禁控制方法及门禁控制系统
CN108334828A (zh) * 2018-01-23 2018-07-27 佛吉亚好帮手电子科技有限公司 一种车载3d人脸识别身份认证系统
CN108229427A (zh) * 2018-01-29 2018-06-29 南京华科和鼎信息科技有限公司 一种基于身份证件和人脸识别的身份安全验证方法及系统
CN108765656A (zh) * 2018-05-22 2018-11-06 国政通科技股份有限公司 访客验证管理系统及方法
CN109191633A (zh) * 2018-08-15 2019-01-11 深圳市烽焌信息科技有限公司 员工识别方法及机器人
CN109102611A (zh) * 2018-08-31 2018-12-28 镇江赛唯思智能科技有限公司 一种身份核验方法及系统
CN109684987A (zh) * 2018-12-19 2019-04-26 南京华科和鼎信息科技有限公司 一种基于证件的身份验证系统及方法
CN109872407A (zh) * 2019-01-28 2019-06-11 北京影谱科技股份有限公司 一种人脸识别方法、装置、设备及打卡方法、装置和系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DRIRA H, BEN A B, SRIVASTAVA A: "3D Face Recognition under Expressions,Occlusions and Pose Variations", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS & MACHINE》 *
X. M. TANG, J. S. CHEN AND Y. S. MOON: "Accurate 3D face registration based on the symmetry plane analysis on nose regions", 《16TH EUROPEAN SIGNAL PROCESSING CONFERENCE》 *
YE LI , YINGHUI WANG , JING LIU, WEN HAO: "Expression-insensitive 3D face recognition by the fusion of multiple subject-specific curves", 《NEUROCOMPUTING》 *
刘晓宁: "基于三维模型的人脸识别技术研究", 《中国优秀博硕士学位论文全文数据库 (博士)信息科技辑》 *
叶剑华: "三维及多模态人脸识别研究", 《中国博士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570549A (zh) * 2019-07-26 2019-12-13 华中科技大学 一种智能开锁方法及相应的装置
CN111582047A (zh) * 2020-04-15 2020-08-25 浙江大华技术股份有限公司 人脸识别验证通行方法及其相关装置
CN111612948A (zh) * 2020-05-14 2020-09-01 深圳旦倍科技有限公司 智能监控人员进出方法、装置、设备及可读存储介质
CN111833502A (zh) * 2020-06-28 2020-10-27 云南电网有限责任公司昆明供电局 一种无人值守变电站进出站人员智能监控管理方法

Also Published As

Publication number Publication date
CN110555926B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN110555926B (zh) 一种基于多证件识别的门禁方法及相应的装置
CN110570549B (zh) 一种智能开锁方法及相应的装置
CN108985134B (zh) 基于双目摄像机的人脸活体检测及刷脸交易方法及系统
CN110491004A (zh) 一种居民社区人员安全管理系统及方法
CN103902977B (zh) 基于Gabor二值模式的人脸识别方法及装置
US9064145B2 (en) Identity recognition based on multiple feature fusion for an eye image
KR20200006987A (ko) 출입 제어 방법, 출입 제어 장치, 시스템 및 저장매체
CN110543957A (zh) 一种智能酒店入住方法以及相应的装置
CN104700094B (zh) 一种用于智能机器人的人脸识别方法及系统
CN111460962A (zh) 一种口罩人脸识别方法及系统
CN108629305A (zh) 一种面部识别方法
KR20090008256A (ko) 얼굴 인식 시스템
CN201845343U (zh) 一种用于人脸识别的图像获取装置
CN106056729A (zh) 一种基于人脸识别技术的门禁系统
KR102329128B1 (ko) 홍채 이미지 부호화를 위한 적응적 양자화 방법
CN109615733A (zh) 一种基于人脸识别的农牧场防盗方法、装置及存储介质
CN111862413A (zh) 实现抗疫情非接触多维身份快速识别的方法及其系统
CN112560683A (zh) 一种翻拍图像识别方法、装置、计算机设备及存储介质
CN109166220B (zh) 一种基于区块链的智能门禁系统
CN111462417A (zh) 一种无人银行的多信息验证系统和多信息验证方法
CN113033244A (zh) 一种人脸识别方法、装置及设备
CN109086692A (zh) 一种人脸识别装置和方法
CN108446704A (zh) 一种粘连字符验证码分割与识别方法
Ashiba et al. Implementation face based cancelable multi-biometric system
Esan et al. Bimodal biometrics for financial infrastructure security

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant