CN107958173A - 虹膜定位方法和装置 - Google Patents

虹膜定位方法和装置 Download PDF

Info

Publication number
CN107958173A
CN107958173A CN201610906581.4A CN201610906581A CN107958173A CN 107958173 A CN107958173 A CN 107958173A CN 201610906581 A CN201610906581 A CN 201610906581A CN 107958173 A CN107958173 A CN 107958173A
Authority
CN
China
Prior art keywords
iris
fern
shape
key point
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610906581.4A
Other languages
English (en)
Inventor
许猛
王琪
张祥德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Eyecool Technology Co Ltd
Original Assignee
Beijing Eyecool Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Eyecool Technology Co Ltd filed Critical Beijing Eyecool Technology Co Ltd
Priority to CN201610906581.4A priority Critical patent/CN107958173A/zh
Publication of CN107958173A publication Critical patent/CN107958173A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种虹膜定位方法和装置。其中,该方法包括:对瞳孔边界进行粗定位,得到虹膜内边界定位参数;根据虹膜内边界定位参数,初始化虹膜图像的关键点的位置;使用显式形状回归方法迭代更新关键点的位置;根据更新后的关键点的位置拟合眼睑边界和虹膜外边界,得到拟合结果;根据拟合结果和虹膜内边界定位参数,对虹膜图像中的虹膜边界进行精定位。本发明解决了现有技术中眼睑检测和虹膜定位泛化性比较低、抗干扰能力较差的技术问题。

Description

虹膜定位方法和装置
技术领域
本发明涉及图像处理领域,具体而言,涉及一种虹膜定位方法和装置。
背景技术
随着信息技术的迅速发展,人们对身份认证和信息安全的要求越来越高,为了满足人们的需求,生物特征识别技术受到日益广泛的关注。目前,指纹、人脸、虹膜等基于人体固有生物特征的识别技术已经慢慢地进入人们的生活,在机场安检、门禁系统、安全支付等诸多领域为人们的生活提供便捷服务。在诸多的生物特征识别技术中,虹膜识别作为安全性最高的生物识别技术之一,已经成为当前的一个研究热点。
在虹膜识别技术中,虹膜定位和眼睑检测是至关重要的,虹膜定位和眼睑检测的效率和准确性直接影响到虹膜识别的速度以及匹配的准确性。快速、准确的虹膜定位和眼睑检测方法是现在虹膜识别研究的一个重要的方向。
现有的虹膜定位方法,主要是利用虹膜区域与瞳孔、巩膜区域的灰度值差异进行定位。目前的主要方法,一种是基于灰度差值的微积分检测算子方法,还有一种是基于梯度的边缘检测和霍夫变换相结合的方法。
发明人发现,现有技术中,眼睑检测和虹膜定位方法通常需要给定大量的固定参数,针对不同的采集设备甚至不同的采集条件,需要根据逻辑关系调整这些参数值以保证眼睑检测和虹膜定位的准确性。这就导致这些传统的应用图像处理技术的眼睑检测和虹膜定位方法泛化性比较低,抗干扰能力较差。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种虹膜定位方法和装置,以至少解决现有技术中眼睑检测和虹膜定位泛化性比较低、抗干扰能力较差的技术问题。
根据本发明实施例的一个方面,提供了一种虹膜定位方法,包括:对瞳孔边界进行粗定位,得到虹膜内边界定位参数;根据所述虹膜内边界定位参数,初始化虹膜图像的关键点的位置;使用显式形状回归方法迭代更新所述关键点的位置;根据更新后的所述关键点的位置拟合眼睑边界和虹膜外边界,得到拟合结果;根据所述拟合结果和所述虹膜内边界定位参数,对所述虹膜图像中的虹膜边界进行精定位。
进一步地,使用显式形状回归方法迭代更新所述关键点的位置包括:步骤1、令n=0;步骤2、根据所述关键点的位置计算第一预设数量的蕨的特征值;步骤3、根据蕨与虹膜形状增量的映射关系,将所述第一预设数量的蕨的特征值映射为虹膜形状增量;步骤4、根据所述虹膜形状增量更新所述关键点的位置,并将n+1的值赋给n;步骤5、判断n是否小于N,如果n小于N,跳转执行步骤2;如果n不小于N,结束,其中,N为预设数值。
进一步地,根据更新后的所述关键点的位置拟合眼睑边界和虹膜外边界,得到拟合结果包括:根据更新后的所述关键点的位置,使用加权最小二乘法,分别对所述眼睑边界和所述虹膜外边界进行拟合,得到所述眼睑边界的抛物线参数和虹膜圆形外边界参数。
进一步地,根据所述拟合结果和所述虹膜内边界定位参数,对所述虹膜图像中的虹膜边界进行精定位包括:根据所述拟合结果和所述虹膜内边界定位参数,利用微积分检测算子对所述虹膜图像中的虹膜内外边界进行精定位。
进一步地,在步骤1之前,所述方法还包括:获取训练样本,并为训练样本赋予虹膜初始形状;获取当前时刻关键点的位置,并计算形状回归目标;根据所述形状回归目标,筛选灰度差异特征并构造蕨,并获得当前时刻不同蕨特征值对应的形状增量;根据所述当前时刻不同蕨特征值对应的形状增量,更新形状回归目标,继续构造蕨,并计算蕨特征值对应的形状增量,如此重复进行多次,直到获得第一所述预设数量的蕨,每个蕨对应一个弱回归单元,所述第一预设数量的蕨对应一个强回归单元;利用所述第一预设数量的蕨对应的形状增量,更新当前关键点位置,重新计算形状增量,筛选下一个强回归单元对应的多个蕨,直到获得第二预设数量的强回归单元。
进一步地,根据所述形状回归目标,筛选灰度差异特征并构造蕨,并获得当前时刻蕨特征值对应的形状增量,包括:在每一个关键点周围随机生成第一数量的像素点;将全部的像素点中的任意两个像素点进行组合,得到第二数量的灰度差异特征;随机选择一个方向作为目标方向,将所述训练样本的形状回归目标在所述目标方向上进行投影,得到投影值向量;分别计算所述第二数量的灰度差异特征中每个灰度差异特征与所述投影值向量的相关系数,筛选出绝对值最大的相关系数对应的灰度差异特征并将其作为目标灰度差异特征;依次选择Nf个目标方向,获得Nf个目标灰度差异特征;为每个目标灰度差异特征随机给定一个阈值,经过Nf次二元测试之后,获得Nf位的二进制序列,每一个蕨的特征值在之内;将训练样本按照蕨的特征值分类,根据训练样本,计算蕨的不同特征值对应的形状增量。
根据本发明实施例的另一方面,还提供了一种虹膜定位装置,包括:第一定位单元,用于对瞳孔边界进行粗定位,得到虹膜内边界定位参数;初始化单元,用于根据所述虹膜内边界定位参数,初始化虹膜图像的关键点的位置;更新单元,用于使用显式形状回归方法迭代更新所述关键点的位置;拟合单元,用于根据更新后的所述关键点的位置拟合眼睑边界和虹膜外边界,得到拟合结果;第二定位单元,用于根据所述拟合结果和所述虹膜内边界定位参数,对所述虹膜图像中的虹膜边界进行精定位。
进一步地,所述更新单元用于执行以下步骤:步骤1、令n=0;步骤2、根据所述关键点的位置计算第一预设数量的蕨的特征值;步骤3、根据蕨与虹膜形状增量的映射关系,将所述第一预设数量的蕨的特征值映射为虹膜形状增量;步骤4、根据所述虹膜形状增量更新所述关键点的位置,并将n+1的值赋给n;步骤5、判断n是否小于N,如果n小于N,跳转执行步骤2;如果n不小于N,结束,其中,N为预设数值。
进一步地,所述拟合单元包括:拟合子单元,用于根据更新后的所述关键点的位置,使用加权最小二乘法,分别对所述眼睑边界和所述虹膜外边界进行拟合,得到所述眼睑边界的抛物线参数和虹膜圆形外边界参数。
进一步地,所述第二定位单元包括:精定位子单元,用于根据所述拟合结果和所述虹膜内边界定位参数,利用微积分检测算子对所述虹膜图像中的虹膜边界进行精定位。
进一步地,所述装置还包括:第一获取单元,用于在执行步骤1之前,获取训练样本,并为训练样本赋予初始虹膜形状;第二获取单元,用于获取当前时刻关键点的位置,并计算形状回归目标;筛选单元,用于根据所述形状回归目标,筛选灰度差异特征并构造蕨,并获得当前时刻蕨特征值对应的形状增量;第三获取单元,用于根据所述当前时刻蕨特征值对应的形状增量,更新形状回归目标,继续构造蕨,并计算蕨特征值对应的形状增量,如此重复进行多次,直到获得所述第一预设数量的蕨,每个蕨对应一个弱回归单元,所述第一预设数量的蕨对应一个强回归单元;第四获取单元,用于利用所述第一预设数量的蕨对应的形状增量,更新当前关键点位置,重新计算形状增量,筛选下一个强回归单元对应的多个蕨,直到获得第二预设数量的强回归单元。
进一步地,所述筛选单元包括:生成子单元,用于在每一个关键点周围随机生成第一数量的像素点;组合子单元,用于将全部的像素点中的任意两个像素点进行组合,得到第二数量的灰度差异特征;投影子单元,用于随机选择一个方向作为目标方向,将所述训练样本的形状回归目标在所述目标方向上进行投影,得到投影值向量;计算子单元,用于分别计算所述第二数量的灰度差异特征中每个灰度差异特征与所述投影值向量的相关系数,筛选出绝对值最大的相关系数对应的灰度差异特征并将其作为目标灰度差异特征;选择子单元,用于依次选择Nf个目标方向,获得Nf个目标灰度差异特征;测试子单元,用于为每个目标灰度差异特征随机给定一个阈值,经过Nf次二元测试之后,获得Nf位的二进制序列,每一个蕨的特征值在之内;分类子单元,用于将训练样本按照蕨的特征值分类,根据训练样本,计算蕨的不同特征值对应的形状增量。
在本发明实施例中,瞳孔边界即为虹膜内边界,首先对瞳孔边界进行粗定位,得到了虹膜内边界定位参数,根据虹膜内边界定位参数对虹膜图像的关键点的坐标进行初始化,使用显式形状回归方法迭代更新关键点的位置,根据更新后的关键点的位置拟合眼睑边界和虹膜外边界,得到拟合结果,根据拟合结果和虹膜内边界定位参数,对虹膜图像中的虹膜边界进行精定位。利用学习方法对虹膜图像中的虹膜边界进行定位,针对不同的虹膜图像数据库,算法有着很好的泛化性,同时针对噪声比较严重的虹膜图像,算法有着良好的鲁棒性。本发明解决了现有技术中眼睑检测和虹膜定位泛化性比较低、抗干扰能力较差的技术问题,达到了提高眼睑检测和虹膜定位的泛化性和抗干扰能力的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的虹膜定位方法的流程图;
图2-1是根据本发明实施例的初始化形状的示意图;
图2-2是根据本发明实施例的第一个弱回单元更新结果的示意图;
图2-3是根据本发明实施例的第一个强回归单元更新结果的示意图;
图2-4是根据本发明实施例的最终的更新结果的示意图;
图3是根据本发明实施例的选择三组初始值的平均更新结果的示意图;
图4根据本发明实施例的眼睑边界和虹膜外圆边界估计结果的示意图;
图5是根据本发明实施例的眼睑检测和虹膜精定位结果的示意图;
图6是根据本发明实施例的虹膜定位装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种虹膜定位方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的虹膜定位方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,对瞳孔边界进行粗定位,得到虹膜内边界定位参数。
步骤S104,根据虹膜内边界定位参数,初始化虹膜图像的关键点的位置。
步骤S106,使用显式形状回归方法迭代更新关键点的位置。
步骤S108,根据更新后的关键点的位置拟合眼睑边界和虹膜外边界,得到拟合结果。
步骤S110,根据拟合结果和虹膜内边界定位参数,对虹膜图像中的虹膜边界进行精定位。
在本发明实施例中,瞳孔边界即为虹膜内边界,首先对瞳孔边界进行粗定位,得到了虹膜内边界定位参数,根据虹膜内边界定位参数对虹膜图像的关键点的坐标进行初始化,使用显式形状回归方法迭代更新关键点的位置,根据更新后的关键点的位置拟合眼睑边界和虹膜外边界,得到拟合结果,根据拟合结果和虹膜内边界定位参数,对虹膜图像中的虹膜边界进行精定位。利用学习方法对虹膜图像中的虹膜边界进行定位,针对不同的虹膜图像数据库,算法有着很好的泛化性,同时针对噪声比较严重的虹膜图像,算法有着良好的鲁棒性,解决了现有技术中眼睑检测和虹膜定位的泛化性比较低、抗干扰能力较差的技术问题,达到了提高眼睑检测和虹膜定位的泛化性和抗干扰能力的技术效果。
可选地,对瞳孔边界进行粗定位包括:利用径向对称变换方法对瞳孔边界进行粗定位。
在本发明实施例中,选择利用径向对称变换方法确定虹膜内边界定位参数,这种对虹膜的内边界进行粗定位的方法计算效率较高,存储代价较小。
在使用显式形状回归方法迭代更新关键点的位置的过程中,迭代的次数是事先指定的。假设事先指定需要迭代的次数为预设数值N,使用显式形状回归方法迭代更新关键点的位置的过程包括以下步骤:
步骤1、令n=0;
步骤2、根据关键点的位置计算第一预设数量的蕨的特征值;
步骤3、根据蕨与虹膜形状增量的映射关系,将第一预设数量的蕨的特征值映射为虹膜形状增量;
步骤4、根据虹膜形状增量更新关键点的位置,并将n+1的值赋给n;
步骤5、判断n是否小于N,如果n小于N,跳转执行步骤2;如果n不小于N,结束,其中,N为预设数值。
N也是下述强回归单元的数量,即第二预设数量。
可选地,根据更新后的关键点的位置拟合眼睑边界和虹膜外边界,得到拟合结果包括:根据更新后的关键点的位置,使用加权最小二乘法,分别对眼睑边界和虹膜外边界进行拟合,得到眼睑边界的抛物线参数和虹膜圆形外边界参数。
使用抛物线方程拟合眼睑边界,使用圆方程拟合虹膜外边界。针对逐步回归获得关键点位置,分别对位于上、下眼睑和虹膜外边缘上的关键点进行拟合,获得眼睑边界的抛物线参数和虹膜外边缘参数。
可选地,根据拟合结果和虹膜内边界定位参数,对虹膜图像中的虹膜边界进行精定位包括:根据拟合结果和虹膜内边界定位参数,利用微积分检测算子对虹膜图像中的虹膜边界进行精定位。
可选地,在上述步骤1之前,方法还包括:获取训练样本,为训练样本赋予虹膜初始形状;获取当前时刻关键点的位置,并计算形状回归目标;根据形状回归目标,筛选灰度差异特征并构造蕨,并获得当前时刻不同蕨特征值对应的形状增量;根据当前时刻不同蕨特征值对应的形状增量,更新形状回归目标,继续构造蕨,并计算蕨特征值对应的形状增量,如此重复进行多次,直到获得第一预设数量的蕨,每个蕨对应一个弱回归单元,第一预设数量的蕨对应一个强回归单元;利用第一预设数量的蕨对应的形状增量,更新当前关键点位置,重新计算形状增量,筛选下一个强回归单元对应的多个蕨,直到获得第二预设数量的强回归单元。
每一个蕨特征构成的回归单元可以看成一个弱回归单元,Nr个(第一预设数量)弱回归单元构成一个强回归单元。通过NR次(第二预设数量)强回归单元的迭代更新,完成形状关键点的迭代更新。
可选地,根据形状回归目标,筛选灰度差异特征并构造蕨,并获得当前时刻蕨特征值对应的形状增量,包括:在每一个关键点周围随机生成第一数量的像素点;将全部的像素点中的任意两个像素点进行组合,得到第二数量的灰度差异特征;随机选择一个方向作为目标方向,将训练样本的形状回归目标在目标方向上进行投影,得到投影值向量;分别计算第二数量的灰度差异特征中每个灰度差异特征与投影值向量的相关系数,筛选出绝对值最大的相关系数对应的灰度差异特征并将其作为目标灰度差异特征;依次选择Nf个目标方向,获得Nf个目标灰度差异特征;为每个目标灰度差异特征随机给定一个阈值,经过Nf次二元测试之后,获得Nf位的二进制序列,每一个蕨的特征值在之内;将训练样本按照蕨的特征值分类,根据训练样本,计算蕨的不同特征值对应的形状增量。
本发明实施例提供的虹膜定位方法,利用瞳孔粗定位参数初始化虹膜图像形状,在训练样本上设计和筛选灰度差异特征,并将这些特征组合成一个个随机蕨,用于虹膜形状回归;在测试过程中,计算虹膜图像的随机蕨特征,将特征值映射为虹膜形状增量,应用显式形状回归方法迭代更新虹膜形状。
为了获得稳定的形状回归结果,需要重复进行多次的迭代更新。通过计算关键点的多个蕨特征值,将多个蕨特征值映射为虹膜形状增量,根据虹膜形状增量更新关键点的位置,进行多次迭代计算,逐步对虹膜形状进行回归,获得对虹膜真实形状信息的估计。这种基于学习的方法提高了虹膜定位算法的泛化性和鲁棒性。在形状回归的过程中,利用简单的灰度差异特征获得形状增量,计算过程比较简单,保证了算法的效率,能够快速准确地进行眼睑检测和虹膜定位。
实施例2
根据本发明实施例,还提供了另一种虹膜定位方法。该虹膜定位方法主要包括以下几个步骤:
步骤(a):瞳孔粗定位、步骤(b):初始化虹膜形状、步骤(c):显式形状回归方法更新形状、步骤(d):眼睑边界和虹膜外边界拟合、步骤(e):虹膜边界精定位。下面对这种虹膜定位方法进行详细说明。
步骤(a):瞳孔粗定位
首先,需要对虹膜的瞳孔进行粗定位,目前可以采用微积分检测算子在内的多种方法实现,综合考虑计算效率和存储代价,这里选择利用径向对称变换方法确定瞳孔圆形边界参数。
步骤(b):初始化虹膜形状
对于训练集,手动标记了所有真实关键点位置,设第i个训练样本的真实形状其中p表示关键点数量。对于当前的测试虹膜图像,随机选择第j个训练样本,初始化关键点位置如公式(1)所示。
其中(xj,yj)表示训练样本j的瞳孔圆心坐标,(xpupil,ypupil)表示测试图像的瞳孔圆心坐标。
步骤(c):显式形状回归方法更新形状
针对当前虹膜形状,初始化形状增量为ΔS=[0;0;…;0]p。则需要计算当前步骤对应的ferni特征值。其中ferni由Nf个灰度差异特征及对应的阈值构成,记当fij>Tij,j∈[1,Nf]时取值为1,否则为0,显然特征值是一个Nf位的二进制数,并且特征值的取值共有种可能,不妨设每一种可能都对应一组形状增量则利用当前ferni特征对应的形状增量,更新虹膜形状增量为:
ΔS=ΔS+ΔSik (2)
灰度差异特征表示为:
其中表示在第p1个关键点周围生成的第i个特征像素,表示第p2个关键点生成的第j个特征像素,像素位置记录为与关键点的相对坐标。
经过计算全部Nr个fern(fern即蕨)特征值形状增量,并将其加和,更新当前关键点形状:
S=S+ΔS (4)
为了获得稳定的形状回归结果,需要重复进行多次的迭代更新,在这里,选择迭代更新NR次。
每一个fern特征构成的回归单元可以看成一个弱回归单元,Nr个(第一预设数量)弱回归单元构成一个强回归单元。通过NR次(第二预设数量)强回归单元的迭代更新,获得了最终的关键点形状回归结果。经过交叉验证,取关键点个数p=8,蕨中灰度差异特征个数Nf=5,弱回归器数量Nr=50,强回归器数量NR=7时获得了比较理想的结果。图2-1至图2-4给出了形状逐步回归的示例。图2-1是根据本发明实施例的初始化形状的示意图。图2-2是根据本发明实施例的第一个弱回单元更新结果的示意图。图2-3是根据本发明实施例的第一个强回归单元更新结果的示意图。图2-4是根据本发明实施例的最终的更新结果的示意图。
为了减少误差,可以选择多组初始值,对形状回归结果求平均。图3是根据本发明实施例的选择三组初始值的平均更新结果的示意图。
每一个蕨特征和相应的形状增量,由训练过程给出。
在每一个关键点周围随机生成Np个像素点,并且保存为相应关键点的相对坐标。将所有候选像素点两两组合,生成个灰度差异特征。
对所有训练样本,给出样本的回归目标:
随机的选择一个方向,计算训练样本在这个方向上的投影值,记为
计算所有灰度差异特征和投影值向量的相关系数,选择最相关的一组灰度差异特征。
重复生成随机方向、选择最相关灰度差异特征两个步骤,直到生成Nf个灰度差异特征。
对于选择的每一个灰度差异特征,给予一个随机的阈值。于是利用这Nf个灰度差异特征构成了一个随机蕨。其中灰度差异特征的两个像素点坐标,保存为两个像素点与相应的关键点的相对位置。
在计算灰度差异特征与投影值的相关系数时,为了减少计算量,利用cov(Fi,Fj),var(Fi),var(Fj)表示相关程度,其中Fi,Fj表示灰度差异特征中选择的两个像素点的灰度值向量,cov表示协方差,var表示方差。
显然,相关系数计算公式为:
其中std表示标准差,有
根据上面的公式,对于所有候选值有相同的于是,相关程度的比较可以通过比较公式(7)获得,绝对值最大时表示相关程度越高。
对于每一个蕨,根据Nf个灰度差异特征和相应阈值,将训练样本分为类,每一个类对应于蕨特征结果的一个二进制数,对于每一类样本,计算样本的平均回归目标:
其中Ωb为第b个类中的样本,|Ωb|表示样本数量,β为收缩常数,以防止训练集的不足而引起过拟合。这里取β=500;平均回归目标就是蕨不同特征值对应的形状增量输出。
在获得蕨的每一个二进制取值对应的形状增量后,对每个训练样本更新形状增量。即,当第i个样本属于第b类时,有
如此,对每一组生成的随机像素点,顺序筛选出Nr个蕨,并且计算出随机蕨对应的形状增量的映射。
经过Nr次计算后,利用得到这一组弱回归单元组成一个强回归单元,更新训练样本当前关键点形状:
其中ΔSi为每一个蕨对应的形状增量。
之后重新随机的在每个关键点周围选择Np个像素点,训练回归单元,如此,迭代进行NR次,获得NR个强回归单元,用于虹膜形状回归。
步骤(d):眼睑边界和虹膜外边界拟合
针对逐步回归获得关键点位置,分别对位于上、下眼睑和虹膜外边缘上的关键点进行拟合,获得眼睑边界的抛物线参数和虹膜外边缘参数。这里采用的方法为加权最小二乘估计的方法。
在拟合抛物线边界时,抛物线的方程为:
y=ax2+bx+c (11)其中x,y表示抛物线的横纵坐标,a,b,c表示抛物线参数。
将抛物线方程表示为矩阵形式为:
于是可以建立模型:
Y=XA+ε (13)
其中A=[a,b,c]T,Y=[Y1,Y2,…,Ynp]T,X=[X1,X2,…,Xnp]T,Yi=yixi,yi表示第i个关键点横纵坐标;而ε为参数误差项,ε=[ε12,…εnp]T
在这里利用权重参数控制关键点对拟合的影响,给偏离的检测点一个较小的系数。于是最小化公式(14)获得参数值。
其中其中t为参数,这里取值为2。在关键点数量不足时,权重可以统一设置为1。
在示例中,有八个关键点时,第一个到第三个关键点为上眼睑边界;第五个到第七个关键为下眼睑边界;第一个、第三个到第五个、第八个关键点构成虹膜外圆边界。图3给出了上、下眼睑检测的结果。
同样的方法可以用于对圆形边界的估计,针对圆形边界方程:
x2+y2-ax-by-c=0 (15)
写作矩阵形式为:
Xi=(xi,yi,1),可以构造(13)中所示的模型,通过加权最小二乘法求解圆形边界参数。图4示出了眼睑边界和虹膜外圆边界估计结果。
步骤(e):虹膜边界精定位
通常为了保证瞳孔粗定位的计算速度,会在一个缩小尺度的虹膜图像上估计瞳孔边界参数。这就导致了瞳孔边界定位存在一定误差;利用关键点拟合的方法获得虹膜外边界,由于关键点数量的限制,计算结果也可能存在不理想的情况。为了提升虹膜定位结果,根据粗定位的虹膜内外边界,利用如公式(17)所示的微积分检测算子进行精定位。
其中,表示高斯函数;(y0,x0,r)为圆形参数,(y0,x0)为圆心坐标,r表示圆形半径;I(x,y)表示进行虹膜边缘检测的图像。
不妨设瞳孔粗定位、虹膜外边界粗定位参数分别为(xpup,ypup,rpup)、(xiri,yiri,riri)。则限定瞳孔微积分检测算子参数搜索范围为x∈[xpup-Δxpup,xpup+Δxpup],y∈[ypup-Δypup,ypup+Δypup],r∈[rpup-Δrpup,rpup+Δrpup],(其中,Δxpup=Δypup=3,Δrpup=3);限定虹膜外边界微积分检测算子参数搜索范围为x∈[xiri-Δxiri,xiri+Δxiri],y∈[yiri-Δyiri,yiri+Δyiri],r∈[riri-Δriri,riri+Δriri],(其中,令Δxirs=Δyiri=3,Δrirs=5)。以较少的计算量,利用微积分检测算子实现了对虹膜内外圆形边界的精定位,获得虹膜定位的最终结果(如图5所示)。
从上述过程,虹膜形状可以由训练集线性表出。给定虹膜图像的初始形状,利用训练集给出形状增量,逐步对虹膜形状进行回归,获得对虹膜真实形状信息的估计。与现有虹膜识别算法相比,本发明利用了学习的方法获得了虹膜图像的一组形状关键点坐标,利用拟合的方法获得了眼睑边界的参数和虹膜外边界粗定位的参数,这种基于学习的方法提高了虹膜定位算法的泛化性和鲁棒性。在形状回归的过程中,利用简单的灰度差异特征获得形状增量,计算过程比较简单,保证了算法的效率,能够实现快速准确的眼睑检测和虹膜定位。
根据本发明实施例,还提供了一种虹膜定位装置。该虹膜定位装置可以执行上述虹膜定位方法,上述虹膜定位方法也可以通过该虹膜定位装置实施。
图6是根据本发明实施例的虹膜定位装置的示意图。如图6所示,该装置包括:第一定位单元10、初始化单元20、更新单元30、拟合单元40、第二定位单元50。
第一定位单元10,用于对瞳孔边界进行粗定位,得到虹膜内边界定位参数。
初始化单元20,用于根据虹膜内边界定位参数,初始化虹膜图像的关键点的位置。
更新单元30,用于使用显式形状回归方法迭代更新关键点的位置。
拟合单元40,用于根据更新后的关键点的位置拟合眼睑边界和虹膜外边界,得到拟合结果。
第二定位单元50,用于根据拟合结果和虹膜内边界定位参数,对虹膜图像中的虹膜边界进行精定位。
可选地,更新单元用于执行以下步骤:步骤1、令n=0;步骤2、根据关键点的位置计算第一预设数量的蕨的特征值;步骤3、根据蕨与虹膜形状增量的映射关系,将第一预设数量的蕨的特征值映射为虹膜形状增量;步骤4、根据虹膜形状增量更新关键点的位置,并将n+1的值赋给n;步骤5、判断n是否小于N,如果n小于N,跳转执行步骤2;如果n不小于N,结束,其中,N为预设数值。
可选地,拟合单元包括:拟合子单元。拟合子单元,用于根据更新后的关键点的位置,使用加权最小二乘法,分别对眼睑边界和虹膜外边界进行拟合,得到眼睑边界的抛物线参数和虹膜圆形外边界参数。
可选地,第二定位单元包括:精定位子单元。精定位子单元,用于根据拟合结果和虹膜内边界定位参数,利用微积分检测算子对虹膜图像中的虹膜内外边界进行精定位。
可选地,第一定位单元包括:粗定位子单元。粗定位子单元,用于利用径向对称变换方法对瞳孔边界进行粗定位。
可选地,装置还包括:第一获取单元、第二获取单元、筛选单元、第三获取单元、第四获取单元。第一获取单元,用于在执行步骤1之前,获取训练样本,为训练样本赋予虹膜初始形状。第二获取单元,用于获取当前时刻关键点的位置,并计算形状回归目标。筛选单元,用于根据形状回归目标,筛选灰度差异特征并构造蕨,并获得当前时刻不同蕨特征值对应的形状增量。第三获取单元,用于根据当前时刻不同蕨特征值对应的形状增量,更新形状回归目标,继续构造蕨,并计算蕨特征值对应的形状增量,如此重复进行多次,直到获得第一预设数量的蕨,每个蕨对应一个弱回归单元,第一预设数量的蕨对应一个强回归单元。第四获取单元,用于利用第一预设数量的蕨对应的形状增量,更新当前关键点位置,重新计算形状增量,筛选下一个强回归单元对应的多个蕨,直到获得第二预设数量的强回归单元。
可选地,筛选单元包括:生成子单元、组合子单元、投影子单元、计算子单元、选择子单元、测试子单元、分类子单元。生成子单元,用于在每一个关键点周围随机生成第一数量的像素点。组合子单元,用于将全部的像素点中的任意两个像素点进行组合,得到第二数量的灰度差异特征。投影子单元,用于随机选择一个方向作为目标方向,将训练样本的形状回归目标在目标方向上进行投影,得到投影值向量。计算子单元,用于分别计算第二数量的灰度差异特征中每个灰度差异特征与投影值向量的相关系数,筛选出绝对值最大的相关系数对应的灰度差异特征并将其作为目标灰度差异特征。选择子单元,用于依次选择Nf个目标方向,获得Nf个目标灰度差异特征。测试子单元,用于为每个目标灰度差异特征随机给定一个阈值,经过Nf次二元测试之后,获得Nf位的二进制序列,每一个蕨的特征值在之内。分类子单元,用于将训练样本按照蕨的特征值分类,根据训练样本,计算蕨的不同特征值对应的形状增量。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种虹膜定位方法,其特征在于,包括:
对瞳孔边界进行粗定位,得到虹膜内边界定位参数;
根据所述虹膜内边界定位参数,初始化虹膜图像的关键点的位置;
使用显式形状回归方法迭代更新所述关键点的位置;
根据更新后的所述关键点的位置拟合眼睑边界和虹膜外边界,得到拟合结果;
根据所述拟合结果和所述虹膜内边界定位参数,对所述虹膜图像中的虹膜边界进行精定位。
2.根据权利要求1所述的方法,其特征在于,使用显式形状回归方法迭代更新所述关键点的位置包括:
步骤1、令n=0;
步骤2、根据所述关键点的位置计算第一预设数量的蕨的特征值;
步骤3、根据蕨与虹膜形状增量的映射关系,将所述第一预设数量的蕨的特征值映射为虹膜形状增量;
步骤4、根据所述虹膜形状增量更新所述关键点的位置,并将n+1的值赋给n;
步骤5、判断n是否小于N,如果n小于N,跳转执行步骤2;如果n不小于N,结束,其中,N为预设数值。
3.根据权利要求1所述的方法,其特征在于,根据更新后的所述关键点的位置拟合眼睑边界和虹膜外边界,得到拟合结果包括:
根据更新后的所述关键点的位置,使用加权最小二乘法,分别对所述眼睑边界和所述虹膜外边界进行拟合,得到所述眼睑边界的抛物线参数和虹膜圆形外边界参数。
4.根据权利要求1所述的方法,其特征在于,根据所述拟合结果和所述虹膜内边界定位参数,对所述虹膜图像中的虹膜边界进行精定位包括:
根据所述拟合结果和所述虹膜内边界定位参数,利用微积分检测算子对所述虹膜图像中的虹膜边界进行精定位。
5.根据权利要求2所述的方法,其特征在于,在步骤1之前,所述方法还包括:
获取训练样本,并赋予训练样本初始虹膜形状;
获取当前时刻关键点的位置,并计算形状回归目标;
根据所述形状回归目标,筛选灰度差异特征并构造蕨,并获得当前时刻蕨特征值对应的形状增量;
根据所述当前时刻蕨特征值对应的形状增量,更新形状回归目标,继续构造蕨,并计算不同蕨特征值对应的形状增量,如此重复进行多次,直到获得所述第一预设数量的蕨,每个蕨对应一个弱回归单元,所述第一预设数量的蕨对应一个强回归单元;
利用所述第一预设数量的蕨对应的形状增量,更新当前关键点位置,重新计算形状增量,筛选下一个强回归单元对应的多个蕨,直到获得第二预设数量的强回归单元。
6.根据权利要求5所述的方法,其特征在于,根据所述形状回归目标,筛选灰度差异特征并构造蕨,并获得当前时刻蕨特征值对应的形状增量,包括:
在每一个关键点周围随机生成第一数量的像素点;
将全部的像素点中的任意两个像素点进行组合,得到第二数量的灰度差异特征;
随机选择一个方向作为目标方向,将所述训练样本的形状回归目标在所述目标方向上进行投影,得到投影值向量;
分别计算所述第二数量的灰度差异特征中每个灰度差异特征与所述投影值向量的相关系数,筛选出绝对值最大的相关系数对应的灰度差异特征并将其作为目标灰度差异特征;
依次选择Nf个目标方向,获得Nf个目标灰度差异特征;
为每个目标灰度差异特征随机给定一个阈值,经过Nf次二元测试之后,获得Nf位的二进制序列,每一个蕨的特征值在之内;
将训练样本按照蕨的特征值分类,根据训练样本,计算蕨的不同特征值对应的形状增量。
7.一种虹膜定位装置,其特征在于,包括:
第一定位单元,用于对瞳孔边界进行粗定位,得到虹膜内边界定位参数;
初始化单元,用于根据所述虹膜内边界定位参数,初始化虹膜图像的关键点的位置;
更新单元,用于使用显式形状回归方法迭代更新所述关键点的位置;
拟合单元,用于根据更新后的所述关键点的位置拟合眼睑边界和虹膜外边界,得到拟合结果;
第二定位单元,用于根据所述拟合结果和所述虹膜内边界定位参数,对所述虹膜图像中的虹膜边界进行精定位。
8.根据权利要求7所述的装置,其特征在于,所述更新单元用于执行以下步骤:
步骤1、令n=0;
步骤2、根据所述关键点的位置计算第一预设数量的蕨的特征值;
步骤3、根据蕨与虹膜形状增量的映射关系,将所述第一预设数量的蕨的特征值映射为虹膜形状增量;
步骤4、根据所述虹膜形状增量更新所述关键点的位置,并将n+1的值赋给n;
步骤5、判断n是否小于N,如果n小于N,跳转执行步骤2;如果n不小于N,结束,其中,N为预设数值。
9.根据权利要求7所述的装置,其特征在于,所述拟合单元包括:
拟合子单元,用于根据更新后的所述关键点的位置,使用加权最小二乘法,分别对所述眼睑边界和所述虹膜外边界进行拟合,得到所述眼睑边界的抛物线参数和虹膜圆形外边界参数。
10.根据权利要求7所述的装置,其特征在于,所述第二定位单元包括:
精定位子单元,用于根据所述拟合结果和所述虹膜内边界定位参数,利用微积分检测算子对所述虹膜图像中的虹膜边界进行精定位。
11.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第一获取单元,用于在执行步骤1之前,获取训练样本,并为训练样本赋予初始虹膜形状;
第二获取单元,用于获取当前时刻关键点的位置,并计算形状回归目标;
筛选单元,用于根据所述形状回归目标,筛选灰度差异特征并构造蕨,并获得当前时刻蕨不同特征值对应的形状增量;
第三获取单元,用于根据所述当前时刻蕨特征值对应的形状增量,更新形状回归目标,继续构造蕨,并计算蕨特征值对应的形状增量,如此重复进行多次,直到获得所述第一预设数量的蕨,每个蕨对应一个弱回归单元,所述第一预设数量的蕨对应一个强回归单元;
第四获取单元,用于利用所述第一预设数量的蕨对应的形状增量,更新当前关键点位置,重新计算形状增量,筛选下一个强回归单元对应的多个蕨,直到获得第二预设数量的强回归单元。
12.根据权利要求11所述的装置,其特征在于,所述筛选单元包括:
生成子单元,用于在每一个关键点周围随机生成第一数量的像素点;
组合子单元,用于将全部的像素点中的任意两个像素点进行组合,得到第二数量的灰度差异特征;
投影子单元,用于随机选择一个方向作为目标方向,将所述训练样本的形状回归目标在所述目标方向上进行投影,得到投影值向量;
计算子单元,用于分别计算所述第二数量的灰度差异特征中每个灰度差异特征与所述投影值向量的相关系数,筛选出绝对值最大的相关系数对应的灰度差异特征并将其作为目标灰度差异特征;
选择子单元,用于依次选择Nf个目标方向,获得Nf个目标灰度差异特征;
测试子单元,用于为每个目标灰度差异特征随机给定一个阈值,经过Nf次二元测试之后,获得Nf位的二进制序列,每一个蕨的特征值在之内;
分类子单元,用于将训练样本按照蕨的特征值分类,根据训练样本,计算蕨的不同特征值对应的形状增量。
CN201610906581.4A 2016-10-18 2016-10-18 虹膜定位方法和装置 Pending CN107958173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610906581.4A CN107958173A (zh) 2016-10-18 2016-10-18 虹膜定位方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610906581.4A CN107958173A (zh) 2016-10-18 2016-10-18 虹膜定位方法和装置

Publications (1)

Publication Number Publication Date
CN107958173A true CN107958173A (zh) 2018-04-24

Family

ID=61954440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610906581.4A Pending CN107958173A (zh) 2016-10-18 2016-10-18 虹膜定位方法和装置

Country Status (1)

Country Link
CN (1) CN107958173A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993090A (zh) * 2019-03-25 2019-07-09 浙江大学 基于级联回归森林和图像灰度特征的虹膜中心定位方法
CN110110695A (zh) * 2019-05-17 2019-08-09 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN111079676A (zh) * 2019-12-23 2020-04-28 浙江大学 一种人眼虹膜检测方法和装置
CN111695474A (zh) * 2020-06-03 2020-09-22 福建福特科光电股份有限公司 一种对人眼虹膜图像γ曲线自适应调整的方法
CN112906431A (zh) * 2019-11-19 2021-06-04 北京眼神智能科技有限公司 一种虹膜图像分割方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131141B2 (en) * 2008-05-12 2015-09-08 Sri International Image sensor with integrated region of interest calculation for iris capture, autofocus, and gain control
CN105260698A (zh) * 2015-09-08 2016-01-20 北京天诚盛业科技有限公司 对虹膜图像进行定位的方法和装置
CN105426870A (zh) * 2015-12-15 2016-03-23 北京文安科技发展有限公司 一种人脸关键点定位方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131141B2 (en) * 2008-05-12 2015-09-08 Sri International Image sensor with integrated region of interest calculation for iris capture, autofocus, and gain control
CN105260698A (zh) * 2015-09-08 2016-01-20 北京天诚盛业科技有限公司 对虹膜图像进行定位的方法和装置
CN105426870A (zh) * 2015-12-15 2016-03-23 北京文安科技发展有限公司 一种人脸关键点定位方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XUDONG CAO,AND ETC: "Face Alignment by Explicit Shape Regression", 《2012 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
崔滢: "基于统计学习的人脸特征点定位算法研究", 《中国优秀博士学位论文全文数据库 信息科技辑》 *
田启川: "《虹膜识别原理及算法》", 30 June 2010, 北京:国防工业出版社 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993090A (zh) * 2019-03-25 2019-07-09 浙江大学 基于级联回归森林和图像灰度特征的虹膜中心定位方法
CN110110695A (zh) * 2019-05-17 2019-08-09 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN110110695B (zh) * 2019-05-17 2021-03-19 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN112906431A (zh) * 2019-11-19 2021-06-04 北京眼神智能科技有限公司 一种虹膜图像分割方法、装置、电子设备及存储介质
CN112906431B (zh) * 2019-11-19 2024-05-24 北京眼神智能科技有限公司 一种虹膜图像分割方法、装置、电子设备及存储介质
CN111079676A (zh) * 2019-12-23 2020-04-28 浙江大学 一种人眼虹膜检测方法和装置
CN111079676B (zh) * 2019-12-23 2022-07-19 浙江大学 一种人眼虹膜检测方法和装置
CN111695474A (zh) * 2020-06-03 2020-09-22 福建福特科光电股份有限公司 一种对人眼虹膜图像γ曲线自适应调整的方法

Similar Documents

Publication Publication Date Title
Alaslani Convolutional neural network based feature extraction for iris recognition
Al-Waisy et al. A multi-biometric iris recognition system based on a deep learning approach
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN107958173A (zh) 虹膜定位方法和装置
CN106023220B (zh) 一种基于深度学习的车辆外观部件图像分割方法
CN103632136B (zh) 人眼定位方法和装置
CN105825511B (zh) 一种基于深度学习的图片背景清晰度检测方法
CN106295694B (zh) 一种迭代重约束组稀疏表示分类的人脸识别方法
Gando et al. Fine-tuning deep convolutional neural networks for distinguishing illustrations from photographs
Cai et al. Person re-identification based on global color context
CN106529499A (zh) 基于傅里叶描述子和步态能量图融合特征的步态识别方法
Fukumi et al. Rotation-invariant neural pattern recognition system estimating a rotation angle
Bedagkar-Gala et al. Multiple person re-identification using part based spatio-temporal color appearance model
CN106127164A (zh) 基于显著性检测和卷积神经网络的行人检测方法及装置
CN109389074A (zh) 一种基于人脸特征点提取的表情识别方法
CN106980852A (zh) 基于角点检测与匹配的药品识别系统及其识别方法
CN107480620A (zh) 基于异构特征融合的遥感图像自动目标识别方法
CN104680545B (zh) 光学图像中存在显著目标的检测方法
CN1723468A (zh) 采用照明不变神经网络的计算机视觉系统和方法
CN107239777A (zh) 一种基于多视角图模型的餐具检测和识别方法
CN107220598A (zh) 基于深度学习特征和Fisher Vector编码模型的虹膜图像分类方法
CN109344856A (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
Qin et al. Learning discriminative embedding for hyperspectral image clustering based on set-to-set and sample-to-sample distances
Naqvi et al. Feature quality-based dynamic feature selection for improving salient object detection
Lu et al. Enhanced hierarchical model of object recognition based on a novel patch selection method in salient regions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180424