CN109614915B - 特征点定位方法 - Google Patents

特征点定位方法 Download PDF

Info

Publication number
CN109614915B
CN109614915B CN201811481024.8A CN201811481024A CN109614915B CN 109614915 B CN109614915 B CN 109614915B CN 201811481024 A CN201811481024 A CN 201811481024A CN 109614915 B CN109614915 B CN 109614915B
Authority
CN
China
Prior art keywords
point
finger
area
disc
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811481024.8A
Other languages
English (en)
Other versions
CN109614915A (zh
Inventor
张秀峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Minzu University
Original Assignee
Dalian Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Minzu University filed Critical Dalian Minzu University
Priority to CN201811481024.8A priority Critical patent/CN109614915B/zh
Publication of CN109614915A publication Critical patent/CN109614915A/zh
Application granted granted Critical
Publication of CN109614915B publication Critical patent/CN109614915B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/11Hand-related biometrics; Hand pose recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本分案申请公开了一种特征点定位方法,属于手形识别领域,用于解决现有的手形识别过程中,定位方法具有的算法准确率低、速度慢、算法繁杂的缺点,技术要点是:手形轮廓线内部为目标区域,外部为背景区域,通过分析手形轮廓图看出,假设圆盘中心在某一手指指峰处的点T,则在点T的周围的邻域内的轮廓线上的点都在它的下方或者同一行,效果是:准确率高、速度快、算法简单而且解决了传统方法扫面范围大、圆盘阈值和半径难以确定的难题,特征定位效果显著提高。

Description

特征点定位方法
本发明是申请号201610403839.9,申请日2016-06-08,发明名称“手形识别中特征点固定定位顺序的方法”的分案申请。
技术领域
本发明属于手形识别领域,涉及一种手形识别中特征点固定定位顺序的方法。
背景技术
随着社会的发展和科技水平的提高,人民的安全意识不断增强,信息的安全受到越来越的关注,因此在现实生活中,每个人都经常面对身份的鉴别问题。传统的身份认证经常采用密码、口令、证件等,这些传统的鉴别方法存在很大的弊端。生物特征识别技术因其固有安全等级高的优点,正在慢慢的取代传统的身份认证方法,经常采用指纹、人脸、虹膜、步态、笔迹、手形、掌纹等人体特征。目前,单个生物特征有其固有的局限性,还没有一种单独的生物特征识别技术可以满足实际的需求。多模态生物特征识别技术通过多生物特征融合的方法,来提高识别的准确率和扩大应用范围,以满足实际的需求。由于手部图像采集方便、用户接受度高、包含信息量大、识别准确率较高等,目前被广泛应用。
手形识别一般包括手形轮廓提取、特征点定位、特征量分析几个主要部分,其中特征点定位步骤中,现有技术的定位方法往往具有算法准确率低、速度慢、算法繁杂的缺点。
发明内容
为了解决现有的手形识别过程中,定位方法具有的算法准确率低、速度慢、算法繁杂的缺点,本发明提出了一种手形识别中特征点固定定位顺序的方法,以实现手形识别过程中高准确率,快速和简单的定位。
为了实现上述目的,本发明的技术方案是:
一种手形识别中特征点固定定位顺序的方法,包括如下步骤:
S1.创建空数组用来存放满足条件的属于同一根手指的指峰或指谷的特征点;
S2.对原图a进行扫描,利用圆盘极值法确定轮廓线上的点全部在圆心下方的点,以确定中指指峰点T2;
S3.将原图分为子图b和子图c,对子图b扫描,利用圆盘极值法确定相邻区域内轮廓线上的点全部在圆心下方的点,以确定小拇指与无名指的指谷点T7;
S4.计算食指指峰点子图分割参数n3,分割出子图e,对子图e进行扫描,以找到食指指峰T1;
S5.计算食指和中指间指谷点子图分割参数n4,分割出子图d,对子图d进行扫描,以找到特征点T5;
S6.计算中指和无名指间指谷点子图分割参数n5,分割出子图f,对子图f进行扫描,以找到特征点T6;
S7.计算无名指指峰点子图分割参数n6,分割出子图g,对子图g进行扫描,以找到无名指指峰T3;
S8.根据特征点T1、T2和T3,计算ymax=MAX(y1,y3),ymin=MIN(y1,y3),a3=|y2-ymin|,其中y1,y2,y3分别为特征点T1、T2和T3的纵坐标,ymax为y1和y3的最大值,ymin为y1和y3的最小值,a3为小拇指指峰点行扫描起始参数,对子图h进行扫描,记录交点首次大于2的行数,满足|ni-ni+1|≥2的交点的中间点即为小拇指指峰点T4;
其中:子图b是无名指小拇指所在区域子图,子图c是食指所在区域子图,子图e是食指指峰点所在区域子图,子图f是中指与无名指间指谷点区域子图,子图g是无名指指峰点区域子图,子图h是小拇指间指峰点区域子图。
进一步的,各步骤具体为:
S1.创建7个空数组Si[]用来存放满足条件的属于同一根手指的指峰或指谷的特征点,其中:i=1,…,7;
S2.对原图a进行由上向下、由左向右的扫描,搜索扫描线与手指的首次交点,以此点为基准,利用圆盘极值法确定轮廓线全部在圆心下方的点存入数组S1中,数组S1的中间点就是中指指峰点T2;
S3.根据中指指峰点T2将原图分为子图b和子图c,对子图由下向上、由左到右扫描,当扫描线与轮廓线首次出现多个交点时,以该行除与左侧边缘轮廓线的交点之外的其它交点为基准点,利用圆盘极值法确定轮廓线全部在圆心上方的点存数组S2中,数组S2的中间点就是小拇指与无名指的指谷点T7;
S4.计算其中x2、x7为T2、T7的横坐标,对子图c以n3为左边界即是子图e的区域,对子图e进行由上向下、由左向右的扫描,搜索扫描线与手指的首次交点,以此点为基准,利用圆盘极值法确定轮廓线全部在圆心下方的点存入数组S3中,数组S3的中间点就是食指指峰点T1;
S5.计算x1为T1的横坐标,对子图d,行由y7向上,列由x2到n4的区域进行扫描,搜索扫描线与手指的首次交点,以此点为基准,利用圆盘极值法确定轮廓线全部在圆心上方的点存入数组S4中,数组S4的中间点就是食指与中指间的指谷点T5,其中y7是点T7的纵坐标;
S6.计算x5为T5的横坐标,对子图f,行由y7向上,列由n5到x2的区域进行扫描,搜索扫描线与手指的首次交点,以此点为基准,利用圆盘极值法确定轮廓线全部在圆心上方的点存入数组S5中,数组S5的中间点就是中指与无名指间的指谷点T6;
S7.计算对子图b以n6为右边界即是子图g的区域,对子图g进行由上向下、由左向右的扫描,搜索扫描线与手指的首次交点,以此点为基准,利用圆盘极值法确定轮廓线全部在圆心下方的点存入数组S6中,数组S6的中间点就是无名指指峰点T3;
S8.根据已确定的点计算ymax=MAX(y1,y3),ymin=MIN(y1,y3),a3=|y2-ymin|,对子图h,行由(ymax+a3)向下,列以n6为右边界的区域进行扫描,记录交点首次大于2的行数,将满足|ni-ni+1|≥2的交点存入数组S7中,数组S7的中间点就是小拇指指峰点的特征点T4。
有益效果:本申请采用了手形图像分块技术,利用圆盘极值算法,可以快速准确的提取手型特征点,该算法不仅准确率高、速度快、算法简单而且解决了传统方法扫面范围大、圆盘阈值和半径难以确定的难题,特征定位效果显著提高,算法还降低了对图像采集的要求,同时提高了用户的舒适性,对被采集者手指张开程度没有苛刻要求,对手指有缺陷(弯曲、部分缺失)的用户也适合此算法。
附图说明
图1是本发明处理的手形图像及手型特征点位置示意图;
图2是本发明圆盘算法原理图;
图3是本发明手形局部分块示意图。
具体实施方式
实施例1:手形识别一般包括手形轮廓提取、特征点定位、特征量分析等几个主要部分。
对手形图像做灰度处理,进行灰度增强;确定分割阈值,对图像进行二值化;通过边界跟踪,提取手形轮廓如图1所示。通过对图2的分析,以轮廓线上某点为圆心,以R为半径,圆内既有属于目标区域像素点也有属于背景区域像素点。可以看出当圆盘在直线上移动时,在圆盘内有些目标区域和背景区域的点在圆心的上方,有些在圆心的下方。而当圆盘转到上凸区域的拐点时,在圆盘内目标区域的所有点都在圆心点的下方,当圆盘转到下凸区域的拐点时,在圆盘内背景区域的所有点都在圆心点的上方。基于以上理论提出了圆盘极值算法,手形轮廓线内部为目标区域,外部为背景区域,通过分析手形轮廓图(图1)可以看出,假设圆盘中心在某一手指指峰处的点T,则在点T的周围的邻域内的轮廓线上的点都在它的下方或者同一行,对于指谷也有着相似的特点,唯一不同的是邻域内轮廓线上的点在指谷点的上方或者同一行,而且只有指峰和指谷特征点有这一特征,从而确定手指指峰点和指谷点的位置。
在图3(a)中,确定中指指峰点所在较小区域,利用圆盘极值法确定中指指峰点T2,以T2所在列将手形图像分割成两部分,图3(b)为无名指小拇指所在区域子图,图3(c)为食指所在区域子图。在图3(b)中确定小拇指与无名指间指谷点所在区域,利用圆盘极值法确定该指谷点T7。针对图3(c),确定分割参数,将其割成食指与中指间指谷点区域子图3(d)和食指指峰点区域子图3(e)。在图3(d)图3(e)的较小的区域内利用圆盘极值法分别确定食指与中指间指谷点T5和食指指峰点T1。进一步确定分割参数,将图3(b)分割成中指与无名指间指谷点区域子图3(f)、无名指指峰点区域子图3(g)和小拇指间指峰点区域子图3(h)。在图3(f)中较小的区域内利用圆盘极值法确定中指与无名指间指谷点T6,在图3(g)和图3(h)中较小的区域内分别确定无名指指峰点T3和小拇指指峰点T4。
将手形图像做灰度化处理,绘制灰度图像的直方图,找出像素灰度集中范围,进行灰度增强,使图像更加清晰。采用局部阈值二值化,对二值化后的图像再采用半径为1的圆盘进行腐蚀膨胀运算,剔除小区域,之后可以进行特征定位,在特征定位的步骤中,本实施例提出一种手形识别中特征点固定定位顺序的方法,对本方法中技术术语作出如下定义:子图b是无名指小拇指所在区域子图,子图c是食指所在区域子图,子图e是食指指峰点所在区域子图,子图f是中指与无名指间指谷点区域子图,子图g是无名指指峰点区域子图,子图h是小拇指间指峰点区域子图;
所述方法包括如下步骤:
S1.创建7个空数组Si[]用来存放满足条件的属于同一根手指的指峰或指谷的特征点,其中:i=1,…,7;
S2.对原图a进行由上向下、由左向右的扫描,搜索扫描线与手指的首次交点,以此点为基准,利用圆盘极值法确定轮廓线全部在圆心下方的点存入数组S1中,数组S1的中间点就是中指指峰点T2;
S3.根据中指指峰点T2将原图分为子图b和子图c,对子图由下向上、由左到右扫描,当扫描线与轮廓线首次出现多个交点时,以该行除与左侧边缘轮廓线的交点之外的其它交点为基准点,利用圆盘极值法确定轮廓线全部在圆心上方的点存数组S2中,数组S2的中间点就是小拇指与无名指的指谷点T7;
S4.计算其中x2、x7为T2、T7的横坐标,对子图c以n3为左边界即是子图e的区域,对子图e进行由上向下、由左向右的扫描,搜索扫描线与手指的首次交点,以此点为基准,利用圆盘极值法确定轮廓线全部在圆心下方的点存入数组S3中,数组S3的中间点就是食指指峰点T1;
S5.计算x1为T1的横坐标,对子图d,行由y7向上,列由x2到n4的区域进行扫描,搜索扫描线与手指的首次交点,以此点为基准,利用圆盘极值法确定轮廓线全部在圆心上方的点存入数组S4中,数组S4的中间点就是食指与中指间的指谷点T5,其中y7是点T7的纵坐标;
S6.计算x5为T5的横坐标,对子图f,行由y7向上,列由n5到x2的区域进行扫描,搜索扫描线与手指的首次交点,以此点为基准,利用圆盘极值法确定轮廓线全部在圆心上方的点存入数组S5中,数组S5的中间点就是中指与无名指间的指谷点T6;
S7.计算对子图b以n6为右边界即是子图g的区域,对子图g进行由上向下、由左向右的扫描,搜索扫描线与手指的首次交点,以此点为基准,利用圆盘极值法确定轮廓线全部在圆心下方的点存入数组S6中,数组S6的中间点就是无名指指峰点T3;
S8.根据已确定的点计算ymax=MAX(y1,y3),ymin=MIN(y1,y3),a3=|y2-ymin|,对子图h,行由(ymax+a3)向下,列以n6为右边界的区域进行扫描,记录交点首次大于2的行数,将满足|ni-ni+1|≥2的交点存入数组S7中,数组S7的中间点就是小拇指指峰点的特征点T4。
其中:
n3食指指峰点子图分割参数、n4食指和中指间指谷点子图分割参数、n5中指和无名指间指谷点子图分割参数、n6无名指指峰点子图分割参数。
y1,y2,y3分别为特征点T1、T2和T3的纵坐标,ymax为y1和y3的最大值,ymin为y1和y3的最小值。
本申请采用了手形图像分块技术,利用圆盘极值算法,可以快速准确的提取手型特征点,该算法不仅准确率高、速度快、算法简单而且解决了传统方法扫面范围大、圆盘阈值和半径难以确定的难题,特征定位效果显著提高,算法还降低了对图像采集的要求,同时提高了用户的舒适性,对被采集者手指张开程度没有苛刻要求,对手指有缺陷(弯曲、部分缺失)的用户也适合此算法。
以上所述,仅为本发明创造较佳的具体实施方式,但本发明创造的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内,根据本发明创造的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明创造的保护范围之内。

Claims (2)

1.一种特征点定位方法,其特征在于:以轮廓线上某点为圆心,以R为半径,圆内既有属于目标区域像素点也有属于背景区域像素点,当圆盘在直线上移动时,在圆盘内有些目标区域和背景区域的点在圆心的上方,有些在圆心的下方,而当圆盘转到上凸区域的拐点时,在圆盘内目标区域的所有点都在圆心点的下方,当圆盘转到下凸区域的拐点时,在圆盘内背景区域的所有点都在圆心点的上方,基于以上理论提出圆盘极值算法,以五指张开,指尖朝上的手形轮廓线内部为目标区域,外部为背景区域,通过分析手形轮廓图看出,假设圆盘中心在某一手指指峰处的点T,则在点T的周围的邻域内的轮廓线上的点都在它的下方或者同一行,对于指谷也有着相似的特点,唯一不同的是邻域内轮廓线上的点在指谷点的上方或者同一行,而且只有指峰和指谷特征点有这一特征,从而确定手指指峰点和指谷点的位置。
2.如权利要求1所述的特征点定位方法,其特征在于:确定中指指峰点所在较小区域,利用圆盘极值法确定中指指峰点T2,以T2所在列将手形子图像分割成两部分,子图b为无名指小拇指所在区域子图,子图c为食指所在区域子图,在子图b中确定小拇指与无名指间指谷点所在区域,利用圆盘极值法确定该指谷点T7,确定分割参数,将子图c分割成食指与中指间指谷点区域子图d和食指指峰点区域子图e,在其较小的区域内利用圆盘极值法分别确定食指与中指间指谷点T5和食指指峰点T1,进一步确定分割参数,将子图b分割成中指与无名指间指谷点区域子图f、无名指指峰点区域子图g和小拇指间指峰点区域子图h,在子图f中较小的区域内利用圆盘极值法确定中指与无名指间指谷点T6,在子图g和子图h中较小的区域内分别确定无名指指峰点T3和小拇指指峰点T4。
CN201811481024.8A 2016-06-08 2016-06-08 特征点定位方法 Active CN109614915B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811481024.8A CN109614915B (zh) 2016-06-08 2016-06-08 特征点定位方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610403839.9A CN106096541B (zh) 2016-06-08 2016-06-08 手形识别中特征点固定定位顺序的方法
CN201811481024.8A CN109614915B (zh) 2016-06-08 2016-06-08 特征点定位方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610403839.9A Division CN106096541B (zh) 2016-06-08 2016-06-08 手形识别中特征点固定定位顺序的方法

Publications (2)

Publication Number Publication Date
CN109614915A CN109614915A (zh) 2019-04-12
CN109614915B true CN109614915B (zh) 2023-10-31

Family

ID=57229026

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201610403839.9A Expired - Fee Related CN106096541B (zh) 2016-06-08 2016-06-08 手形识别中特征点固定定位顺序的方法
CN201811481024.8A Active CN109614915B (zh) 2016-06-08 2016-06-08 特征点定位方法
CN201811481008.9A Active CN109583399B (zh) 2016-06-08 2016-06-08 手形识别特征点定位方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610403839.9A Expired - Fee Related CN106096541B (zh) 2016-06-08 2016-06-08 手形识别中特征点固定定位顺序的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811481008.9A Active CN109583399B (zh) 2016-06-08 2016-06-08 手形识别特征点定位方法

Country Status (1)

Country Link
CN (3) CN106096541B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215225B (zh) * 2020-10-22 2024-03-15 北京通付盾人工智能技术有限公司 一种基于计算机视觉技术的kyc证件核验方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470800A (zh) * 2007-12-30 2009-07-01 沈阳工业大学 手形识别方法
CN102163282A (zh) * 2011-05-05 2011-08-24 汉王科技股份有限公司 掌纹图像感兴趣区域的获取方法及装置
CN103942552A (zh) * 2014-02-11 2014-07-23 北京大学 一种基于骨架指导的文字图像矢量化方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073843B (zh) * 2010-11-05 2013-03-20 沈阳工业大学 非接触式快速人手多模态信息融合识别方法
US8548206B2 (en) * 2011-01-20 2013-10-01 Daon Holdings Limited Methods and systems for capturing biometric data
CN104123537B (zh) * 2014-07-04 2017-06-20 西安理工大学 一种基于手形和掌纹识别的快速身份验证方法
CN105184216B (zh) * 2015-07-24 2019-01-11 山东大学 一种心二区掌纹的数字提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470800A (zh) * 2007-12-30 2009-07-01 沈阳工业大学 手形识别方法
CN102163282A (zh) * 2011-05-05 2011-08-24 汉王科技股份有限公司 掌纹图像感兴趣区域的获取方法及装置
CN103942552A (zh) * 2014-02-11 2014-07-23 北京大学 一种基于骨架指导的文字图像矢量化方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Polar-Radius-Invariant-Moment Based on Key-Points for Hand Gesture Shape Recognition";FuQing Zhao;XinYing Li;QiuYu Zhang;et al;《Journal of Software》;20120131;第7卷(第01期);第88-94页 *
"一种改进型圆盘法提取手形特征点的新方法";刘元龙,李海燕,唐一吟等;《云南大学学报(自然科学版)》;20151110;第37卷(第06期);第805-810页 *
"基于手部尺寸特征的手形认证方法";苑玮琦,董茜;《光学学报》;20101031;第30卷(第10期);第29994-2999页 *

Also Published As

Publication number Publication date
CN109614915A (zh) 2019-04-12
CN109583399A (zh) 2019-04-05
CN109583399B (zh) 2023-10-27
CN106096541A (zh) 2016-11-09
CN106096541B (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN109376708B (zh) 提取roi的方法
Jain et al. Pores and ridges: High-resolution fingerprint matching using level 3 features
CN104123537B (zh) 一种基于手形和掌纹识别的快速身份验证方法
CA2817686A1 (en) Image identification system
JP2018508891A (ja) 線間距離計算方法、線間距離計算装置、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
CN103955674B (zh) 掌纹图像采集装置及掌纹图像定位与分割方法
CN108875629B (zh) 基于多样本特征融合的掌静脉识别方法
Malathi et al. An efficient method for partial fingerprint recognition based on local binary pattern
CN114120378A (zh) 一种三级分类指纹识别方法
US20120020535A1 (en) Unique, repeatable, and compact biometric identifier
CN109614915B (zh) 特征点定位方法
CN113936303A (zh) 一种手部图像最大内接矩形确定方法及图像识别方法
Shin et al. Detecting fingerprint minutiae by run length encoding scheme
Chen et al. Fusion of hand-shape and palm-print traits using morphology for bi-modal biometric authentication
KR101778552B1 (ko) 지문인식을 위한 그래프 기반 블록-특징 표현 방법 및 이를 이용한 지문인식 시스템
CN115273282B (zh) 一种基于掌静脉识别的车门解锁方法
Khodadoust et al. A novel indexing algorithm for latent palmprints leveraging minutiae and orientation field
DR et al. Fingerprint verification based on fusion of minutiae and ridges using strength factors
Sun et al. Research on palm vein recognition algorithm based on improved convolutional neural network
Nirmalakumari et al. Efficient minutiae matching algorithm for fingerprint recognition
Mukherjee Indexing techniques for fingerprint and iris databases
Wei-Chao et al. Occluded fingerprint recognition algorithm based on multi association features match
Rani et al. Personal Identification using quality image resulting from binarization and thinning techniques
Huang et al. A novel scheme for fingerprint identification
Yager Hierarchical fingerprint verification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant