CN108021882B - 一种基于时段的机器人的人脸识别系统 - Google Patents

一种基于时段的机器人的人脸识别系统 Download PDF

Info

Publication number
CN108021882B
CN108021882B CN201711251267.8A CN201711251267A CN108021882B CN 108021882 B CN108021882 B CN 108021882B CN 201711251267 A CN201711251267 A CN 201711251267A CN 108021882 B CN108021882 B CN 108021882B
Authority
CN
China
Prior art keywords
face
contour
unit
face contour
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711251267.8A
Other languages
English (en)
Other versions
CN108021882A (zh
Inventor
王国亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo New And High Tech Zones Jinzhong Information Science & Technology Co ltd
Original Assignee
Ningbo New And High Tech Zones Jinzhong Information Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo New And High Tech Zones Jinzhong Information Science & Technology Co ltd filed Critical Ningbo New And High Tech Zones Jinzhong Information Science & Technology Co ltd
Priority to CN201711251267.8A priority Critical patent/CN108021882B/zh
Publication of CN108021882A publication Critical patent/CN108021882A/zh
Application granted granted Critical
Publication of CN108021882B publication Critical patent/CN108021882B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于时段的机器人的人脸识别系统,包括:采集单元用以采集待识别人的人脸图像;提取单元用以根据人脸图像提取人脸轮廓;时间单元用以获取提取人脸轮廓的当前时刻;控制单元用以判断人脸轮廓是否符合预设条件,并根据判断结果输出相应的控制信号;处理单元用以根据控制单元发送的控制信号进入启动状态或待机状态;当所述处理单元处于所述启动状态时,所述识别单元用以根据所述当前时刻对应的时间段的所述标准人脸轮廓对所述人脸轮廓进行识别,并输出识别结果;交互单元用以根据所述识别结果执行相应的人机交互操作。

Description

一种基于时段的机器人的人脸识别系统
技术领域
本发明涉及机器人领域,尤其涉及一种基于时段的机器人的人脸识别系统。
背景技术
机器人技术发展至今,正在朝着更加智能化、拟人化的方向深入发展。人机交互技术,作为人与机器(机器人)之间信息交流的接口技术,是人与机器人之间信息沟通的桥梁;是使机器人能更好的融入人们生活的关键。因此,人们付出了近半个多世纪的努力,注入了大量精力来研究开发更加自然、和谐的人机交互方式。现有的人机交互的输入方式主要采用接触式,如键盘、鼠标、触摸屏及操作杆等,尤其是在启动机器人系统时,需要人为输入控制指令以启动系统,无法在不接触的情况下启动程序。传统的人脸识别系统对于同一个人的人脸识别仅采用一个预置的人脸模型进行识别,而人体在一天中会随着时间的变化会有轻微的变化,如上午人脸会比下午人脸的略微水肿等。目前的人脸识别技术的识别精度较差,无法适应不同时段的人脸变化。
发明内容
针对现有的人脸识别系统识别精度差的问题,现提供一种旨在实现可提高人脸识别精度的基于时段的机器人的人脸识别系统。
具体技术方案如下:
一种基于时段的机器人的人脸识别系统,包括:
一采集单元,用以采集待识别人的人脸图像;
一提取单元,连接所述采集单元,用以根据所述人脸图像提取人脸轮廓;
一时间单元,连接所述提取单元,用以获取提取所述人脸轮廓的当前时刻;
一控制单元,连接所述提取单元,所述控制单元用以判断所述人脸轮廓是否符合一预设条件,并根据判断结果输出相应的控制信号;
一处理单元,连接所述控制单元,用以根据所述控制单元发送的控制信号进入启动状态或待机状态;
一识别单元,分别连接所述处理单元、所述提取单元和所述时间单元,所述识别单元提供复数个不同的标准人脸轮廓,每个所述标准人脸轮廓对应同一个人在不同时间段的人脸轮廓;或每个所述标准人脸对应多个人的人脸轮廓;
当所述处理单元处于所述启动状态时,所述识别单元用以根据所述当前时刻对应的时间段的所述标准人脸轮廓对所述人脸轮廓进行识别,并输出识别结果;
一交互单元,连接所述识别单元,用以根据所述识别结果执行相应的人机交互操作。
优选的,所述预设条件为:提供一预定尺寸的参考轮廓,所述控制单元用以判断所述人脸轮廓的外轮廓尺寸是否大于或等于所述参考轮廓;
当所述人脸轮廓的外轮廓尺寸大于或等于所述参考轮廓时,所述控制单元输出启动控制信号;
当所述人脸轮廓的外轮廓尺寸小于所述参考轮廓时,所述控制单元输出待机控制信号。
优选的,所述提取单元采用基于几何活动轮廓模型的人脸轮廓提取方法提取所述人脸图像的所述人脸轮廓。
优选的,所述识别单元包括:
一接收模块,用以接收所述人脸轮廓;
一存储模块,用以存储复数个不同的所述标准人脸轮廓;
一提取模块,连接所述存储模块,用以从所述存储模块中提取与所述当前时刻对应的时间段的所述标准人脸轮廓;一匹配模块,分别连接所述接收模块和所述提取模块,用以将所述人脸轮廓与所述当前时刻对应的时间段的所述标准人脸轮廓进行匹配,以获取匹配率;
一识别模块,连接所述匹配模块,用以判断所述匹配率是否大于预设阈值,若是,则输出匹配成功的结果,若否,则输出匹配失败的结果。
优选的,所述识别单元还包括:
一输出模块,连接所述识别模块,用以输出所述匹配成功的结果以及所述匹配失败的结果。
优选的,当匹配失败时,所述处理单元用以输出匹配失败的提示。
优选的,复数个不同的所述标准人脸轮廓为同一人脸在不同时间段的轮廓。
上述技术方案的有益效果:
本技术方案中,通过采集单元采集人脸图像,利用提取单元提取相应的人脸轮廓,采用控制单元识别人脸轮廓以发出控制信号使系统进入启动状态或待机状态,当处于启动状态时通过时间单元及识别单元,根据当前时段的不同提取选择相应的标准人脸轮廓进行人脸识别,以适应不同时段人脸的变化,提高了人脸识别精度,从而实现人机交互。
附图说明
图1为本发明所述的基于时段的机器人的人脸识别系统的一种实施例的模块图;
图2为本发明所述识别单元的一种实施例的内部模块图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
如图1所示,一种基于时段的机器人的人脸识别系统,包括:
一采集单元1,用以采集待识别人的人脸图像;
一提取单元3,连接采集单元1,用以根据人脸图像提取人脸轮廓;
一时间单元2,连接提取单元3,用以获取提取人脸轮廓的当前时刻;
一控制单元4,连接提取单元3,控制单元4用以判断人脸轮廓是否符合一预设条件,并根据判断结果输出相应的控制信号;
一处理单元5,连接控制单元4,用以根据控制单元4发送的控制信号进入启动状态或待机状态;
一识别单元6,分别连接处理单元5、提取单元3和时间单元2,识别单元6提供复数个不同的标准人脸轮廓,每个所述标准人脸轮廓对应同一个人在不同时间段的人脸轮廓;或每个所述标准人脸对应多个人的人脸轮廓;
当处理单元5处于启动状态时,识别单元6用以根据当前时刻对应的时间段的标准人脸轮廓对人脸轮廓进行识别,并输出识别结果;
一交互单元7,连接识别单元6,用以根据识别结果执行相应的人机交互操作。
在本实施例中,通过采集单元1采集人脸图像,利用提取单元3提取相应的人脸轮廓,采用控制单元4识别人脸轮廓以发出控制信号使系统进入启动状态或待机状态,当处于启动状态时通过时间单元2及识别单元6,根据当前时段的不同提取选择相应的标准人脸轮廓进行人脸识别,以适应不同时段人脸的变化,提高了人脸识别精度,从而实现人机交互。
在优选的实施例中,预设条件为:提供一预定尺寸的参考轮廓,控制单元4用以判断人脸轮廓的外轮廓尺寸是否大于或等于参考轮廓。
在本实施例中,由于预设参考轮廓的尺寸为固定,可根据参考轮廓的尺寸获取待识别人距离采集单元1的参考距离;当提取单元3提取的人脸轮廓的外轮廓尺寸大于或等于该参考轮廓时,可视为待识别人距离采集单元1的距离小于或等于参考距离,即待识别人在人脸识别系统的识别范围内;当提取单元3提取的人脸轮廓的外轮廓尺寸小于参考轮廓时,可视为待识别人距离采集单元1的距离大于参考距离,即待识别人不在人脸识别系统的识别范围内。
在优选的实施例中,当人脸轮廓的外轮廓尺寸大于或等于参考轮廓时,控制单元4输出启动控制信号。
在本实施例中,当提取的人脸轮廓的外轮廓尺寸大于或等于参考轮廓时,可视为待识别人距离采集单元1的距离小于或等于参考距离,即待识别人在人脸识别系统的识别范围内,控制单元4输出启动控制信号使处理单元5处于启动状态,可使人脸识别系统由待机状态转换启动状态,提高用户体验效果,通过识别单元6进行人脸轮廓识别。
在优选的实施例中,当人脸轮廓的外轮廓尺寸小于参考轮廓时,控制单元4输出待机控制信号。
在本实施例中,当提取的人脸轮廓的外轮廓尺寸小于参考轮廓时,可视为待识别人距离采集单元1的距离大于参考距离,即待识别人不在人脸识别系统的识别范围内,控制单元4输出待机控制信号使处理单元5处于待机状态(休眠状态),可使人脸识别系统由启动状态转换为待机状态,且不进行人脸识别,可达到省电及减少系统运行负担的目的。
在优选的实施例中,提取单元3采用基于几何活动轮廓模型的人脸轮廓提取方法提取人脸图像的人脸轮廓。
在本实施例中,几何活动轮廓模型的人脸轮廓提取方法首先将人脸形状的椭圆性约束作为算子嵌入到几何活动轮廓模型中,并利用几何活动轮廓模型提取任意轮廓的优势来快速抽取出图象中类似椭圆的目标边缘;然后根据图象中人脸的先验技术,通过对检测到的椭圆目标进行进一步验证来找出最终人脸轮廓,由于采用变分水平集方法做数值计算,因此该方法不仅能够自然地处理曲线的拓扑变化和能较精确地提取出图象中的人脸轮廓,而且同时可以给出人脸水平旋转的大致角度等信息。采用几何活动轮廓模型的人脸轮廓提取方法具有提取精度高的效果。
如图2所示,在优选的实施例中,识别单元6可包括:
一接收模块61,用以接收人脸轮廓;
一存储模块64,用以存储复数个不同的标准人脸轮廓;
一提取模块65,连接存储模块64,用以从存储模块64中提取与当前时刻对应的时间段的标准人脸轮廓;
一匹配模块62,分别连接接收模块61和提取模块65,用以将人脸轮廓与当前时刻对应的时间段的标准人脸轮廓进行匹配,以获取匹配率;
一识别模块63,连接匹配模块62,用以判断匹配率是否大于预设阈值,若是,则输出匹配成功的结果,若否,则输出匹配失败的结果;
一输出模块66,连接识别模块63,用以输出匹配成功的结果以及匹配失败的结果。
在本实施例中,存储模块64还可预先存储多个标准人脸轮廓,通过提取模块65根据当前时刻提取该时间段对应的标准人脸轮廓,利用匹配模块62将接收的人脸轮廓与提取的标准人脸轮廓进行匹配,选择匹配率最高的标准人脸轮廓,并判断该匹配率是否大于预设阈值,若是,则可认为人脸轮廓匹配成功,若否,则可认为人脸轮廓匹配失败。
在优选的实施例中,当匹配失败时,处理单元5用以输出匹配失败的提示。
在本实施例中,当匹配失败时,识别单元6将匹配失败的识别结果发送至处理单元5,处理单元5输出匹配失败的提示,以告知待识别人识别结果。当匹配成功时,可通过处理单元5与待识别人进行进一步的人机交互。
在优选的实施例中,复数个不同的标准人脸轮廓可以是同一人脸在不同时间段的轮廓。
在本实施例中,当识别单元6中存储的复数个不同的标准人脸轮廓是同一人脸在不同时间段的轮廓时,可根据提取人脸轮廓的时刻选择与其对应的时间段的标准人脸轮廓进行人脸识别,并获取相应的匹配率,判断该匹配率是否大于预设阈值,若是,则可认为人脸轮廓匹配成功,若否,则可认为人脸轮廓匹配失败。
在优选的实施例中,复数个不同的标准人脸轮廓可以是多个人的人脸及每个人在不同时段的人脸轮廓。
在本实施例中,当识别单元6中存储的不同的标准人脸轮廓是多个人的人脸及每个人在不同时段的人脸轮廓时,可根据提取人脸轮廓的时刻选择与其对应的时间段的所有标准人脸轮廓逐个进行人脸识别,并获取相应的匹配率,选择匹配率最高的标准人脸轮廓,并判断最高的匹配率是否大于预设阈值,若是,则可认为人脸轮廓匹配成功,若否,则可认为人脸轮廓匹配失败。
以上仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (6)

1.一种基于时段的机器人的人脸识别系统,其特征在于,包括:
一采集单元,用以采集待识别人的人脸图像;
一提取单元,连接所述采集单元,用以根据所述人脸图像提取人脸轮廓;
一时间单元,连接所述提取单元,用以获取提取所述人脸轮廓的当前时刻;
一控制单元,连接所述提取单元,所述控制单元用以判断所述人脸轮廓是否符合一预设条件,并根据判断结果输出相应的控制信号;
一处理单元,连接所述控制单元,用以根据所述控制单元发送的控制信号进入启动状态或待机状态;
一识别单元,分别连接所述处理单元、所述提取单元和所述时间单元,所述识别单元提供复数个不同的标准人脸轮廓,每个所述标准人脸轮廓对应同一个人在不同时间段的人脸轮廓;或每个所述标准人脸轮廓对应多个人的人脸中每个人在不同时段的人脸轮廓;
当所述处理单元处于所述启动状态时,所述识别单元用以根据所述当前时刻对应的时间段的所述标准人脸轮廓对所述人脸轮廓进行识别,并输出识别结果;
一交互单元,连接所述识别单元,用以根据所述识别结果执行相应的人机交互操作。
2.如权利要求1所述的基于时段的机器人的人脸识别系统,其特征在于,所述预设条件为:提供一预定尺寸的参考轮廓,所述控制单元用以判断所述人脸轮廓的外轮廓尺寸是否大于或等于所述参考轮廓;
当所述人脸轮廓的外轮廓尺寸大于或等于所述参考轮廓时,所述控制单元输出启动控制信号;
当所述人脸轮廓的外轮廓尺寸小于所述参考轮廓时,所述控制单元输出待机控制信号。
3.如权利要求1所述的基于时段的机器人的人脸识别系统,其特征在于,所述提取单元采用基于几何活动轮廓模型的人脸轮廓提取方法提取所述人脸图像的所述人脸轮廓。
4.如权利要求1所述的基于时段的机器人的人脸识别系统,其特征在于,所述识别单元包括:
一接收模块,用以接收所述人脸轮廓;
一存储模块,用以存储复数个不同的所述标准人脸轮廓;
一提取模块,连接所述存储模块,用以从所述存储模块中提取与所述当前时刻对应的时间段的所述标准人脸轮廓;一匹配模块,分别连接所述接收模块和所述提取模块,用以将所述人脸轮廓与所述当前时刻对应的时间段的所述标准人脸轮廓进行匹配,以获取匹配率;
一识别模块,连接所述匹配模块,用以判断所述匹配率是否大于预设阈值,若是,则输出匹配成功的结果,若否,则输出匹配失败的结果。
5.如权利要求4所述的基于时段的机器人的人脸识别系统,其特征在于,所述识别单元还包括:
一输出模块,连接所述识别模块,用以输出所述匹配成功的结果以及所述匹配失败的结果。
6.如权利要求4所述的基于时段的机器人的人脸识别系统,其特征在于,当匹配失败时,所述处理单元用以输出匹配失败的提示。
CN201711251267.8A 2017-12-01 2017-12-01 一种基于时段的机器人的人脸识别系统 Expired - Fee Related CN108021882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711251267.8A CN108021882B (zh) 2017-12-01 2017-12-01 一种基于时段的机器人的人脸识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711251267.8A CN108021882B (zh) 2017-12-01 2017-12-01 一种基于时段的机器人的人脸识别系统

Publications (2)

Publication Number Publication Date
CN108021882A CN108021882A (zh) 2018-05-11
CN108021882B true CN108021882B (zh) 2021-12-21

Family

ID=62078165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711251267.8A Expired - Fee Related CN108021882B (zh) 2017-12-01 2017-12-01 一种基于时段的机器人的人脸识别系统

Country Status (1)

Country Link
CN (1) CN108021882B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110004656B (zh) * 2019-04-17 2023-08-25 青岛海尔洗衣机有限公司 一种衣物处理设备的控制面板的控制方法及衣物处理设备
CN111915794A (zh) * 2019-05-09 2020-11-10 顺丰科技有限公司 一种无人售货机及其售货方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140620A (zh) * 2007-10-16 2008-03-12 上海博航信息科技有限公司 一种人脸识别系统
CN105488470A (zh) * 2015-11-30 2016-04-13 小米科技有限责任公司 确定人物属性信息的方法及装置
CN106934364A (zh) * 2017-03-09 2017-07-07 腾讯科技(上海)有限公司 人脸图片的识别方法及装置
CN107194868A (zh) * 2017-05-19 2017-09-22 成都通甲优博科技有限责任公司 一种人脸图像生成方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101383304B1 (ko) * 2012-12-13 2014-04-07 주식회사 에스원 시간 경과 모델을 이용한 얼굴 인식 방법 및 그 장치
CN103778409A (zh) * 2014-01-02 2014-05-07 深圳市元轩科技发展有限公司 基于人脸特征数据挖掘的人脸识别方法与装置
US9639741B2 (en) * 2014-04-14 2017-05-02 International Business Machines Corporation Facial recognition with biometric pre-filters
CN104537336B (zh) * 2014-12-17 2017-11-28 厦门立林科技有限公司 一种具备自学习功能的人脸识别方法和系统
CN106650586B (zh) * 2016-09-30 2019-09-24 厦门大图智能科技有限公司 一种人脸跟踪方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140620A (zh) * 2007-10-16 2008-03-12 上海博航信息科技有限公司 一种人脸识别系统
CN105488470A (zh) * 2015-11-30 2016-04-13 小米科技有限责任公司 确定人物属性信息的方法及装置
CN106934364A (zh) * 2017-03-09 2017-07-07 腾讯科技(上海)有限公司 人脸图片的识别方法及装置
CN107194868A (zh) * 2017-05-19 2017-09-22 成都通甲优博科技有限责任公司 一种人脸图像生成方法及装置

Also Published As

Publication number Publication date
CN108021882A (zh) 2018-05-11

Similar Documents

Publication Publication Date Title
KR102335717B1 (ko) 음성 제어 시스템 및 그 웨이크업 방법, 웨이크업 장치 및 가전제품, 코프로세서
EP3355222A1 (en) Fingerprint identification terminal screen unlocking method and terminal
CN105388992B (zh) 指纹识别方法、装置以及终端
CN110851809B (zh) 一种指纹识别的方法、装置及触摸屏终端
CN106225174B (zh) 空调器控制方法和系统及空调器
CN102662473B (zh) 基于眼部动作识别来实现人机信息交互的装置及方法
CN108021882B (zh) 一种基于时段的机器人的人脸识别系统
CN103294996A (zh) 一种3d手势识别方法
CN108198553B (zh) 语音交互方法、装置、设备和计算机可读存储介质
CN106887227A (zh) 一种语音唤醒方法及系统
CN106682607A (zh) 一种基于低功耗嵌入式和红外触发的离线人脸识别系统及方法
CN108055405B (zh) 唤醒终端的方法及终端
CN105550640A (zh) 一种信息处理方法及电子设备
CN106662970B (zh) 一种设置指纹识别器中断阈值的方法、装置和终端设备
WO2022227820A1 (zh) 用于家居系统中睡眠环境控制的方法、装置、设备及系统
CN108509225B (zh) 一种信息处理方法及电子设备
CN103856614A (zh) 一种避免移动终端误休眠方法及装置
CN104102347A (zh) 指尖定位方法及指尖定位终端
CN102831408A (zh) 人脸识别方法
CN107908289B (zh) 一种基于头部的机器人的人脸识别交互系统
CN105844130A (zh) 待机状态下的指纹解锁方法
CN107291238B (zh) 一种数据处理方法与装置
CN108845667A (zh) 一种智能储钱罐的唤醒方法及其系统
CN103870071A (zh) 一种触摸源识别方法及系统
CN111128155A (zh) 一种智能设备的唤醒方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211221