CN110263691A - 基于安卓系统的头部运动检测方法 - Google Patents
基于安卓系统的头部运动检测方法 Download PDFInfo
- Publication number
- CN110263691A CN110263691A CN201910507480.3A CN201910507480A CN110263691A CN 110263691 A CN110263691 A CN 110263691A CN 201910507480 A CN201910507480 A CN 201910507480A CN 110263691 A CN110263691 A CN 110263691A
- Authority
- CN
- China
- Prior art keywords
- face
- training
- android system
- calculating
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Abstract
本发明公开了一种基于安卓系统的头部运动检测方法,涉及运动检测领域。本发明包括如下步骤:步骤S01:在安卓系统中嵌入预训练神经网络模型;步骤S02:摄像头获取视频图像数据,对每一帧图像进行预处理;步骤S03:MTCNN网络识别多个人脸图片,通过比对获取面积最大的待选区域进行检测;步骤S04:识别人脸并监测人脸五个关键点位置坐标;步骤S05:通过计算关键点之间的几何关系判断用户面部转向。本发明通过在安卓系统中嵌入预训练神经网络模型,对摄像头拍摄的每一帧进行预处理,利用MTCNN网络获取待选区域进行监测,获取人脸五个关键点位置坐标,再通过公式计算五个关键点之间连线斜率的变化来判断头像转动方向,操作方便,提升头部转动判断的准确率。
Description
技术领域
本发明属于运动检测领域,特别是涉及一种基于安卓系统的头部运动检测方法,即一种基于安卓系统的面部转向检测装置。
背景技术
近年来颈椎病的发病率成上升趋势,发病情况与人们的职业因素有着密切的关系,且表现出低龄化趋势。这种职业因素的显现可能与社会竞争压力越来越大,人们每日活动时间缩短,伏案工作或学习的时间延长,加之保健意识薄弱,使颈部肌肉、韧带长期处于紧张状态有关。颈椎病,轻者转动不灵活,重者会导致其他系统一些疾病,如动脉硬化、高血压、冠心病等,甚至可能出现瘫痪,严重影响着人们的正常工作与身心健康。所以,保护好你的颈椎可以提高生活质量,预防很多疾病。
我国由于社会竞争压力大,学生和工薪阶层长期坐姿不正确,写字工作距离太近易导致近视,且不良的坐姿影响身体发育,如驼背、含胸、颈椎变形等引发近视和驼背的主要诱因。长时间学习,用眼过度,眼睛得不到休息过度疲劳,影响身心健康;但是目前市面上能够监测头部转动的设备少之又少,且运动中检测头部运动的方法多较繁琐,使用不便。
发明内容
本发明的目的在于提供一种基于安卓系统的头部运动检测方法,通过在安卓系统中嵌入预训练神经网络模型,获取人脸五个关键点位置坐标,再通过公式计算五个关键点之间连线斜率的变化来判断头像转动方向,解决了现有的头部运动方向判断繁琐,设备使用不便的问题。
为解决上述技术问题,本发明是通过以下技术方案实现的:
本发明为一种基于安卓系统的头部运动检测方法,包括如下步骤:
步骤S01:在安卓系统中嵌入预训练神经网络模型;
步骤S02:摄像头获取视频图像数据,对每一帧图像进行预处理;
步骤S03:MTCNN网络识别多个人脸图片,通过比对获取面积最大的待选区域进行检测;
步骤S04:识别人脸并监测人脸五个关键点位置坐标;
步骤S05:通过计算关键点之间的几何关系判断用户面部转向;
其中,步骤S04中,获取的五个关键点坐标分别为左眼(e1.x,e1.y),右眼(e2.x,e2.y),鼻尖(n.x,n.y),左嘴角(m1.x,m2.y),右嘴角(m2.x,m2.y);
其中,步骤S05中,判断用户面部转向的计算方式如下:
方式1:计算左眼和右眼中心位置距离比例,即(e1.x-n.x)/(e2.x-n.x),当计算的比例大于设定的右转阈值时,则判定为面部右转;当计算的比例小于设定的左转阈值时,则判定为面部左转;
方式2:计算嘴角与眼睛离中心位置距离的比例,即(m1.y-n.y)/(n.y-e1.y),当计算的比例大于设定的抬头阈值时,则判定为抬头;当计算的比例小于设定的低头阈值时,则判定为低头;
方式3:计算左眼与右眼的坐标值判断倾斜的角度,即(e1.y-e2.y)/(e2.x-e1.x),当计算的比例大于左偏设定阈值时,则判定为左偏头;当计算的比例小于右偏设定阈值时,则判定为右偏头。
优选地,所述步骤S01中,训练神经网络模型需要收集大量不同的单张人脸的图像,建立人脸特征数据库作为神经网络的训练数据,在将训练数据输入至神经网络,逐层训练得到预训练的神经网络模型。
优选地,所述步骤S02中,预处理是将摄像头拍摄的视频帧图像直接输入到预训练神经网络模型中进行人脸检测,检测出包含人脸的视频帧图像,并根据人脸检测结果中人脸所在的区域,截取出若干张仅有单个人脸的图像。
优选地,所述步骤S03中,MTCNN网络为人脸检测网络,MTCNN网络的输入为任意大小的图像,输出为图像中人脸所在的区域以及人脸上包括左眼(e1.x,e1.y),右眼(e2.x,e2.y),鼻尖(n.x,n.y),左嘴角(m1.x,m2.y),右嘴角(m2.x,m2.y)五个关键点的坐标;所述MTCNN网络需要通过训练所得,训练数据集为WIDER FACE和CelebA数据集,训练使用Caffe深度学习框架;在训练过程中对MTCNN网络进行稀疏化和逐层量化。
本发明具有以下有益效果:
本发明通过在安卓系统中嵌入预训练神经网络模型,对摄像头拍摄的每一帧进行预处理,利用MTCNN网络获取待选区域进行监测,获取人脸五个关键点位置坐标,再通过公式计算五个关键点之间连线斜率的变化来判断头像转动方向,操作方便,提升头部转动判断的准确率。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一种基于安卓系统的头部运动检测方法步骤图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1所示,本发明为一种基于安卓系统的头部运动检测方法,包括如下步骤:
步骤S01:在安卓系统中嵌入预训练神经网络模型;
步骤S02:摄像头获取视频图像数据,对每一帧图像进行预处理;摄像头在获取每帧数据时,对每一帧图像进行预处理,调节图像的分辨率,使得图像通过网络运算的时间足够短,处理过后立即读取下一帧数据,以达到流畅运行的效果;
步骤S03:MTCNN网络识别多个人脸图片,通过比对获取面积最大的待选区域进行检测;
步骤S04:识别人脸并监测人脸五个关键点位置坐标;
步骤S05:通过计算关键点之间的几何关系判断用户面部转向;
其中,步骤S04中,获取的五个关键点坐标分别为左眼(e1.x,e1.y),右眼(e2.x,e2.y),鼻尖(n.x,n.y),左嘴角(m1.x,m2.y),右嘴角(m2.x,m2.y);
其中,步骤S05中,判断用户面部转向的计算方式如下:
方式1:计算左眼和右眼中心位置距离比例,即(e1.x-n.x)/(e2.x-n.x),当计算的比例大于设定的右转阈值时,则判定为面部右转;当计算的比例小于设定的左转阈值时,则判定为面部左转;
方式2:计算嘴角与眼睛离中心位置距离的比例,即(m1.y-n.y)/(n.y-e1.y),当计算的比例大于设定的抬头阈值时,则判定为抬头;当计算的比例小于设定的低头阈值时,则判定为低头;
方式3:计算左眼与右眼的坐标值判断倾斜的角度,即(e1.y-e2.y)/(e2.x-e1.x),当计算的比例大于左偏设定阈值时,则判定为左偏头;当计算的比例小于右偏设定阈值时,则判定为右偏头;
通过这几种斜率计算方式能够有效判断人头部的抬头、低头、左转、右转、左偏、右偏等情况,并进行偏转次数的统计,即一定单位时间内头部偏转的次数,也可以进行统计次数的设置,当判断人头部有偏转动作时,系统并不会对次数进行统计,当偏转一定时间且用户头部没有进行便跟,系统将对这次头部偏转进行统计;在系统对每帧图片进行处理时,通过视觉进行距离进行判别,判断用户头部是靠近还是远离。
其中,步骤S01中,训练神经网络模型需要收集大量不同的单张人脸的图像,建立人脸特征数据库作为神经网络的训练数据,在将训练数据输入至神经网络,逐层训练得到预训练的神经网络模型。
其中,步骤S02中,预处理是将摄像头拍摄的视频帧图像直接输入到预训练神经网络模型中进行人脸检测,检测出包含人脸的视频帧图像,并根据人脸检测结果中人脸所在的区域,截取出若干张仅有单个人脸的图像。
其中,步骤S03中,MTCNN网络为人脸检测网络,MTCNN网络的输入为任意大小的图像,输出为图像中人脸所在的区域以及人脸上包括左眼(e1.x,e1.y),右眼(e2.x,e2.y),鼻尖(n.x,n.y),左嘴角(m1.x,m2.y),右嘴角(m2.x,m2.y)五个关键点的坐标;MTCNN网络需要通过训练所得,训练数据集为WIDER FACE和CelebA数据集,训练使用Caffe深度学习框架;在训练过程中对MTCNN网络进行稀疏化和逐层量化。
值得注意的是,上述系统实施例中,所包括的各个单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
另外,本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本发明的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (4)
1.一种基于安卓系统的头部运动检测方法,其特征在于,包括如下步骤:
步骤S01:在安卓系统中嵌入预训练神经网络模型;
步骤S02:摄像头获取视频图像数据,对每一帧图像进行预处理;
步骤S03:MTCNN网络识别多个人脸图片,通过比对获取面积最大的待选区域进行检测;
步骤S04:识别人脸并监测人脸五个关键点位置坐标;
步骤S05:通过计算关键点之间的几何关系判断用户面部转向;
其中,步骤S04中,获取的五个关键点坐标分别为左眼(e1.x,e1.y),右眼(e2.x,e2.y),鼻尖(n.x,n.y),左嘴角(m1.x,m2.y),右嘴角(m2.x,m2.y);
其中,步骤S05中,判断用户面部转向的计算方式如下:
方式1:计算左眼和右眼中心位置距离比例,即(e1.x-n.x)/(e2.x-n.x),当计算的比例大于设定的右转阈值时,则判定为面部右转;当计算的比例小于设定的左转阈值时,则判定为面部左转;
方式2:计算嘴角与眼睛离中心位置距离的比例,即(m1.y-n.y)/(n.y-e1.y),当计算的比例大于设定的抬头阈值时,则判定为抬头;当计算的比例小于设定的低头阈值时,则判定为低头;
方式3:计算左眼与右眼的坐标值判断倾斜的角度,即(e1.y-e2.y)/(e2.x-e1.x),当计算的比例大于左偏设定阈值时,则判定为左偏头;当计算的比例小于右偏设定阈值时,则判定为右偏头。
2.根据权利要求1所述的一种基于安卓系统的头部运动检测方法,其特征在于,所述步骤S01中,训练神经网络模型需要收集大量不同的单张人脸的图像,建立人脸特征数据库作为神经网络的训练数据,在将训练数据输入至神经网络,逐层训练得到预训练的神经网络模型。
3.根据权利要求1所述的一种基于安卓系统的头部运动检测方法,其特征在于,所述步骤S02中,预处理是将摄像头拍摄的视频帧图像直接输入到预训练神经网络模型中进行人脸检测,检测出包含人脸的视频帧图像,并根据人脸检测结果中人脸所在的区域,截取出若干张仅有单个人脸的图像。
4.根据权利要求1所述的一种基于安卓系统的头部运动检测方法,其特征在于,所述步骤S03中,MTCNN网络为人脸检测网络,MTCNN网络的输入为任意大小的图像,输出为图像中人脸所在的区域以及人脸上包括左眼(e1.x,e1.y),右眼(e2.x,e2.y),鼻尖(n.x,n.y),左嘴角(m1.x,m2.y),右嘴角(m2.x,m2.y)五个关键点的坐标;所述MTCNN网络需要通过训练所得,训练数据集为WIDER FACE和CelebA数据集,训练使用Caffe深度学习框架;在训练过程中对MTCNN网络进行稀疏化和逐层量化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910507480.3A CN110263691A (zh) | 2019-06-12 | 2019-06-12 | 基于安卓系统的头部运动检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910507480.3A CN110263691A (zh) | 2019-06-12 | 2019-06-12 | 基于安卓系统的头部运动检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110263691A true CN110263691A (zh) | 2019-09-20 |
Family
ID=67917900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910507480.3A Pending CN110263691A (zh) | 2019-06-12 | 2019-06-12 | 基于安卓系统的头部运动检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110263691A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110956082A (zh) * | 2019-10-17 | 2020-04-03 | 江苏科技大学 | 基于深度学习的人脸关键点检测方法和检测系统 |
CN110969646A (zh) * | 2019-12-04 | 2020-04-07 | 电子科技大学 | 一种适应高帧率的人脸追踪方法 |
CN111033508A (zh) * | 2018-04-25 | 2020-04-17 | 北京嘀嘀无限科技发展有限公司 | 一种识别身体运动的系统和方法 |
CN111538344A (zh) * | 2020-05-14 | 2020-08-14 | 重庆科技学院 | 基于面部关键点运动跟随的智能轮椅及其控制方法 |
CN111967422A (zh) * | 2020-08-27 | 2020-11-20 | 福建医联康护信息技术有限公司 | 自助式人脸识别服务方法 |
CN112464864A (zh) * | 2020-12-08 | 2021-03-09 | 上海交通大学 | 基于树形神经网络结构的人脸活体检测方法 |
CN113836965A (zh) * | 2020-06-08 | 2021-12-24 | 北京字节跳动网络技术有限公司 | 处理信息的方法、装置、终端和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102802007A (zh) * | 2012-04-06 | 2012-11-28 | 杭州群核信息技术有限公司 | 一种交互式展示物体立体效果的方法 |
CN105989264A (zh) * | 2015-02-02 | 2016-10-05 | 北京中科奥森数据科技有限公司 | 生物特征活体检测方法及系统 |
CN107358154A (zh) * | 2017-06-02 | 2017-11-17 | 广州视源电子科技股份有限公司 | 一种头部运动检测方法和装置及活体识别方法和系统 |
CN108616736A (zh) * | 2016-12-29 | 2018-10-02 | 深圳超多维科技有限公司 | 用于立体显示的跟踪定位方法及装置 |
CN108875602A (zh) * | 2018-05-31 | 2018-11-23 | 珠海亿智电子科技有限公司 | 监控环境下基于深度学习的人脸识别方法 |
CN108932727A (zh) * | 2017-12-29 | 2018-12-04 | 浙江宇视科技有限公司 | 人脸跟踪方法和装置 |
CN109409172A (zh) * | 2017-08-18 | 2019-03-01 | 安徽三联交通应用技术股份有限公司 | 驾驶员视线检测方法、系统、介质及设备 |
-
2019
- 2019-06-12 CN CN201910507480.3A patent/CN110263691A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102802007A (zh) * | 2012-04-06 | 2012-11-28 | 杭州群核信息技术有限公司 | 一种交互式展示物体立体效果的方法 |
CN105989264A (zh) * | 2015-02-02 | 2016-10-05 | 北京中科奥森数据科技有限公司 | 生物特征活体检测方法及系统 |
CN108616736A (zh) * | 2016-12-29 | 2018-10-02 | 深圳超多维科技有限公司 | 用于立体显示的跟踪定位方法及装置 |
CN107358154A (zh) * | 2017-06-02 | 2017-11-17 | 广州视源电子科技股份有限公司 | 一种头部运动检测方法和装置及活体识别方法和系统 |
CN109409172A (zh) * | 2017-08-18 | 2019-03-01 | 安徽三联交通应用技术股份有限公司 | 驾驶员视线检测方法、系统、介质及设备 |
CN108932727A (zh) * | 2017-12-29 | 2018-12-04 | 浙江宇视科技有限公司 | 人脸跟踪方法和装置 |
CN108875602A (zh) * | 2018-05-31 | 2018-11-23 | 珠海亿智电子科技有限公司 | 监控环境下基于深度学习的人脸识别方法 |
Non-Patent Citations (1)
Title |
---|
程念: "基于几何特征分析的证件照头部姿态检测", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111033508A (zh) * | 2018-04-25 | 2020-04-17 | 北京嘀嘀无限科技发展有限公司 | 一种识别身体运动的系统和方法 |
CN111033508B (zh) * | 2018-04-25 | 2020-11-20 | 北京嘀嘀无限科技发展有限公司 | 一种识别身体运动的系统和方法 |
US10997722B2 (en) | 2018-04-25 | 2021-05-04 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for identifying a body motion |
CN110956082A (zh) * | 2019-10-17 | 2020-04-03 | 江苏科技大学 | 基于深度学习的人脸关键点检测方法和检测系统 |
CN110956082B (zh) * | 2019-10-17 | 2023-03-24 | 江苏科技大学 | 基于深度学习的人脸关键点检测方法和检测系统 |
CN110969646A (zh) * | 2019-12-04 | 2020-04-07 | 电子科技大学 | 一种适应高帧率的人脸追踪方法 |
CN111538344A (zh) * | 2020-05-14 | 2020-08-14 | 重庆科技学院 | 基于面部关键点运动跟随的智能轮椅及其控制方法 |
CN113836965A (zh) * | 2020-06-08 | 2021-12-24 | 北京字节跳动网络技术有限公司 | 处理信息的方法、装置、终端和存储介质 |
CN111967422A (zh) * | 2020-08-27 | 2020-11-20 | 福建医联康护信息技术有限公司 | 自助式人脸识别服务方法 |
CN112464864A (zh) * | 2020-12-08 | 2021-03-09 | 上海交通大学 | 基于树形神经网络结构的人脸活体检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263691A (zh) | 基于安卓系统的头部运动检测方法 | |
US20220214747A1 (en) | Interactive Motion-Based Eye Tracking Calibration | |
Al-Rahayfeh et al. | Eye tracking and head movement detection: A state-of-art survey | |
US20220167877A1 (en) | Posture Analysis Systems and Methods | |
Lupu et al. | Eye tracking mouse for human computer interaction | |
JPWO2020121425A1 (ja) | 状態判定装置、状態判定方法、及び状態判定プログラム | |
CN108888487A (zh) | 一种眼球训练系统及方法 | |
KR20120060978A (ko) | 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법 | |
CN111933275A (zh) | 一种基于眼动与面部表情的抑郁评估系统 | |
US11497440B2 (en) | Human-computer interactive rehabilitation system | |
Wojciechowski et al. | Single web camera robust interactive eye-gaze tracking method | |
Khan et al. | Nose tracking cursor control for the people with disabilities: An improved HCI | |
CN114190879A (zh) | 基于虚拟现实技术的弱视儿童视功能检测系统 | |
Rakshita | Communication through real-time video oculography using face landmark detection | |
CN109044375A (zh) | 一种实时跟踪检测眼球疲劳度的控制系统及其方法 | |
Islam et al. | Computer vision based eye gaze controlled virtual keyboard for people with quadriplegia | |
Strumiłło et al. | A vision-based head movement tracking system for human-computer interfacing | |
Vasiljevas et al. | Development of EMG-based speller | |
Hegde et al. | Low cost eye based human computer interface system (Eye controlled mouse) | |
Takeuchi et al. | A study on region of interest in remote ppg and an attempt to eliminate false positive results using svm classification | |
CN112256132A (zh) | 一种面向渐冻人设计的人机交互系统 | |
Zhang et al. | Vision-based displacement sensor for people with serious spinal cord injury | |
Bulling | Eye movement analysis for context inference and cognitive-awareness: Wearable sensing and activity recognition using electrooculography | |
CN116392086B (zh) | 检测刺激方法、终端及存储介质 | |
Guo et al. | Using face and object detection to quantify looks during social interactions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190920 |