CN111709365A - 一种基于卷积神经网络的人体运动姿态自动检测方法 - Google Patents
一种基于卷积神经网络的人体运动姿态自动检测方法 Download PDFInfo
- Publication number
- CN111709365A CN111709365A CN202010554087.2A CN202010554087A CN111709365A CN 111709365 A CN111709365 A CN 111709365A CN 202010554087 A CN202010554087 A CN 202010554087A CN 111709365 A CN111709365 A CN 111709365A
- Authority
- CN
- China
- Prior art keywords
- neural network
- convolutional neural
- image
- detection method
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 45
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 title claims abstract description 22
- 230000036544 posture Effects 0.000 claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 238000003745 diagnosis Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 210000003423 ankle Anatomy 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 230000000877 morphologic effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 12
- 210000003127 knee Anatomy 0.000 description 11
- 210000000707 wrist Anatomy 0.000 description 10
- 238000003062 neural network model Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的人体运动姿态自动检测方法,步骤包括:采集运动图像并进行预处理;分割人体图像与场景图像;提取人体关键点信息;基于关键点生成特征向量;计算特征向量夹角;调用神经网络诊断模型判定运动姿态。本发明提出基于卷积神经网络模型进行人体运动姿态的实时诊断,所设计方法适用于不同运动场景和多种人体动作,解决了普通人群由于缺乏专业培训而无法判断运动姿态是否错误的难题,为提升普通人群运动质量提供了一种可行的低成本解决方案。
Description
技术领域
本发明属于人工智能领域,具体地说是涉及一种用于人体运动姿态自动检测和判定的方法。
背景技术
随着社会的发展以及国民健康意识的增强,越来越多的人开始选择在工作之余参与各类运动。普通人群由于缺乏专业培训无法及时发现并纠正自身运动姿势的错误,不仅影响运动效果,还可能带来不必要的身体损害。聘请专业教练进行指导可以有效解决以上问题,但相关辅导费用及其昂贵。
因此,开发一种智能化、低成本的运动姿态自动检测技术将有助于提升国民的运动质量,降低运动风险。
研究人员针对人体运动姿态的检测和判定提出了多种可行方法。专利CN110743153A、CN110478883A基于多传感器实时数据进行姿态计算,系统稳定可靠,但部署成本高、难度大。专利CN110188599A、CN110163038A针对连续运动过程中人体关节点位置图像,基于深度学习模型进行运动姿态判定,但由于需针对不同姿态分别建模,该方法通用性不强且预测准确度较低。专利CN110298218A、CN110170159A提取运动图像中人体关节点夹角,并与参考阈值范围进行比较,依据是否超出阈值进行运动姿态判定,由于阈值范围设置人为主观性较强,且不同姿态设计关节点位置与数量亦不同,因此该方法可靠性和稳定性较低。
综上所述,现有技术方案均存在不足之处,无法完全实现低成本、高可靠的人体运动姿态自动检测。
发明内容
本发明的目的是,为克服现有技术的缺陷,提出一种基于卷积神经网络的人体运动姿态实时检测和评估方法。
为实现上述目的,本发明采用如下技术方案:
利用图像采集装置实时采集运动影像
所述图像采集装置可以为CCD相机或CMOS相机。
进一步的,对所采集影像进行帧处理,生成适用于视觉识别的帧序列。
进一步的,对单帧图像进行背景分割,获得人体图像。
进一步的,将人体图像传入神经网络模型进行关键点检测。
所述关键点包括左眼、右眼、鼻子、左耳、右耳、胸口、左肩、右肩、左肘、右肘、左手腕、右手腕、左髋、右髋、左膝、右膝、左踝、右踝。
根据检测结果标记关键点坐标为(xi,yi),其中,检测失败关键点的坐标标记为(0,0)。
若成功检测关键点数量不足,提取下一帧图像重复步骤[0012]至[0014]。
进一步的,针对半身或全身躺卧姿态,通过计算鼻子和脚踝的坐标关系判断人体头部朝向。
令(x1,y1)为鼻子,(x17,y17)为左踝,(x18,y18)为右踝,当x17/18-x1>0时,头部朝左;当x17/18-x1<0时,头部朝右。
进一步的,针对半身或全身直立姿态,通过计算左肩和右肩的坐标关系判断人体是否面向摄像头。
令(x6,y6)为左肩,(x7,y7)为右肩,当x6-x7<0时,人体面向摄像头;x6-x7>0时,人体背向摄像头。
进一步的,计算关键点(xi,yi)指向关键点(xj,yj)的特征向量的模,令:
进一步的,根据特征向量模计算特征向量夹角,令:
进一步的,以不同关键点间特征向量夹角构成特征向量夹角序列。
进一步的,以特征向量夹角序列作为输入参数建立卷积神经网络模型,并使用含有标准姿态和非标准姿态图像的样本集集对模型进行训练。
所述卷积神经网络模型适用于不同运动姿态,包括四个卷积层和四个池化层,采用softmax分类器对姿态进行分类。
进一步的,实时诊断运动姿态时,先将视频图像分割成帧序列,然后对单帧图像进行处理,最后以特征向量夹角序列作为输入参数传入神经网络模型进行预测分析。
附图说明
图1为本发明检测和判定运动姿态的流程图;
图2为本发明检测人体关键点的示意图;
图3为本发明建立的卷积神经网络模型结构图;
图4为本发明提取标准俯卧撑姿态特征向量及其夹角的示意图;
图5为本发明提取不标准俯卧撑姿态特征向量及其夹角的示意图;
图6为本发明提取标准举哑铃姿态特征向量及其夹角的示意图;
图7为本发明提取不标准举哑铃姿态特征向量及其夹角的示意图;
具体实施方式
下面结合具体运动姿态及附图,详述本项目的实现过程:
以下运动姿态仅作为功能演示,并不代表本发明全部适用的运动姿态实施方法。
如图1所示,本发明所述一种基于卷积神经网络的人体运动姿态自动检测方法,其流程包括:采集运动图像并进行预处理;分割人体图像与场景图像;提取人体关键点信息;基于关键点生成特征向量;计算特征向量夹角;调用神经网络诊断模型判定运动姿态。
如图2所示,本发明所述卷积神经网络模型包括四个卷积层和四个池化层,采用softmax分类器对姿态进行分类。
如图3所示,提取的人体关键点包括:鼻子(x1,y1)、胸口(x2,y2)、左眼(x3,y3)、右眼(x4,y4)、左耳(x5,y5)、右耳(x6,y6)、左肩(x7,y7)、右肩(x8,y8)、左肘(x9,y9)、右肘(x10,y10)、左手腕(x11,y11)、右手腕(x12,y12)、左髋(x13,y13)、右髋(x14,y14)、左膝(x15,y15)、右膝(x16,y16)、左踝(x17,y17)、右踝(x18,y18)。
以下以“俯卧撑”和“举哑铃”两种运动姿态详述人体水平贴于地面和直立动作的检测及判断过程:
“俯卧撑”检测及判断过程:
利用图像采集装置实时采集运动影像。
对每一帧图像进行背景分割,获得目标图像。
对所采集影像进行帧处理,生成适用于视觉识别的帧序列。
对单帧图像进行背景分割,获得人体图像。
将人体图像传入神经网络模型进行关键点检测。
俯卧撑所需的关键点为:鼻、肩膀、髋、膝盖以及脚踝。
当左髋和右髋,左膝和右膝,左踝和右踝关键点都存在时,取一边坐标用以计算,令:
鼻F1(x1,y1)、左肩F7(x7,y7)、左髋F13(x13,y13)、左膝F15(x15,y15)、左脚踝F17(x17,y17)。
当x17/18-x1>0时,头部朝左;当x17/18-x1<0时,头部朝右。
将θ1、θ2组成的夹角序列作为输入参数建立卷积神经网络模型,并使用含有标准姿态和非标准姿态图像的样本集集对模型进行训练。
实时诊断运动姿态时,先将视频图像分割成帧序列,然后对单帧图像进行处理,最后以特征向量夹角序列作为输入参数传入神经网络模型进行预测分析。
如图4所示,若经[0053]判断为合格,则进入下一帧图像,若判断为不合格,网络输出不合格类型,系统根据网络输出给出纠正方法,如图5所示,网络输出臀部过低,系统将提示臀部需上抬。
“举哑铃”检测及判断过程:
重复步骤[0041]至[0045]。
举哑铃所需到的关键点为左肩、右肩、左肘、右肘、左手腕、右手腕,令:
左肩J7(x7,y7)、右肩J8(x8,y8)、左肘J9(x9,y9)、右肘J10(x10,y10)、左手腕J11(x11,y11)、右手腕J11(x11,y11)。
当x8-x7<0,人体面向镜头,x8-x7>0,人体背向镜头。
将β1、β2、β3、β4成的夹角序列作为输入参数建立卷积神经网络模型,并使用含有标准姿态和非标准姿态图像的样本集集对模型进行训练。
实时诊断运动姿态时,先将视频图像分割成帧序列,然后对单帧图像进行处理,最后以特征向量夹角序列作为输入参数传入神经网络模型进行预测分析。
如图6所示,若经[0063]判断合格,则进入下一帧图像,若判断不合格,网络输出不合格类型,系统根据网络输出给出纠正方法。如图7所示,网络输出手臂弯曲,系统将提示手臂未打值。
Claims (8)
1.一种基于卷积神经网络的人体运动姿态自动检测方法,包括:采集运动图像并进行预处理;分割人体图像与场景图像;提取人体关键点信息;基于关键点生成特征向量;计算特征向量夹角;调用神经网络诊断模型判定运动姿态。
2.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:所述图像预处理操作包括灰度化、滤波、形态学处理、二值化及像素调整。
3.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:利用基于神经网络的语义分割技术将人体图像与场景图像进行切割。
4.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:针对半身或全身躺卧姿态,通过计算鼻子和脚踝的坐标关系判断人体头部朝向。令(x1,y1)为鼻子,(x17,y17)为左踝,(x18,y18)为右踝,当x17/18-x1>0时,头部朝左;当x17/18-x1<0时,头部朝右。针对半身或全身直立姿态,通过计算左肩和右肩的坐标关系判断人体是否面向摄像头。令(x6,y6)为左肩,(x7,y7)为右肩,当x6-x7<0时,人体面向摄像头;x6-x7>0时,人体背向摄像头。
5.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:根据不同运动姿态构建相应特征向量,并基于若干关键点组成特征向量图。
6.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:针对不同运动姿态,以特征向量夹角序列作为输入参数建立卷积神经网络模型,并使用含有标准姿态和非标准姿态图像的样本集对模型进行训练。
7.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:所述卷积神经网络模型包括四个卷积层和四个池化层,采用softmax分类器对姿态进行分类。
8.根据权利要求1所述的一种基于卷积神经网络的人体运动姿态自动检测方法,其特征在于:实时诊断运动姿态时,先将视频图像分割成帧序列,然后对单帧图像进行处理,最后以特征向量夹角序列作为输入参数传入神经网络诊断模型进行预测分析。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010554087.2A CN111709365A (zh) | 2020-06-17 | 2020-06-17 | 一种基于卷积神经网络的人体运动姿态自动检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010554087.2A CN111709365A (zh) | 2020-06-17 | 2020-06-17 | 一种基于卷积神经网络的人体运动姿态自动检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111709365A true CN111709365A (zh) | 2020-09-25 |
Family
ID=72540924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010554087.2A Pending CN111709365A (zh) | 2020-06-17 | 2020-06-17 | 一种基于卷积神经网络的人体运动姿态自动检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111709365A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215185A (zh) * | 2020-10-21 | 2021-01-12 | 成都信息工程大学 | 一种从监控视频中检测跌倒行为的系统及方法 |
CN112488827A (zh) * | 2021-01-13 | 2021-03-12 | 润邦汇金金融服务外包(北京)有限公司 | 一种人工智能检测银行网点风控与管理系统 |
CN112842261A (zh) * | 2020-12-30 | 2021-05-28 | 西安交通大学 | 一种基于复杂网络的婴儿三维自发运动智能化评估系统 |
CN113033526A (zh) * | 2021-05-27 | 2021-06-25 | 北京欧应信息技术有限公司 | 基于计算机实现的方法、电子设备和计算机程序产品 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622606A (zh) * | 2010-02-03 | 2012-08-01 | 北京航空航天大学 | 基于测地模型的人体骨骼提取和朝向判定方法 |
CN105451827A (zh) * | 2013-06-13 | 2016-03-30 | 生化游戏有限公司 | 复健姿势及姿势识别 |
CN107358149A (zh) * | 2017-05-27 | 2017-11-17 | 深圳市深网视界科技有限公司 | 一种人体姿态检测方法和装置 |
CN108256433A (zh) * | 2017-12-22 | 2018-07-06 | 银河水滴科技(北京)有限公司 | 一种运动姿态评估方法及系统 |
CN109934111A (zh) * | 2019-02-12 | 2019-06-25 | 清华大学深圳研究生院 | 一种基于关键点的健身姿态估计方法及系统 |
CN110170159A (zh) * | 2019-06-27 | 2019-08-27 | 郭庆龙 | 一种人体健身动作运动监测系统 |
CN110210417A (zh) * | 2019-06-05 | 2019-09-06 | 深圳前海达闼云端智能科技有限公司 | 一种行人运动轨迹的预测方法、终端及可读存储介质 |
CN110298218A (zh) * | 2018-03-23 | 2019-10-01 | 上海形趣信息科技有限公司 | 交互式健身装置和交互式健身系统 |
CN110991292A (zh) * | 2019-11-26 | 2020-04-10 | 爱菲力斯(深圳)科技有限公司 | 动作识别比对方法、系统、计算机存储介质和电子装置 |
-
2020
- 2020-06-17 CN CN202010554087.2A patent/CN111709365A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102622606A (zh) * | 2010-02-03 | 2012-08-01 | 北京航空航天大学 | 基于测地模型的人体骨骼提取和朝向判定方法 |
CN105451827A (zh) * | 2013-06-13 | 2016-03-30 | 生化游戏有限公司 | 复健姿势及姿势识别 |
CN107358149A (zh) * | 2017-05-27 | 2017-11-17 | 深圳市深网视界科技有限公司 | 一种人体姿态检测方法和装置 |
CN108256433A (zh) * | 2017-12-22 | 2018-07-06 | 银河水滴科技(北京)有限公司 | 一种运动姿态评估方法及系统 |
CN110298218A (zh) * | 2018-03-23 | 2019-10-01 | 上海形趣信息科技有限公司 | 交互式健身装置和交互式健身系统 |
CN109934111A (zh) * | 2019-02-12 | 2019-06-25 | 清华大学深圳研究生院 | 一种基于关键点的健身姿态估计方法及系统 |
CN110210417A (zh) * | 2019-06-05 | 2019-09-06 | 深圳前海达闼云端智能科技有限公司 | 一种行人运动轨迹的预测方法、终端及可读存储介质 |
CN110170159A (zh) * | 2019-06-27 | 2019-08-27 | 郭庆龙 | 一种人体健身动作运动监测系统 |
CN110991292A (zh) * | 2019-11-26 | 2020-04-10 | 爱菲力斯(深圳)科技有限公司 | 动作识别比对方法、系统、计算机存储介质和电子装置 |
Non-Patent Citations (1)
Title |
---|
吴伟和等: "姿态无关的人体模型朝向判定", 《计算机辅助设计与图形学学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215185A (zh) * | 2020-10-21 | 2021-01-12 | 成都信息工程大学 | 一种从监控视频中检测跌倒行为的系统及方法 |
CN112215185B (zh) * | 2020-10-21 | 2022-08-05 | 成都信息工程大学 | 一种从监控视频中检测跌倒行为的系统及方法 |
CN112842261A (zh) * | 2020-12-30 | 2021-05-28 | 西安交通大学 | 一种基于复杂网络的婴儿三维自发运动智能化评估系统 |
CN112842261B (zh) * | 2020-12-30 | 2021-12-28 | 西安交通大学 | 一种基于复杂网络的婴儿三维自发运动智能化评估系统 |
CN112488827A (zh) * | 2021-01-13 | 2021-03-12 | 润邦汇金金融服务外包(北京)有限公司 | 一种人工智能检测银行网点风控与管理系统 |
CN113033526A (zh) * | 2021-05-27 | 2021-06-25 | 北京欧应信息技术有限公司 | 基于计算机实现的方法、电子设备和计算机程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111709365A (zh) | 一种基于卷积神经网络的人体运动姿态自动检测方法 | |
CN111104816B (zh) | 一种目标物的姿态识别方法、装置及摄像机 | |
CN110135249B (zh) | 基于时间注意力机制和lstm的人体行为识别方法 | |
CN111563452B (zh) | 一种基于实例分割的多人体姿态检测及状态判别方法 | |
CN107808376B (zh) | 一种基于深度学习的举手检测方法 | |
CN112560741A (zh) | 一种基于人体关键点的安全穿戴检测方法 | |
CN109758756B (zh) | 基于3d相机的体操视频分析方法及系统 | |
CN103559491A (zh) | 人体动作捕获及姿态分析系统 | |
CN112906797A (zh) | 一种基于计算机视觉和深度学习的平面抓取检测方法 | |
CN111027432B (zh) | 基于步态特征的视觉跟随机器人方法 | |
CN110032932B (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 | |
CN110991315A (zh) | 一种基于深度学习的安全帽佩戴状态实时检测方法 | |
CN105069745A (zh) | 基于普通图像传感器及增强现实技术的带表情变脸系统及方法 | |
CN116052222A (zh) | 自然采集牛脸图像的牛脸识别方法 | |
CN110956141A (zh) | 一种基于局部识别的人体连续动作快速分析方法 | |
CN112149553A (zh) | 一种考试作弊行为识别方法 | |
CN111178201A (zh) | 基于OpenPose姿态检测的人体分段式跟踪方法 | |
CN114170686A (zh) | 一种基于人体关键点的屈肘行为检测方法 | |
CN114187664A (zh) | 一种基于人工智能的跳绳计数系统 | |
CN111881841B (zh) | 一种基于双目视觉的人脸检测识别方法 | |
CN113487570A (zh) | 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法 | |
CN112036324A (zh) | 一种用于复杂多人场景的人体姿态判定方法及系统 | |
Yongcun et al. | Online examination behavior detection system for preschool education professional skills competition based on MTCNN | |
CN113382304B (zh) | 一种基于人工智能技术的视频拼接方法 | |
CN110674751A (zh) | 一种基于单目摄像机检测头部姿态的装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200925 |