CN111178201A - 基于OpenPose姿态检测的人体分段式跟踪方法 - Google Patents
基于OpenPose姿态检测的人体分段式跟踪方法 Download PDFInfo
- Publication number
- CN111178201A CN111178201A CN201911323046.6A CN201911323046A CN111178201A CN 111178201 A CN111178201 A CN 111178201A CN 201911323046 A CN201911323046 A CN 201911323046A CN 111178201 A CN111178201 A CN 111178201A
- Authority
- CN
- China
- Prior art keywords
- human body
- tracking
- openpose
- detection
- joint points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 25
- 210000003128 head Anatomy 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 14
- 210000002683 foot Anatomy 0.000 claims description 6
- 210000003423 ankle Anatomy 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 3
- 210000003127 knee Anatomy 0.000 claims description 3
- 210000000707 wrist Anatomy 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims 1
- 208000009144 Pure autonomic failure Diseases 0.000 abstract 1
- 230000007547 defect Effects 0.000 abstract 1
- 239000013312 porous aromatic framework Substances 0.000 abstract 1
- 210000003414 extremity Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003739 neck Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Geometry (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于OpenPose姿态检测的人体分段式跟踪方法，该方法以OpenPose实时多人2D姿态检测器检测人体的25个骨骼关节点为基础，通过OpenPose获得的PAFs将关节点分类组合为每个个体的关节点，利用每个个体不同部位关节点获得不同部位检测框，最后对同一个体不同部位检测框分别进行跟踪达到分段跟踪的目的；多框跟踪是根据每个人的头部、上身躯干、下身躯干骨骼关节点分析画出三个检测框，使用跟踪算法对三个部位分别跟踪，同时保证三个部位的跟踪ID一致。本发明克服了人体多目标跟踪场景中目标由于遮挡严重导致跟踪错误的情况。
Description
技术领域
本发明涉及多目标跟踪领域，具体涉及一种基于OpenPose姿态检测的人体分段式跟踪方法。
背景技术
目前基于深度学习的应用呈现爆炸式增长，特别是在图像处理领域，已经成为人们日常使用的工具。智能化时代，依靠高成本人力，重复机械的工作，势必会被人工智能取代，例如在安防领域，视频分析需要耗费巨大工作量，以往只能通过人工查看处理的问题，现在可以通过智能算法去解决，其中核心就是人的检测与跟踪分析，可以用在行人计数、行为分析、异常检测等领域。
在行人计数、行为分析等领域使用的大多都是多目标跟踪技术，多目标跟踪不仅需要预测目标的下一次出现位置，还需要关联算法确定每个目标的移动轨迹。常见的多目标跟踪算法有粒子滤波，卡尔曼滤波，CamShift算法等，大部分跟踪算法更多的是优化多目标跟踪的预测部分，在稀疏场景下跟踪多个行人，每个目标特征明显，变化小，对关联算法的要求比较低，预测越准，最后的跟踪效果就越好；但在人群密集场景下，行人经常会出现严重的遮挡情况，在连续帧视频中，上一帧与下一帧同一个人可视部分会出现非常大的变化，这时会给关联算法带来严峻的考验，关联算法效果差，会直接带来错误跟踪或者跟踪失败。
发明内容
本发明的目的在于提供一种基于OpenPose姿态检测的人体分段式跟踪方法，解决人群密集场景下，行人存在严重遮挡情况下跟踪困难的问题。
实现本发明目的的技术方案为:一种基于OpenPose姿态检测的人体分段式跟踪方法，包括：
通过OpenCV获取输入的包含人体姿态信息的视频流，并获取单帧图像，所述单帧图像为3通道的BGR格式的图像；
利用OpenPose检测出视频帧中所有人体的关节点并定位；
利用部分亲和力矢量场对关节点进行关联分析，按照属于不同人体进行分组，得到每个人的关节点信息；
根据每个人的头部、上身躯干、下身躯干关节点信息得到三个检测框；
利用跟踪算法对不同部位分别进行跟踪，保证跟踪ID一致，若三个部位有两个以上部位跟踪成功，则整体跟踪成功。
进一步的，人体关节点的坐标以及检测置信度构成人体实时动作骨架序列，每个人体关节点设有唯一的编号。
进一步的，设置关节点置信度阈值，关节点置信度超过阈值，则保留该关节点。
进一步的，关节点置信度阈值为0.5。
进一步的，利用关节点的编号信息确定头部、上身躯干、下身躯干关节点，当不同部位关节点实际保留个数达到要求后，利用关节点坐标信息画出头部、上身躯干、下身躯干检测框。
进一步的，若部位关节点实际保留个数超过3个，检测框获取成功。
进一步的，对不同检测框分别进行跟踪，但属于同一个人的不同部位设置一样的跟踪ID，同一人体存在两个以上部位跟踪成功，判定该目标跟踪成功。
进一步的，人体关节点总共有25个，头部选用6个，包括左右眼，鼻子，左右耳、脖子；上身躯干选用8个，包括左右肩、左右肘、左右手腕、左右胯，下身躯干选用11个，包括胯中心、左右膝、左右脚外测、左右脚跟、左右脚内测、左右脚踝
与现有技术相比，本发明的显著优点为：(1)本发明使用OpenPose姿态检测，采用深度卷积网络获取关节点作为跟踪的目标基础，表征性更强；(2)采用分段式跟踪，可以解决密集行人存在遮挡导致跟踪困难的问题，减少错误跟踪；通过获取人体头部、上身躯干、下身躯干关节点信息，得到三个检测框，利用跟踪算法对不同部位检测框分别跟踪，但是设置一样的跟踪ID，如果有两个部位以上跟踪成功，说明该目标跟踪成功。
附图说明
图1是本发明基于OpenPose姿态检测的人体分段式跟踪方法流程图。
图2是两个关节点PAF图。
图3是OpenPose的25个关节点示意图。
图4是实施例中多框跟踪框示意图。
具体实施方式
如图1所示，一种基于OpenPose姿态检测模型的人体分段式跟踪方法，包括以下流程。
步骤1:获取视频流:通过OpenCV获取输入的包含人体姿态信息的视频流，并获取单帧图像，其中，所述图像为3通道的BGR格式的图像。
步骤2:利用OpenPose深度学习模型将视频帧中所有人体的关节点检测出来并定位，设定关节点置信度阈值T。使用的深度学习框架是Caffe，OpenPose人体骨架检测模型的训练与测试都在该框架下提前完成。
步骤3:利用OpenPose深度学习模型中部分亲和力矢量场(PAFs)对关节点进行关联分析，按照属于不同人体进行分组，得到每个人的关节点信息。人体关节点总共有25个，头部选用6个，包括左右眼，鼻子，左右耳、脖子；上身躯干选用8个，包括左右肩，左右肘、左右手腕、左右胯，下身躯干选用11个，包括胯中心、左右膝、左右脚外测、左右脚跟、左右脚内测，左右脚踝。
PAF(部分亲和力矢量)是身体每个肢体的2D向量，如图2所示，对于属于特定肢体部分的每一个像素，一个2D向量编码了从肢体的一部分指向另一部分的方向。使Xj1,k和Xj2,k作为某人k的第c个身体肢体的两个真实身体节点j1和j2。如果点p在胳膊上，
是一个单位向量,从j1指向j2；对于其他的点，这个向量的值为0。
这里v＝(Xj2,k-Xj1,k)/||Xj2,k-Xj1,k||2是肢体节点方向上的单位向量，其中像素p是否落在肢体节点上需要满足两个条件：
其中，肢体的宽度σl是像素距离，躯体的长度lc,k＝||Xj2,k-Xj1,k||2，v⊥是与v垂直的向量。真实的亲和力将图像上所有的人的FAP做平均：
nc(p)表示点p处所有k个人的非零向量的个数。
关节点dj1与dj2和PAF已知后，计算两个关节点连线向量和两关节点连线上各像素的PAF向量之间的点积的积分作为两个关节点之间的相关性。
像素p进行采样p(u)＝(1-u)dj1+udj2,接下来通过PAFs计算出来的图的关联得到匹配关系。利用匈牙利算法去获得一个最优匹配方案。最终将检测到的关节点归类分组，每组属于一个人。
步骤4:如图4中检测样例，根据每个人的头部、上身、下身关节点信息得到三个检测框，头部检测框A,上身检测框B，下身检测框C。设定每个部位最少能检测到N个点才能获得该部位检测框。
关节点主要包含了置信度，节点的坐标信息。设定阈值，只有当检测关节点置信度超过阈值，才保留使用。
confidence指的是关节点的检测置信度；Rnode为1表示关节点保留，为0表示舍弃；∑Rnode指的是每个部位经过阈值判定后能保留的关节点个数。Rbox为1表示该部位检测框获取成功，为0表示该部位检测框获取失败。
步骤5:利用跟踪算法对不同部位检测框A、B、C分别进行跟踪，但保证跟踪ID一致，如果三个部位有两个以上跟踪成功，说明整体跟踪成功。
其中
表示检测框A、B、C是否跟踪成功，Tflag表示总体是否跟踪成功。
本发明以OpenPose实时多人2D姿态检测器检测人体的25个骨骼关节点为基础，通过OpenPose获得的PAFs将关节点分类组合为每个个体的关节点，利用每个个体不同部位关节点获得不同部位检测框，最后对同一个体不同部位检测框分别进行跟踪达到分段跟踪的目的；关节点检测利用OpenPose姿态检测算法将图片中所有人体骨骼关节点检测出并获得致信度；关节点分类组合利用PAFs将关节点根据不同个体分组；多框跟踪是根据每个人的头部、上身躯干、下身躯干骨骼关节点分析画出三个检测框，使用跟踪算法对三个部位分别跟踪，同时保证三个部位的跟踪ID一致，克服了人体多目标跟踪场景中目标由于遮挡严重导致跟踪错误的情况。
下面结合实施例和附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
实施例
图2是人体OpenPose检测关节点示意图，图1是分段跟踪的流程图。本实施例中基于OpenPose姿态检测模型的人体多目标跟踪方法，首先利用OpenPose骨架关节点检测模型获取关节点信息，然后根据关节点信息获取每个人不同部位的检测框。最后利用多目标跟踪算法对不同部位分别进行跟踪，只要有两个以上部位跟踪成功，说明目标成功跟踪到。具体步骤如下：
步骤1:获取视频流:通过OpenCV获取输入的包含人体姿态信息的视频流，并获取单帧图像，其中，所述图像为3通道的BGR格式的图像。
步骤2:单帧图像获取关节点信息:将图片预处理成384*256尺寸大小送入神经网络模型，利用OpenPose人体关节点检测模型提取特征并解析输出信息后，会得到图中所有的关节点信息，设置关节点置信度阈值为0.5，只有置信度超过阈值的关节点才会保留。
步骤3:得到满足条件的关节点信息后，这些关节点信息中包含每个关节点属于人体骨骼某个位置的信息，再利用OpenPose神经网络解析出的部分亲和力矢量场信息将全部关节点进行分组，按照关节点之间的相关性大小分组。每组关节点属于一个人。
步骤4:对每个人个例关节点进行分组，按照头部、上身躯干、下身躯干分类，构建检测框A、B、C。如图3所示，分属检测框A的关节点有15、16、0、17、18、1；分属检测B的关节点有2、5、9、12、3、6、4、7；分属检测框C的关节点有8、10、13、11、14、19、20、21、22、23、24。每个节点包含在图中的(x,y)信息，每组确定对应检测框的方法为：取该组所有节点最小的X、Y得到Xmin、Ymin；取该组所有节点最大的X、Y得到Xmax、Ymax；最后获得的检测框BOX的(x,y,w,h)就是(Xmin,Ymin,Xmax-Xmin,Ymax-Ymin)。每组的关节点至少存在三个才获得检测框，否则属于检测框获取失败。
步骤5:利用多目标跟踪算法卡尔曼滤波跟踪与匈牙利关联算法作为跟踪器，对获得的检测框分别进行跟踪，但是设置每个人不同部位的检测框相同的跟踪ID号，这样在实现分段跟踪的同时不会影响关联算法，对一个人体目标需要三个部位中两个以上跟踪成功，就说明该目标跟踪成功。
通过上述实施例可知，本发明作为多目标行人跟踪的方法，能够减少遮挡情况下的错误跟踪及一定程度下解决难跟踪的问题。
Claims (8)
1.一种基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于，包括：
通过OpenCV获取输入的包含人体姿态信息的视频流，并获取单帧图像，所述单帧图像为3通道的BGR格式的图像；
利用OpenPose检测出视频帧中所有人体的关节点并定位；
利用部分亲和力矢量场对关节点进行关联分析，按照属于不同人体进行分组，得到每个人的关节点信息；
根据每个人的头部、上身躯干、下身躯干关节点信息得到三个检测框；
利用跟踪算法对不同部位分别进行跟踪，保证跟踪ID一致，若三个部位有两个以上部位跟踪成功，则整体跟踪成功。
2.根据权利要求1所述的基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于，人体关节点的坐标以及检测置信度构成人体实时动作骨架序列，每个人体关节点设有唯一的编号。
3.根据权利要求2所述的基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于，设置关节点置信度阈值，关节点置信度超过阈值，则保留该关节点。
4.根据权利要求3所述的基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于，关节点置信度阈值为0.5。
5.根据权利要求3所述的基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于，利用关节点的编号信息确定头部、上身躯干、下身躯干关节点，当不同部位关节点实际保留个数达到要求后，利用关节点坐标信息画出头部、上身躯干、下身躯干检测框。
6.根据权利要求5所述的基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于，若部位关节点实际保留个数超过3个，检测框获取成功。
7.根据权利要求1所述的基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于，对不同检测框分别进行跟踪，但属于同一个人的不同部位设置一样的跟踪ID，同一人体存在两个以上部位跟踪成功，判定该目标跟踪成功。
8.根据权利要求1-7任意一项所述的基于OpenPose姿态检测的人体分段式跟踪方法，其特征在于，人体关节点总共有25个，头部选用6个，包括左右眼，鼻子，左右耳、脖子；上身躯干选用8个，包括左右肩、左右肘、左右手腕、左右胯，下身躯干选用11个，包括胯中心、左右膝、左右脚外测、左右脚跟、左右脚内测、左右脚踝。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911323046.6A CN111178201A (zh) | 2019-12-20 | 2019-12-20 | 基于OpenPose姿态检测的人体分段式跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911323046.6A CN111178201A (zh) | 2019-12-20 | 2019-12-20 | 基于OpenPose姿态检测的人体分段式跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111178201A true CN111178201A (zh) | 2020-05-19 |
Family
ID=70652003
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911323046.6A Pending CN111178201A (zh) | 2019-12-20 | 2019-12-20 | 基于OpenPose姿态检测的人体分段式跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111178201A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488057A (zh) * | 2020-12-17 | 2021-03-12 | 北京航空航天大学 | 一种利用人头点定位和关节点信息的单相机多目标跟踪方法 |
| CN112966563A (zh) * | 2021-02-04 | 2021-06-15 | 同济大学 | 一种基于人体骨骼检测和跟踪算法的行为识别方法 |
| CN117457193A (zh) * | 2023-12-22 | 2024-01-26 | 之江实验室 | 一种基于人体关键点检测的体态健康监测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416258A (zh) * | 2018-01-23 | 2018-08-17 | 华侨大学 | 一种基于人体部位模型的多人体跟踪方法 |
| CN109712168A (zh) * | 2018-11-14 | 2019-05-03 | 联想(北京)有限公司 | 一种目标跟踪方法及电子设备、装置及存储介质 |
| CN109949341A (zh) * | 2019-03-08 | 2019-06-28 | 广东省智能制造研究所 | 一种基于人体骨架结构化特征的行人目标跟踪方法 |
-
2019
- 2019-12-20 CN CN201911323046.6A patent/CN111178201A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416258A (zh) * | 2018-01-23 | 2018-08-17 | 华侨大学 | 一种基于人体部位模型的多人体跟踪方法 |
| CN109712168A (zh) * | 2018-11-14 | 2019-05-03 | 联想(北京)有限公司 | 一种目标跟踪方法及电子设备、装置及存储介质 |
| CN109949341A (zh) * | 2019-03-08 | 2019-06-28 | 广东省智能制造研究所 | 一种基于人体骨架结构化特征的行人目标跟踪方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488057A (zh) * | 2020-12-17 | 2021-03-12 | 北京航空航天大学 | 一种利用人头点定位和关节点信息的单相机多目标跟踪方法 |
| CN112966563A (zh) * | 2021-02-04 | 2021-06-15 | 同济大学 | 一种基于人体骨骼检测和跟踪算法的行为识别方法 |
| CN112966563B (zh) * | 2021-02-04 | 2022-09-20 | 同济大学 | 一种基于人体骨骼检测和跟踪算法的行为识别方法 |
| CN117457193A (zh) * | 2023-12-22 | 2024-01-26 | 之江实验室 | 一种基于人体关键点检测的体态健康监测方法及系统 |
| CN117457193B (zh) * | 2023-12-22 | 2024-04-02 | 之江实验室 | 一种基于人体关键点检测的体态健康监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222665B (zh) | 一种基于深度学习和姿态估计的监控中人体动作识别方法 | |
| CN107016357B (zh) | 一种基于时间域卷积神经网络的视频行人检测方法 | |
| CN109949341B (zh) | 一种基于人体骨架结构化特征的行人目标跟踪方法 | |
| CN111563452B (zh) | 一种基于实例分割的多人体姿态检测及状态判别方法 | |
| CN111178201A (zh) | 基于OpenPose姿态检测的人体分段式跟踪方法 | |
| CN110991340B (zh) | 一种基于图像压缩的人体动作分析方法 | |
| CN103559491A (zh) | 人体动作捕获及姿态分析系统 | |
| Labuguen et al. | Primate markerless pose estimation and movement analysis using DeepLabCut | |
| CN111199556A (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
| CN105574515A (zh) | 一种无重叠视域下的行人再识别方法 | |
| CN112395977A (zh) | 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法 | |
| CN107194950B (zh) | 一种基于慢特征分析的多人跟踪方法 | |
| CN112966628A (zh) | 一种基于图卷积神经网络的视角自适应多目标摔倒检测方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN114612933B (zh) | 单目社交距离检测追踪方法 | |
| CN102156994B (zh) | 一种单视角无标记人体运动跟踪的关节定位方法 | |
| CN109993116B (zh) | 一种基于人体骨骼相互学习的行人再识别方法 | |
| Feng | Mask RCNN-based single shot multibox detector for gesture recognition in physical education | |
| CN114170686A (zh) | 一种基于人体关键点的屈肘行为检测方法 | |
| CN110163112B (zh) | 一种考生姿态分割与平滑方法 | |
| Hu | Football player posture detection method combining foreground detection and neural networks | |
| CN110348395B (zh) | 一种基于时空关系的骨架行为识别方法 | |
| CN110717384B (zh) | 一种视频交互式行为识别方法及装置 | |
| Min et al. | COEB-SLAM: A Robust VSLAM in Dynamic Environments Combined Object Detection, Epipolar Geometry Constraint, and Blur Filtering | |
| Kuang et al. | An effective skeleton extraction method based on Kinect depth image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200519 |
|
| RJ01 | Rejection of invention patent application after publication |