CN107133971B - 一种基于网络节点能量传递的人物异常轨迹检测方法 - Google Patents
一种基于网络节点能量传递的人物异常轨迹检测方法 Download PDFInfo
- Publication number
- CN107133971B CN107133971B CN201710256750.9A CN201710256750A CN107133971B CN 107133971 B CN107133971 B CN 107133971B CN 201710256750 A CN201710256750 A CN 201710256750A CN 107133971 B CN107133971 B CN 107133971B
- Authority
- CN
- China
- Prior art keywords
- trajectory
- network
- node
- energy transfer
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 36
- 238000012546 transfer Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 241000282414 Homo sapiens Species 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 12
- 230000005856 abnormality Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于网络节点能量传递的人物异常轨迹检测方法。该方法提出一种将整个场景模型化为一个网络，网络中的每个节点相当于场景中的一个网格，每一条边代表不同网格之间的能量传递关系，再使用上述网络将场景中的人物以其中心点表示，人物的运动轨迹被模型化为网络中节点之间的能量传递，最后通过计算轨迹起始点间总的传递能量并和正常轨迹所需能量作对比即可检测该轨迹是否异常。本发明中网络节点间的能量阈值能够根据实际情况动态更新调整，对人物异常轨迹检测具有良好的检测效果。
Description
技术领域
本发明涉及图像处理技术领域，特别是一种基于网络节点能量传递的人物异常轨迹检测方法。
背景技术
人物轨迹追踪和检测是计算机视觉领域内非常活跃的研究方向，在视频监控、医疗看护、无人驾驶等领域都有着十分广泛的应用前景。通过计算机对人物的轨迹进行追踪和判断，既能大大减轻人们实际的工作负担，又由于计算机对图像独特的处理能力，使得一些人们难以发现的微小的安全隐患得以及时被发现，并反馈给相应工作人员做进一步的处理。
人物轨迹追踪技术建立在人物识别技术之上，目前已有的很多技术已经能较好地识别出人体所在的位置，如基于Haar特征和Adaboost分类器的人体检测技术和基于Hog特征和SVM分类器的人体检测技术等等。通过以上技术获取人体所在位置并提取出人体的几何中心即是本发明的轨迹异常检测的前提。
现有的行为分析方法有基于时空特征的模式分析方法，这类方法先提取每帧图像的人体区域，然后通过各种几何特征来分析人体动作，但该方法只能局限于简单的单人行为。也有基于图像统计处理的方法直接对视频帧的低层信息进行统计分析从而对视频段的人物行为进行理解，但这种方法需要进行大量的图像分析，导致计算量非常的大。现阶段对人物的异常动作检测效果欠佳且检测过程复杂的问题。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种基于网络节点能量传递的人物异常轨迹检测方法，以简单高效地对人物异常轨迹进行检测。
本发明为解决上述技术问题采用以下技术方案：
根据本发明提出的一种基于网络节点能量传递的人物异常轨迹检测方法，包括以下步骤：
步骤1、定义场景G，将G模型化为一个网络，具体如下：
步骤11、将G分成n*n个互不相交的网格，每一个网格代表网络中的一个节点，n为G中横向的网格数和纵向的网格数；
步骤12、在网络中两个不同的节点之间构建一条边，代表两个节点间能量传递的关系，定义边的权值为节点间能量传递的大小；
步骤2、输入人物的轨迹作为训练样本，对网络中不同节点间的边权进行动态更新，具体步骤如下：
步骤21、设输入的轨迹起始点为s，终点为e；定义R(s,e)代表以s为起点，e为终点的轨迹中所经过的节点对的集合，即R(s,e)＝{(s,s1),(s1,s2),...,(sn-1,e)}，s1,s2,...,sn-1为轨迹所途经的节点；
步骤22、定义E(i,j)为连接第i个节点和第j个节点之间的边权，初始化相邻两个节点的边权为1，其它节点间的边权为0，通过计算轨迹途经节点对间传递的能量总和更新轨迹起点和终点的边权，更新公式如下：
其中，i,j分别代表轨迹中第i个节点和第j个节点，E(s,e)代表轨迹起点和终点间的边权；
步骤3、重复步骤2对多个人物的轨迹进行训练，直到网络中每个节点对的边权都得到更新，并且更新次数达到训练的预设要求为止；
步骤4、输入一视频序列，检测视频中人物的运动轨迹是否存在异常；具体步骤如下：
步骤41、将视频序列中的人物以其形状中心点来表示，形状中心点所在网格则代表该人物的起始位置st；
步骤42、记录视频中人物形状中心点的运动轨迹，若当前帧与下一帧的形状中心点位置的变化范围在阈值ε以内，则当前形状中心点所在的网格记为该运动轨迹的终点et，得到当前运动轨迹R(st,et)，其中，et作为下一轨迹开始的起点；
步骤43、计算轨迹R(st,et)传递的总能量为：
步骤44、比较T(st,et)与E(st,et)的大小，若T(st,et)＜E(st,et)则判断该轨迹为异常轨迹；若T(st,et)≥E(st,et)则判断该轨迹为正常轨迹；
步骤5、根据判断输入轨迹正常与否动态对网络模型的边权进行调整更新：若步骤4中检测的轨迹没发生异常，或出现了异常但该异常轨迹在预设的接受范围内，则采用公式(1)重新计算轨迹的起始点和终点的边权；若该异常轨迹不在预设的接受范围内则给予警告。
作为本发明所述的一种基于网络节点能量传递的人物异常轨迹检测方法进一步优化方案，步骤1中将场景模型化为网络，将人物轨迹模型化为人物中心点在网络节点中的移动。
作为本发明所述的一种基于网络节点能量传递的人物异常轨迹检测方法进一步优化方案，步骤4中人物形状中心点为人体的几何形心。
作为本发明所述的一种基于网络节点能量传递的人物异常轨迹检测方法进一步优化方案，步骤4中通过判断T(st,et)与E(st,et)的大小关系判断轨迹R(st,et)是否异常。
作为本发明所述的一种基于网络节点能量传递的人物异常轨迹检测方法进一步优化方案，步骤5中，对网络模型的边权进行调整更新，且更新权值为原来边权的值与轨迹能量总和的值的平均值。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明提出一种基于网络节点能量传递的人物异常轨迹检测方法，其完整的方法过程包括将场景模型化为网络，网络的节点代表场景中的一个网格，节点之间的边代表网格间的能量传递关系；基于这个网络，我们进一步将场景中的人物以其中心点表示，人物的运动轨迹就被模型化为网络中节点之间的能量传递。通过计算轨迹起始点间总的传递能量并和正常轨迹所需能量作对比即可检测该轨迹是否异常；
(2)本发明所述网络能够对新的轨迹进行动态学习，不断更新网络的边的权值以适应新的变化，使得网络更具灵活性，检测的正确性得以提高；
(3)本发明将人物模型化为人体的形心，人物的运动轨迹模型化为网络节点间能量的传输途径，在保证正确性的同时大大简化了检测的复杂性。
附图说明
图1是基于网络节点能量传递的人物异常轨迹检测方法流程。
图2是划分场景示例。
图3是人物运动轨迹示例；其中，(a)，(b)，(c)分别代表不同的运动轨迹。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
根据附图1所示基于网络节点能量传递的人物异常轨迹检测方法对应的流程图，附图2所示划分场景示例，附图3所示人物运动轨迹示例，本发明具体实施方式为：
1)定义场景G，将G模型化为一个网络，具体步骤如下：
11)如附图2所示，将G分成6*6个互不相交的网格，每一个网格代表网络中的一个节点。
步骤12)在网络中两个不同的节点之间构建一条边，代表两个节点间能量传递的关系，定义边的权值为节点间能量传递的大小。
步骤2)输入人物的轨迹作为训练样本，对网络中不同节点间的边权进行动态更新，具体步骤如下：
步骤21)如图3中的(a)所示，红色路径代表输入的轨迹，起始点为s，终点为e。定义R(s,e)代表以s为起点，e为终点的轨迹中所经过的节点对的集合，即R(s,e)＝{(s,s1),(s1,s2),(s2,s3),(s3,s4),(s4,e)}。
步骤22)定义E(i,j)为连接两个节点的边的权值，初始化相邻两个节点的边权为1，其它节点间的边权为0。通过计算轨迹途经节点对间传递的能量总和更新轨迹起点和终点的边权，更新公式如下：
所述i,j为循环变量，分别代表轨迹中第i个节点和第j个节点。计算得到图3中的(a)中，E(s,e)＝5
步骤3)重复步骤2)对大量的人物正常轨迹进行训练，直到网络中每个节点对的边权都得到更新，并且更新次数达到训练的要求为止。
步骤4)输入一视频序列，检测视频中人物的运动轨迹是否存在异常。具体步骤如下：
步骤41)将视频序列中的人物以其形状中心点来表示，形状中心点所在网格则代表该人物的起始位置st。
步骤42)记录视频中人物形状中心点的运动轨迹，若当前帧与下一帧形状中心点位置的变化范围在阈值ε以内，则当前形状中心点所在的网格计为轨迹的终点et，得到当前运动轨迹R(st,et)，其中et作为下一轨迹开始的起点。
步骤43)设步骤42)得到的轨迹为R(st,et),计算该轨迹传递的总能量为：
以图3中的(b)和图3中的(c)为例，分别计算得T1(s,e)＝9,T2(s,e)＝3。
步骤44)比较T(st,et)与E(st,et)的大小，若T(st,et)＜E(st,et)则判断该轨迹为异常轨迹；若T(st,et)≥E(st,et)则判断该轨迹为正常轨迹。如附图3中的(b)所示轨迹T1(s,e)＞E(s,e),该轨迹就被判定为正常轨迹；图3中的(c)所示轨迹T2(s,e)＜E(s,e)，该轨迹被判定为异常轨迹。
步骤5)若步骤4)检测出的轨迹有异常，但该异常轨迹在人的接受范围内，则重新调整节点的边权，否则给予警告；若没有发生异常，则更新轨迹起始点和终点的边权。具体步骤如下：
步骤51)若步骤4中检测的轨迹有异常，但该异常轨迹在人的接受范围内，则用公式(1)重新计算轨迹的起始点和终点的边权；若该异常轨迹不在人的接受范围内则应给予警告。
步骤52)若步骤4中检测的轨迹没有发生异常，则用公式(1)对轨迹起始点和终点的边权进行更新。以图3中的(b)为例，该轨迹被判定为正常轨迹，所以更新边权E(s,e)＝(E(s,e)+T1(s,e))/2＝(5+9)/2＝7。
本发明所述网络能够对新的轨迹进行动态学习，不断更新网络的边的权值以适应新的变化，使得网络更具灵活性，检测的正确性得以提高。同时将人物模型化为人体的形心，人物的运动轨迹模型化为网络节点间能量的传输途径，在保证正确性的同时大大简化了检测的复杂性。
本发明将视频场景模拟成一个网络，网络的一个节点对应场景中的一个网格，节点间的边代表网格之间能量传递的关系，边权代表能量传递的大小。通过训练样本对网络进行训练，更新网络中每条边的权值，并通过在实际测试中动态地调整边权使得网络更具灵活性，检测结果更为准确。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替代，都应当视为属于本发明的保护范围。
Claims (5)
1.一种基于网络节点能量传递的人物异常轨迹检测方法，其特征在于，包括以下步骤：
步骤1、定义场景G，将G模型化为一个网络，具体如下：
步骤11、将G分成n*n个互不相交的网格，每一个网格代表网络中的一个节点，n为G中横向的网格数和纵向的网格数；
步骤12、在网络中两个不同的节点之间构建一条边，代表两个节点间能量传递的关系，定义边的权值为节点间能量传递的大小；
步骤2、输入人物的轨迹作为训练样本，对网络中不同节点间的边权进行动态更新，具体步骤如下：
步骤21、设输入的轨迹起始点为s，终点为e；定义R(s,e)代表以s为起点，e为终点的轨迹中所经过的节点对的集合，即R(s,e)＝{(s,s1),(s1,s2),...,(sn-1,e)}，s1,s2,...,sn-1为轨迹所途经的节点；
步骤22、定义E(i,j)为连接第i个节点和第j个节点之间的边权，初始化相邻两个节点的边权为1，其它节点间的边权为0，通过计算轨迹途经节点对间传递的能量总和更新轨迹起点和终点的边权，更新公式如下：
其中，i,j分别代表轨迹中第i个节点和第j个节点，E(s,e)代表轨迹起点和终点间的边权；
步骤3、重复步骤2对多个人物的轨迹进行训练，直到网络中每个节点对的边权都得到更新，并且更新次数达到训练的预设要求为止；
步骤4、输入一视频序列，检测视频中人物的运动轨迹是否存在异常；具体步骤如下：
步骤41、将视频序列中的人物以其形状中心点来表示，形状中心点所在网格则代表该人物的起始位置st；
步骤42、记录视频中人物形状中心点的运动轨迹，若当前帧与下一帧的形状中心点位置的变化范围在阈值ε以内，则当前形状中心点所在的网格记为该运动轨迹的终点et，得到当前运动轨迹R(st,et)，其中，et作为下一轨迹开始的起点；
步骤43、计算轨迹R(st,et)传递的总能量为：
步骤44、比较T(st,et)与E(st,et)的大小，若T(st,et)＜E(st,et)则判断该轨迹为异常轨迹；若T(st,et)≥E(st,et)则判断该轨迹为正常轨迹；
步骤5、根据判断输入轨迹正常与否动态对网络模型的边权进行调整更新：若步骤4中检测的轨迹没发生异常，或出现了异常但该异常轨迹在预设的接受范围内，则采用公式(1)重新计算轨迹的起始点和终点的边权；若该异常轨迹不在预设的接受范围内则给予警告。
2.根据权利要求1所述的一种基于网络节点能量传递的人物异常轨迹检测方法，其特征在于，步骤1中将场景模型化为网络，将人物轨迹模型化为人物中心点在网络节点中的移动。
3.根据权利要求1所述的一种基于网络节点能量传递的人物异常轨迹检测方法，其特征在于，步骤4中人物形状中心点为人体的几何形心。
4.根据权利要求1所述的一种基于网络节点能量传递的人物异常轨迹检测方法，其特征在于，步骤4中通过判断T(st,et)与E(st,et)的大小关系判断轨迹R(st,et)是否异常。
5.根据权利要求1所述的一种基于网络节点能量传递的人物异常轨迹检测方法，其特征在于，步骤5中，对网络模型的边权进行调整更新，且更新权值为原来边权的值与轨迹能量总和的值的平均值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710256750.9A CN107133971B (zh) | 2017-04-19 | 2017-04-19 | 一种基于网络节点能量传递的人物异常轨迹检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710256750.9A CN107133971B (zh) | 2017-04-19 | 2017-04-19 | 一种基于网络节点能量传递的人物异常轨迹检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107133971A CN107133971A (zh) | 2017-09-05 |
| CN107133971B true CN107133971B (zh) | 2019-12-10 |
Family
ID=59715006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710256750.9A Active CN107133971B (zh) | 2017-04-19 | 2017-04-19 | 一种基于网络节点能量传递的人物异常轨迹检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107133971B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107944384B (zh) * | 2017-11-21 | 2021-08-20 | 天地伟业技术有限公司 | 一种基于视频的递物行为检测方法 |
| CN109218985B (zh) * | 2018-08-08 | 2020-09-22 | 上海中交水运设计研究有限公司 | 一种基于模式相似度的船舶作业行为异常检测方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102523370A (zh) * | 2011-11-22 | 2012-06-27 | 上海交通大学 | 基于网络传输算法的多摄像头视频异常行为检测方法 |
| CN103392187A (zh) * | 2010-12-30 | 2013-11-13 | 派尔高公司 | 利用从物体轨迹数据获取的统计和语义特征的场景活动分析 |
| CN103955947A (zh) * | 2014-03-21 | 2014-07-30 | 南京邮电大学 | 一种基于连续最小能量与表观模型的多目标关联跟踪方法 |
| CN105741315A (zh) * | 2015-12-30 | 2016-07-06 | 电子科技大学 | 一种基于降采样策略的统计背景减除方法 |
| CN105807926A (zh) * | 2016-03-08 | 2016-07-27 | 中山大学 | 一种基于三维连续动态手势识别的无人机人机交互方法 |
| CN105825242A (zh) * | 2016-05-06 | 2016-08-03 | 南京大学 | 基于混合网格分层聚类的集群通信终端轨迹实时异常检测方法与系统 |
-
2017
- 2017-04-19 CN CN201710256750.9A patent/CN107133971B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103392187A (zh) * | 2010-12-30 | 2013-11-13 | 派尔高公司 | 利用从物体轨迹数据获取的统计和语义特征的场景活动分析 |
| CN102523370A (zh) * | 2011-11-22 | 2012-06-27 | 上海交通大学 | 基于网络传输算法的多摄像头视频异常行为检测方法 |
| CN103955947A (zh) * | 2014-03-21 | 2014-07-30 | 南京邮电大学 | 一种基于连续最小能量与表观模型的多目标关联跟踪方法 |
| CN105741315A (zh) * | 2015-12-30 | 2016-07-06 | 电子科技大学 | 一种基于降采样策略的统计背景减除方法 |
| CN105807926A (zh) * | 2016-03-08 | 2016-07-27 | 中山大学 | 一种基于三维连续动态手势识别的无人机人机交互方法 |
| CN105825242A (zh) * | 2016-05-06 | 2016-08-03 | 南京大学 | 基于混合网格分层聚类的集群通信终端轨迹实时异常检测方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107133971A (zh) | 2017-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110478883B (zh) | 一种健身动作教学及矫正系统及方法 | |
| CN110378281A (zh) | 基于伪3d卷积神经网络的组群行为识别方法 | |
| CN102682302B (zh) | 一种基于关键帧的多特征融合的人体姿态识别方法 | |
| CN109919122A (zh) | 一种基于3d人体关键点的时序行为检测方法 | |
| CN103699908B (zh) | 基于联合推理的视频多目标跟踪方法 | |
| CN110458022B (zh) | 一种基于域适应的可自主学习目标检测方法 | |
| CN113297900B (zh) | 基于yolo的视频流安全帽识别方法、装置、设备及存储介质 | |
| CN111191667B (zh) | 基于多尺度生成对抗网络的人群计数方法 | |
| CN106446922B (zh) | 一种人群异常行为分析方法 | |
| CN110781771A (zh) | 一种基于深度学习的异常行为实时监测方法 | |
| CN105404894B (zh) | 无人机用目标追踪方法及其装置 | |
| CN102722721A (zh) | 一种基于机器视觉的人体跌倒检测方法 | |
| CN107301376B (zh) | 一种基于深度学习多层刺激的行人检测方法 | |
| CN102930248A (zh) | 基于机器学习的人群异常行为检测方法 | |
| CN113139481B (zh) | 基于yolov3的教室人数统计方法 | |
| CN103345626A (zh) | 一种智能轮椅静态手势识别方法 | |
| CN113298005A (zh) | 一种基于视觉感知的学生违纪行为实时监测方法、装置及设备 | |
| CN105096344A (zh) | 基于cd运动特征的群体行为识别方法及系统 | |
| Samani et al. | Anomaly detection with vision-based deep learning for epidemic prevention and control | |
| CN107133971B (zh) | 一种基于网络节点能量传递的人物异常轨迹检测方法 | |
| Feng | Mask RCNN-based single shot multibox detector for gesture recognition in physical education | |
| CN111274866A (zh) | 一种基于子群组划分和动静特征融合的人群行为识别方法 | |
| CN102930250B (zh) | 一种多尺度条件随机场模型的动作识别方法 | |
| CN114639168A (zh) | 一种用于跑步姿态识别的方法和系统 | |
| CN105701469A (zh) | 一种基于代价敏感稀疏线性回归的鲁棒人群计数方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |