CN109800667A - 一种行人跟踪方法和系统 - Google Patents
一种行人跟踪方法和系统 Download PDFInfo
- Publication number
- CN109800667A CN109800667A CN201811623791.8A CN201811623791A CN109800667A CN 109800667 A CN109800667 A CN 109800667A CN 201811623791 A CN201811623791 A CN 201811623791A CN 109800667 A CN109800667 A CN 109800667A
- Authority
- CN
- China
- Prior art keywords
- bounding box
- frame
- current
- boundary
- picture frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000013136 deep learning model Methods 0.000 claims description 6
- 230000008034 disappearance Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种行人跟踪方法和系统，方法包括以下步骤：检测出第一边界框和第二边界框，对所有的第一边界框进行匹配操作；所述匹配操作包括以下步骤：根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框进行匹配，得到匹配结果；根据匹配结果对第一边界框进行标记。本发明利用了监控视频中行人移动速度的特点，根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框进行匹配，减少了匹配的次数，降低了系统的运算量，提升了检测效率。本发明可以广泛应用于图像处理领域。
Description
技术领域
本发明涉及图像处理领域，尤其是一种行人跟踪方法和系统。
背景技术
随着技术的发展，社会对于治安的要求越来越高。因此，监控摄像头遍布大街小巷。一旦有犯罪发生，侦查人员需要通过查看监控视频来寻找线索。而监控视频由于是实时存储的，因此其录制时间很长，并且往往一段很长的监控视频中，仅仅有某几段很短的时间出现了寥寥可数的几个目标行人。如果通过人工的方式进行查看效率非常低。
深度学习模型在图像处理上已经较为成熟，能够在图像中标出目标。目前采用深度学习模型来对图像进行识别的方案，往往需要将识别目标和全部的候选目标进行识别，运算量较大，检测效率较低。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种检测效率高的行人跟踪方法和系统。
本发明所采取的第一种技术方案是：
一种行人跟踪方法，包括以下步骤：
检测出第一图像帧中若干个行人的第一边界框，以及检测出第二图像帧中若干个行人的第二边界框；
对所有的第一边界框进行匹配操作；
所述匹配操作包括以下步骤：
根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框进行匹配，得到匹配结果；
在匹配结果满足设定条件时，根据匹配结果对当前的第一边界框进行标记；
在匹配结果不满足设定条件时，对当前的第一边界框和候选边界框进行相似度检测，并根据相似度检测的结果对当前的第一边界框进行标记。
进一步，所述检测出第一图像帧中若干个行人的第一边界框，以及检测出第二图像帧中若干个行人的第二边界框，其具体为：
通过深度学习模型对视频中相隔设定时间的第一图像帧和第二图像帧进行检测，得到第一图像帧中若干个行人的第一边界框，以及第二图像帧中若干个行人的第二边界框；每个第一边界框和每个第二边界框均包括长、宽、位置、前景置信度和分类置信度五个参数。
进一步，所述根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框进行匹配，得到匹配结果，其具体包括：
根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框；
根据当前的第一边界框和K个候选边界框的长、宽、位置、前景置信度和分类置信度进行匹配，分别得到当前的第一边界框与K个候选边界框的匹配度。
进一步，所述设定条件为：
与当前的第一边界框匹配度最高的候选边界框的配置度和其余K-1个候选边界框与当前的第一边界框的匹配度之差均大于第一设定阈值。
进一步，所述对当前的第一边界框进行标记，其具体为：
将当前的第一边框标记为匹配、消失、离开或者新到。
进一步，所述对当前的第一边界框和候选边界框进行相似度检测，其具体为：
按照K个候选边界框与当前的第一边界框匹配度高低的次序，依次将当前的第一边界框和前N个候选边界框进行相似度检测，得到相似度检测的结果。
进一步，所述根据相似度检测的结果对当前的第一边界框进行标记，其具体为：
若相似度检测的结果中存在与当前的第一边界框相似度大于第二设定阈值的候选边界框，则将第一边界框标记为匹配；
若相似度检测的结果中不存在与当前的第一边界框相似度大于第二设定阈值的候选边界框，则根据第一边界框在第一图像帧中的位置，将第一边界框标记为消失或者离开。
进一步，所述根据第一边界框在第一图像帧中的位置，将第一边界框标记为消失或者离开，其具体为：
判断第一边界框在第一图像帧中的位置是否处于边缘区域；若是，则将第一边界框标记为离开，反之，则将第一边界框标记为消失。
本发明所采取的第二种技术方案是：
一种行人跟踪系统，包括：
检测模块，用于检测出第一图像帧中若干个行人的第一边界框，以及检测出第二图像帧中若干个行人的第二边界框；
匹配模块，用于对所有的第一边界框进行匹配操作；
所述匹配操作包括：
根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框进行匹配，得到匹配结果；
在匹配结果满足设定条件时，根据匹配结果对当前的第一边界框进行标记；
在匹配结果不满足设定条件时，对当前的第一边界框和候选边界框进行相似度检测，并根据相似度检测的结果对当前的第一边界框进行标记。
本发明所采取的第三种技术方案是：
一种行人跟踪系统，包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行一种行人跟踪方法。
本发明的有益效果是：本发明根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框进行匹配，减少了匹配的次数，降低了系统的运算量。
附图说明
图1为本发明一种具体实施例的行人跟踪方法的流程图；
图2为本发明一种具体实施例的匹配操作的流程图。
具体实施方式
下面结合说明书附图和具体的实施例对本发明进行进一步的说明。
参照图1，本实施例公开了一种行人跟踪方法，该方法包括以下步骤：
S1、检测出第一图像帧中若干个行人的第一边界框，以及检测出第二图像帧中若干个行人的第二边界框。
所述第一边界框和第二边界框是指圈出行人所在区域的矩形框，所述矩形框的位置和大小与图像帧中检测出的行人在图像帧中的大小和位置有关。
S2、对所有的第一边界框进行匹配操作。
为了对所有的目标进行跟踪，因此需要对识别出来的所有第一边界框都进行匹配操作。
参照图2，所述匹配操作包括以下步骤：
S21、根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框进行匹配，得到匹配结果。
本步骤针对行人在监控视频中移动的速度有限的特点，通过K邻近算法的原理，筛选出与当前的第一边界框的位置最接近的K个第二边界框作为候选框。以最少的匹配次数，匹配最可能与当前的第一边界框为相同目标的K个候选框，从而可以降低运算量。在本实施例中，可以通过边界框的位置、长、宽、前景置信度和分类置信度进行简单的加权运算，从而得到一个简易的匹配度，作为匹配结果。本实施例相对于通过深度学习模型进行相似度检测，运算量更低。
S22、在匹配结果满足设定条件时，根据匹配结果对当前的第一边界框进行标记。
在通过简易的匹配后得到合适的匹配结果，则直接对第一边框进行标记。当然，也可以同时对匹配到的候选边界框也进行标记更新。
S23、在匹配结果不满足设定条件时，对当前的第一边界框和候选边界框进行相似度检测，并根据相似度检测的结果对当前的第一边界框进行标记。
如果在简易的匹配后没有得到合适的匹配结果，则进行相似度检测。所述相似度检测，可以由经过训练的深度学习模型来完成。
作为优选的实施例，所述步骤S1，其具体为：
通过深度学习模型对视频中相隔设定时间的第一图像帧和第二图像帧进行检测，得到第一图像帧中若干个行人的第一边界框，以及第二图像帧中若干个行人的第二边界框；每个第一边界框和每个第二边界框均包括长、宽、位置、前景置信度和分类置信度五个参数。
在本实施例中，为了应对视频帧率较高的情况下，影响系统的处理能力，因此本方法被设置为按照设定时间间隔从视频中取出第一图像帧和第二图像帧进行检测，所述设定时间可以是0.01秒，也可以是1秒等。
作为优选的实施例，所述步骤S21，具体包括：
根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框；
根据当前的第一边界框和K个候选边界框的长、宽、位置、前景置信度和分类置信度进行匹配，分别得到当前的第一边界框与K个候选边界框的匹配度。
所述匹配度可以利用欧几里得距离进行判断，所述匹配度的大小与bp值有关。
bpi＝α1d(pi)+α2d(li)+α3d(hi)+α4d(obi)+α5d(cls)
其中，下标i表示第i个候选边界框，α1、α2、α3、α4和α5表示权值。p表示位置；l表示长；h表示宽；ob表示前景置信度；cls表示分类置信度；d()表示欧几里得距离的函数。其中，匹配度bp的数值越大，表示匹配程度越低。
本实施例所采用的匹配度的算法复杂度低，运算量小，有助于提升系统效率。
作为优选的实施例，所述设定条件为：
与当前的第一边界框匹配度最高的候选边界框的配置度和其余K-1个候选边界框与当前的第一边界框的匹配度之差均大于第一设定阈值。
在本实施例中，可以通过对bp值进行运算，得到匹配度值。例如，将bp值作倒数，作为匹配度。
作为替代的实施例，也可以用bp值作为设定条件。
如果存在第i个候选边界框与当前的第一边界框的bp值符合以下条件，则无需进行相似度检测。
即存在任何第i个候选边界框与当前的第一边界框的bp值小于设定值t，并且比其他K-1个候选边框的bp值均至少小m，m也是设定值。
作为优选的实施例，所述对当前的第一边界框进行标记，其具体为：
将当前的第一边框标记为匹配、消失、离开或者新到。
在视频画面中，把在前后两个图像帧匹配到的目标称作匹配，把在第一图像帧中存在，但是第二图像帧中不存在的目标称作消失或者离开，而在第一图像帧中不存在，但是在第二图像帧中存在的目标称作新到。其中，如果目标是从图像帧的中央区域中不见的，称作消失，如果目标是从图像帧的边缘区域中不见的，称作离开。这些标记主要提供给业务系统使用。
作为优选的实施例，所述对当前的第一边界框和候选边界框进行相似度检测，其具体为：
按照K个候选边界框与当前的第一边界框匹配度高低的次序，依次将当前的第一边界框和前N个候选边界框进行相似度检测，得到相似度检测的结果。其中，N＜K。
本实施例中，采用siamese网络进行相似度检测，siamese网络有许多不同的实现，在本实施例中，所使用siamese网络由两个子网络组成，它们共享权值，最后接入一个全连接层，输出具有一维的相似度值，由于边界框的大小不相同，所以在两个子网络的最后一层上添加spp(Spatial pyramid pooling)层，来产生一个固定输出，避免对图片进行corp或者warp操作，即对图片大小的操作。
本实施例为了减少siamese网络的开销，本实施例按照前一步骤得到的匹配度的高低，来对前N个候选边界框进行相似度检测。一旦检测到相似度满足设定阈值的候选边界框后，以该候选边界框作为结果。若N个候选边界框均不满足相似度的阈值要求，则认为没有得到合适匹配结果。
作为优选的实施例，所述根据相似度检测的结果对当前的第一边界框进行标记，其具体为：
若相似度检测的结果中存在与当前的第一边界框相似度大于第二设定阈值的候选边界框，则将第一边界框标记为匹配；
若相似度检测的结果中不存在与当前的第一边界框相似度大于第二设定阈值的候选边界框，则根据第一边界框在第一图像帧中的位置，将第一边界框标记为消失或者离开。
作为优选的实施例，所述根据第一边界框在第一图像帧中的位置，将第一边界框标记为消失或者离开，其具体为：
判断第一边界框在第一图像帧中的位置是否处于边缘区域；若是，则将第一边界框标记为离开，反之，则将第一边界框标记为消失。
本实施例中，将处于边缘区域的第一边界框标记为离开，将不处于边缘区域，即处于中心区域的第一边界框标记为消失，以帮助业务系统区分目标的状态。
本实施例公开了一种行人跟踪系统，其可以用于实现上述方法实施例，其包括：
检测模块，用于检测出第一图像帧中若干个行人的第一边界框，以及检测出第二图像帧中若干个行人的第二边界框；
匹配模块，用于对所有的第一边界框进行匹配操作；
所述匹配操作包括：
根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框进行匹配，得到匹配结果；
在匹配结果满足设定条件时，根据匹配结果对当前的第一边界框进行标记；
在匹配结果不满足设定条件时，对当前的第一边界框和候选边界框进行相似度检测，并根据相似度检测的结果对当前的第一边界框进行标记。
本实施例公开了一种行人跟踪系统，其包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行上述方法实施例中的一种行人跟踪方法。
对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种行人跟踪方法，其特征在于：包括以下步骤：
检测出第一图像帧中若干个行人的第一边界框，以及检测出第二图像帧中若干个行人的第二边界框；
对所有的第一边界框进行匹配操作；
所述匹配操作包括以下步骤：
根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框进行匹配，得到匹配结果；
在匹配结果满足设定条件时，根据匹配结果对当前的第一边界框进行标记；
在匹配结果不满足设定条件时，对当前的第一边界框和候选边界框进行相似度检测，并根据相似度检测的结果对当前的第一边界框进行标记。
2.根据权利要求1所述的一种行人跟踪方法，其特征在于：所述检测出第一图像帧中若干个行人的第一边界框，以及检测出第二图像帧中若干个行人的第二边界框，其具体为：
通过深度学习模型对视频中相隔设定时间的第一图像帧和第二图像帧进行检测，得到第一图像帧中若干个行人的第一边界框，以及第二图像帧中若干个行人的第二边界框；每个第一边界框和每个第二边界框均包括长、宽、位置、前景置信度和分类置信度五个参数。
3.根据权利要求2所述的一种行人跟踪方法，其特征在于：所述根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框进行匹配，得到匹配结果，其具体包括：
根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框；
根据当前的第一边界框和K个候选边界框的长、宽、位置、前景置信度和分类置信度进行匹配，分别得到当前的第一边界框与K个候选边界框的匹配度。
4.根据权利要求3所述的一种行人跟踪方法，其特征在于：所述设定条件为：
与当前的第一边界框匹配度最高的候选边界框的配置度和其余K-1个候选边界框与当前的第一边界框的匹配度之差均大于第一设定阈值。
5.根据权利要求1所述的一种行人跟踪方法，其特征在于：所述对当前的第一边界框进行标记，其具体为：
将当前的第一边框标记为匹配、消失、离开或者新到。
6.根据权利要求3所述的一种行人跟踪方法，其特征在于：所述对当前的第一边界框和候选边界框进行相似度检测，其具体为：
按照K个候选边界框与当前的第一边界框匹配度高低的次序，依次将当前的第一边界框和前N个候选边界框进行相似度检测，得到相似度检测的结果。
7.根据权利要求6所述的一种行人跟踪方法，其特征在于：所述根据相似度检测的结果对当前的第一边界框进行标记，其具体为：
若相似度检测的结果中存在与当前的第一边界框相似度大于第二设定阈值的候选边界框，则将第一边界框标记为匹配；
若相似度检测的结果中不存在与当前的第一边界框相似度大于第二设定阈值的候选边界框，则根据第一边界框在第一图像帧中的位置，将第一边界框标记为消失或者离开。
8.根据权利要求7所述的一种行人跟踪方法，其特征在于：所述根据第一边界框在第一图像帧中的位置，将第一边界框标记为消失或者离开，其具体为：
判断第一边界框在第一图像帧中的位置是否处于边缘区域；若是，则将第一边界框标记为离开，反之，则将第一边界框标记为消失。
9.一种行人跟踪系统，其特征在于：包括：
检测模块，用于检测出第一图像帧中若干个行人的第一边界框，以及检测出第二图像帧中若干个行人的第二边界框；
匹配模块，用于对所有的第一边界框进行匹配操作；
所述匹配操作包括：
根据当前的第一边界框在第一图像帧中的位置，在第二图像帧中选取最接近的K个第二边界框作为候选边界框进行匹配，得到匹配结果；
在匹配结果满足设定条件时，根据匹配结果对当前的第一边界框进行标记；
在匹配结果不满足设定条件时，对当前的第一边界框和候选边界框进行相似度检测，并根据相似度检测的结果对当前的第一边界框进行标记。
10.一种行人跟踪系统，其特征在于：包括：
至少一个存储器，用于存储程序；
至少一个处理器，用于加载所述程序以执行如权利要求1-8任一项所述的一种行人跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811623791.8A CN109800667A (zh) | 2018-12-28 | 2018-12-28 | 一种行人跟踪方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811623791.8A CN109800667A (zh) | 2018-12-28 | 2018-12-28 | 一种行人跟踪方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109800667A true CN109800667A (zh) | 2019-05-24 |
Family
ID=66557960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811623791.8A Pending CN109800667A (zh) | 2018-12-28 | 2018-12-28 | 一种行人跟踪方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109800667A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784638A (zh) * | 2019-11-07 | 2021-05-11 | 北京京东乾石科技有限公司 | 训练样本获取方法和装置、行人检测方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976400A (zh) * | 2016-05-10 | 2016-09-28 | 北京旷视科技有限公司 | 基于神经网络模型的目标跟踪方法及装置 |
| CN106097385A (zh) * | 2016-05-31 | 2016-11-09 | 海信集团有限公司 | 一种目标跟踪的方法和装置 |
| CN106682619A (zh) * | 2016-12-28 | 2017-05-17 | 上海木爷机器人技术有限公司 | 一种对象跟踪方法及装置 |
| CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
| CN108961315A (zh) * | 2018-08-01 | 2018-12-07 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
-
2018
- 2018-12-28 CN CN201811623791.8A patent/CN109800667A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976400A (zh) * | 2016-05-10 | 2016-09-28 | 北京旷视科技有限公司 | 基于神经网络模型的目标跟踪方法及装置 |
| CN106097385A (zh) * | 2016-05-31 | 2016-11-09 | 海信集团有限公司 | 一种目标跟踪的方法和装置 |
| CN106682619A (zh) * | 2016-12-28 | 2017-05-17 | 上海木爷机器人技术有限公司 | 一种对象跟踪方法及装置 |
| CN108875588A (zh) * | 2018-05-25 | 2018-11-23 | 武汉大学 | 基于深度学习的跨摄像头行人检测跟踪方法 |
| CN108961315A (zh) * | 2018-08-01 | 2018-12-07 | 腾讯科技（深圳）有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784638A (zh) * | 2019-11-07 | 2021-05-11 | 北京京东乾石科技有限公司 | 训练样本获取方法和装置、行人检测方法和装置 |
| CN112784638B (zh) * | 2019-11-07 | 2023-12-08 | 北京京东乾石科技有限公司 | 训练样本获取方法和装置、行人检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107016357B (zh) | 一种基于时间域卷积神经网络的视频行人检测方法 | |
| Spinello et al. | A layered approach to people detection in 3d range data | |
| Zhang et al. | Learning semantic scene models by object classification and trajectory clustering | |
| JP5102410B2 (ja) | 移動体検出装置および移動体検出方法 | |
| CN110147743A (zh) | 一种复杂场景下的实时在线行人分析与计数系统及方法 | |
| CN103679674B (zh) | 一种无人飞行器实时图像拼接方法及系统 | |
| Qiu et al. | Kestrel: Video analytics for augmented multi-camera vehicle tracking | |
| CN110738101A (zh) | 行为识别方法、装置及计算机可读存储介质 | |
| CN109800624A (zh) | 一种基于行人重识别的多目标跟踪方法 | |
| CN107798313A (zh) | 一种人体姿态识别方法、装置、终端和存储介质 | |
| US11062469B2 (en) | 4D tracking utilizing depth data from multiple 3D cameras | |
| Modasshir et al. | Coral identification and counting with an autonomous underwater vehicle | |
| CN110414336A (zh) | 一种三元组边缘中心损失的深度互补分类器行人搜索方法 | |
| Babila et al. | Object detection for inventory stock counting using YOLOv5 | |
| Chu et al. | Tracking across multiple cameras with overlapping views based on brightness and tangent transfer functions | |
| CN115527269A (zh) | 一种人体姿态图像智能识别方法及系统 | |
| WO2010019024A2 (en) | Method and system for tracking and tagging objects | |
| Jain et al. | Human activity recognition with videos using Deep Learning | |
| Pot et al. | Self-supervisory signals for object discovery and detection | |
| CN109800667A (zh) | 一种行人跟踪方法和系统 | |
| US11893084B2 (en) | Object detection systems and methods including an object detection model using a tailored training dataset | |
| Zhang et al. | Edge-assisted learning for real-time UAV imagery via predictive offloading | |
| Eldho et al. | YOLO based Logo detection | |
| Liu et al. | Research on target recognition of underwater robot | |
| CN112966556B (zh) | 一种运动物体检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190524 |
|
| RJ01 | Rejection of invention patent application after publication |