CN105931429A - 一种智慧金睛识别夜间接近报警方法和装置 - Google Patents
一种智慧金睛识别夜间接近报警方法和装置 Download PDFInfo
- Publication number
- CN105931429A CN105931429A CN201610563811.1A CN201610563811A CN105931429A CN 105931429 A CN105931429 A CN 105931429A CN 201610563811 A CN201610563811 A CN 201610563811A CN 105931429 A CN105931429 A CN 105931429A
- Authority
- CN
- China
- Prior art keywords
- night
- video image
- region
- personnel
- proximity sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0297—Robbery alarms, e.g. hold-up alarms, bag snatching alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种智慧金睛识别夜间接近报警方法和装置，所述的方法包括以下步骤：S1.利用双目图像采集模块实时获取监控区域的视频图像信息；S2.建立监控区域的3D模型，将持续获取的监控区域视频图像信息投影到3D模型中；S3.根据采集到的视频图像信息进行分析，得到监控区域的人员数目，并在人员数目为两个时进入步骤S4；S4.获取监控区域中两个人员在视频图像中的运动轨迹，并投影到3D模型中；S5.判断夜间接近行为并进行报警。本发明能够通过对分析视频图像和建立3D场景，识别出夜间接近行为并进行报警，保证了监控区域的安全性。
Description
技术领域
本发明涉及一种智慧金睛识别夜间接近报警方法和装置。
背景技术
目前在金融（银行等）安防领域中，一般通过摄像头检测当前区域内的事件，如检测监控区域中活动的人或物；但是现有的检测技术只能拍摄图像的内容，不能对图像的内容做进一步的分析。夜间ATM厅中，有两个用户时，一个用户正在取款或取款完准备离开，另一个用户在不断接近，则其往往具有较大的作案风险，作案类型有诸如尾随、背后袭击等，而现有技术由于不能对图像内容作分析，以至于对这种夜间接近行为无法及时提醒或者报警，对用户的人生安全和财产安全都具有很大隐患。
发明内容
本发明的目的在于克服现有技术的不足，提供一种智慧金睛识别夜间接近报警方法和装置，能够通过对分析视频图像和建立3D场景，识别出夜间接近行为并进行报警。
本发明的目的是通过以下技术方案来实现的：一种智慧金睛识别夜间接近报警方法，包括以下步骤：
S1.利用双目图像采集模块实时获取监控区域的视频图像信息；
S2.建立监控区域的3D模型，将持续获取的监控区域视频图像信息投影到3D模型中；
S3.根据采集到的视频图像信息进行分析，得到监控区域的人员数目：
（1）如果监控区域的人员数目为二，进入步骤S4；
（2）如监控区域的人员数目不为二，返回步骤S1；
S4.获取监控区域中两个人员在视频图像中的运动轨迹，并将运动轨迹投影到3D模型中；
S5.判断是否发生夜间接近行为：
（1）如果发生夜间接近行为，则生成报警命令进行报警；
（2）如果没有夜间接近行为，返回步骤S1。
所述的双目图像采集模块包括二维摄像头和三维视觉传感器，所述的步骤S1中，利用二维摄像头采集监控区域二维图像信息，利用三维视觉传感器采集监控区域的三维图像信息。
步骤S1之前，还包括一个夜间判断步骤S0：
S01.定义夜间的时间范围；
S02.实时获取当前时间；
S03.判断当前时间是否处于定义的夜间范围，若是，则进入步骤S1，若否则返回步骤S02。
所述的步骤S3包括以下子步骤：
S31.采用目标检测算法检测并获取进入监控区域的目标在视频图像中占据的像素点集合；
S32.根据所述的像素点集合，采用目标提取算法获取进入监控的目标在视频图像中的位置及尺寸；
S33.根据从视频图像中提取的目标，采用有效目标特征识别算法，识别出视频图像中的有效目标，该有效目标的个数即监控区域的人员数目：
（1）如果有效目标个数为二，进入步骤S4；
（2）如果有效目标个数不为而，返回步骤S1。
所述的步骤S4包括以下子步骤：
S41.对步骤S33中得到有效目标进行跟踪检测，获得两个有效目标各自的运动轨迹；
S42.将两个有效目标的运动轨迹投影到3D模型中。
所述的步骤S5包括以下子步骤：
S51.根据投影到3D模型中的运动轨迹判断两个有效目标的方向；
S52.根据3D模型计算每个时刻中两个有效目标的距离；
S53.结合有效目标的运动方向和距离变化情况，判断是否发生夜间接近行为。
一种智慧金睛识别夜间接近报警装置，包括：
双目图像采集模块，用于获取监控区域的视频图像信息，包括二维摄像头和三维视觉传感器。
3D模型创建模块，用于创建监控区域的3D模型；
人员数目分析模块，用于根据视频图像信息分析得到监控区域的人员数目；
运动轨迹分析模块，用于根据视频图像信息分析得到监控区域的人员运动轨迹；
接近判定模块，用于对夜间接近行为进行判断，并在发生夜间接近行为是，生成报警命令。
所述的一种智慧金睛识别夜间接近报警装置，还包括夜间判断模块，用于判断当前时间是否处于定义的夜间范围。
所述的一种智慧金睛识别夜间接近报警装置，还包括报警模块，用于响应报警命令，进行夜间接近报警。
本发明的有益效果是：通过分析视频图像能够得到监控区域的人员数目和运动轨迹，并将视频图像和人员的运动轨迹投影到3D模型中；人员数目只有两个时，在3D模型中判断两个人员运动方向和距离变化情况，从而识别出夜间接近行为，并进行报警，提高了监控区域的安全性，特别适合同于银行的ATM厅中。
附图说明
图1为本发明的方法流程图；
图2为本发明的装置原理框图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种智慧金睛识别夜间接近报警方法，包括以下步骤：
S1.利用双目图像采集模块实时获取监控区域的视频图像信息；
S2.建立监控区域的3D模型，将持续获取的监控区域视频图像信息投影到3D模型中；
S3.根据采集到的视频图像信息进行分析，得到监控区域的人员数目：
（1）如果监控区域的人员数目为二，进入步骤S4；
（2）如监控区域的人员数目不为二，返回步骤S1；
S4.获取监控区域中两个人员在视频图像中的运动轨迹，并将运动轨迹投影到3D模型中；
S5.判断是否发生夜间接近行为：
（1）如果发生夜间接近行为，则生成报警命令进行报警；
（2）如果没有夜间接近行为，返回步骤S1。
3D模型可以根据监控区域本身的纹理，环境等来建立，也可以通过监控区域无人时采集到的视频图像信息建立。
所述的双目图像采集模块包括二维摄像头和三维视觉传感器，所述的步骤S1中，利用二维摄像头采集监控区域二维图像信息，利用三维视觉传感器采集监控区域的三维图像信息（即监控区域的三维场景信息）；故由双目图像采集模块的二维摄像头和三维视觉传感器即可获得具有立体视觉的视频图像
进一步地，本申请的三维视觉传感器可以每30毫秒发射36万次红外光获取真实的三维视觉。
步骤S1之前，还包括一个夜间判断步骤S0：
S01.定义夜间的时间范围；
该时间范围可自行设置，一般为晚上9点到第二天早上7点。
S02.实时获取当前时间；
S03.判断当前时间是否处于定义的夜间范围，若是，则进入步骤S1，若否则返回步骤S02。
所述的步骤S3包括以下子步骤：
S31.采用目标检测算法检测并获取进入监控区域的目标在视频图像中占据的像素点集合；
现有的视频图像分析方法中， 用于检测及获取所有目标在视频图像中占据的像素点集合的目标检测算法主要有背景减除类算法、时间差分类算法、光流类算法；
背景减除类算法的基本原理是利用背景的参数模型来近似背景图像的像素值， 将当前帧与背景图像进行差分比较实现对运动区域的检测， 其中区别较大的像素区域被认为是运动区域， 而区别较小的像素区域被认为是背景区域；
本申请所采用的目标检测算法是背景减除类算法中的高斯混合背景算法，该算法为现有技术，该算法的基本原理是：在视频图像中，目标与背景之间存在着灰度差异，视频图像的灰度直方图会呈现与背景、目标一一对应的多峰，将视频图像的灰度直方图多峰特性视为多个高斯分布的叠加，即可实现视频图像中的背景与目标的分割。
S32.根据所述的像素点集合，采用目标提取算法获取进入监控的目标在视频图像中的位置及尺寸：
S321. 利用区域生长法获取所述的像素点集合的生长区域；
具体来说，以获取的像素点集合中的各个像素点为种子像素点，并以这些像素点的灰度值作为数学期望值建立生长区域高斯分布；
将各种子像素点周围邻域中符合生长区域高斯分布的各像素点作为生长点分别合并到各种子像素点所在的区域中，再将各生长点作为新的种子像素点，重复本步骤至没有新的生长点出现，即可获取像素点集合的生长区域，进而得到进入监控区域内的各个目标在视频图像中的位置。
S322.采用K均值特征聚类法获取进入监控区域内的各个目标在视频图像中的尺寸。
具体来说，采用 K 均值特征聚类法，选取各生长区域的均值点作为聚类中心，计算各个样本到聚类中心的距离，把各个样本归到离它最近的那个聚类中心所在的类，并根据计算形成的每一个聚类的数据对象平均值，得到新的聚类中心，重复本步骤至相邻两次得到的聚类中心没有变化，则表明样本调整结束，聚类准则函数已经收敛，即可得到进入监控区域内的各个目标在视频图像中的尺寸。
S33.根据从视频图像中提取的目标，采用有效目标特征识别算法，识别出视频图像中的有效目标，该有效目标的个数即监控区域的人员数目：
（1）如果有效目标个数为二，进入步骤S4；
（2）如果有效目标个数不为而，返回步骤S1。
所述的步骤S4包括以下子步骤：
S41.对步骤S33中得到有效目标进行跟踪检测，获得两个有效目标各自的运动轨迹；
S42.将两个有效目标的运动轨迹投影到3D模型中。
所述的步骤S5包括以下子步骤：
S51.根据投影到3D模型中的运动轨迹判断两个有效目标的方向；
S52.根据3D模型计算每个时刻中两个有效目标的距离；
S53.结合有效目标的运动方向和距离变化情况，判断是否发生夜间接近行为。
例如，在ATM厅中，如果其中第一个有效目标静止（正在取款），第二个有效目标向着第一个有效目标运动，两者距离不断缩小，则认为发生了夜间接近行为；
如果两个有效目标运动方向相同，可分为两种情况：距离不断减小（尾随等），则认为发生了夜间接近行为；距离不断增大，认为没有发生夜间接近行为；
如果两个有效目标运动方向相反，则不管距离不断变小（相对而行），还是距离不断变大（背对而行），均认为没有发生夜间接近行为。
如图2所示，一种智慧金睛识别夜间接近报警装置，包括：
双目图像采集模块，用于获取监控区域的视频图像信息，包括二维摄像头和三维视觉传感器。
3D模型创建模块，用于创建监控区域的3D模型；
人员数目分析模块，用于根据视频图像信息分析得到监控区域的人员数目；
运动轨迹分析模块，用于根据视频图像信息分析得到监控区域的人员运动轨迹；
接近判定模块，用于对夜间接近行为进行判断，并在发生夜间接近行为是，生成报警命令。
所述的一种智慧金睛识别夜间接近报警装置，还包括夜间判断模块，用于判断当前时间是否处于定义的夜间范围。
所述的一种智慧金睛识别夜间接近报警装置，还包括报警模块，用于响应报警命令，进行夜间接近报警。
以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种智慧金睛识别夜间接近报警方法，其特征在于：包括以下步骤：
S1.利用双目图像采集模块实时获取监控区域的视频图像信息；
S2.建立监控区域的3D模型；
S3.根据采集到的视频图像信息进行分析，得到监控区域的人员数目：
（1）如果监控区域的人员数目为二，进入步骤S4；
（2）如监控区域的人员数目不为二，返回步骤S1；
S4.获取监控区域中两个人员在视频图像中的运动轨迹，并将运动轨迹投影到3D模型中；
S5.判断是否发生夜间接近行为：
（1）如果发生夜间接近行为，则生成报警命令进行报警；
（2）如果没有夜间接近行为，返回步骤S1。
2.根据权利要求1所述的一种智慧金睛识别夜间接近报警方法和装置，其特征在于：所述的双目图像采集模块包括二维摄像头和三维视觉传感器，所述的步骤S1中，利用二维摄像头采集监控区域二维图像信息，利用三维视觉传感器采集监控区域的三维图像信息。
3.根据权利要求1所述的一种智慧金睛识别夜间接近报警方法，其特征在于：步骤S1之前，还包括一个夜间判断步骤S0：
S01.定义夜间的时间范围；
S02.实时获取当前时间；
S03.判断当前时间是否处于定义的夜间范围，若是，则进入步骤S1，若否则返回步骤S02。
4.根据权利要求1所述的一种智慧金睛识别夜间接近报警方法，其特征在于：所述的步骤S3包括以下子步骤：
S31.采用目标检测算法检测并获取进入监控区域的目标在视频图像中占据的像素点集合；
S32.根据所述的像素点集合，采用目标提取算法获取进入监控的目标在视频图像中的位置及尺寸；
S33.根据从视频图像中提取的目标，采用有效目标特征识别算法，识别出视频图像中的有效目标，该有效目标的个数即监控区域的人员数目：
（1）如果有效目标个数为二，进入步骤S4；
（2）如果有效目标个数不为而，返回步骤S1。
5.根据权利要求1所述的一种智慧金睛识别夜间接近报警方法，其特征在于：所述的步骤S4包括以下子步骤：
S41.对步骤S33中得到有效目标进行跟踪检测，获得两个有效目标各自的运动轨迹；
S42.将两个有效目标的运动轨迹投影到3D模型中。
6.根据权利要求1所述的一种智慧金睛识别夜间接近报警方法，其特征在于：所述的步骤S5包括以下子步骤：
S51.根据投影到3D模型中的运动轨迹判断两个有效目标的方向；
S52.根据3D模型计算每个时刻中两个有效目标的距离；
S53.结合有效目标的运动方向和距离变化情况，判断是否发生夜间接近行为。
7.一种智慧金睛识别夜间接近报警装置，其特征在于：包括：
双目图像采集模块，用于获取监控区域的视频图像信息；
3D模型创建模块，用于创建监控区域的3D模型；
人员数目分析模块，用于根据视频图像信息分析得到监控区域的人员数目；
运动轨迹分析模块，用于根据视频图像信息分析得到监控区域的人员运动轨迹；
接近判定模块，用于对夜间接近行为进行判断，并在发生夜间接近行为是，生成报警命令。
8.根据权利要求7所述的一种智慧金睛识别夜间接近报警装置，其特征在于：还包括夜间判断模块，用于判断当前时间是否处于定义的夜间范围。
9.根据权利要求7所述的一种智慧金睛识别夜间接近报警装置，其特征在于：还包括报警模块，用于响应报警命令，进行夜间接近报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610563811.1A CN105931429B (zh) | 2016-07-18 | 2016-07-18 | 一种智慧金睛识别夜间接近报警方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610563811.1A CN105931429B (zh) | 2016-07-18 | 2016-07-18 | 一种智慧金睛识别夜间接近报警方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105931429A true CN105931429A (zh) | 2016-09-07 |
| CN105931429B CN105931429B (zh) | 2019-01-29 |
Family
ID=56827578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610563811.1A Active CN105931429B (zh) | 2016-07-18 | 2016-07-18 | 一种智慧金睛识别夜间接近报警方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105931429B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145883A (zh) * | 2018-10-10 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 安全监控方法、装置、终端和计算机可读存储介质 |
| CN109784199A (zh) * | 2018-12-21 | 2019-05-21 | 深圳云天励飞技术有限公司 | 同行分析方法及相关产品 |
| CN111767816A (zh) * | 2020-06-22 | 2020-10-13 | 苏州交驰人工智能研究院有限公司 | 一种异常提示方法、装置、设备及存储介质 |
| CN114758457A (zh) * | 2022-04-19 | 2022-07-15 | 南京奥拓电子科技有限公司 | 一种加钞间违规操作智能监测方法及装置 |
| CN115457746A (zh) * | 2022-09-22 | 2022-12-09 | 国网四川雅安电力（集团）股份有限公司 | 一种电力保护压板动态分区警示系统及警示方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110013840A1 (en) * | 2008-03-14 | 2011-01-20 | Masahiro Iwasaki | Image processing method and image processing apparatus |
| CN104268770A (zh) * | 2014-09-20 | 2015-01-07 | 无锡北斗星通信息科技有限公司 | 超市到访顾客特征分析系统 |
| CN104408746A (zh) * | 2014-11-21 | 2015-03-11 | 安徽清新互联信息科技有限公司 | 一种基于深度信息的客流统计系统 |
| CN105100689A (zh) * | 2014-05-13 | 2015-11-25 | 杭州海康威视数字技术股份有限公司 | 自动取款机视频监控方法及装置 |
| CN105139040A (zh) * | 2015-10-13 | 2015-12-09 | 商汤集团有限公司 | 一种排队状态信息检测方法及其系统 |
-
2016
- 2016-07-18 CN CN201610563811.1A patent/CN105931429B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110013840A1 (en) * | 2008-03-14 | 2011-01-20 | Masahiro Iwasaki | Image processing method and image processing apparatus |
| CN105100689A (zh) * | 2014-05-13 | 2015-11-25 | 杭州海康威视数字技术股份有限公司 | 自动取款机视频监控方法及装置 |
| CN104268770A (zh) * | 2014-09-20 | 2015-01-07 | 无锡北斗星通信息科技有限公司 | 超市到访顾客特征分析系统 |
| CN104408746A (zh) * | 2014-11-21 | 2015-03-11 | 安徽清新互联信息科技有限公司 | 一种基于深度信息的客流统计系统 |
| CN105139040A (zh) * | 2015-10-13 | 2015-12-09 | 商汤集团有限公司 | 一种排队状态信息检测方法及其系统 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109145883A (zh) * | 2018-10-10 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 安全监控方法、装置、终端和计算机可读存储介质 |
| CN109145883B (zh) * | 2018-10-10 | 2019-10-22 | 百度在线网络技术（北京）有限公司 | 安全监控方法、装置、终端和计算机可读存储介质 |
| CN109784199A (zh) * | 2018-12-21 | 2019-05-21 | 深圳云天励飞技术有限公司 | 同行分析方法及相关产品 |
| CN109784199B (zh) * | 2018-12-21 | 2020-11-24 | 深圳云天励飞技术有限公司 | 同行分析方法及相关产品 |
| CN111767816A (zh) * | 2020-06-22 | 2020-10-13 | 苏州交驰人工智能研究院有限公司 | 一种异常提示方法、装置、设备及存储介质 |
| CN114758457A (zh) * | 2022-04-19 | 2022-07-15 | 南京奥拓电子科技有限公司 | 一种加钞间违规操作智能监测方法及装置 |
| CN114758457B (zh) * | 2022-04-19 | 2024-02-02 | 南京奥拓电子科技有限公司 | 一种加钞间违规操作智能监测方法及装置 |
| CN115457746A (zh) * | 2022-09-22 | 2022-12-09 | 国网四川雅安电力（集团）股份有限公司 | 一种电力保护压板动态分区警示系统及警示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105931429B (zh) | 2019-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10387725B2 (en) | System and methodologies for occupant monitoring utilizing digital neuromorphic (NM) data and fovea tracking | |
| CN106203274B (zh) | 一种视频监控中行人实时检测系统及方法 | |
| CN106128053A (zh) | 一种智慧金睛识别人员逗留徘徊报警方法和装置 | |
| CN106128022B (zh) | 一种智慧金睛识别暴力动作报警方法 | |
| Yogameena et al. | Computer vision based crowd disaster avoidance system: A survey | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN105894702B (zh) | 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法 | |
| Brulin et al. | Posture recognition based on fuzzy logic for home monitoring of the elderly | |
| CN106204640A (zh) | 一种运动目标检测系统及方法 | |
| Maddalena et al. | People counting by learning their appearance in a multi-view camera environment | |
| CN103020606B (zh) | 一种基于时空上下文信息的行人检测方法 | |
| CN106210634A (zh) | 一种智慧金睛识别人员倒地报警方法和装置 | |
| CN106210635A (zh) | 一种智慧金睛识别移动过快报警方法和装置 | |
| CN109255298A (zh) | 一种动态背景中的安全帽检测方法与系统 | |
| CN105426820A (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
| Abdo et al. | Fall detection based on RetinaNet and MobileNet convolutional neural networks | |
| CN106228709B (zh) | 一种智慧金睛识别单人加钞报警方法和装置 | |
| CN106127814A (zh) | 一种智慧金睛识别人员聚集打斗报警方法和装置 | |
| CN105931429A (zh) | 一种智慧金睛识别夜间接近报警方法和装置 | |
| CN114842397A (zh) | 一种基于异常检测的实时老人跌倒检测方法 | |
| KR100572768B1 (ko) | 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법 | |
| Mehta et al. | Motion and region aware adversarial learning for fall detection with thermal imaging | |
| CN106210633A (zh) | 一种智慧金睛识别越线检测报警方法和装置 | |
| Rougier et al. | Video surveillance for fall detection | |
| Ghidoni et al. | Texture-based crowd detection and localisation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |