CN110127479B - 一种基于视频分析的电梯门开关异常检测方法 - Google Patents

一种基于视频分析的电梯门开关异常检测方法 Download PDF

Info

Publication number
CN110127479B
CN110127479B CN201910309058.7A CN201910309058A CN110127479B CN 110127479 B CN110127479 B CN 110127479B CN 201910309058 A CN201910309058 A CN 201910309058A CN 110127479 B CN110127479 B CN 110127479B
Authority
CN
China
Prior art keywords
elevator door
marker
image
elevator
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910309058.7A
Other languages
English (en)
Other versions
CN110127479A (zh
Inventor
张元鸣
肖刚
虞家睿
陆佳炜
高飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910309058.7A priority Critical patent/CN110127479B/zh
Publication of CN110127479A publication Critical patent/CN110127479A/zh
Application granted granted Critical
Publication of CN110127479B publication Critical patent/CN110127479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006—Monitoring devices or performance analysers
    • B66B5/0018—Devices monitoring the operating condition of the elevator system
    • B66B5/0031—Devices monitoring the operating condition of the elevator system for safety reasons

Abstract

一种基于视频分析的电梯门异常检测方法，首先，采用背景差分实时检测电梯门区域开关的情况，通过电梯门区域前景变化判断电梯门开关情况；其次，选定电梯门上的标志物作为判定电梯门是否正常关闭的参考依据，若偏移量超过阈值，则判定门开关异常；综合电梯门区域前景变化以及标志物位置变化综合判定电梯门开关异常，并及时预警。

Description

一种基于视频分析的电梯门开关异常检测方法
技术领域
本发明涉及一种基于视频分析的电梯门开关异常检测方法。
背景技术
电梯是人们工作和生活中必不可少的交通工具，然而，随着电梯数量的快速增加以及人们生活节奏的逐步加快，电梯运行安全逐渐成为一个公众关注的社会性热点。充分利用电梯产生的各类数据，结合人工智能技术提高电梯的安全性已经成为学术界和工业界的一个重要课题。电梯监控视频数据是一类重要的数据源，蕴含了电梯时时刻刻的运行状态，为分析电梯状态提供了丰富的数据。
在视频数据处理方面，郑健等(计算机系统应用,2017)提出了一种实时视频分析系统，可以通过kafka分发消息队列并通过流处理的方式提高视频效率；李海跃等(计算机应用研究，2017)提出了一种把视频转化为图片集后砍帧并放至分布式系统的方法，以加快对视频的处理速度；张洪等(计算机测量与控制，2017)提出了一种将视频帧差法与分布式框架结合的方法，用以快速检测车流量；叶锋等(计算机系统应用，2017)提出一种将Hog与Spark大数据框架相结合，并辅以RFID来实现车辆计数的方法；
对于电梯视频分析框架方面，也已有多位学者进行了相关研究。王雨晴等(浙江大学，2017)提出了一种智能电梯监控系统，可以对电梯的乘客数、乘客身份、乘客行为异常、电梯遗落物等多个方面进行图像分析，结合机器学习与传统图像方法形成电梯异常的检测系统；顾懿超等(浙江大学，2017)提出了一种基于DSP的智能电梯监控视频处理算法，通过前景提取与跟踪算法检测门标识，从而确认电梯门开关的情况，并把它部署到DSP平台进行应用；刘莉等(新疆大学，2013)通过将电梯的硬件信号传输至BP神经网络从而开发出了基于机器学习的电梯故障预警系统；
发明内容
为了减少电梯门不能正常开关所导致的电梯故障发生的概率，本发明提出一种基于视频分析的电梯门开关异常检测方法，通过对电梯门开关状态的前景提取与对电梯门标志物的提取与跟踪，判断电梯门的实时开关情况；
一种基于视频分析的电梯门开关异常检测方法，包括以下步骤：
(1)基于背景差分的电梯门开关检测；
首先，通过背景差分提取电梯门区域的前景变化，判断电梯门是否完全关闭，具体算法如下：
输入：电梯视频数据
输出：电梯门区域实时开关情况
步骤：
Step1:调取电梯摄像机的IP地址，将接收到的实时RTSP数据解析成为图片数据；
Step2:调取图片数据生成对应的灰度图像；
Step3:输入视频流第一帧，使用第一帧初始化前景与背景图像，并将其保存为背景图像缓存；
Step4:获取视频流其余帧图像，得到当前帧图像灰度图，并将其转化为浮点数格式；
Step5:获得缓存中的背景帧图像，并将其转化成浮点数格式；
Step6:将当前帧与背景帧相减，通过阈值筛选得到差分后的前景图像并输出；
Step7:复制前景图像并保存为新的背景图像；
Step8:对电梯门区域的前景图像进行判断，当电梯门区域不再有图像变化且前景提取像素小于阈值，则判断得出此时电梯门已经关闭，此处的阈值根据实验结果得到；否则，则判断电梯门此时正在开关或尚未关紧；
(2)基于目标跟踪的电梯门开关检测；
(2.1)跟踪电梯门开关标志物
选定电梯门定位标志物，使用Kernelized Correlation Filter(KCF)跟踪算法对其进行跟踪，通过计算标志物的位置检测电梯门开关情况，标志物跟踪算法如下：
输入：电梯视频数据
输出：电梯门标志物实时位置信息
步骤：
Step1:选定电梯门定位标志物，如常见的警示牌，将标志物起始位置作为视频图像跟踪的参考位置；
Step2:将起始参考位置设为目标检测Target的标准bbox；
Step3:设置padding bbox得到下一帧目标可能存在的预测区域；
Step4:训练当前的padding bbox得到目标检测分类器的正样本；
Step5:将bbox循环位移得到负样本，并训练得到相应目标检测分类器；
Step6:对接下来的一帧图像，同样对上一帧padding bbox进行循环移位，对得到的样本bbox内的图像进行分类，选择响应最强的bbox作为当前帧目标所在的paddingbbox；
Step7:根据当前帧padding bbox与上一帧padding bbox之间位置变化精确获得目标的位置变化并将其输出；
Step8:获得当前帧目标精确位置后，按照当前padding bbox进行循环移位得到负样本更新检测分类器，如此循环往复，实现目标的连续跟踪。
(2.2)对跟踪对象进行自动修正
在跟踪标志物的同时，由于电梯门的频繁开关与短时间内对标志物的遮挡，容易出现跟踪丢失的情况，因此，需要结合背景差分对跟踪目标作出实时修正，修正算法如下：
输入：电梯门跟踪实时图像
输出：修正后的电梯门跟踪图像
步骤：
Step1:通过背景差分检测电梯门标志物与前景变化判断当前是否属于正常关闭状态；
Step2:若正常关闭，则对安全区内标志物的中心位置作出计算，判断当前偏移量；若电梯门正处于开启状态，则不做处理，正常检测；
Step3:判断偏移量是否达到阈值，阈值设定为安全区以内初始位置偏移5～15个像素点，若超过则目标偏移，需要修正跟踪位置；
Step4:若偏移量达到阈值，则将标志物跟踪位置重置为初始位置；若未达到阈值，则显示目标跟踪正常；
(2.3)设定跟踪对象正常停留位置
通过对电梯视频分析，设定电梯门标志物bbox的正常停留范围，当背景差分判断电梯门完全关闭时，记录此时标志物的位置作为电梯门标志物的初始位置，并取该位置周围1～2个像素作为标志物的安全区域；当标志物bbox进入安全区域时，判断电梯门已经关闭完全；如果bbox位置处于安全区域之外，则判断电梯门未完全关闭；
(3)综合检测电梯门开关异常
结合背景差分与目标检测两种方法综合检测电梯门开关是否存在异常：若电梯门区域的前景图像未达到差分像素阈值且标志物运行至安全区域内，则允许电梯运行；若前景图像的阈值超出正常值或标志物未进入安全区域，则电梯门未完全关闭，后台阻止电梯运行；若电梯门长时间处于未正常关闭状态，则发出预警。
本发明的优点是：
本发明利用视频分析技术对电梯视频数据进行分析，实时检测电梯门的开关情况，采用前景提取与目标跟踪算法相结合的方法，使得电梯监控可以自动检测电梯门是否开关正常，同时对电梯标志物跟踪算法进行优化，修正了目标丢失的问题，减少电梯门卡物引发的安全事故，保证了电梯环境的安全。
附图说明
图1是本发明的电梯视频分析环境概念图。
图2是本发明方法的流程图。
图3是本发明的电梯门前景提取效果图。
图4是本发明的标志物坐标修正效果图。
图5是本发明的标志物跟踪效果图。
具体实施方式
为了进一步说明本发明的具体实施方式，以某台电梯的监控视频为例，结合图1、图2、图3、图4、图5对本发明的具体实施方式做进一步说明，其中运行概念图如图1所示，监控范围应取电梯门上半部分以避免乘客遮挡标志物，系统总体框架如图2所示；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不限定于本发明，具体步骤如下：
(1)基于背景差分的电梯门开关检测；
通过背景差分提取电梯门区域的前景变化，判断电梯门是否完全关闭，具体实施时，根据实际电梯的摄像机IP地址，将实地接收到的实时RTSP数据解析成为图片帧数据作为数据源输入端，通过基于opencv的背景差分算法实时检测前后两帧之间的图像差值，从而得出电梯门的实时开关情况；
首先调取初始电梯视频图像并生成对应的灰度图像，接着输入视频流第一帧，使用第一帧初始化前景与背景图像，并将其保存为背景图像缓存，然后获取视频流其余帧图像，得到当前帧图像灰度图，并缓存中的视频背景帧图像，并将其转化成浮点数格式，再将当前帧与背景帧相减，通过阈值筛选得到差分后的前景图像并输出，判断此时的前景提取像素值，本实例中阈值取30像素，当前景提取像素值低于30且不再变化，则判断电梯门已关闭；以上步骤都在图像代码中自动完成，通过电梯视频监控可自动对电梯门区域的前景图像变化进行判断，效果如图3所示；
(2)基于目标跟踪的电梯门开关检测；
(2.1)跟踪电梯门开关标志物
选定电梯门定位标志物，使用Kernelized Correlation Filter(KCF)跟踪算法对其进行跟踪，通过计算标志物的位置检测电梯门开关情况，本实例中我们选用电梯门上的警示牌作为跟踪标志物，将它的起始位置作为视频图像跟踪的参考位置并设为目标检测Target的初始标准bbox，在设置padding bbox得到下一帧目标可能存在的预测区域后训练当前的padding bbox得到目标检测分类器的正样本与循环位移得到负样本，训练得到相应目标检测分类器，接着对接下来的一帧图像，同样对上一帧padding bbox进行循环移位，对得到的样本bbox内的图像进行分类，选择响应最强的bbox作为当前帧目标所在的paddingbbox，根据当前帧padding bbox与上一帧padding bbox之间位置变化精确获得目标的位置变化并将其输出，此时我们已经可以得到标志物的实时位置信息，在获得当前帧目标精确位置后，按照当前padding bbox进行循环移位得到负样本更新检测分类器，继续标志物的跟踪；
(2.2)对跟踪对象进行自动修正
在跟踪标志物的同时，由于电梯门的频繁开关与短时间内对标志物的遮挡，容易出现跟踪丢失的情况，因此，需要结合背景差分对跟踪目标作出实时修正，首先通过背景差分检测电梯门标志物与前景变化判断当前是否属于正常关闭状态；若正常关闭，则对安全区内标志物的中心位置作出计算，判断当前偏移量是否达到阈值；阈值为经验值，在本实例中，以初始位置偏移12个像素点作为安全阈值，若超过该阈值则目标偏移，将标志物跟踪位置重置为初始位置；具体效果如图4所示；
(2.3)设定跟踪对象正常停留位置
通过对电梯视频分析，设定电梯门标志物的正常停留范围，当背景差分判断电梯门完全关闭时，记录此时标志物的位置作为电梯门标志物的初始位置，在本实例中根据视频里标志物大小取初始位置周围3个像素作为标志物的安全区域；当标志物进入红色安全区域时，判断电梯门已经关闭完全；如果位置处于安全区域之外，则判断电梯门未完全关闭；具体跟踪检测效果如图5所示；
(3)综合检测电梯门开关异常
同时结合背景差分与目标检测判断电梯门是否完全关闭，当电梯门区域的前景图像未达到阈值并且警示牌运行至安全区域内，则允许电梯运行；若前景图像的阈值超出正常值或警示牌未进入安全区域，则电梯门未完全关闭，后台阻止电梯运行；若电梯门长时间处于未正常关闭状态，则发出预警，后台将直接链接摄像机的视频数据，实时显示电梯内情况。
本发明提出一种基于视频分析的电梯门开关异常检测方法，将电梯门开关状态的前景提取与对电梯门标志物的跟踪相结合，并对电梯跟踪标志物进行实时修正，实现对电梯门开关情况的自动判断，避免电梯长时间卡物以及电梯冲顶的危险，提高了电梯安全性。

Claims (1)

1.一种基于视频分析的电梯门开关异常检测方法，包括以下步骤：
(1)基于背景差分的电梯门开关检测；
首先，通过背景差分提取电梯门区域的前景变化，判断电梯门是否完全关闭，具体算法如下：
输入：电梯视频数据
输出：电梯门区域实时开关情况
步骤：
Step1:调取电梯摄像机的IP地址，将接收到的实时RTSP数据解析成为图片数据；
Step2:调取图片数据生成对应的灰度图像；
Step3:输入视频流第一帧，使用第一帧初始化前景与背景图像，并将其保存为背景图像缓存；
Step4:获取视频流其余帧图像，得到当前帧图像灰度图，并将其转化为浮点数格式；
Step5:获得缓存中的背景帧图像，并将其转化成浮点数格式；
Step6:将当前帧与背景帧相减，通过阈值筛选得到差分后的前景图像并输出；
Step7:复制前景图像并保存为新的背景图像；
Step8:对电梯门区域的前景图像进行判断，当电梯门区域不再有图像变化且前景提取像素小于阈值，则判断得出此时电梯门已经关闭，此处的阈值根据实验结果得到；否则，则判断电梯门此时正在开关或尚未关紧；
(2)基于目标跟踪的电梯门开关检测；
(2.1)跟踪电梯门开关标志物
选定电梯门定位标志物，使用Kernelized Correlation Filter(KCF)跟踪算法对其进行跟踪，通过计算标志物的位置检测电梯门开关情况，标志物跟踪算法如下：
输入：电梯视频数据
输出：电梯门标志物实时位置信息
步骤：
StepS1:选定电梯门定位标志物，将标志物起始位置作为视频图像跟踪的参考位置；
StepS2:将起始参考位置设为目标检测Target的标准bbox；
StepS3:设置padding bbox得到下一帧目标可能存在的预测区域；
StepS4:训练当前的padding bbox得到目标检测分类器的正样本；
StepS5:将bbox循环位移得到负样本，并训练得到相应目标检测分类器；
StepS6:对接下来的一帧图像，同样对上一帧padding bbox进行循环移位，对得到的样本bbox内的图像进行分类，选择响应最强的bbox作为当前帧目标所在的padding bbox；
StepS7:根据当前帧padding bbox与上一帧padding bbox之间位置变化精确获得目标的位置变化并将其输出；
StepS8:获得当前帧目标精确位置后，按照当前padding bbox进行循环移位得到负样本更新检测分类器，如此循环往复，实现目标的连续跟踪；
(2.2)对跟踪对象进行自动修正
在跟踪标志物的同时，由于电梯门的频繁开关与短时间内对标志物的遮挡，容易出现跟踪丢失的情况，因此，需要结合背景差分对跟踪目标作出实时修正，修正算法如下：
输入：电梯门跟踪实时图像
输出：修正后的电梯门跟踪图像
步骤：
StepT1:通过背景差分检测电梯门标志物与前景变化判断当前是否属于正常关闭状态；
StepT2:若正常关闭，则对安全区内标志物的中心位置作出计算，判断当前偏移量；若电梯门正处于开启状态，则不做处理，正常检测；
StepT3:判断偏移量是否达到阈值，阈值设定为安全区以内初始位置偏移5～15个像素点，若超过则目标偏移，需要修正跟踪位置；
StepT4:若偏移量达到阈值，则将标志物跟踪位置重置为初始位置；若未达到阈值，则显示目标跟踪正常；
(2.3)设定跟踪对象正常停留位置
通过对电梯视频分析，设定电梯门标志物bbox的正常停留范围，当背景差分判断电梯门完全关闭时，记录此时标志物的位置作为电梯门标志物的初始位置，并取该位置周围1～2个像素作为标志物的安全区域；当标志物bbox进入安全区域时，判断电梯门已经关闭完全；如果bbox位置处于安全区域之外，则判断电梯门未完全关闭；
(3)综合检测电梯门开关异常
结合背景差分与目标检测两种方法综合检测电梯门开关是否存在异常：若电梯门区域的前景图像未达到差分像素阈值且标志物运行至安全区域内，则允许电梯运行；若前景图像的阈值超出正常值或标志物未进入安全区域，则电梯门未完全关闭，后台阻止电梯运行；若电梯门长时间处于未正常关闭状态，则发出预警。
CN201910309058.7A 2019-04-17 2019-04-17 一种基于视频分析的电梯门开关异常检测方法 Active CN110127479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910309058.7A CN110127479B (zh) 2019-04-17 2019-04-17 一种基于视频分析的电梯门开关异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910309058.7A CN110127479B (zh) 2019-04-17 2019-04-17 一种基于视频分析的电梯门开关异常检测方法

Publications (2)

Publication Number Publication Date
CN110127479A CN110127479A (zh) 2019-08-16
CN110127479B true CN110127479B (zh) 2020-08-21

Family

ID=67570301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910309058.7A Active CN110127479B (zh) 2019-04-17 2019-04-17 一种基于视频分析的电梯门开关异常检测方法

Country Status (1)

Country Link
CN (1) CN110127479B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110589648B (zh) * 2019-09-03 2021-04-16 浙江新再灵科技股份有限公司 一种基于深度学习的直梯门标签检测方法
CN112347862A (zh) * 2020-10-20 2021-02-09 浙江新再灵科技股份有限公司 一种基于机器视觉的电梯门故障实时检测方法
CN112560650A (zh) * 2020-12-09 2021-03-26 浙江新再灵科技股份有限公司 一种电梯门标签提取及监控画面异常检测方法
CN112733668B (zh) * 2020-12-31 2024-05-07 海纳云物联科技有限公司 基于视频深度学习的电梯内宠物单独乘梯的检测方法
CN113336033B (zh) * 2021-05-21 2022-09-16 快客电梯有限公司 一种电梯乘坐舒适性诊断装置
CN113420693B (zh) * 2021-06-30 2022-04-15 成都新潮传媒集团有限公司 一种门状态检测方法、装置、轿厢乘客流量统计方法及设备
CN113479732B (zh) * 2021-07-01 2023-04-18 成都新潮传媒集团有限公司 电梯控制方法、装置及存储介质
CN113642461A (zh) * 2021-08-13 2021-11-12 辽宁华盾安全技术有限责任公司 一种基于深度学习的电梯开关门状态识别方法及装置
CN116040432B (zh) * 2023-03-07 2023-05-30 成都睿瞳科技有限责任公司 一种电梯图像的处理方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009140793A1 (en) * 2008-05-22 2009-11-26 Otis Elevator Company Video-based system and method of elevator door detection
CN106986248A (zh) * 2017-05-23 2017-07-28 四川长虹电器股份有限公司 基于摄像图像的电梯开关门检测方法
CN107187980A (zh) * 2017-05-26 2017-09-22 杭州光珀智能科技有限公司 一种电梯装置中电梯门开合的检测方法及检测装置
CN108529367A (zh) * 2017-11-21 2018-09-14 江苏鸿山鸿锦物联技术有限公司 一种基于视频图像的电梯门状态色块检测方法
CN108584586A (zh) * 2017-11-21 2018-09-28 江苏鸿山鸿锦物联技术有限公司 一种基于视频图像的电梯门状态直线检测方法
CN109592528A (zh) * 2019-01-14 2019-04-09 浙江新再灵科技股份有限公司 基于视觉词带的电梯安全标志物定位方法与系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009140793A1 (en) * 2008-05-22 2009-11-26 Otis Elevator Company Video-based system and method of elevator door detection
CN106986248A (zh) * 2017-05-23 2017-07-28 四川长虹电器股份有限公司 基于摄像图像的电梯开关门检测方法
CN107187980A (zh) * 2017-05-26 2017-09-22 杭州光珀智能科技有限公司 一种电梯装置中电梯门开合的检测方法及检测装置
CN108529367A (zh) * 2017-11-21 2018-09-14 江苏鸿山鸿锦物联技术有限公司 一种基于视频图像的电梯门状态色块检测方法
CN108584586A (zh) * 2017-11-21 2018-09-28 江苏鸿山鸿锦物联技术有限公司 一种基于视频图像的电梯门状态直线检测方法
CN109592528A (zh) * 2019-01-14 2019-04-09 浙江新再灵科技股份有限公司 基于视觉词带的电梯安全标志物定位方法与系统

Also Published As

Publication number Publication date
CN110127479A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110127479B (zh) 一种基于视频分析的电梯门开关异常检测方法
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN103366569B (zh) 实时抓拍交通违章车辆的方法及系统
CN103096121B (zh) 一种摄像头移动检测方法及装置
CN104200466B (zh) 一种预警方法及摄像机
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN105404884A (zh) 图像分析方法
KR20170088227A (ko) 영상에서의 전경 검출 장치 및 방법
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN116153086B (zh) 基于深度学习的多路段交通事故及拥堵检测方法及系统
CN111507235A (zh) 基于视频的铁路周界异物入侵检测方法
CN111582166B (zh) 基于高斯建模和YoLo V3目标检测的遗留物检测方法
CN112287823A (zh) 一种基于视频监控的面部口罩识别方法
US20210104059A1 (en) Method for size estimation by image recognition of specific target using given scale
JP7125843B2 (ja) 障害検知システム
US11455785B2 (en) System and method for use in object detection from video stream
CN110619653A (zh) 基于人工智能的防止船舶与桥梁碰撞预警控制系统及方法
US20130027550A1 (en) Method and device for video surveillance
JP5780979B2 (ja) 車両状態検出装置、車両挙動検出装置及び車両状態検出方法
CN110817674B (zh) 一种扶梯的缺级检测方法、装置、设备及存储介质
CN104574340A (zh) 一种基于历史图像的视频入侵检测方法
CN102708565A (zh) 一种前景检测的方法、装置和系统
CN111627224A (zh) 车辆速度异常检测方法、装置、设备及存储介质
CN111145219B (zh) 一种基于Codebook原理的高效视频移动目标检测方法
CN110942642B (zh) 一种基于视频的交通缓驶检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant