CN106791647A - 一种基于视频智能识别的水电厂状态监视系统及方法 - Google Patents

一种基于视频智能识别的水电厂状态监视系统及方法 Download PDF

Info

Publication number
CN106791647A
CN106791647A CN201611182835.9A CN201611182835A CN106791647A CN 106791647 A CN106791647 A CN 106791647A CN 201611182835 A CN201611182835 A CN 201611182835A CN 106791647 A CN106791647 A CN 106791647A
Authority
CN
China
Prior art keywords
video
tracking
power plant
monitoring system
hydroelectric power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611182835.9A
Other languages
English (en)
Other versions
CN106791647B (zh
Inventor
庄明
王昕�
李宇胜
吴慧峰
葛耿民
张伟
聂俊胜
王静怡
杨天水
陈建南
林新
余怀湘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Fujian Electric Power Co Ltd
Fujian Shuikou Power Generation Group Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Fujian Electric Power Co Ltd
Fujian Shuikou Power Generation Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Fujian Electric Power Co Ltd, Fujian Shuikou Power Generation Group Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201611182835.9A priority Critical patent/CN106791647B/zh
Publication of CN106791647A publication Critical patent/CN106791647A/zh
Application granted granted Critical
Publication of CN106791647B publication Critical patent/CN106791647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于视频智能识别的水电厂状态监视系统及方法,包括位于系统最前端的视频采集模块、与所述视频采集模块相连的嵌入式视频处理单元、与所述嵌入式视频处理单元相连的EVU设备设置客户端与视频应急业务处理平台。本发明采用机器代替人眼实现监控,降低出错率,提高效率。

Description

一种基于视频智能识别的水电厂状态监视系统及方法
技术领域
本发明涉及水电产监控领域,特别是一种基于视频智能识别的水电厂状态监视系统及方法。
背景技术
工业电视监控系统在水电厂得到广泛应用,对于及时发现生产运行现场出现的异常情况起到重要作用。目前主要依靠人工监视工业电视屏幕来发现现场异常情况,然而,随着视频监视点的增多,越来越多的视频画面需要运行人员监视,有限的人力难以胜任。不仅如此,研究表明人类很难对静止画面长时间保持高度注意,一般情况下监视者在盯着视频画面20多分钟之后,将对视频画面里95%以上的活动信息视而不见。工作人员不会也不可能持续地关注到监控画面中的重要信息。
发明内容
有鉴于此,本发明的目的是提出一种基于视频智能识别的水电厂状态监视系统及方法,采用机器代替人眼实现监控。
本发明采用以下方案实现:一种基于视频智能识别的水电厂状态监视系统,包括位于系统最前端的视频采集模块、与所述视频采集模块相连的嵌入式视频处理单元、与所述嵌入式视频处理单元相连的EVU设备设置客户端与视频应急业务处理平台。
进一步地,所述视频采集模块包括高清摄像机。
进一步地,所述EVU设备设置客户端与视频应急业务处理平台通过3G或有限IP通路与所述嵌入式视频处理单元相连。
本发明还提供了一种基于上文所述的基于视频智能识别的水电厂状态监视系统的方法,具体包括以下步骤:
步骤S1:在观测区域设置高清相机;
步骤S2:系统采用轮询的方式对视频采集模块中的各个相机进行识别,识别的时间间隔与每次识别时长均根据具体功能需要通过参数在所述EVU设备设置客户端进行设置;
步骤S3:嵌入式视频处理单元接收来自视频采集模块的识别信息,根据嵌入的算法来分析识别信息,并将识别结果上传至视频应急业务处理平台与EVU设备设置客户端。
进一步地,所述步骤步骤S1中的观测区域包括厂房内的水管和油罐、涵道内的水位、工具仪表的表盘;其中当观测区域为涵道内的水位时,采集的视频画面中包括水位线与涵道的交接线;当观测区域为工具仪表的表盘时,相机正对表盘和液柱。
进一步地,步骤S3中嵌入的算法包括基于子空间的背景建模、基于稀疏编码的图像表示以及物体跟踪;其中所述基于子空间的背景建模采用主成分分析法来建立背景模型;所述基于稀疏编码的图像表示为通过将输入图像转换为稀疏表示用以获得更好的鲁棒性;所述物体跟踪为基于OnlineBoosting的框架在线实时提取鲁棒的物体特征进行跟踪,其中每一帧的检测结果都作为正样本,周围的四个区块作为负样本,检测过程中,每一个跟踪过程由物体检测结果触发;通过OnlineBoosting,在下一帧得到期望的目标位置,对于每一个预测结果,用物体检测模块进行打分以确保跟踪是否发生漂移;如果发现跟踪漂移,则触发跟踪终止,通过以上过程,得到一个新的物体的跟踪路径。
与现有技术相比,本发明有以下有益效果:采用机器代替人眼来进行监控,依靠高效的智能计算模型和计算机强大的数据处理功能,对视频画面中的海量数据进行高速分析,过滤掉无关信息,强化重要信息,为应急处置提供有力的支持。这一技术的开发将能够大幅度提高视频监测数据的应用效率,缩短应急反应时间,减少异常事件漏报,为安全运行提供保障。采用图像智能识别的方式可以有效替代人工,真正发挥监控系统的核心价值。
附图说明
图1为本发明系统原理示意图。
图2为本发明实施例中的检测跟踪框架。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示,本实施例提供了一种基于视频智能识别的水电厂状态监视系统,包括位于系统最前端的视频采集模块、与所述视频采集模块相连的嵌入式视频处理单元、与所述嵌入式视频处理单元相连的EVU设备设置客户端与视频应急业务处理平台。
在本实施例中,所述视频采集模块包括高清摄像机。
在本实施例中,所述EVU设备设置客户端与视频应急业务处理平台通过3G或有限IP通路与所述嵌入式视频处理单元相连。
本实施例还提供了一种基于上文所述的基于视频智能识别的水电厂状态监视系统的方法,具体包括以下步骤:
步骤S1:在观测区域设置高清相机;
步骤S2:系统采用轮询的方式对视频采集模块中的各个相机进行识别,识别的时间间隔与每次识别时长均根据具体功能需要通过参数在所述EVU设备设置客户端进行设置;
步骤S3:嵌入式视频处理单元接收来自视频采集模块的识别信息,根据嵌入的算法来分析识别信息,并将识别结果上传至视频应急业务处理平台与EVU设备设置客户端。
在本实施例中,所述步骤步骤S1中的观测区域包括厂房内的水管和油罐、涵道内的水位、工具仪表的表盘;其中当观测区域为涵道内的水位时,采集的视频画面中包括水位线与涵道的交接线;当观测区域为工具仪表的表盘时,相机正对表盘和液柱。
在本实施例中,步骤S3中嵌入的算法包括基于子空间的背景建模、基于稀疏编码的图像表示以及物体跟踪;其中所述基于子空间的背景建模采用主成分分析法来建立背景模型;所述基于稀疏编码的图像表示为通过将输入图像转换为稀疏表示用以获得更好的鲁棒性;所述物体跟踪为基于OnlineBoosting的框架在线实时提取鲁棒的物体特征进行跟踪,其中每一帧的检测结果都作为正样本,周围的四个区块作为负样本,检测过程中,每一个跟踪过程由物体检测结果触发;通过OnlineBoosting,在下一帧得到期望的目标位置,对于每一个预测结果,用物体检测模块进行打分以确保跟踪是否发生漂移;如果发现跟踪漂移,则触发跟踪终止,通过以上过程,得到一个新的物体的跟踪路径。
在本实施例中,所述基于子空间的背景建模,采用主成分分析(PrincipleComponent Analysis,简称PCA)来建立背景模型,由于运动物体对于背景的统计特性贡献很小,对多帧图像进行特征值分解时,特征值较大的特征向量(即主成分) 对应着背景的统计特性。将图像区域看作是一种随机向量,可以用K-L 变换获取其正交K-L基底,对应其中较大特征值的基底主要表征了静止背景的特性。高维图像空间经K-L变换后可得到一组新的正交基,因此,可以保留部分正交基,以生成低维背景空间。K-L变换的生成矩阵一般是训练样本集的总体散布矩阵。每一帧背景图像的投影都可以获得一组坐标系数,这组坐标系数表明了静止背景在子空间中的位置,实验表明它具有一定的稳定性。
在本实施例中,稀疏表示(sparse representation)是一种将信号用较少数量的基本信号(称作原子)的线性组合来进行表示的方法。原子是从一个所谓的过完备的字典里面选取。从形式上来看,这个过完备的字典就是众多原子的集合,并且包含原子的数量超过信号空间的维度,因此任何信号都可以用至少一种不同原子的组合来进行表示。信号内在的结构是稀疏表示的基础。通过将输入图像转换为稀疏表示可以获得更好的鲁棒性,利用这种内在的结构更好的消除噪声等干扰。
本实施例首先从训练图像库上建立10×10图像块的256个原子的稀疏表示字典,多尺度特性通过借助图像金字塔获得。对于输入图像通过稀疏表示可以获得两个结果:
1)利用稀疏表示重构原始图像可以去除视频帧中的一些噪声,并将重构后的图像作为后续特征提取的输入图像。
2)将稀疏编码作为图像概念的一种表示方法,这种表示方法因为具有局部统计特性和描述了自然图像的内在统计特性,从而相比基于像素的表示方法具有更好的鲁棒性和推广性。
通过增强回归方法将标注数据库中的类别与其稀疏表示对应的字典中的原子建立映射关系,并依次映射关系可以得到每个输入图像像素块属于所定义各个概念的概率。
在本实施例中,对于跟踪问题的研究,相关文献中主要分为以下几种方法:基于外观匹配的方法,如Mean-Shift运用颜色特征解决跟踪问题。这种方法可以根据Bayesian滤波方程(如Kalman滤波和粒子滤波)对运动物体的运动状态进行估计。第二种方法是基于分割的跟踪方法。Graph Cut作为一种分割方法可以作为跟踪问题的解决方式之一。另外,Helmut Grabner把跟踪看成一个分类问题。OnlineBoosting作为一个典型的例子可以提取跟踪物体较为有效的特征。第四种方法是Huang等人提出的,他们把每一帧的物体检测结果作为跟踪的基础,运用一些检测结果的相关性作为行为跟踪的依据。
由于通常情况下,待跟踪的物体外表经常发生变化,本实施例主要运用基于OnlineBoosting的框架在线实时提取鲁棒的物体特征,进行跟踪。正像Helmut Grabner在文中描述的一样,每一帧的检测结果都作为正样本,周围的四个区块作为负样本。检测过程中,每一个跟踪过程由物体检测结果触发。通过OnlineBoosting,本实施例在下一帧得到期望的目标位置。对于每一个预测结果,我们用物体检测模块进行打分以确保跟踪是否发生漂移。如果发现跟踪漂移,则触发跟踪终止模块。通过以上过程,就能够得到一个新的物体的跟踪路径。
另一个有待解决的问题是如何优化跟踪结果。主颜色特征可以作为一个特征对目标物体进行匹配。本实施例用该特征对两个相似的跟踪物体进行相似度打分,如果相似度比较高,本实施例则对于前后两个跟踪片断进行合并。在该系统框架中,本实施例进行了前向跟踪和后向跟踪。通过对于两个跟踪结果的融合,本实施例可以进一步优化检测结果。目标跟踪过程自动机见图2。
基于上面提前的图像表示特征,进一步抽取局部统计特征,并利用区分性学习的方法对正常情况和异常事件情况进行分类学习。学习过程包括模型结构的选择和模型参数的确定。学习到模型之后,便可以利用模型对当前视频场景的状态进行分类,当发生所关注的漏水、漏油,以及涵道洪水的时候模型输出值超过设定门限。
特别的,本实施例可以应用在漏水漏油事件检测中,该事件主要针对厂房内水管和油罐爆裂导致的大量喷水和喷油现象。系统通过分析监控视频中的相应变化,提前图像特征,利用统计方法和规则结合对该事件的发生进行识别和报警。
本实施例可以应用在涵道洪水事件检测中,该事件主要针对涵道内突发水位升高的现象。系统通过对涵道三维空间重建、水位线检测、水位高度估计、水表面特征提前与识别等方法对该事件的发生进行识别和报警。关于相机的安装:感兴趣的观测区域内视场画面不受外物遮挡;视频画面中尽可能分辨出喷水和喷油的在空间落体的过程;视频画面中应能看到水位线与涵道的交接线。视频识别算法所用的线索有:建立场景模型,利用视觉几何计算利用平行线等先验信息一定程度上恢复场景深度信息;选取能够描述水和油在空中和地面的区分性特征;基于在线学习的技术发现异常变化。
特别的,本实施例还可以应用在表盘与液柱数值自动识别上:自动读取各种压力等仪表和液柱高度的数值;当数值超过预警门限是自动发出报警信号。在相机的安装上有如下要求:相机正对表盘和液柱,且视线不受外物遮挡;画面上应能看清数码表盘的数值;画面上应能看清指针型表盘的刻度;画面上应能看清液柱的关键刻度线。视频识别算法所用的线索有:利用线段检测算法定位表盘和液柱的刻度与指针位置;计算当前指针或液面高度与刻度的相对位置关系,得到读数。
以上所述仅为本发明的较佳实施例,凡依本发明申请专利范围所做的均等变化与修饰,皆应属本发明的涵盖范围。

Claims (6)

1.一种基于视频智能识别的水电厂状态监视系统,其特征在于:包括位于系统最前端的视频采集模块、与所述视频采集模块相连的嵌入式视频处理单元、与所述嵌入式视频处理单元相连的EVU设备设置客户端与视频应急业务处理平台。
2.根据权利要求1所述的一种基于视频智能识别的水电厂状态监视系统,其特征在于:所述视频采集模块包括高清摄像机。
3.根据权利要求1所述的一种基于视频智能识别的水电厂状态监视系统,其特征在于:所述EVU设备设置客户端与视频应急业务处理平台通过3G或有限IP通路与所述嵌入式视频处理单元相连。
4.一种基于权利要求1所述的基于视频智能识别的水电厂状态监视系统的方法,其特征在于:包括以下步骤:
步骤S1:在观测区域设置高清相机;
步骤S2:系统采用轮询的方式对视频采集模块中的各个相机进行识别,识别的时间间隔与每次识别时长均根据具体功能需要通过参数在所述EVU设备设置客户端进行设置;
步骤S3:嵌入式视频处理单元接收来自视频采集模块的识别信息,根据嵌入的算法来分析识别信息,并将识别结果上传至视频应急业务处理平台与EVU设备设置客户端。
5.根据权利要求4所述的一种基于权利要求1所述的基于视频智能识别的水电厂状态监视系统的方法,其特征在于:所述步骤步骤S1中的观测区域包括厂房内的水管和油罐、涵道内的水位、工具仪表的表盘;其中当观测区域为涵道内的水位时,采集的视频画面中包括水位线与涵道的交接线;当观测区域为工具仪表的表盘时,相机正对表盘和液柱。
6.根据权利要求4所述的一种基于权利要求1所述的基于视频智能识别的水电厂状态监视系统的方法,其特征在于:步骤S3中嵌入的算法包括基于子空间的背景建模、基于稀疏编码的图像表示以及物体跟踪;其中所述基于子空间的背景建模采用主成分分析法来建立背景模型;所述基于稀疏编码的图像表示为通过将输入图像转换为稀疏表示用以获得更好的鲁棒性;所述物体跟踪为基于OnlineBoosting的框架在线实时提取鲁棒的物体特征进行跟踪,其中每一帧的检测结果都作为正样本,周围的四个区块作为负样本,检测过程中,每一个跟踪过程由物体检测结果触发;通过OnlineBoosting,在下一帧得到期望的目标位置,对于每一个预测结果,用物体检测模块进行打分以确保跟踪是否发生漂移;如果发现跟踪漂移,则触发跟踪终止,通过以上过程,得到一个新的物体的跟踪路径。
CN201611182835.9A 2016-12-20 2016-12-20 一种基于视频智能识别的水电厂状态监视系统及方法 Active CN106791647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611182835.9A CN106791647B (zh) 2016-12-20 2016-12-20 一种基于视频智能识别的水电厂状态监视系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611182835.9A CN106791647B (zh) 2016-12-20 2016-12-20 一种基于视频智能识别的水电厂状态监视系统及方法

Publications (2)

Publication Number Publication Date
CN106791647A true CN106791647A (zh) 2017-05-31
CN106791647B CN106791647B (zh) 2018-11-27

Family

ID=58891297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611182835.9A Active CN106791647B (zh) 2016-12-20 2016-12-20 一种基于视频智能识别的水电厂状态监视系统及方法

Country Status (1)

Country Link
CN (1) CN106791647B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107978181A (zh) * 2017-12-28 2018-05-01 武汉英思工程科技股份有限公司 水利水电工程项目实时演示系统
CN109268928A (zh) * 2018-09-12 2019-01-25 长安大学 一种供热监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090226044A1 (en) * 2008-03-07 2009-09-10 The Chinese University Of Hong Kong Real-time body segmentation system
CN202496020U (zh) * 2012-03-22 2012-10-17 上海艾飞能源科技有限公司 电力输变电设备视频监控系统
CN103699075A (zh) * 2013-12-11 2014-04-02 国家电网公司 基于视频监控的变电站巡检智能调度与控制系统
CN103870839A (zh) * 2014-03-06 2014-06-18 江南大学 视频目标在线多特征跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090226044A1 (en) * 2008-03-07 2009-09-10 The Chinese University Of Hong Kong Real-time body segmentation system
CN202496020U (zh) * 2012-03-22 2012-10-17 上海艾飞能源科技有限公司 电力输变电设备视频监控系统
CN103699075A (zh) * 2013-12-11 2014-04-02 国家电网公司 基于视频监控的变电站巡检智能调度与控制系统
CN103870839A (zh) * 2014-03-06 2014-06-18 江南大学 视频目标在线多特征跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尹宏鹏,等: "基于视觉的目标检测与跟踪综述", 《自动化学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107978181A (zh) * 2017-12-28 2018-05-01 武汉英思工程科技股份有限公司 水利水电工程项目实时演示系统
CN109268928A (zh) * 2018-09-12 2019-01-25 长安大学 一种供热监控系统
CN109268928B (zh) * 2018-09-12 2020-10-23 长安大学 一种供热监控系统

Also Published As

Publication number Publication date
CN106791647B (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
Iqbal et al. How computer vision can facilitate flood management: A systematic review
CN108040221B (zh) 一种智能视频分析与监控系统
CN103810717B (zh) 一种人体行为检测方法及装置
CN111445011B (zh) 一种基于气象和遥感数据的山火预警方法
CN103491351A (zh) 违章建筑物的智能视频监控方法
CN103517042A (zh) 一种养老院老人危险行为监测方法
CN102073844A (zh) 智能监控系统和方法
CN105426820A (zh) 基于安防监控视频数据的多人异常行为检测方法
CN113343779B (zh) 环境异常检测方法、装置、计算机设备和存储介质
KR102485227B1 (ko) 인공지능 기반 홍수 예측 시스템 및 이를 이용한 홍수 예측 방법
CN111681382A (zh) 一种基于视觉分析检测施工现场跨越临时围栏的方法
CN113505638B (zh) 车流量的监测方法、监测装置及计算机可读存储介质
CN106791647A (zh) 一种基于视频智能识别的水电厂状态监视系统及方法
Wang et al. Traffic camera anomaly detection
CN114241310B (zh) 基于改进yolo模型的堤防管涌险情智能识别方法
CN111860457A (zh) 一种斗殴行为识别预警方法及其识别预警系统
CN111898440B (zh) 一种基于三维卷积神经网络的山火检测方法
CN106022311A (zh) 基于城市监控视频识别的应急事件发现方法及系统
CN113191273A (zh) 基于神经网络的油田井场视频目标检测与识别方法及系统
CN115826477B (zh) 基于数据可视化的水域监控系统及方法
CN116052035A (zh) 一种基于卷积神经网络的电厂人员周界入侵检测方法
CN115798133A (zh) 一种火焰报警方法、装置、设备及存储介质
CN115995051A (zh) 基于最小残差平方和法的变电站设备故障期识别方法
EP4323974A1 (en) Bird detection and species determination
Hao et al. A Detection Method of Abnormal Event in Crowds Based on Image Entropy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant