CN116935289B - 一种基于视频监控的明渠漫堤检测方法 - Google Patents

一种基于视频监控的明渠漫堤检测方法 Download PDF

Info

Publication number
CN116935289B
CN116935289B CN202311175778.1A CN202311175778A CN116935289B CN 116935289 B CN116935289 B CN 116935289B CN 202311175778 A CN202311175778 A CN 202311175778A CN 116935289 B CN116935289 B CN 116935289B
Authority
CN
China
Prior art keywords
model
water body
defogging
open channel
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311175778.1A
Other languages
English (en)
Other versions
CN116935289A (zh
Inventor
江山
王帅
张恒飞
刘康
陈石磊
梅林辉
肖文
梁云昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changjiang Xinda Software Technology Wuhan Co ltd
Original Assignee
Changjiang Xinda Software Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changjiang Xinda Software Technology Wuhan Co ltd filed Critical Changjiang Xinda Software Technology Wuhan Co ltd
Priority to CN202311175778.1A priority Critical patent/CN116935289B/zh
Publication of CN116935289A publication Critical patent/CN116935289A/zh
Application granted granted Critical
Publication of CN116935289B publication Critical patent/CN116935289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于视频监控的明渠漫堤检测方法,步骤1,构建数据集:构建去雾样本库、构建水体分割样本库;步骤2,搭建网络模型:搭建去雾模型、搭建水体分割模型;步骤3,训练去雾模型和水体分割模型;步骤4,划定报警区域和级别;步骤5,漫堤识别;步骤6,区域比对。本发明基于视频监控设备,充分利用深度学习技术,消除雾对图像的影响,从明渠视频监控中提取水体区域,结合漫堤警戒区域,分级报警,实现自动化、智能化检测,具有使用便捷、适用范围广、设备成本低等优点。

Description

一种基于视频监控的明渠漫堤检测方法
技术领域
本发明属于明渠安全监测技术领域,具体涉及一种基于视频监控的明渠漫堤检测方法。
背景技术
随着农业农村现代化建设,灌区内逐渐形成引、输、灌、排为一体化的农田水利工程。但偏远地区的渠道基本无计量设施,灌区的日常管理主要依靠人工,闸门启闭由管理人员手动操作,这就导致渠道水位控制不够科学和及时,极易造成水资源浪费,而当汛期来临,洪水入渠也极易造成漫堤,甚至决口事故。
目前主要以人工现场巡查或盯守视频监控的方式进行监管,但由于渠道遍布范围广、距离远,人工巡视无法及时发现,不能满足对明渠漫堤现象的监管要求。
发明内容
针对现有技术的不足,本发明目的在于提供一种基于视频监控的明渠漫堤检测方法。本发明利用基于卷积神经网络的语义分割网络,对明渠水体区域进行精准识别,根据漫水区域的大小,分级报警,实现自动化、智能化检测。
为解决上述技术问题,本发明通过下述技术方案实现:
一种基于视频监控的明渠漫堤检测方法,包括如下步骤:
步骤1,构建数据集
构建去雾样本库;
构建水体分割样本库;
步骤2,搭建网络模型
搭建去雾模型;
搭建水体分割模型;
步骤3,训练去雾模型和水体分割模型;
步骤4,划定报警区域和级别
结合明渠的形状特点,在明渠范围外划定不同报警级别对应的漫水区域,较低报警等级的漫水区域较小,越高报警等级对应的漫水区域越大;
步骤5,漫堤识别
定期抓取监控图像,首先对图像进行快速傅里叶变换,判断高频分量占比,若占比低于设定的阈值,则判定该图像有雾,则将原始图像先送入步骤3训练的去雾模型进行去雾,然后送到水体分割模型检测水体,若高频分量占比超过阈值,则判定该图像没有雾,直接送入到水体分割模型,最终得到水体区域的位置和外形轮廓;
步骤6,区域比对
将步骤4中的不同级别的漫水区域从大到小逐个与步骤5中的水体区域进行比对,水体区域超出漫水区域,则判定为对应的报警级别,取最高报警级别为最终的渠水漫堤报警级别。
优选地,所述步骤1中,构建去雾样本库:收集明渠监控图像,收集天气晴朗和能见度较差天气下的监控图像,对相同监控角度下晴朗天气的图片和能见度差的图片进行不同比例叠加,以此获取高质量-低质量图像样本对,得到去雾样本库;
构建水体分割样本库:对所有收集的明渠监控图像和生成的去雾样本图像,均进行水面外轮廓进行标注,得到水体分割样本库。
优选地,能见度较差天气包括雾霾、雾和阴雨。
优选地,所述步骤2中,搭建去雾模型:搭建一个典型的全卷积编码-解码结构去雾网络,编码器对输入的有雾图片进行特征提取,解码器利用编码器得到的特征重构去雾图像;
搭建水体分割模型:基于PSPNet网络对高纬度特征层的多尺度融合,对其低维特征同样进行多尺度的级联和融合,在最终的预测结果中补充低维度下的丰富细节特征,形成清晰的分割边缘。
优选地,所述步骤3中训练去雾模型和水体分割模型:分别对去雾样本库和水体分割样本库进行等比例划分,划分为N份子样本库,并分别实例化N个去雾模型和N个水体分割模型,每个模型在其中N-1份样本库上进行训练,用剩余1份子样本库进行模型性能验证,轮流使用子样本库,训练出N个模型,以验证集上的平均得分作为模型的验证分数,选择最优验证分数时的模型参数作为最优参数,并以该最优参数在所有样本库上再进行模型训练,得到的模型即为最终模型。
本发明与现有技术相比,具有以下优点及有益效果:
本发明基于视频监控设备,充分利用深度学习技术,消除雾对图像的影响,从明渠视频监控中提取水体区域,结合漫堤警戒区域,分级报警,实现自动化、智能化检测,具有使用便捷、适用范围广、设备成本低等优点。
附图说明
图1 为本发明去雾模型和水体分割模型的训练过程图;
图2 为本发明明渠漫堤检测方法流程图;
图3为去雾模型结构图;
图4为水体分割模型结构图。
具体实施方式
下面结合附图详细说明本发明的实施情况,但他们并不构成对本发明的限定,仅作举例而已。同时通过说明使本发明的优点更加清楚和容易理解。
如图1-4所示,本发明提供一种基于视频监控的明渠漫堤检测方法,包括如下步骤:
1)构建数据集
1.1)收集明渠监控图像,重点收集天气晴朗和雾霾、雾、阴雨等能见度较差天气下的监控图像,对相同监控角度下晴朗天气的图片和能见度差的图片进行不同比例叠加,以此获取大量高质量-低质量图像样本对,得到去雾样本库;
1.2)对所有收集的明渠监控图像和生成的去雾样本图像,均进行水面外轮廓进行标注,得到水体分割样本库。
2)搭建网络模型
2.1)搭建去雾模型
搭建一个典型的全卷积编码-解码结构去雾网络,编码器对输入的有雾图片进行特征提取,解码器利用编码器得到的特征重构去雾图像,如图1和3所示。
2.1)搭建水体分割模型
基于改进的PSPNet网络对高纬度特征层的多尺度融合,同时对低维特征也进行多尺度的级联和融合,在最终的预测结果中补充低维度下的丰富细节特征,形成清晰的分割边缘,如图1和4所示。
3)训练模型
分别对去雾样本库和水体分割样本库进行等比例划分,划分为N份子样本库,并分别实例化N个去雾模型和N个水体分割模型,每个模型在其中N-1份样本库上进行训练,用剩余1份子样本库进行模型性能验证,轮流使用子样本库,训练出N个模型,以验证集上的平均得分作为模型的验证分数,选择最优验证分数时的模型参数作为最优参数,并以该最优参数在所有样本库上再进行模型训练,得到的模型即为最终模型。
4)划定报警区域和级别
结合明渠的形状特点,在明渠范围外划定不同报警级别对应的漫水区域,较低报警等级的漫水区域较小,越高报警等级对应的漫水区域越大。
5)漫堤识别
定期抓取监控图像,首先对图像进行快速傅里叶变换,判断高频分量占比,若占比低于一定的阈值,则判定该图像有雾,则将原始图像先送入步骤3训练的去雾模型进行去雾,然后送到水体分割模型检测水体,若高频分量占比超过阈值,则判定该图像没有雾,直接送入到水体分割模型,最终得到水体区域的位置和外形轮廓,如图2所示。
6)区域比对
将步骤4中的不同级别的漫水区域从大到小逐个与步骤5中的水体区域进行比对,水体区域超出漫水区域,则判定为对应的报警级别,取最高报警级别为最终的渠水漫堤报警级别,如图2所示。
现以本发明利用于A县灌区渠水漫提为实施例对本发明进行详细说明,对本发明应用于其它明渠漫堤检测场景同样具有指导作用。
本实施例中,A县灌区下辖126座水闸,一期项目针对52座水闸,建设82处视频监控,主要布设于引水渠、放水渠、泄洪渠等明渠闸口附近。
本实施例中,收集晴朗天气时各个视频监控各300余张,雾霾天气30余张,有雾天气30余张,阴天天气30余张,总计收集晴朗天气30000张,雾霾天气、有雾天气和阴雨天气各3000张。
从各个摄像头的晴朗天气图片中随机选择500张,分别与对应的雾霾天气、有雾天气和阴雨天气的图片进行不同比例叠加,累计生成雾霾天气、有雾天气、阴天天气各10000张,构建去雾样本库,所有收集和生成的图片构成水体分割样本库,对水体样本分割样本库的所有图片中的水体外轮廓进行标注。
基于去雾样本库,训练去雾模型,基于水体分割样本库,训练水体分割模型。
本实施例中,每个摄像头下的明渠绘制三个级别的漫堤报警,Ⅰ级、Ⅱ级和Ⅲ级,Ⅰ级区域最接近渠道,范围最小,Ⅲ级范围最大。
本实施例中,在8:00-20:00每10分钟进行一轮抓图,经过3个月的试运行,共91天,总计分析537264张素材,发现Ⅲ级漫堤报警1次,Ⅱ级报警4次,Ⅰ级报警15次。及时为灌区管理人员合理控制闸门开合提供了现场反馈。
本发明提出一种全新的明渠漫堤检测方法,基于视频监控,利用图像分割模型,分级报警,具有发现及时、适用性强、可快速部署等特点。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (3)

1.一种基于视频监控的明渠漫堤检测方法,其特征在于,包括如下步骤:
步骤1,构建数据集
构建去雾样本库:收集明渠监控图像,收集天气晴朗和能见度较差天气下的监控图像,对相同监控角度下晴朗天气的图片和能见度差的图片进行不同比例叠加,以此获取高质量-低质量图像样本对,得到去雾样本库;
构建水体分割样本库:对所有收集的明渠监控图像和生成的去雾样本图像,均进行水面外轮廓进行标注,得到水体分割样本库;
步骤2,搭建网络模型
搭建一个典型的全卷积编码-解码结构去雾网络,编码器对输入的有雾图片进行特征提取,解码器利用编码器得到的特征重构去雾图像;
搭建水体分割模型:基于PSPNet网络对高纬度特征层的多尺度融合,对其低维特征同样进行多尺度的级联和融合,在最终的预测结果中补充低维度下的丰富细节特征,形成清晰的分割边缘;
步骤3,训练去雾模型和水体分割模型;
步骤4,划定报警区域和级别
结合明渠的形状特点,在明渠范围外划定不同报警级别对应的漫水区域,较低报警等级的漫水区域较小,越高报警等级对应的漫水区域越大;
步骤5,漫堤识别
定期抓取监控图像,首先对图像进行快速傅里叶变换,判断高频分量占比,若占比低于设定的阈值,则判定该图像有雾,则将原始图像先送入步骤3训练的去雾模型进行去雾,然后送到水体分割模型检测水体,若高频分量占比超过阈值,则判定该图像没有雾,直接送入到水体分割模型,最终得到水体区域的位置和外形轮廓;
步骤6,区域比对
将步骤4中的不同级别的漫水区域从大到小逐个与步骤5中的水体区域进行比对,水体区域超出漫水区域,则判定为对应的报警级别,取最高报警级别为最终的渠水漫堤报警级别。
2.根据权利要求1所述的基于视频监控的明渠漫堤检测方法,其特征在于,能见度较差天气包括雾霾、雾和阴雨。
3.根据权利要求1所述的基于视频监控的明渠漫堤检测方法,其特征在于,所述步骤3中训练去雾模型和水体分割模型:分别对去雾样本库和水体分割样本库进行等比例划分,划分为N份子样本库,并分别实例化N个去雾模型和N个水体分割模型,每个模型在其中N-1份样本库上进行训练,用剩余1份子样本库进行模型性能验证,轮流使用子样本库,训练出N个模型,以验证集上的平均得分作为模型的验证分数,选择最优验证分数时的模型参数作为最优参数,并以该最优参数在所有样本库上再进行模型训练,得到的模型即为最终模型。
CN202311175778.1A 2023-09-13 2023-09-13 一种基于视频监控的明渠漫堤检测方法 Active CN116935289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311175778.1A CN116935289B (zh) 2023-09-13 2023-09-13 一种基于视频监控的明渠漫堤检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311175778.1A CN116935289B (zh) 2023-09-13 2023-09-13 一种基于视频监控的明渠漫堤检测方法

Publications (2)

Publication Number Publication Date
CN116935289A CN116935289A (zh) 2023-10-24
CN116935289B true CN116935289B (zh) 2023-12-19

Family

ID=88382830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311175778.1A Active CN116935289B (zh) 2023-09-13 2023-09-13 一种基于视频监控的明渠漫堤检测方法

Country Status (1)

Country Link
CN (1) CN116935289B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729656A (zh) * 2017-10-19 2018-02-23 福建四创软件有限公司 基于台风过程风场作用下的风暴潮漫堤风险预警方法
CN111563433A (zh) * 2020-04-27 2020-08-21 郭琼 基于区块链的智慧工地漫水监测系统
CN112163496A (zh) * 2020-09-22 2021-01-01 广东华南水电高新技术开发有限公司 一种基于语义分割的嵌入式终端水库水位预警方法
CN113031009A (zh) * 2021-03-12 2021-06-25 宁波市气象网络与装备保障中心 一种用于区分雾、霾的激光雷达监测方法
CN113610052A (zh) * 2021-08-26 2021-11-05 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道渗漏水自动识别方法
WO2021238420A1 (zh) * 2020-05-29 2021-12-02 Oppo广东移动通信有限公司 图像去雾方法、终端及计算机存储介质
CN114078097A (zh) * 2021-11-11 2022-02-22 北京百度网讯科技有限公司 图像去雾模型的获取方法、装置和电子设备
CN114677594A (zh) * 2022-04-15 2022-06-28 智洋创新科技股份有限公司 一种基于深度学习的河流水位的智能识别算法
CN115908159A (zh) * 2022-10-12 2023-04-04 北京工业大学 图像去雾方法、装置、电子设备及存储介质
US11721191B1 (en) * 2022-05-16 2023-08-08 Chengdu Qinchuan Iot Technology Co., Ltd. Method and system for flood early warning in smart city based on internet of things

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443142B2 (en) * 2014-07-24 2016-09-13 Exelis, Inc. Vision-based system for dynamic weather detection

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729656A (zh) * 2017-10-19 2018-02-23 福建四创软件有限公司 基于台风过程风场作用下的风暴潮漫堤风险预警方法
CN111563433A (zh) * 2020-04-27 2020-08-21 郭琼 基于区块链的智慧工地漫水监测系统
WO2021238420A1 (zh) * 2020-05-29 2021-12-02 Oppo广东移动通信有限公司 图像去雾方法、终端及计算机存储介质
CN112163496A (zh) * 2020-09-22 2021-01-01 广东华南水电高新技术开发有限公司 一种基于语义分割的嵌入式终端水库水位预警方法
CN113031009A (zh) * 2021-03-12 2021-06-25 宁波市气象网络与装备保障中心 一种用于区分雾、霾的激光雷达监测方法
CN113610052A (zh) * 2021-08-26 2021-11-05 上海同岩土木工程科技股份有限公司 一种基于深度学习的隧道渗漏水自动识别方法
CN114078097A (zh) * 2021-11-11 2022-02-22 北京百度网讯科技有限公司 图像去雾模型的获取方法、装置和电子设备
CN114677594A (zh) * 2022-04-15 2022-06-28 智洋创新科技股份有限公司 一种基于深度学习的河流水位的智能识别算法
US11721191B1 (en) * 2022-05-16 2023-08-08 Chengdu Qinchuan Iot Technology Co., Ltd. Method and system for flood early warning in smart city based on internet of things
CN115908159A (zh) * 2022-10-12 2023-04-04 北京工业大学 图像去雾方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"改进的小波域阈值去噪方法";付燕;《西安科技大学学报》;第24卷(第4期);全文 *

Also Published As

Publication number Publication date
CN116935289A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
Iqbal et al. How computer vision can facilitate flood management: A systematic review
Chaturvedi et al. A survey on vision-based outdoor smoke detection techniques for environmental safety
CN112633231B (zh) 一种火灾识别的方法和装置
CN110532961B (zh) 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法
CN101957997A (zh) 一种动态场景中基于区域均值核密度估计的运动目标检测方法
CN103761522B (zh) 基于最小外接矩形窗河道分段模型的sar图像河道提取方法
CN112200089B (zh) 一种基于车辆计数感知注意力的稠密车辆检测方法
CN116227362A (zh) 一种基于图与深度学习的市政排水管网状态预测方法
CN112464893A (zh) 一种复杂环境下的拥挤度分类方法
CN116246169A (zh) 基于SAH-Unet的高分辨率遥感影像不透水面提取方法
CN111524121A (zh) 一种基于机器视觉技术的路桥病害自动检测方法
CN116935289B (zh) 一种基于视频监控的明渠漫堤检测方法
Hosseini Pazhouh et al. Assessment of standardized precipitation and standardized precipitation-evapotranspiration indices for wet period detection
CN110942026A (zh) 基于深度学习的胶囊机器人排水管病害检测方法及系统
CN116229362A (zh) 一种基于实时监控视频的智能积水检测与深度估计方法
Cecilia et al. In situ and crowd-sensing techniques for monitoring flows in ephemeral streams
An et al. Slope collapse detection method based on deep learning technology
CN108549882A (zh) 一种基于深度学习的实时的铁路口多摄像头行人检测方法
CN114220050A (zh) 一种水体分割方法
Sun et al. Check dam extraction from remote sensing images using deep learning and geospatial analysis: A case study in the Yanhe River Basin of the Loess Plateau, China
CN114998363B (zh) 一种高分辨率遥感影像渐进式分割方法
CN101937566A (zh) 结合背景信息和最大后验边缘概率准则的sar图像分割方法
Lee et al. Self-enhancement of automatic tunnel accident detection (TAD) on CCTV by AI deep-learning
Li et al. Development and Application of Flood Control and Waterlogging Prevention Intelligent Monitoring System Based on Subway" ONE MAP"
Dittakan et al. Population estimation mining using satellite imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant