CN108982794B - 一种基于数码高清图像的蓝藻水华监测方法和系统 - Google Patents
一种基于数码高清图像的蓝藻水华监测方法和系统 Download PDFInfo
- Publication number
- CN108982794B CN108982794B CN201810771952.1A CN201810771952A CN108982794B CN 108982794 B CN108982794 B CN 108982794B CN 201810771952 A CN201810771952 A CN 201810771952A CN 108982794 B CN108982794 B CN 108982794B
- Authority
- CN
- China
- Prior art keywords
- bloom
- pixels
- coverage
- water
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及一种基于数码高清图像的蓝藻水华监测方法和系统,建立蓝藻水华数码高清图像监测系统,筛选监测点,实时监测监控站点覆盖范围内的蓝藻盖度信息,对监测的蓝藻盖度信息进行每天一次或多次的处理分析,基于像素的分类和混合像元分解的构建数码高清图像水华提取与覆盖度计算算法,并对蓝藻盖度进行强度分级,将处理结果以覆盖度变化曲线的方式显示,同时显示数据分析时间点的监测图片信息,初步实现蓝藻水华数码高清图像自动解析。采用本发明的方法和系统能够及时全面准确掌握监控站点的蓝藻水华的发生面积,可以为水质监测和水质改善提供重要的科学依据与技术支撑。
Description
技术领域
本发明涉及环境工程与图像处理技术领域,具体涉及一种基于数码高清图像的蓝藻水华监测方法和系统。
背景技术
水是生命之源,而湖泊是地球上最重要的淡水资源之一、是湖泊流域地区经济可持续发展和人们赖以生存的重要基础。目前,我国内陆湖泊面临的一个主要问题是水体的富营养化,其重要特征是藻类,特别是蓝藻大量繁殖,异常生长,极易堆积,形成水华;部分甚至在河口以及近岸淤积,腐烂分解,消耗溶解氧,引起水体生物大量死亡,形成黑水团,发出恶臭,破坏水体景观和生态系统平衡,严重威胁湖泊饮用水源地水质安全。
近年来,随着经济的快速发展,大量点源、面源污染进入水体,太湖、巢湖等湖泊水质污染严重,水体富营养化情况日益严峻,蓝藻水华频繁发生。蓝藻异常生长,极易堆积形成水华,在河口以及近岸淤积,不仅破坏水体景观和生态系统平衡,而且由于蓝藻在生长和死亡过程中释放毒素,消耗溶解氧,容易引起水体生物大量死亡,湖泊水质恶化,严重威胁湖泊和水库周围地区的饮用水安全。因此,快速、全面、准确的掌握蓝藻信息,对于蓝藻的预测预警和防控非常重要。
湖泊水质变化,时效性强,特别是重点区域,需要全天候连续观测。传统的监测技术已无法满足水资源保护的多方位、高水平、实时性的要求。目前,设置在岸边或者湖体中心的视频监测系统是水体蓝藻水华监测的重要技术手段之一,可以提供高清图像,监测较为直观,实时性强,受天气影响小,不仅可以及时掌握监测区域蓝藻水华的发生面积、程度、位置及变化情况等,还可以对卫星遥感监测结果进行验证和补充,今后将发挥越来越重要的作用。
发明内容
本发明的目的在于提供一种针对数码高清图像的蓝藻水华监测方法和系统,能连续、实时、准确地监测目标水域的相关水质参数及其变化状况,在发生特定状况时实现自动预警指挥,可以为各水质管理部门提供服务。
为达成上述目的,本发明所采用的技术方案如下:
一种基于数码高清图像的蓝藻水华监测系统,包括:
图像采集模块;用于实时采集水面视频图像,并通过通信模块发送至控制中心;
供电模块;用于供能;
通信模块;用于接收图像采集模块的视频流信息,并发送至控制中心;
控制中心;用于接收视频流信息,筛选视频帧中的图像信息并进行图像处理,将像元筛分为纯水华像元、混合像元和非水华像元并计算水华覆盖度与强度,将统计结果进行可视化输出,完成蓝藻水华监测。
其中,所述图像处理流程如下:
1)筛选视频帧图像,降噪处理后,提取图像R,G,B通道DN值DNred、DNgreen和DNblue;
2)基于下式计算像元的GI指数:
3)设定GI阈值,将像元划分为纯水华像元,非水华像元和水华、纯水混合像元;
所述混合像元GI阈值计算方式如下:
αalgae+αwater=1 (3)
可得:
4)计算水华覆盖度和强度;所述水华覆盖度为图像内水华像元数与总像元数之比;所述水华强度为图像中所有像元的平均水华比例;
5)重复步骤2)-4)直至图像像元处理完毕,输出水华覆盖度与强度。
本发明的算法原理如下:
通常情况下,水华与非水华像元单波段像素值差异较小,但彩色数字照片一般包含红、绿、蓝三个波段,经过波段组合运算后,二者之间的差异性变大,通过指定阈值可以识别出水华。本发明根据公式(1)GI指数阈值法识别蓝藻水华:
通过对水域历史高清图像数据GI指数统计分析,发现水华覆盖度越高,则GI指数越大。本发明中根据经验统计发现当像元GI指数大于0.33时,该像元存在水华。利用GI指数可将像元分为水华像元和非水华像元两类。水华覆盖度定义为图像内水华像元数与总像元数之比。
但传统水华识别算法仅将像元简单分为水华像元和非水华像元两类。但实际上对于大多数像元而言并非完全由纯水或者纯水华覆盖,而是由水与水华共同覆盖。本发明在GI指数识别水华的基础上,基于混合像元分解的思路,对混合像元进一步分解得到混合像元内的水华占比。纯水华像元定义为单个像元完全由水华组成,即水华比例αalgae=1;非水华像元定义为像元完全由水组成即纯水比例αwater=1;混合像元则有水与水华两种类型地物组成,其GI指数阈值可表示为公式(2):为经验统计数值,本发明中非水华像元的GI指数阈值为0.33,纯水华像元的GI指数阈值0.40。
进一步的,由于各种天气、环境光线变化的影响会存在较多无效影像。筛选视频帧图像时,剔除夜晚无光照和受天气影响较大的高清图像。
图像在形成、传输和扫描过程中,常常会受到外界噪声干扰导致质量下降。为了减轻噪声对图像的干扰,避免误判和漏判,本发明采用空间域滤波、变换域滤波、变分法对图像进行预处理,以去除和减轻噪声。
本发明中所述步骤5)中按照水华覆盖度情况,将水华分为三个强度等级,分级方法为:水华覆盖度小于35%,为低强度;水华覆盖度35%~40%,为中强度;水华覆盖度大于40%,为高强度。进一步的,将处理结果以覆盖度变化曲线的方式显示,同时显示数据分析时间点的监测图片信息。
本发明还提供了一种基于数码高清图像的蓝藻水华检测方法,即前述的图像处理流程。
本发明首先构建了蓝藻水华数码高清图像监测系统,基于数码高清图像构建了蓝藻水华水华提取与覆盖度计算算法并将结果进行可视化输出,为水体水华蓝藻实时监测提供参考。本发明的针对数码高清图像蓝藻水华监测方法和系统,在数码高清图像监测系统的基础上,利用GI指数模型和数码高清图像构建水华提取与覆盖度计算算法,可以实时获取蓝藻分布强度,对蓝藻水华分级,并进行存储,可为定量化分析蓝藻水华情势提供数据支撑和科技支持,有助于科有效评估湖泊水体生态环境变化,为水利、环保等部门的水资源管理、水环境保护的科学决策提供科技支撑。
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外,所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过例子并参考附图来描述本发明的各个方面的实施例,其中:
图1是蓝藻水华数码高清图像监测系统工作原理图。
图2是数码高清图像水华提取与覆盖度计算算法运算流程图。
图3a是2017年07月18日05点53分数码高清图像及水华识别覆盖度结果。
图3b是2017年07月20日07点23分数码高清图像及水华识别覆盖度结果。
图3c是2017年07月21日15点23分数码高清图像及水华识别覆盖度结果。
图4是水华覆盖度变化曲线统计结果示意图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图说明如下。
在本公开中参照附图来描述本发明的各方面,附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解,上面介绍的多种构思和实施例,以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施,这是应为本发明所公开的构思和实施例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面的任何适当组合来使用。
实施例1
本实施例以太湖贡湖湾监测站为例,对本发明的技术方案作进一步描述。
本发明基于数码高清图像进行蓝藻水华监测,上述目的是这样实现的:
在总结现有技术的基础上,以在线高清图像监测为核心,运用现代传感器技术、自动测量技术、自动控制技术、计算机图像处理技术以及无线通讯网络所组成的一个综合性的在线高清监测分析系统;基于像素的分类和混合像元分解的构建数码高清图像水华提取与覆盖度计算算法,基于该算法实时监测水体监测点覆盖范围内的蓝藻盖度信息,并对水华监测结果以覆盖度变化曲线的方式显示,同时显示数据分析时间点的监测图像信息。
作为示例性的描述,下面结合附图所示,对前述系统和方法的实施进行具体说明。
本发明的蓝藻水华数码高清图像监测系统包括系统前端和中心两个部分。系统前端部分包括供电模块、无线通信模块、图像采集模块,同时,配置一些必要的防雷、防雨雪等辅助设备。该模块是高清监控的重点,实现对水体关键信息的实时监测,并完成与中心部分(控制中心)的信息交互。系统中心部分由部署在管理部门机房服务器,安装在其上的分析软件及用户交互界面组成,主要完成对前端部分的管理,接收前端信息,查看、存储高清图像并实现对高清图像的处理。
系统的工作原理如图1所示,在前端监控部分,供电模块为其它几个模块供电,高清图像采集模块通过数码摄像机捕获监视点处的高清图像,获取监视点的蓝藻水华覆盖情况,通过无线通信模块,将高清图像实时传输回控制中心,控制中心在接收到前端传回的数据后,对高清图像进行处理分析,识别蓝藻水华与计算水华覆盖度与强度,对图像与识别结果进行存储和管理。
上述的图像处理流程如图2所示,包括如下步骤:
1)由于各种天气、环境光线变化的影响会存在较多无效影像。筛选视频帧图像时,剔除夜晚无光照和受天气影响较大的高清图像。其次,图像在形成、传输和扫描过程中,常常会受到外界噪声干扰导致质量下降。因此为了减轻噪声对图像的干扰,避免误判和漏判,对图像进行空间域滤波、变换域滤波、变分法等技术去除和减轻噪声;之后提取图像R,G,B通道DN值DNred、DNgreen和DNblue;
2)基于下式计算像元GI指数;
3)如果GI指数大于0.33,则继续进行步骤4),否则该像元为非水华像元;
4)如果GI指数小于0.40,则该像元为混合像元,否则该像元为纯水华像元;
5)计算水华覆盖度与强度;
6)重复步骤2)-5)直至图像像元处理完毕,输出水华覆盖度与强度;
7)按照水华覆盖度情况,将水华分为三个强度等级,分别为低强度(小于35%),中强度(35-40%)和高强度(大于40%)。
8)将处理结果以覆盖度变化曲线的方式显示,同时显示数据分析时间点的监测图片信息。
利用上述算法,对有水华照片进行了自动提取,发现对于不同覆盖度、不同覆盖类型的图像,算法都发挥了较好的作用,识别结果具体如图3a-3 c所示,图4进一步对水华覆盖度变化曲线统计显示,以分析蓝藻水华暴发的时空分异规律。
通过上述方法即可建立数码高清图像的蓝藻水华监测模型,解析精度较高;据此,数码高清图像实时监测将在大型内陆湖泊水体环境研究中具有较好的前景。本发明可为定量化分析蓝藻水华情势提供数据支撑和科技支持,可以有效评估湖泊生态环境的状况,为水利、环保等部门的水资源管理、水环境保护的科学决策提供科技支撑。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。
Claims (7)
1.一种基于数码高清图像的蓝藻水华监测系统,其特征在于,包括:
图像采集模块;用于实时采集水面视频图像,并通过通信模块发送至控制中心;
供电模块;用于供能;
通信模块;用于接收图像采集模块的视频流信息,并发送至控制中心;
控制中心;用于接收视频流信息,筛选视频帧中的图像信息并进行图像处理,将像元筛分为纯水华像元、混合像元和非水华像元并计算水华覆盖度与强度,将统计结果进行可视化输出,完成蓝藻水华监测;
其中,所述图像处理流程如下:
1)筛选视频帧图像,降噪处理后,提取图像R,G,B通道DN值DNred、DNgreen和DNblue;
2)基于下式计算像元的GI指数:
3)设定GI阈值,将像元划分为纯水华像元,非水华像元和水华、纯水混合像元;
所述混合像元GI指数计算方式如下:
4)计算水华覆盖度和强度;所述水华覆盖度为图像内水华像元数与总像元数之比;所述水华强度为图像中所有像元的平均水华比例;
5)重复步骤2)-4)直至图像像元处理完毕,输出水华覆盖度与强度。
2.根据权利要求1所述的系统,其特征在于,所述步骤1)中,筛选视频帧图像时,剔除夜晚无光照和受天气影响较大的图像。
3.根据权利要求1所述的系统,其特征在于,所述步骤1)中,采用空间域滤波、变换域滤波和变分法对图像进行降噪处理。
4.根据权利要求1所述的系统,其特征在于,所述步骤3)中,非水华像元的GI指数阈值为0.33;纯水华像元的GI指数阈值为0.40。
5.根据权利要求1所述的系统,其特征在于,所述步骤5)中还包括,按照水华覆盖度情况,将水华分为三个强度等级,分级方法如下:
水华覆盖度小于35%,为低强度;水华覆盖度35%~40%,为中强度;水华覆盖度大于40%,为高强度。
6.根据权利要求1所述的系统,其特征在于,所述步骤5)中还包括,将处理结果以覆盖度变化曲线的方式显示,同时显示数据分析时间点的监测图片信息。
7.一种基于数码高清图像的蓝藻水华检测方法,其特征在于,包括如下步骤:
1)筛选视频帧图像,降噪处理后,提取图像R,G,B通道DN值DNred、DNgreen和DNblue;
2)基于下式计算像元的GI指数:
3)设定GI阈值,将像元划分为纯水华像元,非水华像元和水华、纯水混合像元;
所述混合像元GI阈值计算方式如下:
4)计算水华覆盖度和强度;所述水华覆盖度为图像内水华像元数与总像元数之比;所述水华强度为图像中所有像元的平均水华比例;
5)重复步骤2)-4)直至图像像元处理完毕,输出水华覆盖度与强度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810771952.1A CN108982794B (zh) | 2018-07-13 | 2018-07-13 | 一种基于数码高清图像的蓝藻水华监测方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810771952.1A CN108982794B (zh) | 2018-07-13 | 2018-07-13 | 一种基于数码高清图像的蓝藻水华监测方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108982794A CN108982794A (zh) | 2018-12-11 |
CN108982794B true CN108982794B (zh) | 2020-09-04 |
Family
ID=64537533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810771952.1A Active CN108982794B (zh) | 2018-07-13 | 2018-07-13 | 一种基于数码高清图像的蓝藻水华监测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108982794B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111104976B (zh) * | 2019-12-12 | 2023-05-09 | 南京大学 | 一种基于时间序列图像的蓝藻覆盖率计算方法 |
CN111122816B (zh) * | 2019-12-30 | 2022-07-05 | 重庆商勤科技有限公司 | 基于在线监测与图像识别相结合的水华预警系统及方法 |
CN113627280A (zh) * | 2021-07-23 | 2021-11-09 | 中国科学院南京地理与湖泊研究所 | 基于视频监控设备的湖泊滨岸带蓝藻水华监测与分析方法 |
CN115695738A (zh) * | 2022-12-30 | 2023-02-03 | 北京世纪农丰土地科技有限公司 | 一种生态保护修复中水体富营养化问题的监测系统 |
CN116539830B (zh) * | 2023-05-16 | 2024-03-19 | 安徽禾美环保集团有限公司 | 污水处理效果智能检测系统 |
CN116823837B (zh) * | 2023-08-30 | 2023-11-21 | 江西怡杉环保股份有限公司 | 一种蓝藻水华监测装置及预报方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201689088U (zh) * | 2010-06-01 | 2010-12-29 | 无锡弘景达信息技术有限公司 | 用于蓝藻监测的浮标 |
CN102592140A (zh) * | 2012-01-04 | 2012-07-18 | 上海理工大学 | 一种蓝藻水华状态监测方法 |
CN103150576A (zh) * | 2013-03-19 | 2013-06-12 | 上海理工大学 | 蓝藻水华状态监测方法 |
-
2018
- 2018-07-13 CN CN201810771952.1A patent/CN108982794B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201689088U (zh) * | 2010-06-01 | 2010-12-29 | 无锡弘景达信息技术有限公司 | 用于蓝藻监测的浮标 |
CN102592140A (zh) * | 2012-01-04 | 2012-07-18 | 上海理工大学 | 一种蓝藻水华状态监测方法 |
CN103150576A (zh) * | 2013-03-19 | 2013-06-12 | 上海理工大学 | 蓝藻水华状态监测方法 |
Non-Patent Citations (1)
Title |
---|
基于MODIS影像的太湖蓝藻水华面积高精度计算方法及应用;马孟枭;《中国优秀硕士学位论文全文数据库 工程科技Ι辑》;20160715(第07期);第19-23、28页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108982794A (zh) | 2018-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108982794B (zh) | 一种基于数码高清图像的蓝藻水华监测方法和系统 | |
CN106296612B (zh) | 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法 | |
CN101846576B (zh) | 一种基于视频的液体泄漏分析预警系统 | |
CN110378849B (zh) | 基于深度残差网络的图像去雾去雨方法 | |
CN106683112B (zh) | 一种基于高分辨率图像的道路路域建筑物变化提取方法 | |
CN110148093B (zh) | 一种基于暗通道先验的图像去雾改进方法 | |
CN108109385A (zh) | 一种输电线防外破的车辆识别与危险行为判别系统与方法 | |
CN108154492B (zh) | 一种基于非局部均值滤波的图像去雾霾方法 | |
CN103903230A (zh) | 一种视频图像海雾去除清晰化方法 | |
CN102014279B (zh) | 一种视频图像对比度增强方法和装置 | |
CN112396635B (zh) | 一种基于多设备的复杂环境下多目标检测方法 | |
CN113887412A (zh) | 污染排放的检测方法、检测终端、监控系统及存储介质 | |
CN104517126A (zh) | 一种基于图像分析的空气质量评估方法 | |
CN105632170A (zh) | 一种基于Mean Shift跟踪算法的交通流检测方法 | |
CN109118450A (zh) | 一种沙尘天气条件下的低质图像增强方法 | |
CN102855627B (zh) | 基于光谱特性和拓扑关系的城市遥感影像阴影检测方法 | |
CN111598814B (zh) | 基于极端散射通道的单图像去雾方法 | |
CN110349134A (zh) | 一种基于多标签卷积神经网络的管道病害图像分类方法 | |
CN110728212B (zh) | 一种基于计算机视觉的道路井盖监控装置及监控方法 | |
CN112070691A (zh) | 一种基于U-Net的图像去雾方法 | |
CN104299200A (zh) | 一种彩色增强的单幅图像去雨处理方法 | |
CN103279928A (zh) | 一种基于大气散射模型的图像增强方法 | |
CN105931198A (zh) | 一种基于小波变换的覆冰绝缘子图像增强方法 | |
CN109872499B (zh) | 一种基于图像识别的拦网在位监测报警系统 | |
CN104079934A (zh) | 一种实时视频通信中的感兴趣区域提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |