CN112087605A - 一种井下环境的照度监控方法及系统 - Google Patents
一种井下环境的照度监控方法及系统 Download PDFInfo
- Publication number
- CN112087605A CN112087605A CN202010993437.5A CN202010993437A CN112087605A CN 112087605 A CN112087605 A CN 112087605A CN 202010993437 A CN202010993437 A CN 202010993437A CN 112087605 A CN112087605 A CN 112087605A
- Authority
- CN
- China
- Prior art keywords
- light supplement
- environment
- depth
- measuring
- illuminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 65
- 238000012544 monitoring process Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000013589 supplement Substances 0.000 claims abstract description 128
- 238000005259 measurement Methods 0.000 claims abstract description 88
- 230000001502 supplementing effect Effects 0.000 claims abstract description 17
- 238000003384 imaging method Methods 0.000 abstract description 8
- 239000003245 coal Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
Abstract
本发明公开了一种井下环境的照度监控方法及系统,所述照度监控方法包括如下步骤:测量补光前井下环境的照度值,作为环境基础照度;利用补光灯对井下环境进行补光;测量被测物体的深度,获得深度测量结果;测量补光灯的功率,获得功率测量结果;根据所述环境基础照度、所述深度测量结果和所述功率测量结果,计算补光后井下环境的照度值;调整补光灯的控制参数,使补光后井下环境的照度值为井下环境监测的最优照度值。本发明利用深度测量结果和功率测量结果计算补光后井下环境的照度值,根据计算结果对补光灯的控制参数进行调整,无需在被测物体上设置照度计,实现了补光灯照度的监控,提高了井下视频监控的成像质量和图像识别精度。
Description
技术领域
本发明涉及井下视频监控技术领域,特别涉及一种井下环境的照度监控方法及系统。
背景技术
目井下环境黑暗,在进行视频监控、图像识别时需要额外补光,而补光的强度直接影响到视频监控的成像质量、图像识别精度,所以对于照度的测量十分重要。而照度测量通常采用照度计进行,测量时需要将照度计放置于被测物体表面。
但是很多时候没有办法在被测物体表面放置照度计,比如皮带上快速移动的煤流,放顶煤工作面快速运动的后刮板。
目前在井下在进行视频监控、图像识别时,无法实现补光灯照度的监控和调节,而不合适的补光强度会降低视频监控的成像质量、图像识别精度。而且目前常见的照度测量工具无法使用在井下的一些场景。
发明内容
本发明的目的是提供一种井下环境的照度监控方法及系统,以实现补光灯照度的监控,使井下环境的照度实时为井下环境监测的最优照度,提高井下视频监控的成像质量和图像识别精度。
为实现上述目的,本发明提供了如下方案:
一种井下环境的照度监控方法,所述照度监控方法包括如下步骤:
测量补光前井下环境的照度值,作为环境基础照度;
利用补光灯对井下环境进行补光;
测量被测物体的深度,获得深度测量结果;
测量补光灯的功率,获得功率测量结果;
根据所述环境基础照度、所述深度测量结果和所述功率测量结果,计算补光后井下环境的照度值;
判断补光后井下环境的照度值是否为井下环境监测的最优照度值,获得判断结果;
若所述判断结果为否,则调整补光灯的控制参数,利用控制参数调整后的补光灯对井下环境进行补光,返回步骤“测量被测物体的深度,获得深度测量结果”;
若所述判断结果为是,则输出调整后的补光灯的控制参数。
可选的,所述测量补光前井下环境的照度值,作为环境基础照度,具体包括:
利用照度计测量补光前井下环境的照度值,作为环境基础照度。
可选的,所述测量被测物体的深度,获得深度测量结果,具体包括:
利用立体视觉深度测量方法,采用双目相机、TOF相机和/或结构光相机,测量被测物体的深度,获得深度测量结果。
可选的,所述测量补光灯的功率,获得功率测量结果,具体包括:
采用功率计测量补光灯的功率,获得功率测量结果。
可选的,所述根据所述环境基础照度、所述深度测量结果和所述功率测量结果,计算补光后井下环境的照度值,具体包括:
式中,Es为补光后井下环境的照度值;Em为环境基础照度;n为补光灯的光源总数;ηi为第i个光源的能源效率;Pi为第i个光源的功率,zi为被测物体相对于第i个光源的深度。
一种井下环境的照度监控系统,所述照度监控系统包括:
环境基础照度获取模块,用于测量补光前井下环境的照度值,作为环境基础照度;
补光模块,用于利用补光灯对井下环境进行补光;
深度测量模块,用于测量被测物体的深度,获得深度测量结果;
功率测量模块,用于测量补光灯的功率,获得功率测量结果;
补光后井下环境的照度值计算模块,用于根据所述环境基础照度、所述深度测量结果和所述功率测量结果,计算补光后井下环境的照度值;
判断模块,用于判断补光后井下环境的照度值是否为井下环境监测的最优照度值,获得判断结果;
补光灯的控制参数调整模块,用于若所述判断结果为否,则调整补光灯的控制参数,利用控制参数调整后的补光灯对井下环境进行补光,调用深度测量模块,执行步骤“测量被测物体的深度,获得深度测量结果”;
控制参数输出模块,用于若所述判断结果为是,则输出调整后的补光灯的控制参数。
可选的,所述环境基础照度获取模块,具体包括:
环境基础照度获取子模块,用于利用照度计测量补光前井下环境的照度值,作为环境基础照度。
可选的,所述深度测量模块,具体包括:
深度测量子模块,用于利用立体视觉深度测量方法,采用双目相机、TOF相机和/或结构光相机,测量被测物体的深度,获得深度测量结果。
可选的,所述功率测量模块,具体包括:
功率测量子模块,用于采用功率计测量补光灯的功率,获得功率测量结果。
可选的,所述补光后井下环境的照度值计算模块,具体包括:
式中,Es为补光后井下环境的照度值;Em为环境基础照度;n为补光灯的光源总数;ηi为第i个光源的能源效率;Pi为第i个光源的功率,zi为被测物体相对于第i个光源的深度。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明公开了一种井下环境的照度监控方法及系统,所述照度监控方法包括如下步骤:测量补光前井下环境的照度值,作为环境基础照度;利用补光灯对井下环境进行补光;测量被测物体的深度,获得深度测量结果;测量补光灯的功率,获得功率测量结果;根据所述环境基础照度、所述深度测量结果和所述功率测量结果,计算补光后井下环境的照度值;调整补光灯的控制参数,使补光后井下环境的照度值为井下环境监测的最优照度值。本发明利用深度测量结果和功率测量结果计算补光后井下环境的照度值,根据计算结果对补光灯的控制参数进行调整,无需在被测物体上设置照度计,实现了补光灯照度的监控,提高了井下视频监控的成像质量和图像识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种井下环境的照度监控方法的流程图;
图2为本发明提供的一种井下环境的照度监控方法的原理图。
具体实施方式
本发明的目的是提供一种井下环境的照度监控方法及系统,以实现补光灯照度的监控,使井下环境的照度实时为井下环境监测的最优照度,提高井下视频监控的成像质量和图像识别精度。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对发明作进一步详细的说明。
如图1所示,本发明提供一种井下环境的照度监控方法,所述照度监控方法包括如下步骤:
步骤101,测量补光前井下环境的照度值,作为环境基础照度。
步骤101所述测量补光前井下环境的照度值,作为环境基础照度,具体包括:利用照度计测量补光前井下环境的照度值,作为环境基础照度。
步骤102,利用补光灯对井下环境进行补光。
步骤103,测量被测物体的深度,获得深度测量结果。
步骤103所述测量被测物体的深度,获得深度测量结果,具体包括:利用立体视觉深度测量方法,采用双目相机、TOF相机和/或结构光相机,测量被测物体的深度,获得深度测量结果。
步骤104,测量补光灯的功率,获得功率测量结果。
步骤104所述测量补光灯的功率,获得功率测量结果,具体包括:采用功率计测量补光灯的功率,获得功率测量结果。
步骤105,根据所述环境基础照度、所述深度测量结果和所述功率测量结果,计算补光后井下环境的照度值。
步骤105所述根据所述环境基础照度、所述深度测量结果和所述功率测量结果,计算补光后井下环境的照度值,具体包括:根据所述深度测量结果和所述功率测量结果,利用公式补光后井下环境的照度值;式中,Es为补光后井下环境的照度值;Em为环境基础照度;n为补光灯的光源总数;ηi为第i个光源的能源效率;Pi为第i个光源的功率,zi为被测物体相对于第i个光源的深度。
步骤106,判断补光后井下环境的照度值是否为井下环境监测的最优照度值,获得判断结果;
步骤107,若所述判断结果为否,则调整补光灯的控制参数,利用控制参数调整后的补光灯对井下环境进行补光,返回步骤“测量被测物体的深度,获得深度测量结果”;
步骤108,若所述判断结果为是,则输出调整后的补光灯的控制参数。
本发明的井下环境的照度监控方法的原理如图2所示,具体为:
步骤201,环境基础照度感知。优选的,利用照度计进行环境基础照度感知。
步骤202,利用补光灯进行照度调整。优选的,补光灯可以采用可见光补光灯,也可以采用红外光补光灯。
步骤203,利用立体视觉深度测量技术对被测物体进行深度测量。优选的,采用双目相机、TOF相机或结构光相机实现深度测量。
步骤204,对补光灯的功率进行监测。优选的,采用功率计。
步骤205,根据深度测量结果、功率监测结果对照度进行估测。优选的,利用公式(1)进行计算。
式中,Es为补光后井下环境的照度值,Lux;Em为环境基础照度,Lux;n为补光灯的光源总数;ηi为第i个光源的能源效率,cd/W;Pi为第i个光源的功率,W;zi对于第i个光源而言,被测物体的深度,m。
步骤206,根据预设的规则,判断该照度是否为最优照度。如果是最有照度,执行步骤207,否则,执行步骤202~206。
步骤207,将照度数据进行记录。优选的,将照度数据记录保存在集成在相机的存储芯片中。
步骤208,完成照度估测。
本发明还提供一种井下环境的照度监控系统,所述照度监控系统包括:
环境基础照度获取模块,用于测量补光前井下环境的照度值,作为环境基础照度。
所述环境基础照度获取模块,具体包括:环境基础照度获取子模块,用于利用照度计测量补光前井下环境的照度值,作为环境基础照度。
补光模块,用于利用补光灯对井下环境进行补光;
深度测量模块,用于测量被测物体的深度,获得深度测量结果。
所述深度测量模块,具体包括:深度测量子模块,用于利用立体视觉深度测量方法,采用双目相机、TOF相机和/或结构光相机,测量被测物体的深度,获得深度测量结果。
功率测量模块,用于测量补光灯的功率,获得功率测量结果。
所述功率测量模块,具体包括:功率测量子模块,用于采用功率计测量补光灯的功率,获得功率测量结果。
补光后井下环境的照度值计算模块,用于根据所述环境基础照度、所述深度测量结果和所述功率测量结果,计算补光后井下环境的照度值。
所述补光后井下环境的照度值计算模块,具体包括:补光后井下环境的照度值计算子模块,用于根据所述深度测量结果和所述功率测量结果,利用公式补光后井下环境的照度值;式中,Es为补光后井下环境的照度值;Em为环境基础照度;n为补光灯的光源总数;ηi为第i个光源的能源效率;Pi为第i个光源的功率,zi为被测物体相对于第i个光源的深度。
判断模块,用于判断补光后井下环境的照度值是否为井下环境监测的最优照度值,获得判断结果。
补光灯的控制参数调整模块,用于若所述判断结果为否,则调整补光灯的控制参数,利用控制参数调整后的补光灯对井下环境进行补光,调用深度测量模块,执行步骤“测量被测物体的深度,获得深度测量结果”。
控制参数输出模块,用于若所述判断结果为是,则输出调整后的补光灯的控制参数。
针对目前在井下在进行视频监控、图像识别时,无法实现补光灯照度的监控和调节,而不合适的补光强度会降低视频监控的成像质量、图像识别精度。而且目前常见的照度测量工具无法使用在井下的一些场景。本发明提出了一种用于井下环境的照度监控方法,基于立体视觉深度测量技术,对被测物体深度进行测量,在结合功率监测,在不增加图像采集工作量的前提下,对照度进行了估测,并进一步实现照度的自动调整,可以有效提高井下视频监控的成像质量以及图像识别的精度。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
Claims (10)
1.一种井下环境的照度监控方法,其特征在于,所述照度监控方法包括如下步骤:
测量补光前井下环境的照度值,作为环境基础照度;
利用补光灯对井下环境进行补光;
测量被测物体的深度,获得深度测量结果;
测量补光灯的功率,获得功率测量结果;
根据所述环境基础照度、所述深度测量结果和所述功率测量结果,计算补光后井下环境的照度值;
判断补光后井下环境的照度值是否为井下环境监测的最优照度值,获得判断结果;
若所述判断结果为否,则调整补光灯的控制参数,利用控制参数调整后的补光灯对井下环境进行补光,返回步骤“测量被测物体的深度,获得深度测量结果”;
若所述判断结果为是,则输出调整后的补光灯的控制参数。
2.根据权利要求1所述的井下环境的照度监控方法,其特征在于,所述测量补光前井下环境的照度值,作为环境基础照度,具体包括:
利用照度计测量补光前井下环境的照度值,作为环境基础照度。
3.根据权利要求1所述的井下环境的照度监控方法,其特征在于,所述测量被测物体的深度,获得深度测量结果,具体包括:
利用立体视觉深度测量方法,采用双目相机、TOF相机和/或结构光相机,测量被测物体的深度,获得深度测量结果。
4.根据权利要求1所述的井下环境的照度监控方法,其特征在于,所述测量补光灯的功率,获得功率测量结果,具体包括:
采用功率计测量补光灯的功率,获得功率测量结果。
6.一种井下环境的照度监控系统,其特征在于,所述照度监控系统包括:
环境基础照度获取模块,用于测量补光前井下环境的照度值,作为环境基础照度;
补光模块,用于利用补光灯对井下环境进行补光;
深度测量模块,用于测量被测物体的深度,获得深度测量结果;
功率测量模块,用于测量补光灯的功率,获得功率测量结果;
补光后井下环境的照度值计算模块,用于根据所述环境基础照度、所述深度测量结果和所述功率测量结果,计算补光后井下环境的照度值;
判断模块,用于判断补光后井下环境的照度值是否为井下环境监测的最优照度值,获得判断结果;
补光灯的控制参数调整模块,用于若所述判断结果为否,则调整补光灯的控制参数,利用控制参数调整后的补光灯对井下环境进行补光,调用深度测量模块,执行步骤“测量被测物体的深度,获得深度测量结果”;
控制参数输出模块,用于若所述判断结果为是,则输出调整后的补光灯的控制参数。
7.根据权利要求6所述的井下环境的照度监控系统,其特征在于,所述环境基础照度获取模块,具体包括:
环境基础照度获取子模块,用于利用照度计测量补光前井下环境的照度值,作为环境基础照度。
8.根据权利要求6所述的井下环境的照度监控系统,其特征在于,所述深度测量模块,具体包括:
深度测量子模块,用于利用立体视觉深度测量方法,采用双目相机、TOF相机和/或结构光相机,测量被测物体的深度,获得深度测量结果。
9.根据权利要求6所述的井下环境的照度监控系统,其特征在于,所述功率测量模块,具体包括:
功率测量子模块,用于采用功率计测量补光灯的功率,获得功率测量结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010993437.5A CN112087605B (zh) | 2020-09-21 | 2020-09-21 | 一种井下环境的照度监控方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010993437.5A CN112087605B (zh) | 2020-09-21 | 2020-09-21 | 一种井下环境的照度监控方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112087605A true CN112087605A (zh) | 2020-12-15 |
CN112087605B CN112087605B (zh) | 2021-06-25 |
Family
ID=73739288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010993437.5A Active CN112087605B (zh) | 2020-09-21 | 2020-09-21 | 一种井下环境的照度监控方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112087605B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040042683A1 (en) * | 2002-08-30 | 2004-03-04 | Toyota Jidosha Kabushiki Kaisha | Imaging device and visual recognition support system employing imaging device |
CN101868967A (zh) * | 2007-11-19 | 2010-10-20 | 富士通株式会社 | 摄像装置、摄像方法以及摄像程序 |
CN103016006A (zh) * | 2012-12-12 | 2013-04-03 | 山西科达自控工程技术有限公司 | 风力除尘的采煤机视频监控装置 |
CN103188483A (zh) * | 2013-03-19 | 2013-07-03 | 常熟市康达电器有限公司 | 矿用本安型无线摄像仪 |
CN108601154A (zh) * | 2018-06-12 | 2018-09-28 | 横店集团得邦照明股份有限公司 | 基于摄像头和深度相机的恒照度室内照明控制器 |
CN208820933U (zh) * | 2018-09-27 | 2019-05-03 | 精英数智科技股份有限公司 | 一种煤矿井下的网络视频监控摄像机 |
-
2020
- 2020-09-21 CN CN202010993437.5A patent/CN112087605B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040042683A1 (en) * | 2002-08-30 | 2004-03-04 | Toyota Jidosha Kabushiki Kaisha | Imaging device and visual recognition support system employing imaging device |
CN101868967A (zh) * | 2007-11-19 | 2010-10-20 | 富士通株式会社 | 摄像装置、摄像方法以及摄像程序 |
CN103016006A (zh) * | 2012-12-12 | 2013-04-03 | 山西科达自控工程技术有限公司 | 风力除尘的采煤机视频监控装置 |
CN103188483A (zh) * | 2013-03-19 | 2013-07-03 | 常熟市康达电器有限公司 | 矿用本安型无线摄像仪 |
CN108601154A (zh) * | 2018-06-12 | 2018-09-28 | 横店集团得邦照明股份有限公司 | 基于摄像头和深度相机的恒照度室内照明控制器 |
CN208820933U (zh) * | 2018-09-27 | 2019-05-03 | 精英数智科技股份有限公司 | 一种煤矿井下的网络视频监控摄像机 |
Also Published As
Publication number | Publication date |
---|---|
CN112087605B (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102604336B1 (ko) | 비행시간 센서를 사용하여 노출 추정을 수행하기 위한 방법들 및 장치들 | |
US8768010B2 (en) | Distance measuring apparatus, distance measuring method, and program | |
CN101690243B (zh) | 摄像装置以及摄像方法 | |
US20170289515A1 (en) | High dynamic range depth generation for 3d imaging systems | |
CN102883107B (zh) | 摄像设备及其控制方法 | |
US6614995B2 (en) | Apparatus and method for compensating auto-focus of image capture device by utilizing red-eye eliminating function | |
US20130021484A1 (en) | Dynamic computation of lens shading | |
US20080211813A1 (en) | Device and Method for Light and Shade Simulation in an Augmented-Reality System | |
BRPI0608981A2 (pt) | cámera digital com sistemas de foco automático por triangulação e métodos relacionados | |
CN101049012A (zh) | 图像拾取设备、曝光控制方法以及安装在图像拾取设备中的计算机程序 | |
US20190098179A1 (en) | Submersible Electronic Devices With Imaging Capabilities | |
CN101292518A (zh) | 防止视频电子设备中的闪烁效应 | |
CN105245786A (zh) | 一种基于智能测光的自拍方法、自拍系统及拍摄终端 | |
CN102404495B (zh) | 数字相机的拍摄参数的调整方法 | |
CN104980647B (zh) | 图像处理装置、摄像装置、判定方法以及驱动方法 | |
CN112040139B (zh) | 一种相机成像的补光方法 | |
EP3381015B1 (en) | Systems and methods for forming three-dimensional models of objects | |
CN100526967C (zh) | 逆光摄影的闪光灯控制系统与方法 | |
CN110456380B (zh) | 飞行时间传感相机及其深度检测方法 | |
CN112087605B (zh) | 一种井下环境的照度监控方法及系统 | |
CN102645160B (zh) | 图像测量设备 | |
CN106257918B (zh) | 摄像设备和光量变化特性的判断方法 | |
CN104869319A (zh) | 影像处理方法及影像处理装置 | |
US10986282B2 (en) | Image pickup apparatus that performs flash shooting suitable for both main subject and background, control method therefor, and light emission control apparatus | |
TW201425885A (zh) | 光源感測裝置及其光源感測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |