CN108010050A - 一种基于自适应背景更新和选择性背景更新的前景检测方法 - Google Patents
一种基于自适应背景更新和选择性背景更新的前景检测方法 Download PDFInfo
- Publication number
- CN108010050A CN108010050A CN201711206045.4A CN201711206045A CN108010050A CN 108010050 A CN108010050 A CN 108010050A CN 201711206045 A CN201711206045 A CN 201711206045A CN 108010050 A CN108010050 A CN 108010050A
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- foreground
- gray
- scale map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000010606 normalization Methods 0.000 claims abstract description 9
- 238000011282 treatment Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- XWPCYYOZOJKYKQ-UHFFFAOYSA-N 1-(2-chloroethyl)-3-[2-[2-[[2-chloroethyl(nitroso)carbamoyl]amino]ethyldisulfanyl]ethyl]-1-nitrosourea Chemical compound ClCCN(N=O)C(=O)NCCSSCCNC(=O)N(N=O)CCCl XWPCYYOZOJKYKQ-UHFFFAOYSA-N 0.000 claims description 4
- 230000003068 static effect Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 5
- 206010047571 Visual impairment Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000002679 ablation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
Abstract
本发明公开了一种基于自适应背景更新和选择性背景更新的前景检测方法,属于图像处理技术领域。本发明首先将待检测的视频流的图像帧转换为灰度图及HLS图;若当前图像帧为视频流的首帧,则将其灰度图作为背景模型;对非首帧的图像帧,若图像帧数不超过阈值,若是,则不断的基于当前帧的灰度图对背景模型进行更新,直到图像帧数超过阈值;超过阈值时,则进入前景图像检测处理步骤:基于背景模型和当前帧的灰度图得到第一前景图像,再采用帧差法获取第二前景图像,对两者取并集得到第三前景图像,以及通过颜色标准化相关系数,对第三前景图像进行处理,从而得到像素级的前景目标。本发明对运动、静止目标的检测效果好,且具有较好的鲁棒性。
Description
技术领域
本发明属于图像处理技术领域,主要涉及前景目标检测领域。
背景技术
前景检测作为智能视频监控的一个重要组成部分,近年来得到广泛的关注。前景检测的性能对目标分类、目标追踪以及行为理解等后续处理来说至关重要。其已经成为研究机构重点研究的方向之一。近几年里已经提出了不少有效的方法,虽然检测速度快,背景建模简单,但是在目标残留现象严重,尤其针对运动速度较慢和静止目标的检测效果不尽如人意。
例如Barnich O,Van Droogenbroeck M在“ViBe-a powerful technique forbackground detection and subtraction in video sequences”中提出的一种被称为视觉背景抽取ViBe方法,该背景建模方法由于其简单,速度快等优点受到了越来越多的重视。但由于算法本身考虑了背景中Ghost区域的消融,完全无法对运动速度过慢以及静止目标的有效检测。
发明内容
本发明的发明目的在于:针对上述存在的问题,提供一种能有效监测视频帧图像的静止、运动目标的前景检测方法。
本发明的基于自适应背景更新和选择性背景更新的前景检测方法,包括下列步骤:
对待检测的视频流的图像帧进行图像转换处理,转换为灰度图和HLS颜色空间的HLS图像;
若当前图像帧为视频流的首帧,则将首帧的灰度图作为背景模型MODEL;对非首帧的图像帧,若图像帧帧数小于或等于预设阈值,则基于当前帧的灰度图对背景模型MODEL进行更新处理:MODE=k*MODE+(1-k)*GAY,其中GAY表示当前帧的灰度图;若图像帧帧数大于预设阈值,则执行前景检测处理,k的取值范围为(0,1);优选取值范围为0.85~0.95,优选值为0.95。
前景检测处理:
将当前帧的灰度图与背景模型MODEL做差,并进行二值化处理及二值化修补处理,得到前景图像FORE1;
将当前帧的灰度图与上一帧的灰度图做差,得到帧差图像,并对所述帧差图像进行二值化处理及形态学处理,得到前景图像FORE2;
对前景图像FORE1和FORE2取并集,得到前景图像FORE3,并对前景图像FORE3进行形态学处理的膨胀操作,得到背景更新掩膜;
根据所述背景更新掩膜对背景模型MODEL进行更新处理:在背景更新掩膜所在的图像区域内,根据公式MODEL=k*MODEL+(1-k)*GAY更新背景模型MODEL,其中GAY表示背景更新掩膜所在的图像区域的灰度;
在当前帧的HLS图像中,计算背景更新掩膜所对应的图像区域的颜色标准化相关系数掩膜,对得到的颜色标准化相关系数掩膜进行二值化处理,得到二值化CNCC掩膜;
根据FORE4=FORE3‐FORE3∩CNCC得到前景图像FORE4,并对前景图像FORE4进行形态学处理,得到当前帧的最终前景图像。
由于采用了上述技术方案,本发明的有益效果是:本发明结合帧差法与自适应背景学习算法,取长补短,因而使得检测所得到的前景图像的完整性好;通过提出背景更新模型,对静止目标的检测率高,且并不影响对运动目标的检测;加入颜色标准化相关系数,消除了目标自身的阴影影响及帧差法和自适应背景学习带来的负面影响,获得更为准确的前景图像。故本发明对运动的目标以及静止的目标都有良好的效果,对阴影、场景光线变化、相机抖动、树木晃动等外界干扰有较好的鲁棒性。
附图说明
图1是具体实施方式的处理流程图。
图2是运行结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面结合实施方式和附图,对本发明作进一步地详细描述。
本发明的基于自适应背景更新和选择性背景更新的前景检测方法,首先通过图像采集装置(如摄像头)采集视频流,并对视频图像进行预处理:将图像转化为灰度图和HLS(Hue、Lightness、Saturation))图像;然后将输入的第一帧图像的灰度图作为背景模型。当输入图像帧数小于阈值(本具体实施方式中,设置阈值的优选值为90)前,不断地进行背景模型的更新。当传入图片帧数大于阈值后,则进入检测模块,利用背景模型和当前帧的灰度图得到初步的前景图像,同时使用帧差法获得另一幅前景图像。对背景建模所得到的前景图像进行一系列处理后,再和帧差法所得前景图像合并。对合并后的前景图像进行形态学处理(膨胀)得到背景更新掩膜,选择性的更新背景。通过颜色标准化相关系数,对合并后的前景图像处理,去除阴影以及帧差法留下来的上一帧图像残影对前景的影响。至此,可以得到像素级的前景目标。本发明结合帧差法和自适应背景学习算法,使检测到的前景图像更加完整;基于所提出的背景更新模型(有选择的选取背景更新区域),达到很好的检测到运动速度过慢以及静止的目标的效果,以及加入颜色标准化相关系数(color-normolized-cross-correlation)来获得更为准确的前景目标位置。参见图1,其具体实现步骤如下:
步骤1、通过图像采集装置获取视频流,并将视频图像转化为灰度图,以及将视频图像转换到HLS颜色空间,得到HLS图像。
步骤2、判断帧数,若为第一帧,则初始化背景模型MODE;若帧数小于等于门限NUMS,则使用步骤1中得到的灰度图对初始化的背景模型进行更新,采用逐像素更新方式进行更新:MODEL=k*MODEL+(1-k)*GAY,其中k=0.95,GAY表示步骤1中得到的灰度图;若帧数大于门限NUMS,则进入步骤3。
步骤3、使用步骤1中当前帧的灰度图与背景模型MODE做差,选取全局阈值得到二值化图像,并对该二值化图像进行修补处理,得到初步处理后的前景图像,记为前景图像FORE1,进入步骤4。
其中二值化图像修改处理包括:使用孔洞填充、腐蚀(图像形态学处理,进行腐蚀操作时,将定义的内核滑过图像,将内核覆盖区域的最小像素值提取,并代替锚点位置的像素)、膨胀(图像形态学处理,进行膨胀操作时,将定义的内核滑过图像,将内核覆盖区域的最大像素值提取,并代替锚点位置的像素)。
步骤4、将当前帧的灰度图与上一帧的灰度图做差,取得帧差图像,同样对其进行二值化以及图像形态学处理,得到前景图像FORE2,并进入步骤5。
步骤5、对前景图像FORE1和FORE2取并集,得到前景图像FORE3,并进入步骤6。
步骤6、对前景图像FORE3进行膨胀操作,得到背景更新掩膜,进入步骤7。
步骤7、在背景更新掩膜所在的图像区域内,根据公式(MODEL=k*MODEL+(1-k)*GAY,k取0.95)更新背景模型MODEL,其中GAY表示对背景更新掩膜所在的图像区域的灰度;然后基于更新后的背景模型MODEL进入步骤8。
步骤8、根据前景图像FORE3和步骤1中的HLS图像,计算步骤6中背景更新掩膜所对应区域的颜色标准化相关系数,得到颜色相关系数掩膜,进入步骤9。
步骤9、对得到的颜色相关系数掩膜进行二值化处理,得到二值化颜色相关系数掩膜,并用前景图像FORE3减去二值化颜色相关系数掩膜与FORE3的交集,得到前景图像FORE4,进入步骤10。
步骤10、对前景图像FORE4进行形态学处理,得到最终的前景图像FORE。
图2给出了对6幅不同帧的帧图像进行本发明的自适应背景更新和选择性背景更新的前景检测方法的运行结果示意图。在实际检测中,本发明的检测方法的检测速度约为25FPS,能满足实时性要求;同时相机抖动、场景变化以及树木晃动等干扰因素对检测效果影响较小,可见其具有较高的鲁棒性,实时性。
以上所述,仅为本发明的具体实施方式,本说明书中所公开的任一特征,除非特别叙述,均可被其他等效或具有类似目的的替代特征加以替换;所公开的所有特征、或所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以任何方式组合。
Claims (3)
1.一种基于自适应背景更新和选择性背景更新的前景检测方法,其特征在于,包括下列步骤:
对待检测的视频流的图像帧进行图像转换处理,转换为灰度图和HLS颜色空间的HLS图像;
若当前图像帧为视频流的首帧,则将首帧的灰度图作为背景模型MODEL;对非首帧的图像帧,若图像帧帧数小于或等于预设阈值,则基于当前帧的灰度图对背景模型MODEL进行更新处理:MODE=k*MODE+(1-k)*GAY,其中GAY表示当前帧的灰度图;若图像帧帧数大于预设阈值,则执行前景检测处理,k的取值范围为(0,1);
前景检测处理:
将当前帧的灰度图与背景模型MODEL做差,并进行二值化处理及二值化修补处理,得到前景图像FORE1;
将当前帧的灰度图与上一帧的灰度图做差,得到帧差图像,并对所述帧差图像进行二值化处理及形态学处理,得到前景图像FORE2;
对前景图像FORE1和FORE2取并集,得到前景图像FORE3,并对前景图像FORE3进行形态学处理的膨胀操作,得到背景更新掩膜;
根据所述背景更新掩膜对背景模型MODEL进行更新处理:在背景更新掩膜所在的图像区域内,根据公式MODEL=k*MODEL+(1-k)*GAY更新背景模型MODEL,其中GAY表示背景更新掩膜所在的图像区域的灰度;
在当前帧的HLS图像中,计算背景更新掩膜所对应的图像区域的颜色标准化相关系数掩膜,对得到的颜色标准化相关系数掩膜进行二值化处理,得到二值化CNCC掩膜;
根据FORE4=FORE3‐FORE3∩CNCC得到前景图像FORE4,并对前景图像FORE4进行形态学处理,得到当前帧的最终前景图像。
2.如权利要求1所述的基于自适应背景更新和选择性背景更新的前景检测方法,其特征在于,图像帧帧数的阈值为90。
3.如权利要求1所述的基于自适应背景更新和选择性背景更新的前景检测方法,其特征在于,k的优选取值范围为[0.85,0.95]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711206045.4A CN108010050B (zh) | 2017-11-27 | 2017-11-27 | 一种基于自适应背景更新和选择性背景更新的前景检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711206045.4A CN108010050B (zh) | 2017-11-27 | 2017-11-27 | 一种基于自适应背景更新和选择性背景更新的前景检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108010050A true CN108010050A (zh) | 2018-05-08 |
CN108010050B CN108010050B (zh) | 2022-01-25 |
Family
ID=62053811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711206045.4A Active CN108010050B (zh) | 2017-11-27 | 2017-11-27 | 一种基于自适应背景更新和选择性背景更新的前景检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108010050B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112752110A (zh) * | 2020-08-14 | 2021-05-04 | 腾讯科技(深圳)有限公司 | 视频呈现方法及装置、计算设备、存储介质 |
CN113011216A (zh) * | 2019-12-19 | 2021-06-22 | 合肥君正科技有限公司 | 一种多分类阈值自适应的遮挡检测方法 |
CN116758081A (zh) * | 2023-08-18 | 2023-09-15 | 安徽乾劲企业管理有限公司 | 一种无人机道路桥梁巡检图像处理方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020122570A1 (en) * | 2000-09-06 | 2002-09-05 | Nikos Paragios | Real-time crowd density estimation from video |
CN101017573A (zh) * | 2007-02-09 | 2007-08-15 | 南京大学 | 一种基于视频监控的运动目标检测与识别方法 |
US20070195993A1 (en) * | 2006-02-22 | 2007-08-23 | Chao-Ho Chen | Method for video object segmentation |
CN101621615A (zh) * | 2009-07-24 | 2010-01-06 | 南京邮电大学 | 一种自适应背景建模及运动目标检测方法 |
CN102136148A (zh) * | 2011-03-24 | 2011-07-27 | 福州大学 | 基于像素序列形态的适应性背景重构方法 |
CN102222214A (zh) * | 2011-05-09 | 2011-10-19 | 苏州易斯康信息科技有限公司 | 快速物体识别算法 |
CN102222346A (zh) * | 2011-05-23 | 2011-10-19 | 北京云加速信息技术有限公司 | 一种车辆检测和跟踪方法 |
US20130266185A1 (en) * | 2012-04-06 | 2013-10-10 | Xerox Corporation | Video-based system and method for detecting exclusion zone infractions |
CN106204643A (zh) * | 2016-07-01 | 2016-12-07 | 湖南源信光电科技有限公司 | 基于多特征联合与Mean Shift算法的多目标跟踪方法 |
CN106204646A (zh) * | 2016-07-01 | 2016-12-07 | 湖南源信光电科技有限公司 | 基于bp神经网络的多运动目标跟踪方法 |
CN107025652A (zh) * | 2017-05-05 | 2017-08-08 | 太原理工大学 | 一种基于运动特性和颜色时空信息的火焰检测方法 |
-
2017
- 2017-11-27 CN CN201711206045.4A patent/CN108010050B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020122570A1 (en) * | 2000-09-06 | 2002-09-05 | Nikos Paragios | Real-time crowd density estimation from video |
US20070195993A1 (en) * | 2006-02-22 | 2007-08-23 | Chao-Ho Chen | Method for video object segmentation |
CN101017573A (zh) * | 2007-02-09 | 2007-08-15 | 南京大学 | 一种基于视频监控的运动目标检测与识别方法 |
CN101621615A (zh) * | 2009-07-24 | 2010-01-06 | 南京邮电大学 | 一种自适应背景建模及运动目标检测方法 |
CN102136148A (zh) * | 2011-03-24 | 2011-07-27 | 福州大学 | 基于像素序列形态的适应性背景重构方法 |
CN102222214A (zh) * | 2011-05-09 | 2011-10-19 | 苏州易斯康信息科技有限公司 | 快速物体识别算法 |
CN102222346A (zh) * | 2011-05-23 | 2011-10-19 | 北京云加速信息技术有限公司 | 一种车辆检测和跟踪方法 |
US20130266185A1 (en) * | 2012-04-06 | 2013-10-10 | Xerox Corporation | Video-based system and method for detecting exclusion zone infractions |
CN106204643A (zh) * | 2016-07-01 | 2016-12-07 | 湖南源信光电科技有限公司 | 基于多特征联合与Mean Shift算法的多目标跟踪方法 |
CN106204646A (zh) * | 2016-07-01 | 2016-12-07 | 湖南源信光电科技有限公司 | 基于bp神经网络的多运动目标跟踪方法 |
CN107025652A (zh) * | 2017-05-05 | 2017-08-08 | 太原理工大学 | 一种基于运动特性和颜色时空信息的火焰检测方法 |
Non-Patent Citations (5)
Title |
---|
DANIEL GREST等: "A Color Similarity Measure for Robust Shadow Removal in Real-Time", 《VISION, MODELING, AND VISUALIZATION CONFERENCE》 * |
XIAOFENG LU等: "Moving vehicle detection based on fuzzy background subtraction", 《2014 IEEE INTERNATIONAL CONFERENCE ON FUZZY SYSTEMS (FUZZ-IEEE)》 * |
王静静等: "基于灰度相关的帧间差分和背景差分相融合的实时目标检测", 《中南大学学报(自然科学版)》 * |
葛海淼等: "基于帧差法和反馈背景更新相结合的改进背景更新算法的研究", 《模式识别与仿真》 * |
高凯亮等: "一种基于帧差法与背景减法的运动目标检测新方法", 《电讯技术》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113011216A (zh) * | 2019-12-19 | 2021-06-22 | 合肥君正科技有限公司 | 一种多分类阈值自适应的遮挡检测方法 |
CN113011216B (zh) * | 2019-12-19 | 2024-04-02 | 合肥君正科技有限公司 | 一种多分类阈值自适应的遮挡检测方法 |
CN112752110A (zh) * | 2020-08-14 | 2021-05-04 | 腾讯科技(深圳)有限公司 | 视频呈现方法及装置、计算设备、存储介质 |
CN116758081A (zh) * | 2023-08-18 | 2023-09-15 | 安徽乾劲企业管理有限公司 | 一种无人机道路桥梁巡检图像处理方法 |
CN116758081B (zh) * | 2023-08-18 | 2023-11-17 | 安徽乾劲企业管理有限公司 | 一种无人机道路桥梁巡检图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108010050B (zh) | 2022-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107016691B (zh) | 基于超像素特征的运动目标检测方法 | |
KR20210139450A (ko) | 이미지 디스플레이 방법 및 디바이스 | |
Yi et al. | Moving object detection based on running average background and temporal difference | |
CN104700430A (zh) | 机载显示器的运动检测方法 | |
EP3798975B1 (en) | Method and apparatus for detecting subject, electronic device, and computer readable storage medium | |
CN106846359A (zh) | 基于视频序列的运动目标快速检测方法 | |
US9390511B2 (en) | Temporally coherent segmentation of RGBt volumes with aid of noisy or incomplete auxiliary data | |
CN111723644A (zh) | 一种监控视频遮挡检测方法及系统 | |
Vosters et al. | Background subtraction under sudden illumination changes | |
CN106534677A (zh) | 一种图像过曝优化方法及装置 | |
CN108010050A (zh) | 一种基于自适应背景更新和选择性背景更新的前景检测方法 | |
CN107563985A (zh) | 一种红外图像空中运动目标的检测方法 | |
CN107346547A (zh) | 基于单目平台的实时前景提取方法及装置 | |
CN110599516A (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
Kim et al. | A novel framework for extremely low-light video enhancement | |
CN112561946A (zh) | 一种动态目标检测方法 | |
Iwamoto et al. | Fast dark channel prior based haze removal from a single image | |
CN115883755A (zh) | 一种多类型场景下多曝光图像融合方法 | |
CN109658441B (zh) | 基于深度信息的前景检测方法及装置 | |
CN107123132A (zh) | 一种统计背景模型的运动目标检测方法 | |
JP2019160299A5 (zh) | ||
CN107292910A (zh) | 一种基于像素建模的移动相机下运动目标检测方法 | |
Kim et al. | Background subtraction using generalised Gaussian family model | |
CN116563327A (zh) | 基于箱线图的动态场景背景建模方法 | |
JP5822739B2 (ja) | 画像処理装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |