CN114821449B - 一种基于注意力机制的车牌图像处理方法 - Google Patents
一种基于注意力机制的车牌图像处理方法 Download PDFInfo
- Publication number
- CN114821449B CN114821449B CN202210731991.5A CN202210731991A CN114821449B CN 114821449 B CN114821449 B CN 114821449B CN 202210731991 A CN202210731991 A CN 202210731991A CN 114821449 B CN114821449 B CN 114821449B
- Authority
- CN
- China
- Prior art keywords
- image
- license plate
- feature
- attention
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域,涉及一种基于注意力机制的车牌图像处理方法,通过使用不同大小的卷积核扩大感受野,并使用实例规范化对特征进行处理,在不受批处理大小影响的情况下重新校准图像特征的均值和方差;在不同阶段之间设计了跨阶段注意力模块,将前后两个阶段的多尺度残差特征融合,能够弥补特征在传输时的损失,同时能够放大更有价值的图像特征,使网络在训练过程中逐渐关注有利于去模糊的特征信息,同时阶段内使用局部注意力机制,辅助网络学习去模糊,改进了能量损失函数,提升网络模型的整体训练效果,在重建清晰的车牌图像方面取得了较好的效果。
Description
技术领域
本发明属于图像处理技术领域,涉及一种基于注意力机制的车牌图像处理方法。
背景技术
车牌图像的去模糊处理是通过算法对车牌图像中存在的模糊去除,属于图像修复任务中的一种,图像修复技术是计算机视觉的底层任务,是图像、视频识别等任务的基础,在计算机视觉领域具有很重要的地位,被广泛应用于交通监控、医学检测和雷达遥感等场景之中。
目前,在对模糊的车牌图像进行修复处理的过程中主要采用基于卷积神经网络的深度学习方法,先通过加深网络层次或者多个网络堆叠,逐步恢复清晰图像,再使用特征提取模块提取图像特征,最后进行网络加深,但是该方法对于不同采样大小的车牌图像没有特殊处理,使用同样的卷积核无法充分提取图像特征信息,而且车牌图像特征在传输的过程中,将会丢失许多信息,不利于恢复清晰的图像,因此,亟需设计一种新型的车牌图像处理方法以克服上述缺陷。
发明内容
本发明的目的在于克服现有技术存在的缺点,设计提供一种基于注意力机制的车牌图像处理方法,用于解决拍摄的车牌图像存在模糊导致后续无法识别的问题,能够有效的实现车牌图像的去模糊处理。
为实现上述目的,本发明实现车牌图像处理的具体过程:
(1)利用相机设备获取车辆行驶和停止状态下包含车辆牌照信息的视频;
(2)按照预设的时间间隔从视频中抽取包含车牌信息的图像子序列,对图片子序列进行特征提取得到的特征维度,组成基于增强多尺度特征和注意力的车牌图像去模糊方法所需的数据集;
(3)构建增强多尺度特征和注意力的车牌图像去模糊网络,利用增强多尺度特征模块提取车牌图像的特征信息,并通过注意力机制放大车牌信息特征的权重;
(4)训练增强多尺度特征和注意力的车牌图像去模糊网络时,将步骤(2)中所得到的数据集中70%作为训练集,10%作为验证集,20%作为测试集;
(5)测试基于增强多尺度特征和注意力的车牌图像去模糊方法时,直接将模糊车牌图像输入网络,利用训练好的权重参数,对模糊车牌图像进行处理,输出去模糊后的车牌图像。
进一步的,步骤(3)将步骤(2)得到的特征维度作为网络模型的输入,采用加入增强多尺度特征提取模块的多阶段卷积神经网络模型作为学习器,学习用于图像去模糊的模糊核,具体包括如下操作:
(32)对于输入特征,采用包含不同大小卷积核的多尺度特征提取模块,充分提取
图像的空间特征,保留更多的图像细节信息;其中,增强的多尺度特征提取模块(Enhanced
Multi Scale Feature,EMSF)由个多尺度残差块构成,先对于输入的图像特征Fin,经过一
个3×3的卷积对特征图像进行处理,然后分别输入到一个3×3的卷积和一个5×5的卷积生
成中间特征图Fmid1和Fmid2,再将Fmid1分为两部分Fmid11和Fmid12,对Fmid11使用实例规范化
(Instance Normal,IN)对其进行规范,然后将得到的Fmid11和Fmid12进行拼接,最后在经过卷
积层和激活层后,与来自Fin的特征进行像素级的相加;
(33)将所有多尺度残差块的输出相加,得到增强多尺度特征提取模块的输出特征
(34)将输入注意力模块,提取车牌图像的注意力特征图,为提高恢复效果,整
个网络由两个多尺度特征提取模块堆叠而成,逐步恢复清晰的车牌图像,相邻阶段间采用
跨阶段注意力模块连接;所使用的跨阶段注意力模块采用局部注意力模块(Local
Attention Module,LAM),对于输入到局部注意力模块的图像特征,先进行3×3的卷积和激
活操作,采用的激活函数为LeakyReLU函数,然后通过池化层(Global Average Pooling,
GAP)将图像特征H×W×C进行每个通道的像素加和求平均得到每个通道的权重参数,再使
用卷积和激活层进一步对特征进行处理,最后使用Sigmoid激活函数,为每个特征通道分配
相应的权重值,通过上述操作得到注意力特征图像,其中包含的低利用价值的特征信息被
分配一个小的权重,对于更有价值的特征信息分配一个更大的权重,网络会逐渐关注有价
值的信息。
进一步的,所述步骤(4)的具体过程为:
(41)数据增广:使用时间和空间维度的数据增广策略,在时间和空间维度上分别对图像进行数据增广,得到增广后的数据;
(42)使用恢复的清晰图像与真实的清晰图像的均方误差作为损失函数:
(43)经过设定次数迭代训练后,保存结果最好的模型参数,作为最终模型训练好的参数,得到训练好的网络模型。
本发明提出增强的多尺度特征提取模块通过使用不同大小的卷积核扩大感受野,并使用实例规范化对特征进行处理,在不受批处理大小影响的情况下重新校准图像特征的均值和方差;在不同阶段之间设计了跨阶段注意力模块,将前后两个阶段的多尺度残差特征融合,能够弥补特征在传输时的损失,同时能够放大更有价值的图像特征,使网络在训练过程中逐渐关注有利于去模糊的特征信息,同时阶段内使用局部注意力机制,辅助网络学习去模糊。
本发明与现有技术相比,利用增强的多尺度特征提取模块,充分提取不同大小分辨率图像所包含的特征信息,同时使用跨阶段注意力机制,减少图像特征的损失,丰富图像的空间特征信息,而且针对多阶段式网络的结构,改进了能量损失函数,提升网络模型的整体训练效果,在重建清晰的车牌图像方面取得了较好的效果。
附图说明
图1为本发明所述车牌图像处理的结构框架示意图。
图2为本发明所述增强的多尺度特征提取模块示意图。
图3为为本发明所述跨阶段注意力模块示意图。
图4为本发明所述车牌图像处理的流程框图。
具体实施方式
下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
实施例:
本实施例进行车牌图像处理采用的网络模型与流程如图1至图4所示,具体包括如下步骤:
(1)视频图片抽帧:
利用相机设备获取车辆行驶和停止状态下包含车辆牌照信息的视频,通过对原始车辆视频抽取出图片序列,作为初始车牌数据形式,抽取时保持原视频图片长宽以及视频帧数不变,根据视频原本的每秒帧数和图像大小,抽取出每个视频的图片序列;
(2)抽取图片子序列:
根据步骤(1)中抽取出的图片序列,将每个不同时间长短的视频分成相同大小的T
个时间序列间隔(segments),T可以是任意合适的大小,通常取8至32,从这些序列间隔中抽
取包含车牌的图片组成图片子序列,并对图片子序列进行特征提取得到的特征维度,其中B是批次维度,表示训练时的批次大小;T为时间维度,表示每个视频
选取的序列间隔的数量;C为特征通道数量;W为特征在空间上的宽度;H为特征在空间上的
高度;
(3)设计并建立去模糊网络:
将步骤(2)得到的图片子序列的特征维度作为网络模型的输入,采用增强多尺度特征提取模块的多阶段卷积神经网络模型作为学习器,学习用于图像去模糊的模糊核;包括如下操作:
(32)对于输入特征,采用包含不同大小卷积核的多尺度特征提取模块,充分提取
图像的空间特征,保留更多的图像细节信息;其中,增强的多尺度特征提取模块(Enhanced
Multi Scale Feature,EMSF)由个多尺度残差块构成,先对于输入的图像特征Fin,经过一
个3×3的卷积对特征图像进行处理,然后分别输入到一个3×3的卷积和一个5×5的卷积生
成中间特征图Fmid1和Fmid2,将Fmid1分为两部分Fmid11和Fmid12,对于Fmid11使用实例规范化
(Instance Normal,IN)对其进行规范,IN层可以在不受批处理大小影响的情况下重新校准
图像特在均值和方差,并且相比于BN层能够保留更多的纹理信息,然后将得到的Fmid11和
Fmid12进行拼接,最后在经过卷积层和激活层后,与来自Fin的特征进行像素级的相加;
(33)将所有多尺度残差块的输出相加,得到增强多尺度特征提取模块的输出特征
(34)将输入跨阶段注意力模块,提取车牌图像的注意力特征图;为提高恢复效
果,整个网络模型由两个阶段堆叠而成,逐步恢复清晰的车牌图像,相邻阶段间采用跨阶段
注意力模块连接;在此网络中使用跨阶段注意力模块为局部注意力模块(Local Attention
Module,LAM)结构如下,对于输入到LAM的图像特征,先进行3×3的卷积和激活操作,在激活
操作中我们采用的激活函数为LeakyReLU函数,然后通过池化层(Global Average
Pooling,GAP)将图像特征H×W×C进行每个通道的像素加和求平均,这样就得到了每个通
道的权重参数。在使用卷积和激活层,进一步对特征进行处理,最后使用Sigmoid激活函数,
为每个特征通道分配相应的权重值,通过以上操作,可以得到注意力特征图像,其中包含的
低利用价值的特征信息被分配一个小的权重,对于更有价值的特征信息分配一个更大的权
重,网络会逐渐关注有价值的信息;
(4)训练去模糊网络:
(41)数据增广:先将图片随机裁剪为256×256大小,然后采取90°、180°、270°旋转图像,以及对图像进行翻转等方式增广训练数据,最终得到一对256×256大小的,新的清晰车牌图像和模糊车牌图像组成的图像对;
(42)训练参数设置:根据网络结构分析实验结果,增强的多尺度残差特征提取模块中,多尺度残差块的数量为 4 且通道数 64 时,网络模型去模糊效果最佳,训练时输入图像批处理大小为 8,使用 Adam 优化器,其参数设置分别为β1=0.9 和β2=0.999,训练共1.5×105次迭代,初始学习率为 1×10-4,每经过 2.5×104次迭代学习率衰减为原来的一半;
(5)测试车牌图像去模糊网络:
将分辨率大小为1280×720的模糊车牌图像输入到训练好的网络模型中,模型输出即为恢复的清晰图像。
需要注意的是,本文中未详细说明的过程均采用现有技术,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。
Claims (1)
1.一种基于注意力机制的车牌图像处理方法,其特征在于,具体过程为:
(1)利用相机设备获取车辆行驶和停止状态下包含车辆牌照信息的视频;
(2)按照预设的时间间隔从视频中抽取包含车牌信息的图像子序列,对图片子序列进行特征提取得到的特征维度,其中B是批次维度,表示训练时的批次大小;T为时间维度,表示每个视频选取的序列间隔的数量;C为特征通道数量;W为特征在空间上的宽度;H为特征在空间上的高度,组成基于增强多尺度特征和注意力的车牌图像去模糊方法所需的数据集;
(3)构建增强多尺度特征和注意力的车牌图像去模糊网络,利用增强多尺度特征模块提取车牌图像的特征信息,并通过注意力机制放大车牌信息特征的权重,具体为:将步 骤(2)得到的特征维度作为网络模型的输入,采用加入增强多尺度特征提取模块的多阶段卷积神经网络模型作为学习器,学习用于图像去模糊的模糊核,具体包括如下操作:
(32)对于输入特征,采用包含不同大小卷积核的多尺度特征提取模块,充分提取图像的空间特征,保留更多的图像细节信息;其中,增强的多尺度特征提取模块由个多尺度残差块构成,先对于输入的图像特征Fin,经过一个3×3的卷积对特征图像进行处理,然后分别输入到一个3×3的卷积和一个5×5的卷积生成中间特征图Fmid1和Fmid2,再将Fmid1分为两部分Fmid11和Fmid12,对Fmid11使用实例规范化对其进行规范,然后将得到的Fmid11和Fmid12进行拼接,最后在经过卷积层和激活层后,与来自Fin的特征进行像素级的相加;
(33)将所有多尺度残差块的输出相加,得到增强多尺度特征提取模块的输出特征
(34)将输入注意力模块,提取车牌图像的注意力特征图,为提高恢复效果,整个网络由两个多尺度特征提取模块堆叠而成,逐步恢复清晰的车牌图像,相邻阶段间采用跨阶段注意力模块连接;所使用的跨阶段注意力模块采用局部注意力模块,对于输入到局部注意力模块的图像特征,先进行3×3的卷积和激活操作,采用的激活函数为LeakyReLU函数,然后通过池化层将图像特征H×W×C进行每个通道的像素加和求平均得到每个通道的权重参数,再使用卷积和激活层进一步对特征进行处理,最后使用Sigmoid激活函数,为每个特征通道分配相应的权重值,通过上述操作得到注意力特征图像,其中包含的低利用价值的特征信息被分配一个小的权重,对于更有价值的特征信息分配一个更大的权重,网络会逐渐关注有价值的信息;
(4)训练增强多尺度特征和注意力的车牌图像去模糊网络时,将步骤(2)中所得到的数据集中,70%作为训练集,10%作为验证集,20%作为测试集;具体过程为:
(41)数据增广:使用时间和空间维度的数据增广策略,在时间和空间维度上分别对图像进行数据增广,得到增广后的数据;
(42)使用恢复的清晰图像与真实的清晰图像的均方误差作为损失函数:
(43)经过设定次数迭代训练后,保存结果最好的模型参数,作为最终模型训练好的参数,得到训练好的网络模型;
(5)测试基于增强多尺度特征和注意力的车牌图像去模糊方法时,直接将模糊车牌图像输入网络,利用训练好的权重参数,对模糊车牌图像进行处理,输出去模糊后的车牌图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210731991.5A CN114821449B (zh) | 2022-06-27 | 2022-06-27 | 一种基于注意力机制的车牌图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210731991.5A CN114821449B (zh) | 2022-06-27 | 2022-06-27 | 一种基于注意力机制的车牌图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114821449A CN114821449A (zh) | 2022-07-29 |
CN114821449B true CN114821449B (zh) | 2022-09-20 |
Family
ID=82520594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210731991.5A Active CN114821449B (zh) | 2022-06-27 | 2022-06-27 | 一种基于注意力机制的车牌图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114821449B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115239602A (zh) * | 2022-09-22 | 2022-10-25 | 松立控股集团股份有限公司 | 一种基于空洞卷积扩大感受野的车牌图像去模糊方法 |
CN116205822B (zh) * | 2023-04-27 | 2023-10-03 | 荣耀终端有限公司 | 一种图像处理的方法、电子设备和计算机可读存储介质 |
CN117975461A (zh) * | 2023-11-24 | 2024-05-03 | 广西科技师范学院 | 基于特征融合与注意力机制的图像分割方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113034404A (zh) * | 2021-04-20 | 2021-06-25 | 北京大学深圳研究生院 | 一种基于多尺度对抗学习的交通图像去模糊方法及装置 |
CN113129237A (zh) * | 2021-04-26 | 2021-07-16 | 广西师范大学 | 基于多尺度融合编码网络的深度图像去模糊方法 |
CN113592736A (zh) * | 2021-07-27 | 2021-11-02 | 温州大学 | 一种基于融合注意力机制的半监督图像去模糊方法 |
CN114202473A (zh) * | 2021-11-23 | 2022-03-18 | 温州大学 | 一种基于多尺度特征和注意力机制的图像复原方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109035149B (zh) * | 2018-03-13 | 2021-07-09 | 杭州电子科技大学 | 一种基于深度学习的车牌图像去运动模糊方法 |
CN109345449B (zh) * | 2018-07-17 | 2020-11-10 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
CN110992270A (zh) * | 2019-12-19 | 2020-04-10 | 西南石油大学 | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 |
CN111709895B (zh) * | 2020-06-17 | 2023-05-16 | 中国科学院微小卫星创新研究院 | 基于注意力机制的图像盲去模糊方法及系统 |
CN112686119B (zh) * | 2020-12-25 | 2022-12-09 | 陕西师范大学 | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 |
CN112801901B (zh) * | 2021-01-21 | 2023-08-18 | 北京交通大学 | 基于分块多尺度卷积神经网络的图像去模糊算法 |
CN112836773B (zh) * | 2021-04-08 | 2022-09-02 | 河海大学 | 一种基于全局注意力残差网络的高光谱图像分类方法 |
CN113808032B (zh) * | 2021-08-04 | 2023-12-15 | 北京交通大学 | 多阶段渐进式的图像去噪算法 |
-
2022
- 2022-06-27 CN CN202210731991.5A patent/CN114821449B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113034404A (zh) * | 2021-04-20 | 2021-06-25 | 北京大学深圳研究生院 | 一种基于多尺度对抗学习的交通图像去模糊方法及装置 |
CN113129237A (zh) * | 2021-04-26 | 2021-07-16 | 广西师范大学 | 基于多尺度融合编码网络的深度图像去模糊方法 |
CN113592736A (zh) * | 2021-07-27 | 2021-11-02 | 温州大学 | 一种基于融合注意力机制的半监督图像去模糊方法 |
CN114202473A (zh) * | 2021-11-23 | 2022-03-18 | 温州大学 | 一种基于多尺度特征和注意力机制的图像复原方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114821449A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114821449B (zh) | 一种基于注意力机制的车牌图像处理方法 | |
Tian et al. | Deep learning on image denoising: An overview | |
CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
CN109035149B (zh) | 一种基于深度学习的车牌图像去运动模糊方法 | |
CN112102177B (zh) | 基于压缩与激励机制神经网络的图像去模糊方法 | |
CN102208100B (zh) | 基于Split Bregman 迭代的全变差正则化图像盲复原方法 | |
CN109993712A (zh) | 图像处理模型的训练方法、图像处理方法及相关设备 | |
CN114708170A (zh) | 一种基于增强多尺度特征的车牌图像去模糊方法 | |
CN110189260B (zh) | 一种基于多尺度并行门控神经网络的图像降噪方法 | |
CN110930327B (zh) | 基于级联深度残差网络的视频去噪方法 | |
CN111652812A (zh) | 基于选择性注意力机制的图像去雾和去雨算法 | |
CN112164011A (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
CN113962878B (zh) | 一种低能见度图像去雾模型方法 | |
CN112991199B (zh) | 一种基于残差密集网络的图像高低频分解噪声去除方法 | |
CN115239602A (zh) | 一种基于空洞卷积扩大感受野的车牌图像去模糊方法 | |
CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
CN114463218A (zh) | 一种基于事件数据驱动的视频去模糊方法 | |
CN114596233A (zh) | 基于注意引导和多尺度特征融合的低照度图像增强方法 | |
CN113888426A (zh) | 一种基于深度可分离残差网络的电力监控视频去模糊方法 | |
CN113034404A (zh) | 一种基于多尺度对抗学习的交通图像去模糊方法及装置 | |
CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
CN117422653A (zh) | 一种基于权重共享和迭代数据优化的低光照图像增强方法 | |
CN118365543A (zh) | 一种基于改进EnlightenGAN的裂缝图像阴影去除方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |