CN118396830B - 一种无非线性水印攻击系统 - Google Patents
一种无非线性水印攻击系统 Download PDFInfo
- Publication number
- CN118396830B CN118396830B CN202410851622.9A CN202410851622A CN118396830B CN 118396830 B CN118396830 B CN 118396830B CN 202410851622 A CN202410851622 A CN 202410851622A CN 118396830 B CN118396830 B CN 118396830B
- Authority
- CN
- China
- Prior art keywords
- nonlinear
- linear
- watermark
- attack
- watermark attack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开一种无非线性水印攻击系统,涉及数字水印技术领域,包括以下步骤:采用经典的U‑Net架构和跳跃连接,同时使用融入通道注意力的残差网络对RGB图像进行水印攻击任务;在非线性水印攻击网络、残差网络和通道注意力中均使用无非线性残差块,进行非线性的去除处理;无非线性残差块,接收输入特征图,并通过一系列的卷积操作提取特征,卷积层用于进行卷积操作;转置卷积用于进行上采样操作。本发明在水印攻击能力和水印攻击不可感知性两方面表现上均优越于现有的水印攻击方法。
Description
技术领域
本发明涉及数字水印技术领域,具体地讲,涉及一种无非线性水印攻击系统。
背景技术
数字水印技术是一种可以将隐藏的信息嵌入到数字媒体中的技术。其目的是为了保护数字媒体的版权和完整性,以防止非法复制和篡改,广泛应用于版权保护、身份验证、数字完整性检查等领域。数字水印技术和水印攻击技术有着密切的关系,水印攻击技术是指对数字媒体所嵌入的水印信息进行攻击的各种方法和技术。
事物的发展总是辩证的,数字水印技术和水印攻击技术是相辅相成的,数字水印技术想要不断优化需要面对更有效的水印攻击技术的挑战。鲁棒的水印算法需要在不断的历练中成型,倘若没有有效的水印攻击算法对水印算法进行磨砺,将导致水印算法的发展停滞不前。因此发展水印攻击算法是来完善数字水印鲁棒性测试工具十分必要的。
发明内容
本发明要解决的技术问题是提供一种无非线性水印攻击系统,在水印攻击能力和水印攻击不可感知性两方面表现上均优越于现有的水印攻击方法。
本发明采用如下技术方案实现发明目的:
一种无非线性水印攻击系统,其特征在于,包括以下步骤:
采用经典的U-Net架构和跳跃连接,同时使用融入通道注意力的残差网络对RGB图像进行水印攻击任务;
在非线性水印攻击网络、残差网络和通道注意力中均使用无非线性残差块,进行非线性的去除处理;
无非线性残差块,接收输入特征图,并通过一系列的卷积操作提取特征,卷积层用于进行卷积操作;转置卷积用于进行上采样操作,非线性水印攻击网络使用了这两个层来进行特征图的下采样和上采样;
采用GeLU,并且对GeLU进行非线性的去除,有效解决的训练过程中的梯度消失问题,增强了神经元的感知能力,提高了对输入数据的表达能力;
无非线性残差块内引入注意力机制,并且对通道注意力机制进行了进一步优化,提出一种简化的不含有非线性的通道注意力。
作为本技术方案的进一步限定,无非线性残差块使用门控线性单元进行非线性去除工作;
GLU是一种常用的神经网络模块,结合线性变换和门控函数,定义为:
(1);
其中:表示特征映射;
和是线性变换器;
是一个非线性激活函数
表示逐元素乘法。
作为本技术方案的进一步限定,非线性激活函数可表示为:
(2);
其中:表示标准正态分布的积累分布函数;
GELU可以通过以下方式进行近似实现:
(3);
根据式(1)和式(2),发现GELU是GLU的一种特殊情况,即和是恒等函数,将看作,由于这种相似性的存在,将GLU视为激活函数用于水印攻击领域,并且GLU本身包含非线性,并不依赖于,即便移除,GLU依然不包含非线性,因此对GELU进行简化,提出无非线性GeLU;
直接在通道维度上将特征映射分成两部分并相乘,SimpleGate通过逐元素乘法来实现,具体公式如下所示:
(4);
其中:和是相同大小的特征图,通过将GELU简化为SimpleGate,水印攻击综合能力显著提升。
作为本技术方案的进一步限定,通道注意力首先对输入特征进行全局平均池化操作,随后将全局平均池化后的特征传递给两个线性层和ReLU,用于进行特征压缩和映射,最后将特征映射后的结果输入到Sigmoid函数中,得到通道注意力权重,过将计算得到的通道注意力权重与输入特征进行逐元素相乘,实现对输入特征的加权,使用公式表示为:
(5);
其中:表示特征图;
表示将空间信息居合道通道中的全局平均池化操作;
是一个非线性激活函数Sigmoid;
和表示全连接层;
倘若将通道注意力机制看成一个函数,则式(5)简化为:
(6);
将看作,保留通道注意力中较为重要的部分,提出简化通道注意力机制具体公式如下所示:
(7)。
与现有技术相比,本发明的优点和积极效果是:本系统结合了U-Net结构、无非线性通道注意力机制、跳跃连接、无非线性残差网络、卷积和无非线性GeLU激活函数构造了一个无非线性水印攻击网络,在水印攻击能力和水印攻击不可感知性两方面表现上均优越于现有的水印攻击方法。
附图说明
图1为本发明的系统结构图。
图2为本发明的无非线性残差块。
图3为本发明的无非线性GeLU激活函数。
图4为本发明的注意力机制简化对比图。
具体实施方式
下面结合附图,对本发明的一个具体实施方式进行详细描述,但应当理解本发明的保护范围并不受具体实施方式的限制。
本发明包括以下步骤:
采用经典的U-Net架构和跳跃连接,同时使用融入通道注意力的残差网络对RGB图像进行水印攻击任务;U-Net架构不会对网络性能造成阻碍。
在非线性水印攻击网络、残差网络和通道注意力中均使用无非线性残差块,进行非线性的去除处理,获得了更高的水印攻击效果;
无非线性残差块,接收输入特征图,并通过一系列的卷积操作提取特征,卷积层用于进行卷积操作;转置卷积用于进行上采样操作,非线性水印攻击网络使用了这两个层来进行特征图的下采样和上采样;
ReLU激活函数在计算机视觉中被广泛使用,然而目前最先行的一些视觉修复方法倾向于使用GeLU将ReLU替换掉,所以本算法中没有采用ReLU作为激活函数,而是采用GeLU(非线性激活函数),并且对GeLU进行非线性的去除,有效解决的训练过程中的梯度消失问题,增强了神经元的感知能力,提高了对输入数据的表达能力;最终,无非线性GeLU的引入使得非线性水印攻击网络在保持水印攻击能力的同时,获得了更高的不可感知性;
考虑到计算机视觉中Transformer的近期流行,无非线性残差块内引入注意力机制,并且对通道注意力机制进行了进一步优化,提出一种简化的不含有非线性的通道注意力,该注意力机制在水印攻击工作中可以用于增强模型对输入特征的关注,从而提取更有代表性的特征。
无非线性残差块使用门控线性单元进行非线性去除工作;
GLU(Gated Linear Units,门控线性单元)的提出源于Transformer模型中的一种结构设计,是一种常用的神经网络模块,被广泛应用在自然语言处理、计算机视觉等领域。它结合线性变换和门控函数,可有效地提取序列中的重要特征信息,防止过拟合现象的发生。GLU在一些计算机视觉领域的广泛应用,这意味着GLU也许能够应用于水印攻击领域。可定义为:
(1);
其中:表示特征映射;
和是线性变换器;
是一个非线性激活函数
表示逐元素乘法。
非线性激活函数可表示为:
(2);
其中:表示标准正态分布的积累分布函数;
GELU可以通过以下方式进行近似实现:
(3);
根据式(1)和式(2),可发现GELU是GLU的一种特殊情况,即和是恒等函数,将看作,由于这种相似性的存在,可将GLU视为激活函数用于水印攻击领域,并且GLU本身包含非线性,并不依赖于,即便移除,GLU依然不包含非线性,因此对GELU进行简化,提出无非线性GeLU;
直接在通道维度上将特征映射分成两部分并相乘,于GELU相比,SimpleGate通过逐元素乘法来实现,不会给网络结构带来更多的复杂度,并且保证了网络的水印攻击能力和不可感知性,具体公式如下所示:
(4);
其中:和是相同大小的特征图,通过将GELU简化为SimpleGate,水印攻击综合能力显著提升。
简化了GELU,使用SimpleGate代替GELU在水印攻击工作中的作用,并且取得了不错的攻击表现。但是在通道注意力模块中的非线性依然存在,接下来我们将讨论它的简化。
将CA(通道注意力)运用到水印攻击任务当中有利于引导模型学习含水印图像的关键特征,提高水印攻击的性能。如图4所示,通道注意力首先对输入特征进行全局平均池化操作,随后将全局平均池化后的特征传递给两个线性层和ReLU,用于进行特征压缩和映射,最后将特征映射后的结果输入到Sigmoid函数中,得到通道注意力权重,过将计算得到的通道注意力权重与输入特征进行逐元素相乘,实现对输入特征的加权,使用公式可以表示为:
(5);
其中:表示特征图;
表示将空间信息居合道通道中的全局平均池化操作;
是一个非线性激活函数Sigmoid;
和表示全连接层;
倘若将通道注意力机制看成一个函数,则式(5)可简化为:
(6);
将看作,保留通道注意力中较为重要的部分,提出简化通道注意力机制具体公式如下所示:
(7)。
将式(7)运用到了无非线性残块中,实现无非线性水印攻击系统。
深度学习攻击的比较:
表1 BG和NNLG与深度学习水印攻击方法的比较
实验结果表明无非线性水印攻击系统在不可感知性方面表现出色。PSNR达到了37.3380,均高于其他深度学习水印攻击方法的数值结果。能够做到更加难以察觉的水印攻击。
此外,在水印攻击效果方面,本系统的BER则达到了0.3205,远高于其他方法,在水印攻击效果上具有显著的优势。
跨数据集攻击效果比较
表2 SIDD数据集上的攻击效果比较
表3 ImageNet数据集上的攻击效果比较
为了更全面地评估,进行跨数据集的攻击 效果比较,使用了SIDD数据集和ImageNet数据集。
根据表2的结果,在SIDD数据集上分别使用传统水印攻击方法以及本系统进行了水印攻击任务。本系统仍然优于绝大多数传统水印攻击方法,并且在SIDD数据集上保持了38.5737的PSNR值,有效保证了攻击后含水印图像的实用价值。表3展示了在ImageNet数据集上的攻击效果实验结果。本系统在攻击效果方面略高于在SIDD数据集上的表现,BER分别达到了0.2244。同时,它们仍然具有比传统攻击方法更高的不可感知性,PSNR达到了37.6686。
综上所述,本系统在不同的数据集上均具有高不可感知性和不错的攻击效果。这进一步证明了无非线性水印攻击网络的攻击能力和适用性。
本发明的处理流程如下:
输入为含水印图像
经过卷积操作对输入进行特征提取,
无非线性残差快实现了无非线性残差网络和无非线性通道注意力机制的融合,用于学习输入特征的高级表示。
下采样操作有助于减少特征图的尺寸,对输入图像进行降维,并提取出更丰富的特征信息。
通过无非线性GeLU定义了一个简单的神经网络门的类。这个门的功能是将输入的张量分成两部分,然后将这两部分相乘,最后返回结果。通过构建这样的简单门模型,可以实现对输入数据的拆分和操作,从而使得攻击比较简单地直接对水印进行篡改或破坏。
转置卷积的作用是上采样,它将输入特征图的尺寸扩大。在水印攻击任务中,这段转置卷积的作用可能是为了将特征图的尺寸恢复到原始大小,并且减少通道数。这样做的目的是在水印攻击中提取更准确和更精细的特征。
随后通过几个卷积操作进行通道缩减。
为了减少信息丢失,在其中穿插了两个跳跃连接。
最后将神经网络的输出与输入进行结合,即将上采样后的特征图与原始输入图像相加,以保留输入图像的一些细节信息。这有助于改善水印攻击的质量,使得更加清晰和真实。
以上公开的仅为本发明的具体实施例,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (1)
1.一种无非线性水印攻击系统,其特征在于,包括:
采用经典的U-Net架构和跳跃连接,同时使用融入通道注意力的残差网络对RGB图像进行水印攻击任务;
在非线性水印攻击网络、残差网络和通道注意力中均使用无非线性残差块,进行非线性的去除处理;
无非线性残差块,接收输入特征图,并通过一系列的卷积操作提取特征,卷积层用于进行卷积操作;转置卷积用于进行上采样操作,非线性水印攻击网络使用了这两个层来进行特征图的下采样和上采样;
采用GeLU,并且对GeLU进行非线性的去除,有效解决的训练过程中的梯度消失问题,增强了神经元的感知能力,提高了对输入数据的表达能力;
无非线性残差块内引入注意力机制,并且对通道注意力机制进行了进一步优化,提出一种简化的不含有非线性的通道注意力;
无非线性残差块使用门控线性单元进行非线性去除工作;
GLU是一种常用的神经网络模块,结合线性变换和门控函数,定义为:
(1);
其中:表示特征映射;
和是线性变换器;
是一个非线性激活函数
表示逐元素乘法;
通道注意力首先对输入特征进行全局平均池化操作,随后将全局平均池化后的特征传递给两个线性层和ReLU,用于进行特征压缩和映射,最后将特征映射后的结果输入到Sigmoid函数中,得到通道注意力权重,过将计算得到的通道注意力权重与输入特征进行逐元素相乘,实现对输入特征的加权,使用公式表示为:
(5);
其中:表示特征图;
表示将空间信息居合道通道中的全局平均池化操作;
是一个非线性激活函数Sigmoid;
和表示全连接层;
倘若将通道注意力机制看成一个函数,则式(5)简化为:
(6);
将看作,保留通道注意力中较为重要的部分,提出简化通道注意力机制具体公式如下所示:
(7);
非线性激活函数可表示为:
(2);
其中:表示标准正态分布的积累分布函数;
GELU可以通过以下方式进行近似实现:
(3);
根据式(1)和式(2),发现GELU是GLU的一种特殊情况,即和是恒等函数,将看作,由于这种相似性的存在,将GLU视为激活函数用于水印攻击领域,并且GLU本身包含非线性,并不依赖于,即便移除,GLU依然不包含非线性,因此对GELU进行简化,提出无非线性GeLU;
直接在通道维度上将特征映射分成两部分并相乘,SimpleGate通过逐元素乘法来实现,具体公式如下所示:
(4);
其中:和是相同大小的特征图,通过将GELU简化为SimpleGate,水印攻击综合能力显著提升。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410851622.9A CN118396830B (zh) | 2024-06-28 | 2024-06-28 | 一种无非线性水印攻击系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410851622.9A CN118396830B (zh) | 2024-06-28 | 2024-06-28 | 一种无非线性水印攻击系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118396830A CN118396830A (zh) | 2024-07-26 |
| CN118396830B true CN118396830B (zh) | 2024-08-30 |
Family
ID=91996205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410851622.9A Active CN118396830B (zh) | 2024-06-28 | 2024-06-28 | 一种无非线性水印攻击系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118396830B (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3960959B2 (ja) * | 2002-11-08 | 2007-08-15 | 三洋電機株式会社 | 電子透かし埋め込み装置と方法ならびに電子透かし抽出装置と方法 |
| CA3056498A1 (en) * | 2017-03-14 | 2018-09-20 | University Of Manitoba | Structure defect detection using machine learning algorithms |
| CN113379584B (zh) * | 2021-06-10 | 2023-10-31 | 大连海事大学 | 一种基于残差学习的不可感知水印攻击方法、存储介质及电子装置 |
| CN116308986B (zh) * | 2023-05-24 | 2023-08-04 | 齐鲁工业大学(山东省科学院) | 基于小波变换及注意力机制的隐蔽水印攻击算法 |
| CN116781926A (zh) * | 2023-07-27 | 2023-09-19 | 齐鲁工业大学(山东省科学院) | 基于通道空间注意力机制的视频水印嵌入方法及系统 |
| CN117934489A (zh) * | 2024-01-23 | 2024-04-26 | 河北工业大学 | 基于残差和金字塔切分注意力的眼底硬渗出物分割方法 |
| CN118096584B (zh) * | 2024-04-29 | 2024-06-25 | 齐鲁工业大学(山东省科学院) | 基于上下文感知和多尺度扩散网络的超声图像增强方法 |
-
2024
- 2024-06-28 CN CN202410851622.9A patent/CN118396830B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| "基于生成对抗网络的不可感知水印攻击算法研究";田鹏飞;《中国硕士学位论文全文数据库》;20240719;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118396830A (zh) | 2024-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hosny et al. | Digital image watermarking using deep learning: A survey | |
| Yuan et al. | A blind image watermarking scheme combining spatial domain and frequency domain | |
| CN109300078B (zh) | 一种具有自适应嵌入强度的图像扩频水印嵌入方法 | |
| Liu et al. | An invisible and robust watermarking scheme using convolutional neural networks | |
| Mahto et al. | Hybrid optimisation-based robust watermarking using denoising convolutional neural network: DK Mahto et al. | |
| Shen et al. | A novel image watermarking scheme based on support vector regression | |
| Wang et al. | A secure dual-color image watermarking scheme based 2D DWT, SVD and Chaotic map | |
| Zear et al. | Robust watermarking technique using back propagation neural network: a security protection mechanism for social applications | |
| Fu et al. | Color image watermarking scheme based on linear discriminant analysis | |
| CN104616244A (zh) | 基于bp神经网络压缩域的图像水印嵌入与提取方法 | |
| CN107895340A (zh) | 一种融合qr分解的空频域彩色数字图像盲水印方法 | |
| Wang et al. | Blind Color Image Watermarking Based on DWT and LU Decomposition. | |
| CN105469353A (zh) | 水印图像的嵌入方法和装置及提取方法和装置 | |
| Mohammad et al. | Lossless visible watermarking based on adaptive circular shift operation for BTC-compressed images | |
| Kou et al. | IWRN: A Robust Blind Watermarking Method for Artwork Image Copyright Protection Against Noise Attack | |
| Kekre et al. | Performance comparison of DCT and walsh transforms for watermarking using DWT-SVD | |
| Kakkirala et al. | Block based robust blind image watermarking using discrete wavelet transform | |
| Ni et al. | NiNet: A new invertible neural network architecture more suitable for deep image hiding | |
| Su | Color image watermarking: algorithms and technologies | |
| Zhang et al. | Adaptive reversible image watermarking algorithm based on IWT and level set | |
| CN112884629A (zh) | 一种适用于qr码的彩色图像数字水印嵌入和提取方法 | |
| CN115619615A (zh) | 一种基于量子哈尔小波变换的量子图像水印嵌入方法 | |
| Hsiao et al. | Simple and robust watermarking scheme based on square-root-modulus technique | |
| Luo et al. | COVER: A secure blind image watermarking scheme | |
| CN102156956B (zh) | 基于奇异值分解与离散余弦变换的高鲁棒性水印方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |