CN112132737B - 一种无参考生成的图像鲁棒隐写方法 - Google Patents
一种无参考生成的图像鲁棒隐写方法 Download PDFInfo
- Publication number
- CN112132737B CN112132737B CN202011085362.7A CN202011085362A CN112132737B CN 112132737 B CN112132737 B CN 112132737B CN 202011085362 A CN202011085362 A CN 202011085362A CN 112132737 B CN112132737 B CN 112132737B
- Authority
- CN
- China
- Prior art keywords
- image
- decoder
- secret information
- steganographic
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种无参考生成的图像鲁棒隐写方法，涉及深度学习技术领域，所述方法包括：以GAN模型为图像生成器，并对所述GAN模型进行预训练；建立秘密信息到噪声的映射；以秘密信息为输入，输出图像为隐写图像；图像处理层接收GAN模型生成的隐写图像，通过添加模拟干扰，传递给解码器进行解码；以现有的神经网络模型为解码器，以添加干扰后的隐写图像为输入，经过神经网络转换为噪声，将噪声进行映射得到秘密信息。本发明的方法可以在任意由噪声直接驱动生成图像的生成对抗网络的生成器的基础上，结合图像处理层和具有卷积神经网络结构的解码器即可使生成图像具有鲁棒性。
Description
技术领域
本发明涉及深度学习技术领域，具体涉及一种无参考生成的图像鲁棒隐写方法。
背景技术
传统图像隐写算法可分为两类：空域隐写算法和频域隐写算法。空域隐写算法通过修改图像像素来嵌入秘密信息，如LSB替换和匹配算法；频域隐写算法通过修改主信号中某些指定的频域系数进行秘密信息的嵌入，如离散余弦变换（DCT）算法、离散傅里叶变换（DFT）算法、离散小波变换（DWT）算法等。但这些传统隐写算法缺少鲁棒性，在社交网络、无线通信等有损信道中传输时，轻微的干扰就会导致秘密信息无法正确提取。
随着深度学习的发展，不少学者利用深度学习来实现鲁棒隐写，有人提出了HiDDeN模型，该模型分为四个部分：编码器E、解码器D、噪声层N和判别器A。编码器E输入为图像和秘密信息，输出为图像；解码器输入为图像，输出为秘密信息；判别器A负责判别编码器生成图像与输入图像的差距。HiDDeN模型在秘密信息嵌入量方面表现良好，且所提出的端到端隐写框架允许在原框架基础上给噪声层添加新的噪声，从而实现对新的噪声的鲁棒性，框架存在一定的可扩展性，但在隐写图像质量上存在不足。还有人在HiDDeN模型的基础上提出StegaStamp模型，在噪声层添加了透视变换、颜色变换、模糊等图像处理操作，模拟隐写图像经过打印、拍照得到新图像过程中存在的变化，解决了HiDDeN在经过物理传输后秘密信息无法解密的问题，是对HiDDeN在应用方面的改进。但StegaStamp模型生成的图像存在明显的灰色斑块，且随着消息嵌入量的增大，灰色斑块越明显。而且上述隐写方法均采用秘密信息联合原始图像生成隐写图像的形式，要求隐写图像和原始图像在内容上保持不变，在保证秘密信息提取准确率的前提下，必然会使图像质量下降。
发明内容
为了解决上述问题，本发明提供一种无参考生成的图像鲁棒隐写方法，该方法的框架由GAN模型、解码器和图像处理层组成，GAN模型输入秘密信息，输出高清图像；图像处理层包含各种模拟的干扰和攻击，负责将GAN模型输出的图像进行处理并传递给解码器；解码器负责将处理过的图像还原成秘密信息，还可以通过解码损失来约束还原信息的准确率。
为了实现上述目的，本发明采用的技术方案为：一种无参考生成的图像鲁棒隐写方法，包括：
S1：秘密信息的隐藏
S11：以GAN模型为图像生成器，并对所述GAN模型进行预训练；
S12：建立秘密信息到噪声的映射；
S13:以秘密信息为输入，输出图像为隐写图像;
S2：隐写图像的处理：图像处理层接收GAN模型生成的隐写图像，通过添加模拟干扰，传递给解码器进行解码；
S3：秘密信息的提取：以现有的神经网络模型为解码器，以添加干扰后的隐写图像为输入，经过神经网络转换为噪声，将噪声进行映射得到秘密信息；其中解码器的损失通过式（1）进行计算：
（1）
其中，表示解码器损失，采用sigmoid交叉熵损失函数；/>分别表示输入的秘密信息和解码器还原出的信息。
进一步地，所述GAN模型为StyleGAN模型，所述StyleGAN模型生成隐写图像的具体过程为：输入为512位的输入向量 ，经过由8个全连接层组成的映射网络将输入向量编码为中间向量w，使得512位向量能够更好的表示训练集图像的特征，合成网络输入为4×4×512的常量，经过9个生成阶段提高图像分辨率，将图像由4×4提升至1024×1024，其中每个生成阶段包含两个自适应实例标准化（AdaIn），与被复制成18份的中间向量w一起参与图像的样式混合。
更进一步地，所述解码器采用大小为3×3的卷积核，激活函数采用ReLU，解码器接收到图像之后，经过卷积操作提取特征，最后将得到的8×8×128的张量拉直并进行两次全连接得到与秘密信息长度相等的张量。
更进一步地，所述步骤S2中的干扰包括高斯噪声、JPEG压缩、颜色变换、模糊和遮挡。
更进一步地，所述方法还包括对解码器进行对抗训练的过程，用于使解码器能够解码不同失真程度的隐写图像，从而具有鲁棒性。
更进一步地，所述方法还包括解码器在训练过程中，通过交叉熵损失函数调节其内部权重，提升秘密信息提取的准确率。
本发明的有益效果：
本发明可以在任意由噪声直接驱动生成图像的生成对抗网络的生成器的基础上，结合图像处理层和具有卷积神经网络结构的解码器即可使生成图像具有鲁棒性；且由于生成图像的过程不需要参考原始图像，使得生成图像不会发生因重构导致的失真，因而图像质量更高。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例的无参考生成的鲁棒隐写方法框架图；
图2为本发明实施例的StyleGAN模型的结构图；
图3为本发明实施的解码器结构图；
图4为本发明实施例的 StyleGAN生成图像；
图5为本发明实施例中添加各种干扰下解码准确率；
图6为本发明实施例的添加各种干扰下的秘密信息提取准确率。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参考图1，一种无参考生成的图像鲁棒隐写方法，包括：
S1：秘密信息的隐藏
S11：以GAN模型为图像生成器，并对所述GAN模型进行预训练；
具体的，参考图2，所述GAN模型为StyleGAN模型，所述StyleGAN模型生成隐写图像的具体过程为：输入为512位的输入向量，经过由8个全连接层组成的映射网络将输入向量编码为中间向量w，使得512位向量能够更好的表示训练集图像的特征，合成网络输入为4×4×512的常量，经过9个生成阶段提高图像分辨率，将图像由4×4提升至1024×1024，其中每个生成阶段包含两个自适应实例标准化（AdaIn），与被复制成18份的中间向量w一起参与图像的样式混合。
具体的，对StyleGAN模型预训练使用的数据集为www.seeprettyface.com提供的网红人脸数据集，共包含136724张图像，图像分辨率为256×256，由于StyleGAN采用渐进式增长结构生成图像，且在生成图像的分辨率为256×256时，图像便较为清晰，为缩短预训练时间，本发明设置StyleGAN模型的输出图像大小也为256×256。
训练解码器时，需要预训练好的StyleGAN模型的生成器实时生成图像。虽然StyleGAN模型较大，用于实验的机器内存不足以达到要求，但StyleGAN生成器在本发明中的作用仅为建立噪声到图像的映射，首先用预训练好的StyleGAN生成器生成50000张图像，并将这些图像与其相应的噪声共同保存为解码器的训练集，再生成5000张图像作为测试集验证训练效果。
S12：建立秘密信息到噪声的映射；
S13:以秘密信息为输入，输出图像为隐写图像;
S2：隐写图像的处理：图像处理层接收GAN模型生成的隐写图像，通过添加模拟干扰，传递给解码器进行解码；
具体的，干扰包括高斯噪声、JPEG压缩、颜色变换、模糊和遮挡等。
S3：秘密信息的提取：以现有的神经网络模型为解码器，以添加干扰后的隐写图像为输入，经过神经网络转换为噪声，将噪声进行映射得到秘密信息；其中解码器的损失通过式（1）进行计算：
（1）
其中，表示解码器损失，采用sigmoid交叉熵损失函数；/>分别表示输入的秘密信息和解码器还原出的信息。
并通过解码器损失用来约束解码器输出的结果与输入的秘密信息之间的误差。
参考图3，具体的，所述解码器采用大小为3×3的卷积核，激活函数采用ReLU，解码器接收到图像之后，经过卷积操作提取特征，最后将得到的8×8×128的张量拉直并进行两次全连接得到与秘密信息长度相等的张量。
本发明的方法还包括对解码器进行对抗训练的过程，用于使解码器能够解码不同失真程度的隐写图像，从而具有鲁棒性。解码器在训练过程中，通过交叉熵损失函数调节其内部权重，提升秘密信息提取的准确率。
本申请实施例中，对抗训练过程是减小解码器损失的过程，解码器损失越小，还原的秘密信息越准确。
对通过本发明方法生成的隐写图像的质量进行观察，结果见图4，从主观上用人眼无法分辨真假。对于没有原始图片进行参考的情况下，生成图像质量可选用FID进行测量。取用5000张用于训练StyleGAN的网红人脸图像以及5000张StyleGAN生成的图像来测量生成图像质量，测得FID为25.096（使用网红人脸数据集中5000张图像与数据集中另外5000张图像进行测量，测得FID为7.052），表明生成图像的分布非常接近自然图像的分布，证明了NGRS框架在图像质量上的优势。
本实施例还对添加干扰后的隐写图像的鲁棒性进行了测试，鲁棒性实验选取训练集上的图像进行测试。对图像分别进行JPEG压缩、模糊、高斯噪声、颜色变换、遮挡并压缩等操作，使用解码器对上述加干扰的隐写图像进行解码并还原秘密信息，并计算解码准确率，结果见图5。其中，JPEG压缩的压缩系数分别为30、50、70、90；使用图像处理软件对图像进行模糊操作，模糊等级从1到4；高斯噪声的均值取0，方差分别取0.001、0.005、0.01和0.02；使用图像处理软件对图像进行颜色变换操作，对色调分别进行+10、+20、+30、+40操作；最后，将图像通过美图秀秀加贴纸进行遮挡，并进行压缩操作，按照遮挡的部分大小，分为1级、2级、3级和4级。
将经过各类干扰后的隐写图像的秘密信息提取准确率绘制成折线图，如图6所示，该算法对于JPEG压缩与颜色变换的鲁棒性较强，在不加纠错码的情况下，秘密信息提取准确率可达0.94以上；而对于模糊和遮挡加压缩操作来说，在模糊程度和遮挡程度小于3级时，秘密信息的提取准确率可达到0.9以上；而对于高斯噪声来说，仅能抵抗方差为0.001的高斯噪声干扰。
因为本发明的方法采用秘密信息直接生成图像的GAN模型，所以整张图像用来表示秘密信息。对于JPEG压缩和颜色变换等对图像内容改变不大的干扰时，鲁棒性较强；而对于其他对内容改变较大的干扰来说，改变的内容越多，鲁棒性越差，但在一定的改动范围内，可以采用纠错码技术来提高鲁棒性。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种无参考生成的图像鲁棒隐写方法，其特征在于，包括：
S1：秘密信息的隐藏
S11：以GAN模型为图像生成器，并对所述GAN模型进行预训练；
S12：建立秘密信息到噪声的映射；
S13:以秘密信息为输入，输出图像为隐写图像;
S2：隐写图像的处理：图像处理层接收GAN模型生成的隐写图像，通过添加模拟干扰，传递给解码器进行解码；
S3：秘密信息的提取：以现有的神经网络模型为解码器，以添加干扰后的隐写图像为输入，经过神经网络转换为噪声，将噪声进行映射得到秘密信息；其中解码器的损失通过式（1）进行计算：
（1）
其中，表示解码器损失，采用sigmoid交叉熵损失函数；/>分别表示输入的秘密信息和解码器还原出的信息。
2.根据权利要求1所述的无参考生成的图像鲁棒隐写方法，其特征在于，所述GAN模型为StyleGAN模型，所述StyleGAN模型生成隐写图像的具体过程为：输入为512位的输入向量，经过由8个全连接层组成的映射网络将输入向量编码为中间向量w，使得512位向量能够更好的表示训练集图像的特征，合成网络输入为4×4×512的常量，经过9个生成阶段提高图像分辨率，将图像由4×4提升至1024×1024，其中每个生成阶段包含两个自适应实例标准化，与被复制成18份的中间向量w一起参与图像的样式混合。
3.根据权利要求1所述的无参考生成的图像鲁棒隐写方法，其特征在于，所述解码器采用大小为3×3的卷积核，激活函数采用ReLU，解码器接收到图像之后，经过卷积操作提取特征，最后将得到的8×8×128的张量拉直并进行两次全连接得到与秘密信息长度相等的张量。
4.根据权利要求1所述的无参考生成的图像鲁棒隐写方法，其特征在于，所述步骤S2中的干扰包括高斯噪声、JPEG压缩、颜色变换、模糊和遮挡。
5.根据权利要求1所述的无参考生成的图像鲁棒隐写方法，其特征在于，所述方法还包括对解码器进行训练的过程，用于使解码器能够解码不同失真程度的隐写图像，从而具有鲁棒性。
6.根据权利要求5所述的无参考生成的图像鲁棒隐写方法，其特征在于，所述方法还包括解码器在训练过程中，通过交叉熵损失函数调节其内部权重，提升秘密信息提取的准确率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011085362.7A CN112132737B (zh) | 2020-10-12 | 2020-10-12 | 一种无参考生成的图像鲁棒隐写方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011085362.7A CN112132737B (zh) | 2020-10-12 | 2020-10-12 | 一种无参考生成的图像鲁棒隐写方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112132737A CN112132737A (zh) | 2020-12-25 |
| CN112132737B true CN112132737B (zh) | 2023-11-07 |
Family
ID=73852541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011085362.7A Active CN112132737B (zh) | 2020-10-12 | 2020-10-12 | 一种无参考生成的图像鲁棒隐写方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112132737B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112911341B (zh) * | 2021-02-01 | 2023-02-28 | 中国工商银行股份有限公司 | 图像处理方法、解码器网络训练方法、装置、设备和介质 |
| CN114827381A (zh) * | 2022-06-30 | 2022-07-29 | 北京大学深圳研究生院 | 基于条件标准化流模型的强鲁棒性图像隐写方法及系统 |
| CN116320193A (zh) * | 2022-07-07 | 2023-06-23 | 广州大学 | 一种安全、无计算设备依赖的工业图纸传输方法与系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002013138A1 (en) * | 2000-08-03 | 2002-02-14 | Digital Copyright Technologies Ag | Method for adaptive digital watermarking robust against geometric transforms |
| CN111598762A (zh) * | 2020-04-21 | 2020-08-28 | 中山大学 | 一种生成式鲁棒图像隐写方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8594453B2 (en) * | 2011-08-18 | 2013-11-26 | Hewlett-Packard Development Company, L.P. | Method of robust alignment and payload recovery for data-bearing images |
-
2020
- 2020-10-12 CN CN202011085362.7A patent/CN112132737B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002013138A1 (en) * | 2000-08-03 | 2002-02-14 | Digital Copyright Technologies Ag | Method for adaptive digital watermarking robust against geometric transforms |
| CN111598762A (zh) * | 2020-04-21 | 2020-08-28 | 中山大学 | 一种生成式鲁棒图像隐写方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的图像隐写方法研究;付章杰;王帆;孙星明;王彦;;计算机学报(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112132737A (zh) | 2020-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132737B (zh) | 一种无参考生成的图像鲁棒隐写方法 | |
| Tan et al. | Channel attention image steganography with generative adversarial networks | |
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| CN111598761B (zh) | 一种基于图像降噪的抗打印拍摄图像数字水印方法 | |
| Shen et al. | A DWT-SVD based adaptive color multi-watermarking scheme for copyright protection using AMEF and PSO-GWO | |
| CN112634117B (zh) | 基于生成对抗网络的端到端jpeg域图像隐写方法 | |
| CN111598762A (zh) | 一种生成式鲁棒图像隐写方法 | |
| Rehman et al. | Reduced-reference SSIM estimation | |
| CN110232650B (zh) | 一种彩色图像水印嵌入方法、检测方法及系统 | |
| CN111491170A (zh) | 嵌入水印的方法及水印嵌入装置 | |
| CN112991493B (zh) | 基于vae-gan和混合密度网络的灰度图像着色方法 | |
| CN107908969B (zh) | 一种基于空域特性的jpeg图像自适应隐写方法 | |
| CN111105376B (zh) | 基于双分支神经网络的单曝光高动态范围图像生成方法 | |
| CN112132738B (zh) | 一种有参考生成的图像鲁棒隐写方法 | |
| CN107240061A (zh) | 一种基于动态bp神经网络的水印嵌入、提取方法与装置 | |
| CN113628090B (zh) | 抗干扰消息隐写与提取方法、系统、计算机设备、终端 | |
| CN114549273A (zh) | 基于深度神经网络的自适应鲁棒水印嵌入方法及系统 | |
| CN115345768A (zh) | 基于神经网络的鲁棒水印攻击方法及系统 | |
| CN114157773B (zh) | 基于卷积神经网络和频域注意力的图像隐写方法 | |
| Wang et al. | LLDiffusion: Learning degradation representations in diffusion models for low-light image enhancement | |
| Zhang et al. | A blind watermarking system based on deep learning model | |
| Li et al. | Robust image steganography framework based on generative adversarial network | |
| Khandelwal et al. | W-VDSR: Wavelet-based secure image transmission using machine learning VDSR neural network | |
| CN116029887A (zh) | 一种基于小波神经网络的图像大容量鲁棒水印方法 | |
| DING et al. | High quality data hiding in halftone image based on block conjugate |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |