CN111127392B - 一种基于对抗生成网络的无参考图像质量评价方法 - Google Patents

一种基于对抗生成网络的无参考图像质量评价方法 Download PDF

Info

Publication number
CN111127392B
CN111127392B CN201911103031.9A CN201911103031A CN111127392B CN 111127392 B CN111127392 B CN 111127392B CN 201911103031 A CN201911103031 A CN 201911103031A CN 111127392 B CN111127392 B CN 111127392B
Authority
CN
China
Prior art keywords
network
map
graph
size
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911103031.9A
Other languages
English (en)
Other versions
CN111127392A (zh
Inventor
颜成钢
陈子阳
谷文玉
朱嘉凯
孙垚棋
张继勇
张勇东
沈韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911103031.9A priority Critical patent/CN111127392B/zh
Publication of CN111127392A publication Critical patent/CN111127392A/zh
Application granted granted Critical
Publication of CN111127392B publication Critical patent/CN111127392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于对抗生成网络的无参考图像质量评价方法。本发明首先要对图像进行预处理，得到失真图对应的相似图‑SSIM_MAP，然后训练一个基于densenet网络的神经网络框架，对训练后的网络输入失真图，可得到失真图的相似图，通过相似图，也就可以得到对应的质量分数。本发明针对网络中的生成器和损失函数做出创新。首先，在生成网络部分，我们采用60层的densenet网络框架。在判别网络部分，采用简单的分类网络；损失函数部分，采用判别器的交叉熵加L1范数损失的方式。最后迭代训练出一个较好的生成网络模型，通过此网络，可以对输出图片，也就是失真图片进行相似图的生成。

Description

一种基于对抗生成网络的无参考图像质量评价方法
技术领域
本发明属于图像处理领域，设计图像质量评价方法，而且涉及到深度学习中的生成对抗网络在图像质量评价中的应用。
背景技术
现如今，随着互联网技术以及通信技术的快速发展，数字图像已经成为人们日常生活中信息传递的重要方式。据统计，2011年以来，世界产生的数字照片总量达到上百亿张，而且这个数量还在逐年增长。然而，图像在采集、存储、压缩和传输等过程中容易受到不同种类的失真干扰，从而造成图像质量的降低。所以，如何准确、可靠地评价图像的质量成为当前及未来研究中一个重要的研究热点。通常，大多数图像是由人来观看，所以最可靠的图像质量评价方式是主观质量评价，即组织观看人员根据他们的经验来对图像的质量进行主观评分，然而，随着图像数量的增多，主观质量评价的实施变得困难，而且也无法应用于实时的图像处理系统中。所以，研究者们提出客观质量评价方法，通过设计客观算法来对图像的质量做出评价。
根据是否参考原始图像，现有的客观质量评价方法被分为三个类别，分别是全参考，部分参考和无参考质量评价方法。尽管目前针对这三类客观图像质量评价分别提出了大量的方法，但是客观质量评价的研究仍然不够成熟，主要表现在以下几个方面，第一，由于目前对人类视觉感知机制的理解不够深入，现有的基于度量信号失真的客观质量评价方法不能准确地模拟主观质量评价；第二，在无参考质量评价方法设计中，大多数方法仍然需要利用主观质量分数来训练质量评价模型；第三，在评价真实场景中的失真图像时，现有的客观算法的表现仍然不够理想。因此，建立一套可以准确反映人眼主观感受的立体图像质量客观评价机制具有深远意义。近年来，相关研究机构对平面图像质量评价算法进行了深入研究，如峰值信噪比(PSNR)、均方误差(MSE)、结构相似度(SSIM)等评价指标。然而平面图像中包含更多的因素，如深度图等。
近年来，深度学习成为机器学习和神经网络相关领域的研究热点，深度学习能够模拟人脑深层次处理数据的方式对原始数据内部结构和关系得到层次化的特征表示，因而经该预处理后的网络参数符合人脑的处理结果，训练后得到的网络稳定性和泛化能力也有一定的提高。
现有的无参考质量评价方法大多数属于主观质量分数已知的评价方法，此类方法通常需要大量的训练样本图像以及对应的主观分数来训练质量预测模型，相比之下，主观质量分数未知的无参考评价方法仍然较少而且已有方法的性能仍然不能与主观质量分数已知的方法相比。
发明内容
本发明的目的是针对现有技术的不足。提出了一个利用生成对抗网络框架的主观质量分数未知的无参考评价方法，此方法针对网络中的生成器和损失函数做出创新。首先，在生成网络部分，我们采用60层的densenet网络框架。在判别网络部分，我们采用简单的分类网络，损失函数部分，我们采用判别器的交叉熵加L1范数损失的方式。最后我们迭代训练出一个较好的生成网络模型，我们通过此网络，可以对输出图片，也就是失真图片进行相似图的生成。
本发明首先要对图像进行预处理，得到失真图对应的相似图-SSIM_MAP，然后训练一个基于densenet网络的神经网络框架，对训练后的网络输入失真图，可得到失真图的相似图，通过相似图，也就可以得到对应的质量分数。
一种基于对抗生成网络的无参考图像质量评价方法，具体实现步骤如下：
步骤1：预处理得到相似图；
1-1.计算亮度对比：
Figure BDA0002270424130000021
针对已经获取的失真图X和自然图像Y，用
Figure BDA0002270424130000022
和
Figure BDA0002270424130000023
分别代表两幅图的亮度信息：
Figure BDA0002270424130000031
其中，xi,yi分别为失真图X和自然图像Y的像素点值，那么失真图X和自然图Y的亮度对比就表示为：
Figure BDA0002270424130000032
其中C1是为了防止分母为0而设置的极小数。
1-2.计算对比度对比：C(x,y)
用σx和σy代表两幅图对比度信息：
Figure BDA0002270424130000033
那么失真图X和自然图Y的对比度对比就可以表示为：
Figure BDA0002270424130000034
其中C2是为了防止分母为0而设置的极小数。
1-3.计算结构性对比：S(x,y)
引入新公式：
Figure BDA0002270424130000035
那么失真图X和自然图Y的对比度对比就可以表示为：
Figure BDA0002270424130000036
其中C3是为了防止分母为0而设置的极小数。
1-4.计算相似图
Figure BDA0002270424130000037
其中，a、b、c为亮度、对比度和结构性的权重。
失真图的质量分数MSSIM可以由似图SSIM_MAP求得：
MSSIM＝mean(SSIM_MAP)
其中mean()为取平均值操作。
步骤2：将已有失真图X和相似图SSIM_MAP进行左右拼接，得到一张拼接图Z。
步骤3：设计神经网络框架
3-1.生成网络：
3-1-1.使用拼接图Z作为输入，大小为256×256，通道数为3。
3-1-2.通过一层卷积层，使大小为128×128，通道数变为64。
3-1-3.通过一层池化层，使大小为64×64，通道数变为64。
3-1-4.通过60层densenet网络框架提取特征，大小变为4×4，通道数为512。
3-1-5.通过5层反卷积层，使大小变为256×256，通道数为8.
3-1-6.通过一层卷积层，大小不变，通道数变为3。
3-2.判别网络：
3-2-1.把256×256的图片分为64个8×8的小块
3-2-2.每一个小块都通过一层卷积层，使大小为4×4，通道数变为64。
3-2-3.每一个小块都通过两层卷积层，使大小为1×1，通道数变为256。
3-2-4.每一个小块都通过一层卷积层，使大小为1×1，通道数变为512。
3-2-5.每一个小块都通过线性回归层，输出为预测标签。
3-2-5.整副图的预测标签由64个小块的平均值决定。
3-3.损失函数：
Figure BDA0002270424130000041
其中loss_GAN表示样本标签和判别器的输出之间的交叉熵。
Figure BDA0002270424130000042
代表生成器的预测图片和真实的相似图之间的L1距离：
Figure BDA0002270424130000043
M表示输入的相似图，G(x)表示生成器的输出。
本发明有益效果：
首先，本方法是无参考质量评价。通过使用训练好的神经网络框架，可以在没有自然图像(原图)的条件下对失真图像进行质量评价。
在无参考质量评价方法通常基于SVR(支持向量机)进行图像特征提取的情况下，本方法采用更有效的densenet神经网络进行特征提取。
在判别器通常针对整副图进行判别的情况下，本方法采用更有效的块判别方法，使得训练速度刚快，实验效果更好。
本方法基于对抗生成网络，更有效的实现了图到图的转换和迁移。实验结果不仅在图到图的实现中有较好的结果，而且模拟到的质量分数和真实的质量分数有强烈的相关性和较小的误差。
具体实施方式
下面对本发明作进一步说明。
一种基于对抗生成网络的无参考图像质量评价方法，具体实现步骤如下：
步骤1：预处理得到相似图；
1-1.计算亮度对比：
Figure BDA0002270424130000051
针对已经获取的失真图X和自然图像Y，用
Figure BDA0002270424130000052
和
Figure BDA0002270424130000053
分别代表两幅图的亮度信息：
Figure BDA0002270424130000054
其中，xi,yi分别为失真图X和自然图像Y的像素点值，那么失真图X和自然图Y的亮度对比就表示为：
Figure BDA0002270424130000055
其中C1是为了防止分母为0而设置的极小数。
1-2.计算对比度对比：C(x,y)
用σx和σy代表两幅图对比度信息：
Figure BDA0002270424130000061
那么失真图X和自然图Y的对比度对比就可以表示为：
Figure BDA0002270424130000062
其中C2是为了防止分母为0而设置的极小数。
1-3.计算结构性对比：S(x,y)
引入新公式：
Figure BDA0002270424130000063
那么失真图X和自然图Y的对比度对比就可以表示为：
Figure BDA0002270424130000064
其中C3是为了防止分母为0而设置的极小数。
1-4.计算相似图
Figure BDA0002270424130000065
其中，a、b、c为亮度、对比度和结构性的权重。
失真图的质量分数MSSIM可以由似图SSIM_MAP求得：
MSSIM＝mean(SSIM_MAP)
其中mean()为取平均值操作。
步骤2：将已有失真图X和相似图SSIM_MAP进行左右拼接，得到一张拼接图Z。
步骤3：设计神经网络框架
3-1.生成网络：
3-1-1.使用拼接图Z作为输入，大小为256×256，通道数为3。
3-1-2.通过一层卷积层，使大小为128×128，通道数变为64。
3-1-3.通过一层池化层，使大小为64×64，通道数变为64。
3-1-4.通过60层densenet网络框架提取特征，大小变为4×4，通道数为512。
3-1-5.通过5层反卷积层，使大小变为256×256，通道数为8.
3-1-6.通过一层卷积层，大小不变，通道数变为3。
3-2.判别网络：
3-2-1.把256×256的图片分为64个8×8的小块
3-2-2.每一个小块都通过一层卷积层，使大小为4×4，通道数变为64。
3-2-3.每一个小块都通过两层卷积层，使大小为1×1，通道数变为256。
3-2-4.每一个小块都通过一层卷积层，使大小为1×1，通道数变为512。
3-2-5.每一个小块都通过线性回归层，输出为预测标签。
3-2-5.整副图的预测标签由64个小块的平均值决定。
3-3.损失函数：
Figure BDA0002270424130000071
其中loss_GAN表示样本标签和判别器的输出之间的交叉熵。
Figure BDA0002270424130000072
代表生成器的预测图片和真实的相似图之间的L1距离：
Figure BDA0002270424130000073
M表示输入的相似图，G(x)表示生成器的输出。

Claims (1)

1.一种基于对抗生成网络的无参考图像质量评价方法，其特征在于具体实现步骤如下：
步骤1：预处理得到相似图；
1-1.计算亮度对比：
Figure FDA0004125673730000011
针对已经获取的失真图X和自然图像Y，用
Figure FDA0004125673730000012
和
Figure FDA0004125673730000013
分别代表两幅图的亮度信息：
Figure FDA0004125673730000014
其中，xi,yi分别为失真图X和自然图像Y的像素点值，那么失真图X和自然图Y的亮度对比就表示为：
Figure FDA0004125673730000015
其中C1是为了防止分母为0而设置的极小数；
1-2.计算对比度对比：C(x,y)
用σx和σy代表两幅图对比度信息：
Figure FDA0004125673730000016
那么失真图X和自然图Y的对比度对比就可以表示为：
Figure FDA0004125673730000017
其中C2是为了防止分母为0而设置的极小数；
1-3.计算结构性对比：S(x,y)
引入新公式：
Figure FDA0004125673730000018
那么失真图X和自然图Y的结构性对比就可以表示为：
Figure FDA0004125673730000021
其中C3是为了防止分母为0而设置的极小数；
1-4.计算相似图
Figure FDA0004125673730000022
其中，a、b、c为亮度、对比度和结构性的权重；
失真图的质量分数MSSIM可以由相似图SSIM_MAP求得：
MSSIM＝mean(SSIM_MAP)
其中mean()为取平均值操作；
步骤2：将已有失真图X和相似图SSIM_MAP进行左右拼接，得到一张拼接图Z；
步骤3：设计神经网络框架
3-1.生成网络：
3-1-1.使用拼接图Z作为输入，大小为256×256，通道数为3；
3-1-2.通过一层卷积层，使大小为128×128，通道数变为64；
3-1-3.通过一层池化层，使大小为64×64，通道数变为64；
3-1-4.通过60层densenet网络框架提取特征，大小变为4×4，通道数为512；
3-1-5.通过5层反卷积层，使大小变为256×256，通道数为8.
3-1-6.通过一层卷积层，大小不变，通道数变为3；
3-2.判别网络：
3-2-1.把256×256的图片分为64个8×8的小块
3-2-2.每一个小块都通过一层卷积层，使大小为4×4，通道数变为64；
3-2-3.每一个小块都通过两层卷积层，使大小为1×1，通道数变为256；
3-2-4.每一个小块都通过一层卷积层，使大小为1×1，通道数变为512；
3-2-5.每一个小块都通过线性回归层，输出为预测标签；
3-2-5.整副图的预测标签由64个小块的平均值决定；
3-3.损失函数：
Figure FDA0004125673730000031
其中loss_GAN表示样本标签和判别器的输出之间的交叉熵；
Figure FDA0004125673730000032
代表生成器的预测图片和真实的相似图之间的L1距离：
Figure FDA0004125673730000033
M表示输入的相似图，G(x)表示生成器的输出。
CN201911103031.9A 2019-11-12 2019-11-12 一种基于对抗生成网络的无参考图像质量评价方法 Active CN111127392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911103031.9A CN111127392B (zh) 2019-11-12 2019-11-12 一种基于对抗生成网络的无参考图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911103031.9A CN111127392B (zh) 2019-11-12 2019-11-12 一种基于对抗生成网络的无参考图像质量评价方法

Publications (2)

Publication Number Publication Date
CN111127392A CN111127392A (zh) 2020-05-08
CN111127392B true CN111127392B (zh) 2023-04-25

Family

ID=70495232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911103031.9A Active CN111127392B (zh) 2019-11-12 2019-11-12 一种基于对抗生成网络的无参考图像质量评价方法

Country Status (1)

Country Link
CN (1) CN111127392B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639861B (zh) * 2020-06-01 2023-06-23 上海大学 一种基于神经网络的绩效考核方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090902A (zh) * 2017-12-30 2018-05-29 中国传媒大学 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
CN108648188A (zh) * 2018-05-15 2018-10-12 南京邮电大学 一种基于生成对抗网络的无参考图像质量评价方法
CN109559276A (zh) * 2018-11-14 2019-04-02 武汉大学 一种基于无参考质量评价和特征统计的图像超分辨率重建方法
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN110363215A (zh) * 2019-05-31 2019-10-22 中国矿业大学 基于生成式对抗网络的sar图像转化为光学图像的方法
CN110378985A (zh) * 2019-07-19 2019-10-25 中国传媒大学 一种基于gan的动漫绘画辅助创作方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147320A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. "Matching Adversarial Networks"
US11170545B2 (en) * 2018-01-24 2021-11-09 New York University Systems and methods for diagnostic oriented image quality assessment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090902A (zh) * 2017-12-30 2018-05-29 中国传媒大学 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
CN108648188A (zh) * 2018-05-15 2018-10-12 南京邮电大学 一种基于生成对抗网络的无参考图像质量评价方法
CN109559276A (zh) * 2018-11-14 2019-04-02 武汉大学 一种基于无参考质量评价和特征统计的图像超分辨率重建方法
CN109615582A (zh) * 2018-11-30 2019-04-12 北京工业大学 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法
CN110363215A (zh) * 2019-05-31 2019-10-22 中国矿业大学 基于生成式对抗网络的sar图像转化为光学图像的方法
CN110378985A (zh) * 2019-07-19 2019-10-25 中国传媒大学 一种基于gan的动漫绘画辅助创作方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Image Quality Assessment: From Error Visibility to Structural Similarity;Zhou Wang等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20040413;600-612 *
Image Super-Resolution Using Dense Skip Connections;Tong Tong等;《IEEE International Conference on Computer Vision》;20171001;4809-4817 *
基于CGAN的交通环境运动模糊图像恢复及检测应用研究;林元凯;《中国计量》;20191010;80-85 *
学习盲图像质量评价方法研究;高飞;《中国博士学位论文全文数据库：信息科技辑》;20160315;I138-135 *

Also Published As

Publication number Publication date
CN111127392A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
CN107483920B (zh) 一种基于多层级质量因子的全景视频评估方法及系统
CN110827193B (zh) 基于多通道特征的全景视频显著性检测方法
CN110188835B (zh) 基于生成式对抗网络模型的数据增强行人再识别方法
CN107635136B (zh) 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN110852964A (zh) 一种基于深度学习的图像比特增强方法
CN113313683B (zh) 基于元迁移学习的无参考视频质量评价方法
CN102034267A (zh) 基于关注度的目标物三维重建方法
CN109831664B (zh) 基于深度学习的快速压缩立体视频质量评价方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN111797702A (zh) 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法
CN108377387A (zh) 基于3d卷积神经网络的虚拟现实视频质量评价方法
CN118823558B (zh) 一种基于图卷积神经网络的三维点云质量预测方法
CN110069992B (zh) 一种人脸图像合成方法、装置、电子设备及存储介质
CN108259893B (zh) 基于双流卷积神经网络的虚拟现实视频质量评价方法
CN116777782A (zh) 一种基于双注意力层级特征融合的多补丁去雾方法
CN116468625A (zh) 基于金字塔高效通道注意力机制的单幅图像去雾方法和系统
CN108449595A (zh) 基于卷积神经网络的全参考虚拟现实视频质量评价方法
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
CN111127587B (zh) 一种基于对抗生成网络的无参考图像质量地图生成方法
CN109523508B (zh) 一种密集光场质量评价方法
CN111127392B (zh) 一种基于对抗生成网络的无参考图像质量评价方法
CN107909565A (zh) 基于卷积神经网络的立体图像舒适度评价方法
CN116524387A (zh) 一种基于深度学习网络的超高清视频压缩损伤等级评估方法
CN111127386B (zh) 一种基于深度学习的图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant