CN107657229B - 一种基于内容分类的视频模糊度检测人眼视觉修正方法 - Google Patents
一种基于内容分类的视频模糊度检测人眼视觉修正方法 Download PDFInfo
- Publication number
- CN107657229B CN107657229B CN201710874527.0A CN201710874527A CN107657229B CN 107657229 B CN107657229 B CN 107657229B CN 201710874527 A CN201710874527 A CN 201710874527A CN 107657229 B CN107657229 B CN 107657229B
- Authority
- CN
- China
- Prior art keywords
- content
- video
- evaluation
- ambiguity
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于视频内容分类的无参考模糊度评价修正方法,包含内容分类数据库建立及模糊度评分修正,内容分类数据库使用离线视频或图像的全参考评价分数和待修正的无参考客观模糊度评价分数之间的线性关系对图像内容进行分类,分类后在每一类中使用Logistic函数对上述数据进行非线性拟合,该拟合函数即可用于对新的具有相近内容类型的视频帧的无参考模糊度打分进行修正。评分修正时首先通过神经网络对新的视频帧与数据库中的图像进行内容匹配,并使用对应类别的修正函数对新视频帧的模糊度评分进行修正。本发明可以克服内容多样性带来的影响,有效地解决了背景技术中的问题,使得模糊度评价方法可以应用于实际视频服务中。
Description
技术领域
本发明涉及一种图像处理技术领域中的视频图像模糊度评价方法,具体的是一种依据内容分类对初始模糊度评价得分进行人眼视觉特性修正的方法。
背景技术
随着视频服务逐渐成为人们获取信息的主要途径之一,市场提供的视频服务的主流分辨率从过去标清为主演变到目前以高清为主,并将进一步过渡到以超高清4K为主,未来还会向8K、AR/VR等更高水平发展。消费者对观看体验的要求也不断提高,视频用户体验质量已经成为视频服务的主要竞争因素。而模糊度作为视频图像质量的质量评价因素之一,具有显著的视觉感知地位,广泛地影响了用户对于视频服务的感受,因此需要基于人眼视觉的图像处理技术进行准确的模糊度评价。
视频质量评价根据对视频参考源的依赖程度分为全参考、部分参考和无参考评估方法。随着大数据时代的带来,在视频质量评价领域,无参考评价方法将有着更大的发展空间。由于无参考质量评价方法需要人眼主观评分数据进行训练,而主观评价过程耗时耗力且国际公开的图像质量评价数据库尤其是模糊度评价数据库并不多,所以目前学术界领先的无参考模糊度评价方法虽然在公开数据库上具有较好效果,但是一旦应用于现实视频服务时,由于视频服务内容类型远超过公开的学术数据库,因此方法性能明显下降,无法直接应用。
因此如何利用已有的无参考图像模糊度评价方法并将其推广到实际视频服务中具有迫切的现实意义。主要问题在于:一、如何解决视频内容多样性对评价方法稳定性的降低;二、如何在不同的模糊度损伤程度下均能准确的刻画人眼主观感受,目前带主观标记的数据库中大部分损伤为中度到重度模糊,轻度模糊数据较少,而目前随着传输带宽和技术的发展,轻度到中度模糊是更为常见的损伤,需要准确的区分和评价。
发明内容
针对现有技术中存在的上述不足,本发明提出了一种基于内容分类的视频模糊度检测人眼视觉修正方法,在离线训练阶段对数据库内容分类并确定各类的Logistic修正函数,在线使用阶段对新输入的视频帧判别内容类别后进行模糊度评价修正,可以克服内容多样性带来的影响,有效地解决了背景技术中的问题,使得模糊度评价方法可以应用于实际视频服务中。
为实现上述目的,本发明采用的技术方案如下:内容分类数据库使用离线视频或图像的主观评价分数(大数据量下可用全参考评价分数替代)和待修正的无参考客观模糊度评价分数之间的线性关系对图像内容进行分类,分类后在每一类中使用Logistic函数对上述数据进行非线性拟合,该拟合函数即可用于对新的具有相近内容类型的视频帧的无参考模糊度打分进行修正。评分修正阶段通过神经网络对新的视频帧与数据库中的图像进行内容匹配。
具体的,本发明所述的基于内容分类的视频模糊度检测人眼视觉修正方法,包括:视频帧内容分类与模糊度评分修正两方面;
步骤1,内容分类数据库建立
1.1:读取无损的源视频帧及与其相同内容的各程度模糊版本,利用全参考质量评价方法VIF(Visual Information Fidelity)对各模糊视频帧评价打分,得到全参考VIF分值;
1.2:利用无参考图像模糊度检测方法独立对各模糊视频帧评价打分,得到无参考评价分值;
1.3:在全参考VIF分值与无参考评价分值形成的坐标系内,对同一内容视频帧及其各模糊版本对应的数据点进行如下线性拟合:
y=nx+m
其中x为无参考评价分值,取值范围为1~10;y为全参考VIF分值,取值范围为1~10,n、m变量为模型参数,n为拟合直线斜率;
1.4:对不同的视频内容,使用与其对应的步骤1.3中得到的拟合直线斜率n进行Kmeans聚类;
1.5:在聚类所得的每个簇内对所有内容的各模糊度版本对应的数据点进行Logistic非线性拟合,函数形式如下形式:
其中x为无参考评价分值,取值范围为1~10,F(x)为VIF评价分值,取值范围为1~10,a1,a2,a3,a4,为拟合参数;
1.6:保存聚类所得每个簇内的中心图像即视频帧以及每个簇对应的步骤1.5中的拟合参数;
至此,完成了内容分类数据库的构建,该数据库通过聚类离线数据中不同内容图像对应的全参考评价与无参考评价分数之间的拟合直线斜率(步骤1.3),实现了对不同内容类型图像的分类。上述数据库中按类别存储每类图像,以及各类别对应的物理模糊度与人眼主观质量感受之间的关系(由步骤1.5中Logistic函数描述)。该数据库主要用于对待检测图像或视频帧进行内容归类,按其内容类型对其无参考评价分数进行修正(步骤2),缩小无参考评价分数与人眼主观感受之间的差异。
步骤2,评分修正:
2.1:读取待评价的模糊损伤视频,通过场景检测选出每个场景的关键帧,同一个场景内的内容可认为基本不变;
2.2:基于步骤1中存储的每个内容簇的中心图像,运用图像内容检索网络将带有模糊损伤的各个场景关键帧进行归类;
2.3:运用与步骤1.2中的相同的无参考质量评价方法对各关键帧进行评价打分,得到无参考模糊度打分;
2.4:将步骤2.3中计算得到的无参考模糊度打分,作为各视频帧所在类别对应的Logistic函数的输入,输出值为修正后无参考模糊度评价得分。
与现有技术相比,本发明具有以下有益效果:
本发明方法充分考虑了视频内容对模糊度评价方法稳定性的影响,同时通过Logistic修正提高了目前评价方法在不同的模糊度损伤程度下的评价准确性。同时具有增量学习的性能,当现实中某视频帧类型无法匹配到已有数据库的任何一类时,该帧类型自动保存为新的内容类型增加到数据库中,因而可以很好的应对实际海量视频内容。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是本发明一实施例中方法的流程图;
图2是本发明一实施例中构建的数据库内容分类结果与每一类中的Logistic拟合函数;
图3是表明模糊度评价指标不经过修正的性能与不经过内容分类直接修正后的实际性能对比图,其中(a)到(c)、(g)到(i)为模糊度评价指标不经过修正的性能,(d)至(f)、(j)到(l)为不经过内容分类直接修正后的实际性能;
图4是对模糊度指标不经过内容分类直接修正与本发明提出的经过内容分类修正的后的性能对比图,其中(a)为BIBLE不分类修正,(b)为S3不分类修正,(c)为BIBLE多分类修正,(d)为S3多分类修正。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
由于人眼视觉系统的复杂性,现有的无参考模糊度评价方法输出结果与人眼主观打分差异较大,尤其在模糊程度较轻的情况下,内容多样性明显降低了评价方法的准确性。由于实际应用中视频内容多种多样,上述问题严重阻碍了无参考图像评价方法在视频内容上的应用。
如图1所示,为了解决上述问题,本发明提出基于视频内容分类的无参考模糊度评价修正方法,其中:
首先建立内容分类图像库,使用高质量源视频帧(例如离线编译的高码率视频帧)通过不同程度的高斯模糊生成同一内容不同程度的模糊版本;
之后依据源视频帧,采用全参考图像质量评价VIF方法对各模糊版本内容进行打分;
其次采用无参考客观评价方法独立对各模糊版本进行打分;
然后对同一内容不同模糊度程度的VIF分数和客观预测分数进行过原点的线性拟合,根据线性拟合的斜率对内容进行K-means聚类,对每个聚类得到的簇进行Logistic非线性拟合,得到拟合参数并标记到对应簇上;
最后当有新的视频帧需评价时,首先通过检索网络找到与其内容最相近的聚类中心参考图像,并获得对应簇的Logistic回归参数,最后用Logistic回归校正模糊度预测得分,以降低内容变化带来的误差。
此处把本发明应用到目前最具代表性的无参考模糊度评价方法BIBLE和S3,用以验证本发明提出的方法对此两种评价指标的性能提升。其中前者在2016年发表于IEEETransactions on Cybermetics(IEEE控制论期刊)的“No-reference image blurassessment based on discrete orthogonal moments”(一种基于离散正交矩的无参考图像模糊度评价方法)一文中,后者在2013年发表在IEEE Transactions on ImageProcessing(IEEE图像处理期刊)的“S3:A spectral and spatial measure of localperceived sharpness in natural images”(S3:一种自然图像的基于频域及空间域的局部清晰度评价方法)一文中。这两种评价方法是目前在公开图像质量评价数据库中准确率最高的方法。对于其它的模糊度评价方法本发明同样适用,模型参数需要通过重新回归得出,但这并不影响本发明的实质。
具体的,在本发明的部分实施例中,参照以下进行操作。
1.数据库图片生成
为了模拟实际视频服务内容类型的多样性,使用目前规模最大的图像质量评价数据库Waterloo数据集,该数据库提供了4744张各种内容的源图像用于检验图像质量评价方法的泛化能力。对于每张图片,使用高斯模糊对其进行5级损伤处理,5级损伤分别对应于PSNR值为33dB,30dB,27dB,24dB,21dB。使用VIF全参考质量评价方法(结合原始图像)对每个损伤图像进行全参考评价打分。之后使用BIBLE和S3方法分别对所有图像进行无参考评价打分,形成如图2所示的散点图,其中y轴表示全参考VIF分数,x轴表示无参考BIBLE或S3指标分数。
2.数据库图片内容分类及修正函数拟合
对于建立的模糊图片数据库,对其中相同内容不同模糊等级图像对应的数据点进行线性拟合,依据得到的线性回归直线的斜率进行Kmeans聚类,形成图2中的5个内容簇,每个簇用不同的颜色表示(图2中轴表示BIBLE分数)。在每一类所有数据点中分别进行Logistic非线性拟合,通过最小二乘回归求出拟合参数。
每个内容簇中保存了距离聚类中心最近的10张原始图片作为库图片,其余的原始图片及其各模糊版本按照内容分为训练集(70%)及验证集(30%)进行检索网络的训练。为了测试本发明的方法,选取了其他带主观分数的质量评价数据库作为测试集(表2),这部分数据未参与数据库图片生成并用于后续检验本修正方法的性能。检索网络选取了基于卷积神经网络的图片检索网络KevenNet,该方法发表于IEEE Conference on Computer Visionand Pattern Recognition Workshops(IEEE计算机视觉及模式识别会议)的“Deeplearning of binary hash codes for fast image retrieval”(基于深度学习及哈希编码的快速图像检索)一文中,经训练后在测试集上准确率可以达到87.3%。
对于测试集,分别使用BIBLE和S3方法对其中的模糊图像进行评价并与主观MOS分数进行对比,绘制散点图如图3,其中x轴表示客观评价指标,y轴表示主观MOS分数。图3中(a)至(c)为BIBLE指标(未经修正)在三个数据库上的性能,(g)到(i)为S3指标(未经修正)在三个数据库上的性能。
为了表明内容分类的必要性,首先不进行内容分类直接使用各数据库上拟合得到的Logistic函数修正BIBLE(图3中(d)至(f))及S3(图3中(j)到(l)),可总结出如下发现:
①每个数据库上的拟合函数形态各异,拟合参数有较大区别;
②修正后的模糊度指标出现了值域截断现象,即由于拟合函数通过最小二乘法得到,因此拟合函数出现在所有散点的中央,其值域小于原始主观评价分数的值域,并且在值域两端趋向饱和,导致修正后的模糊度指标在值域两端出现值域截断现象;
③虽然不进行内容分类的修正能够提高评价指标的总体准确性(总体主客观分数线性相关系数PCC升高,均方差值RMSE降低),但是对轻度到中度损伤范围的评价准确度相对修正前降低。
表1模糊度评价修正模型分类F1(x)拟合参数
表2带主观MOS分数标记的图片质量评价数据库
3.运用模型修正测试集模糊度评价分数
针对上述不经过内容分类而直接进行修正带来的问题,采用本发明提出的基于内容分类的修正方法,其中用于归类的数据库已经在步骤1中构建完毕,并且通过步骤1中训练得到的内容检索网络对测试集进行内容匹配归类。为方便起见,将三个测试集的数据结合在一起,并对比不分类与分类修正的性能差异如图4所示,其中(a)为BIBLE不分类修正,(b)为S3不分类修正,(c)为BIBLE多分类修正,(d)为S3多分类修正;可以发现:
①分类修正相对不分类修正可以进一步提高模糊度指标总体准确性;
②分类修正可以克服不分类修正引起的值域截断现象;
③分类修正可以提高轻度到中度损伤程度的评价准确性,如图4中方框内容所示。
经过对比发现,经过本发明提出的基于内容分类的修正方法修正后的模糊度指标,相比修正前的模糊度指标或不经过分类的直接修正的模糊度指标,均有明显的评价准确率提升。
综上,本发明所述方法可以显著提高图像模糊度评价方法的准确性,并克服实际视频服务中内容类型多样性引起的方法评价性能不稳定。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (6)
1.一种基于内容分类的视频模糊度检测的人眼视觉修正方法,其特征在于所述方法包括如下步骤:
步骤1,内容分类数据库建立
1.1:读取无损的源视频帧及与其相同内容的各程度模糊版本,利用全参考质量评价方法VIF对各模糊视频帧评价打分,得到全参考VIF分值;
1.2:利用无参考图像模糊度检测方法独立对各模糊视频帧评价打分,得到无参考评价分值;
1.3:在全参考VIF分值与无参考评价分值形成的坐标系内,对同一内容视频帧及其各模糊版本对应的数据点进行如下线性拟合:
y=nx+m
其中x为无参考评价分值,取值范围为1~10;y为线性拟合全参考VIF分值,取值范围为1~10,n、m变量为模型参数,n为拟合直线斜率;
1.4:对不同的视频内容,使用与其对应的步骤1.3中得到的拟合直线斜率n进行Kmeans聚类;
1.5:在聚类所得的每个簇内对所有内容的各模糊度版本对应的数据点进行Logistic非线性拟合,函数形式如下形式:
其中x为无参考评价分值,取值范围为1~10,F(x)为非线性拟合VIF评价分值,取值范围为1~10,a1,a2,a3,a4为拟合参数;
1.6:保存聚类所得每个簇内的中心图像即视频帧以及每个簇对应的步骤1.5中的拟合参数;
至此,完成了内容分类数据库的构建,该数据库通过聚类离线数据中不同内容图像对应的全参考评价与无参考评价分数之间的拟合直线斜率n,实现了对不同内容类型图像的分类;
数据库中按类别存储每类图像,以及各类别对应的物理模糊度与人眼主观质量感受之间的关系,该关系由步骤1.5中Logistic函数描述;
步骤2,评分修正:
2.1:读取待评价的模糊损伤视频,通过场景检测选出每个场景的关键帧,同一个场景内的内容可认为基本不变;
2.2:基于步骤1中存储的每个内容簇的中心图像,运用图像内容检索网络将带有模糊损伤的各个场景关键帧进行归类;
2.3:运用与步骤1.2中的相同的无参考质量评价方法对各关键帧进行评价打分,得到无参考模糊度打分;
2.4:将步骤2.3中计算得到的无参考模糊度打分,作为各视频帧所在类别对应的Logistic函数的输入,输出值为修正后无参考模糊度评价得分。
2.根据权利要求1所述的基于内容分类的视频模糊度检测的人眼视觉修正方法,其特征在于:所述步骤1.3中,参数n,m通过全参考质量评价得分对无参考模糊度检测得分进行最小二乘回归计算。
3.根据权利要求1所述的基于内容分类的视频模糊度检测的人眼视觉修正方法,其特征在于:所述步骤1.5中,F(x)中拟合参数a1,a2,a3,a4,通过以下方式确定:
运用全参考质量评价得分对无参考模糊度检测得分进行最小二乘回归计算,求出对应Logistic模型参数。
4.根据权利要求1所述的基于内容分类的视频模糊度检测的人眼视觉修正方法,其特征在于:所述步骤1.6中,被保存的每一个内容簇的中心图像通过如下方式选定:
在步骤1.3中的线性回归斜率聚类所得的簇中,选择聚类中心斜率的k个最近邻对应的内容,具有相同内容的不同模糊度版本视频帧记为1个内容,k值为该簇包含内容总数的5%,保存被选择内容的最优质量版本。
5.根据权利要求1-4任一项所述的基于内容分类的视频模糊度检测的人眼视觉修正方法,其特征在于:所述步骤2.1中,待评价视频不参与步骤1中数据库建立,同时可具有任意程度模糊度损伤。
6.根据权利要求1-4任一项所述的基于内容分类的视频模糊度检测的人眼视觉修正方法,其特征在于:所述步骤2.2中,图像内容检索网络基于步骤1中建立的数据库进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710874527.0A CN107657229B (zh) | 2017-09-25 | 2017-09-25 | 一种基于内容分类的视频模糊度检测人眼视觉修正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710874527.0A CN107657229B (zh) | 2017-09-25 | 2017-09-25 | 一种基于内容分类的视频模糊度检测人眼视觉修正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107657229A CN107657229A (zh) | 2018-02-02 |
CN107657229B true CN107657229B (zh) | 2019-12-17 |
Family
ID=61129914
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710874527.0A Active CN107657229B (zh) | 2017-09-25 | 2017-09-25 | 一种基于内容分类的视频模糊度检测人眼视觉修正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107657229B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111711816B (zh) * | 2020-07-08 | 2022-11-11 | 福州大学 | 基于可察知编码效应强度的视频客观质量评价方法 |
CN112989934B (zh) * | 2021-02-05 | 2024-05-24 | 方战领 | 视频分析方法、装置及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101127926A (zh) * | 2007-09-14 | 2008-02-20 | 西安电子科技大学 | 基于多尺度几何分析的图像质量评测方法 |
-
2017
- 2017-09-25 CN CN201710874527.0A patent/CN107657229B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101127926A (zh) * | 2007-09-14 | 2008-02-20 | 西安电子科技大学 | 基于多尺度几何分析的图像质量评测方法 |
Non-Patent Citations (2)
Title |
---|
No-Reference Image Blur Assessment Based on Discrete Orthogonal Moments;Leida Li等;《IEEE TRANSACTIONS ON CYBERNETICS》;20160131;第46卷(第1期);第39-50页 * |
基于图像信息熵的无参考图像质量评估算法的研究;郑加苏;《中国优秀硕士学位论文全文数据库信息科技辑》;20150915(第9期);第1-71页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107657229A (zh) | 2018-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108090902B (zh) | 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法 | |
Hong et al. | Domain-aware universal style transfer | |
Zheng et al. | No-reference quality assessment for screen content images based on hybrid region features fusion | |
CN110677639B (zh) | 一种基于特征融合和循环神经网络的无参考视频质量评价方法 | |
CN107743225B (zh) | 一种利用多层深度表征进行无参考图像质量预测的方法 | |
CN110782445A (zh) | 无参考图像质量评价方法及系统 | |
CN105357519B (zh) | 基于自相似度特征的无参考立体图像质量客观评价方法 | |
CN107146220B (zh) | 一种通用型无参考图像质量评价方法 | |
CN107657229B (zh) | 一种基于内容分类的视频模糊度检测人眼视觉修正方法 | |
CN111507426A (zh) | 基于视觉融合特征的无参考图像质量分级评价方法及装置 | |
WO2016145571A1 (zh) | 基于条件直方图码书的盲图像质量评价方法 | |
CN112132766A (zh) | 图像的修复方法和装置、存储介质、电子装置 | |
CN112132774A (zh) | 一种色调映射图像的质量评价方法 | |
Yang et al. | EHNQ: Subjective and objective quality evaluation of enhanced night-time images | |
CN111784694A (zh) | 一种基于视觉注意力机制的无参考视频质量评价方法 | |
Ji et al. | No-reference image quality assessment for dehazed images | |
Fang et al. | No reference quality assessment for screen content images | |
Pendhari et al. | Recoloring of visual multimedia using matlab to aid color vision deficient individuals | |
CN112233089B (zh) | 一种无参考立体混合失真图像质量评价方法 | |
CN115272203A (zh) | 一种基于深度学习的无参考图像质量评价方法 | |
Li et al. | Aigiqa-20k: A large database for ai-generated image quality assessment | |
Ma et al. | Reduced-reference stereoscopic image quality assessment based on entropy of gradient primitives | |
CN112634278A (zh) | 基于超像素的恰可察觉失真模型 | |
CN112581461A (zh) | 基于生成网络的无参考图像质量评价方法及装置 | |
CN115457029B (zh) | 一种基于感知特征的水下图像质量测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |