CN103632369A - 块平均清晰度组合无参考水下图像通用性质量检测方法 - Google Patents
块平均清晰度组合无参考水下图像通用性质量检测方法 Download PDFInfo
- Publication number
- CN103632369A CN103632369A CN201310642987.2A CN201310642987A CN103632369A CN 103632369 A CN103632369 A CN 103632369A CN 201310642987 A CN201310642987 A CN 201310642987A CN 103632369 A CN103632369 A CN 103632369A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- quality
- edge
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种块平均清晰度组合无参考水下图像通用性质量检测方法,该方法对一幅水下图像I,设I的图像质量为Q,Q值越大说明图像中包含目标且更清晰,Q值越小说明水下图像中没有目标或图像模糊;若水下图像中不存在目标,则Q的值为对比度和平均亮度的加权;若图像中边缘检测的总数大于阈值Edge_threhold1,则认为图像中存在目标,若图像块Pi块中的边缘像素数大于阈值Edge_threhold2,则选定为有检测意义的图像块,则Q的值为图像块的清晰度平均值、对比度和平均亮度的加权和。本发明方法可以对所有的水下光视觉灰度图像给出质量检测值,与主观判断一致性好。而现有的部分水下图像质量评价方法仅评价存在目标的水下图像。
Description
技术领域
本发明属于图像处理和分析技术领域,特别是在存在吸收和散射光学衰减的环境中例如水下环境中拍摄图像的处理和分析。涉及水下图像的质量检测,具体涉及一种基于对比度和清晰度的通用性块平均水下图像质量检测方法。
背景技术
图像质量客观评价算法的研究是图像处理和图像分析领域非常基本的科学问题。人们希望找到一种可靠和合理的图像质量客观评价的方法,能够逼近人类视觉系统的评价结果。在水中,光速受温度和盐度变化的影响较小,探测方向性好,定位较准确,同时光波具有能直接二维强度成像、多光谱摄像以及图像分辨率高等特点,能够自动、快速的识别目标。典型的水下视觉图像由于存在照明条件不良及水体对光的吸收效应、散射效应和卷积效应等使得水下图像有较严重的非均匀亮度和细节模糊,而且图像信噪比很低,图像对比度明显变差,易出现假细节、自阴影、假轮廓等。前向散射导致图像特征的模糊,后向散射通常使图像的对比度降低,产生雾状模糊叠加在图像上。吸收和散射不仅仅是由水体本身产生,还包括溶解有机物和小的漂浮粒子影响,漂浮粒子称为“海雪”(在种类和浓度上变化较大)。水下图像采集系统所拍摄的水下图像大多存在以下问题:有限的可视距离、低对比度、非均匀照明、模糊、光斑、色彩丢失和各种复杂因素的噪声。应用传统的计算机视觉方法对水下图像进行处理和分析将面临上述这些问题。随着水下传感器技术水平的不断进步,如何提高水下视频图像信息自动处理能力是解决智能水下监测和水下作业的关键。空气中的图像与水中不同,水下环境中没有原图像可言,对于现场测量得到的水下图像,则我们需要一个无参考或者说盲评价的客观图像质量测评方法,用来在不同环境中定义真实的图像质量。建立这样的标准很重要,计算机系统需要知道什么时候停止,并决定是否已经发现了最好的结果,并且这个“最好”的结果在可比较的水下环境中是可接受的。
水下图像的退化虽然可以应用MTF(Modulation Transfer Function)的建模来描述,通过实验测量水体、微粒的组分等,但实际上,有效性常受限于MTF建模的有效性和小角散射等近似。而对于增强或复原严重退化图像过程中取得的一点点质量的提高,很难判断一种方法比另一种结果更好,而对于实时的和自动的处理,这却是最重要的。目前用于水下图像的质量测量方法非常有限,主要见于各种水下图像复原和增强过程,Schechner and Karpel等人在水下偏振光装置分析中采用对比度度量水下图像质量的标准。但是,水下偏振光分析需要特殊的装置,而且全局对比度的度量方法容易受到噪声和非均匀照明的影响。Hou等人对以后向散射为主,存在噪声的水下目标图像,提出了一种基于加权灰度尺度角(GSA,GrayScale Angle)的图像清晰度评价标准(美国专利US201313856487)。Hou等人提出的WGSA仅对存在有意义目标的水下图像给出评价值,而对于任意一副水下图像,并未有相应的质量评价,且时间复杂度较大。Arnold-Bos等对深海和未知的水生环境实验中,提出了梯度幅值直方图应近似指数分布程度的评价准则,定义了一个0~1之间的鲁棒索引。这种评价方法同样会受到噪声影响,对无目标水下图像无法评价和与视觉主观一致性差的问题。同时,以上方法均针对某种水下图像增强和复原具体应用。
发明内容
本发明要解决的技术问题是针对现有技术的不足,提出一种通用性的水下图像无参考质量评价方法,该方法采用基于归一化对比度分布、平均亮度和块平均清晰度操作的加权组合,适用于各种水下环境,计算复杂度低,灵敏度高,主观一致性好,可以满足实时视频处理的要求。
本发明所要解决的技术问题是通过以下的技术方案来实现的。本发明是一种块平均清晰度组合无参考水下图像通用性质量检测方法,其特点是:
该方法选择全局对比度并基于局部清晰度进行质量检测,将图像边缘检测的结果作为判断是否有目标存在的依据;检测时将有目标的图像划分成一系列图像块,将对有测量价值的图像块进行清晰度评价的平均值和全局对比度及平均亮度的加权和作为对图像质量的度量;当图像中不存在目标的情况下,用对比度可拉伸范围和平均亮度作为衡量图像质量的指标;具体方法步骤如下:
对一幅水下图像I,设I的图像质量为Q,Q值越大说明图像中包含目标且更清晰,Q值越小说明水下图像中没有目标或图像模糊;Q值通过以下式(1)确定:
(1)
式(1)中,T 1为图像的归一化对比度拉伸范围,T 2为平均亮度值,T 3为块平均清晰度,T 3通过式(2)确定:
式(2)中,N edge 为水下图像的边缘数量;
若图像中边缘检测的总数大于阈值Edge_threhold 1,则认为图像中存在目标,将图像划分成N×N大小的图像块;W 1,W 2,W 3为加权系数,W 3=0.5,且W 3 >W 1>W 2,W 1+W 2+W 3 =1,则不存在目标的图像质量测量值小于等于0.5;
L为有检测意义图像块的个数;
若图像块P i 块中的边缘像素数大于Edge_threhold 2,则选定为有检测意义的图像块,通过式(3)确定P i 块内清晰度:
其中,M×N为块大小,f ij 为块内像素(i, j)的灰度值;
阈值Edge_threhold 1、Edge_threhold 2的取值为图像及图像块大小的2-10%。
本发明中:所述的边缘检测优选但不限于采用Sobel检测方法。
在AUV作业的过程中,对目标的观察和记录仍然是主要的任务,因此,本发明将图像边缘检测的结果作为判断是否有目标存在的依据,而目标边缘细节的清晰度反映了人眼对图像的主观感知。同时,为满足实时应用的需要,将目标图像划分成一系列图像块,并对具有评价意义的图像块计算清晰度的平均值作为对图像性能度量的主要部分。当图像中不存在目标的情况下,用对比度可拉伸范围和平均亮度作为衡量图像质量的指标。
与现有技术相比,本发明方法有如下优点:
1.本发明方法可以对所有的水下光视觉灰度图像给出质量检测值,而现有的部分水下图像质量评价方法仅评价存在目标的水下图像;
2.本发明方法对存在目标的图像测量值较高,与人类视觉感知对目标和非目标图像的敏感因素相结合,与主观判断一致性好;
3.本发明方法对目标图像进行分块并行处理,提高了方法实际应用的实时性;
4.本发明方法采用分块边缘判断机制,可减弱水下图像中噪声对目标图像质量判断的影响,具有一定的鲁棒性;
5.本发明方法中计算量小,计算简单,敏感度高;
6.本发明方法采用了加权组合方法,在结合水下视频产品时,可设计进行调节选择,满足不同水下环境的需要。
7.本发明方法可用于实时检测水下增强和复原的效果,并用于水下图像视频采集系统中图像获取质量的检测,并可用于图像采集系统参数的自动调整来获得最佳质量的图像数据;
8.本发明方法不仅仅可以用于水下图像的质量检测,同样适用于其他光学属性与散射和衰减相关的成像介质中,例如雾天、烟雾环境下拍摄的图像检测,本发明方法也可以用于医学成像,用于检测受生物散射介质如血液和组织影响而拍摄的图像。
9.通过本发明方法,海洋系统的操作人员可以优化不同配置的成像系统,对水下成像中不同的后处理方法给出适当的建议;从大量的视频图像中,自动的选择图像可用还是应该丢弃,对于满足实时性的自动分类和识别目标是非常有意义的。特别是,对动态地检测和调整图像质量,自动调整图像采集系统中的参数来获得最佳质量的图像数据。根据质量检测的结果对图像进行图像复原、图像重建、后滤波等进行最优化处理及用作判定图像处理系统的优劣的度量具有重要的价值。
具体实施方式
以下进一步对本发明的技术方案进行描述,使本领域技术人员进一步理解本发明,而不构成对本发明权利的限制。
实施例1,一种块平均清晰度组合无参考水下图像通用性质量检测方法:
该方法选择全局对比度并基于局部清晰度进行质量检测,将图像边缘检测的结果作为判断是否有目标存在的依据;检测时将有目标的图像划分成一系列图像块,将对有测量价值的图像块进行清晰度评价的平均值和全局对比度及平均亮度的加权和作为对图像质量的度量;当图像中不存在目标的情况下,用对比度可拉伸范围和平均亮度作为衡量图像质量的指标;具体方法步骤如下:
对一幅水下图像I,设I的图像质量为Q,Q值越大说明图像中包含目标且更清晰,Q值越小说明水下图像中没有目标或图像模糊;Q值通过以下式(1)确定:
式(1)中,T 1为图像的归一化对比度拉伸范围,T 2为平均亮度值,T 3为块平均清晰度,T 3通过式(2)确定:
式(2)中,N edge 为水下图像的边缘数量;
若图像中边缘检测的总数大于阈值Edge_threhold 1,则认为图像中存在目标,将图像划分成N×N大小的图像块;W 1,W 2,W 3为加权系数,W 3=0.5,且W 3 >W 1>W 2,W 1+W 2+W 3 =1;
L为有检测意义图像块的个数;
若图像块P i 块中的边缘像素数大于Edge_threhold 2,则选定为有检测意义的图像块,通过式(3)确定P i 块内清晰度:
其中,M×N为块大小,f ij 为块内像素(i, j)的灰度值;
阈值Edge_threhold 1、Edge_threhold 2的取值为图像块大小的2-10%。
实施例2,采用实施例1方法对于任意一副水下光视觉灰度图像进行检测实验:
计算归一化的对比度调整范围,计算输入灰度图像的归一化累计直方图,设I_Low为该直方图中从0开始第一个累计分布达到0.01对应的归一化灰度级(0~1),I_High为该直方图中从0开始第一个累计分布达到0.99所对应的归一化灰度级(0~1)。T1=I_High-I_Low。
计算图像归一化灰度级的平均值T2。设图像I的大小为M×N,则归一化灰度级平均值T2为:
对图像进行边缘检测,在本发明实施例中采用Sobel边缘检测的算法得到二值边缘图像,但是本发明中对图像进行边缘检测可采用其他任何单像素宽二值图像边缘检测的方法。
然后,对计算检测到的图像边缘像素数。若检测到的图像边缘像素数大于等于阈值Edge_threhold 1,则判断该图像为存在目标的图像。阈值Edge_threhold 1的选取与水下环境的浑浊程度和图像的分辨率大小有关,本例中阈值Edge_threhold 1等于图像总像素数目的3%。若图像的边缘像素数目小于阈值Edge_threhold 1,则判断该图像不存在目标,即T3=0;
对存在目标的水下图像,根据图像的大小,将图像划分成N×N大小的图像块(块大小的选择可以为32×32,56×56,72×72等),本例中实施图像大小为513×707,N=72。在水中,目标边缘受到光衰减和散射的影响而变得模糊,因此选择包含边缘的图像块来作为评价水下图像质量的对象。对每一个图像块Pi,判断块内边缘像素的数目是否大于阈值Edge_threhold 2,本例中阈值Edge_threhold 2为图像块大小的4%。Pi块内边缘像素的数目大于阈值Edge_threhold 2,则判断Pi为有意义的图像块,计算该图像块Pi的清晰度AG pi 。对所有有意义的图像块,计算块清晰度的均值记为T3。最终,水下图像的质量评价值为T1、T2、T3的加权组合,权值W1,W2,W3体现了三个测量因素对图像质量评价的重要程度,其选择与具体的水下环境有关,但是在三个质量测量部分中,块清晰度作为主要质量测量部分必须具有主要加权系数,同时,对比度拉伸范围即T1的权值大于平均亮度T2的权值,本例中取W1=0.3,W2=0.2,W3=0.5,则不存在目标的图像质量测量值小于等于0.5。
Claims (2)
1.一种块平均清晰度组合无参考水下图像通用性质量检测方法,其特征在于:
该方法选择全局对比度并基于局部清晰度进行质量检测,将图像边缘检测的结果作为判断是否有目标存在的依据;检测时将有目标的图像划分成一系列图像块,将对有测量价值的图像块进行清晰度评价的平均值和全局对比度及平均亮度的加权和作为对图像质量的度量;当图像中不存在目标的情况下,用对比度可拉伸范围和平均亮度作为衡量图像质量的指标;具体方法步骤如下:
对一幅水下图像I,设I的图像质量为Q,Q值越大说明图像中包含目标且更清晰,Q值越小说明水下图像中没有目标或图像模糊;Q值通过以下式(1)确定:
式(1)中,T 1为图像的归一化对比度拉伸范围,T 2为平均亮度值,T 3为块平均清晰度,T 3通过式(2)确定:
式(2)中,N edge 为水下图像的边缘数量;
若图像中边缘检测的总数大于阈值Edge_threhold 1,则认为图像中存在目标,将图像划分成N×N大小的图像块;W 1,W 2,W 3为加权系数,W 3=0.5,且W 3 >W 1>W 2,W 1+W 2+W 3 =1,则不存在目标的图像质量测量值小于等于0.5;
L为有检测意义图像块的个数;
若图像块P i 块中的边缘像素数大于阈值Edge_threhold 2,则选定为有检测意义的图像块,通过式(3)确定P i 块内清晰度:
其中,M×N为块大小,f ij 为块内像素(i, j)的灰度值;
阈值Edge_threhold 1、Edge_threhold 2的取值为图像及图像块大小的2-10%。
2.根据权利要求1所述的方法,其特征在于:所述的边缘检测采用Sobel检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310642987.2A CN103632369B (zh) | 2013-12-05 | 2013-12-05 | 块平均清晰度组合无参考水下图像通用性质量检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310642987.2A CN103632369B (zh) | 2013-12-05 | 2013-12-05 | 块平均清晰度组合无参考水下图像通用性质量检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103632369A true CN103632369A (zh) | 2014-03-12 |
CN103632369B CN103632369B (zh) | 2016-02-03 |
Family
ID=50213386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310642987.2A Active CN103632369B (zh) | 2013-12-05 | 2013-12-05 | 块平均清晰度组合无参考水下图像通用性质量检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103632369B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050678A (zh) * | 2014-07-01 | 2014-09-17 | 淮海工学院 | 水下监测彩色图像质量测量方法 |
CN105809686A (zh) * | 2016-03-08 | 2016-07-27 | 上海敏达网络科技有限公司 | 计算机系统中实现图像清晰度检测的方法 |
CN106127752A (zh) * | 2016-06-20 | 2016-11-16 | 北京小米移动软件有限公司 | 图像质量分析方法和装置 |
CN106131412A (zh) * | 2016-07-12 | 2016-11-16 | 浙江宇视科技有限公司 | 一种图像处理方法、系统及电子设备 |
CN109714591A (zh) * | 2019-01-09 | 2019-05-03 | 淮海工学院 | 基于对测评标签的图像质量主观评价方法及系统 |
CN110378893A (zh) * | 2019-07-24 | 2019-10-25 | 北京市博汇科技股份有限公司 | 图像质量评价方法、装置和电子设备 |
CN111179238A (zh) * | 2019-12-24 | 2020-05-19 | 东华大学 | 面向子集指导一致性增强评价的子集置信比例动态选取方法 |
CN111598884A (zh) * | 2020-05-21 | 2020-08-28 | 北京世纪好未来教育科技有限公司 | 图像数据处理方法、设备及计算机存储介质 |
CN113132626A (zh) * | 2021-03-26 | 2021-07-16 | 联想(北京)有限公司 | 一种图像处理方法以及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101996406A (zh) * | 2010-11-03 | 2011-03-30 | 中国科学院光电技术研究所 | 无参考结构清晰度图像质量评价方法 |
US8086007B2 (en) * | 2007-10-18 | 2011-12-27 | Siemens Aktiengesellschaft | Method and system for human vision model guided medical image quality assessment |
US8279263B2 (en) * | 2009-09-24 | 2012-10-02 | Microsoft Corporation | Mapping psycho-visual characteristics in measuring sharpness feature and blurring artifacts in video streams |
CN102800082A (zh) * | 2012-06-19 | 2012-11-28 | 浙江捷尚视觉科技有限公司 | 一种无参考的图像清晰度检测方法 |
-
2013
- 2013-12-05 CN CN201310642987.2A patent/CN103632369B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8086007B2 (en) * | 2007-10-18 | 2011-12-27 | Siemens Aktiengesellschaft | Method and system for human vision model guided medical image quality assessment |
US8279263B2 (en) * | 2009-09-24 | 2012-10-02 | Microsoft Corporation | Mapping psycho-visual characteristics in measuring sharpness feature and blurring artifacts in video streams |
CN101996406A (zh) * | 2010-11-03 | 2011-03-30 | 中国科学院光电技术研究所 | 无参考结构清晰度图像质量评价方法 |
CN102800082A (zh) * | 2012-06-19 | 2012-11-28 | 浙江捷尚视觉科技有限公司 | 一种无参考的图像清晰度检测方法 |
Non-Patent Citations (4)
Title |
---|
NIRANJAN D. NARVEKAR 等: "A NO-REFERENCE PERCEPTUAL IMAGE SHARPNESS METRIC BASED ON A CUMULATIVE PROBABILITY OF BLUR DETECTION", 《QUALITY OF MULTIMEDIA EXPERIENCE,2009. QOMEX 2009. INTERNATIONALWORKSHOP ON》 * |
RONY FERZLI 等: "A No-Reference Objective Image Sharpness Metric Based on the Notion of Just Noticeable Blur(JNB)", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
张亚涛 等: "基于区域对比度的图像清晰度评价算法", 《应用光学》 * |
李祚林 等: "面向无参考图像的清晰度评价方法研究", 《遥感技术与应用》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050678A (zh) * | 2014-07-01 | 2014-09-17 | 淮海工学院 | 水下监测彩色图像质量测量方法 |
CN105809686A (zh) * | 2016-03-08 | 2016-07-27 | 上海敏达网络科技有限公司 | 计算机系统中实现图像清晰度检测的方法 |
CN105809686B (zh) * | 2016-03-08 | 2019-02-19 | 上海敏达网络科技有限公司 | 计算机系统中实现图像清晰度检测的方法 |
CN106127752A (zh) * | 2016-06-20 | 2016-11-16 | 北京小米移动软件有限公司 | 图像质量分析方法和装置 |
CN106131412A (zh) * | 2016-07-12 | 2016-11-16 | 浙江宇视科技有限公司 | 一种图像处理方法、系统及电子设备 |
CN106131412B (zh) * | 2016-07-12 | 2019-04-30 | 浙江宇视科技有限公司 | 一种图像处理方法、系统及电子设备 |
CN109714591A (zh) * | 2019-01-09 | 2019-05-03 | 淮海工学院 | 基于对测评标签的图像质量主观评价方法及系统 |
CN110378893A (zh) * | 2019-07-24 | 2019-10-25 | 北京市博汇科技股份有限公司 | 图像质量评价方法、装置和电子设备 |
CN110378893B (zh) * | 2019-07-24 | 2021-11-16 | 北京市博汇科技股份有限公司 | 图像质量评价方法、装置和电子设备 |
CN111179238A (zh) * | 2019-12-24 | 2020-05-19 | 东华大学 | 面向子集指导一致性增强评价的子集置信比例动态选取方法 |
CN111179238B (zh) * | 2019-12-24 | 2022-12-20 | 东华大学 | 面向水下图像集指导一致性增强评价的子集置信比例动态选取方法 |
CN111598884A (zh) * | 2020-05-21 | 2020-08-28 | 北京世纪好未来教育科技有限公司 | 图像数据处理方法、设备及计算机存储介质 |
CN113132626A (zh) * | 2021-03-26 | 2021-07-16 | 联想(北京)有限公司 | 一种图像处理方法以及电子设备 |
CN113132626B (zh) * | 2021-03-26 | 2022-05-31 | 联想(北京)有限公司 | 一种图像处理方法以及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN103632369B (zh) | 2016-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103617617B (zh) | 基于功率谱描述的水下图像质量评价测量方法 | |
CN103632369A (zh) | 块平均清晰度组合无参考水下图像通用性质量检测方法 | |
Satat et al. | Towards photography through realistic fog | |
Li et al. | Haze visibility enhancement: A survey and quantitative benchmarking | |
CN100510774C (zh) | 一种合成孔径雷达图像自适应斑点噪声抑制方法 | |
CN111062293B (zh) | 一种基于深度学习的无人机森林火焰识别方法 | |
CN101819024B (zh) | 一种基于机器视觉的二维位移检测方法 | |
CN106204524A (zh) | 一种评价图像质量的方法及装置 | |
CN102404602A (zh) | 一种基于清晰度测试卡的摄像机清晰度检测方法 | |
CN111611907B (zh) | 一种图像增强的红外目标检测方法 | |
CN104363815A (zh) | 图像处理装置、图像处理方法以及图像处理程序 | |
CN106128121A (zh) | 基于局部特征分析的车辆排队长度快速检测算法 | |
CN115862259B (zh) | 一种基于温度监测的火警预警系统 | |
CN106709903A (zh) | 基于图像质量的pm2.5浓度预测方法 | |
Fang et al. | Image quality assessment on image haze removal | |
CN105787912A (zh) | 一种基于分类的阶跃型边缘亚像素定位方法 | |
CN104050678A (zh) | 水下监测彩色图像质量测量方法 | |
CN109272484A (zh) | 一种基于视频图像的降雨检测方法 | |
CN101510306B (zh) | 一种视频图像照度分布估计方法 | |
CN105469413A (zh) | 一种基于归一化振铃加权的无参考模糊复原图像综合质量评估方法 | |
TWI465699B (zh) | 水位量測方法 | |
CN117522833A (zh) | 一种摄像头解像力评估方法、装置、电子设备及存储介质 | |
CN115511751A (zh) | 一种事件流异常事件滤除效果的评估方法 | |
CN113834447A (zh) | 一种户外复杂环境下高动态激光光条自适应成像处理方法 | |
Li et al. | Haze density estimation and dark channel prior based image defogging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |