CN110111302B - 基于多方向差异Hash算法的背景杂波度量方法 - Google Patents

基于多方向差异Hash算法的背景杂波度量方法 Download PDF

Info

Publication number
CN110111302B
CN110111302B CN201910242608.8A CN201910242608A CN110111302B CN 110111302 B CN110111302 B CN 110111302B CN 201910242608 A CN201910242608 A CN 201910242608A CN 110111302 B CN110111302 B CN 110111302B
Authority
CN
China
Prior art keywords
image
background
multidirectional
difference hash
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910242608.8A
Other languages
English (en)
Other versions
CN110111302A (zh
Inventor
周肃
宋勇
赵宇飞
张大勇
王稳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Borui Weixin Technology Co ltd
Beijing Institute of Technology BIT
Original Assignee
Beijing Borui Weixin Technology Co ltd
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Borui Weixin Technology Co ltd, Beijing Institute of Technology BIT filed Critical Beijing Borui Weixin Technology Co ltd
Priority to CN201910242608.8A priority Critical patent/CN110111302B/zh
Publication of CN110111302A publication Critical patent/CN110111302A/zh
Application granted granted Critical
Publication of CN110111302B publication Critical patent/CN110111302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种背景杂波度量方法,具体涉及一种基于多方向差异Hash算法的背景杂波度量方法,属于计算机视觉领域关键技术之一。本发明提出一种基于多方向差异Hash算法的背景杂波度量方法,该方法利用多方向差异Hash算法表征目标图像与背景图像的相似度,进而得到整幅图像的基于多方向差异Hash算法的图像背景杂波尺度,整个过程不存在阈值选择问题,计算结果唯一,同时,利用本发明公开的一种基于多方向差异Hash算法的背景杂波度量方法对Search_2数据库进行实验,结果表明所公开的方法具有较高的目标获取性能的预测精度。

Description

基于多方向差异Hash算法的背景杂波度量方法
技术领域
本发明涉及一种背景杂波度量方法,具体涉及一种基于多方向差异Hash算法的背景杂波度量方法,属于计算机视觉领域关键技术之一。
背景技术
图像背景杂波严重影响目标获取性能,图像背景杂波的量化在目标获取性能中起着重要作用。首先,它可用于预测目标获取性能,例如获取概率,误报概率和搜索时间。其次,它还可以用于开发现有光电成像系统性能预测模型的校正模型。
如何提高目标获取性能模型的预测精度,具体地可以归结为:准确、有效地定量表征图像杂波。已有的图像杂波度量方法可以分为两大类,一类是单纯地利用图像的统计信息为基础而构建出的杂波度量,如Schmieder等于1983年提出的统计方差(statisticalvariance,SV)模型以及在SV模型的基础上衍生出来的杂波尺度如Silk统计方差尺度(silkstatistical variance,SSV)等,该类模型定义简单、易于计算、适用于大多数自然地形,但对复杂杂波图像的表征描述不够准确。另一类为基于人眼视觉基本特性的杂波度量方法,该类方法采用一个通用框架进行计算:首先将输入图像中的目标部分提取出来作为目标图像块;然后将图像的剩余部分作为背景部分,并按照目标图像块的尺寸将其分为多个背景图像块;接着计算目标图像块与每个背景图像块之间的相似度;最后进行综合得到图像中目标部分与背景部分的相似度,用以表示图像的杂波尺度。其中在计算目标与背景的相似度时,采用了不同的图像特征,主要包括:(1)边缘概率(probability of edge,POE)、边缘强度(edge strength,ES)、峰值信号(peak signal,PS)等。这类杂波度量在表征过程中都有阈值选择问题,需根据每幅图像的具体状况具体确定,所以不同观察者所得到的计算结果不具可比性。(2)共生矩阵(co-occurrence matrix,COM)。该类杂波度量仅适用于图像中目标具有明显纹理分布的场景,因需要多次计算共生矩阵,计算量大,且有阈值选择问题。(3)目标结构相似性(target structural similarity metric,TSSIM),这类杂波度量没有阈值选择问题,计算简单易行,结果唯一,但只简单地利用均值、标准差,因此对复杂杂波图像描述不够准确。
另外,对图像杂波度量尺度的评价通常采用Search_2数据库进行实验。Search_2数据库提供了44幅高清彩色图像及所对应的具体场景数据和观察者给出的主观探测性能结果[Alexander Toet and Piet Bijl.Image dataset for testing search anddetection models.Optical Engineering,40(9):1760–1767,2001.]。通过计算所得到的图像杂波尺度值与Search_2数据库中所提供的主观探测性能之间的相关系数(Pearson线性相关系数rp、Spearman秩相关系数rs以及Kendall相关系数rk)来评价该杂波尺度的精度。
发明内容
本发明的目的是为了解决现有技术存在的对复杂杂波图像杂波度量不够准确的问题,本发明提供一种基于多方向差异Hash算法的背景杂波度量方法,该方法通过一种多方向差异Hash算法来计算图像中目标部分与背景部分的相似程度,从而计算出整幅图像的图像背景杂波程度,整个过程不涉及阈值选择的问题,同时可以比较准确的描述复杂杂波图像的背景杂波程度。
本发明的目的是通过下述技术方案实现的。
基于多方向差异Hash算法的背景杂波度量方法,具体包括如下步骤:
步骤一:从输入图像中选取出目标部分,确定目标图像的响应尺度;然后将输入图像中目标图像部分处理成黑色,作为背景图像并将其分成N个小单元,各个单元在水平和竖直方向的尺度是目标图像响应尺度的2倍。将目标图像记为T,背景小单元记为Bj,其中,j=1,2,…,N。在对图像进行分块的过程中,使用重叠分块的方法,横纵两个方向上相邻两个图像块的重叠区域均占图像块总面积的1/2;
步骤二:分别计算目标图像T与步骤一中所得到的N个背景小单元B1,B2,…,BN的多方向差异Hash值,分别记为HT和HB1,HB2,…,HBN
1)调整背景图像和目标图像,使二者的尺寸相吻合;
2)计算步骤一调整后的背景图像和目标图像的横向、纵向、斜上向以及斜下向四个方向的差异Hash值;
横向差异Hash值:
Figure BDA0002010126290000031
纵向差异Hash值:
Figure BDA0002010126290000032
斜上向差异Hash值:
Figure BDA0002010126290000033
斜下向差异Hash值:
Figure BDA0002010126290000034
其中,G(x,y)是(x,y)位置的灰度值,G(x,y+1)、G(x+1,y)、G(x+1,y-1)和G(x+1,y+1)分别是是(x,y+1)、(x+1,y)、(x+1,y-1)和(x+1,y+1)位置的灰度值,H1(x,y)、H2(x,y)、H3(x,y)和H4(x,y)分别是(x,y)位置的横向、纵向、斜上向和斜下向差异Hash值。
3)对四个方向的差异Hash值H1,H2,H3,H4进行或运算,能够得到步骤一调整后的背景图像和目标图像的多方向差异Hash值HT和HB1,HB2,…,HBN
步骤三:计算目标图像T与N个背景小单元B1,B2,…,BN的相似程度;分别利用目标图像的多方向差异Hash值HT与各个背景小单元的差异Hash值HB1,HB2,…,HBN的汉明距离D(T,Bj),(j=1,2,…,N)来表示,D(T,Bj)越大,则两者的相似程度越低;
步骤四:对步骤三得到的N个汉明距离D(T,Bj)求平均值,即得到背景杂波度量结果;如式(5)所示
Figure BDA0002010126290000035
有益效果:
1、本发明的方法无需选择阈值。本发明利用多方向差异Hash算法表征目标图像与背景图像的相似度,进而得到整幅图像的基于多方向差异Hash算法的背景杂波尺度,整个过程不存在阈值选择问题,计算结果唯一。
2、本发明的方法具有较高的目标获取性能的预测精度。本发明公开的一种所提出的基于多方向差异Hash算法的背景杂波度量方法与观察者的实际目标探测概率、虚警率具有较好的一致性,具体来说,与目标探测概率的三种相关度达到了0.7732(rp),0.6119(rk),0.7743(rs),与虚警率的三种相关度达到了0.7771(rp),0.6235(rk),0.7868(rs),数据表明本发明所公开的一种所提出的基于多方向差异Hash算法的背景杂波度量方法具有较高的目标获取性能的预测精度。
附图说明
图1本发明所公布的基于多方向差异Hash算法的背景杂波度量方法流程图;
图2本发明所公布的多方向差异Hash算法中各像素的位置关系,其中图a为当前像素位置,图b为其横向对比像素位置,图c为其纵向对比像素位置,图d为其斜上向对比像素位置,图e为其斜下向对比像素位置;
图3 search_2数据集中第5幅图像,其中a为图中的目标;
图4三种背景杂波尺度(本发明所公布的背景杂波尺度与对比背景杂波尺度SV和TSSIM)分别和目标探测概率与虚警率的拟合曲线;其中图a为SV与目标探测概率的拟合曲线;图b为SV与虚警率的拟合曲线;图c为TSSIM与目标探测概率的拟合曲线;图d为TSSIM与虚警率的拟合曲线;图e为本发明所公布的背景杂波尺度与目标探测概率的拟合曲线;图f为本发明所公布的目标探测概率与虚警率的拟合曲线。
具体实施方式
为了更好的说明本发明的目的和优点,下面结合附图和实例对发明内容做进一步说明。
本实施例以如图3所示的Search_2数据库中的第5幅图像为例,公开一种基于多方向差异Hash算法的背景杂波度量方法,具体包括如下步骤:
步骤一:从输入图像中选取出目标部分,如图3a所示,确定目标图像的响应尺度(332×199);然后将输入图像中目标图像部分处理成黑色,作为背景图像并将其分成380个小单元,各个单元在水平和竖直方向的尺度是目标图像响应尺度的2倍,即664×398。将目标图像记为T,背景小单元记为Bj,其中,j=1,2,…,380。在对图像进行分块的过程中,使用重叠分块的方法,将图像左上角作为起始位置,横纵两个方向上相邻两个图像块的重叠区域均占图像块总面积的1/2;
步骤二:分别计算目标图像T与步骤一中所得到的380个背景小单元B1,B2,…,B380的多方向差异Hash值,分别记为HT和HB1,HB2,…,HBXXX
1)调整背景图像和目标图像的尺寸为200×200;
2)分别利用公式(1)-(4)计算步骤一调整后的背景图像和目标图像的横向、纵向、斜上向以及斜下向四个方向的差异Hash值H1,H2,H3,H4
3)对四个方向的差异Hash值H1,H2,H3,H4进行或运算,能够得到步骤一调整后的背景图像和目标图像的多方向差异Hash值HT和HB1,HB2,…,HB380
步骤三:计算目标图像的多方向差异Hash值HT与各个背景小单元的差异Hash值HB1,HB2,…,HB380的汉明距离D(T,Bj),(j=1,2,…,380),从而得到目标图像T与380个背景小单元B1,B2,…,B380的相似程度;
步骤四:利用公式(5)求步骤三得到的380个汉明距离D(T,Bj)的平均值,即得到背景杂波度量结果,结果为0.9233。
利用search_2数据库中的44幅图像进行仿真实验,由于在本发明中只考虑单目标,所以去除search_2数据库中第7、15、23、26四幅图像,因为在这些图像中均发现了两个目标。另外,由于第39幅图像的探测概率太低,只有14.5%(而其他图像的探测概率最低的也有48.4%),因此第39幅图像也被去除。用剩余的39幅图像的实验数据来作为杂波尺度评估的依据。
在本实施例中,采用Pearson线性相关系数(rp)、Spearman秩相关系数(rs)以及Kendall相关系数(rk)三个性能评价测度来分别进行上述三种背景杂波尺度和探测概率与虚警率之间的相关度评价,结果分别如表2,3所示。
表1三种背景杂波尺度和探测概率的相关度
Figure BDA0002010126290000051
表2三种背景杂波尺度和虚警率的相关度
Figure BDA0002010126290000052
由表1可以看出,对于三种相关度评价测度,本发明所提出的方法(Hash)与探测概率的相关度均大于其他两种背景杂波尺度尺度(SV与TSSIM),同理,由表2可以看出,本发明所提出的方法(Hash)与虚警率的相关度均大于其他两种背景杂波尺度尺度(SV与TSSIM),说明了本发明所公开的基于多方向差异Hash算法的背景杂波度量方法具有较高的目标获取性能的预测精度。
此外,对于图4中三个杂波度量分别与目标探测概率和目标虚警率的拟合曲线,其拟合程度可以用SSE(和方差),R-square(决定系数),Adjusted R-square(校正决定系数)和RMSE(均方根误差)四个测度来进行评价。
三个杂波度量值SV、TSSIM和Hash分别与目标探测概率和目标虚警率的拟合曲线的SSE、R-square、Adjusted R-square和RMSE如表4、5所示。
表4各杂波度量与目标探测概率的拟合程度指标
Figure BDA0002010126290000061
表5各杂波度量与目标虚警率的拟合程度指标
Figure BDA0002010126290000062
从表4可以看出,对于SSE来说,本发明所公开的方法Hash(0.1306)小于对比方法SV(0.3687)和TSSIM(0.4672);对于R-square来说,所提出的方法Hash(0.7539)高于对比方法SV(0.3053)和TSSIM(0.1197)更高;对于Adjusted R-square来说,所提出的方法Hash(0.7472)相高于对比方法SV(0.2866)和TSSIM(0.0959);对于RMSE来说,所提出的方法Hash(0.05942)小于对比方法SV(0.0998)和TSSIM(0.1124)。这些指标都证明了本发明所公开的方法与目标探测概率的拟合程度更高。同样的,如表5所示,相比与对比方法SV和TSSIM,本发明所公开的方法与目标虚警率的拟合程度也更高。
在实际工程应用中,光电成像系统在目标获取过程中,图像中的杂波会模糊或干扰所要获取的目标,从而严重影响目标获取性能。因此,图像背景杂波的量化在评估光电成像系统的目标获取性能中起着重要作用。本发明所公开的基于多方向差异Hash算法的背景杂波度量方法可以精确的度量图像的背景杂波,具有较高的目标获取性能的预测精度,在建立光电成像系统性能预测模型方面具有重要意义。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (2)

1.基于多方向差异Hash算法的背景杂波度量方法,其特征在于:具体包括如下步骤:
步骤一:从输入图像中选取出目标部分,确定目标图像的响应尺度;然后将输入图像中目标图像部分处理成黑色,作为背景图像并将其分成N个小单元,各个单元在水平和竖直方向的尺度是目标图像响应尺度的2倍;将目标图像记为T,背景小单元记为Bj,其中,j=1,2,…,N;在对图像进行分块的过程中,使用重叠分块的方法;
步骤二:分别计算目标图像T与步骤一中所得到的N个背景小单元B1,B2,…,BN的多方向差异Hash值,分别记为HT和HB1,HB2,…,HBN
1)调整步骤一中得到的背景图像和目标图像,使二者的尺寸相吻合;
2)计算1)中经过尺寸调整后的背景图像和目标图像的横向、纵向、斜上向以及斜下向四个方向的差异Hash值;
横向差异Hash值:
Figure FDA0002896692570000011
纵向差异Hash值:
Figure FDA0002896692570000012
斜上向差异Hash值:
Figure FDA0002896692570000013
斜下向差异Hash值:
Figure FDA0002896692570000014
其中,G(x,y)是(x,y)位置的灰度值,G(x,y+1)、G(x+1,y)、G(x+1,y-1)和G(x+1,y+1)分别是是(x,y+1)、(x+1,y)、(x+1,y-1)和(x+1,y+1)位置的灰度值,H1(x,y)、H2(x,y)、H3(x,y)和H4(x,y)分别是(x,y)位置的横向、纵向、斜上向和斜下向差异Hash值;
3)对四个方向的差异Hash值H1,H2,H3,H4进行或运算,能够得到1)中经过尺寸调整后的背景图像和目标图像的多方向差异Hash值HT和HB1,HB2,…,HBN
步骤三:计算目标图像T与N个背景小单元B1,B2,…,BN的相似程度;分别利用目标图像的多方向差异Hash值HT与各个背景小单元的差异Hash值HB1,HB2,…,HBN的汉明距离D(T,Bj),j=1,2,…,N来表示,D(T,Bj)越大,则两者的相似程度越低;
步骤四:对步骤三得到的N个汉明距离D(T,Bj)求平均值,即得到背景杂波度量结果;如式(5)所示
Figure FDA0002896692570000021
2.如权利要求1所述的基于多方向差异Hash算法的背景杂波度量方法,其特征在于:所述重叠分块方法的原则是:横纵两个方向上相邻两个图像块的重叠区域均占图像块总面积的1/2。
CN201910242608.8A 2019-03-28 2019-03-28 基于多方向差异Hash算法的背景杂波度量方法 Active CN110111302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910242608.8A CN110111302B (zh) 2019-03-28 2019-03-28 基于多方向差异Hash算法的背景杂波度量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910242608.8A CN110111302B (zh) 2019-03-28 2019-03-28 基于多方向差异Hash算法的背景杂波度量方法

Publications (2)

Publication Number Publication Date
CN110111302A CN110111302A (zh) 2019-08-09
CN110111302B true CN110111302B (zh) 2021-03-05

Family

ID=67484733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910242608.8A Active CN110111302B (zh) 2019-03-28 2019-03-28 基于多方向差异Hash算法的背景杂波度量方法

Country Status (1)

Country Link
CN (1) CN110111302B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6691126B1 (en) * 2000-06-14 2004-02-10 International Business Machines Corporation Method and apparatus for locating multi-region objects in an image or video database
CN105654452A (zh) * 2014-11-10 2016-06-08 中国科学院沈阳自动化研究所 一种基于边缘结构的背景杂波度量方法
CN106600616A (zh) * 2016-12-19 2017-04-26 中国科学院长春光学精密机械与物理研究所 一种图像背景杂波度量方法及系统
CN107704802A (zh) * 2017-08-24 2018-02-16 西安电子科技大学 高光谱图像杂波的度量及异常检测算法的性能预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3467700B1 (en) * 2014-11-18 2022-05-04 Cognex Corporation Systems and methods for decoding two-dimensional matrix symbols

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6691126B1 (en) * 2000-06-14 2004-02-10 International Business Machines Corporation Method and apparatus for locating multi-region objects in an image or video database
CN105654452A (zh) * 2014-11-10 2016-06-08 中国科学院沈阳自动化研究所 一种基于边缘结构的背景杂波度量方法
CN106600616A (zh) * 2016-12-19 2017-04-26 中国科学院长春光学精密机械与物理研究所 一种图像背景杂波度量方法及系统
CN107704802A (zh) * 2017-08-24 2018-02-16 西安电子科技大学 高光谱图像杂波的度量及异常检测算法的性能预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A New Real Time Object Segmentation and Tracking Algorithm and its Parallel Hardware Architecture;MAHMOUD MERIBOUT et.al;《Journal of VLSI signal processing systems for signal, image and video technology》;20050301;249-265 *
目标跟踪算法的相关技术研究;王萌萌;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180615;I138-1834 *

Also Published As

Publication number Publication date
CN110111302A (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
CN115082467B (zh) 基于计算机视觉的建材焊接表面缺陷检测方法
CN102609904B (zh) 双变量非局部平均滤波x射线图像消噪方法
CN109544592B (zh) 针对相机移动的运动目标检测算法
CN101976444B (zh) 一种基于像素类型的结构类似性图像质量客观评价方法
CN106408561A (zh) 一种基于图像纹理特征的无参考图像质量评价方法
CN107492120B (zh) 点云配准方法
CN107239477B (zh) 一种融合空间相关性的地理数据支持向量回归方法
CN109788275A (zh) 自然性、结构和双目不对称无参考立体图像质量评价方法
CN110503137B (zh) 基于交叉融合的遥感影像时空融合基础图像对的确定方法
CN104881867A (zh) 一种基于特征分布的遥感图像质量评价方法
CN104103064A (zh) 基于梯度相似度的无参考噪声图像质量评价方法
CN111144377A (zh) 一种基于人群计数算法的密集区域预警方法
CN105654452A (zh) 一种基于边缘结构的背景杂波度量方法
CN106960433B (zh) 一种基于图像熵以及边缘的全参考声纳图像质量评测方法
CN111582270A (zh) 基于高精度的桥梁区域视觉靶标特征点的识别追踪方法
CN113222902B (zh) 一种无参考图像质量评价方法及系统
CN112748735B (zh) 一种引入颜色特征的扩展目标跟踪方法
CN111612734B (zh) 一种基于图像结构复杂度的背景杂波表征方法
CN110111302B (zh) 基于多方向差异Hash算法的背景杂波度量方法
CN111506624B (zh) 一种电力缺失数据辨识方法和相关装置
CN110070304B (zh) 一种大数据资产质量评估方法
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
CN109685757B (zh) 一种基于灰度差分统计的无参考图像质量评价方法及系统
CN101477538B (zh) 一种三维对象检索的方法和装置
CN114708432B (zh) 基于规则网格离散化目标分割区域的加权度量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant