CN107609562B - 一种基于sift算法的尺度空间特征检测方法 - Google Patents
一种基于sift算法的尺度空间特征检测方法 Download PDFInfo
- Publication number
- CN107609562B CN107609562B CN201710827118.5A CN201710827118A CN107609562B CN 107609562 B CN107609562 B CN 107609562B CN 201710827118 A CN201710827118 A CN 201710827118A CN 107609562 B CN107609562 B CN 107609562B
- Authority
- CN
- China
- Prior art keywords
- point
- scale
- value
- extreme
- gaussian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于SIFT算法的尺度空间特征检测方法,涉及图像处理技术领域,包括:建立图像的高斯尺度空间;生成极值差分金字塔;划定极值检测邻域;对极值检测邻域内进行极值检测;对每个像素点赋值,使每个像素点包含该点对应邻域内的有效极值信息;对中赋值后的每个像素点进行筛选,得到潜在极值点;对每个潜在极值点,进行空间极值点检测,得到初步特征点;本发明解决了SIFT算法在图像特征提取方面由于高斯差分金字塔尺度图像上只保存了像素点本身的基本信息,对像素点邻域内有用信息的处理不够全面的问题。
Description
技术领域
本发明涉及数字图像处理领域,具体涉及一种基于SIFT算法的尺度空间特征检测方法。
背景技术
SIFT(Scale Invariant Feature Transform)算法,中文名称为尺度不变特征变换算法,是一种检测局部特征的算法。该算法通过在尺度空间中求取图像中的特征点,并保存该特征点的位置、尺度、旋转不变量等信息,从而进行图像特征点匹配。该算法由DavidLowe在1999年发表,并于2004年进行完善总结后形成一个完整的理论体系。SIFT特征是图像的局部特征,对旋转、尺度缩放和亮度变化能够保持不变性,对视角变化、仿射变换和噪声也能够保持一定程度的稳定性。由于目标的自身状态、场景所处的环境和成像器材的成像特性等因素会影响图像配准或目标识别跟踪的性能,而SIFT算法在一定程度上可解决目标旋转、缩放、平移等关键操作,还可在很大程度上解决光照影响和目标遮挡的问题,所以SIFT算法得到了广泛应用。
虽然SIFT算法在图像特征提取方面拥有如上所述的很多优点,但在某些环节中还存在一些不足,主要体现在:(1)由于高斯差分金字塔尺度图像上只保存了像素点本身的基本信息,像素点邻域内有用信息的处理不够全面;(2)其次,因高斯差分金字塔对图像边缘有很强的响应,因此,会产生一些不稳定特征点;(3)同时,该算法在尺度空间特征检测环节计算量大、过程繁杂导致计算时间长、效率不够高。
发明内容
本发明的目的在于:为解决现有的SIFT算法在图像特征提取方面由于高斯差分金字塔尺度图像上只保存了像素点本身的基本信息,对像素点邻域内有用信息的处理不够全面的问题,本发明提供一种基于SIFT算法的尺度空间特征检测方法。
本发明的技术方案如下:
一种基于SIFT算法的尺度空间特征检测方法,包括如下步骤:
S1,建立图像的高斯尺度空间。
S2,在高斯尺度空间的基础上,生成极值差分金字塔。
S3,以极值差分金字塔当前尺度图像中坐标为(x,y)的点为中心,划定极值检测邻域。
S4,以遍历的方式依次对极值差分金字塔尺度图像中的每个像素点,在以该像素点为中心对应的由S3划定的极值检测邻域内,进行邻域极值检测。
S5,以S4得到的结果为基础对每个像素点赋值,使每个像素点包含该点对应邻域内的有效极值信息。
S6,对S5中赋值后的每个像素点进行筛选,得到潜在极值点。
S7,对S6中得到的每个潜在极值点,进行空间极值点检测,得到初步特征点。
具体的,所述步骤S1具体为:输入原始图像f(x,y),将原始图像在不断降阶采样的基础上进行不同程度的高斯滤波,得到一系列大小不同、尺度不一的图像,这些图像由大到小、从下到上构成了高斯尺度空间。
其中,高斯尺度空间的定义为:L(x,y,σ)=f(x,y)*G(x,y,σ),f(x,y)表示原始图像像素点(x,y)的像素值,G(x,y,σ)表示方差为σ2的高斯核函数,L(x,y,σ)表示尺度参数为σ的尺度图像。其中,高斯金字塔的尺度图像是根据尺度参数公式σs=knσ0依次得出的每一层尺度图像,σ0是原图像对应的尺度参数,k是尺度变化系数。
具体的,所述步骤S2的具体过程为:
由高斯金字塔的相邻两层做减法运算得到高斯差分金字塔,然后在高斯差分金字塔的基础上生成极值差分金字塔,方法为:保持高斯尺度空间的各项参数不变,用一个由四个变量组成的像素值Es(x,y,σ)=(I,Imax,Imin,k)代替原有高斯差分金字塔中对应像素点的像素值Ds(x,y,σ)=I,以保存每个像素点邻域内的有效信息。具体对应关系为:设高斯差分金字塔尺度图像上所有点组成的点集为D={PDi|i=1,2,…,N},第s层尺度图像任意一个像素点PD∈D的像素值为Ds(x,y,σ)=I,则极值差分金字塔尺度图像上所有点组成的点集为E={PEi|i=1,2,…,N},位于第s层尺度图像上的对应点PE∈E的像素值为Es(x,y,σ)=(I,Imax,Imin,k),k=0,1,2,其中,(x,y)表示PD和PE在第s层尺度图像对应点的坐标,σ表示高斯尺度参数,I表示高斯差分金字塔中点Imax、Imin分别表示点PE在S2划定邻域内的最大和最小值,Imax,Imin初始值设置为Imax=Imin=I,k是比较标志位,初始值设置为0。
具体的,所述步骤S3的具体过程为:
对任意点PE,以PE在极值差分金字塔当前尺度图像中坐标为(x,y)为中心取PE邻近的(x-1,y-1),(x,y-1),(x+1,y-1),(x-1,y),(x,y),(x+1,y),(x-1,y+1),(x,y+1),(x+1,y+1),(x,y-2),(x-2,y),(x+2,y),(x,y+2)共13个点,组成PE极值检测邻域O13(PE)。
进一步的,所述步骤S4的具体过程为:
对邻域O13(PE)内全部13个点的ES的I分量采用希尔排序的方法进行比较排序,得到点PE的O13(PE)邻域内最大I值和最小I值,分别设为Imax_13和Imin_13。
进一步的,所述步骤S5具体为:
令Imax=Imax_13,Imin=Imin_13,其中Imax和Imin分别表示邻域O13(PE)的中心点PE的像素值Es,PE的值为Es(x,y,σ)=(I,Imax,Imin,k),其中,I的值保持初值不变,Imax=Imax_13,Imin=Imin_13,当I=Imax_13时,令k=1,I=Imin_13时,令k=2,否则保持初值k=0不变。
进一步的,所述步骤S6的具体过程为:
对PE,若k=0,则PE不是极值点,直接剔除;当且仅当k≠0时,才认为该点是可能的极值点,允许进行S7的空间极值点检测;最后得到的符合k≠0要求的点集设为M={mi|i=1,2,…,n},其中其中,E为极值差分金字塔的点集。
进一步的,所述步骤S7的具体过程为:
设有任意一点该点位于极值差分金字塔第s层内,由S1可知μ1的值Es(x,y,σs)=(I,Imax1,Imin1,k),则μ1对应的位于极值差分金字塔第s-1层上的点μ2的值为Es-1(x,y,σs-1)=(I,Imax1,Imin1,k),μ1对应的位于极值差分金字塔第s+1层上的点μ3的值为Es+1(x,y,σs+1)=(I,Imax3,Imin3,k);
若k=1,当且仅当Imax1>Imax2且Imax1>Imax3时,才确认μ1是真正的极大值点,即初步特征点;同理,若k=2,当且仅当Imin1<Imin2且Imin1<Imin2时,才确认μ1是真正的极小值点,即初步特征点;
至此,所有检测到的符合要求的点μ1组成的的点集便是初步特征点集,尺度空间特征检测完成。
采用上述方案后,本发明的有益效果如下:
(1)、通过建立极值差分金字塔来高效保存尺度图像上每个像素点邻域的有用信息;
(2)、通过重新划分极值检测邻域,有效减少了不稳定特征点的数量,从而提高算法检测质量。
(3)设立比较标志位k来保证快速判断的方法,有效减少了尺度空间特征检测过程中数据采集和分析的时间,从而提高算法的效率。
(4)、通过筛选潜在极值点等方法,对极值检测方法进行了优化改进,高效准确的筛选出了有用极值点,提高了算法的精准度。
附图说明
图1为本发明的过程图。
具体实施方式
下面将结合本发明实施例中的附图,对本实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,其为本发明实施例的基于SIFT算法的尺度空间特征检测方法的流程图,包括如下步骤:
S1,建立图像的高斯尺度空间;
输入原始图像f(x,y),将原始图像在不断降阶采样的基础上进行不同程度的高斯滤波,得到一系列大小不同、尺度不一的图像,这些图像由大到小、从下到上构成了高斯尺度空间;
其中,高斯尺度空间的定义为:L(x,y,σ)=f(x,y)*G(x,y,σ),f(x,y)表示原始图像像素点(x,y)的像素值,G(x,y,σ)表示方差为σ2的高斯核函数,L(x,y,σ)表示尺度参数为σ的尺度图像。其中,高斯金字塔的尺度图像是根据尺度参数公式σs=knσ0依次得出的每一层尺度图像,σ0是原图像对应的尺度参数,k是尺度变化系数。
S2,在高斯尺度空间的基础上,生成极值差分金字塔;
由高斯金字塔的相邻两层做减法运算得到高斯差分金字塔,然后在高斯差分金字塔的基础上生成极值差分金字塔,方法为:保持高斯尺度空间的各项参数不变,用一个由四个变量组成的像素值Es(x,y,σ)=(I,Imax,Imin,k)代替原有高斯差分金字塔中对应像素点的像素值Ds(x,y,σ)=I,以保存每个像素点邻域内的有效信息。具体对应关系为:设高斯差分金字塔尺度图像上所有点组成的点集为D={PDi|i=1,2,…,N},第s层尺度图像任意一个像素点PD∈D的像素值为Ds(x,y,σ)=I,则极值差分金字塔尺度图像上所有点组成的点集为E={PEi|i=1,2,…,N},位于第s层尺度图像上的对应点PE∈E的像素值为Es(x,y,σ)=(I,Imax,Imin,k),k=0,1,2,其中,(x,y)表示PD和PE在第s层尺度图像对应点的坐标,σ表示高斯尺度参数,I表示高斯差分金字塔中点Imax、Imin分别表示点PE在S2划定邻域内的最大和最小值,Imax,Imin初始值设置为Imax=Imin=I,k是比较标志位,初始值设置为0。
S3,以极值差分金字塔当前尺度图像中坐标为(x,y)的点为中心,划定极值检测邻域;
对任意点PE,以PE在极值差分金字塔当前尺度图像中坐标为(x,y)为中心取PE邻近的(x-1,y-1),(x,y-1),(x+1,y-1),(x-1,y),(x,y),(x+1,y),(x-1,y+1),(x,y+1),(x+1,y+1),(x,y-2),(x-2,y),(x+2,y),(x,y+2)共13个点,组成PE极值检测邻域O13(PE)。
S4,以遍历的方式依次对极值差分金字塔尺度图像中的每个像素点,在以该像素点为中心对应的由S3划定的极值检测邻域内,进行邻域极值检测;
对邻域O13(PE)内全部13个点的ES的I分量采用希尔排序的方法进行比较排序,得到点PE的O13(PE)邻域内最大I值和最小I值,分别设为Imax_13和Imin_13。
S5,以S4得到的结果为基础对每个像素点赋值,使每个像素点包含该点对应邻域内的有效极值信息;
令Imax=Imax_13,Imin=Imin_13,其中Imax和Imin分别表示邻域O13(PE)的中心点PE的像素值Es,PE的值为Es(x,y,σ)=(I,Imax,Imin,k),其中,I的值保持初值不变,Imax=Imax_13,Imin=Imin_13,当I=Imax_13时,令k=1,I=Imin_13时,令k=2,否则保持初值k=0不变。
S6,对S5中赋值后的每个像素点进行筛选,得到潜在极值点;
对PE,若k=0,则PE不是极值点,直接剔除;当且仅当k≠0时,才认为该点是可能的极值点,允许进行S7的空间极值点检测;最后得到的符合k≠0要求的点集设为M={mi|i=1,2,…,n},其中其中,E为极值差分金字塔的点集。
S7,对S6中得到的每个潜在极值点,进行空间极值点检测,得到初步特征点。
设有任意一点该点位于极值差分金字塔第s层内,由S1可知μ1的值Es(x,y,σs)=(I,Imax1,Imin1,k),则μ1对应的位于极值差分金字塔第s-1层上的点μ2的值为Es-1(x,y,σs-1)=(I,Imax1,Imin1,k),μ1对应的位于极值差分金字塔第s+1层上的点μ3的值为Es+1(x,y,σs+1)=(I,Imax3,Imin3,k);
若k=1,当且仅当Imax1>Imax2且Imax1>Imax3时,才确认μ1是真正的极大值点,即初步特征点;同理,若k=2,当且仅当Imin1<Imin2且Imin1<Imin2时,才确认μ1是真正的极小值点,即初步特征点;
至此,所有检测到的符合要求的点μ1组成的的点集便是初步特征点集,尺度空间特征检测完成。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
Claims (7)
1.一种基于SIFT算法的尺度空间特征检测方法,其特征在于,包括如下步骤:
S1,建立图像的高斯尺度空间;
S2,生成极值差分金字塔;
S3,划定极值检测邻域;
S4,对极值差分金字塔尺度图像中的每个像素点,在以该像素点为中心对应的由S3划定的极值检测邻域内,进行邻域极值检测;
S5,以S4得到的结果为基础对每个像素点赋值,使每个像素点包含该点对应邻域内的有效极值信息;
S6,对赋值后的每个像素点进行筛选,得到潜在极值点;
S7,对每个潜在极值点,进行空间极值点检测,得到初步特征点;
所述步骤S2的具体过程为:由高斯金字塔的相邻两层做减法运算得到高斯差分金字塔,然后在高斯差分金字塔的基础上生成极值差分金字塔,方法为:保持高斯尺度空间的各项参数不变,用一个由四个变量组成的像素值Es(x,y,σ)=(I,Imax,Imin,k)代替原有高斯差分金字塔中对应像素点的像素值Ds(x,y,σ)=I,以保存每个像素点邻域内的有效信息;具体对应关系为:设高斯差分金字塔尺度图像上所有点组成的点集为D={PDi|i=1,2,…,N},第s层尺度图像任意一个像素点PD∈D的像素值为Ds(x,y,σ)=I,则极值差分金字塔尺度图像上所有点组成的点集为E={PEi|i=1,2,…,N},位于第s层尺度图像上的对应点PE∈E的像素值为Es(x,y,σ)=(I,Imax,Imin,k),k=0,1,2,其中,(x,y)表示PD和PE在第s层尺度图像对应点的坐标,σ表示高斯尺度参数,I表示高斯差分金字塔中的当前像素点,Imax、Imin分别表示点PE在像素点邻域内的最大和最小值,Imax,Imin初始值设置为Imax=Imin=I,k是比较标志位,初始值设置为0。
2.根据权利要求1所述的一种基于SIFT算法的尺度空间特征检测方法,其特征在于,所述步骤S1具体为:输入原始图像f(x,y),将原始图像在不断降阶采样的基础上进行不同程度的高斯滤波,得到一系列大小不同、尺度不一的图像,这些图像由大到小、从下到上构成了高斯尺度空间;
其中,高斯尺度空间的定义为:L(x,y,σ)=f(x,y)*G(x,y,σ),f(x,y)表示原始图像像素点(x,y)的像素值,G(x,y,σ)表示方差为σ2的高斯核函数,L(x,y,σ)表示尺度参数为σ的尺度图像,其中,高斯金字塔的尺度图像是根据尺度参数公式σs=knσ0依次得出的每一层尺度图像,σ0是原图像对应的尺度参数,k是尺度变化系数。
3.根据权利要求1所述的一种基于SIFT算法的尺度空间特征检测方法,其特征在于,所述步骤S3的具体过程为:
对任意点PE,以PE在极值差分金字塔当前尺度图像中坐标(x,y)为中心,取PE邻近的(x-1,y-1),(x,y-1),(x+1,y-1),(x-1,y),(x,y),(x+1,y),(x-1,y+1),(x,y+1),(x+1,y+1),(x,y-2),(x-2,y),(x+2,y),(x,y+2)共13个点,组成PE极值检测邻域O13(PE)。
4.根据权利要求3所述的一种基于SIFT算法的尺度空间特征检测方法,其特征在于,所述步骤S4的具体过程为:
对邻域O13(PE)内全部13个点的ES的I分量采用希尔排序的方法进行比较排序,得到点PE的O13(PE)邻域内最大I值和最小I值,分别设为Imax_13和Imin_13。
5.根据权利要求4所述的一种基于SIFT算法的尺度空间特征检测方法,其特征在于,所述步骤S5具体为:
令Imax=Imax_13,Imin=Imin_13,其中Imax和Imin分别表示邻域O13(PE)的中心点PE的像素值Es,PE的值为Es(x,y,σ)=(I,Imax,Imin,k),其中,I的值保持初值不变,Imax=Imax_13,Imin=Imin_13,当I=Imax_13时,令k=1,I=Imin_13时,令k=2,否则保持初值k=0不变。
7.根据权利要求6所述的一种基于SIFT算法的尺度空间特征检测方法,其特征在于,所述步骤S7的具体过程为:
设有任意一点该点位于极值差分金字塔第s层内,由S1可知μ1的值Es(x,y,σs)=(I,Imax1,Imin1,k),则μ1对应的位于极值差分金字塔第s-1层上的点μ2的值为Es-1(x,y,σs-1)=(I,Imax1,Imin1,k),μ1对应的位于极值差分金字塔第s+1层上的点μ3的值为Es+1(x,y,σs+1)=(I,Imax3,Imin3,k);
若k=1,当且仅当Imax1>Imax2且Imax1>Imax3时,才确认μ1是真正的极大值点,即初步特征点;同理,若k=2,当且仅当Imin1<Imin2且Imin1<Imin3时,才确认μ1是真正的极小值点,即初步特征点;
至此,所有检测到的符合要求的点μ1组成的点集便是初步特征点集,尺度空间特征检测完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710827118.5A CN107609562B (zh) | 2017-09-14 | 2017-09-14 | 一种基于sift算法的尺度空间特征检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710827118.5A CN107609562B (zh) | 2017-09-14 | 2017-09-14 | 一种基于sift算法的尺度空间特征检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107609562A CN107609562A (zh) | 2018-01-19 |
CN107609562B true CN107609562B (zh) | 2020-09-04 |
Family
ID=61062352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710827118.5A Active CN107609562B (zh) | 2017-09-14 | 2017-09-14 | 一种基于sift算法的尺度空间特征检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107609562B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106920239B (zh) * | 2017-03-08 | 2019-10-18 | 福建师范大学 | 一种基于改进sift算法的图像关键点检测方法 |
CN109672115B (zh) * | 2018-12-06 | 2021-01-08 | 国网安徽省电力有限公司黄山供电公司 | 一种基于视频可视化的输电线路电缆排管清障方法和系统 |
CN110705568B (zh) * | 2019-09-18 | 2022-07-26 | 芜湖职业技术学院 | 一种图像特征点提取的优化方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8867844B2 (en) * | 2012-02-01 | 2014-10-21 | Sharp Laboratories Of America, Inc. | Edge based template matching |
CN103136751A (zh) * | 2013-02-05 | 2013-06-05 | 电子科技大学 | 一种改进型sift图像特征匹配算法 |
CN103729654A (zh) * | 2014-01-22 | 2014-04-16 | 青岛新比特电子科技有限公司 | 基于改进sift算法的图像匹配检索系统 |
CN106504237A (zh) * | 2016-09-30 | 2017-03-15 | 上海联影医疗科技有限公司 | 确定匹配点对的方法及图像获取方法 |
-
2017
- 2017-09-14 CN CN201710827118.5A patent/CN107609562B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107609562A (zh) | 2018-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
CN106683119B (zh) | 基于航拍视频图像的运动车辆检测方法 | |
CN109961506A (zh) | 一种融合改进Census图的局部场景三维重建方法 | |
CN107609562B (zh) | 一种基于sift算法的尺度空间特征检测方法 | |
CN111126412B (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
CN103841298B (zh) | 一种基于颜色恒量和几何不变特征的视频稳像方法 | |
CN111553845B (zh) | 一种基于优化的三维重建的快速图像拼接方法 | |
Moghimi et al. | Comparison of keypoint detectors and descriptors for relative radiometric normalization of bitemporal remote sensing images | |
CN113592923B (zh) | 一种基于深度局部特征匹配的批图像配准方法 | |
GB2557035A (en) | IR or thermal image enhancement method based on background information for video analysis | |
JP2005196678A (ja) | テンプレートマッチング方法および対象画像領域抽出装置 | |
CN113128610A (zh) | 一种工业零件位姿估计方法及系统 | |
CN110310305B (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
CN112396053A (zh) | 一种基于级联神经网络的环视鱼眼图像目标检测方法 | |
CN111127353B (zh) | 一种基于块配准和匹配的高动态图像去鬼影方法 | |
Choi et al. | Human detection using image fusion of thermal and visible image with new joint bilateral filter | |
KR101753360B1 (ko) | 시점 변화에 강인한 특징점 정합 방법 | |
CN111179193A (zh) | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 | |
CN116883588A (zh) | 一种大场景下的三维点云快速稠密重建方法及系统 | |
CN113744142B (zh) | 图像修复方法、电子设备及存储介质 | |
CN107886530A (zh) | 一种改进的基于sift特征的图像配准算法 | |
CN107704864B (zh) | 基于图像对象性语义检测的显著目标检测方法 | |
CN108960285B (zh) | 一种分类模型生成方法、舌体图像分类方法及装置 | |
US9641794B2 (en) | Smudge removal | |
CN108364273B (zh) | 一种空间域下的多聚焦图像融合的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |