CN109670547A - 一种多尺度序列图像匹配的位置识别定位方法 - Google Patents
一种多尺度序列图像匹配的位置识别定位方法 Download PDFInfo
- Publication number
- CN109670547A CN109670547A CN201811556911.7A CN201811556911A CN109670547A CN 109670547 A CN109670547 A CN 109670547A CN 201811556911 A CN201811556911 A CN 201811556911A CN 109670547 A CN109670547 A CN 109670547A
- Authority
- CN
- China
- Prior art keywords
- image
- grid
- correlation matrix
- scale
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Abstract
本发明实施例涉及视觉导航技术领域,具体公开了一种多尺度序列图像匹配的位置识别定位方法,包括利用多尺度网格对模板匹配区域按照位置顺序进行多尺度编码,根据编码对应的网格在模板匹配区域上覆盖的面积得到编码图像;利用多尺度网格对被识别图像和与多尺寸网格对应的编码图像进行多尺度图像匹配,得到目标图像识别相关矩阵;根据目标图像识别相关矩阵,利用多帧序列图像对多尺度网格所对应的编码图像进行匹配识别,求解最优识别定位结果。本发明利用多个不同尺度和多帧序列图像信息,能够充分表达复杂环境的空间场景信息,有效降低识别错误率,具有原理简单、适应性强、位置识别正确率高的优势,在视觉导航技术领域具有广阔的应用前景。
Description
技术领域
本发明涉及视觉导航技术领域,尤其涉及一种多尺度序列图像匹配的位置识别定位方法。
背景技术
位置识别定位是视觉导航技术领域的关键技术之一,主要通过识别匹配当前图像场景获取位置信息,从而进行闭环检测,以修正系统的累积误差,在机器导航同步定位与建图中发挥着重要作用。识别机制是影响正确位置识别性能的重要因素,研究表明啮齿类动物在进行环境识别时,海马区网格细胞呈现离散的、多尺度的重叠激活状态,其中网格细胞的多尺度的激活状态所编码的外部环境从几十平方厘米到十几平方米。借鉴动物网格细胞的识别激活特性,研究适用于大范围复杂运动环境的位置识别技术,对于无人驾驶、无人机侦察等技术领域具有广泛应用前景。
多尺度序列图像匹配的位置识别定位方法,采用多个同质可分的尺度表达环境和识别,并利用载体的运动序列信息辅助识别,与传统的单尺度位置识别方法相比,能够更加充分的表达外部环境,对于外部结构变化的鲁邦性更强,并且利用序列图像信息辅助位置识别,可有效克服单帧图像识别所带来的不确定性,从而能够显著地提高位置识别的正确率。从目前公开发表的文献看,鲜有文献对多尺度序列图像匹配的位置识别定位方法进行深入研究,尤其是在大范围的复杂环境中,外部环境场景相似性较高,环境结构随时间易发生改变,因此需要寻求一种能够在复杂环境中实现鲁邦性强、正确率高的位置识别定位方法。
发明内容
本发明所要解决的技术问题是在复杂环境中如何实现正确率高、鲁棒性强的位置识别定位。
为解决上述技术问题,本发明实施例提出了一种多尺度序列图像匹配的位置识别定位方法,包括步骤:(1)利用多尺度网格对模板匹配区域按照位置顺序进行多尺度编码,根据所述编码对应的网格在所述模板匹配区域上覆盖的面积得到编码图像;(2)利用所述多尺度网格对被识别图像和与所述多尺度网格对应的所述编码图像进行多尺度图像匹配,得到目标图像识别相关矩阵;(3)根据所述目标图像识别相关矩阵,利用多帧序列图像对所述多尺度网格所对应的编码图像进行匹配识别,获得最优识别定位结果。
在本发明其中一个实施例中,所述步骤(1)包括:在所述模板匹配区域内,按照预设间隔分别沿着横向坐标轴和纵向坐标轴均匀的构建网格中心;按照所述网格中的位置进行编码获得多尺度编码,以及以所述网格中心为圆心,以所述多个不同尺度为半径,在所述模板匹配区域中获取与所述编码对应的编码图像。
在本发明其中一个实施例中,所述网格中心的坐标为:
其中,i与j分别为所述网格中心的横向序号和纵向序号,xij和yij分别为所述网格中心的横坐标和纵坐标,x11和y11分别为第一个所述网格中心的横坐标和纵坐标,N为所述网格中心的个数,Δr为所述预设间隔。
在本发明其中一个实施例中,所述步骤(2)包括:按照所述编码的顺序提取与所述编码对应的所述编码图像的SIFT特征向量和所述被识别图像的SIFT特征向量;以及根据所述编码图像的SIFT特征向量和所述被识别图像的SIFT特征向量之间的差值,得到稀疏的图像识别相关矩阵;以及根据所述网格中心的位置坐标对所述稀疏的图像识别相关矩阵进行线性插值,得到稠密的图像识别相关矩阵作为所述目标图像识别相关矩阵。
在本发明其中一个实施例中,所述步骤(3)包括:根据所述目标图像识别相关矩阵,利用所述多帧序列图像对所述多尺度网格所对应的所述编码图像进行匹配识别,得到所述多个不同尺度下的序列图像识别相关矩阵;叠加所述多个不同尺度下的所述序列图像识别相关矩阵,获取融合的多尺度序列图像识别相关矩阵;按照坐标搜索所述融合的多尺度序列图像识别相关矩阵中的最小相关匹配值,将与所述最小相关匹配值对应的所述坐标作为最优识别定位坐标;根据预设识别定位结果的区域边长和所述最优识别定位坐标得到最优识别定位结果。
本发明上述一个实施例或多个实施例具有如下优点:
(1)使用多个尺度,能够充分表达复杂环境的空间场景信息,为提高识别正确率提供了基础;
(2)在不同尺度下,利用多帧序列图像信息辅助位置识别,具有计算简单、操作简便、正确率高的优势。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的多尺度序列图像匹配的位置识别定位方法的流程示意图;
图2a为本发明实施例提供的多尺度序列图像匹配的位置识别定位方法的多尺度编码结果示意图一;
图2b为本发明实施例提供的多尺度序列图像匹配的位置识别定位方法的多尺度编码结果示意图二;
图3为本发明实施例提供的多尺度序列图像匹配的位置识别定位方法的识别定位结果示例。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供的一种多尺度序列图像匹配的位置识别定位方法,其原理为:
首先,利用多尺度网格对模板匹配区域按照位置顺序进行多尺度编码,根据所述编码对应的网格在所述模板匹配区域上覆盖的面积得到编码图像;
其次,利用所述多尺度网格对被识别图像和所述编码图像进行多尺度图像匹配,得到目标图像识别相关矩阵;
最后,根据所述目标图像识别相关矩阵,利用多帧序列图像和所述多尺度网格进行匹配识别,求解最优识别定位结果。
下面详细介绍本发明实施例的多尺度序列图像匹配的位置识别定位方法的具体流程:
(1)利用多尺度网格对模板匹配区域按照位置顺序进行多尺度编码,根据所述编码对应的网格在所述模板匹配区域上覆盖的面积得到编码图像:
使用多个不同尺度例如n个不同大小的尺度网格对模板匹配区域进行网格编码。为克服编码结果受视角旋转影响的问题,本发明实施例例如采用不同大小的圆形区域描述编码区域,具体地,网格中心即为圆形区域的中心也即圆心,尺度为圆形区域的半径也即圆半径。具体地:
首先,在模板匹配区域内,按照预设间隔Δr,分别沿着横向x轴和纵向y轴均匀的构建网格中心vij,各网格中心vij的横坐标xij和纵坐标yij分别为:
上式中,i与j分别为网格中心vij的横向序号和纵向序号,x11和y11分别为第一个网格中心(参照图2a中编号为1的圆形网格)的横坐标和纵坐标,x11和y11例如分别为第一个网格中心距模板匹配区域的左边界(如图2a中的左边界)和上边界(如图2a中的上边界)的距离,N为网格中心的个数。
参见图2a、图2b,其分别为本发明实施例的多尺度序列图像匹配的位置识别定位方法的多尺度编码结果,图2a、图2b中的数字代表网格中心的编号。
其次,以网格中心为圆心,分别以n个不同大小的尺度为圆半径,根据模板匹配区域上覆盖的面积获取不同大小的模板匹配图像,最终得到编码图像,进而完成对模板匹配区域的多尺度编码,多尺度编码可以用上述公式(1)描述。对于其中某个尺度记为sk,根据不同的网格中心坐标,结合尺度sk,得到的编码图像为ΙR(xij,yij,sk)。
(2)利用所述多尺度网格对被识别图像和与所述多尺度网格对应的所述编码图像进行多尺度图像匹配,得到目标图像识别相关矩阵:
首先,根据多尺度编码的结果,提取不同尺度下的模板匹配区域内的编码图像的SIFT特征向量以及实时获取的被识别图像的SIFT特征向量,求取编码图像的SIFT特征向量和被识别图像的在SIFT特征向量之间的差值。采用n个尺度s分别进行图像匹配,利用尺度sk进行图像匹配产生稀疏的图像识别相关矩阵D(xij,yij,sk)为:
D(xij,yij,sk)=(|VT(xp,yp,sk)-VR(xij,yij,sk)|)N×N(2)
上式中,xp和yp分别为被识别图像中心的横坐标和纵坐标,VT(xp,yp,sk)为被识别图像的SIFT特征向量,VR(xij,yij,sk)为模板匹配区域内编码图像ΙR(xij,yij,sk)的SIFT特征向量。
为了提高识别定位精度,减小网格中心间距带来的误差影响,根据网格中心的坐标,对稀疏的图像识别相关矩阵进行线性插值而获取稠密的图像识别相关矩阵(即目标图像识别相关矩阵)H(x,y,sk):
上式中,x和y代表模板匹配区域内所有插值点的横坐标和纵坐标。
(3)根据所述目标图像识别相关矩阵,利用多帧序列图像对所述多尺度网格所对应的编码图像进行匹配识别,获得最优识别定位结果:
利用多帧序列图像进行匹配识别,能够克服使用单帧图像进行匹配识别的不确定性,从而提高识别结果的正确率。
本发明实施例例如根据所述目标图像识别相关矩阵,采用多帧序列图像例如M帧序列图像进行匹配识别,则可得到所述多个不同尺度下的序列图像识别相关矩阵,其中,尺度为sk时的序列图像识别相关矩阵记为:
上式中,Δxq和Δyq分别代表之前第t-q时刻至当前t时刻的横向位移增量和纵向位移增量。
然后,叠加所述多个不同尺度例如n个不同尺度下的序列图像识别相关矩阵,获取融合的多尺度序列图像识别相关矩阵Hs(x,y):
最后,按照坐标搜索Hs(x,y)最小的相关匹配值,得到最优识别定位坐标(xf,yf),即:
根据预设识别定位结果的区域边长sv和所述最优识别定位坐标得到最优识别定位结果为[xf±sv,yf±sv]。
参见图3,其为本发明实施例的多尺度序列图像匹配的位置识别定位方法的最优识别定位结果示例,其中A代表被识别图区域图像,B代表最优识别定位结果,箭头表示匹配识别过程。可见,本发明实施例的多尺度序列图像匹配的位置识别定位方法,能够在复杂环境中实现正确率高、鲁棒性强的位置识别定位。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种多尺度序列图像匹配的位置识别定位方法,其特征在于,包括步骤:
(1)利用多尺度网格对模板匹配区域按照位置顺序进行多尺度编码,根据所述编码对应的网格在所述模板匹配区域上覆盖的面积得到编码图像;
(2)利用所述多尺度网格对被识别图像和与所述多尺度网格对应的所述编码图像进行多尺度图像匹配,得到目标图像识别相关矩阵;
(3)根据所述目标图像识别相关矩阵,利用多帧序列图像对所述多尺度网格所对应的编码图像进行匹配识别,获得最优识别定位结果。
2.根据权利要求1所述的多尺度序列图像匹配的位置识别定位方法,其特征在于,所述步骤(1)包括:
在所述模板匹配区域内,按照预设间隔分别沿着横向坐标轴和纵向坐标轴均匀的构建网格中心;按照所述网格中心的位置进行编码获得多尺度编码,以及
以所述网格中心为圆心,以所述多个不同尺度为半径,在所述模板匹配区域中获取与所述编码对应的编码图像。
3.根据权利要求2所述的多尺度序列图像匹配的位置识别定位方法,其特征在于,所述网格中心的位置坐标为:
其中,i与j分别为所述网格中心的横向序号和纵向序号,xij和yij分别为所述网格中心的横坐标和纵坐标,x11和y11分别为第一个所述网格中心的横坐标和纵坐标,N为所述网格中心的个数,Δr为所述预设间隔。
4.根据权利要求2所述的多尺度序列图像匹配的位置识别定位方法,其特征在于,所述步骤(2)包括:
按照所述编码的顺序提取与所述编码对应的所述编码图像的SIFT特征向量和所述被识别图像的SIFT特征向量;以及
根据所述编码图像的SIFT特征向量和所述被识别图像的SIFT特征向量之间的差值,得到稀疏的图像识别相关矩阵;以及
根据所述网格中心的位置坐标对所述稀疏的图像识别相关矩阵进行线性插值,得到稠密的图像识别相关矩阵作为所述目标图像识别相关矩阵。
5.根据权利要求1所述的多尺度序列图像匹配的位置识别定位方法,其特征在于,所述步骤(3)包括:
根据所述目标图像识别相关矩阵,利用所述多帧序列图像对所述多尺度网格所对应的所述编码图像进行匹配识别,得到所述多个不同尺度下的序列图像识别相关矩阵;
叠加所述多个不同尺度下的所述序列图像识别相关矩阵,获取融合的多尺度序列图像识别相关矩阵;
按照坐标搜索所述融合的多尺度序列图像识别相关矩阵中的最小相关匹配值,将与所述最小相关匹配值对应的所述坐标作为最优识别定位坐标;
根据预设识别定位结果的区域边长和所述最优识别定位坐标得到最优识别定位结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811556911.7A CN109670547B (zh) | 2018-12-19 | 2018-12-19 | 一种多尺度序列图像匹配的位置识别定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811556911.7A CN109670547B (zh) | 2018-12-19 | 2018-12-19 | 一种多尺度序列图像匹配的位置识别定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109670547A true CN109670547A (zh) | 2019-04-23 |
CN109670547B CN109670547B (zh) | 2021-04-02 |
Family
ID=66145193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811556911.7A Active CN109670547B (zh) | 2018-12-19 | 2018-12-19 | 一种多尺度序列图像匹配的位置识别定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109670547B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111526478A (zh) * | 2020-04-29 | 2020-08-11 | 成都理工大学 | 一种山地景区复杂地形无人机协同搜救系统及其装置 |
CN111598110A (zh) * | 2020-05-11 | 2020-08-28 | 重庆大学 | 基于网格细胞记忆的hog算法图像识别方法 |
CN112182279A (zh) * | 2020-12-03 | 2021-01-05 | 武大吉奥信息技术有限公司 | 一种基于离散网格与影像匹配的室内自定位方法及设备 |
CN112862802A (zh) * | 2021-02-26 | 2021-05-28 | 中国人民解放军93114部队 | 基于边缘外观序列匹配的地点识别方法 |
CN112862802B (zh) * | 2021-02-26 | 2024-05-14 | 中国人民解放军93114部队 | 基于边缘外观序列匹配的地点识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103390046A (zh) * | 2013-07-20 | 2013-11-13 | 西安电子科技大学 | 潜在狄利克雷模型的多尺度字典自然场景图像分类方法 |
US9488492B2 (en) * | 2014-03-18 | 2016-11-08 | Sri International | Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics |
US20180089832A1 (en) * | 2016-09-29 | 2018-03-29 | Intel Corporation | Place recognition algorithm |
-
2018
- 2018-12-19 CN CN201811556911.7A patent/CN109670547B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103390046A (zh) * | 2013-07-20 | 2013-11-13 | 西安电子科技大学 | 潜在狄利克雷模型的多尺度字典自然场景图像分类方法 |
US9488492B2 (en) * | 2014-03-18 | 2016-11-08 | Sri International | Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics |
US20180089832A1 (en) * | 2016-09-29 | 2018-03-29 | Intel Corporation | Place recognition algorithm |
Non-Patent Citations (5)
Title |
---|
CHEN FAN ET AL.: "Biologically-inspired visual place recognition with adaptive multiple scales", 《ROBOTICS AND AUTONOMOUS SYSTEMS》 * |
CHEN, ZETAO ET AL.: "Bio-inspired homogeneous multi-scale place recognition", 《NEURAL NETWORKS》 * |
JAMES MOUNT ET AL.: "2D Visual Place Recognition for Domestic Service", 《2016 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA)》 * |
SOURAV GARG ET AL.: "Improving Condition- and Environment-Invariant Place Recognition", 《2017 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 * |
ZETAO CHEN ET AL.: "Towards Bio-inspired Place Recognition over Multiple Spatial Scales", 《PROCEEDINGS OF THE 2013 AUSTRALASIAN CONFERENCE ON ROBOTICS & AUTOMATION》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111526478A (zh) * | 2020-04-29 | 2020-08-11 | 成都理工大学 | 一种山地景区复杂地形无人机协同搜救系统及其装置 |
CN111526478B (zh) * | 2020-04-29 | 2021-07-09 | 成都理工大学 | 一种山地景区复杂地形无人机协同搜救系统及其装置 |
CN111598110A (zh) * | 2020-05-11 | 2020-08-28 | 重庆大学 | 基于网格细胞记忆的hog算法图像识别方法 |
CN111598110B (zh) * | 2020-05-11 | 2023-04-28 | 重庆大学 | 基于网格细胞记忆的hog算法图像识别方法 |
CN112182279A (zh) * | 2020-12-03 | 2021-01-05 | 武大吉奥信息技术有限公司 | 一种基于离散网格与影像匹配的室内自定位方法及设备 |
CN112182279B (zh) * | 2020-12-03 | 2021-03-19 | 武大吉奥信息技术有限公司 | 一种基于离散网格与影像匹配的室内自定位方法及设备 |
CN112862802A (zh) * | 2021-02-26 | 2021-05-28 | 中国人民解放军93114部队 | 基于边缘外观序列匹配的地点识别方法 |
CN112862802B (zh) * | 2021-02-26 | 2024-05-14 | 中国人民解放军93114部队 | 基于边缘外观序列匹配的地点识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109670547B (zh) | 2021-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
He et al. | Matching of remote sensing images with complex background variations via Siamese convolutional neural network | |
CN109670547A (zh) | 一种多尺度序列图像匹配的位置识别定位方法 | |
Sang et al. | Intelligent high-resolution geological mapping based on SLIC-CNN | |
CN110072183B (zh) | 基于群智感知的被动式定位指纹库构建方法 | |
CN110852182A (zh) | 一种基于三维空间时序建模的深度视频人体行为识别方法 | |
He et al. | A value recognition algorithm for pointer meter based on improved Mask-RCNN | |
CN114359130A (zh) | 一种基于无人机影像的道路裂缝检测方法 | |
CN113610070A (zh) | 一种基于多源数据融合的滑坡灾害识别方法 | |
Wang et al. | A high-precision vehicle detection and tracking method based on the attention mechanism | |
Lee et al. | Image-based learning to measure the space mean speed on a stretch of road without the need to tag images with labels | |
Qiao et al. | Visual localization across seasons using sequence matching based on multi-feature combination | |
Mou et al. | YOLO-FR: A YOLOv5 infrared small target detection algorithm based on feature reassembly sampling method | |
Ibrahim et al. | Exploiting structured cnns for semantic segmentation of unstructured point clouds from lidar sensor | |
Wunderlich et al. | Hyperbola detection with RetinaNet and comparison of hyperbola fitting methods in GPR data from an archaeological site | |
CN102999895A (zh) | 利用两个同心圆线性求解摄像机内参数 | |
CN105469415A (zh) | 多视角遥感图像融合方法 | |
CN104021395A (zh) | 一种基于高阶偏最小二乘法的目标跟踪算法 | |
Hong et al. | Inspection-nerf: Rendering multi-type local images for dam surface inspection task using climbing robot and neural radiance field | |
CN104517280A (zh) | 三维成像方法 | |
CN111811502B (zh) | 一种运动载体多源信息融合导航方法及系统 | |
CN116630828B (zh) | 基于地形环境适配的无人机遥感信息采集系统及方法 | |
Xiao et al. | Detection and tracking method of maritime moving targets based on geosynchronous orbit satellite optical images | |
Yin et al. | Interest point detection from multi‐beam light detection and ranging point cloud using unsupervised convolutional neural network | |
Gao et al. | Indoor Location Technology with High Accuracy Using Simple Visual Tags | |
Liu et al. | The indoor localization of a mobile platform based on monocular vision and coding images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |