CN108731596B - 一种基于视觉识别的简易水下测距方法 - Google Patents
一种基于视觉识别的简易水下测距方法 Download PDFInfo
- Publication number
- CN108731596B CN108731596B CN201810273034.6A CN201810273034A CN108731596B CN 108731596 B CN108731596 B CN 108731596B CN 201810273034 A CN201810273034 A CN 201810273034A CN 108731596 B CN108731596 B CN 108731596B
- Authority
- CN
- China
- Prior art keywords
- distance
- image
- small black
- underwater
- column
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于视觉识别的简易水下测距方法,水下测距方法通过水下测距装置并配合图像摄取、图像判断、图像分析、距离计算的步骤实现距离的测量,所述水下测距装置包括用于测量基准信息的图像标识卡、用于摄取图像标识卡数字画面的水下摄像头以及用于处理水下摄像头摄取的数字画面的图像处理器,图像标识卡上具有信息隐藏图案。本发明的优点在于:本发明的水下测距方法通过水下测距装置的配合,只需要水下摄像头与图像标识卡的组合,就可以测量目标与摄像头之间的距离、目标运动方向、与目标之间的水文信息,该装置结构简洁,测量精度较高,适用于短距离(70m)之内的目标监控。
Description
技术领域
本发明涉及水下测距领域,特别涉及一种基于视觉识别的简易水下测距方法。
背景技术
我国是一个海洋大国,具有极其丰富的海洋资源。现代计算机与空间技术为海洋的测绘工作提供极大地技术支持,并为高精度、高效率地水下测距提供了实现的可能。现代水下测距技术为测量技术开拓了一个新的维度,甚至带动一个国家的新兴产业。通常水下测距使用超声波测距、激光测距、电磁波测距等传统水下测距装置,但是超声波水下测距精度较低、激光水下测距易受水流扰动、电磁波水下测距装置体积较大。视觉识别技术作为新型的非接触式测距技术,在水下测量这个特殊的使用场合具有十分重要的意义。基于数字图像处理的测量系统作为一种新型、高效率、高精度、信息量丰富,对被测物影响最小的非接触式测量技术,体现出极大的优越性。
发明内容
本发明要解决的技术问题是提供一种测距精度高的基于视觉识别的简易水下测距方法。
为解决上述技术问题,本发明的技术方案为:一种基于视觉识别的简易水下测距方法,其创新点在于:水下测距方法通过水下测距装置配合图像摄取、图像判断、图像分析、距离计算的步骤实现距离的测量,所述水下测距装置包括用于测量基准信息的图像标识卡、用于摄取图像标识卡数字画面的水下摄像头以及用于处理水下摄像头摄取的数字画面的图像处理器,图像标识卡上具有信息隐藏图案,图像标示卡位于待测物体上,水下摄像头位于图像标识卡的对面,在测距时,由水下摄像头摄取图像标识卡上的信息隐藏图案,并将摄取的数字画面信息反馈给图像处理器,再由图像处理器对数字画面信息进行分析并计算出水下摄像头与图像标识卡之间的距离。
进一步的,所述信息隐藏图案由93个1cm×1cm的正方形小黑块组成除第1列之外,呈10*9矩形阵列排布方式组合而成的不规则阵列,矩阵阵列第1-10行,第2至10列中每个小黑块之间的间距为1cm。但是第一列只有3个小黑块,其中,第一个小黑块的位置为(1,1),即第1行、第1列,第二个小黑块的位置为(5,1),即第5行、第1列,第三个小黑块的位置为(10,1),即第10行、第1列,该第一列特殊的排列形式为图像标识卡提供起始位;
所述水下测距方法步骤具体为:
a)图像摄取:将水下摄像头置于图像标识卡前方并调整水下摄像头焦距后,得到图像标识卡的清晰的图像,并将图像反馈给图像处理器,并找到信息隐藏图案的特征列,即信息隐藏图案的第一列起始列;
b)图像判断:图像处理器在接收到水下摄像头传输过来的图像后,判断图像标识卡是否有所形变,如果发生形变,则先进行形变分析;如果没有发生形变,则连接起始列中的三个正方形小黑块,判断其是否在一条直线;
c)图像分析:如果起始列中的三个正方形小黑块在一条直线上,测量起始列中第一个小黑块与第二个小黑块的距离、第二个小黑块与第三个小黑块的距离;
如果起始列中的三个正方形小黑块不在一条直线上,则依次测量第二列中每两个小黑块之间的距离,即依次测量第二列中第一个小黑块与第二个小黑块之间的距离、第二个小黑块与第三个小黑块之间的距离、第三个小黑块与第四个小黑块之间的距离·······第九个小黑块与第十个小黑块之间的距离。
d)距离计算:对于起始列三个小黑块都在一条直线上的情况,其距离比值为
其中x1为水下摄像头摄取的距离,y1为像距,y2为物距;
则摄像头与被测物体的距离为
对于起始列三个小黑块不在一条直线上,则提取第二列,依次计算第二列每两个小黑块物距与像距所对应的距离,并对其结果进行加权平均
进一步的,所述距离计算步骤具体为:对于起始列三个小黑块都在一条直线上的情况,其距离比值为
其中x1为水下摄像头摄取的距离,y1为像距,y2为物距;
则摄像头与被测物体的距离为
对于起始列三个小黑块不在一条直线上,则提取第二列,依次计算第二列每两个小黑块物距与像距所对应的距离,并对其结果进行加权平均
进一步的,所述形变分析步骤为:
①测量形变的图像标识卡中每一个小黑快的数据点pi(xi,yi),其中i=1,2,…,m;
②设拟合多项式为
y=a0+a1x+…+akxk (4)
③计算各点到曲线的距离之和,即偏差平方和
④为了求得符合条件的值,对等式右边求ai偏导数
⑤将等式左边进行化简,可以得到
⑥将上述等式表示为矩阵形式
⑦化简公式(8)得到其范德蒙得关系矩阵
则有X·A=Y,则A=(X’·X)-X’·Y,可以计算出系数矩阵A,此时得到拟合曲线,完成形变分析,并根据该形变分析得出图像标识卡上的各个小黑块实际的位置,然后再连接起始列中的三个正方形小黑块,判断其是否在一条直线。
本发明的优点在于:本发明的水下测距方法通过水下测距装置的配合,采用模块化设计思想,通过图像标识卡与水下摄像头的组合,测量图像识别卡的尺寸,计算水下摄像头与图像标识卡的距离,测量图像识别卡的形变,计算目标姿势、水下摄像头与目标间的水文扰动信息,该装置结构简洁,而且该方法在进行测距时同时也将由于水流干扰所造成的光线折射而导致形变的因素也考虑进去,复原图像标识卡的扭曲,计算原始图像标识卡与实际拍摄数字照片的大小,可以计算出被测物体与摄像头之间的距离,可以应用梯度公式计算图像标识卡的扭曲程度,从而得到被测物体与摄像头之间水流的干扰程度,为其他控制提供数据,测量精度高,适用于短距离(70m)之内的目标监控,对于水下环境监测、目标跟踪、目标测距具有极其重要的实际应用意义。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明中水下测距装置的连接示意图。
图2为本发明中图像标识卡信息隐藏图案的示意图。
图3为本发明中水下摄像头摄取的图像标识卡的示意图。
图4为本发明的测距原理图。
图5为本发明的形变分析原理图。
图6为本发明的测距流程图。
具体实施方式
下面的实施例可以使本专业的技术人员更全面地理解本发明,但并不因此将本发明限制在所述的实施例范围之中。
如图1所示的示意图可知,本发明的水下测距装置包括图像标识卡3、水下摄像头2及图像处理器1,其中,图像标识卡3设置于待测量物体上并用于测量基准信息,水下摄像头2位于图像标识卡3的正对面并用于摄取图像标识卡数字画面,图像处理器1用于接受水下摄像头2所传输过来的数字画面信息并对这些数字画面进行处理,提取图像识别的相关信息,计算图像标识卡与水下摄像头的距离,计算图像标识卡的形变,推测目标的运动方向与目标之间的水文信息。
在图像标识卡3上具有信息隐藏图案,如图2所示的示意图可知,信息隐藏图案由93个1cm×1cm的正方形小黑块组成除第1列之外,呈10*9矩形阵列排布方式组合而成的不规则阵列,矩阵阵列第1-10行,第2至10列中每个小黑块之间的间距为1cm。但是第一列只有3个小黑块,其中,第一个小黑块的位置为(1,1),即第1行、第1列,第二个小黑块的位置为(5,1),即第5行、第1列,第三个小黑块的位置为(10,1),即第10行、第1列,该第一列特殊的排列形式为图像标识卡提供起始位;
水下测距方法步骤如图6所示,具体为:
第一步,图像摄取:首先,将水下摄像头2置于图像标识卡1前方并调整水下摄像头焦距后,得到图像标识卡1的清晰的图像,并将图像反馈给图像处理器3,并找到信息隐藏图案的特征列,即信息隐藏图案的第一列起始列。
第二步,图像判断:图像处理器3在接收到水下摄像头2传输过来的图像后,判断图像标识卡1是否有所形变,如果发生形变,则先进行形变分析,形变分析步骤如下:
①测量形变的图像标识卡中每一个小黑快的数据点pi(xi,yi),其中i=1,2,…,m;
②设拟合多项式为
y=a0+a1x+…+akxk (4)
③计算各点到曲线的距离之和,即偏差平方和
④为了求得符合条件的值,对等式右边求ai偏导数
⑤将等式左边进行化简,可以得到
⑥将上述等式表示为矩阵形式
⑦化简公式(8)得到其范德蒙得关系矩阵
则有X·A=Y,则A=(X’·X)-X’·Y,可以计算出系数矩阵A,此时得到拟合曲线,完成形变分析,并根据该形变分析得出图像标识卡上的各个小黑块实际的位置,再继续下一步。
如果没有发生形变,则连接起始列中的三个正方形小黑块,判断其是否在一条直线。
第三步,图像分析:如果起始列中的三个正方形小黑块在一条直线上,测量起始列中第一个小黑块与第二个小黑块的距离、第二个小黑块与第三个小黑块的距离,并确认是否依次全部测量完毕,如果全部测量完毕则进入下一步,如果没有全部测量完毕,则继续测量,直至全部测量完毕为止。
如果起始列中的三个正方形小黑块不在一条直线上,则依次测量第二列中每两个小黑块之间的距离,即依次测量第二列中第一个小黑块与第二个小黑块之间的距离、第二个小黑块与第三个小黑块之间的距离、第三个小黑块与第四个小黑块之间的距离·······第九个小黑块与第十个小黑块之间的距离,,并确认是否依次全部测量完毕,如果全部测量完毕则进入下一步,如果没有全部测量完毕,则继续测量,直至全部测量完毕为止。
第四步,距离计算:对于起始列三个小黑块都在一条直线上的情况,其距离比值为
其中x1为水下摄像头摄取的距离,y1为像距,y2为物距;
则摄像头与被测物体的距离为
对于起始列三个小黑块不在一条直线上,则提取第二列,依次计算第二列每两个小黑块物距与像距所对应的距离,并对其结果进行加权平均
表1为采用超声波水下测距、激光水下测以及本发明的测距方法对同一距离的物体进行测距的测量数据对比:
表1
由表1中的数据对比可以看出,使用起振频率为50kHz超声波水下测距,该款装置相比本专利装置测量精度较低,测量误差在±7%,而且测量距离25m,测距短,误差大,而激光水下测距装置,该款激光水下测距装置测量误差±10‰,但是,激光在水下环境易受水流扰动、流体介质折射、水流温差的影响,从而导致光线不延直线传输路径,产生曲射现象,影响测距误差,需要满足水面风力等级5级以下,环境水温分布<5℃,水质浑浊度≤3的测量要求,否则测量误差会变大,甚至会出现无法测到物体的影响,此外激光水下测距装置能耗较大,相比而言,本发明的测距方法所测量出的距离精准度高,而且不会受水流扰动、流体介质折射、水流温差等环境因素的影响。
本发明的水下测距方法通过水下测距装置的配合,采用模块化设计思想,通过图像标识卡与水下摄像头的组合,测量图像识别卡的尺寸,计算水下摄像头与图像标识卡的距离,测量图像识别卡的形变,计算目标姿势、水下摄像头与目标间的水文扰动信息,该装置结构简洁,而且该方法在进行测距时同时也将由于水流干扰所造成的光线折射而导致形变的因素也考虑进去,复原图像标识卡的扭曲,计算原始图像标识卡与实际拍摄数字照片的大小,可以计算出被测物体与摄像头之间的距离,可以应用梯度公式计算图像标识卡的扭曲程度,从而得到被测物体与摄像头之间水流的干扰程度,为其他控制提供数据,测量精度高,适用于短距离(70m)之内的目标监控,对于水下环境监测、目标跟踪、目标测距具有极其重要的实际应用意义。
本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (2)
1.一种基于视觉识别的简易水下测距方法,其特征在于:水下测距方法通过水下测距装置配合图像摄取、图像判断、图像分析、距离计算的步骤实现距离的测量,所述水下测距装置包括用于测量基准信息的图像标识卡、用于摄取图像标识卡数字画面的水下摄像头以及用于处理水下摄像头摄取的数字画面的图像处理器,图像标识卡上具有信息隐藏图案,图像标示卡位于待测物体上,水下摄像头位于图像标识卡的对面,在测距时,由水下摄像头摄取图像标识卡上的信息隐藏图案,并将摄取的数字画面信息反馈给图像处理器,再由图像处理器对数字画面信息进行分析并计算出水下摄像头与图像标识卡之间的距离;
所述信息隐藏图案由93个1cm×1cm的正方形小黑块组成除第1列之外,呈10*9矩形阵列排布方式组合而成的不规则阵列,矩阵阵列第1-10行,第2至10列中每个小黑块之间的间距为1cm; 但是第一列只有3个小黑块,其中,第一个小黑块的位置为(1,1),即第1行、第1列,第二个小黑块的位置为(5,1),即第5行、第1列,第三个小黑块的位置为(10,1),即第10行、第1列,该第一列特殊的排列形式为图像标识卡提供起始位;
所述水下测距方法步骤具体为:
a)图像摄取:将水下摄像头置于图像标识卡前方并调整水下摄像头焦距后,得到图像标识卡的清晰的图像,并将图像反馈给图像处理器,并找到信息隐藏图案的特征列,即信息隐藏图案的第一列起始列;
b)图像判断:图像处理器在接收到水下摄像头传输过来的图像后,判断图像标识卡是否有所形变,如果发生形变,则先进行形变分析;如果没有发生形变,则连接起始列中的三个正方形小黑块,判断其是否在一条直线;
c)图像分析:如果起始列中的三个正方形小黑块在一条直线上,测量起始列中第一个小黑块与第二个小黑块的距离、第二个小黑块与第三个小黑块的距离;
如果起始列中的三个正方形小黑块不在一条直线上,则依次测量第二列中每两个小黑块之间的距离,即依次测量第二列中第一个小黑块与第二个小黑块之间的距离、第二个小黑块与第三个小黑块之间的距离、第三个小黑块与第四个小黑块之间的距离·······第九个小黑块与第十个小黑块之间的距离;
d)距离计算:对于起始列三个小黑块都在一条直线上的情况,其距离比值为
其中x1为水下摄像头摄取的距离,y1为像距,y2为物距;
则摄像头与被测物体的距离为
对于起始列三个小黑块不在一条直线上,则提取第二列,依次计算第二列每两个小黑块物距与像距所对应的距离,并对其结果进行加权平均
2.根据权利要求1所述的基于视觉识别的简易水下测距方法,其特征在于:所述形变分析步骤为:
①测量形变的图像标识卡中每一个小黑快的数据点pi(xi,yi),其中i=1,2,…,m;
②设拟合多项式为
y=a0+a1x+…+akxk (4)
③计算各点到曲线的距离之和,即偏差平方和
④为了求得符合条件的值,对等式右边求ai偏导数
⑤将等式左边进行化简,可以得到
⑥将上述等式表示为矩阵形式
⑦化简公式(8)得到其范德蒙得关系矩阵
可见X·A=Y,则A=(X’·X)-X’·Y,可以计算出系数矩阵A,此时得到拟合曲线,完成形变分析,并根据该形变分析得出图像标识卡上的各个小黑块实际的位置,然后再连接起始列中的三个正方形小黑块,判断其是否在一条直线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810273034.6A CN108731596B (zh) | 2018-03-29 | 2018-03-29 | 一种基于视觉识别的简易水下测距方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810273034.6A CN108731596B (zh) | 2018-03-29 | 2018-03-29 | 一种基于视觉识别的简易水下测距方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108731596A CN108731596A (zh) | 2018-11-02 |
CN108731596B true CN108731596B (zh) | 2022-05-31 |
Family
ID=63940985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810273034.6A Active CN108731596B (zh) | 2018-03-29 | 2018-03-29 | 一种基于视觉识别的简易水下测距方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108731596B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114111589B (zh) * | 2021-11-19 | 2024-05-28 | 南方海洋科学与工程广东省实验室(湛江) | 基于网状物的水下测距方法、测距系统及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005286847A (ja) * | 2004-03-30 | 2005-10-13 | Nikon Corp | デジタルカメラ |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10323493B3 (de) * | 2003-05-23 | 2004-07-15 | Atlas Elektronik Gmbh | Unterwasserantenne |
JP2008236032A (ja) * | 2007-03-16 | 2008-10-02 | Fujifilm Corp | 撮影装置 |
CN103206919A (zh) * | 2012-07-31 | 2013-07-17 | 广州三星通信技术研究有限公司 | 用于在便携终端中测量物体尺寸的设备和方法 |
CN103499335B (zh) * | 2013-09-10 | 2015-06-10 | 紫光股份有限公司 | 一种三维测距方法及其装置 |
CN103868501A (zh) * | 2014-03-25 | 2014-06-18 | 西北工业大学 | 一种视觉测量用接触式主动发光平面标识装置 |
CN104197901A (zh) * | 2014-09-19 | 2014-12-10 | 成都翼比特科技有限责任公司 | 基于标识物的图像测距方法 |
DE102015209404B4 (de) * | 2015-05-22 | 2018-05-03 | Sirona Dental Systems Gmbh | Verfahren und Kamera zur dreidimensionalen Vermessung eines dentalen Objekts |
JP6290512B2 (ja) * | 2015-06-09 | 2018-03-07 | 富士フイルム株式会社 | 距離画像取得装置及び距離画像取得方法 |
CN107218918B (zh) * | 2017-04-14 | 2019-05-07 | 华北水利水电大学 | 一种单摄像头测距方法 |
-
2018
- 2018-03-29 CN CN201810273034.6A patent/CN108731596B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005286847A (ja) * | 2004-03-30 | 2005-10-13 | Nikon Corp | デジタルカメラ |
Also Published As
Publication number | Publication date |
---|---|
CN108731596A (zh) | 2018-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110068270B (zh) | 一种基于多线结构光图像识别的单目视觉箱体体积测量方法 | |
US11189044B2 (en) | Method and device for detecting object stacking state and intelligent shelf | |
CN109754429A (zh) | 一种基于图像的桥梁结构挠度测量方法 | |
CN103438826B (zh) | 激光与视觉相结合的钢板的三维测量系统及方法 | |
CN102645173A (zh) | 一种基于多目视觉的桥梁三维变形监测方法 | |
CN111160210B (zh) | 一种基于视频的水流速检测方法及系统 | |
CN112254656B (zh) | 一种基于结构表面点特征的立体视觉三维位移测量方法 | |
CN104408725A (zh) | 一种基于tld优化算法的目标重捕获系统及方法 | |
CN110260820A (zh) | 基于动态参考坐标系的水下双目立体视觉测量系统及方法 | |
US20070109267A1 (en) | Speckle-based two-dimensional motion tracking | |
CN107016697A (zh) | 一种高度测量方法及装置 | |
CN108731596B (zh) | 一种基于视觉识别的简易水下测距方法 | |
CN106101686A (zh) | 叠层玻璃及其制造方法、立体相机的校准方法和校准系统 | |
CN103795935A (zh) | 一种基于图像校正的摄像式多目标定位方法及装置 | |
CN104036424A (zh) | 基于二维码的零件快速选配方法及系统 | |
CN112033408B (zh) | 一种贴纸式的物体空间定位系统及定位方法 | |
CN108088381A (zh) | 一种基于图像处理的非接触式微小间隙宽度测量方法 | |
US20240236520A9 (en) | Image processing method and apparatus and related device | |
CN115854866A (zh) | 一种光学靶标三维测量系统、方法、电子设备及存储介质 | |
Molfetta et al. | A sterescopic system to measure water waves in laboratories | |
CN106918300B (zh) | 一种基于多立体跟踪器的大型物体三维测量数据拼接方法 | |
CN101793905B (zh) | 光纤式二维风速/风向测量装置及方法 | |
CN103809348A (zh) | 应用于相机模块的自动调焦方法 | |
CN104515473A (zh) | 一种漆包线直径的在线检测方法 | |
CN109685791A (zh) | 一种基于多窗自相关纹理检测的瓦楞纸板鲁棒检测算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |