CN111986153B - 一种数字图像相关算法稳定性测试方法 - Google Patents
一种数字图像相关算法稳定性测试方法 Download PDFInfo
- Publication number
- CN111986153B CN111986153B CN202010694670.3A CN202010694670A CN111986153B CN 111986153 B CN111986153 B CN 111986153B CN 202010694670 A CN202010694670 A CN 202010694670A CN 111986153 B CN111986153 B CN 111986153B
- Authority
- CN
- China
- Prior art keywords
- digital image
- image correlation
- brightness
- speckle
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013112 stability test Methods 0.000 title claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000001228 spectrum Methods 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000004088 simulation Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000000737 periodic effect Effects 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 description 3
- 238000012430 stability testing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明是一种数字图像相关算法稳定性测试方法，通过使用均值滤波算法对原始散斑图像进行虚焦模拟，用于实现对对焦不精准状态进行模拟；通过对原始散斑图像按照明度变化谱进行均匀明度变化处理，用于实现对不同程度正向光干扰进行模拟；通过对标准梯度散斑图像按照明度变化谱进行均匀明度变化处理，用于实现对不同程度的倾斜光干扰进行模拟。通过计算对焦精度和光干扰两种因素对多种数字图像相关算法稳定性的影响，得到以数字图像相关算法稳定性为目标的选择标准。该测试方法实施方便，该方法测试速度快，适用于多种算法，能够为后续实际工况下的数字图像相关法变形测量的数据采集及处理提供指导。
Description
技术领域
本发明是涉及数字图像相关算法技术领域，具体的说是一种数字图像相关算法稳定性测试方法。
背景技术
数字图像相关法(Digital Image Correlation，简称DIC)是一种基于图像处理技术的非接触式变形测量方法。这种方法首先在被测对象表面制作人工散斑(或直接基于被测对象表面特征)，然后通过数字相机拍摄被测对象在不同状态下的图像。在此基础上利用数字图像相关算法分析被测对象变形前后图像上的灰度特征，以此来建立变形前后图像的一一对应关系，从而算得被测对象的变形信息。
这种方法精度高并且可以实现全场的变形测量，在材料力学试验等领域有着广泛的应用。然而，在实际试验过程中测试环境本身会产生扰动，扰动的存在会对数字图像相关法的计算结果会产生影响，直接影响计算结果的准确性。但是不同的算法稳定性不同，对扰动的抵抗能力存在差异。只有针对扰动的具体特征及其对计算结果的影响进行分析才能选择恰当的算法，得到准确的变形结果。
在数字图像相关法变形测量中，对焦和光干扰是产生扰动的主要因素。从目前的公开方法来看，尚未有针对不同数字图像相关算法受扰动影响后稳定性的分析评估方法，难以给出数字图像相关算法的选取标准，影响了计算结果的准确度。
因此，有必要提供一种能够测试对焦和光干扰对数字图像相关算法影响的方法，以实现数字图像相关算法稳定性测量与分析。
发明内容
本发明针对现有技术中的不足，提供一种数字图像相关算法稳定性测试方法，能够测试对焦和光干扰对数字图像相关算法影响，以实现数字图像相关算法稳定性测量与分析。
为实现上述目的，本发明采用以下技术方案：
一种数字图像相关算法稳定性测试方法，其特征在于：通过计算对焦精度和光干扰两种因素对数字图像相关算法稳定性的影响，得到数字图像相关算法稳定性的相关模型，具体步骤如下：
步骤1，拍摄得到对焦清晰的原始散斑图像；
步骤2，对步骤1所得原始散斑图像分别进行多次不同程度的模糊处理，得到若干张模糊程度不同的模糊散斑图像，模拟对焦不清晰的散斑图像；
步骤3，以步骤1中得到的原始散斑图像为参考标准，利用多种数字图像相关准则分别对步骤2中获得的模糊散斑图像进行数字图像相关计算；
步骤4，对比步骤3中不同数字图像相关准则计算结果的匹配度误差，分别绘制数字图像相关准则下不同匹配度误差随虚焦程度的变化曲线，得到对焦准确度对数字图像相关算法的影响；
步骤5，设定周期性明度变化谱；
步骤6，将步骤1所得原始散斑图像按照步骤5所设定的明度变化谱进行均匀明度变化处理，得到若干张明度场不同的A类明度散斑图像；
步骤7，以步骤1中得到的原始散斑图像为参考标准，利用多种数字图像相关准则分别对步骤6中获得的A类明度散斑图像进行数字图像相关计算；
步骤8，提取步骤7的计算结果并计算Von Mises等效应变，绘制Von Mises等效应变随明度的变化曲线，得到不同数字图像相关算法下明度场均匀变化对计算结果的影响规律；
步骤9，将步骤1所得原始散斑图像沿对角线方向进行明度渐变处理，得到明度场梯度变化的标准梯度散斑图像；
步骤10，将步骤9所得标准梯度散斑图像按照步骤5所设定的明度变化谱进行均匀明度变化处理，得到若干张明度场不同的B类明度散斑图像；
步骤11，以步骤1中得到的原始散斑图像为参考标准，利用多种数字图像相关准则分别对步骤10中获得的B类明度散斑图像进行数字图像相关计算；
步骤12，提取步骤11的计算结果并计算Von Mises等效应变，绘制Von Mises等效应变随明度的变化曲线，得到不同数字图像相关算法下明度场均匀变化对计算结果的影响规律。
所述的步骤2中对原始散斑图像分别进行多次不同程度的模糊处理具体方法如下：使用均值滤波算法对原始散斑图像进行虚焦模拟，通过设置不同大小的均值滤波半径得到模糊程度不同的模糊散斑图像，所述的均值滤波半径越大，图像模糊程度越高。
所述的均值滤波半径设置为1像素、4像素、6像素、8像素和10像素。
所述的步骤3中使用的数字图像相关准则包括但不限于灰度方差数字图像相关法、归一化灰度方差数字图像相关法和零值归一化灰度方差数字图像相关法。
所述的步骤7和步骤11中使用的数字图像相关准则包括但不限于归一化灰度方差数字图像相关法和零值归一化灰度方差数字图像相关法。
所述的步骤8和步骤12中Von Mises等效应变表达式如下：
其中：εx，εy，εy分别为x,y,z三个方向的应变，γxy，γxz，γzy分别为xy，xz，yz三个平面的剪切变形。
在得到对焦准确度对数字图像相关算法的影响、明度场均匀变化时对数字图像相关算法计算结果的影响和明度场梯度变化时对数字图像相关算法计算结果的影响规律后，根据实际工况可以在所需工况区间内选取最优的数字图像相关算法。
本发明数字图像相关算法稳定性测试方法的有益效果是：该方法可以较好的考量对焦精度和光干扰两种因素对数字图像相关算法稳定性的影响，可为数字图像相关法变形测量的数据采集及处理提供指导。其中通过使用均值滤波算法对原始散斑图像进行虚焦模拟，用于实现对对焦不精准状态进行模拟；通过对原始散斑图像按照明度变化谱进行均匀明度变化处理，用于实现对不同程度正向光干扰进行模拟；通过对标准梯度散斑图像按照明度变化谱进行均匀明度变化处理，用于实现对不同程度的倾斜光干扰进行模拟。该测试方法实施方便，测试速度快，适用于多种算法，能够为后续实际工况下的数字图像相关法变形测量的数据采集及处理提供指导。
附图说明
图1是本发明对焦清晰的原始散斑图像。
图2是本发明采用均值滤波半径为1像素模糊处理后的散斑图像。
图3是本发明采用均值滤波半径为4像素模糊处理后的散斑图像。
图4是本发明采用均值滤波半径为6像素模糊处理后的散斑图像。
图5是本发明采用均值滤波半径为8像素模糊处理后的散斑图像。
图6是本发明采用均值滤波半径为10像素模糊处理后的散斑图像。
图7是本发明匹配度误差随虚焦程度和不同数字图像相关算法的变化关系图。
图8是本发明周期性明度变化谱。
图9是本发明对焦清晰的散斑图像在周期性明度场均匀变化下的散斑图像。
图10是本发明对焦清晰的散斑图像在周期性明度场梯度变化下的散斑图像。
图11是本发明明度场均匀变化时对数字图像相关算法计算结果的影响规律。
图12是本发明明度场梯度变化时对数字图像相关算法计算结果的影响规律。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
一种数字图像相关算法稳定性测试方法，其特征在于：通过计算对焦精度和光干扰两种因素对数字图像相关算法稳定性的影响，得到数字图像相关算法稳定性的相关模型，具体步骤如下：
步骤1，拍摄得到如图1所示的对焦清晰的原始散斑图像；
步骤2，对步骤1所得原始散斑图像分别进行多次不同程度的模糊处理，得到若干张模糊程度不同的模糊散斑图像，模拟对焦不清晰的散斑图像；
步骤3，以步骤1中得到的原始散斑图像为参考标准，利用多种数字图像相关准则分别对步骤2中获得的模糊散斑图像进行数字图像相关计算；
步骤4，对比步骤3中不同数字图像相关准则计算结果的匹配度误差，分别绘制数字图像相关准则下不同匹配度误差随虚焦程度的变化曲线，得到对焦准确度对数字图像相关算法的影响；
步骤5，设定如图8所示的周期性明度变化谱；
步骤6，将步骤1所得原始散斑图像按照步骤5所设定的明度变化谱进行均匀明度变化处理，得到若干张明度场不同的A类明度散斑图像；
步骤7，以步骤1中得到的原始散斑图像为参考标准，利用多种数字图像相关准则分别对步骤6中获得的A类明度散斑图像进行数字图像相关计算；
步骤8，提取步骤7的计算结果并计算Von Mises等效应变，绘制Von Mises等效应变随明度的变化曲线，得到不同数字图像相关算法下明度场均匀变化对计算结果的影响规律；
步骤9，将步骤1所得原始散斑图像沿对角线方向进行明度渐变处理，得到明度场梯度变化的标准梯度散斑图像；
步骤10，将步骤9所得标准梯度散斑图像按照步骤5所设定的明度变化谱进行均匀明度变化处理，得到若干张明度场不同的B类明度散斑图像；
步骤11，以步骤1中得到的原始散斑图像为参考标准，利用多种数字图像相关准则分别对步骤10中获得的B类明度散斑图像进行数字图像相关计算；
步骤12，提取步骤11的计算结果并计算Von Mises等效应变，绘制Von Mises等效应变随明度的变化曲线，得到不同数字图像相关算法下明度场均匀变化对计算结果的影响规律。
本实施例中，步骤2中对原始散斑图像分别进行多次不同程度的模糊处理具体方法如下：使用均值滤波算法对原始散斑图像进行虚焦模拟，通过设置不同大小的均值滤波半径得到模糊程度不同的模糊散斑图像，所述的均值滤波半径越大，图像模糊程度越高。如图2至图6所示，分别为均值滤波半径为1像素、4像素、6像素、8像素和10像素时得到的模糊散斑图像。
本实施例中，步骤3中，数字图像相关准则采用灰度方差法、归一化灰度方差法和零值归一化灰度方差法三种数字图像相关准则，利用上述三种数字图像相关准则分别对不同模糊程度的模糊散斑图像进行数字图像相关计算，得到每种数字图像相关准则下不同模糊散斑图像的匹配度误差。
本实施例中，步骤4中，绘制得到的匹配度误差随虚焦程度的变化曲线如图7所示，不同算法下随着模糊程度越高，匹配度误差均会增大，但是归一化灰度方差法和零值归一化灰度方差法相对灰度方差法在相同模糊程度时有更低的匹配度误差。
本实施例中，步骤6中，A类明度散斑图像如图9所示，通过对原始图像进行均匀明度场变化获得。步骤7中通过归一化灰度方差法和零值归一化灰度方差法两种数字图像相关准则对A类明度散斑图像进行数字图像处理，并将计算结果进行Von Mises等效应变，得到如图11所示的变化曲线，由曲线中可得，在均匀明度场变化的情况下，归一化灰度方差法相对零值归一化灰度方差法在稳定性方面效果更优。
本实施例中，步骤10中，B类明度散斑图像如图10所示，步骤11中通过归一化灰度方差法和零值归一化灰度方差法两种数字图像相关准则对B类明度散斑图像进行数字图像处理，并将计算结果进行Von Mises等效应变，得到如图12所示的变化曲线，由曲线中可得，标准梯度散斑图像在均匀明度场变化的情况下，零值归一化灰度方差法相对归一化灰度方差法在稳定性方面效果更优。
进一步的，步骤8和步骤12中Von Mises等效应变表达式如下：
其中：εx，εy，εy分别为x,y,z三个方向的应变，γxy，γxz，γzy分别为xy，xz，yz三个平面的剪切变形。
通过得到对焦准确度对数字图像相关算法的影响、明度场均匀变化时对数字图像相关算法计算结果的影响和明度场梯度变化时对数字图像相关算法计算结果的影响规律后，根据实际工况可以在所需工况区间内选取最优的数字图像相关算法。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。
Claims (5)
1.一种数字图像相关算法稳定性测试方法，其特征在于：通过计算对焦精度和光干扰两种因素对数字图像相关算法稳定性的影响，得到数字图像相关算法稳定性的相关模型，具体步骤如下：
步骤1，拍摄得到对焦清晰的原始散斑图像；
步骤2，对步骤1所得原始散斑图像分别进行多次不同程度的模糊处理，得到若干张模糊程度不同的模糊散斑图像，模拟对焦不清晰的散斑图像；
步骤3，以步骤1中得到的原始散斑图像为参考标准，利用多种数字图像相关准则分别对步骤2中获得的模糊散斑图像进行数字图像相关计算；
步骤4，对比步骤3中不同数字图像相关准则计算结果的匹配度误差，分别绘制数字图像相关准则下不同匹配度误差随虚焦程度的变化曲线，得到对焦准确度对数字图像相关算法的影响；
步骤5，设定周期性明度变化谱；
步骤6，将步骤1所得原始散斑图像按照步骤5所设定的明度变化谱进行均匀明度变化处理，得到若干张明度场不同的A类明度散斑图像；
步骤7，以步骤1中得到的原始散斑图像为参考标准，利用多种数字图像相关准则分别对步骤6中获得的A类明度散斑图像进行数字图像相关计算；
步骤8，提取步骤7的计算结果并计算Von Mises等效应变，绘制Von Mises等效应变随明度的变化曲线，得到不同数字图像相关算法下明度场均匀变化对计算结果的影响规律；
步骤9，将步骤1所得原始散斑图像沿对角线方向进行明度渐变处理，得到明度场梯度变化的标准梯度散斑图像；
步骤10，将步骤9所得标准梯度散斑图像按照步骤5所设定的明度变化谱进行均匀明度变化处理，得到若干张明度场不同的B类明度散斑图像；
步骤11，以步骤1中得到的原始散斑图像为参考标准，利用多种数字图像相关准则分别对步骤10中获得的B类明度散斑图像进行数字图像相关计算；
步骤12，提取步骤11的计算结果并计算Von Mises等效应变，绘制Von Mises等效应变随明度的变化曲线，得到不同数字图像相关算法下明度场均匀变化对计算结果的影响规律；
所述步骤3中使用的数字图像相关准则包括灰度方差数字图像相关法、归一化灰度方差数字图像相关法和零值归一化灰度方差数字图像相关法中的多种；
所述的步骤7和步骤11中使用的数字图像相关准则包括归一化灰度方差数字图像相关法和零值归一化灰度方差数字图像相关法。
2.如权利要求1所述的一种数字图像相关算法稳定性测试方法，其特征在于：所述的步骤2中对原始散斑图像分别进行多次不同程度的模糊处理具体方法如下：使用均值滤波算法对原始散斑图像进行虚焦模拟，通过设置不同大小的均值滤波半径得到模糊程度不同的模糊散斑图像，所述的均值滤波半径越大，图像模糊程度越高。
3.如权利要求2所述的一种数字图像相关算法稳定性测试方法，其特征在于：所述的均值滤波半径设置为1像素、4像素、6像素、8像素和10像素。
4.如权利要求1所述的一种数字图像相关算法稳定性测试方法，其特征在于：所述的步骤8和步骤12中Von Mises等效应变表达式如下：
其中：εx，εy，εy分别为x,y,z三个方向的应变，γxy，γxz，γzy分别为xy，xz，yz三个平面的剪切变形。
5.如权利要求1所述的一种数字图像相关算法稳定性测试方法，其特征在于：在得到对焦准确度对数字图像相关算法的影响、明度场均匀变化时对数字图像相关算法计算结果的影响和明度场梯度变化时对数字图像相关算法计算结果的影响规律后，根据实际工况可以在所需工况区间内选取最优的数字图像相关算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010694670.3A CN111986153B (zh) | 2020-07-17 | 2020-07-17 | 一种数字图像相关算法稳定性测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010694670.3A CN111986153B (zh) | 2020-07-17 | 2020-07-17 | 一种数字图像相关算法稳定性测试方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111986153A CN111986153A (zh) | 2020-11-24 |
| CN111986153B true CN111986153B (zh) | 2024-03-19 |
Family
ID=73438735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010694670.3A Active CN111986153B (zh) | 2020-07-17 | 2020-07-17 | 一种数字图像相关算法稳定性测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111986153B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102859990A (zh) * | 2010-04-29 | 2013-01-02 | 伊斯曼柯达公司 | 使用gps检测室内/室外场景 |
| CN105631897A (zh) * | 2015-12-22 | 2016-06-01 | 哈尔滨工业大学 | 基于单演信号特征距离和互相关变换光流算法的电影核磁共振图像序列运动估计方法 |
| CN108548834A (zh) * | 2018-05-07 | 2018-09-18 | 湖南大学 | 一种基于sem原位成像系统的应变测量方法 |
| CN110188759A (zh) * | 2019-06-21 | 2019-08-30 | 江苏开放大学（江苏城市职业学院） | 一种在数字图像相关法中应变场子区动态选择方法 |
-
2020
- 2020-07-17 CN CN202010694670.3A patent/CN111986153B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102859990A (zh) * | 2010-04-29 | 2013-01-02 | 伊斯曼柯达公司 | 使用gps检测室内/室外场景 |
| CN105631897A (zh) * | 2015-12-22 | 2016-06-01 | 哈尔滨工业大学 | 基于单演信号特征距离和互相关变换光流算法的电影核磁共振图像序列运动估计方法 |
| CN108548834A (zh) * | 2018-05-07 | 2018-09-18 | 湖南大学 | 一种基于sem原位成像系统的应变测量方法 |
| CN110188759A (zh) * | 2019-06-21 | 2019-08-30 | 江苏开放大学（江苏城市职业学院） | 一种在数字图像相关法中应变场子区动态选择方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111986153A (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lopez et al. | Deep single image camera calibration with radial distortion | |
| CN104657711B (zh) | 一种鲁棒的指针式仪表读数自动识别方法 | |
| CN106355195B (zh) | 用于测量图像清晰度值的系统及其方法 | |
| CN111160229B (zh) | 基于ssd网络的视频目标检测方法及装置 | |
| CN111727412A (zh) | 用于设定照明条件的方法、装置、系统及程序以及存储介质 | |
| CN109655234B (zh) | 一种针对于相机的自动化测试方法 | |
| CN111047586B (zh) | 一种基于机器视觉的像素当量测量方法 | |
| CN114612345B (zh) | 一种基于图像处理的光源检测方法 | |
| CN109974618B (zh) | 多传感器视觉测量系统的全局标定方法 | |
| CN112381751A (zh) | 一种基于图像处理算法的在线智能检测系统及方法 | |
| CN114972339A (zh) | 用于推土机结构件生产异常检测的数据增强系统 | |
| CN111986153B (zh) | 一种数字图像相关算法稳定性测试方法 | |
| CN110335219B (zh) | 一种像素畸变的校正方法、校正装置及终端 | |
| CN112381177A (zh) | 一种基于深度学习的表盘数字字符识别方法及系统 | |
| CN112734858A (zh) | 一种双目标定精度在线检测方法及装置 | |
| CN113870150B (zh) | 基于连续多张遥感图像反演航天器低频振动参数的方法 | |
| CN111553954A (zh) | 一种基于直接法单目slam的在线光度标定方法 | |
| CN116597246A (zh) | 模型训练方法、目标检测方法、电子设备及存储介质 | |
| CN111968183B (zh) | 一种用于单目线激光三维测量模块标定的量块标定法 | |
| Zhang et al. | Image matching based on local phase quantization applied for measuring the tensile properties of high elongation materials | |
| CN109242911A (zh) | 一种基于分区域的双目相机基本矩阵计算方法 | |
| CN113670268A (zh) | 基于双目视觉的无人机和电力杆塔距离测量方法 | |
| CN113470035A (zh) | 一种基于序列图像误差网络校正的图像分割方法 | |
| CN113627609B (zh) | 一种基于仿射变换的网络度量方法和存储设备 | |
| Sun et al. | Research on vision detection technology based on photometric calibration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |