CN109632269A - 基于图像灰度信息检测光学衍射元件性能的方法 - Google Patents
基于图像灰度信息检测光学衍射元件性能的方法 Download PDFInfo
- Publication number
- CN109632269A CN109632269A CN201811616727.7A CN201811616727A CN109632269A CN 109632269 A CN109632269 A CN 109632269A CN 201811616727 A CN201811616727 A CN 201811616727A CN 109632269 A CN109632269 A CN 109632269A
- Authority
- CN
- China
- Prior art keywords
- optical element
- diffractive
- gray scale
- power
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/02—Testing optical properties
Landscapes
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
Abstract
本发明涉及一种基于图像灰度信息检测光学衍射元件性能的方法，所述方法包括对光学衍射元件衍射效率的检测，包括：S1、对测试用激光器的功率与测试用相机的灰度关系进行标定，获取灰度和与曝光时间和功率乘积的数值关系式；S2、对采集相机进行亮度标定；S3、在相同的曝光时间下，通过所述采集相机依次采集光源的灰度图片和无光源条件下的灰度图片；S4、在相同曝光时间下，通过所述采集相机依次采集所述光学衍射元件的衍射点斑的灰度图片和无光源条件下的灰度图片；S5、对所述步骤S3和所述步骤S4中所获得灰度图片进行灰度值计算，并转换为功率计算出衍射效率。本发明的方法能够方便快速地对光学衍射元件性能进行检测。
Description
技术领域
本发明涉及光学材料图像处理技术领域，尤其涉及一种基于图像灰度信息检测光学衍射元件性能的方法。
背景技术
在3D视觉结构光方案中，必须采用特定的光学图案(例如激光散斑等)实现深度信息的测量，光学衍射元件(DOE)就是用来完成这一任务的。垂直腔面发射激光器射出的激光束经准直后，通过DOE进行衍射复制，即可得到所需的激光散斑图案。因此，DOE是3D结构光方案中至关重要的核心元件之一。
DOE性能检测是DOE整体测试环节中必不可少的一道检验工序。实验室测试DOE性能时，采用的是积分球逐个测试衍射点斑功率的方法。但是这种方法存在测试时间较长，且对测试手法要求较高，不适用于大批量测试。
发明内容
本发明的目的在于提供一种基于图像灰度信息检测光学衍射元件性能的方法，提升测试效率。
为实现上述目的，本发明提供一种基于图像灰度信息检测光学衍射元件性能的方法，所述方法包括对光学衍射元件衍射效率的检测，包括：
S1、对测试用激光器的功率与测试用相机的灰度关系进行标定，获取灰度和与曝光时间和功率乘积的数值关系式；
S2、对采集相机进行亮度标定；
S3、在相同的曝光时间下，通过所述采集相机依次采集光源的灰度图片和无光源条件下的灰度图片；
S4、在相同曝光时间下，通过所述采集相机依次采集所述光学衍射元件的衍射点斑的灰度图片和无光源条件下的灰度图片；
S5、对所述步骤S3和所述步骤S4中所获得灰度图片进行灰度值计算，并转换为功率计算出衍射效率。
根据本发明的一个方面，所述方法还包括对所述光学衍射元件光强均匀性的检测，包括：
(a)、在所述步骤S1和所述步骤S2的基础上，通过所述采集相机采集所述光学衍射元件的衍射点斑的灰度图片；
(b)、在与所述(a)相同的曝光时间下，通过所述采集相机采集无光源条件下的背景灰度图片；
(c)计算所述步骤(a)和(b)中灰度图片的灰度差值，将所有灰度差值转换成功率，之后计算出所述光学衍射元件的光强均匀性。
根据本发明的一个方面，所述步骤S1对测试用激光器的功率与测试用相机的灰度关系进行标定的过程为：
S11、将所述测试用激光器处于打开状态，选择四个不用的激光功率，在不曝光过度的情况下，选择四个不同的相机曝光时间，保存四组不同曝光时间的图片，每组中有四张不同功率的图片；
S12、将所述测试用激光器处于关闭状态，选择所述步骤S11中的四个曝光时间，再保存四张灰度图片作为背景图片；
S13、对采集到的四组不同曝光时间的图片进行去除背景操作，对于图片中的光源光斑的灰度进行计算；
S14、通过线性拟合获得灰度和与曝光时间和功率乘积的数值关系式。
根据本发明的一个方面，所述步骤S5包括：
S51、分别计算出激光光斑的灰度和以及光学衍射元件的衍射点斑的灰度和；
S52、通过灰度和与曝光时间和功率乘积的数值关系式将不同曝光时间的灰度和转换为功率，之后计算所述光学衍射元件的衍射效率。
根据本发明的一个方面，所述光学衍射元件的衍射效率等于所述光学衍射元件所有衍射点斑的功率和与所述激光光斑的功率的比值。
根据本发明的一个方面，在所述步骤(c)中：
C1、对所述步骤(a)和所述步骤(b)中所获得的所有衍射点斑进行质心定位；
C2、以所述所有质心为中心，预定尺寸作为边长，设立感兴趣区域，计算所述步骤(a)和所述步骤(b)中所述灰度图片在所述感兴趣区域内的灰度差值；
C3、通过灰度和与曝光时间和功率乘积的数值关系式将所有灰度差值转换为功率，计算所述光学衍射元件的光强均匀性。
根据本发明的一个方面，所述光学衍射元件的光强均匀性等于所述光学衍射元件所有衍射点斑的功率最大值与所述光学衍射元件所有衍射点斑的功率最小值之差和所述光学衍射元件所有衍射点斑的功率平均值的比值。
本发明的基于图像灰度信息检测光学衍射元件性能的方法，是基于图像灰度信息，然后将灰度转换为功率进一步计算光学衍射元件的衍射效率和光强均匀性，相比于现有技术中通过积分球逐个测试衍射点斑功率的方法而言，具有检测速度快，操作简单，可非接触测量等优点，实现对于光学衍射元件快速便捷的无损检测，适用于大批量的检测需求。
附图说明
图1示意性表示根据本发明的基于图像灰度信息检测光学衍射元件性能的结构示图；
图2示意性表示根据本发明的光学衍射元件的衍射点斑示图；
图3示意性表示根据本发明的灰度和与功率乘以曝光时间的线性拟合关系示图。
具体实施方式
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
在针对本发明的实施方式进行描述时，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”所表达的方位或位置关系是基于相关附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
结合图1、图2和图3所示，本发明的基于图像灰度信息检测光学衍射元件性能的方法包括对于光学衍射元件的衍射效率和光强均匀性两方面的检测。其中对于光学衍射元件的衍射效率的检测方法包括：S1、对测试用激光器的功率与测试用相机的灰度关系进行标定，获取灰度和与曝光时间和功率乘积的数值关系式；S2、对采集相机进行亮度标定；S3、在相同的曝光时间下，通过采集相机依次采集光源的灰度图片和无光源条件下的灰度图片；S4、在相同曝光时间下，通过采集相机依次采集所学衍射元件的衍射点斑的灰度图片和无光源条件下的灰度图片；S5、对步骤S3和步骤S4中所获得灰度图片进行灰度值计算，并转换为功率计算出衍射效率。
在步骤S1中需要获取灰度和与曝光时间和功率乘积的数值关系式，作为灰度转换为功率的基础。具体来说，在步骤S1中，首先激光打开状态下，通过激光器控制器选择4个不同的激光功率，在不过度曝光的情况下，选择4个不同的相机曝光时间；保存4组不同曝光时间的图片，然后每组中有4张不同功率的图片。之后将激光关闭，选择上一步的4个曝光时间，再保存4张灰度图片作为背景。然后利用OpenCV实现的图像处理算法对采集到的4组不同曝光时间的图片，去除背景(对应各自的曝光时间)，对图片中的光源光斑的灰度按表1进行计算：
表1
之后根据理论推导，灰度和与曝光时间和功率的乘积成线性关系，因此，如图3所示，通过线性拟合可以得到灰度与曝光时间和功率的乘积的数值关系式：H＝0.6122×P×t+452.08，H表示灰度和，P表示功率，t表示曝光时间，这是灰度转换功率的基础。
而由于相机镜头的主光线角度小于相机CMOS传感器的微透镜的主光线角度，会导致相机拍摄的图片存在灰度分布不均的情况，具体表现为中间亮，四周暗。因此，为保证检测结果的准确性，在步骤S1之后，需要对采集相机进行亮度标定。
之后通过步骤S3和S4获得相应的灰度图片，进行步骤S5。在步骤S5中，利用OpenCV实现的图像处理算法对前述步骤获得的4张图片进行灰度值计算，具体是通过对光斑进行质心定位，然后以质心为中心，设感兴趣区域区域，计算该区域内的前景图与背景图的灰度差值，获得激光光斑的灰度和以及光学衍射元件的衍射点斑的灰度和。然后通过灰度和与曝光时间和功率乘积的数值关系式将不同曝光时间的灰度和转换为功率，之后计算光学衍射元件的衍射效率。
具体来说，是通过公式计算出衍射效率。其中efficiency表示衍射效率，SUM指的是光学衍射元件所有衍射点斑的功率和，Input power指的是激光光斑的功率。也就是说光学衍射元件的衍射效率等于光学衍射元件所有衍射点斑的功率和与激光光斑的功率的比值。
本发明的基于图像灰度信息检测光学衍射元件性能的方法，还包括检测光学衍射元件光强均匀性的方法。检测光学衍射元件光强均匀行的方法同样需要获取灰度和与曝光时间和功率乘积的数值关系式，作为灰度转换为功率的基础。因此，检测光学光强均匀性的方法可以在检测光学元件衍射效率之后进行。也就是说，对于光学衍射元件衍射效率和光强均匀性的检测可以基于一次步骤S1和步骤S2。当然，也可以在光学衍射元件的衍射效率检测之后，重复步骤S1和D2，之后对于光学衍射元件的光强均匀性进行检测。
光学衍射元件的光强均匀性检测方法如下：(a)、在步骤S1和步骤S2的基础上，通过采集相机采集光学衍射元件的衍射点斑的灰度图片；(b)、在与步骤(a)相同的曝光时间下，通过采集相机采集无光源条件下的背景灰度图片；(c)计算步骤(a)和(b)中灰度图片的灰度差值，将所有灰度差值转换成功率，之后计算出所述光学衍射元件的光强均匀性。
在步骤(c)包括：C1、利用OpenCV实现的图像处理算法对步骤(a)和步骤(b)中所获得的所有衍射点斑进行质心定位；C2、以所有质心为中心，预定尺寸作为边长，设立感兴趣区域，计算步骤(a)和步骤(b)中灰度图片在感兴趣区域内的灰度差值；C3、通过灰度和与曝光时间和功率乘积的数值关系式将所有灰度差值转换为功率，计算光学衍射元件的光强均匀性。
具体来说，通过公式计算光学衍射元件的光强均匀性。其中uniformity表示光强均匀性，Max表示光学衍射元件所有衍射点斑的功率最大值，Min表示光学衍射元件所有衍射点斑的功率最小值，Average表示光学衍射元件所有衍射点斑的功率平均值。也就是说，光学衍射元件的光强均匀性等于光学衍射元件所有衍射点斑的功率最大值与光学衍射元件所有衍射点斑的功率最小值之差和光学衍射元件所有衍射点斑的功率平均值的比值。
本发明的基于图像灰度信息检测光学衍射元件性能的方法，是基于图像灰度信息，然后将灰度转换为功率进一步计算光学衍射元件的衍射效率和光强均匀性，相比于现有技术中通过积分球逐个测试衍射点斑功率的方法而言，具有检测速度快，操作简单，可非接触测量等优点，实现对于光学衍射元件快速便捷的无损检测，适用于大批量的检测需求。
以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于图像灰度信息检测光学衍射元件性能的方法，其特征在于，所述方法包括对光学衍射元件衍射效率的检测，包括：
S1、对测试用激光器的功率与测试用相机的灰度关系进行标定，获取灰度和与曝光时间和功率乘积的数值关系式；
S2、对采集相机进行亮度标定；
S3、在相同的曝光时间下，通过所述采集相机依次采集光源的灰度图片和无光源条件下的灰度图片；
S4、在相同曝光时间下，通过所述采集相机依次采集所述光学衍射元件的衍射点斑的灰度图片和无光源条件下的灰度图片；
S5、对所述步骤S3和所述步骤S4中所获得灰度图片进行灰度值计算，并转换为功率计算出衍射效率。
2.根据权利要求1所述的基于图像灰度信息检测光学衍射元件性能的方法，其特征在于，所述方法还包括对所述光学衍射元件光强均匀性的检测，包括：
(a)、在所述步骤S1和所述步骤S2的基础上，通过所述采集相机采集所述光学衍射元件的衍射点斑的灰度图片；
(b)、在与所述(a)相同的曝光时间下，通过所述采集相机采集无光源条件下的背景灰度图片；
(c)计算所述步骤(a)和(b)中灰度图片的灰度差值，将所有灰度差值转换成功率，之后计算出所述光学衍射元件的光强均匀性。
3.根据权利要求1或2所述的基于图像灰度信息检测光学衍射元件性能方法，其特征在于，所述步骤S1对测试用激光器的功率与测试用相机的灰度关系进行标定的过程为：
S11、将所述测试用激光器处于打开状态，选择四个不用的激光功率，在不曝光过度的情况下，选择四个不同的相机曝光时间，保存四组不同曝光时间的图片，每组中有四张不同功率的图片；
S12、将所述测试用激光器处于关闭状态，选择所述步骤S11中的四个曝光时间，再保存四张灰度图片作为背景图片；
S13、对采集到的四组不同曝光时间的图片进行去除背景操作，对于图片中的光源光斑的灰度进行计算；
S14、通过线性拟合获得灰度和与曝光时间和功率乘积的数值关系式。
4.根据权利要求1所述的基于图像灰度信息检测光学衍射元件性能的方法，其特征在于，所述步骤S5包括：
S51、分别计算出激光光斑的灰度和以及光学衍射元件的衍射点斑的灰度和；
S52、通过灰度和与曝光时间和功率乘积的数值关系式将不同曝光时间的灰度和转换为功率，之后计算所述光学衍射元件的衍射效率。
5.根据权利要求4所述的基于图像灰度信息检测光学衍射元件性能的方法，其特征在于，所述光学衍射元件的衍射效率等于所述光学衍射元件所有衍射点斑的功率和与所述激光光斑的功率的比值。
6.根据权利要求2所述的基于图像灰度信息检测光学衍射元件性能的方法，其特征在于，在所述步骤(c)中：
C1、对所述步骤(a)和所述步骤(b)中所获得的所有衍射点斑进行质心定位；
C2、以所述所有质心为中心，预定尺寸作为边长，设立感兴趣区域，计算所述步骤(a)和所述步骤(b)中所述灰度图片在所述感兴趣区域内的灰度差值；
C3、通过灰度和与曝光时间和功率乘积的数值关系式将所有灰度差值转换为功率，计算所述光学衍射元件的光强均匀性。
7.根据权利要求6所述的基于图像灰度信息检测光学衍射元件性能的方法，其特征在于，所述光学衍射元件的光强均匀性等于所述光学衍射元件所有衍射点斑的功率最大值与所述光学衍射元件所有衍射点斑的功率最小值之差和所述光学衍射元件所有衍射点斑的功率平均值的比值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811616727.7A CN109632269B (zh) | 2018-12-27 | 2018-12-27 | 基于图像灰度信息检测光学衍射元件性能的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811616727.7A CN109632269B (zh) | 2018-12-27 | 2018-12-27 | 基于图像灰度信息检测光学衍射元件性能的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109632269A true CN109632269A (zh) | 2019-04-16 |
| CN109632269B CN109632269B (zh) | 2020-09-15 |
Family
ID=66078600
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811616727.7A Active CN109632269B (zh) | 2018-12-27 | 2018-12-27 | 基于图像灰度信息检测光学衍射元件性能的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109632269B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109974978A (zh) * | 2019-05-14 | 2019-07-05 | 浙江舜宇光学有限公司 | 衍射光学元件的性能检测系统、方法和装置 |
| CN112165616A (zh) * | 2020-11-13 | 2021-01-01 | 歌尔光学科技有限公司 | 一种摄像头模组的测试方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1329703A3 (en) * | 2002-01-16 | 2004-04-14 | Sumitomo Electric Industries, Ltd. | Apparatus and method of measuring optical properties of diffractive optical element |
| CN101553721A (zh) * | 2006-12-14 | 2009-10-07 | 松下电器产业株式会社 | 衍射光学元件的光学特性测定方法及衍射光学元件的光学特性测定装置 |
| CN101893563A (zh) * | 2010-04-19 | 2010-11-24 | 清华大学 | 变曝光时间成像相移测量相位的方法 |
| CN102735428A (zh) * | 2012-06-08 | 2012-10-17 | 中国科学院上海光学精密机械研究所 | 衍射光学元件光学性能的测量装置及测量方法 |
| CN105973571A (zh) * | 2016-04-27 | 2016-09-28 | 厦门大学 | 一种基于ccd的led芯片显微表面亮度的测量方法 |
| US20170227416A1 (en) * | 2016-02-10 | 2017-08-10 | Apple Inc. | Interrogating DOE integrity by reverse illumination |
| CN108716983A (zh) * | 2018-04-28 | 2018-10-30 | Oppo广东移动通信有限公司 | 光学元件检测方法和装置、电子设备、存储介质 |
| CN108827597A (zh) * | 2018-05-02 | 2018-11-16 | 信利光电股份有限公司 | 一种结构光投影器的光斑均匀度检测方法和检测系统 |
-
2018
- 2018-12-27 CN CN201811616727.7A patent/CN109632269B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1329703A3 (en) * | 2002-01-16 | 2004-04-14 | Sumitomo Electric Industries, Ltd. | Apparatus and method of measuring optical properties of diffractive optical element |
| CN101553721A (zh) * | 2006-12-14 | 2009-10-07 | 松下电器产业株式会社 | 衍射光学元件的光学特性测定方法及衍射光学元件的光学特性测定装置 |
| CN101893563A (zh) * | 2010-04-19 | 2010-11-24 | 清华大学 | 变曝光时间成像相移测量相位的方法 |
| CN102735428A (zh) * | 2012-06-08 | 2012-10-17 | 中国科学院上海光学精密机械研究所 | 衍射光学元件光学性能的测量装置及测量方法 |
| US20170227416A1 (en) * | 2016-02-10 | 2017-08-10 | Apple Inc. | Interrogating DOE integrity by reverse illumination |
| CN105973571A (zh) * | 2016-04-27 | 2016-09-28 | 厦门大学 | 一种基于ccd的led芯片显微表面亮度的测量方法 |
| CN108716983A (zh) * | 2018-04-28 | 2018-10-30 | Oppo广东移动通信有限公司 | 光学元件检测方法和装置、电子设备、存储介质 |
| CN108827597A (zh) * | 2018-05-02 | 2018-11-16 | 信利光电股份有限公司 | 一种结构光投影器的光斑均匀度检测方法和检测系统 |
Non-Patent Citations (1)
| Title |
|---|
| 杨亮亮: "多层衍射光学元件斜入射衍射效率的测量", 《光学学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109974978A (zh) * | 2019-05-14 | 2019-07-05 | 浙江舜宇光学有限公司 | 衍射光学元件的性能检测系统、方法和装置 |
| CN112165616A (zh) * | 2020-11-13 | 2021-01-01 | 歌尔光学科技有限公司 | 一种摄像头模组的测试方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109632269B (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI743275B (zh) | 使用經預測之度量影像之度量配方產生 | |
| CN102353519B (zh) | 三代微光像增强器分辨力评价方法 | |
| US10962488B2 (en) | Integrated projection-schlieren optical system | |
| CN107403177A (zh) | 基于工业相机的亮度测量方法 | |
| CN109490311A (zh) | 基于多角度拍摄的背光面板缺陷检测系统及方法 | |
| CN109767425B (zh) | 机器视觉光源均匀性评估装置及方法 | |
| CN110389021A (zh) | 透镜图像产生系统及屈光能力和厚度确定与缺陷检测方法 | |
| US7379577B2 (en) | Method and apparatus for particle measurement employing optical imaging | |
| CN110958450A (zh) | 一种成像系统空间测试装置、对比度及频率测试方法 | |
| US10169876B2 (en) | Systems, processes, methods and machines for transforming image data into sizing and volume measurements for tissue | |
| CN109632269A (zh) | 基于图像灰度信息检测光学衍射元件性能的方法 | |
| JP2019516239A5 (zh) | ||
| CN107909578A (zh) | 基于六边形拼接算法的光场图像重聚焦方法 | |
| CN212134036U (zh) | 投影镜头杂散光测试装置 | |
| JP2020188717A5 (zh) | ||
| CN109813533B (zh) | 一种批量测试doe衍射效率和均匀性的方法及装置 | |
| KR102659471B1 (ko) | 입자 정량 장치 | |
| US11698342B2 (en) | Method and system for analysing fluorospot assays | |
| CN112161956A (zh) | 一种镜片检测方法、装置、系统及可读存储介质 | |
| Alcain et al. | Microscale Optical Capture System for Digital Fabric Recreation. | |
| KR100249597B1 (ko) | 광학적 불균일 검사장치 및 광학적 불균일 검사방법 | |
| KR102475140B1 (ko) | 렌즈 모듈의 해상력 검사 차트 및 이를 포함하는 해상력 검사 장치 | |
| CN110873639B (zh) | 一种光学检测装置 | |
| CN113702008B (zh) | 光学成像系统的像质检测方法及装置 | |
| US20190114769A1 (en) | Systems, Processes, Methods and Machines for Transforming Image Data Into Sizing and Volume Measurements for Tissue |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |