CN113859574B - 一种飞行状态下无人机光学载荷性能检测装置及方法 - Google Patents
一种飞行状态下无人机光学载荷性能检测装置及方法 Download PDFInfo
- Publication number
- CN113859574B CN113859574B CN202010608301.8A CN202010608301A CN113859574B CN 113859574 B CN113859574 B CN 113859574B CN 202010608301 A CN202010608301 A CN 202010608301A CN 113859574 B CN113859574 B CN 113859574B
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- ground
- optical axis
- optical load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 110
- 238000001514 detection method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000012360 testing method Methods 0.000 claims abstract description 59
- 230000005855 radiation Effects 0.000 claims abstract description 27
- 238000010438 heat treatment Methods 0.000 claims description 5
- 239000003973 paint Substances 0.000 claims description 4
- 238000002310 reflectometry Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 3
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
- B64F5/60—Testing or inspecting aircraft components or systems
Abstract
一种飞行状态下无人机光学载荷性能检测装置及方法，装置包括地面校准黑体，地面动态分辨率测试靶，地面光轴一致性测试组件，无人机光学载荷采集设备，控制系统。包括包括如下步骤：通过地面校准黑体对光学载荷进行辐射标定，通过动态分辨率测试靶对光学载荷进行动态分辨率检测，通过光轴一致性测试组件，将光轴一致性测试组件可见、红外靶标一体化设计，对光学载荷可见、红外光轴偏离量进行检测，有效解决了传统测试设备结构大、无法工作在外场的问题，克服了飞行抖动、环境干扰带来的影响，解决了现有技术只能在实验室环境下进行光学载荷红外辐射标定的缺陷，为无人机检测提供有效保障。
Description
技术领域
本发明涉及无人机评测技术领域，尤其涉及一种飞行状态下无人机光学载荷性能检测装置及方法。
背景技术
近年来，无人机在军事作战、电力巡检、环境监测、地理测绘、警用侦查、林业防护、物流投递等领域得到了十分广泛的应用。无人机行业的第三方检测需求极为迫切。现有无人机的光学载荷测试技术通常是针对实验室状态下的性能测量。飞行状态下机载光学载荷工作在抖动、环境干扰等复杂条件下，与光学载荷实验室下评测得到的数据存在差异和不同。实验室评测数据无法准确说明光学载荷在实际飞行状态下的性能。因此在飞行状态下光学载荷性能测试技术在无人机研制和检测过程中尤为重要，针对这类测量需求，现有的测量技术显然难以满足。
发明内容
鉴于上述的分析，本发明旨在提供一种飞行状态下无人机光学载荷性能检测装置及方法，用以解决现有技术无法测量飞行状态下无人机光学载荷性能检测的问题。
一种飞行状态下无人机光学载荷性能检测装置，包括地面校准黑体，用于提供可调的红外辐射源；地面动态分辨率测试靶，用于提供对应不同分辨率图形的靶标；地面光轴一致性测试组件，用于提供可见光、红外光的十字靶线；无人机光学载荷采集设备，安装在无人机上，用于采集地面校准黑体的第一图像信息、地面动态分辨率测试靶的第二图像信息和光学载荷的可见光视场中心与光轴一致性测试组件得到的可见光图像十字线重合时的第三图像信息；控制系统，用于对地面校准黑体、地面光轴一致性测试组件进行控制和供电。
进一步，所述地面校准黑体尺寸不小于1m×1m。
进一步，所述动态分辨率测试靶2上分布有不同分辨率的三杆图形，当光学载荷采集设备得到三个图像时，较清晰的图像对应的分辨率就是所测结果。
进一步，所述光轴一致性测试组件为不小于7行×7列的方形小靶组成的方形靶，沿着中心十字线设置的方形小靶为高发射靶，喷涂有发射率高于0.80的黑漆，并具有加热层，通过控制系统加热；除中心十字线外周围方形小靶为激光漫反靶，尺寸与方形小靶6相同，反射率高于95％。
进一步，所述的高发射靶或激光漫反靶宽度不小于50cm，光轴一致性测试组件不小于350cm。
优先的，所述光轴一致性测试组件由7行×7列的方形小靶组成。
一种飞行状态下无人机光学载荷性能检测方法，采用权上述装置，让无人机处于悬停或盘旋飞行状态，包括如下步骤：
S1.无人机光学载荷采集设备采集到地面校准黑体的图像，得到图像灰度值；基于控制系统得到地面校准黑体设定温度值，根据下述公式计算地面校准黑体在光学载荷工作波段辐射亮度：
式中，L(T)为地面校准黑体在波长λ1到λ2范围内的辐射亮度，T为地面校准黑体的绝对温度，λ为无人机光学载荷的波长，h为普朗克常数，c为光速，k为玻尔兹曼常数，公式(1)中h，c，k是常数，T、λ1、λ2是已知量，可以根据公式计算出地面校准黑体不同绝对温度T对应的辐射亮度L(T)。
利用下式建立DN与辐射亮度之间的关系，得到方程系数K，C：
DN＝K·L(T)+C (2)
式中，DN为图像灰度值，K、C为标定方程的标定系数；
公式(2)中地面校准黑体设置不同的绝对温度T，可以通过图像得到灰度值DN，根据地面校准黑体不同绝对温度T对应的DN值，通过数据拟合得到K、C，从而实现无人机光学载荷红外辐射标定。
S2.无人机光学载荷采集设备采集到动态分辨率测试靶2图像，通过观察采集到图像中可看到的最清晰分辨率图像对应的分辨率，即为无人机光学载荷动态分辨率。
S3.调节无人机光学载荷采集设备，使得光学载荷可见光视场中心与光轴一致性测试组件十字图形重合，此时采集的红外图像中心与红外十字靶线的间隔像素数n；利用下式获得无人机光学载荷多光轴偏离量：
E＝α·n (3)
其中，α为红外图像的瞬时视场角。
本发明将无人机处于悬停状态或飞行状态，通过地面校准黑体对光学载荷进行辐射标定，通过动态分辨率测试靶对光学载荷进行动态分辨率检测，通过光轴一致性测试组件，将光轴一致性测试组件可见、红外靶标一体化设计，对光学载荷可见、红外光轴偏离量进行检测，有效解决了传统测试设备结构大、无法工作在外场的问题，克服了飞行抖动、环境干扰带来的影响，解决了现有技术只能在实验室环境下进行光学载荷红外辐射标定的缺陷，为无人机检测提供有效保障。
附图说明
图1为本发明组成示意图。
图2为本发明光轴一致性测试组件结构示意图。
具体实施方式
下面结合附图对本发明做进一步描述。
一种飞行状态下无人机光学载荷性能检测装置，如图1所示，包括地面校准黑体1，用于提供可调的红外辐射源；地面动态分辨率测试靶2，用于提供对应不同分辨率图形的靶标；地面光轴一致性测试组件3，用于提供可见光、红外光的十字靶线；无人机光学载荷采集设备5安装在无人机上，用于采集地面校准黑体1的第一图像信息、地面动态分辨率测试靶2的第二图像信息和光学载荷的可见光视场中心与光轴一致性测试组件3得到的可见光图像十字线重合时得到的第三图像信息；控制系统4，用于对地面校准黑体1、地面光轴一致性测试组件3进行控制和供电。
所述地面校准黑体要求不小于1m×1m口径，所述动态分辨率测试靶2上分布有不同分辨率的三杆图形，当光学载荷采集设备5得到三个图像时，较清晰的图像对应的分辨率就是所测结果。
所述光轴一致性测试组件3为不小于7行×7列的方形小靶组成的方形靶，如图2所示，沿着中心十字线设置的方形小靶为高发射靶6，喷涂有发射率高于0.80的黑漆，并具有加热层，通过控制系统4加热；除中心十字线外周围方形小靶为激光漫反靶7，尺寸与方形小靶6相同，反射率高于95％。
高发射靶6或激光漫反靶7宽度不小于50cm，光轴一致性测试组件3不小于350cm。
优选的，光轴一致性测试组件由7行×7列的方形小靶组成。
控制系统4通过温度传感器反馈地面校准黑体1或地面光轴一致性测试组件3的实时温度，通过控制电控系统加热功率或制冷功率，实现对地面校准黑体1以及高发射靶6温度的控制，从而使地面校准黑体1提供稳定可调的红外辐射源；在测试需要时升高高发射靶6的温度，提供红外辐射，以便被光学载荷采集设备5红外波段接收。
一种飞行状态下无人机光学载荷性能检测方法，采用上述装置，让无人机处于悬停或盘旋飞行状态，包括如下步骤：
S1.无人机光学载荷采集设备5采集到地面校准黑体1的图像，得到图像灰度值；基于控制系统4得到地面校准黑体1设定温度值，根据下述公式计算地面校准黑体1在光学载荷工作波段辐射亮度：
式中，L(T)为地面校准黑体1在波长λ1到λ2范围内的辐射亮度，T为地面校准黑体1的绝对温度，λ为无人机光学载荷的波长，h为普朗克常数，c为光速，k为玻尔兹曼常数，公式(1)中h，c，k是常数，T、λ1、λ2是已知量，可以根据公式计算出地面校准黑体1不同绝对温度T对应的辐射亮度L(T)。
利用下式建立DN与辐射亮度之间的关系，得到方程系数K，C：
DN＝K·L(T)+C (2)
式中，DN为图像灰度值，K、C为标定方程的标定系数；
公式(2)里地面校准黑体1设置不同的绝对温度T，可以通过图像得到灰度值DN，根据地面校准黑体1不同绝对温度T的DN值，通过数据拟合得到K、C，从而实现无人机光学载荷红外辐射标定。
S2.无人机光学载荷采集设备5采集到动态分辨率测试靶2图像，通过观察采集到图像中可看到的最清晰分辨率图像对应的分辨率，即为无人机光学载荷动态分辨率。
S3.调节无人机光学载荷采集设备5，使得光学载荷可见光视场中心与光轴一致性测试组件3十字图形重合，此时采集的红外图像中心与红外十字靶线的间隔像素数n；利用下式获得无人机光学载荷多光轴偏离量：
E＝α·n (3)
其中，α为红外图像的瞬时视场角。
本发明无人机光学载荷性能检测包括红外辐射标定、动态分辨率、光轴一致性测量。
红外辐射标定就是给出辐射亮度和灰度值之间的关系，建立标定方程。因此通过设置地面校准黑体1不同的绝对温度T，采集对应的图像得到图像灰度值DN，通过公式(2)计算得到标定方程的标定系数K、C。
动态分辨率测试靶2提供多个不同分辨率的图形，动态分辨率是无人机运动状态下光学载荷获得清晰图像对应的最大分辨率。
光轴一致性测试是光学载荷具有可见、红外多光轴的测试需求，光轴一致性测试组件3提供红外、可见重叠的十字图形，通过调节无人机光学载荷采集设备5，使得光学载荷可见光视场中心与光轴一致性测试组件3十字图形重合。这时载荷红外图像中心与光轴一致性测试组件3十字图像的偏差就是光轴一致性测量值，通过公式(3)计算得到。
本发明将无人机处于悬停状态或者盘旋飞行状态下，对被测无人机的光学载荷红外辐射标定、动态分辨率、光轴一致性进行测量，解决了现有技术只能测量实验室环境中静止条件下光学载荷性能的缺陷，提高了光学载荷在飞行状态下性能测试精度，为无人机系统检测提供了有效保障。
Claims (2)
1.一种飞行状态下无人机光学载荷性能检测方法，其特征是，该方法基于飞行状态下无人机光学载荷性能检测装置，该装置包括地面校准黑体(1)，用于提供可调的红外辐射源；地面动态分辨率测试靶(2)，用于提供对应不同分辨率图形的靶标；地面光轴一致性测试组件(3)，用于提供可见光、红外光的十字靶线；无人机光学载荷采集设备(5)，安装在无人机上，用于采集地面校准黑体(1)的第一图像信息、地面动态分辨率测试靶(2)的第二图像信息和光学载荷的可见光视场中心与光轴一致性测试组件(3)得到的可见光图像十字线重合时的第三图像信息；控制系统(4)，用于对地面校准黑体(1)以及地面光轴一致性测试组件(3)进行温度控制和供电；
所述地面校准黑体(1)尺寸不小于1m×1m；
所述动态分辨率测试靶(2)上分布有不同分辨率的三杆图形，当光学载荷采集设备(5)得到三个图像时，较清晰的图像对应的分辨率就是所测结果；
所述光轴一致性测试组件(3)为不小于7行×7列的方形小靶组成的方形靶，沿着中心十字线设置的方形小靶为高发射靶(6)，喷涂有发射率高于0.80的黑漆，并具有加热层，通过控制系统(4)加热；除中心十字线外周围方形小靶为激光漫反靶(7)，尺寸与方形小靶相同，反射率高于95％；
所述的高发射靶(6)或激光漫反靶(7)宽度不小于50cm，光轴一致性测试组件(3)不小于350cm；
所述光轴一致性测试组件由7行×7列的方形小靶组成；
采用所述装置，让无人机处于悬停或盘旋飞行状态，包括如下步骤：
S1.无人机光学载荷采集设备(5)采集到地面校准黑体(1)的图像，得到图像灰度值；基于控制系统(4)得到地面校准黑体(1)设定温度值，根据下述公式计算地面校准黑体(1)在光学载荷工作波段辐射亮度：
式中，L(T)为地面校准黑体(1)在波长λ1到λ2范围内的辐射亮度，T为地面校准黑体(1)的绝对温度，λ为无人机光学载荷的波长，h为普朗克常数，c为光速，k为玻尔兹曼常数，公式(1)中h，c，k是常数，T、λ1、λ2是已知量，可以根据公式计算出地面校准黑体(1)不同绝对温度T对应的辐射亮度L(T)；利用下式建立DN与辐射亮度之间的关系，得到方程系数K，C：
DN＝K·L(T)+C (2)
式中，DN为图像灰度值，K、C为标定方程的标定系数；
公式(2)中地面校准黑体(1)设置不同的绝对温度T，可以通过图像得到灰度值DN，根据地面校准黑体(1)不同绝对温度T对应的DN值，通过数据拟合得到K、C，从而实现无人机光学载荷红外辐射标定；
S2.无人机光学载荷采集设备(5)采集到动态分辨率测试靶(2)图像，通过观察采集到图像中可看到的最清晰分辨率图像对应的分辨率，即为无人机光学载荷动态分辨率；
S3.调节无人机光学载荷采集设备(5)，使得光学载荷可见光视场中心与光轴一致性测试组件(3)十字图形重合，此时采集的红外图像中心与红外十字靶线的间隔像素数n；利用下式获得无人机光学载荷多光轴偏离量：
E＝α·n (3)
其中，α为红外图像的瞬时视场角。
2.如权利要求1所述的无人机光学载荷性能检测方法，其特征是所述地面校准黑体(1)尺寸不小于1m×1m，所述动态分辨率测试靶(2)上分布有不同分辨率的三杆图形，当光学载荷得到三个图像时，较清晰的图像对应的分辨率就是所测结果，所述光轴一致性测试组件(3)为不小于7行×7列的方形小靶组成的方形靶，沿着中心十字线设置的方形小靶为高发射靶(6)，喷涂有发射率高于0.80的黑漆，并具有加热层，通过控制系统(4)加热；除中心十字线外周围方形小靶为激光漫反靶(7)，尺寸与方形小靶相同，反射率高于95％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010608301.8A CN113859574B (zh) | 2020-06-30 | 2020-06-30 | 一种飞行状态下无人机光学载荷性能检测装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010608301.8A CN113859574B (zh) | 2020-06-30 | 2020-06-30 | 一种飞行状态下无人机光学载荷性能检测装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113859574A CN113859574A (zh) | 2021-12-31 |
| CN113859574B true CN113859574B (zh) | 2024-01-05 |
Family
ID=78980980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010608301.8A Active CN113859574B (zh) | 2020-06-30 | 2020-06-30 | 一种飞行状态下无人机光学载荷性能检测装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113859574B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10243411A1 (de) * | 2002-09-18 | 2004-04-01 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zur Kalibrierung von Messgeräten zur quantitativen Infrarotstrahlungsmessung |
| RU2006131241A (ru) * | 2006-08-30 | 2008-03-10 | Открытое акционерное общество "Ракетно-космическа корпораци "Энерги " имени С.П. Королева" (RU) | Способ определения термического сопротивления экранно-вакуумной теплоизоляции системы терморегулирования космического аппарата при термовакуумных испытаниях |
| CN103954366A (zh) * | 2014-04-28 | 2014-07-30 | 北京振兴计量测试研究所 | 一种用于真空低温条件下的超大面源黑体校准系统 |
| CN108163223A (zh) * | 2016-12-07 | 2018-06-15 | 南京理工大学 | 一种便携式飞行器红外隐身性能评估装置和方法 |
| CN108204888A (zh) * | 2016-12-19 | 2018-06-26 | 北京振兴计量测试研究所 | 一种仿真用红外动态场景模拟器现场校准装置 |
| CN108712150A (zh) * | 2018-04-16 | 2018-10-26 | 中国计量大学 | 塔式太阳能用定日镜镜面发射率和洁净程度检测方法 |
| CN110095192A (zh) * | 2019-04-26 | 2019-08-06 | 南京理工大学 | 一种红外热像仪综合性能参数测试系统及其方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9297755B2 (en) * | 2013-10-24 | 2016-03-29 | The Regents Of The University Of Michigan | Ice and supercooled water detection system |
-
2020
- 2020-06-30 CN CN202010608301.8A patent/CN113859574B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10243411A1 (de) * | 2002-09-18 | 2004-04-01 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zur Kalibrierung von Messgeräten zur quantitativen Infrarotstrahlungsmessung |
| RU2006131241A (ru) * | 2006-08-30 | 2008-03-10 | Открытое акционерное общество "Ракетно-космическа корпораци "Энерги " имени С.П. Королева" (RU) | Способ определения термического сопротивления экранно-вакуумной теплоизоляции системы терморегулирования космического аппарата при термовакуумных испытаниях |
| CN103954366A (zh) * | 2014-04-28 | 2014-07-30 | 北京振兴计量测试研究所 | 一种用于真空低温条件下的超大面源黑体校准系统 |
| CN108163223A (zh) * | 2016-12-07 | 2018-06-15 | 南京理工大学 | 一种便携式飞行器红外隐身性能评估装置和方法 |
| CN108204888A (zh) * | 2016-12-19 | 2018-06-26 | 北京振兴计量测试研究所 | 一种仿真用红外动态场景模拟器现场校准装置 |
| CN108712150A (zh) * | 2018-04-16 | 2018-10-26 | 中国计量大学 | 塔式太阳能用定日镜镜面发射率和洁净程度检测方法 |
| CN110095192A (zh) * | 2019-04-26 | 2019-08-06 | 南京理工大学 | 一种红外热像仪综合性能参数测试系统及其方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于激光点阵列探测的多光轴平行性外场测试方法;乔琳;巩稼民;王贝贝;;长春理工大学学报(自然科学版)(04);第8-11页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113859574A (zh) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108072459A (zh) | 一种测量钢板温度场及计算其辐射强度的方法 | |
| CN107687900B (zh) | 一种适用于机载热红外成像光谱仪大气校正系统和方法 | |
| CN108120510B (zh) | 一种光学遥感器基于反射镜阵列的在轨绝对辐射定标方法 | |
| CN106770062B (zh) | 一种大气透过率测量及标定方法 | |
| CN109655161B (zh) | 基于红外热像仪的目标红外积分辐射强度测试方法及设备 | |
| CN111829666B (zh) | 一种目标红外成像仿真模型的四级验证方法 | |
| US20100265987A2 (en) | Method and Apparatus for Measuring the Temperature of a Sheet Material | |
| CN106441808A (zh) | 一种热红外高光谱成像仪盲元检测装置和方法 | |
| CN109269641B (zh) | 一种用于天绘一号卫星的多传感器协同辐射定标方法 | |
| CN113859574B (zh) | 一种飞行状态下无人机光学载荷性能检测装置及方法 | |
| CN111289148B (zh) | 一种基于现场校准的瞬态火球参数获取方法 | |
| CN212030747U (zh) | 红外热成像设备的检测系统 | |
| CN111366254A (zh) | 一种大气透过率检测方法及装置 | |
| CN106525239A (zh) | 光栅式成像光谱仪空间光谱辐射亮度响应度定标装置及方法 | |
| CN114459616B (zh) | 光谱辐射计视场响应非均匀性标定方法 | |
| CN114088351B (zh) | 一种多光谱自动校准系统 | |
| CN113758580A (zh) | 一种基于红外矩阵监测的输电线路在线监测方法及系统 | |
| Burner et al. | In-flight aeroelastic measurement technique development | |
| Platzer et al. | Computer-based areal surface temperature and local heat transfer measurements with thermochromic liquid crystals (TLC) | |
| Nelsson et al. | ScanSpec: an imaging FTIR spectrometer | |
| Yan et al. | Study on multichannel passive millimeter-wave radiometer imaging and superresolution | |
| Huang et al. | Research on radiometric calibration for super wide-angle staring infrared imaging system | |
| Arad et al. | Towards, Multi-purpose system for spatial and hyperspectral sampling of crop from a moving platform | |
| Vilkov et al. | Technology of Putting Infrared Sensors for Remote Monitoring of Power Facilities by UAS Into Operation | |
| CN114677275B (zh) | 一种高频次重复凝视成像空基遥感载荷在轨测试方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |