CN114397024B - 基于变积分时间多段校正算法的温度段划分与切换方法 - Google Patents
基于变积分时间多段校正算法的温度段划分与切换方法 Download PDFInfo
- Publication number
- CN114397024B CN114397024B CN202111364875.6A CN202111364875A CN114397024B CN 114397024 B CN114397024 B CN 114397024B CN 202111364875 A CN202111364875 A CN 202111364875A CN 114397024 B CN114397024 B CN 114397024B
- Authority
- CN
- China
- Prior art keywords
- value
- temperature
- segment
- well
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 15
- 230000010354 integration Effects 0.000 claims abstract description 33
- 230000006978 adaptation Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 abstract description 9
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000036760 body temperature Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明公开了一种基于变积分时间多段校正算法的温度段划分与切换方法，首先根据红外探测器的输出特性确定探测器的半阱值、高半阱值、低半阱值以及高偏移段、零偏移段和低偏移段；然后根据不同的场景选取积分时间；针对不同产品在不同的应用场景下采取不同的策略；红外探测器焦平面输出的直流电平中间值比四周偏高10％，将此差值作为最小温度区间选取的依据；每一个温度区间的选取都应该对应一个积分时间及Gpol值；当产品上电时进行单点校正，校正各个温度系数段。本发明方法由于采用变积分时间方法，适应的场景温度范围较宽，可在不同场景下达到最佳成像效果。
Description
技术领域
本发明属于数值模拟技术领域，具体涉及一种温度段划分与切换方法。
背景技术
红外探测器焦平面对均匀场景的响应值示意图如图3所示，根据图3可知，探测 器中心区域的响应值高，四周的响应值低，差值大概在10％左右，如若有光学系统， 此差值可能会增大，此差值可以作为最小温度区间选取的依据。
在使用红外制冷型探测器时，一般采用多段校正算法，多段校正算法涉及温度段如何划分、不同温度段切换点如何选择、积分时间如何选择等一系列问题。多段校正 算法的基本思路是：根据产品的应用场景以及探测器的特性来划分温度段，使探测器 在每段温度段内都工作在最佳响应状态。
以此思路可一定程度上解决天气不好(“阴雨天”、“雾霾天”)时“图像发白”的现象， 同时探测器工作在较好的线性区可一定程度上降低图像的固定图案噪声 (RFPN:Residual Fixed Pattern Noise)，降低NETD指标并改善红外图像出现的“蒙纱 现象”。
现有技术中对于如何进行合适的温度段划分并无完美的方法，存在基准点选择不准确，温度段划分不合理等问题，造成计算结果出现偏差。
发明内容
为了克服现有技术的不足，本发明提供了一种基于变积分时间多段校正算法的温度段划分与切换方法，首先根据红外探测器的输出特性确定探测器的半阱值、高半阱 值、低半阱值以及高偏移段、零偏移段和低偏移段；然后根据不同的场景选取积分时 间；针对不同产品在不同的应用场景下采取不同的策略；红外探测器焦平面输出的直 流电平中间值比四周偏高10％，将此差值作为最小温度区间选取的依据；每一个温度 区间的选取都应该对应一个积分时间及Gpol值；当产品上电时进行单点校正，校正各 个温度系数段。本发明方法由于采用变积分时间方法，适应的场景温度范围较宽，可 在不同场景下达到最佳成像效果。
本发明解决其技术问题所采用的技术方案包括如下步骤：
步骤1：根据红外探测器的输出特性确定探测器的半阱值、高半阱值、低半阱值 以及高偏移段、零偏移段和低偏移段：
根据红外探测器的输出特性确定最大响应值和最小响应值；去除红外探测器最小响应值到最大响应值的响应范围内的0％～10％和90％～100％区间，将去除后剩余区间的最小值作为低半阱值，最大值作为高半阱值；温度段中心点选择半阱值、高半阱值 以及低半阱值；温度段在半阱值、高半阱值以及低半阱值为基准点上选择高偏移段、 零偏移段以及低偏移段；
步骤2：根据不同的场景选取积分时间；
对不同的场景温度T，若红外探测器达到相同的响应值，则选择半阱值所对应的积分时间及Gpol值；
步骤3：不同产品在不同的应用场景下采取不同的策略：
(1)高半阱值配合高偏移段/零偏移段：适配温度偏低：-40℃～0℃的场景，包括冬天、雾霾天、阴雨天以及夜晚；
(2)低半阱值配合低偏移段/零偏移段：适配温度偏高：30℃～70℃的场景，包括夏天、高温目标；
(3)半阱值配合低偏移段/高偏移段：适配上面(1)和(2)中间选择；
(4)半阱值配合零偏移段：适配才场景不明确；
步骤4：红外探测器焦平面输出的直流电平中间值比四周偏高10％，将此差值作为最小温度区间选取的依据；
步骤5：每一个温度区间的选取都应该对应一个积分时间及Gpol值；
步骤6：当产品上电时进行单点校正，校正各个温度系数段；
优选地，所述温度划分区间最大值不能大于20℃。
优选地，所述温度区间的划分要有交叠区域。
优选地，所述温度区间划分时要不少于三段的温度区间，不少于三组系数。
优选地，所述温度区间划分时，对于场景单一的应用情况采用整个图像的平均值作 为切换系数段的依据；非单一场景的应用情况采用高温目标所占用的图像面积百分比作为切换系数段的依据。
本发明的有益效果如下：
1、本发明方法划分的温度区间非均性指标提高，从原先的百分之8到万分之5。
2、本发明方法划分的温度区间图像的均方差指标提高，从原先的16提升至7.(15比特数据)。
3、本发明方法由于采用变积分时间方法，适应的场景温度范围较宽，可在不同场景下达到最佳成像效果。
附图说明
图1为本发明红外探测器焦平面响应值示意图。
图2为本发明实施例某积分时间&Gpol值下探测器响应曲线示意图。
图3为本发明实施例不同积分时间&Gpol值下探测器响应曲线示意图。
图4为本发明实施例系数组划分与切换方式示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
一种基于变积分时间多段校正算法的温度段划分与切换方法，包括如下步骤：
1.根据探测器的输出特性确定探测器的半阱值、高半阱值、低半阱值以及高偏移段、零偏移段和低偏移段：
附图2为某积分时间&Gpol值下探测器响应曲线示意图，以15bit原始数据为例 说明，最大响应值为0x7FFF,最小值响应值为0x0000，探测器响应的半阱值(中间值) 为0x3FFF，去除探测器响应动态范围的0％～10％和90％～100％不使用，探测器响应的 半阱值上下区间为探测器最佳线性区间；温度段中心点的选取可以选择半阱值、高半 阱值以及低半阱值；温度段的选择可以在半阱值、高半阱值以及低半阱值为基准点上 选择高偏移段、零偏移段以及低偏移段，附图2中以半阱值做为高偏移段、零偏移段 和低偏移段的示意。
2.根据不同的场景选取不同的积分时间：
附图3为不同积分时间&Gpol值下探测器响应曲线示意图，对不同的场景温度T，若探测器达到相同的响应值，例如半阱值(0x3FFF)所对应的积分时间以及Gpol值不 同，此作为选取不同温度段下积分时间&Gpol设置的依据。
3.不同产品在不同的应用场景下应该采取不同的策略，下面列举几个例子：(结合图2，纵坐标对应有相关数值)
·高半阱值配合高偏移段/零偏移段：适合温度偏低(-40°～0°)的场景，例如冬天、 雾霾天、阴雨天以及夜晚等场景。
·低半阱值配合低偏移段/零偏移段：适合温度偏高(30°～70°)德场景，例如夏天、高温目标存在较多的场景。
·半阱值配合低偏移段/高偏移段：适合作为1)、2)两点的适中选择。
·半阱值配合零偏移段：若不清楚具体场景，选择此策略比较好。
4.探测器焦平面输出的直流电平不相同，中间偏高，四周偏低，中间值大约比四周偏高10％，此差值可以作为最小温度区间选取的依据，如图1所示。
5.不同的系数段选择不同的积分时间和Gpol值，每一个温度区间的选取都应该对应一个积分时间和Gpol值。
6.去除动态范围的0～10％和动态范围的90％～100％不使用。
7.产品上电时需要做单点校正，来校正各个系数段。
8.过大的温度区间会使图像的非均匀性指标变差，分段的温度段越小，存取的系数越多，非均匀性指标越好。(11步为进一步对分组的解释)
9.最大温度划分区间不能大于20℃。
10.温度区间的划分一定要有交叠区域。
11.应用场景温度区间较大时，应划分不少于三段的温度区间，不少于三组系数。例如对地观测吊舱来说，红外成像组件的工作温度在-55℃至70℃，观测场景的温度一 般在-20℃至60℃，在80℃的温差内一般至少需要将温度段划分为4段，至少存4组 系数。
12.场景单一的应用情况(例如光雷)一般采用整个图像的平均值作为切换系数段的依据，场景丰富的应用情况(例如吊舱)使用高温目标所占用的图像面积百分比作 为切换系数段的依据较好。
13.温度划分方式为：
根据附图4所示，在-15℃至35℃划分为三个系数段，第n-1段系数(图中蓝色区间)与第n段系数(图中绿色区间)直接有温度交叠，交叠温度值为5℃；第n段系 数(图中绿色区间)与第n+1段系数(图中红色区间)直接有温度交叠，交叠温度值 为5℃；
④点(粉红色向下箭头)为第n-1段系数(图中蓝色区间)向第n段系数(图中 绿色区间)切换的温度点，④点温度值低于⑤点，可一定程度上避免按照图像面积百 分比作为低温段系数向高温段系数切换时有些区域过饱和的情况发生，具体设置可以 和算法中图像面积百分比参数做平衡处理；
③点(青色向下箭头)为第n段系数(图中绿色区间)向第n+1段系数(图中蓝 色区间)切换的温度点，③点温度值高于②点，可一定程度上避免按照图像面积百分 比作为高温段系数向低温段系数切换时有些区域过截止的情况发生，具体设置可以和 算法中图像面积百分比参数做平衡处理；
低温段系数向高温段系数切换与高温段系数向低温段系数切换选取不同的温度切 换点，可以有效的避免在某些温度点系数来回切换带来的图像闪动的情况发生。
不同的温度段采用不同的积分时间&Gpol值，校正出不同的系数。
选取附图4示意图中的③到⑧为第n段系数的实际使用段，如此选择可以保证在系数段内图像的非均匀测试指标达到指定要求。
不同温度段对应的图像灰度值应处于同一水平。
具体实施例：
1)根据产品的应用场景选择不同的应用策略，以下步骤为选择半阱值不偏移系数段作为说明。
2)以下以固定Gpol值，改变积分时间为例说明。
3)准备黑体、待调试产品、调试机、串口转换盒等必要设备。
4)根据吊舱/光雷系统的应用场景来确定主要温度区间TMAX以及上限温度Ttop和下限温度Tbottom，例如某型吊舱系统，其主要应用场景的温度为-20℃至60℃, 所以TMAX＝80℃，Ttop＝60℃，Tbottom＝80℃。
5)根据硬件DDR及FLASH存储资源计算预计存储的系数组总数量Nmax；
6)在主要温度区间TMAX中选取在应用场景中出现较高概率的温度点TM,记录例如某型吊舱系统，选取20℃作为第一设置点S1。
7)设置黑体温度为TM,记录待调试产品成像画面中心区域灰度值1以及成像画面边界的灰度值2；
8)设置黑体温度为TM+ΔT,例如设定ΔT为1℃，记录待调试产品成像画面中心区域灰度值3以及成像画面边界的灰度值4；
9)计算Δ31＝3-1、Δ21＝2-1以及根据Δ31计算出中心区域灰度 值1与成像画面边界的灰度值2对所应的温度值TΔ；
10)计算取NF＝min{N1,NMAX}；
11)根据成像系统应用环境，选择高半阱值、低半阱值或者半阱值以及高偏移段、低偏移段和零偏移段，以下以半阱值配合零偏移段作为说明。
12)设置黑体温度为TM1，调焦积分时间和探测器偏压值，使待调试产品对黑体温度为TM1中心区域采集的灰度值达到半阱值M1附近，以15bit数据深度为例子， 半阱值为0x3FFF，记录积分时间INT1以及探测器偏压值pol1；
13)取温度区间为TΔ或者20℃，设置黑体温度为或者TM1-10℃做两点校正中的第一点校正，设置黑体温度为/>或者TM1+10℃做两点校正中的 第二点校正，保存校正系数J1,并且此系数所取温度段记为T1。
14)设置黑体温度为TM2＝TM1+TΔ-TJD，调焦积分时间和探测器偏压值，使待调 试产品对黑体温度为TM2中心区域采集的灰度值达到半阱值M2附近，以15bit 数据深度为例子，半阱值为0x3FFF，记录积分时间INT2以及探测器偏压值pol2；
15)设置黑体温度为或者TM2-10℃做两点校正中的第一点校正,设置黑体温度为/>或者TM2+10℃做两点校正中的第二点校正，保存校正系数J2, 并且此系数所取温度段记为T2。
16)重复步骤11至13，直至存取系数段数量为NF。
17)根据图4中②～⑤、⑥～⑨之间温度交叠区域、步骤9计算出来的Δ31、Δ21、 以及图像高温面积所占百分比来平衡考虑低温段向高温段切换的温度点选择， 即图4中的④、⑧点选择。
18)根据图4中②～⑤、⑥～⑨之间温度交叠区域、步骤9计算出来的Δ31、Δ21、 以及图像高温面积所占百分比来平衡考虑高温段向低温段切换的温度点选择， 即图4中的③、⑦点选择。
19)各温度段校正完成后，设置黑体温度，间隔1℃来测试各个温度点的非均匀性指标，保证在各个温度点非均匀性指标达到指定要求，此步骤可以穿插在各个 温度段校正后测试。
20)将各个温度段系数保存在FLASH中，并做好文字记录以及必要说明。
21)检查各个温度段所对应的图像灰度值，使其数据范围基本保持一致。
Claims (5)
1.一种基于变积分时间多段校正算法的温度段划分与切换方法，其特征在于，包括如下步骤：
步骤1：根据红外探测器的输出特性确定探测器的半阱值、高半阱值、低半阱值以及高偏移段、零偏移段和低偏移段：
根据红外探测器的输出特性确定最大响应值和最小响应值；去除红外探测器最小响应值到最大响应值的响应范围内的0％～10％和90％～100％区间，将去除后剩余区间的最小值作为低半阱值，最大值作为高半阱值；温度段中心点选择半阱值、高半阱值以及低半阱值；温度段在半阱值、高半阱值以及低半阱值为基准点上选择高偏移段、零偏移段以及低偏移段；
步骤2：根据不同的场景选取积分时间；
对不同的场景温度T，若红外探测器达到相同的响应值，则选择半阱值所对应的积分时间及Gpol值；
步骤3：不同产品在不同的应用场景下采取不同的策略：
(1)高半阱值配合高偏移段/零偏移段：适配温度偏低：-40℃～0℃的场景，包括冬天、雾霾天、阴雨天以及夜晚；
(2)低半阱值配合低偏移段/零偏移段：适配温度偏高：30℃～70℃的场景，包括夏天、高温目标；
(3)半阱值配合低偏移段/高偏移段：适配上面(1)和(2)中间选择；
(4)半阱值配合零偏移段：适配才场景不明确；
步骤4：红外探测器焦平面输出的直流电平中间值比四周偏高10％，将此差值作为最小温度区间选取的依据；
步骤5：每一个温度区间的选取都应该对应一个积分时间及Gpol值；
步骤6：当产品上电时进行单点校正，校正各个温度系数段。
2.根据权利要求1所述的一种基于变积分时间多段校正算法的温度段划分与切换方法，其特征在于，所述温度划分区间最大值不能大于20℃。
3.根据权利要求1所述的一种基于变积分时间多段校正算法的温度段划分与切换方法，其特征在于，所述温度区间的划分要有交叠区域。
4.根据权利要求1所述的一种基于变积分时间多段校正算法的温度段划分与切换方法，其特征在于，所述温度区间划分时要不少于三段的温度区间，不少于三组系数。
5.根据权利要求1所述的一种基于变积分时间多段校正算法的温度段划分与切换方法，其特征在于，所述温度区间划分时，对于场景单一的应用情况采用整个图像的平均值作为切换系数段的依据；非单一场景的应用情况采用高温目标所占用的图像面积百分比作为切换系数段的依据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111364875.6A CN114397024B (zh) | 2021-11-17 | 2021-11-17 | 基于变积分时间多段校正算法的温度段划分与切换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111364875.6A CN114397024B (zh) | 2021-11-17 | 2021-11-17 | 基于变积分时间多段校正算法的温度段划分与切换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114397024A CN114397024A (zh) | 2022-04-26 |
| CN114397024B true CN114397024B (zh) | 2023-09-29 |
Family
ID=81225789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111364875.6A Active CN114397024B (zh) | 2021-11-17 | 2021-11-17 | 基于变积分时间多段校正算法的温度段划分与切换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114397024B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1130907A2 (en) * | 2000-03-03 | 2001-09-05 | The Boeing Company | Infrared sensor temperature compensated response and offset correction |
| CN103604503A (zh) * | 2013-06-17 | 2014-02-26 | 中国航天科工集团第三研究院第八三五八研究所 | 一种积分时间动态调整的高精度非均匀性校正方法 |
| CN105136308A (zh) * | 2015-05-25 | 2015-12-09 | 北京空间机电研究所 | 一种红外焦平面阵列变积分时间下的自适应校正方法 |
| CN106053356A (zh) * | 2016-06-27 | 2016-10-26 | 西安应用光学研究所 | 基于辐射量测量的金属凝固点黑体有效发射率测量系统及方法 |
| CN111076821A (zh) * | 2019-12-11 | 2020-04-28 | 中国航空工业集团公司洛阳电光设备研究所 | 一种积分时间自适应切换的红外图像非均匀校正方法 |
-
2021
- 2021-11-17 CN CN202111364875.6A patent/CN114397024B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1130907A2 (en) * | 2000-03-03 | 2001-09-05 | The Boeing Company | Infrared sensor temperature compensated response and offset correction |
| CN103604503A (zh) * | 2013-06-17 | 2014-02-26 | 中国航天科工集团第三研究院第八三五八研究所 | 一种积分时间动态调整的高精度非均匀性校正方法 |
| CN105136308A (zh) * | 2015-05-25 | 2015-12-09 | 北京空间机电研究所 | 一种红外焦平面阵列变积分时间下的自适应校正方法 |
| CN106053356A (zh) * | 2016-06-27 | 2016-10-26 | 西安应用光学研究所 | 基于辐射量测量的金属凝固点黑体有效发射率测量系统及方法 |
| CN111076821A (zh) * | 2019-12-11 | 2020-04-28 | 中国航空工业集团公司洛阳电光设备研究所 | 一种积分时间自适应切换的红外图像非均匀校正方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于变积分时间的红外焦平面非均匀性校正算法研究;陈世伟;杨小冈;张胜修;王一;;光子学报(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114397024A (zh) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7133072B2 (en) | Image processing apparatus having an image correction circuit and its processing method | |
| EP1636985B1 (en) | Method and apparatus for reducing effects of dark current and defective pixels in an imaging device | |
| US8982238B2 (en) | Multi-target automatic exposure and gain control based on pixel intensity distribution | |
| US20070285530A1 (en) | Automatic white balancing method, medium, and system | |
| US20170019582A1 (en) | Focusing for point light source scene | |
| RU2496250C1 (ru) | Устройство и способ обработки изображения | |
| JP4708406B2 (ja) | ホワイトバランスの自動調整装置及び自動調整方法 | |
| CN111076821B (zh) | 一种积分时间自适应切换的红外图像非均匀校正方法 | |
| KR101685887B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 | |
| US20170078596A1 (en) | Adaptive shading correction | |
| CN103858422B (zh) | 摄像装置 | |
| CN114092361B (zh) | 一种优化clahe的图像局部对比度增强方法 | |
| CN114397024B (zh) | 基于变积分时间多段校正算法的温度段划分与切换方法 | |
| KR101639664B1 (ko) | 촬상장치 및 촬상방법 | |
| CN114827565A (zh) | 色彩校正矩阵确定方法、色彩校正方法、装置及存储介质 | |
| CN112435178B (zh) | 一种基于fpga的线阵红外盲元的工程化处理方法及系统 | |
| CN117014733B (zh) | 拍摄校正方法、装置及设备 | |
| CN105144697A (zh) | 摄像装置、照相机系统以及图像处理方法 | |
| US20100150439A1 (en) | Apparatus and method for adjusting auto white balance using effective area | |
| CN115334294A (zh) | 一种本地自适应力度的视频降噪方法 | |
| CN105139365A (zh) | 一种处理太赫兹或者红外图像的方法 | |
| KR100480560B1 (ko) | 영상의 역광 보정방법 및 장치 | |
| JP5706705B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
| CN115100500A (zh) | 一种目标检测方法、装置和可读存储介质 | |
| CN107948619A (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |