CN112067138B - 一种红外探测器测温定标方法及测温定标装置 - Google Patents
一种红外探测器测温定标方法及测温定标装置 Download PDFInfo
- Publication number
- CN112067138B CN112067138B CN202010942723.9A CN202010942723A CN112067138B CN 112067138 B CN112067138 B CN 112067138B CN 202010942723 A CN202010942723 A CN 202010942723A CN 112067138 B CN112067138 B CN 112067138B
- Authority
- CN
- China
- Prior art keywords
- pixel
- points
- calibration
- dead
- temperature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000009529 body temperature measurement Methods 0.000 title claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims abstract description 23
- 230000036760 body temperature Effects 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 17
- 239000000571 coke Substances 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 5
- 238000000611 regression analysis Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 5
- 238000004861 thermometry Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000010923 batch production Methods 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000012887 quadratic function Methods 0.000 description 3
- 238000005316 response function Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/52—Radiation pyrometry, e.g. infrared or optical thermometry using comparison with reference sources, e.g. disappearing-filament pyrometer
- G01J5/53—Reference sources, e.g. standard lamps; Black bodies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/80—Calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Abstract
本发明公开了一种红外探测器测温定标方法及测温定标装置，其包括如下步骤：通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记；红外探测器获取多个不同温度黑体的黑体图像，并剔除掉黑体图像中的异常定标点，并获取温度定标模型；以及通过红外探测器采集的黑体温度值和黑体真实温度值获得温度补偿模型，并根据所述温度补偿模型进行温度修正。
Description
技术领域
本发明涉及红外数据采集领域，具体为一种适合批量生产的红外探测器测温定标方法及测温定标装置。
背景技术
红外模组因其体积小、功耗低、价格便宜而被广泛关注和使用，其生产制造过程中需要对每个模组进行测温定标，以获取探测器响应函数、非均匀性校正参数以及温漂模型系数等信息，以实现红外模组的精确测温。
目前采用的红外模组测温定标方案主要是利用红外探测器实测多个面源黑体的数据，进一步分析探测器的响应值与辐射强度关系，对模型参数进行回归分析来确定定标模型。
为提高定标效率，目前对上述方法进行了如下改进：1、通过简化定标模型、减少面源黑体的数量来提高定标效率，但是要求根据测温范围对黑体温度进行非等距列排序，然后依次采集不同温度点的黑体图像进行数据分析与模型求解，其会降低模型的拟合能力，不能全面反映模组探测器的辐射响应关系，对测温精度影响较大；2、通过减少采集次数，即一帧图像里采集多个黑体图像来提高辐射标定效率，其要求根据测温范围对相近温度点的黑体进行密集排列，以实现多个黑体分布在图像中心，防止非均匀性对定标精度的影响，然后通过极少的图像采集次数实现多个黑体数据的获取，经过图像处理、数据分析和模型求解进行辐射定标模型的确定，但该方法中由于黑体距离较近，黑体间的辐射场会相互干扰，特别是测温范围较宽的时候，高温黑体数据的采集容易受到影响，另外由于红外模组镜头的视场角较窄，难以保证多个黑体位于图像中心区域，图像边缘的非均匀性也会影响黑体数据的采集精度，最终影响实际测温精度。
因此，以上方法主要适用于少量红外模组的定标，仍然无法适用于红外模组批量生产时的快速批量定标。
发明内容
针对现有技术的不足，本发明提供了一种适合批量生产的红外模组测温定标方法及测温定标装置，其形成了一套标准化定标流程，可有效解决红外模组快速批量定标的难题，且能保证定标精度，确保模型定标参数准确可靠。
为实现上述目的，本发明提供如下技术方案：
一方面，提供了一种红外探测器测温定标方法，其包括如下步骤：
通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记；
红外探测器获取多个不同温度黑体的黑体图像，并剔除掉黑体图像中的异常定标点，并获取温度定标模型；
以及通过红外探测器采集的黑体温度值和黑体真实温度值获得温度补偿模型，并根据所述温度补偿模型进行温度修正。
优选的，通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记的过程包括如下步骤：
通过红外探测器获取黑体本底图像，且将所述本底图像中的像素点记为P(i，j)，其中，i为像素点所在行，j为像素点所在列，i、j均为正整数；
判断每一行的首列像素点是否为坏点，若认定为坏点，则对其进行标记。
优选的，判断每一行的首列像素点是否为坏点，若认定为坏点，则对其进行标记的过程包括如下步骤：
判断首行首列像素点P(1，1)是否为坏点，若认定像素点P(1，1)为坏点，则对其进行标记，并对其灰度值进行修改，使其符合正常点的灰度值要求。
优选的，判断每一行的首列像素点是否为坏点，若认定为坏点，则对其进行标记的过程还包括如下步骤：
像素点P(1，1)的灰度值符合正常点的灰度值要求后，从第二行像素开始，依次逐行获取当前行首列像素点P(i+1，1)与上一行首列像素点P(i，1)之间的灰度差值；
若当前行首列像素点P(i+1，1)与上一行首列像素点P(i，1)之间的灰度差值满足预设的第一阈值条件，则将当前行首列像素点P(i+1，1)标记为坏点，且将其灰度值修改至与上一行首列像素点P(i，1)一致。
优选的，通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记的过程还包括如下步骤：
分别获取当前像素点P(i，j)与同一行中两个相邻像素点P(i，j-1)、P(i，j+1)之间的灰度差值，本步骤中，i为大于或等于1的正整数，j为大于或等于2的正整数；
若当前像素点P(i，j)与同一行中两个相邻像素点P(i，j-1)、P(i，j+1)之间的灰度差值的任一个满足预设的第二阈值条件，则认定当前像素点P(i，j)是坏点，并对其进行标记。
优选的，通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记的过程还包括如下步骤：
若当前像素点P(i，j)与同一行中两个相邻像素点P(i，j-1)、P(i，j+1)之间的灰度差值中的任一个均不满足预设的第二阈值条件时，则分别获取当前像素点P(i，j)与3×3范围内的4邻域像素点P(i，j-1)、P(i，j+1)、P(i-1，j)、P(i+1，j)之间的灰度差值；
若当前像素点P(i，j)与3×3范围内的4邻域像素点P(i，j-1)、P(i，j+1)、P(i-1，j)、P(i+1，j)之间的灰度差值均满足预设的第三阈值条件，则认定当前像素点P(i，j)是坏点，并对其进行标记。
优选的，通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记的过程还包括如下步骤：
若当前像素点P(i，j)与3×3范围内的4邻域像素点P(i，j-1)、P(i，j+1)、P(i-1，j)、P(i+1，j)之间的灰度差值中的任意一个不满足预设的第三阈值条件，则分别获取当前像素点P(i，j)与5×5范围内、与当前像素点P(i，j)相距1个像素距离的4邻域像素点P(i，j-2)、P(i，j+2)、P(i-2，j)、P(i+2，j)之间的灰度差值；
若当前像素点P(i，j)与5×5范围内、与当前像素点P(i，j)相距1个像素距离的4邻域像素点P(i，j-2)、P(i，j+2)、P(i-2，j)、P(i+2，j)之间的灰度差值均满足预设的第四阈值条件，则认定当前像素点P(i，j)是坏点，并对其进行标记。
优选的，通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记的过程还包括如下步骤：
若当前像素点P(i，j)与5×5范围内、与当前像素点P(i，j)相距1个像素距离的4邻域像素点P(i，j-2)、P(i，j+2)、P(i-2，j)、P(i+2，j)之间的灰度差值中的任意一个不满足预设的第四阈值条件，则分别获取当前像素点P(i，j)与7×7范围内、与当前像素点P(i，j)相距2个像素距离的4邻域像素点P(i，j-3)、P(i，j+3)、P(i-3，j)、P(i+3，j)之间的灰度差值；
若当前像素点P(i，j)与7×7范围内、与当前像素点P(i，j)相距2个像素距离的4邻域像素点P(i，j-3)、P(i，j+3)、P(i-3，j)、P(i+3，j)之间的灰度差值均满足预设的第五阈值条件，则认定当前像素点P(i，j)是坏点，并对其进行标记；
若当前像素点P(i，j)与7×7范围内、与当前像素点P(i，j)相距2个像素距离的4邻域像素点P(i，j-3)、P(i，j+3)、P(i-3，j)、P(i+3，j)之间的灰度差值中的任意一个不满足预设的第五阈值条件，则认为当前像素点P(i，j)为正常点。
优选的，剔除掉黑体图像中的异常定标点的过程包括如下步骤：
确定k个焦温，且红外探测器在每一焦温下均获取n个黑体图像，并分别统计每一焦温下获取的每一黑体图像定标点的响应值；
假定每个焦温下获取的响应值均服从各自的正态分布，则将在置信区间内的响应值对应的定标点认为是正常点，该置信区间外的响应值对应的定标点认为是异常定标点，并予以剔除。
优选的，采用一般最小二乘法/加权最小二乘法获取所述定标模型。
优选的，所述红外探测器测温定标方法还包括：从拟合误差和/或预测误差两个维度对所述定标模型进行校验。
优选的，所述红外探测器测温定标方法还包括：预设N个红外探测器焦温范围，且预存储与每一焦温范围对应的红外探测器工作参数，且当红外探测器的当前焦温属于某一红外探测器焦温范围时，按照与该焦温范围对应的工作参数进行红外探测器寄存器配置。
还提供一种用于实现上述红外探测器测温定标方法的红外测温定标装置，包括：
坏点检测单元，其用于通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记；
异常标定点剔除单元，其用于运用离群点剔除策略剔除掉黑体图像中的异常定标点；
定标模型获取单元，其用于获取温度定标模型；
温度补偿模型获取单元，其用于通过红外探测器在不同距离下获取的黑体温度值和黑体真实温度值进行补偿模型回归分析，以获得温度补偿模型；
以及检验单元，其用于从拟合误差和/或预测误差两个维度对所述定标模型进行校验。
与现有技术相比，本发明具备以下有益效果：
本发明适合批量生产的红外探测器测温定标，其提供了一套标准化定标流程，具体包括坏点检测、异常定标点剔除、温度定标模型获取、温度补偿模型、定标模型校验以及定标数据存储等步骤，可有效解决红外模组生产中快速批量定标的难题，且能保证定标精度，确保模型定标参数准确可靠。
附图说明
图1为本发明中坏点检测的步骤流程图；
图2为本发明中个像素点的位置示意图；
图3a为本发明红外测温定标装置的结构示意图；
图3b为本发明坏点检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本实施例提供了一种适合批量生产的红外探测器测温定标方法，其包括如下步骤：
S1、预设N个红外探测器焦温范围，且预存储与每一焦温范围对应的红外探测器工作参数，所述红外探测器工作参数包括：积分时间(int)、增益(gain)、非匀称性校正(NUC)等；且当红外探测器的当前焦温属于某一红外探测器焦温范围时，按照与该焦温范围对应的工作参数进行红外探测器寄存器配置；
由于红外探测器工作参数是直接影响红外探测器的响应率和红外探测器工作状态的一组参数，且不同焦平面温度对红外探测器成像影响较大，因此，根据焦温范围配置与其匹配的红外探测器工作参数可使得红外探测器的成像特性和响应函数关系适配，减小定标误差；
S2、由于红外探测器在不同焦温范围内的非均匀性不同，因此需要获取不同焦温范围的非均匀性校正系数，所述非均匀性校正系数包括像元的偏置和增益系数，其可以通过基于两点定标的非均匀性校正算法等获得，在此不再赘述；
同时，由于红外探测器生产工艺水平问题，其生产制造过程中不可避免的存在坏点，具体表现为响应值为0或饱和，由此，本步骤中还需要检测出坏点位置并标记；
具体的，由于红外探测器获取的本底图像数据均来自于黑体，因此相邻像素点之间不会因温差形成较大的灰度差值，若相邻像素点的灰度差值较大，则可以确定是由于红外探测器的响应率差异造成的，因此本步骤中通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记，如图1-2所示，其具体包括如下步骤：
S21、通过红外探测器获取的黑体本底图像，且将所述本底图像中的像素点记为P(i，j)，其中，i为像素点所在行，j为像素点所在列，i、j均为正整数，P(i，j)即为位于第i行、第j列的像素点；
判断每一行的首列像素点是否为坏点，若认定为坏点，则对其进行标记，其具体步骤包括：
判断首行首列像素点P(1，1)是否为坏点，若认定像素点P(1，1)为坏点，则对其进行标记，并对其灰度值进行修改，使其符合正常点的灰度值要求，其中，判断像素点P(1，1)是否为坏点可根据预设条件，如灰度值是否满足条件等进行即可，同时，对像素点P(1，1)灰度值进行修改的过程包括：
取包括像素点P(1，1)在内的若干像素点(如像素点P(1，2)、P(2，1)、P(2，2))的灰度值，并按照灰度值大小进行排序；然后确定上述包括像素点P(1，1)在内的若干像素点灰度值的中值，并将已被认定为坏点的像素点P(1，1)的灰度值修改为中值，使其符合正常点的灰度值要求；
由此通过判断像素点P(1，1)是否为坏点，以及对像素点P(1，1)的灰度值进行修改，以确保像素点P(1，1)为正常点；
S22、像素点P(1，1)的灰度值符合正常点的灰度值要求后，从第二行像素开始，依次逐行获取当前行首列像素点P(i+1，1)与上一行首列像素点P(i，1)之间的灰度差值；
若当前行首列像素点P(i+1，1)与上一行首列像素点P(i，1)之间的灰度差值满足预设的第一阈值条件(如当前行首列像素点P(i+1，1)与上一行首列像素点P(i，1)之间的灰度差值≥1000)，则将当前行首列像素点P(i+1，1)标记为坏点，且将其灰度值修改至与上一行首列像素点P(i，1)一致；例如，获取第二行首列像素点P(2，1)与上一行首列像素点P(1，1)(其灰度值为1500)之间的灰度差值，若所述灰度差值的绝对值≥1000，则将像素点P(2，1)标记为坏点，且将其灰度值修改为1500；
因每一行的首列像素点中出现坏点的几率较大，且由于首列像素点要作为其他像素点的检测基准，因此首列像素点必须要是正常点，由此，本步骤中逐行对首列像素点一一进行检测判断，并标记出坏点，且将坏点灰度值修改至正常点范围，以确保首列像素点P(1，j)均为正常点；
S22、分别获取当前像素点P(i，j)与同一行中两个相邻像素点P(i，j-1)、P(i，j+1)之间的灰度差值，本步骤中，i为大于或等于1的正整数，j为大于或等于2的正整数；
若当前像素点P(i，j)与同一行中两个相邻像素点P(i，j-1)、P(i，j+1)之间的灰度差值的任一个满足预设的第二阈值条件(如当前像素点P(i，j)与同一行中两个相邻像素点P(i，j-1)、P(i，j+1)之间的灰度差值的任一个≥1000)，则认定当前像素点P(i，j)是坏点，并对其进行标记；若两个灰度差值中的任一个均不满足预设的第二阈值条件，则进入步骤S23；
S23、分别获取当前像素点P(i，j)与3×3范围内的4邻域像素点P(i，j-1)、P(i，j+1)、P(i-1，j)、P(i+1，j)之间的灰度差值，本步骤中，i为大于或等于1的正整数，j为大于或等于2的正整数；
若当前像素点P(i，j)与3×3范围内的4邻域像素点P(i，j-1)、P(i，j+1)、P(i-1，j)、P(i+1，j)之间的灰度差值均满足预设的第三阈值条件(如灰度差值均大于或等于500)，则认定当前像素点P(i，j)是坏点，并对其进行标记；
若当前像素点P(i，j)与3×3范围内的4邻域像素点P(i，j-1)、P(i，j+1)、P(i-1，j)、P(i+1，j)之间的灰度差值中的任意一个不满足预设的第三阈值条件，则进入步骤S24；
S24、分别获取当前像素点P(i，j)与5×5范围内、与当前像素点P(i，j)相距1个像素距离的4邻域像素点P(i，j-2)、P(i，j+2)、P(i-2，j)、P(i+2，j)之间的灰度差值，本步骤中，i为大于或等于1的正整数，j为大于或等于2的正整数；
若当前像素点P(i，j)与5×5范围内、与当前像素点P(i，j)相距1个像素距离的4邻域像素点P(i，j-2)、P(i，j+2)、P(i-2，j)、P(i+2，j)之间的灰度差值均满足预设的第四阈值条件(第三阈值条件可以与第四阈值条件相同，如灰度差值均大于或等于500)，则认定当前像素点P(i，j)是坏点，并对其进行标记；
若当前像素点P(i，j)与5×5范围内、与当前像素点P(i，j)相距1个像素距离的4邻域像素点P(i，j-2)、P(i，j+2)、P(i-2，j)、P(i+2，j)之间的灰度差值中的任意一个不满足预设的第四阈值条件，则进入步骤S25；
S25、分别获取当前像素点P(i，j)与7×7范围内、与当前像素点P(i，j)相距2个像素距离的4邻域像素点P(i，j-3)、P(i，j+3)、P(i-3，j)、P(i+3，j)之间的灰度差值，本步骤中，i为大于或等于1的正整数，j为大于或等于2的正整数；
若当前像素点P(i，j)与7×7范围内、与当前像素点P(i，j)相距2个像素距离的4邻域像素点P(i，j-3)、P(i，j+3)、P(i-3，j)、P(i+3，j)之间的灰度差值均满足预设的第五阈值条件(第三阈值条件、第四阈值条件、第五阈值条件可以相同，如当前像素点P(i，j)与与7×7范围内的4邻域像素点P(i，j-3)、P(i，j+3)、P(i-3，j)、P(i+3，j)之间的灰度差值均大于或等于500)，则认定当前像素点P(i，j)是坏点，并对其进行标记；
若当前像素点P(i，j)与7×7范围内的4邻域像素点P(i，j-3)、P(i，j+3)、P(i-3，j)、P(i+3，j)之间的灰度差值中的任意一个不满足预设的第五阈值条件，则认为当前像素点P(i，j)为正常点；
S25、重复步骤S22-S23，遍历所有除首列像素点以外的剩余像素点，并注意判断其是否为坏点，并对坏点进行标记；
S3、红外探测器在每一红外探测器焦温范围下获取多个不同温度黑体的黑体图像，并采用二次多项式等方法建立红外探测器响应函数模型，并运用离群点剔除策略剔除掉黑体图像中的异常定标点，然后采用加权最小二乘法等获取温度定标模型；所述定标点为位于黑体图像靶面区域中心的像素点；
具体的，运用离群点剔除策略剔除掉异常定标点包括如下步骤：
确定k个焦温，且红外探测器在每一焦温下均获取n个黑体图像，并分别统计每一焦温下获取的每一黑体图像定标点的响应值，如确定焦温为25℃，则在焦温为25℃条件下，红外探测器获取100个黑体图像，且统计每一黑体图像定标点的响应值，响应值的数量与黑体图像数量一致，即响应值的数量也为100个，并按照公式(1)进行表示：
其中，n，k均为正整数，本实施例中，n＝100，k＝5，其具体取值根据实际定标需要而定，在此不做具体限定；
假定每个焦温下获取的响应值均服从各自的正态分布，则可采用公式(2)-(4)进行表示：
ri～N(ui，σ2 i) (2)
在上述正态分布的假定下，按3sigma原则，置信区间(ui-3σi，ui+3σi)内包含99.7的响应值，则将该置信区间内的响应值对应的定标点认为是正常点，该置信区间外的响应值对应的定标点认为是异常定标点，并予以剔除；
由于在定标过程中存在光标偏离中心或存在异常点等现象，为了在提升批量定标效率的同时确保模型生成的正确性，因此需要检测出离群点(即异常定标点)并将之剔除，进一步的，由于定标黑体温度固定，且认为同一批次探测器一致性较好，故采用上述基于正态分布的异常定标点检测方法来剔除异常定标点，以保证模型生成的准确性；
进一步的，获取温度定标模型包括如下步骤：
假设温度定标模型为：
f(xi)＝axi 2+bxi+c，xi∈[T min，T max]；
利用定标点{(x1y1)，(x2y2)，.......(xm ym)}求解得到上述温度定标模型中的定标模型参数a、b、c，且使得定标模型参数a、b、c满足公式(5)；
由此即可通过上述最小二乘参数获取定标模型参数a、b、c，代入上述温度定标模型即可获取完整的温度定标模型；
S4、通过红外探测器在不同距离下获取的黑体温度值和黑体真实温度值进行补偿模型回归分析，以获得温度补偿模型，并根据所述温度补偿模型进行温度修正；
具体的，所述步骤S4包括：
S41、使用同一红外探测器在不同距离下获取不同温度定标黑体的温度值；
S42、使用二次函数y＝ax2+bx+c拟合同一距离下获得的不同温度定标黑体温度值与黑体真实温度值之间的关系，以得到二次函数的拟合系数a、b、c；
S43、根据上述二次函数y＝ax2+bx+c拟合获得如下温度补偿模型：y＝(c1*s+d1)*T*T+(c2*s+d2)*T+(c3*s+d3)
其中，s为红外探测器与定标黑体间的距离；T为距离s下获得的定标黑体温度值；y为修正后的定标黑体温度值；c1、d1、c2、d2、c3、d3均为模型参数，实际求解得出即可；
S5、从拟合误差和/或预测误差两个维度对所述温度定标模型进行校验，以保证定标模型结构性误差最小；
具体的，按照公式(7)进行拟合误差计算：
拟合误差计算如下：
其中，ε1为拟合误差；Ti为定标黑体温度值；a、b、c为定标模型参数；n为黑体定标点数量；yi为红外探测器的实际响应值；
同时，假设红外测温模型为g(y)，按照公式(8)进行预测误差计算：
其中，ε2为预测误差；Ti为定标黑体真实温度值；y＝f(xi)，因此，红外测温模型g(y)为复合函数；n为黑体定标点数量；
对ε1、ε2进行校验，如果满足条件则认为校验通过；如本实施例中，ε1<30、ε2<0.5则认为校验通过；
S6、将标定数据按定义好的数据格式进行存储，生成二进制文件ModuleMsg.bin的定标数据包，再通过spi总线将二进制文件写入到集成在模组软排线的flash存储器上，由此，不管红外模组在任何设备中使用，flash存储器都能正确无误的加载信息进行精确测温，且方便进行成品质量追溯和异常原因定位；所述标定数据包括：每一焦温范围对应的红外探测器工作参数、定标模型参数、定标模型、非均匀性校正系数、温度补偿模型中的一种或几种。
实施例2：
本实施例与实施例1的不同之处仅在于，实施例1中，获取温度定标模型包括如下步骤：
假设温度定标模型为：
f(xi)＝axi 2+bxi+c，xi∈[T min，T max]；
利用定标点{(x1 y1)，(x2 y2)，......(xm ym)}求解得到上述温度定标模型中的定标模型参数a、b、c，且使得定标模型参数a、b、c满足公式(5)；
采用上述一般最小二乘法进行温度定标模型参数求解时没有考虑样本数据的权重，而在实际标定的过程中，低温黑体所激发的压差要小于高温黑体激发的压差，即高温黑体单位温度拥有更大的响应值，如果无差别的按照同一准则来拟合，同样是40单位AD，150℃黑体仅有0.5℃误差，而20℃黑体竟有2℃误差；
为规避上述问题，本实施例中，获取温度定标模型时优选引入加权最小二乘法作为拟合准则进行定标模型参数估计，具体的，通过公式(9)对定标点赋予权重，以充分考虑低温黑体数据的重要程度，并在对定标点赋予权重后进行归一化处理；
其中，权重wi根据不同黑体温度的响应值来确定，如对于20℃黑体，wi＝2,对于150℃黑体，wi＝0.5；
由此即可通过上述加权最小二乘参数获取定标模型参数a、b、c，代入上述定标模型即可获取完整的温度定标模型。
实施例3：
本实施例提供了一种用于实现实施例1或2中所述红外探测器测温定标方法的红外测温定标装置，如图3a所示，其包括：
参数存储单元1，其用于预存储与N个焦温范围对应的红外探测器工作参数；
非均匀性校正单元2，其用于通过基于两点定标的非均匀性校正算法等获取红外探测器不同焦温范围的非均匀性校正系数；
坏点检测单元3，其用于通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记；
异常标定点剔除单元4，其用于运用离群点剔除策略剔除掉黑体图像中的异常定标点，且运用离群点剔除策略剔除掉异常定标点的步骤与实施例1相同，在此不再赘述；
定标模型获取单元5，其用于获取温度定标模型，且获取温度定标模型的步骤与实施例1相同，在此不再赘述；
温度补偿模型获取单元6，其用于通过红外探测器在不同距离下获取的黑体温度值和黑体真实温度值进行补偿模型回归分析，以获得温度补偿模型，且获取温度补偿模型的步骤与实施例1相同，在此不再赘述；
检验单元7，其用于从拟合误差和/或预测误差两个维度对所述定标模型进行校验，以保证定标模型结构性误差最小，且进行拟合误差、预测误差计算的步骤与实施例1相同，在此不再赘述；
标定数据存储单元8，其用于将标定数据按定义好的数据格式进行存储，生成二进制文件ModuleMsg.bin的定标数据包，再通过spi总线将二进制文件写入到集成在模组软排线的flash存储器上。
具体的，如图3b所示，所述坏点检测单元3包括：首行首列像素点检测单元31，其用于判断首行首列P(1，1)是否为坏点，若认定像素点P(1，1)为坏点，则对其进行标记，并对其灰度值进行修改，使其符合正常点的灰度值要求；
非首行首列像素点检测单元32，其用于从第二行像素开始，依次逐行获取当前行首列像素点P(i+1，1)与上一行首列像素点P(i，1)之间的灰度差值，且若当前行首列像素点P(i+1，1)与上一行首列像素点P(i，1)之间的灰度差值满足预设的第一阈值条件，则将当前行首列像素点P(i+1，1)标记为坏点，且将其灰度值修改至与上一行首列像素点P(i，1)一致；
同行邻域像素判断单元33，其用于分别获取当前像素点P(i，j)与同一行中两个相邻像素点P(i，j-1)、P(i，j+1)之间的灰度差值；
若当前像素点P(i，j)与同一行中两个相邻像素点P(i，j-1)、P(i，j+1)之间的灰度差值的任一个满足预设的第二阈值条件，则认定当前像素点P(i，j)是坏点，并对其进行标记；
第一4邻域像素判断单元34，其用于分别获取当前像素点P(i，j)与3×3范围内的4邻域像素点P(i，j-1)、P(i，j+1)、P(i-1，j)、P(i+1，j)之间的灰度差值；
若当前像素点P(i，j)与3×3范围内的4邻域像素点P(i，j-1)、P(i，j+1)、P(i-1，j)、P(i+1，j)之间的灰度差值均满足预设的第三阈值条件是坏点，并对其进行标记；
第二4邻域像素判断单元35，其用于分别获取当前像素点P(i，j)与5×5范围内、与当前像素点P(i，j)相距1个像素距离的4邻域像素点P(i，j-2)、P(i，j+2)、P(i-2，j)、P(i+2，j)之间的灰度差值；
若当前像素点P(i，j)与5×5范围内、与当前像素点P(i，j)相距1个像素距离的4邻域像素点P(i，j-2)、P(i，j+2)、P(i-2，j)、P(i+2，j)之间的灰度差值均满足预设的第四阈值条件，则认定当前像素点P(i，j)是坏点，并对其进行标记；
以及第三4邻域像素判断单元36，其用于分别获取当前像素点P(i，j)与7×7范围内、与当前像素点P(i，j)相距2个像素距离的4邻域像素点P(i，j-3)、P(i，j+3)、P(i-3，j)、P(i+3，j)之间的灰度差值；
若当前像素点P(i，j)与7×7范围内、与当前像素点P(i，j)相距2个像素距离的4邻域像素点P(i，j-3)、P(i，j+3)、P(i-3，j)、P(i+3，j)之间的灰度差值均满足预设的第五阈值条件，则认定当前像素点P(i，j)是坏点，并对其进行标记。
其他相关技术特征参见实施例1或2，在此不再赘述。
综上所述，本发明提供了一套标准化定标流程，其具体包括坏点检测、异常定标点剔除、温度定标模型获取、温度补偿模型、定标模型校验以及定标数据存储等步骤，可有效解决红外模组生产中快速批量定标的难题，且能保证定标精度，确保模型定标参数准确可靠。
需要说明的是，上述实施例1至3中的技术特征可进行任意组合，且组合而成的技术方案均属于本申请的保护范围。且在本文中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (13)
1.一种红外探测器测温定标方法，其特征在于，包括如下步骤：
通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记；
红外探测器获取多个不同温度黑体的黑体图像，并剔除掉黑体图像中的异常定标点，并获取温度定标模型；
以及通过红外探测器采集的黑体温度值和黑体真实温度值获得温度补偿模型，并根据所述温度补偿模型进行温度修正。
2.如权利要求1所述的定标方法，其特征在于，通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记的过程包括如下步骤：
通过红外探测器获取黑体本底图像，且将所述本底图像中的像素点记为P(i，j)，其中，i为像素点所在行，j为像素点所在列，i、j均为正整数；
判断每一行的首列像素点是否为坏点，若认定为坏点，则对其进行标记。
3.如权利要求2所述的定标方法，其特征在于，判断每一行的首列像素点是否为坏点，若认定为坏点，则对其进行标记的过程包括如下步骤：
判断首行首列像素点P(1，1)是否为坏点，若认定像素点P(1，1)为坏点，则对其进行标记，并对其灰度值进行修改，使其符合正常点的灰度值要求。
4.如权利要求3所述的定标方法，其特征在于，判断每一行的首列像素点是否为坏点，若认定为坏点，则对其进行标记的过程还包括如下步骤：
像素点P(1，1)的灰度值符合正常点的灰度值要求后，从第二行像素开始，依次逐行获取当前行首列像素点P(i+1，1)与上一行首列像素点P(i，1)之间的灰度差值；
若当前行首列像素点P(i+1，1)与上一行首列像素点P(i，1)之间的灰度差值满足预设的第一阈值条件，则将当前行首列像素点P(i+1，1)标记为坏点，且将其灰度值修改至与上一行首列像素点P(i，1)一致。
5.如权利要求2所述的定标方法，其特征在于，通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记的过程还包括如下步骤：
分别获取当前像素点P(i，j)与同一行中两个相邻像素点P(i，j-1)、P(i，j+1)之间的灰度差值，本步骤中，i为大于或等于1的正整数，j为大于或等于2的正整数；
若当前像素点P(i，j)与同一行中两个相邻像素点P(i，j-1)、P(i，j+1)之间的灰度差值的任一个满足预设的第二阈值条件，则认定当前像素点P(i，j)是坏点，并对其进行标记。
6.如权利要求5所述的定标方法，其特征在于，通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记的过程还包括如下步骤：
若当前像素点P(i，j)与同一行中两个相邻像素点P(i，j-1)、P(i，j+1)之间的灰度差值中的任一个均不满足预设的第二阈值条件时，则分别获取当前像素点P(i，j)与3×3范围内的4邻域像素点P(i，j-1)、P(i，j+1)、P(i-1，j)、P(i+1，j)之间的灰度差值；
若当前像素点P(i，j)与3×3范围内的4邻域像素点P(i，j-1)、P(i，j+1)、P(i-1，j)、P(i+1，j)之间的灰度差值均满足预设的第三阈值条件，则认定当前像素点P(i，j)是坏点，并对其进行标记。
7.如权利要求6所述的定标方法，其特征在于，通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记的过程还包括如下步骤：
若当前像素点P(i，j)与3×3范围内的4邻域像素点P(i，j-1)、P(i，j+1)、P(i-1，j)、P(i+1，j)之间的灰度差值中的任意一个不满足预设的第三阈值条件，则分别获取当前像素点P(i，j)与5×5范围内、与当前像素点P(i，j)相距1个像素距离的4邻域像素点P(i，j-2)、P(i，j+2)、P(i-2，j)、P(i+2，j)之间的灰度差值；
若当前像素点P(i，j)与5×5范围内、与当前像素点P(i，j)相距1个像素距离的4邻域像素点P(i，j-2)、P(i，j+2)、P(i-2，j)、P(i+2，j)之间的灰度差值均满足预设的第四阈值条件，则认定当前像素点P(i，j)是坏点，并对其进行标记。
8.如权利要求7所述的定标方法，其特征在于，通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记的过程还包括如下步骤：
若当前像素点P(i，j)与5×5范围内、与当前像素点P(i，j)相距1个像素距离的4邻域像素点P(i，j-2)、P(i，j+2)、P(i-2，j)、P(i+2，j)之间的灰度差值中的任意一个不满足预设的第四阈值条件，则分别获取当前像素点P(i，j)与7×7范围内、与当前像素点P(i，j)相距2个像素距离的4邻域像素点P(i，j-3)、P(i，j+3)、P(i-3，j)、P(i+3，j)之间的灰度差值；
若当前像素点P(i，j)与7×7范围内、与当前像素点P(i，j)相距2个像素距离的4邻域像素点P(i，j-3)、P(i，j+3)、P(i-3，j)、P(i+3，j)之间的灰度差值均满足预设的第五阈值条件，则认定当前像素点P(i，j)是坏点，并对其进行标记；
若当前像素点P(i，j)与7×7范围内、与当前像素点P(i，j)相距2个像素距离的4邻域像素点P(i，j-3)、P(i，j+3)、P(i-3，j)、P(i+3，j)之间的灰度差值中的任意一个不满足预设的第五阈值条件，则认为当前像素点P(i，j)为正常点。
9.如权利要求1所述的定标方法，其特征在于，剔除掉黑体图像中的异常定标点的过程包括如下步骤：
确定k个焦温，且红外探测器在每一焦温下均获取n个黑体图像，并分别统计每一焦温下获取的每一黑体图像定标点的响应值；
假定每个焦温下获取的响应值均服从各自的正态分布，则将在置信区间内的响应值对应的定标点认为是正常点，该置信区间外的响应值对应的定标点认为是异常定标点，并予以剔除。
10.如权利要求1所述的定标方法，其特征在于，采用一般最小二乘法/加权最小二乘法获取所述定标模型。
11.如权利要求1-10任一项所述的定标方法，其特征在于，所述红外探测器测温定标方法还包括：从拟合误差和/或预测误差两个维度对所述定标模型进行校验。
12.如权利要求11所述的定标方法，其特征在于，所述红外探测器测温定标方法还包括：预设N个红外探测器焦温范围，且预存储与每一焦温范围对应的红外探测器工作参数，且当红外探测器的当前焦温属于某一红外探测器焦温范围时，按照与该焦温范围对应的工作参数进行红外探测器寄存器配置。
13.一种用于实现权利要求1-12任一项所述红外探测器测温定标方法的红外测温定标装置，其特征在于，包括：
坏点检测单元，其用于通过红外探测器获取的黑体本底图像中、相邻像素点之间的灰度差值来检测出坏点位置并标记；
异常标定点剔除单元，其用于运用离群点剔除策略剔除掉黑体图像中的异常定标点；
定标模型获取单元，其用于获取温度定标模型；
温度补偿模型获取单元，其用于通过红外探测器在不同距离下获取的黑体温度值和黑体真实温度值进行补偿模型回归分析，以获得温度补偿模型；
以及检验单元，其用于从拟合误差和/或预测误差两个维度对所述定标模型进行校验。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010942723.9A CN112067138B (zh) | 2020-09-09 | 2020-09-09 | 一种红外探测器测温定标方法及测温定标装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010942723.9A CN112067138B (zh) | 2020-09-09 | 2020-09-09 | 一种红外探测器测温定标方法及测温定标装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112067138A CN112067138A (zh) | 2020-12-11 |
| CN112067138B true CN112067138B (zh) | 2021-08-20 |
Family
ID=73663212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010942723.9A Active CN112067138B (zh) | 2020-09-09 | 2020-09-09 | 一种红外探测器测温定标方法及测温定标装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112067138B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113551784A (zh) * | 2021-06-02 | 2021-10-26 | 浙江大华技术股份有限公司 | 测温方法、测温装置及计算机存储介质 |
| CN114235171B (zh) * | 2021-11-30 | 2023-11-10 | 赛思倍斯(绍兴)智能科技有限公司 | 一种星载红外相机全光路定标机构 |
| CN114596280B (zh) * | 2022-03-08 | 2022-09-09 | 常州市宏发纵横新材料科技股份有限公司 | 一种碳纤维布面生产过程中碎屑纸的检测方法及装置 |
| CN115993192B (zh) * | 2023-03-21 | 2023-06-13 | 成都华安视讯科技有限公司 | 一种基于人脸追踪的无感测温方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012254222A (ja) * | 2011-06-09 | 2012-12-27 | Teikyo Heisei Univ | サーモグラフィによるヒトの動的顔面温度変化測定のための装置及び測定方法並びにこれに使用する較正器 |
| US20160018266A1 (en) * | 2014-07-17 | 2016-01-21 | Lumasense Technologies Holdings, Inc. | Digital temperature determination using a radiometrically calibrated and a non-calibrated digital thermal imager |
| CN107941348A (zh) * | 2017-11-24 | 2018-04-20 | 广东电网有限责任公司电力科学研究院 | 一种红外测温标校方法 |
| CN109671081A (zh) * | 2018-12-25 | 2019-04-23 | 凌云光技术集团有限责任公司 | 一种基于fpga查找表的坏簇统计方法及装置 |
| CN110084795A (zh) * | 2019-04-22 | 2019-08-02 | 武汉高德智感科技有限公司 | 一种基于本底的红外图像盲元检测方法及系统 |
| CN110458827A (zh) * | 2019-08-12 | 2019-11-15 | 深圳蓝韵医学影像有限公司 | 医学影像坏点的检测方法、装置、设备及介质 |
| CN111006775A (zh) * | 2019-12-20 | 2020-04-14 | 中科和光（天津）应用激光技术研究所有限公司 | 一种基于非制冷红外热成像测温技术的距离补偿方法 |
-
2020
- 2020-09-09 CN CN202010942723.9A patent/CN112067138B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012254222A (ja) * | 2011-06-09 | 2012-12-27 | Teikyo Heisei Univ | サーモグラフィによるヒトの動的顔面温度変化測定のための装置及び測定方法並びにこれに使用する較正器 |
| US20160018266A1 (en) * | 2014-07-17 | 2016-01-21 | Lumasense Technologies Holdings, Inc. | Digital temperature determination using a radiometrically calibrated and a non-calibrated digital thermal imager |
| CN107941348A (zh) * | 2017-11-24 | 2018-04-20 | 广东电网有限责任公司电力科学研究院 | 一种红外测温标校方法 |
| CN109671081A (zh) * | 2018-12-25 | 2019-04-23 | 凌云光技术集团有限责任公司 | 一种基于fpga查找表的坏簇统计方法及装置 |
| CN110084795A (zh) * | 2019-04-22 | 2019-08-02 | 武汉高德智感科技有限公司 | 一种基于本底的红外图像盲元检测方法及系统 |
| CN110458827A (zh) * | 2019-08-12 | 2019-11-15 | 深圳蓝韵医学影像有限公司 | 医学影像坏点的检测方法、装置、设备及介质 |
| CN111006775A (zh) * | 2019-12-20 | 2020-04-14 | 中科和光（天津）应用激光技术研究所有限公司 | 一种基于非制冷红外热成像测温技术的距离补偿方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112067138A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112067138B (zh) | 一种红外探测器测温定标方法及测温定标装置 | |
| CN103528694B (zh) | 一种用红外热像仪测量目标物体的温度的方法 | |
| CN111006775A (zh) | 一种基于非制冷红外热成像测温技术的距离补偿方法 | |
| KR100668025B1 (ko) | 온도 보정 처리 장치 | |
| TWI600324B (zh) | Infrared Focal Plane Array Module Performance Parameters Measurement Method and Detection of Dead pixels | |
| US20120239330A1 (en) | Radiometric calibration method for infrared detectors | |
| CN106679817A (zh) | 一种用于标定红外热像仪的方法 | |
| CN112113671B (zh) | 一种红外探测器质量检测方法及装置 | |
| CN103335717B (zh) | 一种基于变积分模式的红外热像仪高精度抗温漂测温方法 | |
| CN105890873A (zh) | 一种热红外高光谱成像仪盲元检测的装置和方法 | |
| CN109540297B (zh) | 基于fpa温度的红外热像仪标定方法 | |
| CN111780879B (zh) | 一种红外测温系统及测温方法 | |
| CN110006529B (zh) | 一种红外探测装置输出校正方法及装置 | |
| CN111198041A (zh) | 多维度非接触式高精度检测目标温度的装置和方法 | |
| CN113916383B (zh) | 热成像温度测量方法、装置及电子设备 | |
| CN108871590B (zh) | 非制冷红外焦平面探测器非均匀性响应率校正方法及装置 | |
| CN110146173B (zh) | 基于红外测温技术的测温一致性校验方法 | |
| CN109084899B (zh) | 一种红外焦平面探测器非均匀性本体输出校正方法及装置 | |
| CN111024237A (zh) | 非接触式宽温差红外温度测量方法 | |
| CN116380257A (zh) | 一种基于双重阈值的红外焦平面探测器闪元测试方法 | |
| CN113049118A (zh) | 一种红外焦平面探测器闪元测试装置及测试方法 | |
| Fan et al. | A scene based nonuniformity correction algorithm for line scanning infrared image | |
| CN113609452B (zh) | 一种体温筛查系统误差实时修正方法 | |
| Zhang et al. | Research and Application of Temperature Monitoring and Error Correction System for High-Strength Steel Hot Stamping Parts | |
| CN112629665B (zh) | 一种红外测温的信号处理方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |