CN113096041A - 图像校正方法及装置 - Google Patents
图像校正方法及装置 Download PDFInfo
- Publication number
- CN113096041A CN113096041A CN202110377900.8A CN202110377900A CN113096041A CN 113096041 A CN113096041 A CN 113096041A CN 202110377900 A CN202110377900 A CN 202110377900A CN 113096041 A CN113096041 A CN 113096041A
- Authority
- CN
- China
- Prior art keywords
- infrared image
- pixel point
- infrared
- correction
- gray value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000003702 image correction Methods 0.000 title claims abstract description 37
- 238000012937 correction Methods 0.000 claims abstract description 184
- 230000004888 barrier function Effects 0.000 claims abstract description 93
- 238000000926 separation method Methods 0.000 claims abstract description 52
- 238000003331 infrared imaging Methods 0.000 claims abstract description 27
- 230000005855 radiation Effects 0.000 claims abstract description 26
- 238000005259 measurement Methods 0.000 claims description 79
- 230000000903 blocking effect Effects 0.000 claims description 51
- 230000006870 function Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 abstract description 10
- 230000000875 corresponding effect Effects 0.000 description 195
- 230000004044 response Effects 0.000 description 37
- 238000013461 design Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 9
- 230000036760 body temperature Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000001931 thermography Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本申请实施例提供一种图像校正方法及装置，该方法包括：获取红外相机拍摄的待校正红外图像。对红外相机的挡片进行红外成像，得到挡片对应的挡片红外图像。对挡片红外图像进行暗角补偿，将挡片红外图像转换为等效红外图像，其中，等效红外图像是虚拟挡片的辐射经过红外相机的镜头得到的红外图像，虚拟挡片是挡片对应的位于镜头外的虚拟的挡片。根据等效红外图像对待校正红外图像进行非均匀校正，得到校正后的红外图像。通过对挡片红外图像进行暗角补偿，以将挡片红外图像转换为经过镜头畸变形成的等效红外图像，之后基于等效红外图像对待校正红外图像进行非均匀校正，因为镜头畸变的作用，从而可以有效避免根据挡片进行非均匀校正时暗角的出现。
Description
技术领域
本申请实施例涉及图像处理技术，尤其涉及一种图像校正方法及装置。
背景技术
在使用红外相机的过程中，因为红外相机中的非制冷红外焦平面探测器的非均匀性的存在，往往需要对红外相机的成像进行非均匀校正。
目前，现有技术中的非均匀校正的方法是两点校正和一点校正结合，具体的，首先对图像进行两点校正，以及通过红外相机中添加的挡片，在两点校正的结果的基础上，根据挡片的成像再进行一点校正，从而通过一点校正调整两点校正的结果，得到最终的校正结果。
然而，因为一点校正的过程中使用了挡片，而挡片的红外辐射没有经过镜头，而是直接进入传感器，从而导致非均匀校正后的结果会出现暗角。
发明内容
本申请实施例提供一种图像校正方法及装置，以克服非均匀校正后的结果会出现暗角的问题。
第一方面，本申请实施例提供一种图像校正方法，包括：
获取红外相机拍摄的待校正红外图像；
对所述红外相机的挡片进行红外成像，得到所述挡片对应的挡片红外图像；
对所述挡片红外图像进行暗角补偿，将所述挡片红外图像转换为等效红外图像，其中，所述等效红外图像是虚拟挡片的辐射经过所述红外相机的镜头得到的红外图像，所述虚拟挡片是所述挡片对应的位于所述镜头外的虚拟的挡片；
根据所述等效红外图像对所述待校正红外图像进行非均匀校正，得到校正后的红外图像。
在一种可能的设计中，所述待校正红外图像中包括至少一个第一像素点，各所述第一像素点分别对应各自的第一灰度值；所述挡片红外图像中包括至少一个第二像素点，各所述第二像素点分别对应各自的第二灰度值；
所述对所述挡片红外图像进行暗角补偿，将所述挡片红外图像转换为等效红外图像，包括：
根据各所述第二像素点各自对应的暗角补偿系数，对各所述第二像素点各自对应的第二灰度值分别进行暗角补偿，得到各所述第二像素点各自对应的暗角补偿后的第三灰度值，其中，所述暗角补偿系数表示每个所述第二像素点的第二灰度值与有暗角图像的灰度值的对应关系；
根据各所述第三灰度值，得到所述等效红外图像。
在一种可能的设计中，所述根据各所述第二像素点各自对应的暗角补偿系数，对各所述第二像素点各自对应的第二灰度值分别进行暗角补偿，得到各所述第二像素点各自对应的暗角补偿后的第三灰度值，包括：
获取各所述第二像素点各自对应的暗角补偿系数；
根据各所述第二像素点各自对应的暗角补偿系数和各所述第二像素点各自对应的第二灰度值分别相乘，得到各所述第二像素点各自对应的暗角补偿后的第三灰度值。
在一种可能的设计中，所述根据所述等效红外图像对所述待校正红外图像进行非均匀校正，得到校正后的红外图像，包括：
根据各所述第一像素点各自对应的校正增益系数以及所述等效红外图像中的各所述第三灰度值，对各所述第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像。
在一种可能的设计中，所述根据各所述第一像素点各自对应的校正增益系数以及各所述第三灰度值，对各所述第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像，包括：
根据各所述第三灰度值，确定各所述第三灰度值的平均值；
根据各所述第一像素点和各所述第二像素点的一一对应关系，确定各所述第一像素点各自对应的第三灰度值；
根据各所述第一像素点各自对应的校正增益系数、各第一所述像素点各自对应的第三灰度值以及各所述第三灰度值的平均值，通过所述校正函数对各所述第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像。
在一种可能的设计中，所述获取各所述第二像素点各自对应的暗角补偿系数之前，所述方法还包括：
根据所述红外相机的挡片，确定所述红外相机的成像中各个像素点各自对应的暗角补偿系数；
存储所述各个像素点各自对应的暗角补偿系数。
在一种可能的设计中，所述根据所述红外相机的挡片，确定所述红外相机的成像中各个像素点各自对应的暗角补偿系数，包括：
再次对所述红外相机的挡片进行红外成像，得到所述挡片对应的测量红外图像；
获取所述测量红外图像中各个测量像素点各自对应的测量灰度值；
对各所述测量像素点各自对应的测量灰度值分别进行非均匀校正，得到各所述测量像素点各自对应的目标灰度值；
根据各所述测量像素点各自对应的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数。
在一种可能的设计中，所述根据各所述测量像素点各自对应的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数，包括：
根据各所述测量像素点各自对应的目标灰度值，在各所述测量像素点中确定暗角中心像素点；
根据所述暗角中心像素点的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数。
在一种可能的设计中，所述根据各所述测量像素点各自对应的目标灰度值，在各所述测量像素点中确定暗角中心像素点，包括：
在各所述测量像素点的目标灰度值中，确定目标灰度值的最大值；
将所述目标灰度值的最大值所对应的测量像素点，确定为所述暗角中心像素点。
在一种可能的设计中，所述根据所述暗角中心像素点的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数，包括：
将各所述测量像素点各自对应的目标灰度值，调整为所述暗角中心像素点的目标灰度值；
根据各所述测量像素点各自对应的测量灰度值，和所述暗角中心像素点的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数。
在一种可能的设计中，所述得到校正后的红外图像之后，所述方法还包括：
向目标设备发送所述校正后的红外图像；或者，
在所述红外相机的显示屏上显示所述校正后的红外图像。
第二方面，本申请实施例提供一种图像校正装置，包括：
获取模块，用于获取红外相机拍摄的待校正红外图像；
处理模块，用于对所述红外相机的挡片进行红外成像，得到所述挡片对应的挡片红外图像；
补偿模块，用于对所述挡片红外图像进行暗角补偿，将所述挡片红外图像转换为等效红外图像，其中，所述等效红外图像是虚拟挡片的辐射经过所述红外相机的镜头得到的红外图像，所述虚拟挡片是所述挡片对应的位于所述镜头外的虚拟的挡片；
校正模块，用于根据所述等效红外图像对所述待校正红外图像进行非均匀校正，得到校正后的红外图像。
在一种可能的设计中，所述待校正红外图像中包括至少一个第一像素点，各所述第一像素点分别对应各自的第一灰度值；所述挡片红外图像中包括至少一个第二像素点，各所述第二像素点分别对应各自的第二灰度值；
所述补偿模块具体用于：
根据各所述第二像素点各自对应的暗角补偿系数，对各所述第二像素点各自对应的第二灰度值分别进行暗角补偿，得到各所述第二像素点各自对应的暗角补偿后的第三灰度值，其中，所述暗角补偿系数表示每个所述第二像素点的第二灰度值与有暗角图像的灰度值的对应关系；
根据各所述第三灰度值，得到所述等效红外图像。
在一种可能的设计中，所述补偿模块具体用于：
获取各所述第二像素点各自对应的暗角补偿系数；
根据各所述第二像素点各自对应的暗角补偿系数和各所述第二像素点各自对应的第二灰度值分别相乘，得到各所述第二像素点各自对应的暗角补偿后的第三灰度值。
在一种可能的设计中，所述校正模块具体用于：
根据各所述第一像素点各自对应的校正增益系数以及所述等效红外图像中的各所述第三灰度值，对各所述第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像。
在一种可能的设计中，所述校正模块具体用于：
根据各所述第三灰度值，确定各所述第三灰度值的平均值；
根据各所述第一像素点和各所述第二像素点的一一对应关系，确定各所述第一像素点各自对应的第三灰度值；
根据各所述第一像素点各自对应的校正增益系数、各第一所述像素点各自对应的第三灰度值以及各所述第三灰度值的平均值，通过所述校正函数对各所述第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像。
在一种可能的设计中，所述装置还包括：确定模块；
所述确定模块用于：
在所述获取各所述第二像素点各自对应的暗角补偿系数之前，根据所述红外相机的挡片，确定所述红外相机的成像中各个像素点各自对应的暗角补偿系数；
存储所述各个像素点各自对应的暗角补偿系数。
在一种可能的设计中，所述确定模块具体用于：
再次对所述红外相机的挡片进行红外成像，得到所述挡片对应的测量红外图像；
获取所述测量红外图像中各个测量像素点各自对应的测量灰度值；
对各所述测量像素点各自对应的测量灰度值分别进行非均匀校正，得到各所述测量像素点各自对应的目标灰度值；
根据各所述测量像素点各自对应的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数。
在一种可能的设计中，所述确定模块具体用于：
根据各所述测量像素点各自对应的目标灰度值，在各所述测量像素点中确定暗角中心像素点；
根据所述暗角中心像素点的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数。
在一种可能的设计中，所述确定模块具体用于：
在各所述测量像素点的目标灰度值中，确定目标灰度值的最大值；
将所述目标灰度值的最大值所对应的测量像素点，确定为所述暗角中心像素点。
在一种可能的设计中，所述确定模块具体用于：
将各所述测量像素点各自对应的目标灰度值，调整为所述暗角中心像素点的目标灰度值；
根据各所述测量像素点各自对应的测量灰度值，和所述暗角中心像素点的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数。
在一种可能的设计中，所述处理模块，还用于：
在所述得到校正后的红外图像之后，
向目标设备发送所述校正后的红外图像；或者，
在所述红外相机的显示屏上显示所述校正后的红外图像。
第三方面，本申请实施例提供一种图像校正设备，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上第一方面以及第一方面各种可能的设计中任一所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上第一方面以及第一方面各种可能的设计中任一所述的方法。
本申请实施例提供一种图像校正方法及装置，该方法包括：获取红外相机拍摄的待校正红外图像。对红外相机的挡片进行红外成像，得到挡片对应的挡片红外图像。对挡片红外图像进行暗角补偿，将挡片红外图像转换为等效红外图像，其中，等效红外图像是虚拟挡片的辐射经过红外相机的镜头得到的红外图像，虚拟挡片是挡片对应的位于镜头外的虚拟的挡片。根据等效红外图像对待校正红外图像进行非均匀校正，得到校正后的红外图像。通过对挡片红外图像进行暗角补偿，以将挡片红外图像转换为经过镜头畸变形成的等效红外图像，之后基于等效红外图像对待校正红外图像进行非均匀校正，因为镜头畸变的作用，从而可以有效避免根据挡片进行非均匀校正时暗角的出现。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的非均匀校正的图像前后示意图；
图2为本申请实施例提供的图像存在暗角的实现示意图；
图3为本申请实施例提供的图像校正方法的场景示意图；
图4为本申请实施例提供的图像校正方法的流程图；
图5为本申请实施例提供的图像校正方法的流程图二；
图6为本实施例提供的对挡片红外图像的第二像素点进行暗角补偿的示意图；
图7为本申请实施例提供的挡片的设置示意图
图8为本申请实施例提供的虚拟挡片的实现示意图；
图9为本申请实施例提供的图像校正方法的流程图三；
图10为本申请实施例提供的图像校正装置的结构示意图；
图11为本申请实施例提供的图像校正设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了更好的理解本申请的技术方案，首先对本申请所涉及的相关概念进行说明：
红外热成像：任何物体都依据温度的不同对外进行电磁波辐射，通过光学镜头采集物体的红外电磁波，然后通过非制冷红外焦平面探测器转换为数字信号，最后经过处理呈现出伪彩热图的过程即为红外热成像。
黑体：自然界中的一切温度高于绝对零度的物体都具有不断辐射、吸收、发射红外辐射的本领，辐射出去的电磁波在各个波段是不同的，具有一定的谱分布。这种谱分布与物体本身的特性及其温度有关，因而被称热辐射。为了研究不依赖于物质具体物性的热辐射规则，定义了一种理想物体-黑体，一次作为热辐射研究的标准物体。所谓黑体是指入射的电磁波全部被吸收，既没有反射，也没有透射。在一定温度下，黑体就是辐射本领最大的物体，表面发射率为1。
在红外热成像系统中，黑体被作为一个参照物，相当于一个零点，通常用于对温度进行校准。
非均匀校正：非制冷红外焦平面探测器每个点的随温度的响应曲线并不一致，非均匀校正就是一种把探测器各点的响应曲线变一致的方法。
暗角：光学相机的一种镜头特性，表现为镜头边缘光强比镜头中央区域小，导致图像四周比中心区域暗的现象。
挡片：相机的快门。
基于上述介绍的内容，下面对本申请所涉及的相关技术进行进一步的详细介绍：
在红外相机中通常设置有非制冷红外焦平面探测器，其中，非制冷红外焦平面探测器作为红外相机的传感器，因为器件各个探测单元响应的非均匀性较大，并且各个探测单元相应特性曲线随着工作温度的变化都有差异，会导致红外相机的成像存在非均匀性，换句话说，非制冷红外焦平面探测器其本身的非均匀性会影响红外相机的成像的效果和质量。
因此在实际的使用过程，往往需要对红外相机的成像进行非均匀校正。例如可以结合图1理解非均匀校正，图1为本申请实施例提供的非均匀校正的图像前后示意图。
如图1所示，因为非制冷红外焦平面探测器的非均匀性的影响，红外成像后的红外图像101会存在不规则条纹，这是非均匀性的体现，在对红外图像进行非均匀校正之后，会得到图1中所示的校正图像102，从图1中可以看出，校正图像102与红外图像101相比，其中的不规则条纹被校正了，从而提升了图像的效果和质量。
一般的非均匀校正方法是“两点校正”，其中两点校正是通过采集黑体在高温下的响应值以及黑体在低温下的响应值，之后计算出每个像素点的增益和偏置，根据每个像素点的增益和偏置对每个像素点的响应值分别进行校正的一种方法。在一种可能的实现方式中，本实施例中所提到的响应值可以理解为灰度值。
在实际实现过程中，两点校正通常是在红外相机出厂之前进行的，其采集的通常是外置黑体的响应值，也就是说在红外相机的外部放置有一个黑体，通过采集这个黑体在高温下的响应值以及这个黑体在低温下的响应值，从而实现两点校正。
两点校正的方法广泛应用与如今的热成像系统中，但随着环境温度的变化，非制冷红外焦平面探测器的响应会产生温度漂移，因此单纯的“两点校正”方法无法取得很好的校正效果。
现如今解决这一方法的常用做法是在“两点校正”结果的基础上根据挡片的响应值做“一点校正”，在进行一点校正时，通常是在红外相机中添加一挡片，一点校正是通过采集挡片的响应值，之后根据挡片的响应值计算出每个像素点对应的一点校正的偏置，再然后根据每个像素点对应的一点校正的偏置，通过“一点校正”调整“两点”校正的结果。
值得说明的是，正常的一点校正也是采集黑体的响应值，之后根据黑体的响应值计算出每个像素点对应的偏置，根据偏置对结果进行校正，但是在进行一点校正时，通常是红外相机的实际应用过程，在实际应用过程中设置一个外置黑体用于校正通常不是很方便，甚至不太现实。
因此在实际实现过程中，通常都是采用挡片代替黑体，相对于设置黑体的实现方式，挡片的实现非常方便，在需要的时候挡片落下遮挡一下，遮挡完成之后再收起来就可以了，因此在实际实现过程中，都是基于挡片进行一点校正。
其中，利用挡片的“两点校正”加“一点校正”方法理论上校正精度更高，但是由于挡片位于非制冷红外焦平面探测器与镜头之间，因此挡片在探测器上的响应没有经过镜头的畸变，而相机工作的时候光线是经过镜头的，这样一来镜头的非均匀性就会对成像产生影响，出现类似于“暗角”的效应，即输出图像出现画面中心亮、边缘及四角黑的现象，例如可以结合图2进行理解，图2为本申请实施例提供的图像存在暗角的实现示意图。
如图2所示，在图2所示的图像中，图像的中心是比较亮的，而图像的边缘以及四角都比较黑。
出现暗角效应的原因在于，单纯的“两点校正”在校正以及成像的时候光线都是先通过镜头再成的像，而在引入“一点校正”方法时添加了挡片，因为挡片的响应没有经过镜头的畸变，从而产生“暗角”现象。
针对现有技术中的问题，本申请提出了如下技术构思：通过对暗角原理的分析，建立起暗角补偿的数学模型，对挡片的响应值进行暗角补偿，从而将挡片的响应转化为位于镜头外部的虚拟挡片的等效响应，因为虚拟挡片的等效响应是经过暗角补偿的，因此该虚拟挡片的辐射可以理解为通过了镜头，之后基于暗角补偿后的等效响应进行非均匀校正，从而可以有效避免校正图像中出现暗角。
下面结合具体的实施例对本申请提供的图像校正方法进行介绍，首先结合图3对本申请的图像校正方法的应用场景进行说明，图3为本申请实施例提供的图像校正方法的场景示意图。
如图3所示，假设采用红外相机对拍摄对象进行拍摄，以得到拍摄对象的红外图像，其中拍摄对象会发射红外线辐射，红外相机的光学镜头可以收集拍摄图像所发射的红外线辐射，之后红外线辐射被红外相机的红外探测器所获取，通过红外探测器检测被测物的红外辐射能量，在一种可能的实现方式中，此处介绍的红外探测器可以为上述介绍的非制冷红外焦平面探测器。
因为辐射能量和温度存在对应关系，则可以通过图3所示的信号处理电路，将辐射能量(即温度)，转换为对应的灰度值，此处的灰度值即可以理解为上述介绍的响应值，之后通过图像处理单元基于得到的各个像素点的灰度值，将不同灰度显示出来，即可以得到拍摄对象的初步红外图像，其中，灰度的不同代表温度不同。
之后再基于校正处理单元对拍摄对象的初步红外图像进行校正处理，从而得到最终的拍摄对象的红外图像。
基于上述介绍的场景，下面结合图4对本申请所提供的图像校正方法进行详细介绍，图4为本申请实施例提供的图像校正方法的流程图。
如图4所示，该方法包括：
S401、获取红外相机拍摄的待校正红外图像。
其中，待校正红外图像为当前需要进行非均匀校正的图像，其可以为红外相机拍摄的任一张图像，在待校正红外图像中可以包括任意对象，本实施例对此不做限制，其可以根据实际需求进行选择和设置。
在一种可能的实现方式中，在待校正红外图像中包括至少一个第一像素点，其中每个第一像素点分别对应各自的第一灰度值，灰度值的不同用于指示待校正红外图像中的对象各个部分温度的不同。
S402、对红外相机的挡片进行红外成像，得到挡片对应的挡片红外图像。
本实施例中对待校正红外图像进行非均匀校正时，为了保证校正的准确性，采用的是两点校正和一点校正结合的方法，其中在一点校正时需要应用到挡片，具体的，一点校正需要根据挡片的响应值进行校正，因此在一种可能的实现方式中，可以保持环境温度不变，将红外相机的挡片放下，对挡片进行红外成像，从而得到挡片对应的挡片红外图像，以确定挡片对应的响应值。
可以理解的是，挡片位于镜头和探测器之间，因此挡片是直接将电磁波辐射至探测器实现的红外成像，电磁波没有经过镜头，之后得到挡片对应的挡片红外图像，挡片红外图像与上述待校正红外图像类似，此处的挡片红外图像是用于对待校正红外图像进行校正的。
在一种可能的实现方式中，在挡片红外图像中包括至少一个第二像素点，其中每个第二像素点分别对应各自的第二灰度值，灰度值用于表示挡片每个位置的温度，灰度值的不同用于指示挡片中各个位置的温度的不同。
S403、对挡片红外图像进行暗角补偿，将挡片红外图像转换为等效红外图像，其中，等效红外图像是虚拟挡片的辐射经过红外相机的镜头得到的红外图像，虚拟挡片是挡片对应的位于镜头外的虚拟的挡片。
在本实施例中，因为挡片红外图像的红外成像没有经过镜头，因此挡片在探测器上的响应没有经过镜头的畸变，则根据挡片红外图像直接进行非均匀校正的话，会导致暗角现象的出现。
本实施例中对挡片红外图像进行暗角补偿，以将挡片红外图像转换为等效红外图像，等效红外图像可以理解为是镜头外的虚拟挡片进行红外成像所得到的红外图像，因此等效红外图像的成像过程中，虚拟挡片的辐射经过了红外相机的镜头才实现的成像，因此等效红外图像是经过了镜头的畸变的，本实施例中通过对挡片红外图像进行暗角补偿，可以将挡片红外图像转换为经过了镜头畸变的等效红外图像，从而可以在后续的非均匀性校正中有效的消除暗角。
在一种可能的实现方式中，在对挡片红外图像进行暗角补偿时，例如可以根据挡片红外图像的各第二像素点各自对应的暗角补偿系数，对各第二像素点各自对应的第二灰度值分别进行暗角补偿，得到各第二像素点各自对应的暗角补偿后的第三灰度值。
其中，第三灰度值是暗角补偿后的灰度值，暗角补偿系数表示每个第二像素点的第二像素值和有暗角图像的灰度值之间的对应关系，因此根据暗角补偿系数可以将挡片的各个第二像素点的原始的第二灰度值转换为第三灰度值,从而完成亮度补偿。
可以理解的是，本实施例中的每一个第二像素点分别对应有各自的暗角补偿系数，因此在进行暗角补偿时，是根据各个第二像素点各自对应的暗角补偿系数，对各个第二像素点的第二灰度值分别进行暗角补偿的，之后得到的也是各个第二像素点各自对应的第三灰度值。
其中，每个第二像素点各自对应的暗角补偿系数例如可以为实时确定的，或者还可以为预先确定，当前直接获取的，本实施例对暗角补偿系数的具体实现方式不做限制。
S404、根据等效红外图像对所述待校正红外图像进行非均匀校正，得到校正后的红外图像。
本实施例中得到的等效红外图像是经过镜头畸变的，因此根据等效红外图像对待校正红外图像进行非均匀校正，可以避免暗角的出现，从而保证了校正后的红外图像中不会出现暗角。
在一种可能的实现方式中，可以根据各第一像素点各自对应的校正增益系数以及各第三灰度值，对各第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像。
本实施例中的第三灰度值是经过暗角补偿后的灰度值，因此根据第三灰度值进行非均匀校正，可以有效避免暗角的出现。
在一种可能的实现方式中，可以根据各第一像素点各自对应的校正增益系数以及各第三灰度值，对各第一像素点各自对应的第一灰度值分别进行非均匀校正，以得到各个第一像素点各自对应的校正后的目标灰度值，其中多个校正后的目标灰度值即可以构成校正后的红外图像。
以及，本实施例中各个第一像素点各自对应的校正增益系数可以是根据两点校正的处理得到的，其中，两点校正可以在红外相机出厂之前进行，根据两点校正就可以得到当前红外相机的各个像素点各自对应的校正增益系数，基于此可以理解的是，每个红外相机对应的各个校正增益系数在出厂之后可以为固定值，因此本实施例中可以直接获取当前红外相机的各个像素点各自对应的校正增益系数。
在根据第一增益系数和第三灰度值对第一像素点的第一灰度值进行非均匀校正时，在一种可能的实现方式中，例如可以根据校正函数对上述内容进行处理，以确定第一像素点对应的校正后的灰度值，其中，校正函数例如可以为一系列的数学处理过程；或者，还可以采用校正模型对上述内容进行处理，从而确定第一像素点对应的校正后的灰度值，校正模型例如可以为神经网络模型等，本实施例对非均匀校正的具体实现过程不做限制，其可以根据实际需求进行选择，只要是根据校正增益系数和第三灰度值实现的非均匀校正即可。
本申请实施例提供的图像校正方法，包括：获取红外相机拍摄的待校正红外图像。对红外相机的挡片进行红外成像，得到挡片对应的挡片红外图像。对挡片红外图像进行暗角补偿，将挡片红外图像转换为等效红外图像，其中，等效红外图像是虚拟挡片的辐射经过红外相机的镜头得到的红外图像，虚拟挡片是挡片对应的位于镜头外的虚拟的挡片。根据等效红外图像对待校正红外图像进行非均匀校正，得到校正后的红外图像。通过对挡片红外图像进行暗角补偿，以将挡片红外图像转换为经过镜头畸变形成的等效红外图像，之后基于等效红外图像对待校正红外图像进行非均匀校正，因为镜头畸变的作用，从而可以有效避免根据挡片进行非均匀校正时暗角的出现。
在上述实施例的基础上，下面结合图5至图8对本申请提供的图像校正方法进行进一步的详细介绍，图5为本申请实施例提供的图像校正方法的流程图二，图6为本实施例提供的对挡片红外图像的第二像素点进行暗角补偿的示意图，图7为本申请实施例提供的挡片的设置示意图，图8为本申请实施例提供的虚拟挡片的实现示意图。
如图5所示，该方法包括：
S501、获取红外相机拍摄的待校正红外图像。
S502、对红外相机的挡片进行红外成像，得到挡片对应的挡片红外图像。
其中，S501、S502的实现方式与S401、S402的实现方式类似，此处不再赘述。
S503、根据各第二像素点各自对应的暗角补偿系数和各第二像素点各自对应的第二灰度值分别相乘，得到各第二像素点各自对应的暗角补偿后的第三灰度值。
在本实施中，每个第二像素点分别对应各自的暗角补偿系数，其中暗角补偿系数用于对各个第二像素点的第二灰度值进行暗角补偿，则在一种可能的实现方式中，可以获取所述第二像素点各自对应的暗角补偿系数，之后根据各个第二像素点各自对应的暗角补偿系数和各个第二像素点各自对应的第二灰度值分别相乘，从而得到各个第二像素点各自对应的暗角补偿后的第三灰度值。
在一种可能的实现方式中，暗角补偿的实现例如可以满足如下公式一：
gshutter_eq(i,j)＝coef(i,j)*gshutter(i,j) 公式一
其中，gshutter(i,j)为第i行第j列的第二像素点的第二灰度值，coef(i,j)为第i行第j列的第二像素点的暗角补偿系数，gshutter_eq(i,j)为第i行第j列的第二像素点的暗角补偿后的第三灰度值。
例如可以结合图6进行理解，如图6所示，当前存在一张挡片红外图像，在挡片红外图像中包括多个第二像素点，每个第二像素点对应各自的第二灰度值，本实施例中可以针对各个第二像素点的第二灰度值进行暗角补偿，以第一行第一列的第二像素点为例，可以采用第一行第一列的第二像素点对应的暗角补偿系数和对应的第二灰度值相乘，从而得到第一行第一列的第二像素点对应的第三灰度值。
针对每个第二像素点分别进行上述处理，从而可以得到各个第二像素点各自对应的第三灰度值。
可以理解的是，图6中所示的挡片红外图像仅仅是为了说明此处的方案所作出的示意，在实际实现过程中，各个第二像素点的第二灰度值，以及暗角补偿后的第三灰度值的具体实现可以根据实际的情况进行确定，本实施例对此不做限制。
在其余可能的实现方式中，上述公式一的恒等变形，或者在上述公式一的基础上添加相关的参数等，也可以实现根据暗角补偿系数补偿第二灰度值，本实施例对暗角补偿的具体实现方式不做限制，其可以根据实际需求进行选择，只要是根据暗角补偿系数进行的补偿即可。
值得说明的是，本实施例中的挡片位于镜头和探测器之间，例如可以如图7所示，挡片在镜头和探测器中间，因此挡片是直接将电磁波辐射至探测器实现的红外成像，所以原本的挡片红外图像是没有经过镜头的畸变的，若直接根据挡片红外图像进行非均匀校正，会导致非均匀校正的结果产生暗角现象。
然而，本实施例中对暗角进行补偿之后，可以理解为暗角补偿后的挡片红外图像是经过了镜头的畸变形成的，因此本实施例中暗角补偿之后的挡片红外图像，可以理解为根据镜头外部的虚拟挡片形成的，例如可以结合图8进行理解，暗角补偿之后的挡片红外图像可以理解为，根据镜头外的虚拟挡片经过镜头由探测器检测红外辐射能量，形成的红外图像，因为经过了镜头，因此根据暗角补偿后的挡片红外图像进行非均匀校正，可以有效避免暗角的出现。
S504、根据各第三灰度值，确定各第三灰度值的平均值。
在基于第三灰度值进行非均匀校正的实现过程中，还需要应用到第三灰度值的平均值，因此本实施例可以根据各个第三灰度值，确定各个第三灰度值的平均值。
S505、根据各第一像素点和各第二像素点的一一对应关系，确定各第一像素点各自对应的第三灰度值。
以及本实施例中，红外相机所成像的图像中，像素点的位置都是相同的，比如说在待校正红外图像中包括m×n个第一像素点，在挡片红外图像中同样包括m×n个像素点，并且这m×n个像素点的位置都是对应的，因此本实施例中的各个第一像素点和各个第二像素点之间有一一对应关系。
本实施例中的第三灰度值是用于对第一像素点的第一灰度值进行校正的，其中，各个第二像素点对应有各自的第三灰度值，根据上述介绍的第一像素点和第二像素点的对应关系，可以确定各个第一像素点各自对应的第三灰度值。
S506、根据各第一像素点各自对应的校正增益系数、各第一像素点各自对应的第三灰度值以及各第三灰度值的平均值，通过校正函数对各第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像。
在确定上述介绍的内容之后，就可以通过校正函数对上述介绍的数据进行处理，从而实现对各个第一像素点各自对应的第一灰度值进行非均匀校正了，本实施例中的校正函数为用于对第一灰度值进行非均匀校正的函数，在一种可能的实现方式中，校正函数可以为根据两点校正和一点校正确定的，下面对确定校正函数的可能的实现方式进行介绍。
例如可以首先进行两点校正，比如说可以可以保持环境温度tsur不变，采集黑体温度为tH下的红外成像灰度结果gt_H(i,j)，以及采集黑体问题为和tL下的红外成像灰度结果gt_L(i,j)，用来做“两点校正”，计算得到每个像素点的校正增益系数G(i，j)，以及第一偏置O(i，j)，其中，通过两点校正确定校正增益系数以及第一偏置的实现方式可以参照现有技术中的说明，此处不再赘述。
其次，还例如可以进行一点校正，比如说可以采集黑体温度为tsur的红外成像灰度结果gt_sur(i,j)，用来做“一点校正”，计算得到一点校正的第二偏置O′(i，j)。
此时对于当前温度下红外相机采集的任意一帧数据V(i，j)，其经过“两点校正”和“一点校正”后的结果应该满足如下公式二：
V′(i,j)＝G(i,j)*V(i,j)+O(i,j)+O′(i,j) 公式二
其中，G(i,j)为当前图像帧中第i行第j列的像素点对应的校正增益系数，V(i,j)为当前图像帧中第i行第j列的像素点对应的灰度值，O(i,j)为当前图像帧中第i行第j列的像素点对应的第一偏置，O′(i,j)为当前图像帧中第i行第j列的像素点对应的第二偏置，V′(i,j)为当前图像帧中第i行第j列的像素点对应的非均匀校正后的灰度值。
上述公式二例如就可以为本实施例中的校正函数，以及在一种可能的实现方式中，为了书写方便，可以将O(i，j)+O′(i，j)记做O″(i，j)，
具体的O′(i,j)和O″(i,j)表达式如下：
其中YL表示黑体温度为低温tL下的红外成像灰度结果gt_L(i,j)的均值，同理YH表示黑体温度为高温tH下的红外成像灰度结果gt_H(i,j)的均值。
其中g′t_sur(i,j)表示gt_sur(i,j)经过两点校正后的结果。
如此一来O′(i,j)+O″(i,j)的结果便会消去O′(i,j)，从而得到如下的表达式：
其中，G(i,j)为校正增益系数，gt_sur(i,j)为黑体温度为环境温度时的图像帧中第i行第j列的像素点对应的灰度值，
为黑体温度为环境温度时的图像帧中各个像素点对应的灰度值的平均值，O″(i,j)为增益。
则“两点校正”+“一点校正”后的结果表达式同样可以满足如下公式六：
可以理解的是，上述公式五和公式六是等同的，其都可以表示本实施例中的校正函数，由上式可以看出，对一帧数据V(i，j)做“两点+一点”校正，需要确定校正增益系数G(i，j)以及温度为环温的黑体的响应结果的灰度值gt_sur(i,j)。
其中G(i，j)是根据“两点校正”标定的数据直接计算出来的，各个像素点的校正增益系数对应的是一个不变的矩阵，因此校正增益系数可以直接却确定。那么随着环温的变化，只要能够采集到的对应的gt_sur(i,j)就可以完成“两点+一点”校正。
上述介绍的一点校正是基于黑体进行的，因此上述介绍的gt_sur(i,j)表示的是黑体在环境温度下对应的响应值，然而基于上述介绍可以确定的是，在实际实现过程中，在进行一点校正时，为了可实现性以及操作便捷性，通常都是基于挡片进行的一点校正，而不是采用黑体进行一点校正，因此本实施例中需要采用挡片模拟黑体。
具体的，本实施例对挡片红外图像中的灰度值进行了暗角补偿，暗角补偿后的挡片红外图像中的灰度值，可以模拟在镜头外的虚拟挡片的红外图像的灰度值，其同样可以理解为本实施例中用挡片的数据模拟了黑体的数据，因此本实施例中的第三灰度值实际上就相当于上述介绍的gt_sur(i,j)。
则在进行非均匀校正时，可以将各第一像素点各自对应的校正增益系数G(i，j)、各第一像素点各自对应的第三灰度值gt_sur(i,j)、各第三灰度值的平均值
代入上述的公式六中，通过校正函数对第一灰度值V(i,j)进行非均匀校正，得到第一灰度值V(i,j)非均匀校正后的灰度值V′(i,j)。
对各个第一像素点均进行上述的非均匀校正，从而可以得到各个第一像素点各自对应的非均匀校正后的灰度值，从而得到校正后的红外图像。
在得到校正后的红外图像之后，例如可以将校正后的红外图像显示在红外相机的显示屏中，以便于及时将红外图像提供给用户；或者，还可以向目标设备发送校正后的红外图像，在实际实现过程中，校正后的红外图像的后续处理方式可以根据实际需求进行选择，本实施例对此不做限制。
本申请实施例提供的图像校正方法，包括：获取红外相机拍摄的待校正红外图像，其中，待校正红外图像中包括至少一个第一像素点，各第一像素点分别对应各自的第一灰度值。对红外相机的挡片进行红外成像，得到挡片对应的挡片红外图像，其中，挡片红外图像中包括至少一个第二像素点，各第二像素点分别对应各自的第二灰度值。根据各第二像素点各自对应的暗角补偿系数和各第二像素点各自对应的第二灰度值分别相乘，得到各第二像素点各自对应的暗角补偿后的第三灰度值。根据各第三灰度值，确定各第三灰度值的平均值。根据各第一像素点和各第二像素点的一一对应关系，确定各第一像素点各自对应的第三灰度值。根据各第一像素点各自对应的校正增益系数、各第一像素点各自对应的第三灰度值以及各第三灰度值的平均值，通过校正函数对各第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像。通过对挡片红外图像进行暗角补偿，实现了将挡片红外图像模拟为在镜头外的虚拟挡片的红外成像，其中虚拟挡片在镜头外可以理解为黑体，因此暗角补偿后的第三灰度值可以理解为是经过镜头的畸变的，因此基于第三灰度值和校正增益系数，通过校正函数对待校正红外图像进行校正，可以有效实现非均匀校正，同时保证校正的红外图像中不存在暗角。
在上述实施例的基础上，上述实现过程中需要获取各个第二像素点各自对应的暗角补偿系数，在一种可能的实现方式中，可以根据红外相机的挡片，确定红外相机的成像中各个像素点各自对应的暗角补偿系数，之后存储各个像素点各自对应的暗角补偿系数，则在需要的时候，直接获取各个第二像素点各自对应的暗角补偿系数，即可以快速有效的实现暗角补偿。
下面结合图9对本申请实施例中，确定暗角补偿系数的实现方式进行介绍，图9为本申请实施例提供的图像校正方法的流程图三。
如图9所示，该方法包括：
S901、再次对红外相机的挡片进行红外成像，得到挡片对应的测量红外图像。
其中，S901的实现方式与上述介绍的S401的实现方式类似，不同之处在于，本实施例中介绍的测量红外图像是用于确定暗角补偿系数的，而上述介绍的挡片红外图像是用于对图像进行校正的。
S902、获取测量红外图像中各个测量像素点各自对应的测量灰度值。
与上述介绍的类似的是，在测量红外图像中包括多个像素点，其中每个像素点对应有各自的测量灰度值，本实施中用gshutter1(i，j)表示第i行第j列的测量像素点的测量灰度值。
S903、对各测量像素点各自对应的测量灰度值分别进行非均匀校正，得到各测量像素点各自对应的目标灰度值。
当前，假设测量红外图像是一幅探测器经过镜头采集的正常图像，则可以将测量红外图像对应的gshutter1(i，j)作为上述公式六中的V(i,j)代入上述公式六，对各个测量像素点对应的测量灰度值分别进行非均匀校正，从而得到各个测量像素点各自对应的非均匀校正后的结果g′shutter(i，j)，本实施例中将非均匀校正后的结果g′shutter(i，j)称作目标灰度值。
S904、在各测量像素点的目标灰度值中，确定目标灰度值的最大值。
在介绍S904之前，首先对如下内容进行说明：
由于挡片的红外辐射没有经过镜头，而是直接进入探测器，因此当前针对测量红外图像的非均匀校正后的结果g′shutter(i，j)会存在暗角现象。
其中，暗角产生的根本原因在于，光学镜头中心与边缘部分透射的光能量不同，由于结果的原因，镜头边缘的透光量总会小于镜头中心。透光量与传感器的响应值呈正相关，所以会出现这种“暗角”现象。
基于此可以确定的是，正是因为经过了镜头才会导致暗角的效果，同时，挡片的响应没有经过镜头，因此挡片的响应结果实际上是不存在暗角的。
但是在两点校正的时候所有的数据都是有暗角的，我们的两点校正和一点校正结合起来可以将暗角的误差消除，反过来讲，如果一点校正时挡片的响应结果不存在暗角，那么最终得到的校正结果无法消除暗角，正好就是有暗角的结果，所以当前的暗角补偿实际上是将挡片的响应转换为有暗角的响应，基于这样的挡片响应进行非均匀校正，可以保证校正的结果不存在暗角。
并且，对于相同温度的目标而言，暗角边缘像素值与暗角中心像素值的关系满足如下公式七：
其中，Eij是以暗角中心为圆点坐标为(i,j)位置处像素接受的红外总能量，E0是暗角中心的总能量，rij是(i,j)与暗角中心的距离，l0是焦平面到镜头的距离。
由上述公式七可以得到，在暗角图像中，各像素点相对于暗角中心的灰度值变化系数只与该像素点与暗角中心的距离有关，与灰度值本身无关，这样一来，就可以针对每个位置的像素点计算其暗角补偿系数。
在一种可能的实现方式中，在进行暗角补偿时，可以是将各个像素点的灰度值调整为暗角中心的灰度值，因此本实施例中可以在非均匀校正后的测量红外图像中确定暗角中心。
在一种可能的实现方式中，可以在各测量像素点的目标灰度值中，确定目标灰度值的最大值。
比如说可以根据梯度或者灰度的变化趋势，确定目标灰度值的最大值。
S905、将目标灰度值的最大值所对应的测量像素点，确定为暗角中心像素点。
在得到目标灰度值的最大值之后，可以将目标灰度值的最大值所对应的测量像素点，确定为暗角中心像素点，从而可以确定暗角中心像素点的坐标以及暗角中心像素点的灰度值g′max。
S906、将各测量像素点各自对应的目标灰度值，调整为暗角中心像素点的目标灰度值。
之后，可以将非均匀校正后的测量红外图像中各个测量像素点的目标灰度值，都校正为暗角中心像素点的目标灰度值，以消除暗角。
具体的，可以将第i行第j列的测量像素点的目标灰度值g′shutter(i，j)，校正到g′max，各个测量像素点的目标灰度值校正为g′max后，其灰度值记为记为g′max(i，j)。如下公式八所示：
g′shutter(i,j)＝gshutter(i,j)*G(i,j)+O″(i,j)→g′max(i,j) 公式八
其中，g′shutter(i,j)＝gshutter(i,j)*G(i,j)+O″(i,j)对应上述介绍的公式二，其中，O″(i，j)为O(i，j)+O′(i，j)，gshutter(i,j)表示第i行第j列的测量像素点的测量灰度值，g′shutter(i,j)表示第i行第j列的测量像素点的非均匀校正后的目标灰度值，公式八的含义就是，将第i行第j列的测量像素点的目标灰度值校正为暗角中心像素点的目标灰度值。
S907、根据各测量像素点各自对应的测量灰度值，和暗角中心像素点的目标灰度值，确定各测量像素点各自对应的暗角补偿系数。
上述的公式八实现了暗角补偿，那么基于上述校正过程，就可以确定各个像素点的暗角补偿系数，可以理解的是，对应到每一个像素点暗角补偿系数coef(i,j)的表达式如下公式九：
[gshutter(i,j)*coef(i,j)]*G(i,j)+O″(i,j)＝g′max(i,j) 公式九
公式九的含义是说，给gshutter(i,j)乘以一个暗角补偿系数，就可以将第i行第j列的测量像素点的目标灰度值g′shutter(i,j)，校正为暗角中心像素点的目标灰度值g′max(i,j)。
基于上述公式九，就可以得到暗角补偿系数满足如下公式十：
其中，coef(i,j)表示第i行第j列的像素点所对应的暗角补偿系数，其余参数的实现方式与上述介绍的类似，此处不再赘述。
基于公式十可以确定的是，本实施例中可以根据各测量像素点各自对应的测量灰度值gshutter(i,j)，和暗角中心像素点的目标灰度值g′max(i,j)，确定各测量像素点各自对应的暗角补偿系数coef(i,j)。
以及由上述公式十可知，暗角补偿系数建立了挡片中每个像素点的原始响应gshutter(i，j)与无暗角的均匀响应g′max(i，j)之间的关系，对应到上述介绍的内容，也就是说各测量像素点各自对应的测量灰度值gshutter(i，j)，和暗角中心像素点的目标灰度值g′max(i，j)之间的对应关系。
那么对于“一点校正”而言，只需要将g′max(i，j)作为挡片的真实响应，便可以获取无暗角的校正图像。本实施例中可以将g′max(i，j)称为“虚拟挡片”的等效灰度值，该“虚拟挡片”的红外辐射光线通过镜头后再抵达焦平面。
在某些情况下，该“虚拟挡片”的温度与相机内部的真实挡片温度不相同，但其温度差基本固定，对一点校正结果没有影响，所以依旧可以获取准确的校正结果。
因此本实施例中基于当前确定的暗角补偿系数，可以有效的将挡片的挡片红外图像，补偿为在镜头外的虚拟挡片所形成的红外图像，因为虚拟挡片相当于在镜头外，因此基于虚拟挡片所形成的红外图像进行一点校正，可以有效避免非均匀校正后所导致的暗角。
本申请实施例提供的图像校正方法，通过上述挡片对应的测量红外图像在进行非均匀校正中所存在的暗角问题，确定暗角补偿系数，其中暗角补偿系数可以建立挡片中每个像素点的原始响应与无暗角的均匀响应之间的关系，从而可以保证根据暗角补偿系数，可以有效的将挡片的响应转换为位于镜头外部的虚拟挡片的相应，保证了暗角补偿系数的有效性和准确性。
图10为本申请实施例提供的图像校正装置的结构示意图。如图10所示，该装置100包括：获取模块1001、处理模块1002、补偿模块1003、校正模块1004。
获取模块1001，用于获取红外相机拍摄的待校正红外图像；
处理模块1002，用于对所述红外相机的挡片进行红外成像，得到所述挡片对应的挡片红外图像；
补偿模块1003，用于对所述挡片红外图像进行暗角补偿，将所述挡片红外图像转换为等效红外图像，其中，所述等效红外图像是虚拟挡片的辐射经过所述红外相机的镜头得到的红外图像，所述虚拟挡片是所述挡片对应的位于所述镜头外的虚拟的挡片；
校正模块1004，用于根据所述等效红外图像对所述待校正红外图像进行非均匀校正，得到校正后的红外图像。
在一种可能的设计中，所述待校正红外图像中包括至少一个第一像素点，各所述第一像素点分别对应各自的第一灰度值；所述挡片红外图像中包括至少一个第二像素点，各所述第二像素点分别对应各自的第二灰度值；
所述补偿模块1003具体用于：
根据各所述第二像素点各自对应的暗角补偿系数，对各所述第二像素点各自对应的第二灰度值分别进行暗角补偿，得到各所述第二像素点各自对应的暗角补偿后的第三灰度值，其中，所述暗角补偿系数表示每个所述第二像素点的第二灰度值与有暗角图像的灰度值的对应关系；
根据各所述第三灰度值，得到所述等效红外图像。
在一种可能的设计中，所述补偿模块1003具体用于：
获取各所述第二像素点各自对应的暗角补偿系数；
根据各所述第二像素点各自对应的暗角补偿系数和各所述第二像素点各自对应的第二灰度值分别相乘，得到各所述第二像素点各自对应的暗角补偿后的第三灰度值。
在一种可能的设计中，所述校正模块1004具体用于：
根据各所述第一像素点各自对应的校正增益系数以及所述等效红外图像中的各所述第三灰度值，对各所述第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像。
在一种可能的设计中，所述校正模块1004具体用于：
根据各所述第三灰度值，确定各所述第三灰度值的平均值；
根据各所述第一像素点和各所述第二像素点的一一对应关系，确定各所述第一像素点各自对应的第三灰度值；
根据各所述第一像素点各自对应的校正增益系数、各第一所述像素点各自对应的第三灰度值以及各所述第三灰度值的平均值，通过所述校正函数对各所述第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像。
在一种可能的设计中，所述装置还包括：确定模块1005；
所述确定模块1005用于：
在所述获取各所述第二像素点各自对应的暗角补偿系数之前，根据所述红外相机的挡片，确定所述红外相机的成像中各个像素点各自对应的暗角补偿系数；
存储所述各个像素点各自对应的暗角补偿系数。
在一种可能的设计中，所述确定模块1005具体用于：
再次对所述红外相机的挡片进行红外成像，得到所述挡片对应的测量红外图像；
获取所述测量红外图像中各个测量像素点各自对应的测量灰度值；
对各所述测量像素点各自对应的测量灰度值分别进行非均匀校正，得到各所述测量像素点各自对应的目标灰度值；
根据各所述测量像素点各自对应的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数。
在一种可能的设计中，所述确定模块1005具体用于：
根据各所述测量像素点各自对应的目标灰度值，在各所述测量像素点中确定暗角中心像素点；
根据所述暗角中心像素点的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数。
在一种可能的设计中，所述确定模块1005具体用于：
在各所述测量像素点的目标灰度值中，确定目标灰度值的最大值；
将所述目标灰度值的最大值所对应的测量像素点，确定为所述暗角中心像素点。
在一种可能的设计中，所述确定模块1005具体用于：
将各所述测量像素点各自对应的目标灰度值，调整为所述暗角中心像素点的目标灰度值；
根据各所述测量像素点各自对应的测量灰度值，和所述暗角中心像素点的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数。
在一种可能的设计中，所述处理模块1002，还用于：
在所述得到校正后的红外图像之后，
向目标设备发送所述校正后的红外图像；或者，
在所述红外相机的显示屏上显示所述校正后的红外图像。
本实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
图11为本申请实施例提供的图像校正设备的硬件结构示意图，如图11所示，本实施例的图像校正设备110包括：处理器1101以及存储器1102；其中
存储器1102，用于存储计算机执行指令；
处理器1101，用于执行存储器存储的计算机执行指令，以实现上述实施例中图像校正方法所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选地，存储器1102既可以是独立的，也可以跟处理器1101集成在一起。
当存储器1102独立设置时，该图像校正设备还包括总线1103，用于连接所述存储器1102和处理器1101。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上图像校正设备所执行的图像校正方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (14)
1.一种图像校正方法，其特征在于，包括：
获取红外相机拍摄的待校正红外图像；
对所述红外相机的挡片进行红外成像，得到所述挡片对应的挡片红外图像；
对所述挡片红外图像进行暗角补偿，将所述挡片红外图像转换为等效红外图像，其中，所述等效红外图像是虚拟挡片的辐射经过所述红外相机的镜头得到的红外图像，所述虚拟挡片是所述挡片对应的位于所述镜头外的虚拟的挡片；
根据所述等效红外图像对所述待校正红外图像进行非均匀校正，得到校正后的红外图像。
2.根据权利要求1所述的方法，其特征在于，所述待校正红外图像中包括至少一个第一像素点，各所述第一像素点分别对应各自的第一灰度值；所述挡片红外图像中包括至少一个第二像素点，各所述第二像素点分别对应各自的第二灰度值；
所述对所述挡片红外图像进行暗角补偿，将所述挡片红外图像转换为等效红外图像，包括：
根据各所述第二像素点各自对应的暗角补偿系数，对各所述第二像素点各自对应的第二灰度值分别进行暗角补偿，得到各所述第二像素点各自对应的暗角补偿后的第三灰度值，其中，所述暗角补偿系数表示每个所述第二像素点的第二灰度值与有暗角图像的灰度值的对应关系；
根据各所述第三灰度值，得到所述等效红外图像。
3.根据权利要求2所述的方法，其特征在于，所述根据各所述第二像素点各自对应的暗角补偿系数，对各所述第二像素点各自对应的第二灰度值分别进行暗角补偿，得到各所述第二像素点各自对应的暗角补偿后的第三灰度值，包括：
获取各所述第二像素点各自对应的暗角补偿系数；
根据各所述第二像素点各自对应的暗角补偿系数和各所述第二像素点各自对应的第二灰度值分别相乘，得到各所述第二像素点各自对应的暗角补偿后的第三灰度值。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述等效红外图像对所述待校正红外图像进行非均匀校正，得到校正后的红外图像，包括：
根据各所述第一像素点各自对应的校正增益系数以及所述等效红外图像中的各所述第三灰度值，对各所述第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像。
5.根据权利要求4所述的方法，其特征在于，所述根据各所述第一像素点各自对应的校正增益系数以及各所述第三灰度值，对各所述第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像，包括：
根据各所述第三灰度值，确定各所述第三灰度值的平均值；
根据各所述第一像素点和各所述第二像素点的一一对应关系，确定各所述第一像素点各自对应的第三灰度值；
根据各所述第一像素点各自对应的校正增益系数、各第一所述像素点各自对应的第三灰度值以及各所述第三灰度值的平均值，通过所述校正函数对各所述第一像素点各自对应的第一灰度值分别进行非均匀校正，得到校正后的红外图像。
6.根据权利要求3所述的方法，其特征在于，所述获取各所述第二像素点各自对应的暗角补偿系数之前，所述方法还包括：
根据所述红外相机的挡片，确定所述红外相机的成像中各个像素点各自对应的暗角补偿系数；
存储所述各个像素点各自对应的暗角补偿系数。
7.根据权利要求6所述的方法，其特征在于，所述根据所述红外相机的挡片，确定所述红外相机的成像中各个像素点各自对应的暗角补偿系数，包括：
再次对所述红外相机的挡片进行红外成像，得到所述挡片对应的测量红外图像；
获取所述测量红外图像中各个测量像素点各自对应的测量灰度值；
对各所述测量像素点各自对应的测量灰度值分别进行非均匀校正，得到各所述测量像素点各自对应的目标灰度值；
根据各所述测量像素点各自对应的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数。
8.根据权利要求7所述的方法，其特征在于，所述根据各所述测量像素点各自对应的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数，包括：
根据各所述测量像素点各自对应的目标灰度值，在各所述测量像素点中确定暗角中心像素点；
根据所述暗角中心像素点的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数。
9.根据权利要求8所述的方法，其特征在于，所述根据各所述测量像素点各自对应的目标灰度值，在各所述测量像素点中确定暗角中心像素点，包括：
在各所述测量像素点的目标灰度值中，确定目标灰度值的最大值；
将所述目标灰度值的最大值所对应的测量像素点，确定为所述暗角中心像素点。
10.根据权利要求8所述的方法，其特征在于，所述根据所述暗角中心像素点的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数，包括：
将各所述测量像素点各自对应的目标灰度值，调整为所述暗角中心像素点的目标灰度值；
根据各所述测量像素点各自对应的测量灰度值，和所述暗角中心像素点的目标灰度值，确定各所述测量像素点各自对应的暗角补偿系数。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述得到校正后的红外图像之后，所述方法还包括：
向目标设备发送所述校正后的红外图像；或者，
在所述红外相机的显示屏上显示所述校正后的红外图像。
12.一种图像校正装置，其特征在于，包括：
获取模块，用于获取红外相机拍摄的待校正红外图像；
处理模块，用于对所述红外相机的挡片进行红外成像，得到所述挡片对应的挡片红外图像；
补偿模块，用于对所述挡片红外图像进行暗角补偿，将所述挡片红外图像转换为等效红外图像，其中，所述等效红外图像是虚拟挡片的辐射经过所述红外相机的镜头得到的红外图像，所述虚拟挡片是所述挡片对应的位于所述镜头外的虚拟的挡片；
校正模块，用于根据所述等效红外图像对所述待校正红外图像进行非均匀校正，得到校正后的红外图像。
13.一种图像校正设备，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如权利要求1至11中任一所述的方法。
14.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1至11中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110377900.8A CN113096041B (zh) | 2021-04-08 | 2021-04-08 | 图像校正方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110377900.8A CN113096041B (zh) | 2021-04-08 | 2021-04-08 | 图像校正方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113096041A true CN113096041A (zh) | 2021-07-09 |
| CN113096041B CN113096041B (zh) | 2023-03-24 |
Family
ID=76675300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110377900.8A Withdrawn - After Issue CN113096041B (zh) | 2021-04-08 | 2021-04-08 | 图像校正方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113096041B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808053A (zh) * | 2021-09-29 | 2021-12-17 | 华北电力大学（保定） | 一种红外成像仪及其信号校正方法 |
| CN115371822A (zh) * | 2022-10-24 | 2022-11-22 | 南京智谱科技有限公司 | 一种红外相机的校准方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030042490A1 (en) * | 2002-10-25 | 2003-03-06 | Katsumi Yamamoto | Image sensor having large micro-lenses at the peripheral regions |
| CN102609923A (zh) * | 2012-03-09 | 2012-07-25 | 深圳职业技术学院 | 红外图像处理方法及装置 |
| CN103312983A (zh) * | 2013-05-21 | 2013-09-18 | 电子科技大学 | 一种太赫兹成像仪镜头补偿方法 |
| CN103489405A (zh) * | 2013-09-30 | 2014-01-01 | 京东方科技集团股份有限公司 | 一种显示补偿方法、装置及显示补偿系统 |
| CN103528690A (zh) * | 2013-09-24 | 2014-01-22 | 电子科技大学 | 一种红外热像仪的非均匀校正方法 |
| CN105681680A (zh) * | 2016-02-22 | 2016-06-15 | 信利光电股份有限公司 | 一种图像暗角校正方法、装置及系统 |
| CN108240863A (zh) * | 2016-12-23 | 2018-07-03 | 南京理工大学 | 用于非制冷红外热像仪的实时两点非均匀性校正方法 |
| US20180293709A1 (en) * | 2015-12-28 | 2018-10-11 | Huazhong University Of Science And Technology | Aerodynamic optical effect correction and identification integrated real-time processing system and method |
| CN108846805A (zh) * | 2018-05-02 | 2018-11-20 | 重庆邮电大学 | 一种基于场景自适应的红外热图像两点非均匀校正方法 |
| CN109282901A (zh) * | 2018-11-16 | 2019-01-29 | 北京遥感设备研究所 | 一种非制冷红外系统的分置式挡片校正方法 |
| CN110631710A (zh) * | 2019-10-18 | 2019-12-31 | 海视英科光电（苏州）有限公司 | 一种无挡片红外测温方法及装置 |
| CN112393804A (zh) * | 2019-08-02 | 2021-02-23 | 杭州海康微影传感科技有限公司 | 一种图像校正的方法及装置 |
-
2021
- 2021-04-08 CN CN202110377900.8A patent/CN113096041B/zh not_active Withdrawn - After Issue
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030042490A1 (en) * | 2002-10-25 | 2003-03-06 | Katsumi Yamamoto | Image sensor having large micro-lenses at the peripheral regions |
| CN102609923A (zh) * | 2012-03-09 | 2012-07-25 | 深圳职业技术学院 | 红外图像处理方法及装置 |
| CN103312983A (zh) * | 2013-05-21 | 2013-09-18 | 电子科技大学 | 一种太赫兹成像仪镜头补偿方法 |
| CN103528690A (zh) * | 2013-09-24 | 2014-01-22 | 电子科技大学 | 一种红外热像仪的非均匀校正方法 |
| CN103489405A (zh) * | 2013-09-30 | 2014-01-01 | 京东方科技集团股份有限公司 | 一种显示补偿方法、装置及显示补偿系统 |
| US20180293709A1 (en) * | 2015-12-28 | 2018-10-11 | Huazhong University Of Science And Technology | Aerodynamic optical effect correction and identification integrated real-time processing system and method |
| CN105681680A (zh) * | 2016-02-22 | 2016-06-15 | 信利光电股份有限公司 | 一种图像暗角校正方法、装置及系统 |
| CN108240863A (zh) * | 2016-12-23 | 2018-07-03 | 南京理工大学 | 用于非制冷红外热像仪的实时两点非均匀性校正方法 |
| CN108846805A (zh) * | 2018-05-02 | 2018-11-20 | 重庆邮电大学 | 一种基于场景自适应的红外热图像两点非均匀校正方法 |
| CN109282901A (zh) * | 2018-11-16 | 2019-01-29 | 北京遥感设备研究所 | 一种非制冷红外系统的分置式挡片校正方法 |
| CN112393804A (zh) * | 2019-08-02 | 2021-02-23 | 杭州海康微影传感科技有限公司 | 一种图像校正的方法及装置 |
| CN110631710A (zh) * | 2019-10-18 | 2019-12-31 | 海视英科光电（苏州）有限公司 | 一种无挡片红外测温方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 粟宇路 等: "热像仪暗角补偿研究", 《红外技术》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808053A (zh) * | 2021-09-29 | 2021-12-17 | 华北电力大学（保定） | 一种红外成像仪及其信号校正方法 |
| CN115371822A (zh) * | 2022-10-24 | 2022-11-22 | 南京智谱科技有限公司 | 一种红外相机的校准方法 |
| CN115371822B (zh) * | 2022-10-24 | 2023-01-24 | 南京智谱科技有限公司 | 一种红外相机的校准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113096041B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113096041B (zh) | 图像校正方法及装置 | |
| CN109870239B (zh) | 非制冷红外焦平面探测器自适应定标方法 | |
| CN111751003B (zh) | 一种热像仪温度修正系统、方法及热像仪 | |
| TWI600324B (zh) | Infrared Focal Plane Array Module Performance Parameters Measurement Method and Detection of Dead pixels | |
| US10931901B2 (en) | Method and apparatus for selectively correcting fixed pattern noise based on pixel difference values of infrared images | |
| CN108683862A (zh) | 成像控制方法、装置、电子设备及计算机可读存储介质 | |
| CN109724945B (zh) | 显示装置、扫描器、显示系统以及计算机可读介质 | |
| CN105049734B (zh) | 可进行拍摄环境拍摄提示的证照相机及拍摄环境检测方法 | |
| US9876968B2 (en) | Drift correction method for infrared imaging device | |
| CN108871588B (zh) | 一种红外成像系统多维度联合非均匀性校正方法 | |
| CN106289542B (zh) | 一种前置偏振片式红外偏振成像系统的辐射校正方法 | |
| Kordecki et al. | Practical vignetting correction method for digital camera with measurement of surface luminance distribution | |
| CN111595462B (zh) | 红外成像测温系统标定方法、装置、计算设备及存储介质 | |
| CN112710397B (zh) | 一种基于温度替代的两点校正方法及系统 | |
| CN110520768B (zh) | 高光谱光场成像方法和系统 | |
| US10070076B2 (en) | Drift correction method for infrared imaging device | |
| US20090303330A1 (en) | Radiometric calibration using temporal irradiance mixtures | |
| EP2702450B1 (en) | System and method for correction of vignetting effect in multi-camera flat panel x-ray detectors | |
| EP1678485B1 (en) | Method and ir-camera for determining the risk of condensation | |
| CN114359055B (zh) | 一种多相机拍摄屏体的图像拼接方法及相关装置 | |
| US20180262666A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| KR20200004680A (ko) | 하늘 영상을 이용한 미세먼지 측정 시스템 | |
| US20120194711A1 (en) | System And Method For Improving The Quality Of Thermal Images | |
| CN112345090A (zh) | 点目标红外辐射测量的方法、设备及可读存储介质 | |
| JP5986461B2 (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| AV01 | Patent right actively abandoned | ||
| AV01 | Patent right actively abandoned | ||
| AV01 | Patent right actively abandoned |
Granted publication date: 20230324 Effective date of abandoning: 20231114 |
|
| AV01 | Patent right actively abandoned |
Granted publication date: 20230324 Effective date of abandoning: 20231114 |