CN114841900B - 红外图像横纹去除方法、装置及固定式红外成像设备 - Google Patents
红外图像横纹去除方法、装置及固定式红外成像设备 Download PDFInfo
- Publication number
- CN114841900B CN114841900B CN202210763143.2A CN202210763143A CN114841900B CN 114841900 B CN114841900 B CN 114841900B CN 202210763143 A CN202210763143 A CN 202210763143A CN 114841900 B CN114841900 B CN 114841900B
- Authority
- CN
- China
- Prior art keywords
- infrared image
- time sequence
- current frame
- information
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003331 infrared imaging Methods 0.000 title claims abstract description 16
- 108091026890 Coding region Proteins 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 15
- 230000004927 fusion Effects 0.000 description 10
- 239000007789 gas Substances 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 239000002609 medium Substances 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012824 chemical production Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000012080 ambient air Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000013587 production medium Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000013643 reference control Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请提供红外图像横纹去除方法、装置及固定式红外成像设备。该方法包括：获取当前帧红外图像及所述当前帧红外图像对应的帧号；在所述帧号不大于预先设定的时序参考帧数时，确定时序编码序列，更新行均值信息参考队列；在所述帧号大于预先设定的时序参考帧数时，更新行均值信息参考队列，并利用更新后的所述行均值信息参考队列、及所述时序编码序列处理所述当前帧红外图像，得到横纹去除后的红外图像。该方法考虑在同一视角下持续地获取的多帧红外图像的横纹噪声特性，利用时序上的信息，如当前帧红外图像之前的其他多帧红外图像的行均值信息，并利用空间上的信息，如同一帧红外图像中不同行像素点的信息，去除了红外图像中闪动的横条纹噪声。
Description
技术领域
本发明涉及图像处理技术领域，特别是红外图像横纹去除方法、装置及固定式红外成像设备。
背景技术
近年来，化工生产领域生产介质泄漏事故频繁发生，造成爆炸、火灾等后果，严重危及人员的生命财产安全。因此在化工生产领域推广实施工业安全监测技术的需求日益迫切。
使用红外成像设备监测介质气体泄漏是最先进的方法之一。与环境中的空气相比，大部分介质气体在红外波段的特征明显。使用宽光谱范围红外成像设备监测生产管线时，一旦发生介质气体成团泄漏，就可以在处理后的红外图像中展示出一团黑色气体自管线中喷涌而出。
固定设置（也即固定式）的红外成像设备通常设置非制冷红外探测器。非制冷红外探测器采用积分电容对红外光信号进行采集时，可能因环境温度变化或器件因素导致成像后的红外图像存在抖动，如，出现闪动的横条纹噪声，也即横纹。
目前通常使用时域、空域、频域、深度学习、黑盒等方式对条纹噪声进行去除。但是，利用时域去噪可能引入不属于本帧图像的信息，导致鬼影现象。而利用空域和频域去噪则可能导致图像的部分细节失真。深度学习的去噪方式因其作用原理难以掌握且鲁棒性较低，难以对不同场景下获取的红外图像进行处理。
发明内容
针对以上问题，本申请提供红外图像横纹去除方法、装置及固定式红外成像设备，以去除红外图像中闪动的横条纹噪声。
第一方面，本申请提供一种红外图像横纹去除方法，包括：获取当前帧红外图像及所述当前帧红外图像对应的帧号，所述帧号为正整数；在所述帧号不大于预先设定的时序参考帧数时，确定时序编码序列，更新行均值信息参考队列；在所述帧号大于预先设定的时序参考帧数时，更新行均值信息参考队列，并利用更新后的所述行均值信息参考队列、及所述时序编码序列处理所述当前帧红外图像，得到横纹去除后的红外图像。
在一些实施例中，所述确定时序编码序列，包括：根据所述时序参考帧数，确定时序编码序列；所述时序编码序列包括多个时序权重信息，所述多个时序权重信息的数量不大于所述时序参考帧数；所述多个时序权重信息分别用于指示多帧红外图像针对所述当前帧红外图像的影响。
在一些实施例中，所述更新行均值信息参考队列，包括：确定所述当前帧红外图像的行均值信息；将所述行均值信息更新到所述行均值信息参考队列中，其中，所述行均值信息参考队列包括多组行均值信息，所述多组行均值信息包括其他多帧红外图像分别对应的行均值信息，所述其他多帧红外图像的数量不大于所述时序参考帧数；在时序上，所述其他多帧红外图像在所述当前帧红外图像之前。
在一些实施例中，所述利用更新后的所述行均值信息参考队列、及所述时序编码序列处理所述当前帧红外图像，包括：根据所述时序编码序列、所述行均值信息参考队列，确定编码信息序列；根据所述当前帧红外图像的行均值信息、所述编码信息序列，对所述当前帧红外图像编码融合；确定编码融合后的所述当前帧红外图像的图像均值。
在一些实施例中，在处理所述当前帧红外图像之前，还包括：确定指定的至少一个帧号的红外图像的图像均值为标准均值。
在一些实施例中，还包括：根据所述编码融合后的当前帧红外图像的图像均值、所述标准均值，处理所述编码融合后的当前帧红外图像，得到横纹去除后的红外图像。
在一些实施例中，所述确定编码信息序列，包括：根据所述时序编码序列包括的多个时序权重信息、所述行均值信息参考队列包括的所述当前帧红外图像的行均值信息、所述其他多帧红外图像分别对应的行均值信息，采用加权平均逐行地确定用于对所述当前帧红外图像的各行像素点进行编码的行编码信息，其中，全部行对应的行编码信息组成所述编码信息序列。
在一些实施例中，所述对当前帧红外图像编码融合，包括：根据所述行编码信息、所述当前帧红外图像的行均值信息，逐行地确定行差异信息；根据所述行差异信息，逐行地对所述当前帧红外图像的各行的各列像素点进行编码融合。
第二方面，本申请提供一种红外图像横纹去除装置，包括：获取单元，用于获取当前帧红外图像及所述当前帧红外图像对应的帧号，所述帧号为正整数；处理单元，用于在所述帧号不大于预先设定的时序参考帧数时，确定时序编码序列，更新行均值信息参考队列；在所述帧号大于预先设定的时序参考帧数时，更新行均值信息参考队列，并利用更新后的所述行均值信息参考队列、及所述时序编码序列处理所述当前帧红外图像，得到横纹去除后的红外图像。
第三方面，本申请提供一种固定式红外成像设备，设置有如第二方面说明的红外图像横纹去除装置。
本申请提供的红外图像横纹去除方法、装置及固定式红外成像设备，考虑在同一视角下持续地获取的多帧红外图像的横纹噪声特性，利用时序上的信息，如当前帧红外图像之前的其他多帧红外图像的行均值信息，并利用空间上的信息，如同一帧红外图像中不同行像素点的信息，去除了红外图像中闪动的横条纹噪声，同时，避免了向红外图像中引入鬼影，避免红外图像中的细节失真。
附图说明
图1为本申请实施例的红外图像横纹去除方法的流程示意图；
图2为本申请实施例的红外图像横纹去除装置及固定式红外成像设备的组成示意图；
图3A为编程实现本申请实施例的红外图像横纹去除方法时的流程示意图；
图3B为编程实现本申请实施例的红外图像横纹去除方法时生成时序编码序列timepattern的流程示意图；
图3C为编程实现本申请实施例的红外图像横纹去除方法时生成编码信息序列lineaverage_weight的流程示意图；
图3D为编程实现本申请实施例的红外图像横纹去除方法时对当前帧红外图像进行编码融合的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，本申请提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
为了准确地对本申请中的技术内容进行叙述，以及为了准确地理解本申请，在对具体实施方式进行说明之前先对本说明书中所使用的术语给出如下的解释说明或定义。
红外光（Infrared Ray，IR）是频率介于微波与可见光之间的电磁波，是电磁波谱中频率为0.3THz～400THz(对应真空中波长为1mm～750nm)辐射的总称，是频率比红光低的不可见光。在物理学中，凡是高于绝对零度（0K，即-273.15℃）的物质都可以产生红外光（以及其他类型的电磁波）。
使用固定式红外成像设备监测介质气体泄漏时，通常实时获取红外视频，如，在1秒钟内，可以获取到由30帧红外图像组成的1秒时长的视频。在工业现场使用固定式红外成像设备监测介质气体时，通常实时地将去除噪声后的红外图像展示在显示设备中，或根据去除噪声后的红外图像或红外视频监测介质气体是否有泄漏。
如图1所示，本发明实施例的红外图像横纹去除方法，包括以下步骤：
S10：获取当前帧红外图像及所述当前帧红外图像对应的帧号，所述帧号为正整数；
S20：判断所述帧号是否大于预先设定的时序参考帧数，在所述帧号大于预先设定的时序参考帧数，执行步骤S40；在所述帧号不大于预先设定的时序参考帧数时，执行步骤S30；
S30：确定时序编码序列，更新行均值信息参考队列；
S40：更新行均值信息参考队列，并利用更新后的所述行均值信息参考队列、及所述时序编码序列处理所述当前帧红外图像，得到横纹去除后的红外图像。
在步骤S10中，获取当前帧红外图像及所述当前帧红外图像对应的帧号时，在帧号是从1开始且按照间隔1依次增加时，当前帧红外图像对应的帧号可以认为是已经累计处理的红外图像的帧数。在后续的步骤中，每一次执行步骤S10获取的当前帧红外图像Image_index，可以作为在之后执行步骤S10时获取的当前帧红外图像Image_(index+k)的时序参考帧，通常，k为正整数，且不大于预先设定的时序参考帧数。
在已经累计执行步骤S10及步骤S30的次数小于预先设定的时序参考帧数时，可以认为累计获取的红外图像的帧数小于预先设定的时序参考帧数，以及用作当前帧红外图像的时序参考帧的在前获取的红外图像的数量不足，这些作为时序参考帧的红外图像分别对应的行均值信息尚不足组成行均值信息参考队列，或尚不足以将初始化为零的行均值信息参考队列中的各组行信息均值全部更新。这时，对应的所述帧号不大于（也即小于或等于）预先设定的时序参考帧数。因此，依次执行步骤S10、步骤S20及步骤S30，利用在步骤S10中获取的当前帧红外图像的行均值信息，更新行均值信息参考队列，并在完成步骤S30之后，返回到步骤S10。
直到可以用作当前帧红外图像的时序参考帧的在前获取的红外图像的数量等于时序参考帧数时，执行步骤S30，在将初始化为零的行均值信息参考队列中的各组行信息均值全部更新之后，返回到步骤S10。
之后，执行步骤S10获取的当前帧红外图像对应的帧号大于预先设定的时序参考帧数，依次执行步骤S10、步骤S20及步骤S40，对获取的当前帧红外图像进行处理，得到横纹去除后的红外图像，并返回到步骤S10继续获取下一帧红外图像，以继续处理下一帧红外图像。
如此，步骤S30在步骤S40之前执行，预先地为后续执行步骤S40确定时序编码序列，以及更新行均值信息参考队列。
如此，可以利用当前帧红外图像的多帧时序参考帧各自的行均值信息，来处理当前帧红外图像，得到横纹去除后的红外图像，数据量小，处理效率高。
在一些实施例中，步骤S30中，所述确定时序编码序列，包括：根据所述时序参考帧数，确定时序编码序列；所述时序编码序列包括多个时序权重信息，所述多个时序权重信息的数量不大于所述时序参考帧数；所述多个时序权重信息分别用于指示多帧红外图像针对所述当前帧红外图像的影响。
以上，可以是所述多个时序权重信息的数量等于所述时序参考帧数，如此，可以使得时序编码序列中各时序权重信息与各其他帧红外图像一一地对应。以及，在各时序权重信息的数值的大小呈递增趋势或递减趋势地与各其他帧红外图像一一地对应是，可以实现其他帧红外图像在时序上距离当前帧红外图像越远，其对所述当前帧红外图像的影响或对应的权重越小或越大。根据所述时序参考帧数，逐一地生成所述时序编码序列中的各时序权重信息的方法，可参考下述的步骤S106及步骤S601至步骤S607，这里不再赘述。
在一些实施例中，步骤S30中，所述更新行均值信息参考队列，包括：确定所述当前帧红外图像的行均值信息；将所述行均值信息更新到所述行均值信息参考队列中，其中，所述行均值信息参考队列包括多组行均值信息，所述多组行均值信息包括其他多帧红外图像分别对应的行均值信息，所述其他多帧红外图像的数量不大于所述时序参考帧数；在时序上，所述其他多帧红外图像在所述当前帧红外图像之前。
以上，所述行均值信息参考队列可以包括当前帧红外图像的行均值信息、当前帧红外图像之前的连续多帧红外图像分别对应的行均值信息，如此，可以使得所述所述行均值信息参考队列中包括的多组行均值信息的数量等于所述时序参考帧数。这时，行均值信息参考队列中，包括当前帧红外图像的行均值信息、当前帧红外图像之前的连续多帧红外图像分别对应的行均值信息，这些红外图像分别对应的行均值信息可以按照帧号顺序或者逆序地排列在行均值信息参考队列，以与前述的时序编码序列的递增趋势或递减趋势相适配，以根据当前帧红外图像、当前帧红外图像之前的连续多帧红外图像分别对当前帧红外图像的影响或权重，来综合利用当前帧红外图像、当前帧红外图像之前的连续多帧红外图像分别对应的行均值信息，来处理当前帧红外图像。如此，处理帧红外图像时，数据实时更新，且每次需要更新的数据量小，处理效率高。
以上，行均值信息参考队列始终根据当前帧红外图像的行均值信息保持更新。确定所述当前帧红外图像的行均值信息，以及将所述行均值信息更新到所述行均值信息参考队列中的方法可参考下述的步骤S107及步骤S701至步骤S707，这里不再赘述。
在一些实施例中，在步骤S40处理所述当前帧红外图像之前，还包括：确定指定的至少一个帧号的红外图像的图像均值为标准均值。
以上，标准均值是处理当前帧红外图像时所必须的数据，为简便起见，通常指定第一帧红外图像的图像均值为标准均值。另一方面，为了随着获取的红外图像的帧数的增加，使得标准均值能够更好地适应当前帧红外图像的变化，还可以设置标准均值更新机制。具体地，利用刷新帧数这个变量来周期地更新标准均值。这时，通常指定第（正整数倍Q刷新帧数+*)帧红外图像的图像均值为标准均值。其中，*通常取1，也可以取其他执行的正整数。可参考下述的步骤S111和步骤S112，这里不再赘述。
在一些实施例中，步骤S40中，所述利用更新后的所述行均值信息参考队列、及所述时序编码序列处理所述当前帧红外图像，包括：根据所述时序编码序列、所述行均值信息参考队列，确定编码信息序列；根据所述当前帧红外图像的行均值信息、所述编码信息序列，对所述当前帧红外图像编码融合；确定编码融合后的所述当前帧红外图像的图像均值。
以上，利用当前帧红外图像、当前帧红外图像之前的其他多帧红外图像的行均值信息，及当前帧红外图像中不同列像素点的信息，去除红外图像中闪动的横条纹噪声。可参考下述的步骤S107及步骤S701至步骤S707，步骤S109及步骤S901至步骤S908，及步骤S110，这里不再赘述。
在一些实施例中，步骤S40中，还包括：根据所述编码融合后的当前帧红外图像的图像均值、所述标准均值，处理所述编码融合后的当前帧红外图像，得到横纹去除后的红外图像。
以上，根据当前帧红外图像的图像均值、所述标准均值，逐一地对各行的各列的像素点的灰度值进行处理，以去除横纹。可参考下述步骤S113，这里不再赘述。
在一些实施例中，所述确定编码信息序列，包括：根据所述时序编码序列包括的多个时序权重信息、所述行均值信息参考队列包括的所述当前帧红外图像的行均值信息、所述其他多帧红外图像分别对应的行均值信息，采用加权平均逐行地确定用于对所述当前帧红外图像的各行像素点进行编码的行编码信息，其中，全部行对应的行编码信息组成所述编码信息序列。
以上，使用在前的时序参考帧的红外图像的各对应行的行均值信息，来确定对当前帧红外图像的对应行进行编码的行编码信息。可参考下述的步骤S107及步骤S701至步骤S707，这里不再赘述。
在一些实施例中，所述对当前帧红外图像编码融合，包括：根据所述行编码信息、所述当前帧红外图像的行均值信息，逐行地确定行差异信息；根据所述行差异信息，逐行地对所述当前帧红外图像的各行的各列像素点进行编码融合。
以上，根据行差异信息对各行的各列的像素点的灰度值进行编码融合，逐行去除横纹。可参考下述步骤S109及步骤S901至步骤S908，这里不再赘述。
如图2所示，本发明实施例的红外图像横纹去除装置200，包括：获取单元210，用于获取当前帧红外图像及所述当前帧红外图像对应的帧号，所述帧号为正整数；处理单元220，用于在所述帧号不大于预先设定的时序参考帧数时，确定时序编码序列，更新行均值信息参考队列；在所述帧号大于预先设定的时序参考帧数时，更新行均值信息参考队列，并利用更新后的所述行均值信息参考队列、及所述时序编码序列处理所述当前帧红外图像，得到横纹去除后的红外图像。
如图2所示，本发明实施例的固定式红外成像设备1000，设置有红外探测器300和前述说明的红外图像横纹去除装置200。红外探测器300和红外图像横纹去除装置200可以分别设置在不同的地理位置。
在一个实施例中，在编写程序代码来实现本申请实施例的红外图像横纹去除方法时，如图3A所示，程序流程图可以包括以下步骤S101至步骤S111。为便于理解和阅读，提供表1作为参考对照。
表1 变量对照表
S101：设置时序参考帧数smoothnum，如1000。设置刷新帧数refresh_frame，如10。
S102：获取当前帧红外图像及其帧号。将红外图像各像素点的灰度值记载为M*N矩阵Image，其中，M为红外图像中像素点的行数，N为红外图像中像素点的列数。将当前帧红外图像的帧号记载为index。在初始化时，设置帧号的数值为零；随后，将获取的第一帧红外图像的帧号记为1，将随后依次获取的其他帧红外图像的帧号依次记为大于1的正整数。
S103：计算当前帧红外图像的行均值信息onelinemean_pre。
参照步骤S102的说明，在红外图像中包括M行N列像素点时，红外图像的行均值信息为包括M个数值的向量，也即每组行均值信息包括M个数值。行均值是对红外图像的每一行像素点中全部N列像素点（也即，N个像素点）的特征值，如灰度值取算术平均值而得到。
随后，还可以包括：将该红外图像的M个行均值信息存入行均值信息参考队列的第一个位置，如，将当前帧红外图像的行均值信息onelinemean_pre存入M*smoothnum矩阵linemean_vector的第一列。
行均值信息参考队列为M*smoothnum矩阵或者包括smoothnum组行均值信息的队列，用于记载数量为时序参考帧数的当前帧红外图像之前的多帧图像的行均值信息，以用于在后续步骤中利用其它多帧红外图像的行均值信息，来去除当前帧红外图像中闪动的横条纹噪声。
在初始化时，由于尚未开始获取并处理得到红外图像的行均值信息，可以将行均值信息参考队列linemean_vector中各列的各元素的数值设置为零。
在当前处理的红外图像的帧号index小于smoothnum时，步骤S103完成后，行均值信息参考队列linemean_vector的各列的元素的数值，自左向右依次被更新为第index帧红外图像到第一帧红外图像的行均值信息，其中，自左向右，自第（index+1）列到第smoothnum列，共（smoothnum-index）列中各元素的数值仍旧保持为零。
在当前处理的红外图像的帧号index等于smoothnum时，步骤S103完成后，行均值信息参考队列linemean_vector的各列的元素的数值，自左向右依次被更新为第smoothnum帧红外图像到第一帧红外图像的行均值信息。
在当前处理的红外图像的帧号index大于smoothnum时，步骤S103完成后，行均值信息参考队列linemean_vector的各列的元素的数值，自左向右依次被更新为第index帧红外图像到第（index-smoothnum+1）帧红外图像的行均值信息。
在后述步骤中，行均值信息参考队列linemean_vector的M*（smoothnum）各元素在后续步骤S107中用于计算编码信息序列lineaverage_weight，以利用红外图像在时序上的信息，如综合利用包括当前帧红外图像在内的smoothnum帧红外图像的行均值信息，来去除红外图像中闪动的横条纹噪声。
同时，避免了向红外图像中引入鬼影，或避免红外图像中的细节失真。
S104：判断红外图像的帧号是否小于前述的时序参考帧数，如，判断是否满足index <≤ smoothnum。如果满足，则执行步骤S105，否则执行步骤S107。
S105：判断当前帧红外图像是否是第一帧，如，判断当前帧红外图像的帧号是否为1，也即是否满足index等于1。如果是第一帧，则执行步骤S106，否则执行步骤S110。
S106：根据时序参考帧数smoothnum，生成时序编码序列timepattern，并转至步骤S110。
步骤S106中，根据时序参考帧数，生成包括smoothnum个数值的时序编码序列。该时序编码序列用于在后续步骤S107中计算编码信息序列lineaverage_weight时，分别向包括当前帧红外图像在内的smoothnum帧红外图像的行均值信息提供时序权重，以生成各行编码信息。
如图3A所示，步骤S106在启动处理红外图像时被执行，也即，在步骤S105中，在index为1时触发步骤S106执行。参考步骤S104，只有在当前处理的红外图像的帧号大于或等于时序参考帧数时，才会启动步骤S107的执行。并且，该时序编码序列中各数值在整个图像处理过程中固定不变。因此，步骤S106可以在当前处理的红外图像的帧号index小于时序参考帧数时，在任一帧红外图像处理过程中被触发执行，如，在index为1时触发步骤S106执行。
在一些实施例中，参考图3B，步骤S106中生成时序编码序列timepattern，可以包括以下步骤S601至步骤S607。
S601：初始化迭代变量，如设置迭代变量i的数值为2，也即i = 2。初始化时域权重timeweight，如设置timeweight的数值为0.3。初始化累加和步骤sum，如设置累加和步骤sum的数值为0，也即sum = 0。
S602：判断迭代变量是否小于前述的时序参考帧数，也即是否满足i ≤smoothnum。如果满足，则执行步骤S603，否则执行步骤S606。
S603：确定时序编码序列timepattern中与迭代变量i对应的时序编码信息timepattern(i)。如，计算timepattern(i) = 1/(i+1)。
如此，迭代变量的数值越大，时序编码信息在时序编码序列中的位置就越靠后，并且时序编码信息的数值就越小。如此，在后述将时序编码序列中各数值对应地作为包括当前帧红外图像在内的smoothnum帧红外图像在时序维度上对当前帧红外图像的影响大小时，可以使得时序上距离当前帧红外图像越远的红外图像，对当前帧红外图像的影响越小。也即，距离当前帧红外图像越远，其他帧红外图像提供的可供当前帧红外图像使用的信息越少，或者说，其他帧红外图像的行均值信息的可信度越小。
S604：更新累加和步骤sum = sum + timepattern(i)。参考下述步骤S606，累加和步骤sum用于对时序编码序列中各数值做均一化，有利于提高计算的稳定性。
S605：更新迭代变量i ，如设置i = i + 1，并转至步骤S602。
S606：根据前述的时域权重timeweight，确定时序编码序列，也即，使得timepattern(i)= timepattern(i)*（1-timeweight）/sum。
S607：确定时序编码序列timepattern中的第一个时序编码信息timepattern(1)，如设置timepattern(1) = timeweight。
以上，步骤S607中，设置timepattern(1) = timeweight，以使得时序编码序列中smoothnum个时序编码信息的总和为1。
以上，时域权重timeweight的数值位于0-1之间，用于控制当前帧红外图像及其他各帧红外图像的行均值信息在去除横纹时发挥的作用。如，timeweight的数值增大，当前帧红外图像的权重增大，去噪的效果趋向于更不明显。timeweight的数值减小，当前帧红外图像的权重减小，去噪的效果趋向于更明显。因此，可以根据固定式红外成像设备拍摄的红外图像或红外视频的特征，或目标场景的信息，灵活地选择时域权重timeweight的数值，以实现对应的去噪效果。
S107：利用步骤S103确定的行均值信息参考队列linemean_vector和步骤S106确定的时序编码序列timepattern，计算编码信息序列lineaverage_weight。
以上，编码信息序列lineaverage_weight为包括M个数值的向量，与红外图像中M行像素点相对应。也可以认为，是对M*smoothnum的行均值信息参考队列linemean_vector与M个数值的时序编码序列timepattern做向量点乘（或内积），得到包括M个数值的向量，也即算编码信息序列lineaverage_weight。
在第一次执行步骤S107时，步骤S103已经执行了当前帧号index对应的次数（包括针对当前处理的红外图像的执行在内）。在每一次执行步骤S107时，行均值信息参考队列linemean_vector的M*smoothnum个元素的数值已经全部被更新，记载了包括当前帧红外图像在内的smoothnum帧红外图像的行均值信息。
在一些实施例中，参考图3C，步骤S107中计算编码信息序列lineaverage_weight可以包括以下步骤S701至步骤S707。
S701：获取红外图像的行数rows，获取时序参考帧数smoothnum。初始化各行编码信息lineaverage_weight(i) 的数值为0。
S702：初始化帧数迭代变量j，如设置迭代变量j 的数值为1，也即j = 1。初始化行迭代变量i，如设置行迭代变量i的数值为1，也即i = 1。
S703：判断行迭代变量是否小于前述的行数，也即是否满足i ≤ rows。如果满足，则执行步骤S704，否则结束计算编码信息。
S704：判断帧数迭代变量是否小于前述的时序参考帧数，也即是否满足j ≤smoothnum。如果满足，则执行步骤S706，否则执行步骤S705。
S705：更新行迭代变量i，也即设置i = i + 1；更新帧数迭代变量j，也即设置j=1。并转至步骤S703。
S706：根据时序编码序列timepattern、行均值信息参考队列linemean_vector，确定编码信息序列中与行迭代变量i对应的第i个行编码信息lineaverage_weight(i)，也即使得lineaverage_weight(i)= lineaverage_weight(i) + timepattern(smoothnum–j+1)* linemean_vector(i，smoothnum–j+1)。
S707：更新帧数迭代变量j，如，j= j + 1，并转至步骤S704。
以上，步骤S706中，根据时序编码序列分别向当前帧红外图像及在前的（smoothnum-1）帧红外图像的行均值提供的时序权重，和行均值信息参考队列记载的当前帧红外图像及在前的smoothnum-1帧红外图像的行均值，逐行地以累加的方式计算当前帧红外图像及在前的smoothnum-1帧红外图像对当前帧红外图像的影响，如，前述的各第i个行编码信息lineaverage_weight(i)。
如此，使用当前帧红外图像及在前的（smoothnum-1）帧红外图像的各对应行的行均值信息，来确定对当前帧红外图像的对应行进行编码的行编码信息。
S108：更新行均值信息参考队列linemean_vector。
以上，更新行均值信息参考队列linemean_vector，包括：将行均值信息参考队列linemean_vector中的各列分别向右移动到下一列，以及linemean_vector中的第一列的元素的取值为零，以便在下一次执行步骤S103时，将当前帧红外图像的行均值信息记载在行均值信息参考队列linemean_vector的第一列。
以上，是以行均值信息参考队列的数据结构为矩阵，并采用逐列地替代整列元素的数值的方法来更新该矩阵时的步骤。
还可以将行均值信息参考队列的数据结构确定为队列，并采用先进先出的方法逐列地更新整列元素的数值的方法来更新该队列。如，移动当前帧红外图像的前一帧红外图像（如，帧号为index-1）的行均值信息到行均值信息参考队列的第二列，移动当前帧红外图像的前N帧红外图像（如，帧号为index-k）的行均值信息到行均值信息参考队列的第k+1列，这时，有k+1≤smoothnum。以上，通过逐列向右滑动机制（也即逆序更新），来更新行均值信息参考队列。
S109：利用步骤S103中确定的行均值信息onelinemean_pre和步骤S107中确定的编码信息序列lineaverage_weight，对当前帧红外图像Image进行编码融合。
在一些实施例中，参考图3D，步骤S109中对红外图像进行编码融合，包括以下步骤S901至步骤S908。
S901：获取红外图像Image的行数rows和列数cols。
S902：初始化行迭代变量i，如设置行迭代变量i 的数值为1，也即i = 1。初始化列迭代变量j，如设置列迭代变量j 的数值为1，也即j= 1。
S903：判断行迭代变量是否小于等于前述的行数，也即，判断是否满足i ≤ rows。如果满足，则执行步骤S904；否则结束对红外图像编码融合，这时，红外图像编码融合已经完成。
S904：根据当前帧红外图像的各行均值信息onelinemean_pre、步骤S107中计算得到的编码信息序列lineaverage_weight，确定行差异信息diff，如，计算diff(i)=onelinemean_pre(i) - lineaverage_weight(i)，其中，i为前述的行迭代变量。
S905：判断列迭代变量是否小于等于前述的列数，也即，判断是否满足j ≤ cols，如果满足，则执行步骤S907，否则执行步骤S906。
S906：更新行迭代变量i，如设置i = i + 1；更新列迭代变量j，如设置j = 1。转至步骤S903。
S907：根据前述步骤S904中确定的行差异信息diff(i)，处理当前帧红外图像Image，如，逐像素点更新灰度值，也即使得处理后的红外图像Image_process的灰度值为Image_process(i,j) = Image(i,j) – diff(i)。
S908：更新列迭代变量j，如设置j = j + 1，并转至步骤S905。
以上，步骤S905、步骤S907、步骤S908为内循环，步骤S903至步骤S908为外循环，根据步骤S904确定的行差异信息diff(i)，对第i行的各列的像素点的灰度值进行编码融合，逐行去除横纹。
S110：计算图像均值mean_frame。
图像均值mean_frame可以是对当前帧红外图像中全部像素点（也即，M*N个像素点）的灰度值取平均值后得到。这里，当前帧红外图像可以是步骤109中经过编码融合后的红外图像Image_process，也可以是步骤S102中获取的红外图像Image。
S111：判断当前帧红外图像是第一帧或者第（整数倍的刷新帧数+1）帧。如，判断当前帧的帧号与刷新帧数做商的余数是否为1，也即判断是否满足index % refresh_frame为1，其中，% 为用于指示取余的运算符号。如果满足，则执行步骤S112，否则转至步骤S113。
S112：利用步骤S110中确定的图像均值作为初始化的标准均值，如，将图像均值mean_frame赋值给标准均值stand_mean，也即stand_mean = mean_frame。
以上步骤S111至步骤S112为周期地更新标准均值的步骤，也即，每间隔刷新帧数后，根据指定帧号的红外图像的图像均值更新一次标准均值，如，利用第一帧红外图像或利用第整数倍Q的刷新帧数，如，（Q*refresh_frame+1）帧红外图像的图像均值来更新标准均值stand_mean。
S113：利用步骤S110中确定的图像均值mean_frame、步骤S112中确定的标准均值stand_mean，处理红外图像，得到去除横纹后的红外图像Image_final，也即使得Image_final(i,j) = Image(i,j) – mean_frame + stand_mean，或使得Image_final(i,j) =Image_process(i,j) – mean_frame + stand_mean。
如此，在红外图像的帧号大于时序参考帧数时，依次执行步骤S103、步骤S107至步骤S110、步骤S113，在对红外图像逐行信息编码融合之后，完成红外图像去除横纹处理。这时，步骤S113中，当前帧红外图像是步骤S109中信息编码融合之后得到的Image_process。
在一个实施例中，采用图3A所示的流程图处理帧号1到2000的红外图像。这时，可以设定时序参考帧数为30及设定刷新帧数为1000。这时，步骤S102、步骤S103、步骤S104会重复执行2000次。步骤S105、步骤S106只执行1次。步骤S107、步骤S108、步骤S109会重复执行2000-30+1次。步骤S110、步骤S113会重复执行2000次。步骤S111共执行2次，也即，分别在帧号index为1和帧号index为1001时分别执行一次。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所披露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
Claims (9)
1.一种红外图像横纹去除方法，其特征在于，包括：
获取当前帧红外图像及所述当前帧红外图像对应的帧号，所述帧号为正整数；
在所述帧号不大于预先设定的时序参考帧数时，确定时序编码序列，更新行均值信息参考队列，并将所述当前帧红外图像Image_index作为在之后获取的当前帧红外图像Image_(index+k)的时序参考帧，其中，k为正整数且不大于所述时序参考帧数；
其中，所述确定时序编码序列，包括：
根据所述时序参考帧数，确定时序编码序列；所述时序编码序列包括多个时序权重信息，所述多个时序权重信息的数量不大于所述时序参考帧数；所述多个时序权重信息分别用于指示多帧红外图像针对所述当前帧红外图像的影响；
在所述帧号大于预先设定的时序参考帧数时，更新行均值信息参考队列，并利用更新后的所述行均值信息参考队列、及所述时序编码序列处理所述当前帧红外图像，得到横纹去除后的红外图像。
2.根据权利要求1所述的方法，其特征在于，
所述更新行均值信息参考队列，包括：
确定所述当前帧红外图像的行均值信息；
将所述行均值信息更新到所述行均值信息参考队列中，其中，所述行均值信息参考队列包括多组行均值信息，所述多组行均值信息包括其他多帧红外图像分别对应的行均值信息，所述其他多帧红外图像的数量不大于所述时序参考帧数；在时序上，所述其他多帧红外图像在所述当前帧红外图像之前。
3.根据权利要求2所述的方法，其特征在于，
所述利用更新后的所述行均值信息参考队列、及所述时序编码序列处理所述当前帧红外图像，包括：
根据所述时序编码序列、所述行均值信息参考队列，确定编码信息序列；
根据所述当前帧红外图像的行均值信息、所述编码信息序列，对所述当前帧红外图像编码融合；
确定编码融合后的所述当前帧红外图像的图像均值。
4.根据权利要求3所述的方法，其特征在于，
在处理所述当前帧红外图像之前，还包括：
确定指定的至少一个帧号的红外图像的图像均值为标准均值。
5.根据权利要求4所述的方法，其特征在于，还包括：
根据所述编码融合后的当前帧红外图像的图像均值、所述标准均值，处理所述编码融合后的当前帧红外图像，得到横纹去除后的红外图像。
6.根据权利要求5所述的方法，其特征在于，
所述确定编码信息序列，包括：
根据所述时序编码序列包括的多个时序权重信息、所述行均值信息参考队列包括的所述当前帧红外图像的行均值信息、所述其他多帧红外图像分别对应的行均值信息，采用加权平均逐行地确定用于对所述当前帧红外图像的各行像素点进行编码的行编码信息，其中，全部行对应的行编码信息组成所述编码信息序列。
7.根据权利要求6所述的方法，其特征在于，
所述对当前帧红外图像编码融合，包括：
根据所述行编码信息、所述当前帧红外图像的行均值信息，逐行地确定行差异信息；
根据所述行差异信息，逐行地对所述当前帧红外图像的各行的各列像素点进行编码融合。
8.一种红外图像横纹去除装置，其特征在于，包括：
获取单元，用于获取当前帧红外图像及所述当前帧红外图像对应的帧号，所述帧号为正整数；
处理单元，用于在所述帧号不大于预先设定的时序参考帧数时，确定时序编码序列，更新行均值信息参考队列，并将所述当前帧红外图像Image_index作为在之后获取的当前帧红外图像Image_(index+k)的时序参考帧，其中，k为正整数且不大于所述时序参考帧数；其中，所述确定时序编码序列，包括：根据所述时序参考帧数，确定时序编码序列；所述时序编码序列包括多个时序权重信息，所述多个时序权重信息的数量不大于所述时序参考帧数；所述多个时序权重信息分别用于指示多帧红外图像针对所述当前帧红外图像的影响；在所述帧号大于预先设定的时序参考帧数时，更新行均值信息参考队列，并利用更新后的所述行均值信息参考队列、及所述时序编码序列处理所述当前帧红外图像，得到横纹去除后的红外图像。
9.一种固定式红外成像设备，其特征在于，设置有如权利要求8所述的红外图像横纹去除装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210763143.2A CN114841900B (zh) | 2022-07-01 | 2022-07-01 | 红外图像横纹去除方法、装置及固定式红外成像设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210763143.2A CN114841900B (zh) | 2022-07-01 | 2022-07-01 | 红外图像横纹去除方法、装置及固定式红外成像设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114841900A CN114841900A (zh) | 2022-08-02 |
| CN114841900B true CN114841900B (zh) | 2022-10-11 |
Family
ID=82574019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210763143.2A Active CN114841900B (zh) | 2022-07-01 | 2022-07-01 | 红外图像横纹去除方法、装置及固定式红外成像设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114841900B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934771A (zh) * | 2017-02-16 | 2017-07-07 | 武汉镭英科技有限公司 | 一种基于局部相关性的红外图像条纹噪声去除方法 |
| CN110796621A (zh) * | 2019-10-29 | 2020-02-14 | 浙江大华技术股份有限公司 | 红外图像去横纹处理方法、处理设备和存储装置 |
| CN111383196A (zh) * | 2020-03-13 | 2020-07-07 | 浙江大华技术股份有限公司 | 红外图像条纹消除方法、红外探测器及存储装置 |
-
2022
- 2022-07-01 CN CN202210763143.2A patent/CN114841900B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934771A (zh) * | 2017-02-16 | 2017-07-07 | 武汉镭英科技有限公司 | 一种基于局部相关性的红外图像条纹噪声去除方法 |
| CN110796621A (zh) * | 2019-10-29 | 2020-02-14 | 浙江大华技术股份有限公司 | 红外图像去横纹处理方法、处理设备和存储装置 |
| CN111383196A (zh) * | 2020-03-13 | 2020-07-07 | 浙江大华技术股份有限公司 | 红外图像条纹消除方法、红外探测器及存储装置 |
Non-Patent Citations (1)
| Title |
|---|
| 图像条带噪声去除方法研究;闫磊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180315(第3期);第1-65页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114841900A (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Efficient video frame insertion and deletion detection based on inconsistency of correlations between local binary pattern coded frames | |
| CN102572502B (zh) | 一种用于视频质量评价的关键帧的选取方法 | |
| Zuo et al. | Scene-based nonuniformity correction method using multiscale constant statistics | |
| CN104637068B (zh) | 视频帧及视频画面遮挡检测方法及装置 | |
| CN110084201B (zh) | 一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法 | |
| US11974050B2 (en) | Data simulation method and device for event camera | |
| CN112995678B (zh) | 一种视频运动补偿方法、装置及计算机设备 | |
| Bang et al. | Motion object and regional detection method using block-based background difference video frames | |
| CN102469302A (zh) | 应用于影像监控的可适应光线变化的背景模型学习系统 | |
| EP3637363A1 (en) | Image processing device, image processing method and image processing program | |
| CN108462868A (zh) | 360度全景vr视频中用户凝视点的预测方法 | |
| CN115567706B (zh) | 一种基于强化学习的显示器屏幕刷新频率追踪方法 | |
| CN114332053A (zh) | 一种多模态两阶段无监督视频异常检测方法 | |
| CN114841900B (zh) | 红外图像横纹去除方法、装置及固定式红外成像设备 | |
| Pan | Physical integrity attack detection of surveillance camera with deep learning based video frame interpolation | |
| CN109274950B (zh) | 图像处理方法、装置及电子设备 | |
| Pan et al. | No-reference video quality assessment based on modeling temporal-memory effects | |
| Deshmukh et al. | Moving object detection from images distorted by atmospheric turbulence | |
| Genovese et al. | FPGA implementation of gaussian mixture model algorithm for 47 fps segmentation of 1080p video | |
| CN114414067B (zh) | 热成像数据处理方法、装置、热成像摄影设备及存储介质 | |
| CN116630227A (zh) | 一种盲元检测方法、装置、计算机设备及介质 | |
| CN112055255B (zh) | 拍摄画质优化方法、装置、智能电视和可读存储介质 | |
| CN114841899B (zh) | 时空频联合紧致编码去除红外图像横纹的方法及红外设备 | |
| US11557025B2 (en) | Techniques for training a perceptual quality model to account for brightness and color distortions in reconstructed videos | |
| Luo et al. | A novel surveillance video processing using stochastic low-rank and generalized low-rank approximation techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |