CN113853630A - 用于非制冷红外的基于边缘的抑制场景的非均匀校正 - Google Patents
用于非制冷红外的基于边缘的抑制场景的非均匀校正 Download PDFInfo
- Publication number
- CN113853630A CN113853630A CN202080037688.4A CN202080037688A CN113853630A CN 113853630 A CN113853630 A CN 113853630A CN 202080037688 A CN202080037688 A CN 202080037688A CN 113853630 A CN113853630 A CN 113853630A
- Authority
- CN
- China
- Prior art keywords
- edge
- noise
- pixel
- preserving
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims description 17
- 230000001629 suppression Effects 0.000 title claims description 6
- 238000001914 filtration Methods 0.000 claims abstract description 31
- 230000002238 attenuated effect Effects 0.000 claims abstract description 13
- 238000009499 grossing Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000003139 buffering effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004321 preservation Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
一种减少用于非制冷红外成像器的基于像素的空间噪声的系统包括为从前一帧计算出的每个选定像素减去基于历史场景的NUC偏移的第一步。用于输出模块输出的滤波图像是使用边缘保留平滑滤波计算的。边缘保留平滑功能由加号形中值核组成，其中与中心像素的差大于指定阈值的选定像素将被替换为中心像素。从中心像素中减去该结果，形成由系统噪声主导的高通的边缘保留的帧版本。噪声帧的低通版本是使用5x5均值滤波来创建的。从初始噪声帧中减去它以改善场景拒绝。图像/噪声帧的这个高通版本通过一个可配置的值而衰减。
Description
政府利益声明
本发明是在美国陆军授予的合同号W91CRB-16-D-0030/0001的政府支持下完成的。美国政府对本发明拥有一定权利。
技术领域
本公开涉及非制冷红外成像器中的噪声，更具体地，通过基于场景的校正减少非制冷红外成像器中基于像素的空间噪声，显著减少或消除资源受限、小尺寸、轻量级环境中的边缘烧屏(burn-in)。
背景技术
在非制冷红外成像器中减少基于像素的空间噪声而没有烧屏是一个难题，尤其是当大量资源不可用时，如在小尺寸、轻量级环境中。现有的解决方案要么在移动很少或没有移动的情况下无效，要么在这种情况下产生烧屏。许多这些解决方案需要大量资源。
图1描绘了红外成像器噪声和电流校正方法100。包括红外焦平面阵列(IRFPA)的非均匀噪声的示例的3D图105。当前校正噪声的方法涉及成像器/场景移动110，其中移动改变检测器看到的场景，并且黑体源产生已知的、恒定的场景温度115。
需要一种在移动很少或没有移动的情况下减少非制冷红外成像器中基于像素的空间噪声的设备、系统和方法，而不会产生烧屏，同时具有小的资源占用。
发明内容
实施例提供了一种用于减少非制冷红外成像器的基于像素的空间噪声的方法，包括：为图像帧的每个选定像素从先前图像帧中减去基于历史场景的非均匀校正(NUC)偏移；获得边缘忽略(edge-ignoring)、噪声平滑的图像帧；获得边缘忽略的高通的图像帧；衰减边缘忽略的高通的图像帧；将衰减的边缘忽略的高通的图像帧添加到基于历史场景的NUC偏移，从而为下一帧创建新的历史偏移；并且输出新的一组代表图像帧的像素值。在实施例中，衰减因子基于场景对比度而变化。在其它实施例中，该方法需要用于滤波的两行缓冲像素。在随后的实施例中，从边缘保留均值滤波获得边缘保留的噪声平滑的图像帧，该边缘保留均值滤波包括加号形边缘保留中值滤波和边缘保留均值。对于附加实施例，要反馈到历史偏移中的噪声帧的低通版本是使用5x5均值滤波而创建的。另一个实施例还包括从初始噪声帧中减去用5x5均值滤波创建的噪声帧的低通版本，从而改善场景抑制。下面的实施例还包括边缘保留平滑功能，该功能由加号形中值核组成，其中将具有与加号形中值核的中心像素的强度值相比较大于指定阈值的值的不同强度值的对应像素被该中心像素所替换，从而像素替换增加了交叉中值滤波的一般边缘保留特性，降低了不适当地抑制有用信息的可能性。在随后的实施例中，基于传感器的信噪比(SNR)来编程阈值，由此保留高于本底噪声(noise floor)的边缘，同时平滑了噪声。附加实施例还包括在双倍数据速率(DDR)存储器中存储偏移。随后的实施例进一步包括将偏移存储为每像素8位校正。所包括的实施例还包括使用作为S5.2数的每像素8位校正，导致+/-32个计数的最大校正。在又一些实施例中，场景移动的像素被排除在处理之外。在相关实施例中，成像器不包括黑体参考源。对于进一步的实施例，成像器不包括黑体参考源并且从处理中排除场景移动。
另一个实施例提供了一种用于减少非制冷红外成像器的基于像素的空间噪声的设备，包括红外(IR)图像传感器；以及一种计算机程序产品，包括一个或多个非暂时性机器可读介质编码指令，当由一个或多个处理器执行该指令时，导致执行包括如下的过程：创建输入图像的边缘抑制高通版本，包括：从输入图像减去边缘保留均值滤波、将减去的输入图像衰减一个因子、并将衰减的减去的输入图像添加到运行的历史总和中；在递归计算下一组偏移之前，从下一帧中减去历史总和；在计算均值之前，通过用中心像素替换与中心像素的差的绝对值大于阈值的任何像素，生成边缘保留均值滤波的边缘保留均值。对于更进一步的实施例，该方法需要用于滤波的两行缓冲。对于更多实施例，一个或多个处理器包括现场可编程门阵列(FPGA)。继续的实施例还包括每像素8位的校正，由此偏移的存储器适合有限的存储器带宽。对于另外的实施例，基于传感器的信噪比(SNR)来编程阈值，由此保留高于本底噪声的边缘，同时平滑了噪声。
又一实施例提供了一种用于减少非制冷红外成像器的基于像素的空间噪声的系统，包括：红外(IR)图像传感器；和处理器；在处理器中创建输入图像的边缘抑制的高通版本，包括：从输入图像中减去边缘保留均值滤波、将减去的输入图像衰减一个因子、并将衰减的减去的输入图像添加到运行的历史总和中；在递归计算下一组偏移之前，从下一帧中减去历史总和；在计算均值之前用中心，通过像素替换与中心像素的差的绝对值大于阈值的任何像素，生成边缘保留均值滤波的边缘保留均值；其中噪声帧的低通版本是用5x5均值滤波来创建的；并且其中边缘保留均值滤波包括加号形边缘保留均值滤波。
附图说明
图1描绘了现有技术的非均匀校正(NUC)结果。
图2描绘了根据实施例配置的方法的高级流程图。
图3是根据实施例配置的方法的详细流程图。
图4是根据实施例配置的方法的详细流程图。
图5是根据另一个实施例配置的方法的流程图。
图6描绘了根据实施例配置的方法的流程图。
图7描绘了根据实施例配置的图像帧加号形中值核。
图8描绘了根据实施例配置的抑制显示之前和之后的结果。
通过阅读以下详细描述以及本文所述的附图，将更好地理解本实施例的这些和其它特征。附图不打算按比例绘制。为清楚起见，并非每个组件都可以在每张图中标出。
具体实施方式
在此描述的特征和优点并不是包罗万象的，特别是，鉴于附图、说明书和权利要求，许多附加特征和优点对于本领域普通技术人员来说将是显而易见的。此外，应该注意的是，在说明书中使用的语言主要是出于可读性和指导性目的而选择的，并且不以任何方式限制本发明主题的范围。本发明可以有许多实施例。以下是对本发明范围的说明，但并非详尽无遗。
对于实施例，图像的边缘抑制高通版本是通过从输入图像中减去加号形的边缘保留均值滤波来创建的。然后通过一个可以根据场景对比度变化的因子进行衰减，并添加到运行总和中。然后在递归计算下一组偏移之前从下一帧中减去该历史总和。通过在计算均值之前用中心像素替换与中心像素的差的绝对值大于阈值的任何像素来生成加号形边缘保留均值。在实施例中，这种轻量级降噪(LWNR)是现场可编程门阵列(FPGA)的最小资源方法以降低非制冷红外系统中的时间和空间噪声。在其它实施例中，该LWNR是用于专用集成电路(ASIC)以减少非制冷红外系统中的时间和空间噪声的最小资源方法。除了帧边缘保留平滑功能之外，实施例还包括基于历史场景的NUC功能以减少高频空间噪声。其它潜在用途包括校正其它类型的动态但有界的非均匀性。
图2是用于减少非制冷却红外成像器的基于像素的空间噪声的第一实施例方法的高级流程图200。过程包括：对于每个选定的像素，从先前的图像帧中减去基于历史场景的NUC偏移(其中第一帧的NUC偏移通过设置为零来初始化)205；获得边缘保留的噪声平滑的图像帧210；获得边缘保留的高通的图像帧215；衰减边缘忽略的高通的图像帧220；将衰减的边缘保留的高通的图像帧添加到基于历史场景的NUC偏移225；并且输出边缘保留的噪声平滑的图像帧230。在实施例中，帧中的某些像素被排除在外，例如聚焦于帧中的小区域。在一些实施例中，步骤220的衰减水平是固定值。在一个实施例中，衰减固定在～0.1。在其它实施例中，基于噪声或场景内容的测量水平来调整衰减水平。
图3是步骤210的详细流程图300，获得边缘保留的噪声平滑的图像帧。这包括：输入图像帧，该图像帧为每个像素(从前一帧的结果中)减去了基于历史场景的NUC偏移305；定义启发的边缘保留的加号形中值核310；对于每个选定的像素，将选定像素的强度值替换为整形中值核的中心像素的强度值，例如在选定像素周围的加号形，如果像素强度值与中心像素的绝对值的差为指定的阈值315(基于所需的最小可中分辨目标)；输出边缘保留的噪声平滑的图像帧320。在实施例中，加号形中值核被定义为与中心直接相邻(非对角线)的像素或图像的处理区域的每个像素的选定像素。对于实施例，阈值由期望的最小可分辨目标来确定。
图4是步骤215的详细流程图400，获得边缘保留的高通的图像帧。这包括：输入边缘保留的噪声平滑的图像帧405；从中心像素减去边缘保留的噪声平滑的图像帧以形成高通的边缘保留的图像帧410；并输出边缘忽略的高通的图像帧420。
图5是产生要反馈到历史偏移中的噪声帧的版本的详细流程图500。步骤包括：输入初始噪声帧505；通过从噪声帧中减去均值滤波低通(例如5x5滤波)来计算510；输出噪声帧的低通版本515。从噪声帧中减去低通，并将结果反馈到历史偏移中。在实施例中，均值滤波(例如5x5)必须大于加号形(例如3x3)中值。
图6是用于减少非制冷却红外成像器的基于像素的空间噪声的实施例方法的详细流程图600。步骤包括：为从前一帧计算的每个选定像素减去基于历史场景的NUC偏移605；使用边缘保留的平滑滤波计算滤波图像，其中边缘保留的平滑功能的实施例由加号形中值核组成，其中与中心像素相的差大于指定阈值的像素被中心像素替换610。这种像素替换增加了交叉中值滤波的一般边缘保留特性，降低了不恰当地抑制有用信息的可能性。然后从中心像素中减去该滤波的结果从而形成由系统噪声支配的帧的高通的边缘保留的版本615。噪声帧的低通版本由5x5均值滤波创建620(其中5x5区域在每个像素周围平均)。然后将其从初始噪声帧中减去以改善场景抑制625。图像/噪声帧的高通版本通过可配置值(可以根据场景对比度可选地改变)进行衰减，并添加到基于历史场景的NUC偏移630。
图7描绘了图像帧700的中值核。图像帧705由启发的边缘保留的加号形中值核710来处理。在加号形中值核710内是中心像素715。实施例在不同时间使用3x3加号形中值核和5x5均值滤波。噪声用加号形3x3中值核来分离，5x5均值滤波对高通结果运行。
图8图像800描绘了一个实施例之前805和之后810的抑制显示结果。可见的是未处理的“之前”图像805中的非常高的像素空间噪声。
总而言之，该方法基于启发的边缘保留的均值核。加号形中值核用于平滑图像。为了保留边缘，将中心像素减去每个单独像素的绝对值与可编程阈值进行比较。如果差超过该阈值，则用中心像素替换该像素。根据传感器的SNR对阈值进行编程。结果是保留了本底噪声以上的边缘，同时平滑了噪声。然后从中心像素中减去该滤波的结果以形成高通的边缘保留的由系统噪声主导的帧的版本。该图像的高通版本通过可根据场景对比度变化的可配置值进行衰减，并添加到基于历史场景的NUC偏移。
在实施例中，第一步是为从前一帧计算的每个像素减去基于历史场景的NUC偏移。然后使用边缘保留平滑滤波计算输出模块输出的滤波图像。如上所述，边缘保留平滑功能的实施例由加号形中值核组成，其中与中心像素的差大于指定阈值的像素被中心像素替换。这种像素替换增加了交叉中值滤波的一般边缘保留特性，降低了不恰当地抑制有用信息的可能性。然后从中心像素中减去该滤波的结果以形成由系统噪声主导的高通的边缘保留的帧的版本。噪声帧的低通版本是使用5x5均值滤波创建的。然后从初始噪声帧中减去它以改善场景拒绝。图像/噪声帧的高通版本被一个可配置的值衰减，该值可以根据场景对比度而变化，并添加到基于历史场景的NUC偏移中。
在实施例中，应用该算法需要滤波的两行缓冲。对于实施例，由于算法的读修改写的性质，算法的基于场景的NUC部分可能是相当内存密集的。在实施例中，帧的大小可能需要使用双倍数据速率(DDR)存储器来存储偏移。对于实施例，为了使其适合可用的有限存储器带宽，使用每像素8位校正。在实施例中，这是导致最大校正为+/-32个计数的S5.2数。
下述第一SBNUC的MATLAB列表提供了用于实施例的方法步骤的操作。
下述第二LWNR的MATLAB列表提供了用于实施例的方法步骤的操作。
表1
LWNR-CS处理的数值影响
| 原始数据(计数) | 处理(计数) | 变化 | |
| σTVH | 3.97 | 4.10 | 3.2％ |
| σVH | 11.72 | 1.09 | -90.7％ |
| σV | 1.05 | 0.31 | -70.4％ |
| σH | 0.93 | 0.21 | -77.4％ |
在表1中，噪声分量TVH是随机时间噪声，分量V、H和VH是随机固定模式噪声。更具体地说，σTVH是随机时空噪声，来自检测器时间噪声。σVH是随机空间噪声、双向固定模式噪声，来自像素处理的检测器到检测器非均匀，1/f。σV是固定行噪声，来自检测器到检测器非均匀的线到线非均匀。σH是固定列噪声、来自扫描效应的检测器到检测器非均匀的列到列非均匀。
如表1所示，σTVH已从3.97个原始数据计数变为4.10个处理计数，变化为3.2％。σVH已从11.72个原始数据计数变为1.09个处理计数，变化为-90.7％。σV已从1.05个原始数据计数变为0.31个处理计数，变化为-70.4％。σH已从0.93个原始数据计数变为0.21个处理计数，变化为-77.4％。
用于减少非制冷红外成像器中基于像素的空间噪声以执行(或控制)上文关于系统和/或方法描述的操作或功能的计算系统可以包括处理器、FPGA、I/O设备、内存系统和网络适配器。计算系统包括用于执行(或控制)上文关于根据示例性实施例的系统和/或方法描述的操作或功能的程序模块(未示出)。例如，程序模块可以包括用于执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。处理器可以执行在程序模块中编写的指令以执行(或控制)上文关于系统和/或方法描述的操作或功能。程序模块可以被编程到处理器的集成电路中。在示例性实施例中，程序模块可以存储在存储器系统或远程计算机系统存储介质中。
计算系统可以包括多种计算系统可读介质。这种介质可以是计算机系统可访问的任何可用介质，并且它可以包括易失性和非易失性介质、可移动和不可移动介质。
存储器系统可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)和/或高速缓冲存储器或其它。计算机系统还可以包括其它可移动/不可移动、易失性/非易失性计算机系统存储介质。计算机系统可以使用网络适配器与一个或多个设备进行通信。网络适配器可以支持基于Internet、LAN、WAN等的有线通信，或者基于CDMA、GSM、宽带CDMA、CDMA-2000、TDMA、LTE、无线LAN、蓝牙等的无线通信。
本发明可以是任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本发明的方面的计算机可读程序指令的计算机可读存储介质(或介质)。
计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非详尽列表包括以下：便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器唯一存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)、记忆卡、软盘、机械编码设备，例如穿孔卡或凹槽中记录有指令的凸起结构，以及前述的任何适当组合。此处使用的计算机可读存储介质不应被解释为瞬态信号本身，例如无线电波或其它自由传播的电磁波、通过波导或其它传输介质传播的电磁波(例如，光脉冲通过光缆)或通过电线传输的电信号。
本文所述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者通过网络下载到外部计算机或外部存储设备，例如互联网、局域网、广域网和/或无线网络。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编器指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、用于集成电路，或以一种或多种编程语言的任意组合编写的源代码或目标代码，包括面向对象的编程语言，例如Smalltalk、C++等，以及过程编程语言，例如“C”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户计算机上、部分在用户计算机上、作为独立软件包、部分在用户计算机上部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如例如，使用互联网服务提供商通过互联网)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行本发明的方面。
在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的方面。应当理解，流程图和/或框图的每个块，以及流程图和/或框图中的块的组合，可以由计算机可读程序指令来实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以生产机器，使得经由计算机的处理器或其它程序执行的指令可编程数据处理装置，创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以引导计算机、可编程数据处理装置和/或其它设备以特定方式运行，使得其中存储有指令的计算机可读存储介质包括制造物品，其包括实现流程图和/或框图块或多个块中指定的功能/动作的方面的指令。
计算机可读程序指令还可以被加载到计算机、其它可编程数据处理装置或其它设备上，以使得在计算机、其它可编程装置或其它设备上执行一系列操作步骤以产生计算机实现过程，使得在计算机、其它可编程装置或其它设备上执行的指令实现流程图和/或框图块中指定的功能/动作。
图中的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言，流程图或框图中的每一块可表示模块、段或指令的一部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代实施方式中，块中标注的功能可以不按照图中标注的顺序发生。例如，根据所涉及的功能，连续显示的两个块实际上可以基本上同时执行，或者有时可以以相反的顺序执行这些块。还将注意到，框图和/或流程图说明的每个块，以及框图和/或流程图说明中的块的组合，可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
已经出于说明和描述的目的呈现了实施例的前述描述。并不意在穷举或将本发明限制为所公开的精确形式。根据本公开，许多修改和变化是可能的。本公开的范围旨在不受该详细描述的限制，而是受所附权利要求的限制。
已经描述了许多实施方式。然而，应当理解，在不脱离本公开的范围的情况下可以进行各种修改。尽管在附图中以特定顺序描述了操作，但这不应被理解为要求以所示的特定顺序或按顺序执行这些操作，或者执行所有图示的操作，以获得期望的结果。
本提交的每一页和其上的所有内容，无论其特征、标识或编号如何，都被视为本申请的实质性部分，无论出于何种目的，无论形式或在申请中的位置如何。本说明书并不意在穷举或将本发明限制为所公开的精确形式。根据本公开，许多修改和变化是可能的。根据本说明书、附图和随后的权利要求，其它和各种实施例对于本领域技术人员来说将是显而易见的。本发明的范围旨在不受该详细描述的限制，而是由所附的权利要求限制。
Claims (20)
1.一种用于减少非制冷红外成像器的基于像素的空间噪声的方法，包括：
对于图像帧的每个选定像素，从先前的图像帧中减去基于历史场景的非均匀校正(NUC)偏移；
获得边缘保留的噪声平滑的图像帧；
获得边缘忽略的高通的图像帧；
衰减所述边缘忽略的高通的图像帧；
将所述衰减的边缘忽略的高通的图像帧添加到基于历史场景的NUC偏移，从而为下一帧创建新的历史偏移；并且
输出新的一组代表图像帧的像素值。
2.根据权利要求1所述的方法，其中，衰减因子基于场景对比度而变化。
3.根据权利要求1所述的方法，其中，所述方法需要用于所述滤波的两行缓冲像素。
4.根据权利要求1所述的方法，其中，从边缘保留均值滤波获得边缘保留的噪声平滑的图像帧，所述边缘保留均值滤波包括加号形边缘保留中值滤波和边缘保留均值。
5.根据权利要求1所述的方法，其中，要反馈到历史偏移中的噪声帧的低通版本是用5x5均值滤波而创建的。
6.根据权利要求1所述的方法，还包括，从初始噪声帧中减去用5x5均值滤波而创建的噪声帧的低通版本，从而改善了场景抑制。
7.根据权利要求1所述的方法，还包括：
边缘保留平滑功能，其由加号形中值核组成，其中将具有与加号形中值核的中心像素的强度值相比较大于指定阈值的值的不同强度值的对应像素被所述中心像素所替换，从而像素替换增加了所述交叉中值滤波的一般边缘保留特性，降低了不适当地抑制有用信息的可能性。
8.根据权利要求1所述的方法，其中，基于传感器的信噪比(SNR)来编程阈值，由此保留高于本底噪声的边缘，同时平滑了噪声。
9.根据权利要求1所述的方法，还包括：
在双倍数据速率(DDR)存储器中存储偏移。
10.根据权利要求1所述的方法，还包括，将偏移存储为每像素8位校正。
11.根据权利要求1所述的方法，还包括，使用作为S5.2数的每像素8位校正，导致+/-32个计数的最大校正。
12.根据权利要求1所述的方法，其中，场景移动的像素被排除在处理之外。
13.根据权利要求1所述的方法，其中，所述成像器不包括黑体参考源。
14.根据权利要求1所述的方法，其中，所述成像器不包括黑体参考源并且从处理中排除场景移动。
15.一种用于减少非制冷红外成像器的基于像素的空间噪声的设备，包括：
红外(IR)图像传感器；和
一种计算机程序产品，包括：一个或多个非暂时性机器可读介质编码指令，当由一个或多个处理器执行该指令时，导致执行包括如下的过程：
创建输入图像的边缘抑制的高通版本，包括：
从所述输入图像中减去边缘保留均值滤波；
将所述减去的输入图像衰减一个因子；并且
将所述衰减的减去的输入图像添加到运行的历史总和中；
在递归计算下一组偏移之前，从下一帧中减去所述历史总和；
在计算所述均值之前，通过用中心像素替换与所述中心像素的差的绝对值大于阈值的任何像素，来生成所述边缘保留均值滤波的所述边缘保留均值。
16.根据权利要求15所述的设备，其中，所述方法需要用于所述滤波的两行缓冲。
17.根据权利要求15所述的设备，其中，所述一个或多个处理器包括现场可编程门阵列(FPGA)。
18.根据权利要求15所述的设备，还包括：
每像素8位校正，由此偏移的存储器适合有限的内存带宽。
19.根据权利要求15所述的设备，其中，基于所述传感器的信噪比(SNR)来编程所述阈值，由此保留高于本底噪声的边缘，同时平滑了噪声。
20.一种用于减少非制冷红外成像器的基于像素的空间噪声的系统，包括：
红外(IR)图像传感器；和
处理器；
在所述处理器中：
创建输入图像的边缘抑制的高通版本，包括：
从所述输入图像中减去边缘保留均值滤波；
将所述减去的输入图像衰减一个因子；
将所述衰减的减去的输入的图像添加到运行的历史总和中；
在递归计算下一组偏移之前，从下一帧中减去所述历史总和；
在计算所述均值之前，通过用中心像素替换与所述中心像素的差的绝对值大于阈值的任何像素，来生成所述边缘保留均值滤波的所述边缘保留均值；
其中，噪声帧的低通版本是用5x5均值滤波来创建的；
其中，所述边缘保留均值滤波包括加号形边缘保留均值滤波。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/359,584 US10621702B1 (en) | 2019-03-20 | 2019-03-20 | Edge rejecting scene based non-uniformity correction for uncooled infrared |
| US16/359,584 | 2019-03-20 | ||
| PCT/US2020/022930 WO2020190849A1 (en) | 2019-03-20 | 2020-03-16 | Edge rejecting scene based non-uniformity correction for uncooled infrared |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113853630A true CN113853630A (zh) | 2021-12-28 |
Family
ID=70223513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080037688.4A Pending CN113853630A (zh) | 2019-03-20 | 2020-03-16 | 用于非制冷红外的基于边缘的抑制场景的非均匀校正 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10621702B1 (zh) |
| EP (1) | EP3942517A4 (zh) |
| KR (1) | KR102639420B1 (zh) |
| CN (1) | CN113853630A (zh) |
| IL (1) | IL286553B (zh) |
| WO (1) | WO2020190849A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115601263A (zh) * | 2022-10-20 | 2023-01-13 | 国科天成科技股份有限公司（Cn） | 一种非制冷红外图像的非均匀校正方法和系统 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI692970B (zh) * | 2018-10-22 | 2020-05-01 | 瑞昱半導體股份有限公司 | 影像處理電路及相關的影像處理方法 |
| US11676260B2 (en) * | 2019-09-26 | 2023-06-13 | Kla Corporation | Variation-based segmentation for wafer defect detection |
| CN111983710B (zh) * | 2020-08-14 | 2023-07-28 | 西安应用光学研究所 | 一种用于扫描型红外搜索系统的非均匀性校正方法 |
| CN113379636B (zh) * | 2021-06-21 | 2024-05-03 | 苏州睿新微系统技术有限公司 | 一种红外图像非均匀性校正方法、装置、设备及存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5471240A (en) * | 1993-11-15 | 1995-11-28 | Hughes Aircraft Company | Nonuniformity correction of an imaging sensor using region-based correction terms |
| US5614715A (en) * | 1995-10-11 | 1997-03-25 | Hughes Electronics | Thermal imaging device with scanned light emitting diodes (LEDs) and second linear array of plural symbology LEDs |
| EP1727359B1 (en) * | 2005-05-26 | 2013-05-01 | Fluke Corporation | Method for fixed pattern noise reduction in infrared imaging cameras |
| US9208542B2 (en) * | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
| US8203116B2 (en) * | 2010-10-19 | 2012-06-19 | Raytheon Company | Scene based non-uniformity correction for infrared detector arrays |
| WO2014144492A1 (en) * | 2013-03-15 | 2014-09-18 | Drs Rsta, Inc. | Method of shutterless non-uniformity correction for infrared imagers |
| US10467736B2 (en) * | 2014-12-02 | 2019-11-05 | Seek Thermal, Inc. | Image adjustment based on locally flat scenes |
| US10417745B2 (en) * | 2016-06-28 | 2019-09-17 | Raytheon Company | Continuous motion scene based non-uniformity correction |
-
2019
- 2019-03-20 US US16/359,584 patent/US10621702B1/en active Active
-
2020
- 2020-03-16 KR KR1020217034021A patent/KR102639420B1/ko active IP Right Grant
- 2020-03-16 EP EP20773325.4A patent/EP3942517A4/en active Pending
- 2020-03-16 IL IL286553A patent/IL286553B/en unknown
- 2020-03-16 WO PCT/US2020/022930 patent/WO2020190849A1/en active Application Filing
- 2020-03-16 CN CN202080037688.4A patent/CN113853630A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115601263A (zh) * | 2022-10-20 | 2023-01-13 | 国科天成科技股份有限公司（Cn） | 一种非制冷红外图像的非均匀校正方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3942517A1 (en) | 2022-01-26 |
| US10621702B1 (en) | 2020-04-14 |
| IL286553B (en) | 2022-07-01 |
| KR102639420B1 (ko) | 2024-02-21 |
| IL286553A (en) | 2021-10-31 |
| KR20210141647A (ko) | 2021-11-23 |
| WO2020190849A1 (en) | 2020-09-24 |
| EP3942517A4 (en) | 2023-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113853630A (zh) | 用于非制冷红外的基于边缘的抑制场景的非均匀校正 | |
| JP5315157B2 (ja) | 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム | |
| US8792746B2 (en) | Image processing apparatus, image processing method, and program | |
| US20140153820A1 (en) | Image processing apparatus and method of processing image | |
| KR101578583B1 (ko) | 화상 처리 장치, 정보 처리 방법, 및 컴퓨터 판독 가능한 기억 매체 | |
| US9240037B2 (en) | Image processing apparatus and image processing method | |
| JP2007188493A (ja) | 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置 | |
| US11379997B2 (en) | Image devices including image sensors and image signal processors, and operation methods of image sensors | |
| US20220156949A1 (en) | Information processing method and system | |
| JP2018148318A5 (zh) | ||
| JP2010193199A (ja) | 画像処理装置および画像処理方法 | |
| JP2015099546A (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| US8559716B2 (en) | Methods for suppressing structured noise in a digital image | |
| US11574391B2 (en) | Median based frequency separation local area contrast enhancement | |
| US20140320496A1 (en) | Methods for Reducing Row and Column Patterns in a Digital Image | |
| US9947083B2 (en) | Image processing method, image processing apparatus, image capturing apparatus, image processing program and non-transitory computer-readable storage medium | |
| Trambadia et al. | Design and analysis of an image restoration using wiener filter with a quality based hybrid algorithms | |
| KR101651889B1 (ko) | 극저조도 영상의 화질 개선 장치 및 방법 | |
| KR102183518B1 (ko) | 이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치 | |
| CN107862670B (zh) | 一种针对红外成像电串扰的图像复原方法 | |
| CN111652820B (zh) | 校正红外图像条纹非均匀性的方法、装置与图像处理系统 | |
| US20160328858A1 (en) | Image processing system, image processing method, and image processing program | |
| JP5855210B2 (ja) | 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム | |
| US9262814B2 (en) | Image processing device and method for sharpening a blurred image | |
| CN116993595A (zh) | 快速抑制数字图像中的背景高频噪声的数据处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40061177 Country of ref document: HK |