CN114298995A - 一种图像缺陷元抑制方法、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种图像缺陷元抑制方法、设备及计算机可读存储介质，所述图像缺陷元抑制方法包括：采集红外图像；对当前红外图像进行空域局部极值检测，以获取所述当前红外图像中的空间潜在缺陷元；在后续多帧红外图像中对所述当前红外图像中的空间潜在缺陷元对应的像元进行持续监测，以判定该像元是否为缺陷元；对所述缺陷元进行缺陷元抑制和填充。采用本发明技术方案，通过对采集的红外图像进行局部极值检测，获取潜在的缺陷元，在后续多帧红外图像中对对应的潜在缺陷元进行监测，从而判定是否为缺陷元并对其进行抑制与填充，减少了红外成像的质量缺陷，提高了通过红外图像进行目标检测的准确度。

Description

一种图像缺陷元抑制方法、设备及计算机可读存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种图像缺陷元抑制方法、设备及计算机可读存储介质。

背景技术

因受到材料缺陷、制造工艺、光电信号读出放大电路以及线路噪声等各因素的影响，国产探测器在输出红外图像时不可避免存在缺陷像元。中波探测器缺陷元率一般在1‰到6‰，长波探测器缺陷率甚至在8‰到20‰。如不进行适当处理，会导致输出的红外图像出现固定亮点、暗点和闪元，有时会生成盲元簇和闪烁的盲元簇等缺陷元，严重影响探测器成像质量，尤其在需要进行弱小目标检测跟踪的应用中，极易导致目标的漏检或虚警，因此实现缺陷元的有效处理至关重要。

发明内容

本发明提供一种图像缺陷元抑制方法、设备及计算机可读存储介质，用以解决现有技术中探测器输出的红外图像易出现缺陷元导致成像质量的问题。

根据本发明第一方面实施例提出的一种图像缺陷元抑制方法，包括：

采集红外图像；

对当前红外图像进行空域局部极值检测，以获取所述当前红外图像中的空间潜在缺陷元；

在后续多帧红外图像中对所述当前红外图像中的空间潜在缺陷元对应的像元进行持续监测，经过动态时域统计判定该像元是否为缺陷元；

对所述缺陷元进行缺陷元抑制和填充。

根据本发明的一些实施例，所述对当前红外图像进行空域局部极值检测，包括：

基于出厂盲元表，对当前红外图像进行像元剔除处理；

对完成像元剔除处理后的当前红外图像进行空域局部极值检测。

根据本发明的一些实施例，所述对当前红外图像进行空域局部极值检测，以获取所述当前红外图像中的空间潜在缺陷元，包括：

对当前红外图像进行至少一次池化操作，以获取至少一个不同尺寸的红外图像；

对所述当前红外图像以及所述至少一个不同尺寸的红外图像进行空域局部极值检测，以获取所述当前红外图像中的空间潜在缺陷元。

根据本发明的一些实施例，所述对当前红外图像进行至少一次池化操作，包括：

对当前红外图像进行2-6次金字塔池化操作。

根据本发明的一些实施例，所述对当前红外图像进行空域局部极值检测，包括：

采用4邻域滤波器或8邻域滤波器对当前红外图像进行空域局部极值检测。

根据本发明的一些实施例，所述对当前红外图像进行空域局部极值检测，包括：

基于形态学滤波、或均值差异、或梯度差异、或显著性特征，对当前红外图像进行空域局部极值检测。

根据本发明的一些实施例，所述在后续多帧红外图像中对所述当前红外图像中的空间潜在缺陷元对应的像元进行持续监测，经过动态时域统计判定该像元是否为缺陷元，包括：

统计所述当前红外图像中的空间潜在缺陷元对应的像元在后续多帧红外图像中被确定为空间潜在缺陷元的比例；

当所述比例超过特定比例阈值，则判定该像元为缺陷元。

根据本发明的一些实施例，所述缺陷元包括孤立缺陷元与缺陷元簇。

根据本发明的第二方面实施例提出的一种图像缺陷元抑制设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面实施例中任一项所述的图像缺陷元抑制方法的步骤。

根据本发明的第三方面实施例提出的一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如第一方面实施例中任一项所述的图像缺陷元抑制方法的步骤。

采用本发明实施例，通过对采集的红外图像进行局部极值检测，获取潜在的缺陷元，在后续多帧红外图像中对对应的潜在缺陷元进行监测，从而判定是否为缺陷元并对其进行抑制与填充，减少了红外成像的质量缺陷，提高了通过红外图像进行目标检测的准确度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。在附图中：

图1是本发明实施例中图像缺陷元抑制方法的流程示意图；

图2是本发明实施例中图像缺陷元抑制方法的流程示意图；

图3是本发明实施例中图像池化与极值检测的示意图；

图4是现有技术中直接对采集数据进行DDE图像增强的示意图；

图5是本发明实施例中对缺陷元剔除后进行DDE图像增强的示意图；

图6是本发明实施例中图像缺陷元抑制设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明第一方面实施例提出一种图像缺陷元抑制方法，参考图1，包括：

S1：采集红外图像。

例如，红外图像可以为面阵探测器和线列探测器等设备输出的红外图像。

S2：对当前红外图像进行空域局部极值检测，以获取所述当前红外图像中的空间潜在缺陷元。

这里的当前红外图像可以理解为当前时刻所采集的红外图像。

S3：在后续多帧红外图像中对所述当前红外图像中的空间潜在缺陷元对应的像元进行持续监测，经过动态时域统计判定该像元是否为缺陷元。

可以理解的是，如果在当前红外图像中某些像元被判定为空间潜在缺陷元，则会在后续采集到的多帧红外图像中，实时监测该像元，如果该像元在后续多帧红外图像中满足缺陷元判定条件，则这像元为缺陷元，则需要在红外图像中该像元对应的位置进行缺陷元抑制和填充。

例如，对潜在缺陷元连续时域的灰度值进行监测，通过灰度值与阈值的对比进行判断是否为缺陷元。缺陷元可以是盲元、闪元等。

S4：对所述缺陷元进行缺陷元抑制和填充。

例如，对该缺陷元的位置进行读取与定位，使用多尺度中值滤波器对图像中的缺陷元进行抑制或者填充。

采用本发明实施例，通过对采集的红外图像进行局部极值检测，获取潜在的缺陷元，并对潜在缺陷元进行连续监测，从而判断是否为缺陷元并对其进行抑制与填充，减少了探测器红外成像的质量缺陷，提高了探测器目标检测的准确度。

图4所示为直接对采集数据进行DDE图像增强，图5所示为对缺陷元剔除后进行DDE图像增强。缺陷元被剔除后更利于DDE图像增强，使得探测器在进行目标探测时目标可以被显著显示。进行剔除处理的次数可以根据缺陷元的实际剔除效果设置为一次或多次。

在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。

根据本发明的一些实施例，对当前红外图像进行空域局部极值检测，包括：

基于出厂盲元表，对当前红外图像进行缺陷像元的剔除处理。这里的出厂盲元表罗列了出厂芯片本身的硬件问题，如芯片阵元本身缺陷，造成该芯片阵元对应的像元出现问题。根据该出厂盲元表可以初步筛除红外图像中的缺陷元。

对完成像元剔除处理后的当前红外图像进行空域局部极值检测。

对当前红外图像进行空域局部极值检测可获取孤立缺陷元。例如，盲元、闪元。盲元又包括过热元、死元。

通过像元剔除，可以剔除部分缺陷元，从而避免后续检测过程中重复对这些缺陷元进行识别、检测，从而可以减少后续检测判定图像中缺陷元的工作量。

根据本发明的一些实施例，对当前红外图像进行空域局部极值检测，以获取当前红外图像中的空间潜在缺陷元，包括：

对当前红外图像进行至少一次池化操作，以获取至少一个不同尺寸的红外图像。由此，可以根据一帧红外图像，扩展为一系列具有不同尺寸的红外图像。

例如，可以使用平均池化或者最大池化的方式对红外图像进行池化操作。

对所述当前红外图像以及至少一个不同尺寸的红外图像进行空域局部极值检测，以获取当前红外图像中的空间潜在缺陷元。

在对缺陷元像素与周边像素进行差异化比对，以确定红外图像中的空间潜在缺陷元时，如果某一像元的周围像元也是缺陷元，通过该方法就无法检测出全部缺陷元，如果进一步对池化后的、按比例缩小的红外图像进一步采用上述方法进行空间潜在缺陷元，就可以将这些缺陷元簇全部检测出来，可能一次池化无法获得，可以进行多次池化，多次缩小尺寸。由此，避免了当缺陷元像素周边也是缺陷元像素时，比对无差异所造成的缺陷元像素判定错误的问题，提高了缺陷元极值检测的准确度。

根据本发明的一些实施例，对当前红外图像进行至少一次池化操作，包括：

对当前红外图像进行2-6次金字塔池化操作。

例如，参考图3，对当前红外图像进行3次金字塔池化操作。原红外图像规格尺寸为640×512，经过一次池化后所获得的红外图像的规格尺寸为320×256，对该一次池化后所获得的红外图像再进行池化，所获得的红外图像的规格尺寸为160×128。

按照金字塔不同的层级，对红外图像进行池化可以获得对应的尺寸的红外图像。基于不同尺度的红外图像进行极值检测，可以提高极值检测的准确度。

根据本发明的一些实施例，对当前红外图像进行空域局部极值检测，包括：

采用4邻域滤波器或8邻域滤波器对当前红外图像进行空域局部极值检测。采用4邻域滤波器对当前红外图像进行空域局部极值检测的过程为，将每个像素的灰度与其周围的四个像素的灰度进行比较，周围四个像素分别为与当前中心像素所邻近的上方邻近像素、下方邻近像素、左侧邻近像素以及右侧邻近像素。

采用8邻域滤波器对当前红外图像进行空域局部极值检测的过程为，将每个像素的灰度与其周围所有邻近的八个像素的灰度进行比较。

像元在红外图像中对应于一个像素。红外图像中的像元可以理解为红外图像中的像素。

例如，首先，分别计算红外图像中当前像素与周围像素大小，ε为与探测器性能相关的误差阈值，考虑到弱小目标和实际可能出现的盲闪元与背景差异极小，本实施例中ε为0。根据如下公式计算潜在缺陷元判定值T：

T＝|Q₁+Q₂+Q₅+Q₄|；

其中，Q1、Q2、Q3、Q4分别表示潜在缺陷元像素与其上下左右四个方向像素的比较值，P表示像素灰度值，i、j表示像素的坐标值。

若T值等于4，则判定为潜在缺陷元。即潜在缺陷元像素的灰度值均大于或小于上下左右四个方向的像素的灰度值时，判定为缺陷元。

根据本发明的一些实施例，对当前红外图像进行空域局部极值检测，包括：

基于形态学滤波、或均值差异、或梯度差异、或显著性特征，对当前红外图像进行空域局部极值检测。

根据本发明的一些实施例，在后续多帧红外图像中对所述当前红外图像中的空间潜在缺陷元对应的像元进行持续监测，经过动态时域统计判定该像元是否为缺陷元，包括：

统计当前红外图像中的空间潜在缺陷元对应的像元在后续多帧红外图像中被确定为空间潜在缺陷元的比例。

例如，基于时域在线动态统计算法进行统计，如表1所示，经过局部极值检测得出潜在缺陷像素位置矩阵S。C(i，j)为每个对应像元执行统计的帧数。R(i，j)为每个像元对应的缺陷像素出现帧数。cth为统计帧数门限，结合探测系统实时性要求，取值为30。V为帧数在线更新门限，参考闪元时域特征，取3000。pth是潜在缺陷出现帧数占总统计帧数的比例阈值，此处的总帧数表示从第一次出现潜在缺陷元的图像帧开始统计的帧数值。比例阈值可以根据场景的复杂度、工作时间、工作温度等参数进行调整，本实施例中取值为0.5。

表1时域统计算法原理

当比例超过特定比例阈值，则判定该像元为缺陷元。比例阈值可根据实际情况调整。比例阈值与系统的缺陷元容忍度有关。使用本实施例算法可实现不指定帧数的动态统计，鲁棒性强，可根据缺陷元特点快速灵活判别、筛选孤立的亮元、暗元与闪元等缺陷元。

根据本发明的一些实施例，对不同池化尺度下的红外图像进行空间域和时间域的滤波，可筛选不同尺度的缺陷元簇，进一步提高对缺陷元的判定准确度。

根据本发明的一些实施例，缺陷元包括孤立缺陷元与缺陷元簇。孤立缺陷元包括但不限于盲元、闪元。盲元包括但不限于死元、过热元。缺陷元簇包括但不限于盲元簇、闪元簇以及盲元与闪元混合组成的簇。

根据本发明的一些实施例，制定缺陷元更新机制，设置在线更新门限，当低于门限值时，将原缺陷像元判定为正常像元，使恢复为正常像元的缺陷元不参与填充、抑制或替换。

下面以一个具体的实施例详细描述一种图像缺陷元抑制方法。值得理解的是，下述描述仅是示例性说明，而不是对本发明的具体限制。凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。

本实施例中，参考图2，首先，对红外图像进行连续采集和短时存储。需要说明的是，不是对所有图像进行长期存储，只需采集运算之后存储备选缺陷像素的位置坐标信息，节省存储空间。基于出厂盲元表对红外图像进行缺陷元剔除。对经过剔除的红外图像进行三层金字塔池化，获取三种尺度的红外图像。对不同尺度的红外图像采用4邻域滤波器进行空域局部极值检测操作，提取空间潜在缺陷像元，具体如下：

分别计算红外图像中当前像素与周围像素大小，ε为与探测器性能相关的误差阈值，考虑到弱小目标和实际可能出现的盲闪元与背景差异极小，本实施例中ε为0。根据如下公式计算潜在缺陷元判定值T：

T＝|Q₁+Q₂+Q₅+Q₄|；

其中，Q1、Q2、Q3、Q4分别表示潜在缺陷元像素与其上下左右四个方向像素的比较值，P表示像素灰度值，i、j表示像素的坐标值。

若T值等于4，则判定为潜在缺陷元。

进行时域特性动态统计滤波，在线统计潜在缺陷元像元的连续帧的时域灰度，若缺陷元出现帧数占总统计帧数的比例达到比例阈值则判定为缺陷元。具体操作如表1所示：

表1时域统计算法原理

经过局部极值检测得出潜在缺陷像素位置矩阵S。C(i，j)为每个对应像元执行统计的帧数。R(i，j)为每个像元对应的缺陷像素出现帧数。cth为统计帧数门限，结合探测系统实时性要求，取值为30。V为帧数在线更新门限，参考闪元时域特征，取值为3000。pth是潜在缺陷出现帧数占总统计帧数的比例，大于该比例则确定为缺陷元像素，本实施例中取值为0.5(50％)，该值与系统的缺陷元容忍度有关，也可以根据场景的复杂度、工作时间、工作温度等参数来自适应控制这个比例的阈值。同时，这个概率不是该像素元开机后成像的总次数的50％，而是第一次出现潜在缺陷元之后开始统计的总数的50％。

制定缺陷元更新机制，设置在线更新门限，当低于门限值时，将原缺陷像元判定为正常像元，使恢复为正常像元的缺陷元不参与填充、抑制或替换。

对其它池化尺度下的红外图像进行空域局部极值检测操作与时域特性动态统计滤波，筛选不同尺度的缺陷元簇，此时得出的缺陷元簇的位置需要乘以池化的次数，从而计算出其在原红外图像的位置。采用多尺度中值滤波对缺陷元的位置进行读取，进而对缺陷元进行抑制和填充。

最后，将处理完的图像数据经过高速数据接口输出至显示终端进行显示。

采用本实施例的技术方案，在探测器获取红外图像时即进行缺陷元的判定标记及抑制填补，不影响探测器正在进行的相关操作。基于金字塔式的池化可以对不同尺度的缺陷元进行检测，进一步提高了检测的准确度。

需要说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，可以将各个实施例进行不同的自由组合。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

根据本发明第二方面实施了提出的一种图像缺陷元抑制设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如第一方面实施例中任一项所述的图像缺陷元抑制方法的步骤。

例如，参考图6，设备包括光学镜头、探测器组件、焦平面接口板、驱动与信号处理电路模块及计算器终端。其中，光学镜头安装于探测器组件。焦平面接口板与探测器组件、驱动与信号处理电路模块电连接。驱动与信号处理电路包括FPGA信号处理芯片、DDR3缓存单元以及电源芯片。驱动与信号处理电路主要完成探测器组件信号的转接以及对偏置电压进行滤波，包括：为探测器组件提供偏置电压、产生探测器组件所需时序信号、将探测器输出的模拟通道信号进行调理及AD转换和拼接处理(若为数字红外探测器则不需要AD转换)、数字图像处理(包括在线盲元、闪元、缺陷元簇抑制算法)并将成像数据通过camerlink接口发送至终端显示器。驱动与信号处理电路与计算器终端电连接。光学镜头用于探测器成像聚焦。计算机上运行成像软件，包含接口数据接收、图像显示验证等功能。

光学镜头、探测器组件生成红外图像，通过焦平面接口板发送至驱动与信号处理电路模块，先对红外图像按照出厂盲元表进行缺陷元剔除，再对剔除后的红外图像进行池化，最后对红外图像进行空域局部极值检测与时域特性动态统计滤波，从而完成缺陷元的判定。使用多尺度中值滤波器对缺陷元进行抑制与填充。

本实施例中的图像缺陷元抑制设备中基于图像缺陷元抑制方法对图像的计算量较低，便于依托FPGA等硬件实现，且均为本领域通用模块，使得设备具有较高的自适应性。

根据本发明第三方面实施例提出的一种计算机可读存储介质，计算机可读存储介质上存储有信息传递的实现程序，程序被处理器执行时实现如第一方面实施例中任一项所述的图像缺陷元抑制方法的步骤。

需要说明的是，本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。程序被处理器可以是手机，计算机，服务器，空调器，或者网络设备等。

需要说明的是，在本说明书的描述中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

Claims (10)

1.一种图像缺陷元抑制方法，其特征在于，包括：

采集红外图像；

对当前红外图像进行空域局部极值检测，以获取所述当前红外图像中的空间潜在缺陷元；

在后续多帧红外图像中对所述当前红外图像中的空间潜在缺陷元对应的像元进行持续监测，经过动态时域统计判定该像元是否为缺陷元；

对所述缺陷元进行缺陷元抑制和填充。

2.如权利要求1所述的方法，其特征在于，所述对当前红外图像进行空域局部极值检测，包括：

基于出厂盲元表，对当前红外图像进行像元剔除处理；

对完成像元剔除处理后的当前红外图像进行空域局部极值检测。

3.如权利要求1所述的方法，其特征在于，所述对当前红外图像进行空域局部极值检测，以获取所述当前红外图像中的空间潜在缺陷元，包括：

对当前红外图像进行至少一次池化操作，以获取至少一个不同尺寸的红外图像；

对所述当前红外图像以及所述至少一个不同尺寸的红外图像进行空域局部极值检测，以获取所述当前红外图像中的空间潜在缺陷元。

4.如权利要求3所述的方法，其特征在于，所述对当前红外图像进行至少一次池化操作，包括：

对当前红外图像进行2-6次金字塔池化操作。

5.如权利要求1-4中任一项所述的方法，其特征在于，所述对当前红外图像进行空域局部极值检测，包括：

采用4邻域滤波器或8邻域滤波器对当前红外图像进行空域局部极值检测。

6.如权利要求1-4中任一项所述的方法，其特征在于，所述对当前红外图像进行空域局部极值检测，包括：

基于形态学滤波、或均值差异、或梯度差异、或显著性特征，对当前红外图像进行空域局部极值检测。

7.如权利要求1所述的方法，其特征在于，所述在后续多帧红外图像中对所述当前红外图像中的空间潜在缺陷元对应的像元进行持续监测，经过动态时域统计判定该像元是否为缺陷元，包括：

统计所述当前红外图像中的空间潜在缺陷元对应的像元在后续多帧红外图像中被确定为空间潜在缺陷元的比例；

当所述比例超过特定比例阈值，则判定该像元为缺陷元。

8.如权利要求1所述的方法，其特征在于，所述缺陷元包括孤立缺陷元与缺陷元簇。

9.一种图像缺陷元抑制设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像缺陷元抑制方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至8中任一项所述的图像缺陷元抑制方法的步骤。

Images