CN117372379A - 一种用于可转动设备的红外图像坏点检测方法 - Google Patents

Abstract

一种用于可转动设备的红外图像坏点检测方法，涉及红外图像检测领域，该方法包括：实时采集设备水平单方向转动某一偏移量的三幅图像；将所采集的三幅图像分为两组两两相邻的图像，将相邻两幅图像配准，计算两幅相邻图像公共区域差异；计算两幅差异图像交集，融合差异信息，根据设备转动方向及配准计算出的水平偏移量去除交集中的鬼影目标，得到第一公共区域的坏点信息；设备反方向转动，重复上述步骤获取第二公共区域的坏点信息，将两组公共区域的坏点信息进行融合得到图像坏点列表。本发明实现了动态坏点检测功能，鲁棒性强，稳定性好，提高了检测精度，同时不依赖局部窗口梯度信息，对于孤立坏点和区域坏点均可检测，提升了场景适应性。

Description

一种用于可转动设备的红外图像坏点检测方法

技术领域

本发明涉及红外图像检测技术领域，具体涉及一种用于可转动设备的红外图像坏点检测方法。

背景技术

红外成像技术感应目标物体反射、辐射的能量，并用一定方式转化为二维图像，广泛应用于生产检测、安防监控等场景。

红外图像传感器上每一光线采集的点形成的阵列工艺存在缺陷，或光信号进行转换的过程中出现错误，造成图像上部分像素点信息不正确，这些有缺陷的像素就是坏点。由于工艺技术的不同，特别是一些低成本红外图像传感器，随着长时间、高温环境下运行，坏点数量会增加，破坏了图像的清晰度和完整性。坏点分为亮点和暗点两类，亮点表现为亮度值明显大于正常入射光的响应强度，在温度近似的区域，该点表现为比周围区域像素更亮；暗点表现为亮度值明显小于正常入射光的响应强度，在温度近似的区域，该点表现为比周围区域像素稍暗。

红外图像传感器自带的坏点校正以静态法为主，该方法存储一个静态坏点表，红外图像传感器出厂前通过人工等方式确认当前红外图像传感器的所有坏点，记录到静态坏点表中，使用时根据静态坏点表的位置信息进行逐点校正。对于使用中出现的坏点，需要手动添加到静态坏点表，进行后续校正。该方法依赖人工操作，制约性较大，不适用于自动化监测的场景，因此，在生产环境中自动识别红外图像的坏点并进行校正对红外成像应用有重要意义。

公开号为CN113674238A的中国专利公开了“坏点检测方法、装置、电子设备和存储介质”，该专利提供了一种图像坏点检测方法，该方法根据目标图像中的像素点确定以目标像素点为中心的第一窗口和第二窗口，根据第一窗口内像素点的灰度值确定局部方差，根据第二窗口确定各个像素点的灰度值分别与目标像素点的灰度值的第一差值，根据第一差值和第一比较结果确定目标像素点是否为坏点。该方法基于单幅图像识别坏点，没有使用时序信息去除算法模型的方差，检测结果随场景变化存在不稳定问题。

公开号为CN116193281A的中国专利公开了“一种校正坏点的方法、装置、终端及计算机可读存储介质”，该专利提供了一种坏点校正方法，该方法从初始图像得到第一疑似坏点表，迭代的从实时生成的两帧相邻图像得到第二疑似坏点表，利用第二坏点表对第一坏点表更新，得到确定的坏点信息。该方法只在单幅图像内进行坏点检测，没有使用同一场景在相邻两帧的成像差异判断坏点信息，对于复杂场景存在漏检的可能。

综上，现有的红外图像坏点检测方法存在以下诸多缺点：

1)依赖特殊检测设备或者场景，无法动态检测坏点：例如静态校正法，出厂前需手动检查坏点或者依赖校正黑体，使用过程中无法实现坏点自动检测和校正。

2)只能检测孤立坏点：基于滑窗的检测方法限于窗口尺寸，针对尺度小于窗口的孤立点效果较好，对于各坏点连在一起的坏块无法检测。

3)检测精度低：基于单幅图像的检测方法，缺少时序信息的使用，由于模型方差的影响，当场景变化时稳定性较差。

4)场景无法自适应：缺少对场景信息的利用，短时间内相同的场景在不同位置成像的差异可以用来检测坏点，提升检测精度。

发明内容

为了解决现有红外图像坏点检测方法存在的依赖特殊检测设备或者场景无法动态检测坏点、只能检测孤立坏点、场景无法自适应以及检测精度低的问题，本发明提供一种用于可转动设备的红外图像坏点检测方法。

本发明为解决技术问题所采用的技术方案如下：

本发明的一种用于可转动设备的红外图像坏点检测方法，包括以下步骤：

1)实时采集设备水平单方向转动某一偏移量的三幅图像；

2)将所采集的三幅图像分为两组两两相邻的图像，将相邻两幅图像配准，计算两幅相邻图像公共区域差异；

3)计算两幅差异图像交集，融合差异信息，根据设备转动方向及配准计算出的水平偏移量去除交集中的鬼影目标，得到第一公共区域的坏点信息；

4)设备反方向转动，重复上述步骤，获取第二公共区域的坏点信息，将两组公共区域的坏点信息进行融合得到图像坏点列表。

进一步的，步骤S1中，获取当前场景的第一幅图像，控制设备水平向右转动指定间隔，采集第二幅图像，控制设备水平向右继续转动指定间隔，采集第三幅图像；所述指定间隔与设备水平视场角相关，所述指定间隔小于设备水平视场角的一半。

进一步的，步骤S2中，将第一幅图像与第二幅图像配准，将第二幅图像与第三幅图像配准，获取两组公共区域信息，对获取的两组公共区域利用背景减除法提取变化信息；其具体操作步骤如下：

S2.1：计算第一幅图像右半部分梯度，其计算公式如下：

其中i和j分别表示像素点的行坐标和列坐标，N表示图像的列数，I表示第一幅图像，G表示第一幅图像I的图像梯度，abs表示绝对值运算；

S2.2：利用第一幅图像I的图像梯度G获取高频信息最大的窗口位置，其计算公式如下：

max_Idi,max_Idj＝argmax(HFImage)

Rect＝(max_Idi-Thres_w,max_Idj-Thres_w,2*Thres_w+1,2*Thres_w+1)

其中，HFImage表示基于梯度图像获取的场景复杂度图像，max_Idi、max_Idj表示场景复杂度图像中最大像素值处的像素坐标，M、N分别表示图像的行数和列数，Thres_w表示预设的跟窗口大小相关的阈值，Thres_w-1表示Thres_w减去1，Thres_w+1表示Thres_w加上1，用来防止计算超出图像范围，G(i+m,j+n)表示梯度图像i+m行、j+n列的值，像素坐标的Rect区域作为第一幅图像I的高频信息最大的窗口位置；

S2.3：利用模板匹配算法在第二幅图像中水平方向向左搜索与第一幅图像高频信息最大的窗口最相似的区域，根据像素坐标差异确定水平偏移量shift_x以及第一幅图像和第二幅图像的公共区域；第一幅图像和第二幅图像的公共区域为第一公共区域，第二幅图像与第三幅图像的公共区域为第二公共区域；

S2.4：利用背景减除法计算第一公共区域变化信息图像，图像中像素值为0的区域表示背景无变化，像素值为1的区域表示存在变化场景；

S2.5：针对第二幅图像和第三幅图像重复上述步骤，计算第二公共区域变化信息图像。

进一步的，步骤S2.4中，所述背景减除法采用背景差分法、单高斯背景建模方法或混合高斯背景建模方法。

进一步的，步骤S3中，首先计算第一公共区域变化信息图像和第二公共区域变化信息图像交集，其计算公式如下：

其中mask1表示第一公共区域变化信息图像，mask2表示第二公共区域变化信息图像，BadPixelImage表示交集图像，其中像素值为1的区域为候选坏点区域。

更进一步的，步骤S3中，根据设备转动方向及配准计算出的水平偏移量shift_x去除交集图像中的鬼影目标：遍历交集图像，对于所有候选坏点区域，当初始图像是设备水平向右转动获取时，判断交集图像当前像素候选坏点左侧水平偏移shift_x处是否存在候选坏点，若存在则保留该候选坏点，若不存在则删除该候选坏点；当初始图像是设备水平向左转动获取时，判断交集图像当前像素候选坏点水平右侧偏移shift_x处是否存在候选坏点，若存在则保留该候选坏点，若不存在则删除该候选坏点。

本发明的有益效果是：

本发明提供的一种用于可转动设备的红外图像坏点检测方法，基于设备水平单方向转动时同一场景在相邻时间不同角度的成像差异检测坏点，通过时序信息去除区域场景中的运动目标干扰，利用设备转动方向和配准计算出的水平偏移量去除交集中的鬼影目标，得到图像坏点信息。与现有的红外图像坏点检测方法相比，本发明具有以下优点：

1)本发明实现了动态坏点检测功能，设备使用过程中可以自动检测坏点并更新坏点别表。

2)本发明鲁棒性强，不依赖局部窗口梯度信息，对于孤立坏点和区域坏点均可检测。

3)本发明利用时序信息去除模型方差干扰导致的不稳定现象。利用相邻时间同一场景在不同位置成像的差异检测坏点，可以提升场景适应性，避免复杂场景存在高频信息干扰导致的虚警。

附图说明

图1为本发明的一种用于可转动设备的红外图像坏点检测方法流程图。

图2为设备水平转动采集的连续三幅图像。

图3为第一幅图像和第二幅图像的公共区域。

图4为第二幅图像和第三幅图像的公共区域。

图5为候选坏点区域图像。

图6为第一、二坏点信息融合示意图。

具体实施方式

以下结合附图对本发明做进一步详细说明。

本发明实施例提供了一种用于可转动设备的红外图像坏点检测方法，该方法将采集的红外图像分为左右半幅两部分分别检测是否存在坏点；对于其中任一半幅图像，实时采集监控场景设备水平单方向转动某一偏移量的三幅图像，将相邻两幅图像配准，获取半幅图像在采集时间内成像差异，计算三幅图像生成两组差异的交集，根据采集时设备转动方向及配准中获取的相邻图像水平偏移量去除交集中的鬼影目标，得到最终的半幅图像坏点信息；设备反方向运动重复上述处理过程获取另外半幅图像坏点信息。本发明基于设备转动时同一场景在相邻时间不同角度的成像差异判断坏点，实现了场景自适应的坏点动态检测，对于孤立坏点和区域坏点均可检测。同时设备转动方向和配准计算出的水平偏移量结合去除鬼影，可以减少伪目标过滤所需的计算量。另外通过三幅图像生成的两组差异交集，利用时序信息去除场景中运动目标干扰导致的误检，实现了高可靠的坏点检测。

如图1所示，本发明的一种用于可转动设备的红外图像坏点检测方法，具体包括以下步骤：

1)实时采集设备水平单方向转动某一偏移量的三幅图像。

2)将所采集的三幅图像分为两组两两相邻的图像，将相邻两幅图像配准，计算两幅相邻图像公共区域差异。

3)计算两幅差异图像交集，融合差异信息，根据设备转动方向及配准计算出的水平偏移量去除交集中的鬼影目标，得到第一公共区域的坏点信息。

4)设备反方向转动，重复上述步骤1)至步骤3)，获取第二公共区域的坏点信息，将两组公共区域的坏点信息进行融合得到图像坏点列表。

本发明的一种用于可转动设备的红外图像坏点检测方法，具体由以下步骤实现：

步骤S1：获取当前场景的第一幅图像I，控制设备水平向右转动指定间隔，采集第二幅图像Y，控制设备水平向右继续转动指定间隔，采集第三幅图像Z，所采集的三幅图像如图2所示，图中黑色块为监控场景同一目标在三幅图像中的位置。

其中，所说的指定间隔与设备水平视场角相关，具体为指定间隔小于设备水平视场角的一半。采集第二幅图像Y和第三幅图像Z时设备转动的指定间隔可以存在微小偏差，三幅图像的采集时间是连续的。三幅图像中同一场景只在水平方向存在偏移，垂直方向不存在偏移。

步骤S2：将第一幅图像I与第二幅图像Y配准，将第二幅图像Y与第三幅图像Z配准，获取两组公共区域信息，对获取的两组公共区域利用背景减除法提取变化信息。其具体操作步骤如下：

S2.1：计算第一幅图像右半部分梯度，其计算公式如下：

其中i和j分别表示像素点的行坐标和列坐标，N表示图像的列数，I表示第一幅图像，G表示第一幅图像I的图像梯度，abs表示绝对值运算。

S2.2：利用第一幅图像I的图像梯度G获取高频信息最大的窗口位置，其计算公式如下：

max_Idi,max_Idj＝argmax(HFImage)

Rect＝(max_Idi-Thres_w,max_Idj-Thres_w,2*Thres_w+1,2*Thres_w+1)

其中，HFImage表示基于梯度图像获取的场景复杂度图像，max_Idi、max_Idj表示场景复杂度图像中最大像素值处的像素坐标，M、N分别表示图像的行数和列数，Thres_w表示预设的跟窗口大小相关的阈值，Thres_w-1表示Thres_w减去1，Thres_w+1表示Thres_w加上1，用来防止计算超出图像范围，G(i+m,j+n)表示梯度图像i+m行、j+n列的值，像素坐标的Rect区域作为第一幅图像I的高频信息最大的窗口位置。

S2.3：利用模板匹配算法在第二幅图像Y中水平方向向左搜索与第一幅图像高频信息最大的窗口最相似的区域，根据像素坐标差异确定水平偏移量shift_x以及第一幅图像I和第二幅图像Y的公共区域，如图3和图4所示，其中框内区域为两幅图像的公共区域，并且第一幅图像I和第二幅图像Y的公共区域为第一公共区域，第二幅图像Y与第三幅图像Z的公共区域为第二公共区域。

S2.4：利用背景减除法计算第一公共区域变化信息图像，图像中像素值为0的区域表示背景无变化，像素值为1的区域表示存在变化场景。其中，所说的背景减除法具体可采用背景差分法、单高斯背景建模方法或混合高斯背景建模方法，但不限于此。

S2.5：针对第二幅图像Y和第三幅图像Z重复上述步骤S2.1-S2.4过程，计算第二公共区域变化信息图像。

步骤S3：计算第一公共区域变化信息图像和第二公共区域变化信息图像交集，根据设备转动方向及配准计算出的水平偏移量去除交集中的鬼影目标，得到第一坏点信息。其具体操作步骤如下：

S3.1：计算第一公共区域变化信息图像和第二公共区域变化信息图像交集，其具体计算公式如下：

其中mask1表示第一公共区域变化信息图像，mask2表示第二公共区域变化信息图像，BadPixelImage表示交集图像，其中像素值为1的区域为候选坏点区域。

S3.2：根据设备转动方向及配准计算出的水平偏移量shift_x去除交集图像中的鬼影目标。具体的，遍历交集图像，对于所有候选坏点区域，当初始图像是设备水平向右转动获取时，判断交集图像当前像素候选坏点左侧水平偏移shift_x处是否存在候选坏点，如果存在则保留该候选坏点，如果不存在则删除该候选坏点。如图5所示，其中五角星及两个椭圆点为检测到的三个候选坏点区域，每个小格子水平长度为配准得到的水平偏移量shift_x，五角星及椭圆点为待删除候选坏点区域，椭圆点(图中a点)为保留的候选坏点区域；当初始图像是设备水平向左转动获取时，判断交集图像当前像素候选坏点水平右侧偏移shift_x处是否存在候选坏点，如果存在则保留该候选坏点，如果不存在则删除该候选坏点。

步骤S4：设备按照指定间隔向左转动，连续采集三幅图像，重复上述步骤S2至步骤S3，得到第二坏点信息；然后将第一坏点信息和第二坏点信息合并作为最终的坏点列表。如图6所示，框内是设备向左和向右转动时各自的公共区域。具体为，图6中A为设备按照指定间隔向右转动获取的第一坏点信息，图6中B为设备按照指定间隔向左转动获取的第二坏点信息，图6中C为第一坏点信息和第二坏点信息合并后的最终坏点信息。图中的椭圆点均为检测到的坏点信息。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种用于可转动设备的红外图像坏点检测方法，其特征在于，包括以下步骤：

1)实时采集设备水平单方向转动某一偏移量的三幅图像；

2)将所采集的三幅图像分为两组两两相邻的图像，将相邻两幅图像配准，计算两幅相邻图像公共区域差异；

3)计算两幅差异图像交集，融合差异信息，根据设备转动方向及配准计算出的水平偏移量去除交集中的鬼影目标，得到第一公共区域的坏点信息；

4)设备反方向转动，重复上述步骤，获取第二公共区域的坏点信息，将两组公共区域的坏点信息进行融合得到图像坏点列表。

2.根据权利要求1所述的一种用于可转动设备的红外图像坏点检测方法，其特征在于，步骤S1中，获取当前场景的第一幅图像，控制设备水平向右转动指定间隔，采集第二幅图像，控制设备水平向右继续转动指定间隔，采集第三幅图像；所述指定间隔与设备水平视场角相关，所述指定间隔小于设备水平视场角的一半。

3.根据权利要求1所述的一种用于可转动设备的红外图像坏点检测方法，其特征在于，步骤S2中，将第一幅图像与第二幅图像配准，将第二幅图像与第三幅图像配准，获取两组公共区域信息，对获取的两组公共区域利用背景减除法提取变化信息；其具体操作步骤如下：

S2.1：计算第一幅图像右半部分梯度，其计算公式如下：

其中i和j分别表示像素点的行坐标和列坐标，N表示图像的列数，I表示第一幅图像，G表示第一幅图像I的图像梯度，abs表示绝对值运算；

S2.2：利用第一幅图像I的图像梯度G获取高频信息最大的窗口位置，其计算公式如下：

max_Idi,max_Idj＝argmax(HFImage)

Rect＝(max_Idi-Thres_w,max_Idj-Thres_w,2*Thres_w+1,2*Thres_w+1)

其中，HFImage表示基于梯度图像获取的场景复杂度图像，max_Idi、max_Idj表示场景复杂度图像中最大像素值处的像素坐标，M、N分别表示图像的行数和列数，Thres_w表示预设的跟窗口大小相关的阈值，Thres_w-1表示Thres_w减去1，Thres_w+1表示Thres_w加上1，用来防止计算超出图像范围，G(i+m,j+n)表示梯度图像i+m行、j+n列的值，像素坐标的Rect区域作为第一幅图像I的高频信息最大的窗口位置；

S2.3：利用模板匹配算法在第二幅图像中水平方向向左搜索与第一幅图像高频信息最大的窗口最相似的区域，根据像素坐标差异确定水平偏移量shift_x以及第一幅图像和第二幅图像的公共区域；第一幅图像和第二幅图像的公共区域为第一公共区域，第二幅图像与第三幅图像的公共区域为第二公共区域；

S2.4：利用背景减除法计算第一公共区域变化信息图像，图像中像素值为0的区域表示背景无变化，像素值为1的区域表示存在变化场景；

S2.5：针对第二幅图像和第三幅图像重复上述步骤，计算第二公共区域变化信息图像。

4.根据权利要求3所述的一种用于可转动设备的红外图像坏点检测方法，其特征在于，步骤S2.4中，所述背景减除法采用背景差分法、单高斯背景建模方法或混合高斯背景建模方法。

5.根据权利要求1所述的一种用于可转动设备的红外图像坏点检测方法，其特征在于，步骤S3中，首先计算第一公共区域变化信息图像和第二公共区域变化信息图像交集，其计算公式如下：

其中mask1表示第一公共区域变化信息图像，mask2表示第二公共区域变化信息图像，BadPixelImage表示交集图像，其中像素值为1的区域为候选坏点区域。

6.根据权利要求5所述的一种用于可转动设备的红外图像坏点检测方法，其特征在于，步骤S3中，根据设备转动方向及配准计算出的水平偏移量shift_x去除交集图像中的鬼影目标：遍历交集图像，对于所有候选坏点区域，当初始图像是设备水平向右转动获取时，判断交集图像当前像素候选坏点左侧水平偏移shift_x处是否存在候选坏点，若存在则保留该候选坏点，若不存在则删除该候选坏点；当初始图像是设备水平向左转动获取时，判断交集图像当前像素候选坏点水平右侧偏移shift_x处是否存在候选坏点，若存在则保留该候选坏点，若不存在则删除该候选坏点。