CN113822878A - 一种红外图像处理的方法及装置 - Google Patents

Abstract

本发明提供了一种红外图像处理的方法及装置，所述方法包括：获取第一红外相机的包含当前帧的第一红外图像序列；根据第一红外图像序列，对当前帧的第一红外图像进行分割，获得其第一原始位置区、其第一当前位置区和其第一背景区；根据灰度相似度和距离相似度，对当前帧的所述第一当前位置区按照第一滑窗的方式进行第一滤波，所述第一滑窗的维度包括像素空间的两个维度和图像的帧号维度。本发明的方法及装置实现对第一红外图像的目标物体的图像降低噪声，进行图像增强。

Description

一种红外图像处理的方法及装置

技术领域

本申请涉及图像处理领域，特别是涉及一种图像中流体中心点的确定方法及装置。

背景技术

相对于可见光探测器来说，红外探测器目前发展周期短，仍存在噪声较大、分辨率不足等问题。红外探测器属于热探测型探测器，受温度影响大。前期发展的制冷型红外探测器由于有一个制冷机组件，设备工作时能够将探测器温度稳定制冷到80K左右，即-193℃，因此相比于非制冷型红外探测器，制冷型红外探测器受到的温度影响较小，因此噪声较小。但是制冷型红外探测器由于材料和制冷机的原因价格极其昂贵，因此非制冷型红外探测器正在大力研究阶段。由于没有制冷机这个结构，非制冷型红外探测器是通过电路设计进行热噪声平衡，其抑制噪声能力有限，并且产生噪声的原因大部分来源于温度波动而引入的时域条纹噪声，影响对目标的识别，然而不使用算法进行去噪则噪声也会严重影响画面质量；若在硬件端进行更新迭代，则有时间周期长，效果无法评估等问题；因此，亟需一种方法对红外图像去除噪声和增强。

发明内容

有鉴于此，本发明实施例提出了一种红外图像处理的方法及装置，本发明实施例提出了一种红外图像处理的方法及装置，通过建模法和光流法从第一红外相机中的当前帧的第一红外图像中分割出第一移动物体的第一当前位置区、第一原始位置区和第一背景区，对其中的第一当前位置区通过定义的像素相似度基于立体的滑窗进行滤波，去除第一红外图像中的第一当前位置区的噪声，并且利用形态学的膨胀方法对第一红外图像各区域进行膨胀和融合，进一步降低第一红外图像中噪声，获得前帧的第一红外图像更为准确的第一目标物体的边界。

在一些实施例中在利用第二红外图像识别当前帧的第一红外图像中第一当前位置区包括第一目标物体时，利用上一帧的第一红外图像中第一当前位置区对当前帧的第一红外图像中第一当前位置区进行增强，使当前帧的第一红外图像更加准确表示第一目标物体的当前图像。

在一些实施例中利用可见光图像调整当前帧的第一红外图像的分割结果，使当前帧的第一红外图像的分割结果更加准确。

本申请实施例的第一方面提供了一种红外图像处理的方法，包括：获取第一红外相机的包含当前帧的第一红外图像序列；根据所述第一红外图像序列，对所述当前帧的第一红外图像进行分割，获得其第一原始位置区、其第一当前位置区和其第一背景区，其中，所述第一当前位置区为第一红外图像中的第一移动物体当前所在区域，所述第一原始位置区为第一红外图像中的第一移动物体经过其他区域，所述第一背景区为第一红外图像中的第一移动物体未经过的区域，所述第一移动物体包括第一目标物体，所述第一目标物体为所述第一红外相机检测的目标；根据灰度相似度和距离相似度，对所述当前帧的所述第一当前位置区按照第一滑窗的方式进行第一滤波，所述第一滑窗的维度包括像素空间的两个维度和图像的帧号维度。

由上，从当前帧的第一红外图像中分割出第一移动物体的第一原始位置区、第一当前位置区和第一背景区，并对第一当前位置区通过定义的像素相似度基于立体的滑窗进行滤波，去除第一红外图像中的第一当前位置区的噪声，使当前帧的第一红外图像准确表示第一移动物体的当前图像。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，在进行所述第一滤波之前，一种红外图像处理的方法还包括：获取可见光相机的包含所述当前帧的可见光图像序列；根据所述可见光图像序列，利用获得所述当前帧的所述第一原始位置区的方法，获得所述当前帧的可见光图像的第三原始位置区，所述第三原始位置区为可见图像中的第一移动物体经过且不包括当前位置的其他区域；根据所述第三原始位置区，对所述当前帧的所述第一原始位置区、所述第一背景区和所述第一当前位置区的边界进行第一调整；用所述第一调整后的结果替代所述当前帧的所述第一原始位置区、所述第一背景区和所述第一当前位置区。

由上，利用可见光图像的高分辨的特点调整第一红外图像中分割结果，使第一红外图像的分割结果更加准确。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，当所述当前帧的所述第一当前位置区的连通域大于第一面积阈值时，一种红外图像处理的方法还包括：获取第二红外相机的包含所述当前帧的第二红外图像序列；根据所述第二红外图像序列，利用所述当前帧的第一红外图像的所述分割的方法，获得所述当前帧的第二红外图像的第二当前位置区，所述当前位置区为所述当前帧的第二红外图像中第二移动物体当前所在区域；利用所述当前帧的所述第二当前位置区和所述当前帧的第二红外图像的第二标记区的交并集的像素数量比，判断所述当前帧的所述第一当前位置区是否包含所述第一目标物体，所述第二标记区为第一红外图像的所述第一当前位置区在相同帧的第二红外图像的投影；当所述当前帧的所述第一当前位置区包含所述第一目标物体时，根据所述当前帧的上一帧的第一红外图像的所述第一当前位置区，对所述当前帧的所述第一当前位置区进行第一图像增强，所述上一帧的所述第一当前位置区利用获得所述当前帧的所述第一当前位置区的方法获得。

由上，利用第二红外图像判断当前帧的第一红外图像内的第一当前位置区是否包含第一目标物体，当包含第一目标物体时，利用上一帧的第一红外图像对第一目标物体进行图像增强，从而去除噪音干扰，使当前帧的第一红外图像更加准确显示第一目标物体。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，所述判断所述当前帧的所述第一当前位置区是否包含所述第一目标物体，包括：获得所述当前帧的所述第二当前位置区和所述第二标记区的交并集的像素数量比；当所述像数量比小于设定与阈值时，判断所述当前帧的所述第一当前位置区包含所述第一目标物体。

由上，所述当前帧的所述第二当前位置区和所述第二标记区的交并集的像素数量比反应了第一目标物体与第二目标物体的位置关系，当该像素数量比小于设定与阈值时，说明第一目标物体与第二目标物体的位置可区分，从而准确当前帧的第一红外图像的第一当前位置区包含第一目标物体。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，当所述连通域面积小于第二面积阈值时，所述第二面积阈值大于所述第一阈值面积，在获得所述像素数量比之前，一种红外图像处理的方法还包括：利用所述当前帧的所述第一当前位置区的所述第一滤波的方法，对所述当前帧的所述第二标记区和所述第二当前位置区进行所述第一滤波；利用所述当前帧的所述第一当前位置区、所述第二标记区和所述第二当前位置区的所述第一滤波的结果，根据形态学的膨胀方法分别对所述当前帧的所述第一当前位置区、所述第二标记区和所述第二当前位置区进行第二调整；用所述第二调整结果相应地替代所述当前帧的所述第一当前位置区、所述第二标记区和所述第二当前位置区。

由上，根据形态学的膨胀方法分别对当前帧的第一红外图像的第一当前位置区、当前帧的第二红外图像的第二当前位置区和第二标记区进行膨胀，使上述各区图像完整，去除可能的空洞。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，所述对所述当前帧的所述第一当前位置区进行第一图像增强，包括：利用获得所述当前帧的所述第一当前位置区的方法，获得所述当前帧的上一帧的第一红外图像的所述第一当前位置区；利用所述当前帧的所述第一当前位置区的所述第一滤波的方法，获得所述上一帧的所述第一当前位置区和所述第二标记区的所述第一滤波结果；根据所述当前帧的所述第一当前位置区的背景滤波结果，获得所述当前帧的所述第一当前位置区的所述第一目标物体的特征，所述特征包括基本特征和细节特征，所述当前帧的所述第一当前位置区的所述背景滤波结果以所述当前帧的所述第二标记区为背景噪声进行滤波得到的结果；根据所述上一帧的所述第一当前位置区和所述第二标记区的所述第一滤波结果，利用获得所述当前帧的所述特征的方法，获得所述上一帧的所述第一当前位置区的所述第一目标物体的所述特征；根据所述当前帧和所述上一帧的所述第一目标物体的所述特征，对所述当前帧的所述第一当前位置区的图像进行第三调整。

由上，通过获取当前帧和上一帧的第一目标物体的特征，并利用上一帧的第一红外图像对当前帧的第一红外图像的第一目标物体的特征进行增强，使当前帧的第一红外图像更加准确显示第一目标物体。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，所述获得所述当前帧的所述第一当前位置区的所述第一目标物体的特征，包括：对所述当前帧的所述体第一当前位置区和所述第二标记区的所述第一滤波结果进行归一化；以所述当前帧的所述第二标记区的所述归一化的结果为背景噪声，对所述当前帧的所述第一当前位置区的所述归一化的结果进行背景过滤；根据所述当前帧的所述背景过滤的结果，获得所述当前帧的所述第一当前位置区的所述第一目标物体的所述特征。

由上，通过背景过滤后得到第一目标物体对应的纯净的红外光谱波段的信息，从而准确提取第一目标物体的基本特征和细节特征。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，所述对所述当前帧的所述第一当前位置区的图像进行第三调整，包括：对所述当前帧和所述上一帧的所述特征进行特征增强，其中，对所述细节特征进行拉普拉斯增强方法特征增强；以所述当前帧和所述上一帧的所述第一当前位置区的范围的并集生成所述当前帧的所述第三调整后的所述第一当前位置区的范围；根据所述当前帧和所述上一帧的所述特征的所述特征增强结果生成所述当前帧的所述第三调整后的所述第一当前位置区的所述特征；根据所述当前帧的所述第三调整后的所述第一当前位置区的所述特征重构所述当前帧的所述第三调整后的所述第一当前位置区。

由上，通过利用上一帧的第一红外图像对当前帧的第一红外图像的第一目标物体的特征进行增强，使当前帧的第一红外图像更加准确显示第一目标物体。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，所述对所述当前帧的所述第一当前位置区按照第一滑窗的方式进行第一滤波，包括：分别获取所述当前帧的所述第一当前位置区的每个像素，表示为第一像素；设置所述第一像素的第一滑窗，其中，所述第一滑窗的像素空间位置的中心为所述第一像素，所述第一滑窗的最大图像帧号为所述当前帧的帧号； 获得所述第一滑窗内的各第二像素与所述第一像素的所述灰度相似度和所述距离相似度，其中，所述第二像素为所述第一滑窗内任一其他像素，二个像素之间的所述灰度相似度与该两个像素之间灰度差绝对值反向变化，两个像素之间的所述距离相似度与该两个像素在所述第一滑窗内的三维距离反向变化，且在设定范围之外设置0；以各所述第二像素与所述第一像素的所述灰度相似度和所述距离相似度的乘积为权值，对所述第一滑窗内各所述第二像素的灰度进行加权求和，并把所述加权求和的结果作所述第一像素的所述第一滤波的结果。

由上，通过设定的三维的第一滑窗基于连续多帧的第一红外图像和每个第一红外图像的设定区域的位置与灰度信息对当前帧的第一当前位置区进行第一滤波，去除噪声。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，一种红外图像处理的方法还包括：通过对比所述第三原始位置区和所述当前帧的所述第一原始位置区，把所述当前帧的所述第一原始位置区划分为不同的分区；利用滤波核函数和FFT变换对所述当前帧的所述第一原始位置区进行第二滤波，其中，在设定的频域范围外，所述滤波核函数快速下降；利用均值方法对所述当前帧的所述第一原始位置区进行第三滤波；对所述第二滤波结果和所述第三滤波结果在所述当前帧的所述不同分区中设置不同的分区权重；通过对所述不同分区的所述第二滤波结果和所述第三滤波结果根据所述分区权重加权求和，对所述当前帧的所述第一原始位置区的进行图像增强。

由上，利用可见光图像对当前帧的第一红外图像的第一原始位置区进行分区，并对该第一原始位置区基于分区分别进行图像增强，实现对该第一原始位置区去除鬼影的效果。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，所述第二滤波方法包括：对所述当前帧的所述第一原始位置区进行FFT变换；利用滤波核函数对FFT变换结果进行频域滤波，其中，在设定的频域范围外，所述滤波核函数快速下降；对频域滤波后的结果进行IFFT变换，获得所述第二滤波的结果。

由上，通过分段的滤波核函数对当前帧的第一红外图像的第一原始位置区的分段滤波，不仅保证频域内滤波效果，又降低运算量和不丢失红外图像的细节信息，结合FFT和IFFT实现对第一帧的第一红外图像的第一原始位置区的快速去除鬼影。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，一种红外图像处理的方法还包括：利用获得所述当前帧的所述第一背景区的方法，获得所述第一红外图像序列的各第一红外图像的所述第一背景区；根据所述各第一红外图像的所述第一背景区，对所述当前帧的所述第一背景区的各像素灰度进行第三图像处理，并把所述第三图像处理的结果作为所述当前帧的所述第一背景区的相应像素的灰度值。

由上，基于各第一红外图像的第一背景区的区域不变的特点，利用帧间信息进行图像增强，降低了第一红外图像的第一背景区的噪声。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，获得所述当前帧的所述第一背景区的一像素的所述第三图像处理的结果的步骤，包括：分别获取所述当前帧的所述第一背景区的每个像素，并表示为第三像素；获取所述第三像素的第一变化帧，其中，所述第三像素从其所述第一变化帧到所述当前帧都属于相应的第一红外图像的所述第一背景区，所述第三像素不属于其所述第一变化帧向后倒序的第一个帧的第一红外图像的所述第一背景区；获得所述第三像素在从其所述第一变化帧到所述当前帧的各第一红外图像中的灰度值的加权和，并把该加权和作为所述当前帧的第一红外图像的所述第一背景区的所述第三像素的所述第三图像处理的结果。其中，所述第三像素的灰度从其所述第一变化帧到所述当前帧的权值根据到所述当前帧的帧号差反向变化。

由上，基于各第一红外图像的第一背景区的区域不变的特点，利用空间结构和帧间信息进行图像增强，在较小的计算量下降低了第一红外图像的第一背景区的噪声。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，一种红外图像处理的方法还包括：利用形态学对所述当前帧的第一红外图像的所述第一原始位置区、所述第一背景区和所述第一当前位置区进行膨胀；对所述膨胀后的所述第一原始位置区、所述第一背景区和所述第一当前位置区进行合并，其中，对重叠区域的像素基于重叠方的灰度值进行平滑；根据所述合并后的第一红外图像获得所述当前帧的第一红外图像的各像素的边界概率，其中，当一像素的边界概率越大，该像素为区域边界的概率越大；根据所述边界概率，获得所述当前帧的第一红外图像中各物体的边界。

由上，通过形态学对当前帧的第一红外图像的第一原始位置区、第一当前位置区和第一背景区进行调整膨胀和合并，进一步降低红外图像中噪声和空洞，并基于合并后第一红外图像的确定的边界概率进一步确定第一红外图像中各物体的边界，更准确显示第一目标物体。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，所述根据所述合并后的第一红外图像获得所述当前帧的第一红外图像的各像素的边界概率，包括：分别以所述当前帧的红外图像的每个像素为第一窗口的中心，根据所述合并后的红外图像在所述第一窗口内的像素计算所述每个像素的所述边界概率，其中，一像素的所述边界概率等于各第四像素的像素差异度的和，所述第四像素为以所述一像素为中心的所述第一窗口内的任一其他像素，所述第四像素的像素差异度基于该第四像素与所述第一窗口中心的距离、该第四像素与所述第一窗口中心的灰度差的绝对值而确定。

由上，根据设定的第一窗口对膨胀融合后的当前帧的第一红外图像的各像素与对应的第一窗口中心的距离和灰度差，生成边界概率，用于准确判断当前帧的第一红外图像的同质区的边界。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，所述获得所述当前帧的第一红外图像的第一原始位置区、第一背景区和第一当前位置区，包括：根据所述第一红外图像序列，获得所述当前帧的第一红外图像的像素移动概率图，其中，所述像素移动概率图用于表示各像素体的移动概率；根据所述像素移动概率图，获得所述当前帧的第一红外图像的像素移动标记图，其中，所述像素移动标记图用于标记各像素是否移动；根据所述当前帧和其上一帧的第一红外图像和所述像素移动标记图，获得所述当前帧的第一红外图像的像素速度图，其中，所述像素速度图表示各像素体的移动速度；根据所述像素速度图和所述像素移动标记图，从所述当前帧的第一红外图像分割出其所述第一原始位置区、其所述第一背景区和其所述第一当前位置区。

由上，综合建模法对第一移动物体各像素的运动趋势的准确判断和光流法对第一移动物体两帧之间的运动速度的准确识别，实现对第一红外图像的准确分割，相对于单纯的建模法和光流法，本发明的方案对第一红外图像的分割更加准确。

在第一方面的一种红外图像处理的方法的一种可能实施方式中，所述把所述当前帧的第一红外图像分割为第一原始位置区、第一背景区和第一当前位置区，包括：当所述像素移动标记图中一像素的所述移动标记为移动且所述像素速度图中该像素的所述移动速度大于速度阈值时，该像素属于所述第一当前位置区；当所述像素移动标记图中一像素的所述移动标记为移动且所述像素速度图中该像素的所述移动速度不大于速度阈值时，该像素属于所述第一原始位置区；当所述像素移动标记图中一像素的所述移动标记为不移动时，该像素属于所述第一背景区。

由上，通过像素的移动速度与移动标识的综合从而准确对第一红外图像进行分割。

本申请实施例的第二方面提供了一种红外图像处理的装置，包括：图像获取模块，用于获取第一红外相机的包含当前帧的第一红外图像序列；图像分割模块，用于根据所述第一红外图像序列，对所述当前帧的第一红外图像进行分割，获得其第一原始位置区、其第一当前位置区和其第一背景区，其中，所述第一当前位置区为第一红外图像中的第一目移动物体当前所在区域，所述第一原始位置区为第一红外图像中的第一移动物体经过其他区域，所述第一背景区为第一红外图像中的第一移动物体未经过的区域，所述第一移动物体包括第一目标物体，所述第一目标物体为所述第一红外相机检测的目标；第一滤波模块，用于根据灰度相似度和距离相似度，对所述当前帧的所述第一当前位置区按照第一滑窗的方式进行第一滤波，所述第一滑窗的维度包括像素空间的两个维度和图像的帧号维度。

由上，从当前帧的第一红外图像中分割出第一移动物体的第一原始位置区、第一当前位置区和第一背景区，并对第一当前位置区通过定义的像素相似度基于立体的滑窗进行滤波，去除第一红外图像中的第一当前位置区的噪声，使当前帧的第一红外图像准确表示第一目标物体的当前图像。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，所述图像获取模块还用于获取可见光相机的包含所述当前帧的可见光图像序列；所述图像分割模块还用于根据所述可见光图像序列，利用获得所述当前帧的所述第一原始位置区的方法，获得所述当前帧的可见光图像的第三原始位置区，所述第三原始位置区为可见图像中的第一移动物体经过且不包括当前位置的其他区域；所述装置还包括第一调整模块，用于在进行所述第一滤波之前根据所述第三原始位置区，对所述当前帧的所述第一原始位置区、所述第一背景区和所述第一当前位置区的边界进行第一调整；所述第一调整模块还用于用所述第一调整后的结果替代所述当前帧的所述第一原始位置区、所述第一背景区和所述第一当前位置区。

由上，利用可见光图像的高分辨的特点调整第一红外图像中分割结果，使第一红外图像的分割结果更加准确。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，所述图像获取模块还用于获取第二红外相机的包含所述当前帧的第二红外图像序列；所述图像分割模块还用于根据所述第二红外图像序列，利用所述当前帧的第一红外图像的所述分割的方法，获得所述当前帧的第二红外图像的第二当前位置区，所述当前位置区为所述当前帧的第二红外图像中第二移动物体当前所在区域；所述装置还包括目标判断模块，用于当所述当前帧的所述第一当前位置区的连通域大于第一面积阈值时，利用所述当前帧的所述第二当前位置区和所述当前帧的第二标记区的交并集的像素数量比，判断所述当前帧的所述第一当前位置区是否包含所述第一目标物体，所述第二标记区为第一红外图像的所述第一当前位置区在相同帧的第二红外图像上的投影；所述装置还包括第一增强模块，用于当所述当前帧的所述第一当前位置区包含所述第一目标物体时，根据所述当前帧的上一帧的第一红外图像的所述第一当前位置区，对所述当前帧的所述第一当前位置区进行第一图像增强，所述上一帧的所述第一当前位置区利用获得所述当前帧的所述第一当前位置区的方法获得。

由上，利用第二红外图像判断当前帧的第一红外图像内的第一当前位置区是否包含第一目标物体，当包含第一目标物体时，利用上一帧的第一红外图像对第一目标物体进行图像增强，从而去除噪音干扰，使当前帧的第一红外图像更加准确显示第一目标物体。

在第二方面的一种红外图像处理的装置法的一种可能实施方式中，所述目标判断模块，包括：交并计算模块，用于获得所述当前帧的所述第二当前位置区和所述第二标记区的交并集的像素数量比；第三判断模块，用于当所述像素数量比小于设定与阈值时，判断所述当前帧的所述第一当前位置区包含所述第一目标物体。

由上，所述当前帧的所述第二当前位置区和所述第二标记区的交并集的像素数量比反应了第一目标物体与第二目标物体的位置关系，当该像素数量比小于设定与阈值时，说明第一目标物体与第二目标物体的位置可区分，从而准确当前帧的第一红外图像的第一当前位置区包含第一目标物体。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，所述第一滤波模块还用于利用所述当前帧的所述第一当前位置区的所述第一滤波的方法，对所述当前帧的所述第二标记区和所述第二当前位置区进行所述第一滤波；所述目标判断模块还包括第二调整模块，用于在获得所述像素数量比之前且当所述连通域面积小于第二面积阈值时，利用所述当前帧的所述第一当前位置区、所述第二标记区和所述第二当前位置区的所述第一滤波的结果，根据形态学的膨胀方法分别对所述当前帧的所述第一当前位置区、所述第二标记区和所述第二当前位置区进行第二调整，所述第二面积阈值大于所述第一阈值面积；所述第二调整模块还用于用所述第二调整结果相应地替代所述当前帧的所述第一当前位置区、所述第二标记区和所述第二当前位置区。

由上，根据形态学的膨胀方法分别对当前帧的第一红外图像的第一当前位置区、当前帧的第二红外图像的第二当前位置区和第二标记区进行膨胀，使上述各区图像完整，去除可能的空洞。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，所述图像分割模块还用于利用获得所述当前帧的所述第一当前位置区的方法，获得所述当前帧的上一帧的第一红外图像的所述第一当前位置区；所述第一滤波模块还用于利用所述当前帧的所述第一当前位置区的所述第一滤波的方法，获得所述上一帧的所述第一当前位置区和所述第二标记区的所述第一滤波结果；所述第一增强模块包括特征获得模块，用于根据所述当前帧的所述第一当前位置区的背景滤波结果，获得所述当前帧的所述第一当前位置区的所述第一目标物体的特征，所述特征包括基本特征和细节特征，所述当前帧的所述第一当前位置区的所述背景滤波结果以所述当前帧的所述第二标记区为背景噪声进行滤波得到的结果；所述特征获得模块还用于根据所述上一帧的所述第一当前位置区和所述第二标记区的所述第一滤波结果，利用获得所述当前帧的所述特征的方法，获得所述上一帧的所述第一当前位置区的所述第一目标物体的所述特征；所述第一增强模块还包括第三调整模块，用于根据所述当前帧和所述上一帧的所述第一目标物体的所述特征，对所述当前帧的所述第一当前位置区的图像进行第三调整。

由上，通过获取当前帧和上一帧的第一目标物体的特征，并利用上一帧的第一红外图像对当前帧的第一红外图像的第一目标物体的特征进行增强，使当前帧的第一红外图像更加准确显示第一目标物体。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，所述特征获得模块，包括：归一化模块，用于对所述当前帧的所述体第一当前位置区和所述第二标记区的所述第一滤波结果进行归一化；背景过滤模块，用于以所述当前帧的所述第二标记区的所述归一化的结果为背景噪声，对所述当前帧的所述第一当前位置区的所述归一化的结果进行背景过滤；特征提取模块，用于根据所述当前帧的所述背景过滤的结果，获得所述当前帧的所述第一当前位置区的所述第一目标物体的所述特征。

由上，通过背景过滤后得到第一目标物体对应的纯净的红外光谱波段的信息，从而准确提取第一目标物体的基本特征和细节特征。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，所述第三调整模块包括：特征增强模块，用于对所述当前帧和所述上一帧的所述特征进行特征增强，其中，对所述细节特征进行拉普拉斯增强方法特征增强；当前合并模块，用于以所述当前帧和所述上一帧的所述第一当前位置区的范围的并集生成所述当前帧的所述第三调整后的所述第一当前位置区的范围；特征调整模块，用于根据所述当前帧和所述上一帧的所述特征的所述特征增强结果生成所述当前帧的所述第三调整后的所述第一当前位置区的所述特征；区域还原模块，用于根据所述当前帧的所述第三调整后的所述第一当前位置区的所述特征重构所述当前帧的所述第三调整后的所述第一当前位置区。

由上，通过利用上一帧的第一红外图像对当前帧的第一红外图像的第一目标物体的特征进行增强，使当前帧的第一红外图像更加准确显示第一目标物体。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，，所述第一滤波模块对所述当前帧的所述第一当前位置区按照第一滑窗的方式进行第一滤波时，具体用于：分别获取所述当前帧的所述第一当前位置区的每个像素，表示为第一像素；设置所述第一像素的第一滑窗，其中，所述第一滑窗的像素空间位置的中心为所述第一像素，所述第一滑窗的最大图像帧号为所述当前帧的帧号； 获得所述第一滑窗内的各第二像素与所述第一像素的所述灰度相似度和所述距离相似度，其中，所述第二像素为所述第一滑窗内任一其他像素，二个像素之间的所述灰度相似度与该两个像素之间灰度差绝对值反向变化，两个像素之间的所述距离相似度与该两个像素在所述第一滑窗内的三维距离反向变化，且在设定范围之外设置0；以各所述第二像素与所述第一像素的所述灰度相似度和所述距离相似度的乘积为权值，对所述第一滑窗内各所述第二像素的灰度进行加权求和，并把所述加权求和的结果作所述第一像素的所述第一滤波的结果。

由上，通过设定的三维的第一滑窗基于连续多帧的第一红外图像和每个第一红外图像的设定区域的位置与灰度信息对当前帧的第一当前位置区进行第一滤波，去除噪声。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，所述第一调整模块，还用于通过对比所述第三原始位置区和所述当前帧的所述第一原始位置区，把所述当前帧的所述第一原始位置区划分为不同的分区；所述装置还包括第二增强模块，用于利用滤波核函数和FFT变换对所述当前帧的所述第一原始位置区进行第二滤波，其中，在设定的频域范围外，所述滤波核函数快速下降；所述第二增强模块还用于利用均值方法对所述当前帧的所述第一原始位置区进行第三滤波；所述第二增强模块还用于对所述第二滤波结果和所述第三滤波结果在所述当前帧的所述不同分区中设置不同的分区权重；所述第二增强模块还用于通过对所述不同分区的所述第二滤波结果和所述第三滤波结果根据所述分区权重加权求和，对所述当前帧的所述第一原始位置区的进行第二图像增强。

由上，利用可见光图像对当前帧的第一红外图像的第一原始位置区进行分区，并对该第一原始位置区基于分区分别进行图像增强，实现对该第一原始位置区去除鬼影的效果。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，所述第二增强模块在进行第二滤波时，具体用于对所述当前帧的所述第一原始位置区进行FFT变换；利用所述滤波核函数对FFT变换结果进行频域滤波；对频域滤波后的结果进行IFFT变换，获得所述第二滤波的结果。

由上，通过分段的滤波核函数对当前帧的第一红外图像的第一原始位置区的分段滤波，不仅保证频域内滤波效果，又降低运算量和不丢失红外图像的细节信息，结合FFT和IFFT实现对红外图像的第一原始位置区的快速去除鬼影。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，所述图像分割模块还用于利用获得所述当前帧的所述第一背景区的方法，获得所述第一红外图像序列的各第一红外图像的所述第一背景区；所述装置还包括第三增强模块，用于根据所述各第一红外图像的所述第一背景区，对所述当前帧的所述第一背景区的各像素灰度进行第三图像处理，并把所述第三图像处理的结果作为所述当前帧的所述第一背景区的相应像素的灰度值。

由上，基于各第一红外图像的第一背景区的区域不变的特点，利用帧间信息进行图像增强，降低了第一红外图像的第一背景区的噪声。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，所述第三增强模块具体用于，包括：分别获取所述当前帧的所述第一背景区的每个像素，并表示为第三像素；获取所述第三像素的第一变化帧，其中，所述第三像素从其所述第一变化帧到所述当前帧都属于相应的第一红外图像的所述第一背景区，所述第三像素不属于其所述第一变化帧向后倒序的第一个帧的第一红外图像的所述第一背景区；获得所述第三像素在从其所述第一变化帧到所述当前帧的各第一红外图像中的灰度值的加权和，并把该加权和作为所述当前帧的第一红外图像的所述第一背景区的所述第三像素的所述第三图像处理的结果。其中，所述第三像素的灰度从其所述第一变化帧到所述当前帧的权值根据到所述当前帧的帧号差反向变化。

由上，基于各第一红外图像的第一背景区的区域不变的特点，利用空间结构和帧间信息进行图像增强，在较小的计算量下降低了第一红外图像的第一背景区的噪声。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，一种红外图像处理的装置还包括：区域膨胀模块，用于利用形态学对所述当前帧的第一红外图像的所述第一原始位置区、所述第一背景区和所述第一当前位置区进行膨胀；区域合并模块，用于对所述膨胀后的所述第一原始位置区、所述第一背景区和所述第一当前位置区进行合并，其中，对重叠区域的像素基于重叠方的灰度值进行平滑；边界概率模块，用于根据所述合并后的第一红外图像获得所述当前帧的第一红外图像的各像素的边界概率，其中，当一像素的边界概率越大，该像素为区域边界的概率越大；边界确定模块，用于根据所述边界概率，获得所述当前帧的所述第一红外图像中各物体的边界、。

由上，通过形态学对当前帧的第一红外图像的第一原始位置区、第一当前位置区和第一背景区进行调整膨胀和合并，进一步降低红外图像中噪声和空洞，并基于合并后第一红外图像的确定的边界概率获得当前帧的第一红外图像中各物体的边界，更准确显示第一目标物体。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，所述边界概率模块具体用于，包括：分别以所述当前帧的红外图像的每个像素为第一窗口的中心，根据所述合并后的红外图像在所述第一窗口内的像素计算所述每个像素的所述边界概率，其中，一像素的所述边界概率等于各第四像素的像素差异度的和，所述第四像素为以所述一像素为中心的所述第一窗口内的任一其他像素，所述第四像素的像素差异度基于该第四像素与所述第一窗口中心的距离、该第四像素与所述第一窗口中心的灰度差的绝对值而确定。

由上，根据设定的第一窗口对膨胀融合后的当前帧的第一红外图像的各像素与对应的第一窗口中心的距离和灰度差，生成边界概率，用于准确判断第一红外图像的同质区的边界。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，所述图像分割模块，包括：概率生成模块，用于根据所述第一红外图像序列，获得所述当前帧的第一红外图像的像素移动概率图，其中，所述像素移动概率图用于表示各像素体的移动概率；标记生成模块，用于根据所述像素移动概率图，获得所述当前帧的第一红外图像的像素移动标记图，其中，所述像素移动标记图用于标记各像素是否移动；速度生成模块，用于根据所述当前帧和其上一帧的第一红外图像和所述像素移动标记图，获得所述当前帧的第一红外图像的像素速度图，其中，所述像素速度图表示各像素体的移动速度；区域分割模块，用于根据所述像素速度图和所述像素移动标记图，从所述当前帧的第一红外图像分割出其所述第一原始位置区、其所述第一背景区和其所述第一当前位置区。

由上，综合建模法对第一移动物体各像素的运动趋势的准确判断和光流法对第一移动物体两帧之间的运动速度的准确识别，实现对第一红外图像的准确分割，相对于单纯的建模法和光流法，本发明的方案对第一红外图像的分割更加准确。

在第二方面的一种红外图像处理的装置的一种可能实施方式中，当所述像素移动标记图中一像素的所述移动标记为移动且所述像素速度图中该像素的所述移动速度大于速度阈值时，该像素属于所述第一当前位置区；当所述像素移动标记图中一像素的所述移动标记为移动且所述像素速度图中该像素的所述移动速度不大于速度阈值时，该像素属于所述第一原始位置区；当所述像素移动标记图中一像素的所述移动标记为不移动时，该像素属于所述第一背景区。

由上，通过像素的移动速度与移动标识的综合从而准确对当前帧的第一红外图像进行分割。

本申请实施例的第三方面提供了一种计算设备，包括：

总线；

通信接口，其与总线连接；

至少一个处理器，其与总线连接；以及

至少一个存储器，其与总线连接并存储有程序指令，程序指令当被至少一个处理器执行时使得至少一个处理器执行本发明的第一方面和第一方面任一可能的实施方式。

本申请实施例的第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令当被计算机执行时使得计算机执行本发明的第一方面和第一方面任一可能的实施方式。

附图说明

图1A为本发明的一种红外图像处理的方法实施例一的流程示意图；

图1B为本发明的一种红外图像处理的方法实施例一的图像分割方法的流程示意图；

图1C为本发明的一种红外图像处理的方法实施例二的融合调整方法的流程示意图；

图2A为本发明的一种红外图像处理的方法实施例二的流程示意图；

图2B为本发明的一种红外图像处理的方法实施例二的第一图像增强方法的流程示意图；

图2C为本发明的一种红外图像处理的方法实施例二的目标判断方法的流程示意图；

图2D为本发明的一种红外图像处理的方法实施例二的第一增强方法的流程示意图；

图2E为本发明的一种红外相机系统的结构示意图；

图3A为本发明的一种红外图像处理的方法实施例二的流程示意图；

图3B为本发明的一种红外图像处理的方法实施例三的第二图像增强方法流程示意图；

图4A为本发明的一种红外图像处理的装置实施例一的结构示意图；

图4B为本发明的一种红外图像处理的装置实施例一的图像分割模块的结构示意图；

图4C为本发明的一种红外图像处理的装置实施例一的融合调整模块的结构示意图；

图5A为本发明的一种红外图像处理的装置实施例二的结构示意图；

图5B为本发明的一种红外图像处理的装置实施例二的第一图像增强模块的结构示意图；

图5C为本发明的一种红外图像处理的装置实施例二的目标判断模块的结构示意图；

图5D为本发明的一种红外图像处理的装置实施例二的第一增强模块的结构示意图；

图6A为本发明的一种红外图像处理的装置实施例三的结构示意图；

图6B为本发明的一种红外图像处理的装置实施例三的第二图像增强模块的结构示意图；

图7为本发明实施例提供的计算设备的结构示意图。

具体实施方式

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三等”或模块A、模块B、模块C等，仅用于区别类似的对象，或用于区别不同的实施例，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

在以下的描述中，所涉及的表示步骤的标号，如S110、S120……等，并不表示一定会按此步骤执行，在允许的情况下可以互换前后步骤的顺序，或同时执行。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

本发明实施例提出了一种红外图像处理的方法及装置，通过建模法和光流法从第一红外相机中的当前帧的第一红外图像中分割出第一移动物体的第一当前位置区、第一原始位置区和第一背景区，对第一当前位置区通过定义的像素相似度基于立体的滑窗进行滤波，去除第一红外图像中的第一当前位置区的噪声，并且利用形态学的膨胀方法对分割结果调整，进一步降低第一红外图像中噪声，使当前帧的第一红外图像中第一目标物体更加准确的图像。

在一些实施例中在利用第二红外图像识别当前帧的第一红外图像中第一当前位置区包括第一目标物体时，利用上一帧的第一红外图像中第一当前位置区对当前帧和上一帧的第一红外图像中第一当前位置区进行增强，使当前帧的第一红外图像更加准确表示第一目标物体的当前图像。

在一些实施例中利用可见光图像调整当前帧的第一红外图像的分割结果，使当前帧的第一红外图像的分割结果更加准确。

本发明的各实施例中第一目标物体可以是扩散的气体、流动的液体或运动的固体。

下面结合附图详细介绍本发明各实施例。

【一种红外图像处理的方法实施例一】

下面基于图1A至图1C介绍一种红外图像处理的方法实施例一。

一种红外图像处理的方法实施例一通过建模法和光流法从第一红外相机中的当前的第一红外图像中分割出第一移动物体的第一当前位置，第一移动物体包括第一目标物体，并对第一当前位置通过定义的像素相似度基于立体的滑窗进行滤波，去除第一红外图像中的当前位置的噪声，并且利用形态学的膨胀方法对分割结果进一步调整，进一步降低第一红外图像中噪声，使第一红外图像准确表示第一目标物体的位置。

图1A示出了一种红外图像处理的方法实施例一的流程，包括步骤S110至S140。

S110、获取第一红外相机的包含当前帧的第一红外图像序列。

其中，所述第一红外图像序列包括按照时间顺序排列的时间连续的各帧第一红外图像。

S120、根据所述第一红外图像序列，对所述当前帧的第一红外图像进行分割，获得当前帧的第一红外图像的第一原始位置区、第一当前位置区和第一背景区。

其中，当前帧的第一红外图像的第一当前位置区为的第一移动物体在当前帧的第一红外图像中的位置，当前帧的第一红外图像的第一原始位置区为在获得当前帧的第一红外图像的过程中第一移动物体所经过的其他位置，当前帧的第一红外图像的第一背景区为在获得当前帧的第一红外图像的过程中第一移动物体未经过的其他位置。第一移动物体包括第一目标物体，第一目标物体为第一红外相机所探测的目标。

其中，本步骤采用建模法加光流法的综合方法对当前帧的第一红外图像进行分割，分割准确。具体方法和优点请参考了一种第一红外图像处理的实施例一的图像分割方法。

S130、根据灰度相似度和距离相似度，对当前帧的第一红外图像的第一当前位置区按照第一滑窗的方式进行第一滤波。

本步骤具体方法如下：

①分别获取当前帧的第一红外图像的第一当前位置区的每个像素，表示为第一像素，并以第一像素为中心设置其第一滑窗。

其中，第一滑窗的维度包括像素空间位置的两个维度和图像帧号维度。第一滑窗的像素空间位置中心为第一像素，第一滑窗的帧号的最大值为第一像素的帧号。

示例地，

分别为第一像素的行编号、列编号和帧号编号，第一滑窗内的各 像素为第二像素，

分别为第二像素的行编号、列编号和帧号编号，则第二像素满足 式（1）的要求。

②获得第一滑窗内的第二像素与第一像素的灰度相似度和距离相似度。

其中，第一滑窗内的各像素表示为第二像素，第二像素与第一像素的灰度相似度与该两个像素之间灰度差绝对值反向变化。

示例地，利用式（2）计算第二像素与第一像素的灰度相似度。

其中，

为第二像素与第一像素的灰度相似度，

为设定的 灰度参数。

其中，第二像素与第一像素的距离相似度与该两个像素述第一滑窗内的三维距离反向变化，且在设定范围之外设置0。

示例地，利用（3）计算第二像素与第一像素的距离相似度。

其中，

为第二像素与第一像素的距离相似度，

为设定的 距离参数。

分别为第一滑窗的横向截止比例、第一滑窗的横向截止比例和第 一滑窗的滑窗参数。过多的像素参与第一目标物体的第一当前位置区处理会导致图像细节 边缘的过度平滑、产生模糊现象，而且增加了运算量。因此通过

三个参数对 参与处理的像素点进行控制，优化处理过程。

③以各第二像素与第一像素的灰度相似度和距离相似度的乘积为权重，对第一滑窗内的第二像素的灰度进行加权求和，并把该加权和的结果作第一像素的第一滤波的结果。

示例地，利用（4）对第一像素进行第一滤波。

其中，

为第二像素的灰度，

为第一像素的第一滤波后的灰 度。

由上，通过设定的三维的第一滑窗基于连续多帧的第一红外图像和每个第一红外图像的设定区域的位置与灰度信息对当前帧的第一当前位置区进行第一滤波，去除噪声。

需要强调的是，本步骤是对当前帧的第一红外图像的第一当前位置区进行第一滤波，该第一滤波的方法根据实际需求可以对各第一红外图像的第一当前位置区进行第一滤波，还可以对其他红外相机获得的红外图像的进行第一滤波。

S140、利用形态学膨胀方法对当前帧的红外图像的第一原始位置区、第一背景区和第一当前位置区进行膨胀，并根据膨胀后的结果获得当前帧的第一红外图像中各物体的边界。

其中，本步骤基于第一滤波后的结果图像进行调整。

其中，本步骤采用形态学膨胀方法对当前帧的第一红外图像的第一原始位置区、第一背景区和第一当前位置区进行膨胀和融合，进一步降低噪声的影响，去除其中的空洞，确定第一红外图像中各物体的边界，更准确显示第一目标物体。具体方法和优点请参考了一种红外图像处理的实施例一的融合调整方法。

【一种红外图像处理的方法实施例一的图像分割方法】

图1B示出了一种红外图像处理的方法实施例一的图像分割方法的流程，包括步骤S1210至S1240。

S1210、根据第一红外图像序列，获得当前帧的第一红外图像的像素移动概率图。

其中，所述像素移动概率图中各像素的灰度值用于表示当前帧中各像素的移动概率。

示例地，获得像素移动概率图的建模方法包括高斯建模法（MOG），K近邻法（KNN）和视觉背景提取法（VIBE），通过对历史帧序列中运动物体进行建模，获得0~255个灰度级的图像，以表示目标物体移动的情况，像素的灰度数值越小代表目标物体移动可能性越低，数值越大代表目标物体移动可能性越大。建模方法对于正在移动的目标物体，会将移动物体移动前的位置和目标物体移动后的位置都标记出来。

由上，通过建模法对一段时间序列的第一红外图像进行分析，对第一红外图像的背景识别较为清晰，对各像素的移动趋势判断准确。

S1220、根据当前帧的像素移动概率图，获得所述当前帧的第一红外图像的像素移动标记图。

其中，所述像素移动标记图用于标记各像素是否移动；

在一些实施例中，基于设定的移动概率阈值判断各像素是否移动。

示例地，所述像素移动概率图中一个像素的移动概率阈值大于移动概率阈值时，该像素在所述像素移动标记图中的移动标记为1，标识该像素为移动像素；当所述像素移动概率图中一像素的所述移动概率不大于移动概率阈值时，该像素在所述像素移动标记图中的所述移动标记为0，标识该像素为不移动像素。

其中，移动概率阈值基于第一红外图像中的干扰值设定，示例地，如果第一红外图像中产生干扰的物体较多可以将移动概率阈值适当调低，反之可以适当调高，根据实际应用场景确定。

S1230、根据当前帧和其上一帧的第一红外图像与当前帧的像素移动标记图，获得当前帧的第一红外图像的像素速度图。

其中，所述像素速度图表示各像素体的移动速度；

其中，根据当前帧和其上一帧的第一红外图像以及当前帧的像素移动标记图输入到光流法模块，得到每个像素点的速度大小。示例地，采用Farneback光流法得到当前帧的光流场，并且可以得到每个像素点的速度大小。

由上，通过光流法对移动物体的细微移动识别准确。

S1240、根据当前像素速度图和像素移动标记图，从当前帧的第一红外图像分割出其第一原始位置区、其第一背景区和其第一当前位置区。

其中，第一当前位置区为第一红外图像中的第一移动物体当前所在区域，第一原始位置区为第一红外图像中的第一移动物体经过其他区域，第一背景区为第一红外图像中的第一物体未经过的区域。

其中，第一原始位置区像素仍有可能会有一个较小的速度，因此，设置一个较小速度阈值，结合所述像素移动标记图的所述移动标记对当前帧的第一红外图像进行分割。

示例地，当像素移动标记图中一像素的移动标记为移动时且像素速度图中该像素的所述移动速度大于速度阈值时，该像素属于所述第一当前位置区；当像素移动标记图中一像素的移动标记为移动且像素速度图中该像素的移动速度不大于速度阈值时，该像素属于所述第一原始位置区；当像素移动标记图中一像素的移动标记为不移动时，该像素属于所述第一背景区。

需要强调的是，一种红外图像处理的方法实施例一的图像分割方法是对当前帧的第一红外图像进行分割，也可以各第一红外图像进行分割，还可以对其他红外相机获得的红外图像的分割，还可以可见光的图像进行分割，在分割过程中，可以分割出类似的三个区域，可以只分割出其中一个或两个区域。

【一种红外图像处理的融合调整方法】

图1C示出了一种红外图像处理的方法实施例一的融合调整方法的流程，包括步骤S1410至S1440。

S1410、利用形态学对当前帧的第一红外图像的第一原始位置区、第一背景区和第一当前位置区进行膨胀。

其中，采用形态学的膨胀方法实现对图像中高亮的部分进行扩展，实现领域扩展。

由上，采用形态学的膨胀方法进一步去除图像的第一原始位置区、第一背景区和第一当前位置区的噪声，同时去除各区域内空洞。

S1420、对膨胀后的第一原始位置区、第一当前位置区和第一背景区进行合并，对重叠区域的像素基于重叠方的灰度值进行平滑。

其中，经过形态学膨胀操作后，第一原始位置区、第一当前位置区和第一背景区进行了扩充，相互之间可能存在边缘的重叠，对重叠区域需进行平滑。

示例地，一种采用式（5）的方法把合并后的第一红外图像分为7种情况，分别进行平滑。

其中，

为当前帧的第一红外图像的一像素，

为合并后的当前帧的 第一红外图像的该像素的灰度值，

为膨胀后的当前帧的第一红外图像的第 一背景区的像素集合，

为膨胀后的当前帧的第一红外图像的第一原始区的像素 集合，

为膨胀后的当前帧的第一红外图像的第一当前区的像素集合，

为所述一像素在膨胀后的当前帧的第一红外图像的第一背景区的灰度值，

为所述一像素在膨胀后的当前帧的第一红外图像的第一原始区的灰度值，

为所述一像素在膨胀后的当前帧的第一红外图像的第一当前区的灰度值。

S1430、根据合并后的第一红外图像获得当前帧的第一红外图像的各像素的边界概率。

其中，当一像素的边界概率越大，该像素为区域边界的概率越大。

计算边界概率的方法具体包括：以当前帧的合并后的红外图像的每个像素作为设定大小的第一窗口的中心，以第一窗口的第四像素的像素差异度的和计算第一窗口的中心的边界概率，其中，第四像素为第一窗口的任一像素，第四像素的像素差异度基于第四像素与所述第一窗口中心的距离、第四像素与第一窗口中心的合并后的灰度差绝对值而确定。

示例地，利用式（6）获得一像素的边界概率：

其中，把该一像素表示为像素

,

为其行编号和列编号，

为像素

的边界概率，

为第一窗口的第四像素的行编号和列编号，

和

为第一窗口的 行宽度和列宽度，

为第一窗口的灰度的标准差，

为像素

的灰度，

为第四像素的灰度。

S1440、根据边界概率获得当前帧的第一红外图像的各物体的边界。

其中，在一些实施例中，设置边界概率阈值，当合并后的当前帧的第一红外图像的一个像素的边界概率大于概率阈值时，则该像素属于边界；当确定完所有边界像素后，则形成新的第一原始位置区、第一背景区和第一当前位置区的边界。

其中，在一些实施例中，还对新的第一原始位置区、第一背景区和第一当前位置区进行均值滤波或中值滤波以进行平滑。

由上，基于形态学膨胀的方法调整图像分割的结果，进一步降低噪声的影响，去除其中的空洞，确定第一红外图像中各物体的边界，更准确显示第一目标物体。

需要强调的是，一种红外图像处理的方法实施例一的融合调整方法在一种红外图像处理的方法实施例二和一种红外图像处理的方法实施例三同样被使用，其中，在一种红外图像处理的方法实施例二在第一图像增强后被使用，在一种红外图像处理的方法实施例三在完成第一图像增强、第二图像增强和第三图像处理后被使用。

综上，一种红外图像处理的方法实施例一通过建模法和光流法从第一红外相机中的当前帧的第一红外图像中分割出第一移动物体的第一当前位置区，并对第一当前位置区通过定义的像素相似度基于立体的滑窗进行滤波，去除第一红外图像中的当前位置的噪声，并且利用形态学的膨胀方法对分割结果进行融合，进一步降低第一红外图像中噪声，确定第一红外图像中各物体的边界，更准确显示第一目标物体。

【一种红外图像处理的方法实施例二】

一种红外图像处理的方法实施例二继承一种红外图像处理的方法实施例一的方法，具有一种红外图像处理的方法实施例一的所有优点，并利用第二红外图像对判断当前帧的第一红外图像中是否包括第一目标物体，且利用上一帧的第一红外图像对当前帧的第一红外图像中第一目标物体进行图像增强。下面重点介绍一种红外图像处理的方法实施例二的增强部分。

图2A示出了一种红外图像处理的方法实施例二的流程，其包括步骤S210至S240。

S210：获取第一红外相机的包含当前帧的第一红外图像序列和第二红外相机的包含当前帧的第二红外图像序列。

其中，本步骤在一种红外图像处理的方法实施例一的步骤S110的基础上，增加获得第二红外图像序列。

S220：根据各红外图像序列，获得当前帧的第一红外图像的第一原始位置区、第一当前位置区和第一背景区，还获得当前帧的第二红外图像的第二当前位置区和上一帧的第一红外图像的第一当前位置区。

其中，本步骤在一种红外图像处理的方法实施例一的步骤S120的基础上，利用一种红外图像处理的方法实施例一的步骤S120的方法，还获得当前帧的第二红外图像中第二移动物体的第二当前位置区，以用于当前帧的第一红外图像的第一当前位置区中第一目标物体的识别。

其中，还利用一种红外图像处理的方法实施例一的步骤S120的方法，获得上一帧的第一红外图像的第一当前位置区，以用于当前帧的第一红外图像的第一当前位置区中第一目标物体的图像增强。

S230：对当前帧的第一红外图像的第一当前位置区进行第一图像增强。

其中，本步骤的具体方法和优点请参照一种红外图像处理的方法实施例二的第一图像增强方法，这里不再详述。

S240：利用形态学膨胀方法对当前帧的红外图像的第一原始位置区、第一背景区和第一当前位置区进行膨胀，并根据膨胀后的结果获得当前帧的第一红外图像中各物体的边界。

其中，本步骤采用形态学膨胀方法对当前帧的第一红外图像的所述第一原始位置区、所述第一背景区和所述第一当前位置区进行调整，进一步降低噪声的影响，去除其中的空洞，确定第一红外图像中各物体的边界，更准确显示第一目标物体。具体方法和优点请参考了一种红外图像处理的实施例一的融合调整方法。

【一种红外图像处理的方法实施例二的第一图像增强方法】

图2B示出了一种红外图像处理的方法实施例二的第一图像增强方法流程，其包括步骤S2310至S2350。

S2310：根据灰度相似度和距离相似度按照第一滑窗的方式，对当前帧的第一红外图像的第一当前位置区进行第一滤波，还对当前帧的第二红外图像的第二当前位置区和第二标记区进行第一滤波，还对上一帧的第一红外图像的第一当前位置区和上一帧的第二红外图像的第二标记区进行第一滤波。

其中，本步骤在一种红外图像处理的方法实施例一的步骤S130的基础上，利用一种红外图像处理的方法实施例一的步骤S130的方法，增加对当前帧的第二红外图像的第二当前位置区和第二标记区进行第一滤波，以用于当前帧的第一红外图像的第一当前位置区中第一目标物体的识别，还增加对上一帧的第一红外图像的第一当前位置区和上一帧的第二红外图像的第二标记区进行第一滤波，以用于当前帧的第一红外图像的第一当前位置区中第一目标物体的图像增强。

其中，当前帧的第二红外图像的第二标记区为当前帧的第一红外图像的第一当前位置区在当前帧的第二红外图像上的投影。上一帧的第二红外图像的第二标记区为上一帧的第一红外图像的第一当前位置区在当前帧的第二红外图像上的投影。

S2320：判断当前帧的第一红外图像的第一当前位置区的连通域是否大于第一面积阈值。

其中，如果大于，则说明第一当前位置区可能包含第一目标物体，运行步骤S2330，进行进一步的判断；否则，第一当前位置区大概率不包含第一目标物体，当前帧的第一红外图像的第一当前位置区为噪声图像，运行步骤S2350。

S2330：利用当前帧的第二红外图像的第二当前位置区和第二标记区，判断当前帧的第一红外图像的第一当前位置区是否包含第一目标物体。

其中，当前帧的第一红外图像的第一当前位置区包含第一目标物体时，运行步骤S2340；否则当前帧的第一红外图像的第一当前位置区包含干扰物体，运行步骤S2350。

其中，判读过程中利用当前帧的第二红外图像的第二当前位置区和第二标记区的位置关系，以判断当前帧的第一红外图像的第一当前位置区是否包含第一目标物体，本步骤的详细方法的优点请参考一种红外图像处理的方法实施例二的目标判读方法，这里不再详述。

由上，当前帧的第二红外图像的第二当前位置区和第二标记区的位置分别代表第二目标物体和第一目标物体的位置，判读过程利用当前帧的第二红外图像的第二当前位置区和第二标记区的位置关系，即利用第二目标物体和第一目标物体的位置进行判断，从而准确判断当前帧的第一红外图像的第一当前位置区是否包含第一目标物体。

S2340：利用上一帧的第一红外图像的第一当前位置区对当前帧的第一红外图像的第一当前位置区进行第一增强。

其中，第一增强的方法利用的各图像为第一滤波后的图像。

其中，本步骤的详细方法的优点请参考一种红外图像处理的方法实施例二的第一增强方法，这里不再详述。

由上，当第一目标物体为气体和液体时，根据其特性可知，其移动时会有部分的重叠，因此上一帧的第一红外图像的第一当前位置区可能包含当前帧的第一物体目标的信息，可用于对当前帧的第一红外图像的第一当前位置区进行第一增强。

S2350：利用第一滤波结果或第一增强结果替代当前帧的第一红外图像的第一当前位置区。

其中，当前帧的第一红外图像的第一当前位置区包含第一目标物体时，利用第一增强结果替代当前帧的第一红外图像的第一当前位置区，其他情况则用第一滤波结果替代当前帧的第一红外图像的第一当前位置区。

【一种红外图像处理的方法实施例二的目标判读方法】

图2C示出了一种红外图像处理的方法实施例二的第一图像增强方法流程，其包括步骤S23310至S23340。

S23310：判断当前帧的第一红外图像的第一当前位置区的连通域面积是否小于第二面积阈值。

其中，如果小于，则当前帧的第一红外图像的第一当前位置区为不完整区域，运行步骤S23320进行形态学的膨胀方法对相关区域进行第二调整，否则，运行步骤S23330进行目标物体的判断。

S23320：根据形态学的膨胀方法分别对当前帧的第一红外图像的第一当前位置区、当前帧的第二红外图像的第二当前位置区和第二标记区进行第二调整。

其中，根据第一滤波结果对当前帧的第一红外图像的第一当前位置区、当前帧的第二红外图像的第二当前位置区和第二标记区分别进行膨胀，并以膨胀后的结果相应地替代当前帧的第二红外图像的第二当前位置区和第二标记区，完成第二调整。

由上，根据形态学的膨胀方法分别对当前帧的第一红外图像的第一当前位置区、当前帧的第二红外图像的第二当前位置区和第二标记区进行膨胀，使上述各区图像完整，去除可能的空洞。

S23330：获得当前帧的第二红外图像的第二当前位置区和第二标记区的交并集的像素数量比。

示例地，利用式（7）获得该像素数量比。

其中，

分别表示当前帧的第二红外图像的第 二当前位置区和第二标记区的交集的像素数量、并集的像素数量、交并集的像素数量比，

分别表示当前帧的第二红外图像的第二当前位置区的集 合、第二标记区集合、二者的交集、二者的并集。

S23340根据当前帧的第二红外图像的第二当前位置区和第二标记区的交并集的像素数量比判断当前帧的第一红外图像的第一当前位置区是否包含第一目标物体。

其中，当该像素数量比小于设定与阈值时，当前帧的第一红外图像的第一当前位置区包含第一目标物体。

由上，该像素数量比反应了第一目标物体与第二目标物体的位置关系，当该像素数量比小于设定与阈值时，说明第一目标物体具有第一红外相机的特征波段而不具有第二红外相机的特征波段，因此可判断出当前帧的第一红外图像的第一当前位置区包含第一目标物体。

【一种红外图像处理的方法实施例二的第一增强方法】

图2D示出了一种红外图像处理的方法实施例二的第一图像增强方法流程，其包括步骤S23410至S23470。

S23410：对当前帧的第一红外图像的第一当前位置区和当前帧的第二红外图像的第二标记区的第一滤波结果进行归一化，以及对上一帧的第一红外图像的第一当前位置区和上一帧的第二红外图像的第二标记区的第一滤波结果进行归一化。

图2E示出了红外相机的结构，包括红外镜头10、光学滤光片20、快门30、红外探测 器40。其中，红外镜头10、光学滤光片20和红外探测器40影响红外相机的响应。利用式（8）计 算红外相机的响应

。

其中，

为红外探测器40的响应曲线，

为红外镜头10的透过率曲 线，

为光学滤光片20的透过率曲线。

表示波长，

表示光学滤光 片20响应波段的上下限值，即

构成红外相机系统的光谱通带区域，

其中，利用式（8）可以得到第一红外相机的响应

和第二红外相机的响 应

。第一红外相机和第二红外相机分别捕捉不同目标物体的红外光谱，所以 二者的光学区域

不同。

利用式（9）对当前帧的第一红外图像的第一当前位置区和当前帧的第二红外图像的第二标记区的第一滤波结果进行归一化，以及对上一帧的第一红外图像的第一当前位置区和上一帧的第二红外图像的第二标记区的第一滤波结果进行归一化。

其中，

分别表示当前帧的第一红外 图像的第一当前位置区和当前帧的第二红外图像的第二标记区的归一化后的结果，

分别表示当前帧的第一红外图像的第一当前位置区和当前 帧的第二红外图像的第二标记区的第一滤波结果。

分别表示上一帧的第一红外图像的第一当前 位置区和上一帧的第二红外图像的第二标记区的归一化后的结果，

分别表示上一帧的第一红外图像的第一当前位置区和 上一帧的第二红外图像的第二标记区的的第一滤波结果。

S23420：以当前帧和上一帧的第二红外图像的第二标记区的归一化的结果为背景噪声，分别对当前帧和上一帧的第一红外图像的第一当前位置区的归一化的结果进行背景过滤。

示例地，利用式（10）对当前帧和上一帧的第一红外图像的第一当前位置区的归一化的结果进行背景过滤

其中，

分别表示当前帧和上一帧的第一红外图像的第一当前位置 区的背景过滤结果。

由上，背景过滤后得到的是第一目标物体对应的特定的红外光谱波段的信息，为反应了纯净的第一目标物体的信息。

S23430：根据当前帧和上一帧的背景过滤的结果，分别获得当前帧和上一帧的第一红外图像的第一当前位置区的第一目标物体的特征。

其中，可以利用进行双边滤波或者主成分分析PCA，获得目标物体的特征，包括基本特征和细节特征。

示例地，利用式（11）采用PCA获得当前帧和上一帧的第一红外图像的第一当前位置区的第一目标物体的特征。

其中，

和

分别表示当前帧的第一红外图像的第一当 前位置区的第一目标物体的基本特征和细节特征，

和

分 别表示上一帧的第一红外图像的第一当前位置区的第一目标物体的基本特征和细节特征。

S23440：分别对当前帧和上一帧的第一红外图像的第一当前位置区的第一目标物体的特征进行特征增强。

其中，对细节特征进行拉普拉斯增强方法特征增强。

示例地，定义基本信息增强参数

和细节信息增强参数

，利用式（12）分别对当 前帧和上一帧的第一红外图像的第一当前位置区的第一目标物体的特征进行特征增强。

其中，

和

为增强后的当前帧的第 一红外图像的第一当前位置区的第一目标物体的基本特征和细节特征，

和

为增强后的上一帧的第一红外 图像的第一当前位置区的第一目标物体的基本特征和细节特征。

S23450：以当前帧和上一帧的第一红外图像的第一当前位置区的范围的并集生成当前帧的第一红外图像的第三调整后的第一当前位置区的范围。

S23460：根据当前帧和上一帧的第一红外图像的第一当前位置区的第一目标物体的特征增强结果，生成当前帧的第一红外图像的第三调整后的第一当前位置区的第一目标物体的特征。

示例地，利用式（13）生成当前帧的第一红外图像的第三调整后的第一当前位置区的第一目标物体的特征中的基本特征。

其中，

为当前帧的第一红外图像的一像素，

为像素

的第三调整后的基本特征，像素

在当前帧的第一红外图像中的增强的基 本特征为

，像素

在上一帧的第一红外图像中为

，在上一帧的第一红外图像中的增强的基本特征为

。

示例地，利用式（14）生成当前帧的第一红外图像的第三调整后的第一当前位置区的第一目标物体的特征中的细节特征。

其中，

为像素

的第三调整后的细节特征，

为细节增强参数，

为差异参数，像素

在当前帧的第一红外图像 中的增强的细节特征为

，像素

在上一帧的第一红外图 像中的增强的细节特征为

。

由上，第一目标物体在移动时会有部分的重叠，利用上一帧的信息可以增强当前帧的第一目标物体的特征。

S23470：根据当前帧的第一红外图像的第三调整后的第一当前位置区的第一目标物体的特征，重构第一红外图像的第三调整后的第一当前位置区。

示例地，利用式（15）重构当前帧的第一红外图像的第三调整后的第一当前位置区。

其中，

为当前帧的第一红外图像的第三调整后的第一当前 位置区，

为基本信息比例，

为背景信息比例。

由上，一种红外图像处理的方法实施例二的第一图像增强方法通过利用上一帧的第一红外图像对当前帧的第一红外图像的第一目标物体的特征进行增强，使当前帧的第一红外图像更加准确显示第一目标物体，

综上，继承一种红外图像处理的方法实施例一的方法，利用第二红外图像判断当前帧的第一红外图像内的第一当前位置区是否包含第一目标物体，当包含第一目标物体时，利用上一帧的第一红外图像和当前帧的第二红外图像对第一目标物体进行图像增强，从而去除噪音干扰，使当前帧的第一红外图像更加准确显示第一目标物体。

【一种红外图像处理的方法实施例三】

一种红外图像处理的方法实施例三在一种红外图像处理的方法实施例二的图像分割的基础上，增加基于可见光图像调整当前帧的第一红外图像的图像分割结构，使图像分割的结果更加准确，在一种红外图像处理的方法实施例二对第一当前位置区图像增强的基础上，还增加对当前帧的第一红外图像的第一原始位置区进行第二图像增强和对第一背景区进行第三图像处理，从而实现对当前帧的第一红外图像整体图像增强，过滤整个的噪声，更加准确显示第一目标物体。

图3A示出了一种红外图像处理的方法实施例三的流程，其包括步骤S310至S370。

S310：获取第一红外相机的包含当前帧的第一红外图像序列、第二红外相机的包含当前帧的第二红外图像序列和包含当前帧的可见光图像序列。

其中，本步骤在一种红外图像处理的方法实施例二的步骤S210的基础上，增加获得可见光图像序列。

S320：根据各图像序列，对各第一红外图像进行分割，还对当前帧的第二红外图像和可见光图像进行分割。

其中，本步骤使用一种红外图像处理的方法实施例一的步骤S110的方法进行上述分割，其具体方法和优点不再详述。

其中，如一种红外图像处理的方法实施例二的步骤S110，从当前帧的第一红外图像分割出其第一原始区、第一当前位置区、第一背景区，从上一帧的第一红外图像分割出其第一当前位置区，从当前帧的第二红外图像分割出其第二当前位置区。

其中，增加从非当前帧的各第一红外图像中分割出相应的第一背景区，用于当前帧的第一背景区的第三图像处理，还获得当前帧的可见光图像中第一移动物体的第三原始位置区，用于调整图像分割的结果。

S330：根据当前帧的可见光图像的第三原始位置区对当前帧的第一红外图像的第一原始位置区、第一背景区和第一当前位置区的边界进行第一调整。

其中，用第一调整后的结果相应替代当前帧的第一红外图像的第一原始位置区、第一背景区和第一当前位置区。

在本实施例中，移动物体在可见光中可见，由于可见光相机分辨率高，噪声小，因此可见光相机得到的第三原始位置区和红外相机得到的第一原始位置区会有不同。为了得到更具有参考意义的第一原始位置区，利用可见光得到的第三原始位置区对红外相机得到的第一原始位置区进行调整。

其中，调整的方法如式（16）：

调整后的当前帧的第一红外图像的第一原始位置区等于原第一原始区与当前帧的可见光图像的第三原始位置区的并集；

调整后的当前帧的第一红外图像的第一当前位置区为从原第一当前区减去其与当前帧的可见光图像的第三原始位置区交集；

调整后的当前帧的第一红外图像的第一背景位置区为从原第一背景区减去其与当前帧的可见光图像的第三原始位置区交集。

其中，

表示当前帧的第一红外图像的第一原始位置区，

表示当前帧的第一红外图像的第一当前位置区，

表示当前帧的第一红外图像 的第一背景区，

表示当前帧的可见光图像的第三原始位置区。

S340：对当前帧的第一红外图像的第一当前位置区进行第一图像增强。

其中，本步骤的详细方法和优点请参照一种红外图像处理的方法实施例二的步骤S230，这里不再详述。

S350：对当前帧的第一红外图像的第一原始位置区进行第二图像增强。

其中，本步骤的详细方法和优点请参照一种红外图像处理的方法实施例三的第二图像增强方法，这里不再详述。

S360：对各第一红外图像的第一背景区对当前帧的第一红外图像的第一背景区的各像素进行第三图像处理。

其中，本步骤的第三图像处理的方法包括：

分别获取当前帧的所述第一背景区的每个像素，并表示为第三像素。

获取第三像素的第一变化帧，其中，第三像素从其第一变化帧到当前帧都属于相应的第一红外图像的第一背景区，第三像素不属于其第一变化帧向后倒序的第一个帧的第一红外图像的第一背景区。

获得第三像素在从其第一变化帧到当前帧的各第一红外图像中的灰度值的加权和，并把该加权和作为当前帧的第一红外图像的第一背景区的第三像素的第三图像处理结果。其中，第三像素的灰度从其第一变化帧到当前帧的权值根据到当前帧的帧号差反向变化。

示例地，为了减小计算量，利用式（17）采用迭代的方法对当前帧的第一红外图像的第一背景区的像素进行第三图像处理。

包括定义帧间加权系数

，根据第一背景区的帧不变性对当前帧的第一红外 图像的第一背景区集合中各个像素点进行如下处理。

其中，

为第三像素，

表示当前帧，

为第三像素在当前帧经 过第三图像处理后的灰度，

为第三像素在上一帧经过第三图像处理后的灰 度，

为当第三像素未进行第三图像处理前的灰度，

为帧间加权系数。

为第 三像素从其第一变化帧到当前帧的帧数，当像素点

从不属于第一背景区变为属于 第一背景区内时，

，然后若一直属于第一背景区内时则随着帧数增加

逐渐累 加。

S370：利用形态学膨胀方法对当前帧的红外图像的第一原始位置区、第一背景区和第一当前位置区进行膨胀，并根据膨胀后的结果获得当前帧的第一红外图像各物体的边界。

其中，本步骤采用形态学膨胀方法对当前帧的第一红外图像的所述第一原始位置区、所述第一背景区和所述第一当前位置区进行调整，进一步降低噪声的影响，去除其中的空洞，确定第一红外图像中各物体的边界，更准确显示第一目标物体。具体方法和优点请参考了一种红外图像处理的实施例一的融合调整方法。

【一种红外图像处理的方法实施例三的第二图像增强方法】

图3B示出了一种红外图像处理的方法实施例三的第二图像增强方法的流程，其包括步骤S3510至S3570。

S3510：利用滤波核函数和FFT对当前帧的第一红外图像的第一原始位置区进行第二滤波。

其中，在设定的频域范围外，滤波核函数快速下降。

在一些实施例中，本步骤包括以下子步骤：

①利用式（18）对当前帧的第一红外图像的第一原始位置区进行FFT变换。

其中，

表示当前帧的第一红外图像的第一原始位置区的空间 像素集合，

表示经过FFT变换的当前帧的第一红外图像的第一原始位置 区的频域像素集合。

②利用滤波核函数对FFT变换结果进行频域滤波，示例地，滤波核函数为式（19）：

其中，

为滤波核函数，

，

为FFT变换后的频域横 坐标，

为FFT变换后的频域纵坐标，

为设定常数，

表示所述设定的频域范 围。设置合理的

提高空间噪声处理的效果，同时又不造成画面模糊，设置合理的横向频 域截止参数

控制频域范围，提高对第一红外图像中横条纹的处理能力，又保留横向细节 的信息。

③利用式（20）对频域滤波后的结果进行IFFT变换，获得第一滤波的结果。

其中，

表示第一滤波后的当前帧的红外图像的第一原始位置区的 空间像素集合。

由上，通过设置分段式滤波核函数，在设定的频域范围外，提高对图像中横条纹的 处理能力，又保留横向细节的信息，结合设置合理的

提高空间噪声处理的效果，同时又不 造成画面模糊，从而去除当前帧的红外图像的第一原始位置区的鬼影信息。

S3520：对当前帧的第一红外图像的第一原始位置区的进行第三滤波。

其中，第三滤波的方法至少包括下列二者一：均值法或中值法。在本实施例中，利用如式（21）所示中值法进行第二滤波。

其中，

表示第二滤波的结果。

S3530：把当前帧的第一红外图像的第一原始位置区划分为第一分区、第二分区和第三分区。

其中，各分区划分方法如下：

第一分区为当前帧的第一红外图像的第一调整前的第一原始位置区与当前帧的 可见光的第三原始位置区的交集，表示为

；

第二分区为当前帧的可见图像的第三原始位置区减去第一分区，即当前帧的第一 红外图像的第一原始位置区中属于当前帧的可见光的第三原始位置区、但不属于调整前的 第一红外图像的第一原始位置区的区域，表示为

；

第三区为调整前的当前帧的第一红外图像的第一原始位置区减去第一区，即当前 帧的红外图像的第一原始位置区中属于调整前的当前帧的第一红外图像的第一原始位置 区、但不属于当前帧的可见光图像的第三原始位置区的区域，表示为

。

S3540：对第二滤波结果和第三滤波结果，基于当前帧的第一红外图像的第一原始位置区的分区设置不同的分区权重。

示例地，设置第一权重参数，利用式（22）基于第一权重参数设置第一滤波结果的分区权重，第二滤波结果的分区权重等于1减去第一滤波结果的分区权重。

其中，

表示当前帧的第一红外图像的第一原始位置区的一像素，

表示 该像素的第一滤波结果的权重，

表示第一权重参数。

S3550：利用第二滤波结果和第三滤波结果，根据分区权重对当前帧的第一红外图像的第一原始位置区进行第二图像增强。

其中，利用式（23）根据分区权重对当前帧的第一红外图像的第一原始位置区进行第二图像增强。

其中，

表示像素

第二图像增强后的结果，

表示像素

第二滤波的结果，

表示像素

第三滤波的结果。

综上，一种红外图像处理的方法实施例三在一种红外图像处理的方法实施例二的图像分割的基础上，增加基于可见光图像调整当前帧的第一红外图像的图像分割，使图像分割的结果更加准确，在一种红外图像处理的方法实施例二对第一当前位置区图像增强的基础上又，增加对当前帧的第一红外图像的第一原始位置区进行第二图像增强和对第一背景区进行第三图像处理，从而实现对当前帧的第一红外图像整体图像增强，过滤整个的噪声，更加准确显示第一目标物体。

【一种红外图像处理的装置实施例一】

下面基于图4A至图4C介绍红外图像处理的装置实施例一。

一种红外图像处理的装置实施例一用于执行一种红外图像处理的方法实施例一的方法，图4A示出了其结构，包括图像获取模块410、图像分割模块420、第一滤波模块430、融合调整模块440。

图像获取模块410用于获取第一红外相机的包含当前帧的第一红外图像序列。其具体方法和优点参照一种红外图像处理的方法实施例一的步骤S110，这里不再详述。

图像分割模块420用于根据所述第一红外图像序列，对所述当前帧的第一红外图像进行分割，获得当前帧的第一红外图像的第一原始位置区、第一当前位置区和第一背景区。其具体方法和优点参照一种红外图像处理的方法实施例一的步骤S120，这里不再详述。

第一滤波模块430用于根据灰度相似度和距离相似度，对当前帧的第一红外图像的第一当前位置区按照第一滑窗的方式进行第一滤波。其具体方法和优点参照一种红外图像处理的方法实施例一的步骤S130，这里不再详述。

融合调整模块440利用形态学膨胀方法对当前帧的红外图像的第一原始位置区、第一背景区和第一当前位置区进行膨胀，并根据膨胀后的结果获得当前帧的第一红外图像中各物体的边界。其具体方法和优点参照一种红外图像处理的方法实施例一的步骤S140，这里不再详述。

需要强调的是，第一滤波模块430不仅用于当前帧的第一红外图像的第一当前位置区，也可以用于对其他帧的第一红外图像的第一当前位置区进行第一滤波，还可以用于对其他红外图像的各帧的第一当前位置区进行滤波，还可以用于红外图像的各帧的其他区域进行第一滤波。

【一种红外图像处理的装置实施例一的图像分割模块】

图4B示出了一种红外图像处理的装置实施例一的图像分割模块的结构，包括概率生成模块4210、标记生成模块4220、速度生成模块4230和区域分割模块4240。

概率生成模块4210用于根据第一红外图像序列，获得当前帧的红外图像的像素移动概率图。其具体方法和优点参照一种红外图像处理的方法实施例一的图像分割方法的步骤S1210，这里不再详述。

标记生成模块4220用于根据像素移动概率图，获得当前帧的第一红外图像的像素移动标记图。其具体方法和优点参照一种红外图像处理的方法实施例一的图像分割方法的步骤S1220，这里不再详述。

速度生成模块4230用于根据当前帧和其上一帧的第一红外图像以及当前帧的像素移动标记图，获得当前帧的第一红外图像的像素速度图。其具体方法和优点参照一种红外图像处理的方法实施例一的图像分割方法的步骤S1230，这里不再详述。

区域分割模块4240用于根据当前帧的第一红外图像的像素速度图和像素移动标记图，从当前帧的第一红外图像分割出其第一原始位置区、第一当前位置区和第一背景区。其具体方法和优点参照一种红外图像处理的方法实施例一的图像分割方法的步骤S1240，这里不再详述。

需要强调的是，一种红外图像处理的装置实施例一的图像分割模块不仅用于第一红外图像的分割，还也用于可见光图像的分割，还可以用于其他红外图像的分割，不仅可以当前帧的第一红外图像、可见光图像和其他红外图像分割，也可以对其他各帧的第一红外图像、可见光图像和其他红外图像分割。这里以对当前帧的第一红外图形进行分割为例，介绍其模块结构，对任意帧的其他图像的分割也是同样的模块结构。

【一种红外图像处理的装置实施例一的融合调整模块】

图4C示出了一种红外图像处理的装置实施例一的融合模块的结构，包括区域膨胀模块4410、区域合并模块4420、边界概率模块4430、边界确定模块4440。

区域膨胀模块4410用于利用形态学对当前帧的第一红外图像的第一原始位置区、第一背景区和第一当前位置区进行膨胀。其具体方法和优点参照一种红外图像处理的方法实施例一的融合调整方法的步骤S1410，这里不再详述。

区域合并模块4420用于对膨胀后的当前帧的第一红外图像的第一原始位置区、第一背景区和第一当前位置区进行合并，对重叠区域的像素基于重叠方的灰度值进行平滑。其具体方法和优点参照一种红外图像处理的方法实施例一的融合调整方法的步骤S1420，这里不再详述。

边界概率模块4430用于根据合并后的第一红外图像获得当前帧的红外图像的各像素的边界概率。其具体方法和优点参照一种红外图像处理的方法实施例一的融合调整方法的步骤S1430，这里不再详述。

边界确定模块4440用于根据边界概率获得当前帧的第一红外图像中各物体的边界。其具体方法和优点参照一种红外图像处理的方法实施例一的融合调整方法的步骤S1440，这里不再详述。

【一种红外图像处理的装置实施例二】

下面基于图5A至5D介绍一种红外图像处理的装置实施例二。

一种红外图像处理的装置实施例二用于执行一种红外图像处理的方法实施例二的方法，用第一图像增强模块替代一种红外图像处理的装置实施例一中第一滤波模块，对当前帧的第一红外图像的第一当前位置区进行增强。

图5A示出了一种红外图像处理的装置实施例二的结构，包括图像获取模块510、图像分割模块520、第一图像增强模块530、融合调整模块540。

图像获取模块510用于获取第一红外相机的包含当前帧的第一红外图像序列和第二红外相机的包含当前帧的第二红外图像序列。其具体方法和优点参照一种红外图像处理的方法实施例二的步骤S210，这里不再详述。

图像分割模块520用于根据各红外图像序列，获得当前帧的第一红外图像的第一原始位置区、第一当前位置区和第一背景区，还获得当前帧的第二红外图像的第二当前位置区和上一帧的第一红外图像的第一当前位置区。其具体方法和优点参照一种红外图像处理的方法实施例二的步骤S220，这里不再详述。

第一图像增强模块530用于对当前帧的第一红外图像的第一当前位置区进行第一图像增强。其具体方法和优点参照一种红外图像处理的方法实施例二的步骤S230，这里不再详述。

融合调整模块540用于利用形态学膨胀方法对当前帧的红外图像的第一原始位置区、第一背景区和第一当前位置区进行膨胀，并根据膨胀后的结果获得当前帧的第一红外图像中各物体的边界。其具体方法和优点参照一种红外图像处理的方法实施例二的步骤S240，这里不再详述。

【一种红外图像处理的装置实施例二的第一图像增强模块】

图5B示出了一种红外图像处理的装置实施例二的第一图像增强模块的结构，其包括第一滤波模块5310、第一判断模块5320、目标判断模块5330、第一增强模块5340，第一替代模块5350。

第一滤波模块5310用于根据灰度相似度和距离相似度按照第一滑窗的方式，对当前帧的第一红外图像的第一当前位置区、当前帧的第二红外图像的第二当前位置区和第二标记区、上一帧的第一红外图像的第一当前位置区、上一帧的第二红外图像的第二标记区进行第一滤波。其具体方法和优点参照一种红外图像处理的方法实施例二的第一图像增强方法的步骤S2310，这里不再详述。

第一判断模块5320用于判断当前帧的第一红外图像的第一当前位置区的连通域是否大于第一面积阈值。其具体方法和优点参照一种红外图像处理的方法实施例二的第一图像增强方法的步骤S2320，这里不再详述。

目标判断模块5330用于利用当前帧的第二红外图像的第二当前位置区和第二标记区，判断当前帧的第一红外图像的第一当前位置区是否包含第一目标物体。其具体方法和优点参照一种红外图像处理的方法实施例二的第一图像增强方法的步骤S2330，这里不再详述。

第一增强模块5340用于利用上一帧的第一红外图像的第一当前位置区对当前帧的第一红外图像的第一当前位置区进行第一增强。其具体方法和优点参照一种红外图像处理的方法实施例二的第一图像增强方法的步骤S2340，这里不再详述。

第一替代模块5350用于利用第一滤波结果或第一增强结果替代当前帧的第一红外图像的第一当前区域。其具体方法和优点参照一种红外图像处理的方法实施例二的第一图像增强方法的步骤S2350，这里不再详述。

【一种红外图像处理的装置实施例二的目标判读模块】

图5C示出了一种红外图像处理的装置实施例二的第一图像增强模块的结果，其包括第二判断模块53310、第二调整模块53320、交并计算模块53330和第三判断模块53340。

第二判断模块53310用于判断当前帧的第一红外图像的第一当前位置区的连通域面积是否小于第二面积阈值。其具体方法和优点参照一种红外图像处理的方法实施例二的目标判断方法的步骤S23310，这里不再详述。

第二调整模块53320用于根据形态学的膨胀方法分别对当前帧的第一红外图像的第一当前位置区、当前帧的第二红外图像的第二当前位置区和第二标记区进行第二调整。其具体方法和优点参照一种红外图像处理的方法实施例二的目标判断方法的步骤S23320，这里不再详述。

交并计算模块53330用于获得当前帧的第二红外图像的第二当前位置区和第二标记区的交并集的像素数量比。其具体方法和优点参照一种红外图像处理的方法实施例二的目标判断方法的步骤S23330，这里不再详述。

第三判断模块53340用于根据当前帧的第二红外图像的第二当前位置区和第二标记区的交并集的像素数量比判断当前帧的第一红外图像的第一当前位置区是否包含第一目标物体。其具体方法和优点参照一种红外图像处理的方法实施例二的目标判断方法的步骤S23340，这里不再详述。

【一种红外图像处理的装置实施例二的第一增强模块】

图5D示出了一种红外图像处理的装置实施例二的第一图像增强模块的结果，其包括归一化模块53410、背景过滤模块53420、特征提取模块53430、特征增强模块53440、当前合并模块53450、特征调整模块53460、区域还原模块53470。

其中，归一化模块53410、背景过滤模块53420和特征提取模块53430组成特征获得模块，特征增强模块53440、当前合并模块53450、特征调整模块53460和区域还原模块53470组成第三调整模块。

归一化模块53410用于对当前帧与上一帧的第一红外图像的第一当前位置区和当前帧的第二红外图像的第二标记区的第一滤波结果进行归一化。其具体方法和优点参照一种红外图像处理的方法实施例二的第一增强方法的步骤S23410，这里不再详述。

背景过滤模块53420用于以当前帧和上一帧的第二红外图像的第二标记区的归一化的结果为背景噪声，分别对当前帧和上一帧的第一红外图像的第一当前位置区的归一化的结果进行背景过滤。其具体方法和优点参照一种红外图像处理的方法实施例二的第一增强方法的步骤S23420，这里不再详述。

特征提取模块53430用于根据当前帧和上一帧的背景过滤的结果，分别获得当前帧和上一帧的第一红外图像的第一当前位置区的第一目标物体的特征。其具体方法和优点参照一种红外图像处理的方法实施例二的第一增强方法的步骤S23430，这里不再详述。

特征增强模块53440用于分别对当前帧和上一帧的第一红外图像的第一当前位置区的第一目标物体的特征进行特征增强。其具体方法和优点参照一种红外图像处理的方法实施例二的第一增强方法的步骤S23440，这里不再详述。

当前合并模块53450用于以当前帧和上一帧的第一红外图像的第一当前位置区的范围的并集生成当前帧的第一红外图像的第三调整后的第一当前位置区的范围。其具体方法和优点参照一种红外图像处理的方法实施例二的第一增强方法的步骤S23450，这里不再详述。

特征调整模块53460用于根据当前帧和上一帧的第一红外图像的第一当前位置区的第一目标物体的特征增强结果，生成当前帧的第一红外图像的第三调整后的第一当前位置区的第一目标物体的特征。其具体方法和优点参照一种红外图像处理的方法实施例二的第一增强方法的步骤S23460，这里不再详述。

区域还原模块53470用于根据当前帧的第一红外图像的第三调整后的第一当前位置区的第一目标物体的特征，重构第一红外图像的第三调整后的第一当前位置区。其具体方法和优点参照一种红外图像处理的方法实施例二的第一增强方法的步骤S23470，这里不再详述。

【一种红外图像处理的装置实施例三】

下面基于图6A和图6B介绍一种红外图像处理的装置实施例三。

一种红外图像处理的装置实施例三用于执行一种红外图像处理的方法实施例三的方法，在一种红外图像处理的装置实施例二的基础上增加了第二图像增强模块和第三图像处理模块，分别用于当前帧的第一原始位置区与第一背景位置区进行图像增强。

图6A示出了一种红外图像处理的装置实施例三的结构，包括图像获取模块610、图像分割模块620、第一调整模块630、第一图像增强模块640、第二图像增强模块650、第三图像处理模块660、融合调整模块670。

图像获取模块610用于获取第一红外相机的包含当前帧的第一红外图像序列、第二红外相机的包含当前帧的第二红外图像序列和包含当前帧的可见光图像序列。其具体方法和优点参照一种红外图像处理的方法实施例三的步骤S310，这里不再详述。

图像分割模块620用于根据各图像序列，对各第一红外图像进行分割，还对当前帧的第二红外图像和可见光图像进行分割。其具体方法和优点参照一种红外图像处理的方法实施例三的步骤S320，这里不再详述。

第一调整模块630用于根据当前帧的可见光图像的第三原始位置区对当前帧的第一红外图像的第一原始位置区、第一背景区和第一当前位置区的边界进行第一调整。其具体方法和优点参照一种红外图像处理的方法实施例三的步骤S330，这里不再详述。

第一调整模块630还用于把当前帧的第一红外图像的第一原始位置区划分为第一分区、第二分区和第三分区。其具体方法和优点参照一种红外图像处理的方法实施例三的第二图像增强方法的步骤S3530，这里不再详述。

第一图像增强模块640用于对当前帧的第一红外图像的第一当前位置区进行第一图像增强。其具体方法和优点参照一种红外图像处理的方法实施例三的步骤S340，这里不再详述。

第二图像增强模块650用于对当前帧的第一红外图像的第一原始位置区进行第二图像增强。其具体方法和优点参照一种红外图像处理的方法实施例三的步骤S350，这里不再详述。

第三图像处理模块660用于根据各第一红外图像的第一背景区对当前帧的第一红外图像的第一背景区的各像素进行第三图像处理。其具体方法和优点参照一种红外图像处理的方法实施例三的步骤S360，这里不再详述。

融合调整模块670用于利用形态学膨胀方法对当前帧的红外图像的第一原始位置区、第一背景区和第一当前位置区进行膨胀，并根据膨胀后的结果获得当前帧的第一红外图像中各物体的边界。其具体方法和优点参照一种红外图像处理的方法实施例三的步骤S370，这里不再详述。

【一种红外图像处理的装置实施例三的第二图像增强模块】

图6A示出了一种红外图像处理的装置实施例三的第二图像增强模块的结构，包括第二滤波模块6510、第三滤波模块6520、第二增强模块6530。

第二滤波模块6510用于利用滤波核函数和FFT对当前帧的第一红外图像的第一原始位置区进行第二滤波。其具体方法和优点参照一种红外图像处理的方法实施例三的第二图像增强方法的步骤S3510，这里不再详述。

第三滤波模块6520用于对当前帧的第一红外图像的第一原始位置区的进行第三滤波。其具体方法和优点参照一种红外图像处理的方法实施例三的第二图像增强方法的步骤S3530，这里不再详述。

第二增强模块6530用于对第二滤波结果和第三滤波结果，基于当前帧的第一红外图像的第一原始位置区的分区设置不同的分区权重。其具体方法和优点参照一种红外图像处理的方法实施例三的第二图像增强方法的步骤S3540，这里不再详述。

第二增强模块6530还用于利用第一滤波结果和第二滤波结果，根据分区权重对当前帧的第一红外图像的第一原始位置区进行第二图像增强。其具体方法和优点参照一种红外图像处理的方法实施例三的第二图像增强方法的步骤S3550，这里不再详述。

【计算设备】

本发明还提供的一种计算设备，下面基于图7详细介绍。

该计算设备700包括，处理器710、存储器720、通信接口730、总线740。

应理解，该图所示的计算设备700中的通信接口730可以用于与其他设备之间进行通信。

其中，该处理器710可以与存储器720连接。该存储器720可以用于存储该程序代码和数据。因此，该存储器720可以是处理器710内部的存储单元，也可以是与处理器710独立的外部存储单元，还可以是包括处理器710内部的存储单元和与处理器710独立的外部存储单元的部件。

可选的，计算设备700还可以包括总线740。其中，存储器720、通信接口730可以通过总线740与处理器710连接。总线740可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(EFStended Industry StandardArchitecture，EISA)总线等。所述总线740可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条线表示，但并不表示仅有一根总线或一类型型的总线。

应理解，在本发明实施例中，该处理器710可以采用中央处理单元(centralprocessing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器710采用一个或多个集成电路，用于执行相关程序，以实现本发明各方法实施例的功能。

该存储器720可以包括只读存储器和随机存取存储器，并向处理器710提供指令和数据。处理器710的一部分还可以包括非易失性随机存取存储器。例如，处理器710还可以存储设备类型的信息。

在计算设备700运行时，所述处理器710执行所述存储器720中的计算机执行指令执行的本发明各方法实施例的功能。

应理解，根据本发明实施例的计算设备700可以对应于执行根据本发明各实施例的方法中的相应主体，并且计算设备700中的各个模块的上述和其它操作和/或功能分别为了实现本发明各方法实施例的功能，为了简洁，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

【计算介质】

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于本发明各方法实施例的功能。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括，具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意类型的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，均属于本发明保护范畴。

Claims (20)

1.一种红外图像处理的方法，其特征在于，包括：

获取第一红外相机的包含当前帧的第一红外图像序列；

根据所述第一红外图像序列，对所述当前帧的第一红外图像进行分割，获得其第一原始位置区、其第一当前位置区和其第一背景区，其中，所述第一当前位置区为第一红外图像中的第一移动物体当前所在区域，所述第一原始位置区为第一红外图像中的第一移动物体经过其他区域，所述第一背景区为第一红外图像中的第一移动物体未经过的区域，所述第一移动物体包括第一目标物体，所述第一目标物体为所述第一红外相机检测的目标；

根据灰度相似度和距离相似度，对所述当前帧的所述第一当前位置区按照第一滑窗的方式进行第一滤波，所述第一滑窗的维度包括像素空间的两个维度和图像的帧号维度。

2.根据权利要求1所述方法，其特征在于，在进行所述第一滤波之前，还包括：

获取可见光相机的包含所述当前帧的可见光图像序列；

根据所述可见光图像序列，利用获得所述当前帧的所述第一原始位置区的方法，获得所述当前帧的可见光图像的第三原始位置区，所述第三原始位置区为可见图像中的第一移动物体经过且不包括当前位置的其他区域；

根据所述第三原始位置区，对所述当前帧的所述第一原始位置区、所述第一背景区和所述第一当前位置区的边界进行第一调整；

用所述第一调整后的结果替代所述当前帧的所述第一原始位置区、所述第一背景区和所述第一当前位置区。

3.根据权利要求1或2所述方法，其特征在于，当所述当前帧的所述第一当前位置区的连通域大于第一面积阈值时，还包括：

获取第二红外相机的包含所述当前帧的第二红外图像序列；

根据所述第二红外图像序列，利用所述当前帧的第一红外图像的所述分割的方法，获得所述当前帧的第二红外图像的第二当前位置区，所述当前位置区为所述当前帧的第二红外图像中第二移动物体当前所在区域；

利用所述当前帧的所述第二当前位置区和所述当前帧的第二红外图像的第二标记区的交并集的像素数量比，判断所述当前帧的所述第一当前位置区是否包含所述第一目标物体，所述第二标记区为第一红外图像的所述第一当前位置区在相同帧的第二红外图像的投影；

当所述当前帧的所述第一当前位置区包含所述第一目标物体时，根据所述当前帧的上一帧的第一红外图像的所述第一当前位置区，对所述当前帧的所述第一当前位置区进行第一图像增强，所述上一帧的所述第一当前位置区利用获得所述当前帧的所述第一当前位置区的方法获得。

4.根据权利要求3所述方法，其特征在于，所述对所述当前帧的所述第一当前位置区进行第一图像增强，包括：

利用获得所述当前帧的所述第一当前位置区的方法，获得所述上一帧的所述第一当前位置区；

利用所述当前帧的所述第一当前位置区的所述第一滤波的方法，获得所述上一帧的所述第一当前位置区和所述第二标记区的所述第一滤波结果；

根据所述当前帧的所述第一当前位置区的背景滤波结果，获得所述当前帧的所述第一当前位置区的所述第一目标物体的特征，所述特征包括基本特征和细节特征，所述当前帧的所述第一当前位置区的所述背景滤波结果以所述当前帧的所述第二标记区为背景噪声进行滤波得到的结果；

根据所述上一帧的所述第一当前位置区和所述第二标记区的所述第一滤波结果，利用获得所述当前帧的所述特征的方法，获得所述上一帧的所述第一当前位置区的所述第一目标物体的所述特征；

根据所述当前帧和所述上一帧的所述第一目标物体的所述特征，对所述当前帧的所述第一当前位置区的图像进行第三调整。

5.根据权利要求4所述方法，其特征在于，所述对所述当前帧的所述第一当前位置区的图像进行第三调整，包括：

对所述当前帧和所述上一帧的所述特征进行特征增强，其中，对所述细节特征进行拉普拉斯增强方法特征增强；

以所述当前帧和所述上一帧的所述第一当前位置区的范围的并集生成所述当前帧的所述第三调整后的所述第一当前位置区的范围；

根据所述当前帧和所述上一帧的所述特征的所述特征增强结果生成所述当前帧的所述第三调整后的所述第一当前位置区的所述特征；

根据所述当前帧的所述第三调整后的所述第一当前位置区的所述特征重构所述当前帧的所述第三调整后的所述第一当前位置区。

6.根据权利要求1或2或4或5任一项所述方法，其特征在于，所述对所述当前帧的所述第一当前位置区按照第一滑窗的方式进行第一滤波，包括：

分别获取所述当前帧的所述第一当前位置区的每个像素，表示为第一像素；

设置所述第一像素的第一滑窗，其中，所述第一滑窗的像素空间位置的中心为所述第一像素，所述第一滑窗的最大图像帧号为所述当前帧的帧号；

获得所述第一滑窗内的各第二像素与所述第一像素的所述灰度相似度和所述距离相似度，其中，所述第二像素为所述第一滑窗内任一其他像素，二个像素之间的所述灰度相似度与该两个像素之间灰度差绝对值反向变化，两个像素之间的所述距离相似度与该两个像素在所述第一滑窗内的三维距离反向变化，且在设定范围之外设置0；

以各所述第二像素与所述第一像素的所述灰度相似度和所述距离相似度的乘积为权值，对所述第一滑窗内各所述第二像素的灰度进行加权求和，并把所述加权求和的结果作所述第一像素的所述第一滤波的结果。

7.根据权利要求2所述方法，其特征在于，还包括：

通过对比所述第三原始位置区和所述当前帧的所述第一原始位置区，把所述当前帧的所述第一原始位置区划分为不同的分区；

利用滤波核函数和FFT变换对所述当前帧的所述第一原始位置区进行第二滤波，其中，在设定的频域范围外，所述滤波核函数快速下降；

利用均值法或中值法对所述当前帧的所述第一原始位置区进行第三滤波；

对所述第二滤波结果和所述第三滤波结果在所述当前帧的所述不同分区中设置不同的分区权重；

通过对所述不同分区的所述第二滤波结果和所述第三滤波结果根据所述分区权重加权求和，对所述当前帧的所述第一原始位置区的进行图像增强。

8.根据权利要求1或2所述方法，其特征在于，还包括：

利用获得所述当前帧的所述第一背景区的方法，获得所述第一红外图像序列的各第一红外图像的所述第一背景区；

根据所述各第一红外图像的所述第一背景区，对所述当前帧的所述第一背景区的各像素灰度进行第三图像处理，并把所述第三图像处理的结果作为所述当前帧的所述第一背景区的相应像素的灰度值。

9.根据权利要求1或2所述方法，其特征在于，还包括：

利用形态学对所述当前帧的第一红外图像的所述第一原始位置区、所述第一背景区和所述第一当前位置区进行膨胀；

对所述膨胀后的所述第一原始位置区、所述第一背景区和所述第一当前位置区进行合并，其中，对重叠区域的像素基于重叠方的灰度值进行平滑；

根据所述合并后的第一红外图像获得所述当前帧的第一红外图像的各像素的边界概率，其中，当一像素的边界概率越大，该像素为区域边界的概率越大，分别以所述当前帧的红外图像的每个像素为第一窗口的中心，一像素的所述边界概率等于各第四像素的像素差异度的和，所述第四像素为以所述一像素为中心的所述第一窗口内的任一其他像素，所述第四像素的像素差异度基于该第四像素与所述第一窗口中心的距离、该第四像素与所述第一窗口中心的灰度差的绝对值而确定；

根据所述边界概率，获得所述当前帧的第一红外图像中各物体的边界。

10.根据权利要求1所述方法，其特征在于，所述获得所述当前帧的第一红外图像的第一目标物体的第一原始位置区、第一背景区和第一目标物体的第一当前位置区，包括：

根据所述第一红外图像序列，获得所述当前帧的第一红外图像的像素移动概率图，其中，所述像素移动概率图用于表示各像素体的移动概率；

根据所述像素移动概率图，获得所述当前帧的第一红外图像的像素移动标记图，其中，所述像素移动标记图用于标记各像素是否移动；

根据所述当前帧和其上一帧的第一红外图像和所述像素移动标记图，获得所述当前帧的第一红外图像的像素速度图，其中，所述像素速度图表示各像素体的移动速度；

根据所述像素速度图和所述像素移动标记图，从所述当前帧的第一红外图像分割出其所述第一原始位置区、其所述第一背景区和其所述第一当前位置区，其中，当所述像素移动标记图中一像素的所述移动标记为移动且所述像素速度图中该像素的所述移动速度大于速度阈值时，该像素属于所述第一当前位置区，

当所述像素移动标记图中一像素的所述移动标记为移动且所述像素速度图中该像素的所述移动速度不大于速度阈值时，该像素属于所述第一原始位置区；

当所述像素移动标记图中一像素的所述移动标记为不移动时，该像素属于所述第一背景区。

11.一种红外图像处理的装置，其特征在于，包括：

图像获取模块，用于获取第一红外相机的包含当前帧的第一红外图像序列；

图像分割模块，用于根据所述第一红外图像序列，对所述当前帧的第一红外图像进行分割，获得其第一原始位置区、其第一当前位置区和其第一背景区，其中，所述第一当前位置区为第一红外图像中的第一移动物体当前所在区域，所述第一原始位置区为第一红外图像中的第一移动物体经过其他区域，所述第一背景区为第一红外图像中的第一移动物体未经过的区域，所述第一移动物体包括第一目标物体，所述第一目标物体为所述第一红外相机检测的目标；

第一滤波模块，用于根据灰度相似度和距离相似度，对所述当前帧的所述第一当前位置区按照第一滑窗的方式进行第一滤波，所述第一滑窗的维度包括像素空间的两个维度和图像的帧号维度。

12.根据权利要求11所述装置，其特征在于，

所述图像获取模块还用于获取可见光相机的包含所述当前帧的可见光图像序列；

所述图像分割模块还用于根据所述可见光图像序列，利用获得所述当前帧的所述第一原始位置区的方法，获得所述当前帧的可见光图像的第三原始位置区，所述第三原始位置区为可见图像中的第一移动物体经过且不包括当前位置的其他区域；

所述装置还包括第一调整模块，用于在进行所述第一滤波之前根据所述第三原始位置区，对所述当前帧的所述第一原始位置区、所述第一背景区和所述第一当前位置区的边界进行第一调整；

所述第一调整模块还用于用所述第一调整后的结果替代所述当前帧的所述第一原始位置区、所述第一背景区和所述第一当前位置区。

13.根据权利要求11或12所述装置，其特征在于，

所述图像获取模块还用于获取第二红外相机的包含所述当前帧的第二红外图像序列；

所述图像分割模块还用于根据所述第二红外图像序列，利用所述当前帧的第一红外图像的所述分割的方法，获得所述当前帧的第二红外图像的第二当前位置区，所述当前位置区为所述当前帧的第二红外图像中第二移动物体当前所在区域；

所述装置还包括目标判断模块，用于当所述当前帧的所述第一当前位置区的连通域大于第一面积阈值时，利用所述当前帧的所述第二当前位置区和所述当前帧的第二红外图像的第二标记区的交并集的像素数量比，判断所述当前帧的所述第一当前位置区是否包含所述第一目标物体，所述第二标记区为第一红外图像的所述第一当前位置区在相同帧的第二红外图像上的投影；

所述装置还包括第一增强模块，用于当所述当前帧的所述第一当前位置区包含所述第一目标物体时，根据所述当前帧的上一帧的第一红外图像的所述第一当前位置区，对所述当前帧的所述第一当前位置区进行第一图像增强，所述上一帧的所述第一当前位置区利用获得所述当前帧的所述第一当前位置区的方法获得。

14.根据权利要求13所述装置，其特征在于，

所述图像分割模块还用于利用获得所述当前帧的所述第一当前位置区的方法，获得所述当前帧的上一帧的第一红外图像的所述第一当前位置区；

所述第一滤波模块还用于利用所述当前帧的所述第一当前位置区的所述第一滤波的方法，获得所述上一帧的所述第一当前位置区和所述第二标记区的所述第一滤波结果；

所述第一增强模块包括特征获得模块，用于根据所述当前帧的所述第一当前位置区的背景滤波结果，获得所述当前帧的所述第一当前位置区的所述第一目标物体的特征，所述特征包括基本特征和细节特征，所述当前帧的所述第一当前位置区的所述背景滤波结果以所述当前帧的所述第二标记区为背景噪声进行滤波得到的结果；

所述特征获得模块还用于根据所述上一帧的所述第一当前位置区和所述第二标记区的所述第一滤波结果，利用获得所述当前帧的所述特征的方法，获得所述上一帧的所述第一当前位置区的所述第一目标物体的所述特征；

所述第一增强模块还包括第三调整模块，用于根据所述当前帧和所述上一帧的所述第一目标物体的所述特征，对所述当前帧的所述第一当前位置区的图像进行第三调整。

15.根据权利要求14所述装置，其特征在于，所述第三调整模块包括：

特征增强模块，用于对所述当前帧和所述上一帧的所述特征进行特征增强，其中，对所述细节特征进行拉普拉斯增强方法特征增强；

当前合并模块，用于以所述当前帧和所述上一帧的所述第一当前位置区的范围的并集生成所述当前帧的所述第三调整后的所述第一当前位置区的范围；

特征调整模块，用于根据所述当前帧和所述上一帧的所述特征的所述特征增强结果生成所述当前帧的所述第三调整后的所述第一当前位置区的所述特征；

区域还原模块，用于根据所述当前帧的所述第三调整后的所述第一当前位置区的所述特征重构所述当前帧的所述第三调整后的所述第一当前位置区。

16.根据权利要求11或12或14或15任一项所述装置，其特征在于，所述第一滤波模块对所述当前帧的所述第一当前位置区按照第一滑窗的方式进行第一滤波时，具体用于：

分别获取所述当前帧的所述第一当前位置区的每个像素，表示为第一像素；

设置所述第一像素的第一滑窗，其中，所述第一滑窗的像素空间位置的中心为所述第一像素，所述第一滑窗的最大图像帧号为所述当前帧的帧号；

获得所述第一滑窗内的各第二像素与所述第一像素的所述灰度相似度和所述距离相似度，其中，所述第二像素为所述第一滑窗内任一其他像素，二个像素之间的所述灰度相似度与该两个像素之间灰度差绝对值反向变化，两个像素之间的所述距离相似度与该两个像素在所述第一滑窗内的三维距离反向变化，且在设定范围之外设置0；

以各所述第二像素与所述第一像素的所述灰度相似度和所述距离相似度的乘积为权值，对所述第一滑窗内各所述第二像素的灰度进行加权求和，并把所述加权求和的结果作所述第一像素的所述第一滤波的结果。

17.根据权利要求12所述装置，其特征在于，

所述第一调整模块，还用于通过对比所述第三原始位置区和所述当前帧的所述第一原始位置区，把所述当前帧的所述第一原始位置区划分为不同的分区；

所述装置还包括第二增强模块，所述第二增强模块用于利用滤波核函数和FFT变换对所述当前帧的所述第一原始位置区进行第二滤波，其中，在设定的频域范围外，所述滤波核函数快速下降；

所述第二增强模块还用于利用均值法或中值法对所述当前帧的所述第一原始位置区进行第三滤波；

所述第二增强模块还用于对所述第二滤波结果和所述第三滤波结果在所述当前帧的所述不同分区中设置不同的分区权重；

所述第二增强模块还用于通过对所述不同分区的所述第二滤波结果和所述第三滤波结果根据所述分区权重加权求和，对所述当前帧的所述第一原始位置区的进行第二图像增强。

18.根据权利要求11或12所述装置，其特征在于，

所述图像分割模块还用于利用获得所述当前帧的所述第一背景区的方法，获得所述第一红外图像序列的各第一红外图像的所述第一背景区；

所述装置还包括第三增强模块，用于根据所述各第一红外图像的所述第一背景区，对所述当前帧的所述第一背景区的各像素灰度进行第三图像处理，并把所述第三图像处理的结果作为所述当前帧的所述第一背景区的相应像素的灰度值。

19.根据权利要求11或12所述装置，其特征在于，还包括：

区域膨胀模块，用于利用形态学对所述当前帧的第一红外图像的所述第一原始位置区、所述第一背景区和所述第一当前位置区进行膨胀；

区域合并模块，用于对所述膨胀后的所述第一原始位置区、所述第一背景区和所述第一当前位置区进行合并，其中，对重叠区域的像素基于重叠方的灰度值进行平滑；

边界概率模块，用于根据所述合并后的第一红外图像获得所述当前帧的第一红外图像的各像素的边界概率，其中，当一像素的边界概率越大，该像素为区域边界的概率越大；

边界确定模块，用于根据所述边界概率获得所述当前帧的第一红外图像中各物体的边界。

20.根据权利要求11或12所述装置，其特征在于，所述图像分割模块，包括：

概率生成模块，用于根据所述第一红外图像序列，获得所述当前帧的第一红外图像的像素移动概率图，其中，所述像素移动概率图用于表示各像素体的移动概率；

标记生成模块，用于根据所述像素移动概率图，获得所述当前帧的第一红外图像的像素移动标记图，其中，所述像素移动标记图用于标记各像素是否移动；

速度生成模块，用于根据所述当前帧和其上一帧的第一红外图像和所述像素移动标记图，获得所述当前帧的第一红外图像的像素速度图，其中，所述像素速度图表示各像素体的移动速度；

区域分割模块，用于根据所述像素速度图和所述像素移动标记图，从所述当前帧的第一红外图像分割出其所述第一原始位置区、其所述第一背景区和其所述第一当前位置区，其中，当所述像素移动标记图中一像素的所述移动标记为移动且所述像素速度图中该像素的所述移动速度大于速度阈值时，该像素属于所述第一当前位置区，

当所述像素移动标记图中一像素的所述移动标记为移动且所述像素速度图中该像素的所述移动速度不大于速度阈值时，该像素属于所述第一原始位置区，

当所述像素移动标记图中一像素的所述移动标记为不移动时，该像素属于所述第一背景区。

Images