CN104853064A - 基于红外热像仪的电子稳像方法 - Google Patents

Abstract

本发明公开了一种基于红外热像仪的电子稳像方法，步骤包括：预处理、运动估计、运动滤波、运动补偿和图像输出。通过上述方式，本发明基于红外热像仪的电子稳像方法，不仅节约设备成本，而且利用角点检测结合光流法进行运动估计，并对图像运动轨迹进行平滑，有效改善图像抖动，提高了防抖效果。

Description

基于红外热像仪的电子稳像方法

技术领域

本发明涉及电子稳像领域，特别是涉及一种基于红外热像仪的电子稳像方法。

背景技术

手持式红外热像仪一般用于实现目标的观察、跟踪等任务，所以在图像的输出要求上，需要具有较好的稳定性，即在稳像上的性能要求很高。

电子稳像也叫电子防抖，一般的稳像有光学，机械和电子几种方法，但是光学和机械方法需要大量的专业设备，具有较高的成本，电子稳像虽然不需任何设备，但是目前的电子稳像的效果都比较差，不方便使用，所以人们需要更加满足要求的电子稳像方法。

发明内容

本发明主要解决的技术问题是提供一种基于红外热像仪的电子稳像方法，具有可靠性能高、成本低、精度高、效果好等优点，同时在电子稳像的应用及普及上有着广泛的市场前景。

为解决上述技术问题，本发明采用的一个技术方案是：

提供一种基于红外热像仪的电子稳像方法，其步骤包括：

预处理：获取红外热像仪中的图像，用中值滤波去除噪声，并采用拉普拉斯算子对图像进行锐化；

运动估计：1.读取图像的当前帧和当前帧的前一帧，并对当前帧图像和前一帧图像进行去噪和锐化；2.在前一帧图像中，采用harris角点检测方法，利用图像的灰度变化率确定角点的坐标；3.根据计算得到的前一帧图像上的角点的坐标，利用金字塔LK光流法计算当前帧图像上的角点坐标；4.获取当前帧图像和前一帧图像上的角点集合，根据前后帧对应的角点，建立两帧的映射方程，每一对匹配的角点都可以得出一个包含图像平移和旋转的运动方程，然后采取了N(N>=2)对角点，采用最小二乘法得到前后两帧图像的最优的运动估计矢量；

运动滤波：根据各个图像帧中角点的坐标以及最优的运动矢量，采用卡尔曼滤波的方法，预测当前帧图像的后一帧图像中的角点位置坐标、角点移动的速度及方向，得到平滑后的运动矢量，即图像旋转矩阵A和图像平移矩阵B；

运动补偿：1.仿射变换：获取经过运动滤波的图像帧；读取第一帧作为基准图像，将第二帧图像根据卡尔曼滤波得到的图像旋转矩阵A和图像平移矩阵B向第一帧图像做配准，并进行显示；再以配准后第二帧图像做基准，第三帧图像根据卡尔曼滤波得到矩阵A和矩阵B向第二帧图像做配准，并进行显示；按照上述步骤将所有的图像帧进行配准并显示；2. 空间变换：将图像的像素通过变换映射到了新的坐标位置，然后用灰度级的双线性插值算法对像素的新坐标位置进行计算，消除锯齿；将系统的运动速度及方向作为运动补偿的输入

图像输出：将运动补偿后输出的图像进行显示。

在本发明一个较佳实施例中，所述利用图像的灰度变化率确定角点的坐标的具体步骤包括：

A.设置角点值的阈值，利用水平和垂直差分算子对图像的每个像素进行滤波，求得像素的X轴坐标I_x和Y轴坐标I_y，进而求得坐标矩阵M中每个元素的值：

        (1)

            (2)

                              (3)

B. 利用离散二维零均值高斯函数对坐标矩阵M的四个元素进行高斯平滑滤波，得到新的坐标矩阵M1，离散二维零均值高斯函数为:

   (4)

C.接下来利用M1计算每个像素的角点值cim:

      (5)

D.当一个像素的角点值大于某一阈值，且同时像素的角点值是某个邻域内的局部最大值时，则这个像素确认为角点，其中，领域是指以该像素为中心点的图像区域。

在本发明一个较佳实施例中，所述利用金字塔LK光流法计算当前帧图像上的角点坐标的具体步骤包括：

对于连续两幅图像中的像素坐标集合I(x,y)和J(x,y)，特征跟踪找到像素坐标集合I(x,y)上的一点u=（Ux,Uy），并在图像J(x,y)上找到具有相似图像强度的另外一个点u+d = (Ux+dx, Uy+dy),其中d为u点的平移量。光流即为不同图像区域之间产生的最佳拟合的唯一，定义灰度时间微分 ,定义空间梯度矩阵G为：

    (6)

      其中，W指的是以u为中心，在图像上建立（2w_x+1，2w_y+1）的对应的区域窗口，并设误匹配矢量b为:                 

        (7)

    则由LK光流方程计算得到最优的矢量解d_opt为：

            (8)。

在本发明一个较佳实施例中，所述得到角点的最优的运动矢量的具体步骤包括：

因为所述运动矢量包括图像在x轴、y轴方向上的大小以及图像的旋转角度，所以得到图像的全局运动方程为：               

                       (9)

且旋转角度 ，则a=cosα，b=sinα，

则该公式可以改写为：

                           , i=1,2,3…n      (10)

上式中，, , , 已知，为前后帧对应的角点坐标，a,b,dx,dy未知，两对对应点就可以确定，一般可找到大于两对，公式（10）是超定方程组 ，使用最小二乘法就可以求解。

在本发明一个较佳实施例中，所述运动滤波的具体步骤包括：

1.对转移矩阵、测量矩阵、过程噪声协方差矩阵、测量噪声协方差矩阵、后验错误协方差矩阵、前一状态校正后的值和当前观察值进行初始化；

2.预测状态：公式如下:，在预测阶段，滤波器使用上一状态的估计，做出对当前状态的估计， 其中x(k-1)为前一状态的校正值，第一个循环中在初始化过程中已经给定了，A,B,u(k),也都是给定了的值，这样经过过计算就得到了系统状态的预测值x'(k)了；

3.调用卡尔曼算法中correct方法得到加入观察值校正后的状态变量值矩阵，其公式为：

，其中x'(k)为步骤二算出的结果，z(k)为当前测量值，H为卡尔曼滤波初始化给定的测量矩阵，K(k)为卡尔曼增益，其计算公式为：，则重新获得了这一时刻的校正值，然后不断循环步骤二和步骤三即可完成卡尔曼滤波过程。

本发明的有益效果是：不仅节约设备成本，而且利用角点检测结合光流法进行运动估计，并对图像运动轨迹进行平滑，有效改善图像抖动，提高了防抖效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：

图1是本发明的基于红外热像仪的电子稳像方法一较佳实施例的结构示意图；

图2是本发明的基于红外热像仪的电子稳像方法一较佳实施例的流程示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-2，本发明实施例包括：

一种基于红外热像仪的电子稳像方法，其步骤包括：

一.预处理：获取红外热像仪中的图像，用中值滤波去除噪声，并采用拉普拉斯算子对图像进行锐化。

二.运动估计：

1.读取图像的当前帧和当前帧的前一帧，并对当前帧图像和前一帧图像进行去噪和锐化。

2.在前一帧图像中，采用harris角点检测方法，利用图像的灰度变化率确定角点的坐标，具体步骤包括：

A.设置角点值的阈值，利用水平和垂直差分算子对图像的每个像素进行滤波，求得像素的X轴坐标I_x和Y轴坐标I_y，进而求得坐标矩阵M中每个元素的值：

        (1)

            (2)

                              (3)

B. 利用离散二维零均值高斯函数对坐标矩阵M的四个元素进行高斯平滑滤波，得到新的坐标矩阵M1，离散二维零均值高斯函数为:

   (4)

C.接下来利用M1计算每个像素的角点值cim:

      (5)

D.当一个像素的角点值大于某一阈值，且同时像素的角点值是某个邻域内的局部最大值时，则这个像素确认为角点，其中，领域是指以该像素为中心点的图像区域。

3.根据计算得到的前一帧图像上的角点的坐标，利用金字塔LK光流法计算当前帧图像上的角点坐标，具体步骤包括：

对于连续两幅图像中的像素坐标集合I(x,y)和J(x,y)，特征跟踪找到像素坐标集合I(x,y)上的一点u=（Ux,Uy），并在图像J(x,y)上找到具有相似图像强度的另外一个点u+d = (Ux+dx, Uy+dy),其中d为u点的平移量。光流即为不同图像区域之间产生的最佳拟合的唯一，定义灰度时间微分 ,定义空间梯度矩阵G为：

    (6)

      其中，W指的是以u为中心，在图像上建立（2w_x+1，2w_y+1）的对应的区域窗口，并设误匹配矢量b为:                   

        (7)

    则由LK光流方程计算得到最优的矢量解d_opt为：

            (8)。

4.获取当前帧图像和前一帧图像上的角点集合，根据前后帧对应的角点，建立两帧的映射方程，每一对匹配的角点都可以得出一个包含图像平移和旋转的运动方程，然后采取了N(N>=2)对角点，采用最小二乘法得到前后两帧图像的最优的运动估计矢量，具体步骤包括：

因为所述运动矢量包括图像在x轴、y轴方向上的大小以及图像的旋转角度，所以得到图像的全局运动方程为：               

                       (9)

且旋转角度 ，则a=cosα，b=sinα，

则该公式可以改写为：

                           , i=1,2,3…n      (10)

上式中，, , , 已知，为前后帧对应的角点坐标，a,b,dx,dy未知，两对对应点就可以确定，一般可找到大于两对，公式（10）是超定方程组 ，使用最小二乘法就可以求解。

三.运动滤波：根据各个图像帧中角点的坐标以及最优的运动矢量，采用卡尔曼滤波的方法，预测当前帧图像的后一帧图像中的角点位置坐标、角点移动的速度及方向，得到平滑后的运动矢量，即图像旋转矩阵A和图像平移矩阵B，具体步骤包括：

1.对转移矩阵、测量矩阵、过程噪声协方差矩阵、测量噪声协方差矩阵、后验错误协方差矩阵、前一状态校正后的值和当前观察值进行初始化；

2.预测状态：公式如下:，在预测阶段，滤波器使用上一状态的估计，做出对当前状态的估计， 其中x(k-1)为前一状态的校正值，第一个循环中在初始化过程中已经给定了，A,B,u(k),也都是给定了的值，这样经过过计算就得到了系统状态的预测值x'(k)了；

3.调用卡尔曼算法中correct方法得到加入观察值校正后的状态变量值矩阵，其公式为：

，其中x'(k)为步骤二算出的结果，z(k)为当前测量值，H为卡尔曼滤波初始化给定的测量矩阵，K(k)为卡尔曼增益，其计算公式为：，则重新获得了这一时刻的校正值，然后不断循环步骤二和步骤三即可完成卡尔曼滤波过程。

四.运动补偿：1.仿射变换：获取经过运动滤波的图像帧；读取第一帧作为基准图像，将第二帧图像根据卡尔曼滤波得到图像旋转矩阵A和图像平移矩阵B向第一帧图像做配准，并进行显示；再以配准后第二帧图像做基准，第三帧图像根据卡尔曼滤波得到矩阵A和矩阵B向第二帧图像做配准，并进行显示；按照上述步骤将所有的图像帧进行配准并显示；2. 空间变换：将图像的像素通过变换映射到了新的坐标位置，然后用灰度级的双线性插值算法对像素的新坐标位置进行计算，消除锯齿；将系统的运动速度及方向作为运动补偿的输入。

  图像的防抖过程，其实就是前后帧图像配准的过程，前面已经根据卡尔曼滤波，得到了系统平滑后的运动矢量。这样的话前后两帧中图像的映射关系可以用多项式函数表达。     对于一般抖动造成的场景变化来说，仿射变换表达的全局运动在精度与复杂性之间具有较好的折中。仿射变换是指在几何中，一个向量空间进行一次线性变换并加上一个平移，变换为另一个向量空间的过程。它保持了二维图形的“平直性”（即：直线经过变换之后依然是直线）和“平行性”（即：二维图形之间的相对位置关系保持不变，平行线依然是平行线，且直线上点的位置顺序不变）。

一个任意的仿射变换都能表示为乘以一个矩阵(线性变换)接着再加上一个向量(平移)的形式。

      根据仿射变换模型，视频序列中图像In和In-1对应的像素坐标满足如下关系：

                        

其中代表了图像旋转因子，代表了视频的平移系数。由上一步的卡尔曼滤波可以得到矩阵中参数：

A11 = cos(angle)， A12 = sin(angle)，A21 = -sin(angle)， A22 = cos(angle)，

B1 = dx，B2 = dy。

在对视频图像进行防抖处理时，首先读取第一帧作为基准图像，后面的第二帧图像根据卡尔曼滤波得到矩阵A和矩阵B ，然后向第一帧做配准后显示。 再以配准后第2帧图像做基准，第3帧图像向其做配准，后面左右的帧依次类推。 由于场景的变换，后面的图像可能与基准图像重合的范围越来越小，需要不断地更新基准图像。

       在进行空间变换时，图像的像素通过变换映射到了新的坐标位置，新的位置可能是在像素之间，不一定是整数坐标，这就需要进行灰度级的插值运算，最简单的插值方法是最邻近插值，该方法简单，但是可能会产生锯齿。我们这里采用了双线性插值算法，其核心思想是在两个方向分别进行一次线性插值。该算法特点是计算量中等，同时能够满足一定的质量要求。具体实现方法:

对于一个目的坐标，通过其向后映射法得倒其在原始图下你给的对应的浮点坐标(i+u,j+v),其中i,j均为非负整数，u，v为[0，1]区间的浮点数，则这个像素的值可由原图像中坐标为(i，j)、(i+1,j)、(i, j+1)和(i+1,j+1)所对应的周围的四个像素的值决定，即：

其中f(i,j)表示源图像(i, j)处的像素值，以此类推，实现图像双线性内插。

五.图像输出：将运动补偿后输出的图像进行显示。

本发明基于红外热像仪的电子稳像方法的有益效果是：

1.采用电子稳像技术，不需要光学或者机械装置，节约设备成本；

2.利用角点检测结合光流法进行运动估计，并采用了卡尔曼滤波，对图像运动轨迹进行平滑，有效改善图像抖动。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于红外热像仪的电子稳像方法，其特征在于，步骤包括：

预处理：获取红外热像仪中的图像，用中值滤波去除噪声，并采用拉普拉斯算子对图像进行锐化；

运动估计：1.读取图像的当前帧和当前帧的前一帧，并对当前帧图像和前一帧图像进行去噪和锐化；2.在前一帧图像中，采用harris角点检测方法，利用图像的灰度变化率确定角点的坐标；3.根据计算得到的前一帧图像上的角点的坐标，利用金字塔LK光流法计算当前帧图像上的角点坐标；4.获取当前帧图像和前一帧图像上的角点集合，根据前后帧对应的角点，建立两帧的映射方程，每一对匹配的角点都可以得出一个包含图像平移和旋转的运动方程，然后采取了N(N>=2)对角点，采用最小二乘法得到前后两帧图像的最优的运动估计矢量；

运动滤波：根据各个图像帧中角点的坐标以及最优的运动矢量，采用卡尔曼滤波的方法，预测当前帧图像的后一帧图像中的角点位置坐标、角点移动的速度及方向，得到平滑后的运动矢量，即图像旋转矩阵A和图像平移矩阵B；

运动补偿：1.仿射变换：获取经过运动滤波的图像帧；读取第一帧作为基准图像，将第二帧图像根据卡尔曼滤波得到的图像旋转矩阵A和图像平移矩阵B向第一帧图像做配准，并进行显示；再以配准后第二帧图像做基准，第三帧图像根据卡尔曼滤波得到矩阵A和矩阵B向第二帧图像做配准，并进行显示；按照上述步骤将所有的图像帧进行配准并显示；2. 空间变换：将图像的像素通过变换映射到了新的坐标位置，然后用灰度级的双线性插值算法对像素的新坐标位置进行计算，消除锯齿；

图像输出：将运动补偿后输出的图像进行显示。

2.根据权利要求1所述的基于红外热像仪的电子稳像方法，其特征在于，所述利用图像的灰度变化率确定角点的坐标的具体步骤包括：

A.设置角点值的阈值，利用水平和垂直差分算子对图像的每个像素进行滤波，求得像素的X轴坐标I_x和Y轴坐标I_y，进而求得坐标矩阵M中每个元素的值：

        (1)

                 (2)

                              (3)

B. 利用离散二维零均值高斯函数对坐标矩阵M的四个元素进行高斯平滑滤波，得到新的坐标矩阵M1，离散二维零均值高斯函数为:

   (4)

C.接下来利用M1计算每个像素的角点值cim:

  (5)

D.当一个像素的角点值大于某一阈值，且同时像素的角点值是某个邻域内的局部最大值时，则这个像素确认为角点，其中，领域是指以该像素为中心点的图像区域。

3.根据权利要求1所述的基于红外热像仪的电子稳像方法，其特征在于，所述利用金字塔LK光流法计算当前帧图像上的角点坐标的具体步骤包括：

对于连续两幅图像中的像素坐标集合I(x,y)和J(x,y)，特征跟踪找到像素坐标集合I(x,y)上的一点u=（Ux,Uy），并在图像J(x,y)上找到具有相似图像强度的另外一个点u+d = (Ux+dx, Uy+dy),其中d为u点的平移量；

光流即为不同图像区域之间产生的最佳拟合的唯一，定义灰度时间微分 ,定义空间梯度矩阵G为：

    (6)

       其中，W指的是以u为中心，在图像上建立（2w_x+1，2w_y+1）的对应的区域窗口，并设误匹配矢量b为:                

      (7)

则由LK光流方程计算得到最优的矢量解d_opt为：

            (8)。

4.根据权利要求1所述的基于红外热像仪的电子稳像方法，其特征在于，所述得到角点的最优的运动矢量的具体步骤包括：

因为所述运动矢量包括图像在x轴、y轴方向上的大小以及图像的旋转角度，所以得到图像的全局运动方程为：               

                          (9)

且旋转角度 ，则a=cosα，b=sinα，

该公式可以改写为：

                                    , i=1,2,3…n      (10)

上式中，(, ),( , )已知，为前后帧对应的角点坐标，a,b,dx,dy未知，

两对对应点就可以确定，一般可找到大于两对，公式（10）是超定方程组 ，使用最小二乘法就可以求解。

5.根据权利要求1所述的基于红外热像仪的电子稳像方法，其特征在于，所述运动滤波的具体步骤包括：

（1）对转移矩阵、测量矩阵、过程噪声协方差矩阵、测量噪声协方差矩阵、后验错误协方差矩阵、前一状态校正后的值和当前观察值进行初始化；

（2）预测状态：公式如下:，在预测阶段，滤波器使用上一状态的估计，做出对当前状态的估计， 其中x(k-1)为前一状态的校正值，第一个循环中在初始化过程中已经给定了，A,B,u(k),也都是给定了的值，这样经过过计算就得到了系统状态的预测值x'(k)了；

（3）调用卡尔曼算法中correct方法得到加入观察值校正后的状态变量值矩阵，其公式为：

，其中x'(k)为步骤二算出的结果，z(k)为当前测量值，H为卡尔曼滤波初始化给定的测量矩阵，K(k)为卡尔曼增益，其计算公式为：

                            ，则重新获得了这一时刻的校正值，然后不断循环步骤二和步骤三即可完成卡尔曼滤波过程。