CN106550188B - 一种基于惯导信息的长线列红外电子稳像方法 - Google Patents

Abstract

本发明公开了一种基于惯导信息的长线列红外电子稳像方法，方法包括以下步骤：获取每一帧长线列红外图像的像素值，由光电码盘得到的载体坐标系下的方位、俯仰角，实时姿态角信息；将原红外图像中每一个像素点在载体坐标系下的方位、俯仰角转换为地理坐标系下的方位、俯仰角，并采用角度线性插值策略进行快速求解；确定目标红外图像下的方位、俯仰角取值范围；建立原红外图像和目标红外图像的坐标映射关系；采用邻近插值方法进行图像的初步复原；在目标红外图像中以缺失像素的位置为中心，利用局部窗口内的像素中值替代该点像素值，实现图像的进一步复原，完成稳像。本发明的优点在于，无需复杂硬件，提高稳像精度，操作简单，方便快捷。

Description

一种基于惯导信息的长线列红外电子稳像方法

技术领域：

本发明涉及数字图像处理技术领域，尤其涉及一种数字视频电子稳像方法，具体涉及一种基于惯导信息的长线列红外电子稳像方法。

背景技术：

红外成像由于具有良好的夜视性能、较强的抗干扰性和被动探测的特点，因此得到广泛应用。长线列红外探测系统的一个重要的特点是一帧图像的数据量大，可以提供分辨率更高，俯仰方向视场更大的全景图像。红外成像设备已经越来越多地应用在运动平台上，例如船载或车载平台，由于海面的起伏或路面的颠簸，导致采集的视频图像发生抖动。图像的抖动会使观察者产生疲劳，导致误判、漏判，如何将这些视频信号转化为高质量的稳定视频具有重要的理论意义和实用价值。

红外成像设备在移动过程中所拍摄的图像序列，不仅包含了摄像机的主动运动和不规则的随机运动。稳像的目的就是从输入的视频图像序列中去除因为成像设备的随机运动而引入的图像扰动实现图像序列稳定。传统的稳像技术包括机械稳像、光学稳像和电子稳像。机械稳像和光学稳像都必须使用一些专用设备，如机械陀螺、伺服系统、光学元件等，具有结构复杂、成本高、体积大等特点，在很多应用场合受到限制。电子稳像直接利用图像信息确定图像运动参数并进行补偿的新一代序列图像稳定技术。与机械、光学稳像相比，电子稳像具有易于操作，精度高，体积小、重量轻等优点，是目前稳像技术领域的研究热点。

传统的电子稳像算法只是利用相邻帧的图像信息对所拍摄的视频图像进行稳像处理，包括运动估计、运动滤波、运动补偿等，算法复杂且实时性差，本发明的优点在于无需复杂硬件，提高稳像精度，操作简单，方便快捷。

发明内容：

本发明公开了一种基于惯导信息的长线列红外电子稳像方法，包括以下步骤：

(1)获取每一帧长线列红外图像的像素值，由光电码盘得到的载体坐标系下的方位、俯仰角，由惯导设备采集的实时姿态角信息：姿态角包括偏航角 H、俯仰角P和横滚角R；

(2)将原红外图像中每一个像素点在载体坐标系下的方位、俯仰角转换为地理坐标系下的方位、俯仰角，并采用角度线性插值策略进行快速求解，具体步骤如下：

(2-1)原红外图像的行数记为row，列数记为col，方位总视场记为arange，俯仰总视场记为erange，通过转换矩阵T将位于第i行第j列的像素点在载体坐标系下的方位角a1(i,j)、俯仰角e1(i,j)转换为地理坐标系下的方位角a2(i,j)、俯仰角e2(i,j)，此时i＝1,row，j＝1,2,...col，转换关系如下：

转换矩阵T定义如下：

(2-2)采用角度线性插值公式求解位于第i行第j列的像素点在地理坐标系下的方位角a2(i,j)、俯仰角e2(i,j)，此时i＝2,3,...,row-1，j＝1,2,...,col，角度线性插值公式如下：

(3)确定目标红外图像下的方位角取值范围amin～amax，俯仰角取值范围 emin～emax，其中，amin、amax、emin、emax分别为目标红外图像下的方位角最小值、方位角最大值、俯仰角最小值、俯仰角最大值，具体步骤如下：

分别为amin和emin指定一个初值，其中，amin取在0°～360°范围内且满足条件amin+arange≤360°的任意一个值，emin取在-90°～90°范围内且满足条件 -90°≤emin+erange≤90°的任意一个值；

按以下公式确定amax和emax，

amax＝amin+arange (5)

emax＝emin+erange (6) 其中，目标红外图像的行数、列数、方位总视场、俯仰总视场分别与原红外图像的行数、列数、方位总视场、俯仰总视场保持一致；

(4)建立原红外图像和目标红外图像的坐标映射关系，具体步骤如下：将原红外图像中位于第i行第j列的像素点在地理坐标系下的方位角a2(i,j)、俯仰角e2(i,j)映射为目标红外图像坐标系下的横坐标mapx(i,j)和纵坐标mapy(i,j)，此时i＝1,2,...,row,j＝1,2,...,col，映射公式如下：

(5)根据步骤(4)得到的原红外图像和目标红外图像的坐标映射关系，采用邻近插值方法进行图像的初步复原，具体步骤如下:

(5-1)原红外图像中的最小像素值记为min-pixel，对目标红外图像中第m 行第n列的像素值pixel2(m,n)和标志位flag(m,n)进行初始化赋值，即 pixel2(m,n)＝min-pixel，flag(m,n)＝1，此时m＝1,2,...,row，n＝1,2,...,col；

(5-2)对目标 红外图像中第i行第j列的像素点横坐标mapx(i,j)和纵坐标 mapy(i,j)进行向下取整数得到m和n，其中表示向下取整的符号，此时i＝1,2,...,row，j＝1,2,...,col，如果以下条件：m≥1， m≤row，n≥1，n≤col同时满足，则目标红外图像中第m行第n列的像素值 pixel2(m,n)等于原红外图像中第i行第j列的像素值pixel1(i,j)，即 pixel2(m,n)＝pixel1(i,j)，flag(m,n)＝0；

(5-3)对目标红外图像中第m行第n列的标志位flag(m,n)进行判断，如果满足条件flag(m,n)＝1，则继续执行步骤(6)，这里m＝1,2,...,row， n＝1,2,...,col；

(6)在目标红外图像中以缺失像素的位置为中心，选取行数为rsize，列数为csize的局部窗口，利用局部窗口内像素的中值mid-pixel替代该点的像素值，实现图像的进一步复原，完成稳像。

本发明的有益效果为：

本发明的方法是利用惯导的姿态角信息将长线列红外图像中的每一个像素点在载体坐标系下的方位角、俯仰角进行相关的坐标转换和映射实现快速电子稳像，避免了传统电子稳像方法的复杂运算过程，附加设备简单，操作简单，方便快捷，可以保证长线列的红外图像的稳像精度和实时性。

附图说明

图1是本发明具体实施方法的流程图。

图2是本发明中载体坐标系和地理坐标系的具体示意图，具体参数说明：

载体坐标系O-X_iY_iZ_i，原点O在载体的重心，OZ_i轴垂直大地水平面，沿载体指向天向，OY_i轴指向载体前进方向；OX_i轴指向载体右向；

地理坐标系O-X_nY_nZ_n，东北天坐标系，原点O在载体的重心，OX_n轴指向地理正东，OY_n轴指向地理正北，OZ_n轴垂直向上；

航向角H:是指载体纵轴在水平面上的投影与地理子午线之间的夹角，以地理北为起点顺时针转动方向为正，取值范围是[0°～360°]；

俯仰角P：是指载体的纵向对称面与地理水平面之间的夹角，以载体抬头向上为正，向下为负，取值范围是[-90°～+90°]；

横滚角R:是指载体纵向对称面与纵向铅垂面之间的夹角，以载体右边抬起为负，左边抬起为正，取值范围是[-180°～+180°]；

图3是相邻两帧长线列红外图像中偏航角、俯仰角和横滚角的变化规律图，图(1)是偏航角的变化规律图，图(2)是俯仰角的变化规律图，图(3)是横滚角的变化规律图。

图4是相邻两帧长线列红外图像的稳像结果图，图(1)是第42帧原图，图 (2)是第43帧原图，图(3)是第42帧图像的稳像结果图，图(4)是第43帧图像的稳像结果图。

具体实施方式：

下面根据附图对本发明的具体实施方式作进一步的详细说明。

依次对第n帧、第n+1帧长线列红外图像进行稳像，图1是本发明具体实施方法的流程图，在本发明的实施例中n＝42，包括以下步骤：

(1)获取每一帧长线列红外图像的像素值，由光电码盘得到的载体坐标系下的方位、俯仰角，由惯导设备采集的实时姿态角信息，原红外图像为16 位的灰度图像，载体坐标系、地理坐标系的建立如图2所示，第42帧和第43 帧长线列红外图像中偏航角、俯仰角和横滚角的数据变化规律如图3所示；

(2)将原红外图像中每一个像素点在载体坐标系下的方位、俯仰角转换为地理坐标系下的方位、俯仰角，并采用角度线性插值策略进行快速求解，具体步骤如下：

(2-1)原红外图像的行数记为row，列数记为col，方位总视场记为arange，俯仰总视场记为erange，在本发明实施例中row＝288，col＝10765， arange＝360°，erange＝4.5°，通过转换矩阵T将位于第i行第j列的像素点在载体坐标系下的方位角a1(i,j)、俯仰角e1(i,j)转换为地理坐标系下的方位角a2(i,j)、俯仰角e2(i,j)，此时i＝1,row，j＝1,2,...col，设PK＝[px,py,pz]^T为3×1维的列向量，转换关系如下：

将转换矩阵T代入(9)式，则px,py,pz的取值分别如下：

px＝T(1,1)·cos e1(i,j)·sin a1(i,j)+T(1,2)·cos e1(i,j)·cos a1(i,j)+T(1,3)·sin e1(i,j) (10)

py＝T(2,1)·cos e1(i,j)·sin a1(i,j)+T(2,2)·cos e1(i,j)·cos a1(i,j)+T(2,3)·sin e1(i,j) (11)

pz＝T(3,1)·cos e1(i,j)·sin a1(i,j)+T(3,2)·cos e1(i,j)·cos a1(i,j)+T(3,3)·sin e1(i,j) (12) 则地理坐标系下的方位角地理坐标系下的俯仰角 e2(i,j)＝arcsin(pz)，其中，arctan表示反正切函数，arcsin表示反正弦函数；

(2-2)采用角度线性插值公式求解位于第i行第j列的像素点在地理坐标系下的方位角a2(i,j)、俯仰角e2(i,j)，此时i＝2,3,...,row-1，j＝1,2,...,col，角度线性插值公式如下：

(3)确定目标红外图像下的方位角取值范围amin～amax，俯仰角取值范围 emin～emax，其中，amin、amax、emin、emax分别为目标红外图像下的方位角最小值、方位角最大值、俯仰角最小值、俯仰角最大值，在本发明实施例中amin＝0°， emin＝1.3571°，amax＝360°，emax＝5.8571°；

(4)建立原红外图像和目标红外图像的坐标映射关系，具体步骤如下：将原红外图像中位于第i行第j列的像素点在地理坐标系下的方位角a2(i,j)、俯仰角e2(i,j)映射为目标红外图像坐标系下的横坐标mapx(i,j)和纵坐标mapy(i,j)，此时i＝1,2,...,row,j＝1,2,...,col，映射公式如下：

(5)根据步骤(4)得到的原红外图像和目标红外图像的坐标映射关系，采用邻近插值方法进行图像的初步复原，具体步骤如下:

(5-1)原红外图像中的最小像素值min-pixel＝7886，对目标红外图像中第m行第n列的像素值pixel2(m,n)和标志位flag(m,n)进行初始化赋值，即 pixel2(m,n)＝min-pixel，flag(m,n)＝1，此时m＝1,2,...,row，n＝1,2,...,col；

(5-2)对目标 红外图像中第i行第j列的像素点横坐标mapx(i,j)和纵坐标 mapy(i,j)进行向下取整数得到m和n，其中表示向下取整的符号，此时i＝1,2,...,row，j＝1,2,...,col，如果以下条件：m≥1， m≤row，n≥1，n≤col同时满足，则目标红外图像中第m行第n列的像素值 pixel2(m,n)等于原红外图像中第i行第j列的像素值pixel1(i,j)，即 pixel2(m,n)＝pixel1(i,j)，flag(m,n)＝0；

(5-3)对目标红外图像中第m行第n列的标志位flag(m,n)进行判断，如果满足条件flag(m,n)＝1，则继续执行步骤(6)，这里m＝1,2,...,row， n＝1,2,...,col；

(6)在目标红外图像中以缺失像素的位置为中心，选取行数为rsize，列数为csize的局部窗口，利用局部窗口内像素的中值mid_pixel替代该点的像素值，实现图像的进一步复原，完成稳像，在本发明实施例中rsize＝7，csize＝7。

图4给出了第42帧和第43帧长线列红外图像的稳像结果，测试结果表明，采用本发明的稳像方法，方位角的校正误差为0.0613°，俯仰角的校正误差为 0.0364°，满足了长线列红外图像的稳像精度要求。

Claims (1)

1.一种基于惯导信息的长线列红外电子稳像方法，其特征在于包括以下步骤：

(1)获取每一帧长线列红外图像的像素值，由光电码盘得到的载体坐标系下的方位、俯仰角，由惯导设备采集的实时姿态角信息：姿态角包括偏航角H、俯仰角P和横滚角R；

(2)将原红外图像中每一个像素点在载体坐标系下的方位、俯仰角转换为地理坐标系下的方位、俯仰角，并采用角度线性插值策略进行快速求解，具体步骤如下：

(2-1)原红外图像的行数记为row，列数记为col，方位总视场记为arange，俯仰总视场记为erange，通过转换矩阵T将位于第i行第j列的像素点在载体坐标系下的方位角a1(i,j)、俯仰角e1(i,j)转换为地理坐标系下的方位角a2(i,j)、俯仰角e2(i,j)，此时i＝1,row，j＝1,2,...col，转换关系如下：

转换矩阵T定义如下：

(2-2)采用角度线性插值公式求解位于第i行第j列的像素点在地理坐标系下的方位角a2(i,j)、俯仰角e2(i,j)，此时i＝2,3,...,row-1，j＝1,2,...,col，角度线性插值公式如下：

(3)确定目标红外图像下的方位角取值范围amin～amax，俯仰角取值范围emin～emax，其中，amin、amax、emin、emax分别为目标红外图像下的方位角最小值、方位角最大值、俯仰角最小值、俯仰角最大值，具体步骤如下：

分别为amin和emin指定一个初值，其中，amin取在0°～360°范围内且满足条件amin+arange≤360°的任意一个值，emin取在-90°～90°范围内且满足条件-90°≤emin+erange≤90°的任意一个值；

按以下公式确定amax和emax，

amax＝amin+arange (5)

emax＝emin+erange (6)

其中，目标红外图像的行数、列数、方位总视场、俯仰总视场分别与原红外图像的行数、列数、方位总视场、俯仰总视场保持一致；

(4)建立原红外图像和目标红外图像的坐标映射关系，具体步骤如下：将原红外图像中位于第i行第j列的像素点在地理坐标系下的方位角a2(i,j)、俯仰角e2(i,j)映射为目标红外图像坐标系下的横坐标mapx(i,j)和纵坐标mapy(i,j)，此时i＝1,2,...,row,j＝1,2,...,col，映射公式如下：

(5)根据步骤(4)得到的原红外图像和目标红外图像的坐标映射关系，采用邻近插值方法进行图像的初步复原，具体步骤如下:

(5-1)原红外图像中的最小像素值记为min-pixel，对目标红外图像中第m行第n列的像素值pixel2(m,n)和标志位flag(m,n)进行初始化赋值，即pixel2(m,n)＝min-pixel，flag(m,n)＝1，此时m＝1,2,...,row，n＝1,2,...,col；

(5-2)对目标红外图像中第i行第j列的像素点横坐标mapx(i,j)和纵坐标mapy(i,j)进行向下取整数得到m和n，其中表示向下取整的符号，此时i＝1,2,...,row，j＝1,2,...,col，如果以下条件：m≥1，m≤row，n≥1，n≤col同时满足，则目标红外图像中第m行第n列的像素值pixel2(m,n)等于原红外图像中第i行第j列的像素值pixel1(i,j)，即pixel2(m,n)＝pixel1(i,j)，flag(m,n)＝0；

(5-3)对目标红外图像中第m行第n列的标志位flag(m,n)进行判断，如果满足条件flag(m,n)＝1，则继续执行步骤(6)，这里m＝1,2,...,row，n＝1,2,...,col；

(6)在目标红外图像中以缺失像素的位置为中心，选取行数为rsize，列数为csize的局部窗口，利用局部窗口内像素的中值mid-pixel替代该点的像素值，实现图像的进一步复原，完成稳像。