CN103442234B - 基于时变编码测量的红外超分辨率成像方法 - Google Patents

Abstract

本发明公开一种基于时变编码测量的红外超分辨率成像方法，主要解决现有红外成像技术由于焦平面阵列制作工艺限制导致成像分辨率过低的问题。本发明的成像方法包括：(1).设置编码模板；(2).获得时变低分辨率编码图像；(3).图像预处理；(4).重构超分辨率图像。本发明在红外探测器的焦平面阵列前添加了编码模板，通过时变编码测量方法获得多幅红外低分辨率图像，采用像素重排法获得红外超分辨率图像。本发明具有节省焦平面阵列像元，结构简单，运算复杂度低，重构准确度高，实时性高的优点。本发明可用于空间遥感、精确制导、目标识别与跟踪、医学成像等领域。

Description

基于时变编码测量的红外超分辨率成像方法

技术领域

本发明属于图像处理技术领域，更进一步涉及超分辨率图像成像技术领域中的图像采集与重构，具体是一种基于时变编码测量的红外超分辨率成像方法。本发明可以实现红外图像的超分辨率的获取和重构。

背景技术

红外超分辨率成像在各个领域，如空间遥感、精确制导、目标识别与跟踪、医学成像等有重大需求。据了解，大多数红外探测器采用高稳定性、非制冷、小型红外焦平面阵列，且像元尺寸较大，远不能满足军事民用对于成像分辨率的要求。传统红外成像的空间分辨率取决于探测器的像元密度，提高红外焦平面阵列的分辨率意味着在更大的传感器基底上制造更多更小尺寸的像元，然而受到探测器工作条件、加工工艺和制作成本的限制，很难通过采用减小像元尺寸和增加阵元数量的方式来提高分辨率。因此，超分辨率成像的关键在于如何利用低密度探测器获得高分辨率图像，现有的超分辨率成像技术主要有以下三种。

第一种，基于多通道信息互补的超分辨成像。

Shankar M和Willett R,Pitsianis N.P等人在论文“Thin infrared imagingsystems through multichannel sampling.”(《Applied Optics》2008.47(10):B1-B10)中提出一种利用多通道采样获得超分辨率红外图像的方法。该方法利用多通道成像系统获得同一场景的多幅低分辨率单元图像，使各个单元图像之间存在亚像素级偏移信息，通过图像重构算法整合所有低分辨单元图像信息，获得超分辨率红外图像。该方法存在的不足是，需要同时采用多个探测器成像，并对低分辨率单元图像进行高精度配准以确定同一观测区域，系统实现复杂度高且存在较大配准误差。

第二种，基于图像融合的超分辨率成像。

华中科技大学在其申请的专利“一种超分辨率红外热像仪及用其获取高分辨率红外图像的方法”(专利申请号201210183431.7，公开号CN 102661801 A)中公开了一种通过融合多组红外图像获得超分辨率红外图像的方法。该方法通过会聚编码后的红外辐射、发送红外辐射信号转换的模拟电信号、模拟电信号转换并保存红外图像信号等步骤，最后融合多组红外图像信号形成高分辨率图像。该方法存在的不足是，需要标定超分辨红外热像仪的点扩散函数，且需要经过复杂的解码计算和傅里叶逆变换得到一帧高分辨率红外图像。

第三种，基于压缩感知理论的超分辨率成像。

西安电子科技大学在其申请的专利“基于压缩感知孔径的超分辨率成像系统及成像方法”(专利申请号201110329866.3，公开号CN 102438102 A)中公开了一种利用少量混叠采样恢复超分辨率红外图像的方法。该方法通过基于压缩感知理论设计压缩编码模板置于系统孔径光阑处，对光场调制后获得低分辨率编码图像，最后通过采用非线性优化重构方法生成超分辨率图像。该方法存在的不足是，压缩编码模板设计制作困难，图像重构复杂度高且引入大量类似于噪声的伪影，导致重构图像信噪比较低，需要进一步进行去噪处理。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于时变编码测量的红外超分辨率成像方法，以实现利用低分辨率的红外焦平面阵列获得超分辨率红外图像，提升红外图像质量，降低成像系统的实现难度和图像重构复杂度。

实现本发明的基本思路是：设置编码模板，将编码模板紧贴红外探测器的焦平面阵列放置，编码模板对进入红外超分辨率成像系统的光束进行空域调制，记录第一幅红外低分辨率编码图像，控制编码模板自动顺时针旋转90°三次，利用同一红外探测器获得另外三幅红外低分辨率编码图像，对所有红外低分辨编码图像进行预处理滤除噪声，利用像素重排法获得红外超分辨率图像。

实现本发明目的的具体步骤如下：

(1)设置编码模板：

1a)在空间光调制器的工作区域模板上，按水平和垂直方向依次划分出与红外探测器水平和垂直方向像元数目相等的大正方形区域，该大正方形区域与红外探测器单个像元尺寸相同；

1b)将大正方形区域等分为左上角、右上角、左下角、右下角四个小正方形区域，除左上角区域透光外，其他区域均不透光，得到设置好的编码模板。

(2)获得时变低分辨率编码图像：

2a)将编码模板放置在红外探测器前，紧贴红外探测器的焦平面阵列，编码模板上的所有大正方形区域与焦平面阵列上的所有像元一一对准；

2b)利用时变编码测量方法，获得四幅红外低分辨率编码图像。

(3)图像预处理：

采用中值滤波器，对获得的四幅红外低分辨率编码图像进行预处理，滤除其中的噪声，获得四幅滤除噪声的红外低分辨率编码图像。

(4)图像重构：

4a)创建目标图像矩阵，目标图像矩阵的行数等于2倍的红外低分辨率编码图像的行数，目标图像矩阵的列数等于2倍的红外低分辨率编码图像的列数；

4b)采用像素重排法，对四幅滤除噪声的红外低分辨率编码图像进行图像重构，得到红外超分辨率图像。

本发明与现有技术相比具有以下优点：

第一，由于本发明在红外探测器的焦平面阵列前添加了编码模板，捕获到目标场景更多细节信息，克服了现有技术中难以通过减小像元尺寸或增加像元数量的方式提高成像分辨率的不足，使得本发明具有了超分辨率成像能力，节省焦平面阵列像元的优点。

第二，由于本发明采用时变编码测量方法，仅利用一个探测器获得同一场景多幅低分辨编码图像，克服了现有技术中利用多个探测器获得同一场景多次采样的不足，使得本发明具有结构简单、数据采样方便的优点。

第三，由于本发明采用像素重排法获得红外超分辨率图像，克服了现有技术中采用的非线性优化重构方法计算复杂度高或需要标定系统点扩散函数的不足，使本发明具有后期图像处理时间短，重构准确度高，实时性高的优点。

附图说明

图1为本发明的流程图；

图2为本发明的探测器单个像元像素重排法示意图；

图3为本发明的时变编码成像过程示意图。

具体实施方式

下面结合附图对本发明做进一步描述。

参照附图1，本发明的具体步骤如下：

步骤1：设置编码模板。

在空间光调制器的工作区域模板上，按水平和垂直方向依次划分出与红外探测器水平和垂直方向像元数目相等的大正方形区域，该大正方形区域与红外探测器单个像元尺寸相同。

将大正方形区域等分为左上角、右上角、左下角、右下角四个小正方形区域，除左上角区域透光外，其他区域均不透光，得到设置好的编码模板。

本发明的实施例中划分出的小正方形区域尺寸为红外探测器单个像元尺寸的1/4，通过在像元前放置编码模板，对像元部分成像区域进行遮挡，使单个像元探测到的成像区域小于一个像元尺寸，从而获得亚像素级别的信息。

步骤2：获得时变低分辨率编码图像。

将编码模板放置在红外探测器前，紧贴红外探测器的焦平面阵列，编码模板上的所有大正方形区域与焦平面阵列上的所有像元一一对准。

利用时变编码测量方法，获得四幅红外低分辨率编码图像。

所述的时变编码测量方法的具体步骤如下：

第一步，按下红外超分辨率成像系统的快门，编码模板对进入红外超分辨率成像系统的光束进行空域调制，仅让经过编码模板透光区域的光通过，阻挡其他部分，在焦平面阵列上记录第一幅红外低分辨率编码图像；

本发明的实施例中，仅让经过编码模板左上角透光区域的光通过，阻挡其他部分，在焦平面阵列上记录单个像元左上角成像区域对应的第一幅红外低分辨率编码图像。

第二步，第一幅红外低分辨率编码图像记录完成后，控制编码模板自动顺时针旋转90°，编码模板对进入红外超分辨率成像系统的光束进行空域调制，仅让经过编码模板透光区域的光通过，阻挡其他部分，在焦平面阵列上记录第二幅红外低分辨率编码图像；

本发明的实施例中，仅让经过编码模板右上角透光区域的光通过，阻挡其他部分，利用同一个红外探测器，在焦平面阵列上记录单个像元右上角成像区域对应的第二幅红外低分辨率编码图像。

第三步，第二幅红外低分辨率编码图像记录完成后，控制编码模板自动顺时针旋转90°，编码模板对进入红外超分辨率成像系统的光束进行空域调制，仅让经过编码模板透光区域的光通过，阻挡其他部分，在焦平面阵列上记录第三幅红外低分辨率编码图像；

本发明的实施例中，仅让经过编码模板右下角透光区域的光通过，阻挡其他部分，利用同一个红外探测器，在焦平面阵列上记录单个像元右下角成像区域对应的第三幅红外低分辨率编码图像。

第四步，第三幅红外低分辨率编码图像记录完成后，控制编码模板自动顺时针旋转90°，编码模板对进入红外超分辨率成像系统的光束进行空域调制，仅让经过编码模板透光区域的光通过，阻挡其他部分，在焦平面阵列上记录第四幅红外低分辨率编码图像。

本发明的实施例中，仅让经过编码模板左下角透光区域的光通过，阻挡其他部分，利用同一个红外探测器，在焦平面阵列上记录单个像元左下角成像区域对应的第四幅红外低分辨率编码图像。

步骤3：图像预处理。

采用中值滤波器，对获得的四幅红外低分辨率编码图像进行预处理，滤除其中的噪声，获得四幅滤除噪声的红外低分辨率编码图像。

步骤4：图像重构。

创建目标图像矩阵，目标图像矩阵的行数等于2倍的红外低分辨率编码图像的行数，目标图像矩阵的列数等于2倍的红外低分辨率编码图像的列数。

采用像素重排法，对四幅滤除噪声的红外低分辨率编码图像进行图像重构，得到红外超分辨率图像。

所述的像素重排法的具体步骤如下：

第一步，将第一幅滤除噪声的红外低分辨率编码图像第i行第j列的像素值，赋值给目标图像矩阵第i奇数行第j奇数列的元素，i的取值范围为1到红外低分辨率编码图像行数的正整数，j的取值范围为1到红外低分辨率编码图像列数的正整数；

第二步，将第二幅滤除噪声的红外低分辨率编码图像第i行第j列的像素值，赋值给目标图像矩阵第i奇数行第j偶数列的元素，i的取值范围为1到红外低分辨率编码图像行数的正整数，j的取值范围为1到红外低分辨率编码图像列数的正整数；

第三步，将第三幅滤除噪声的红外低分辨率编码图像第i行第j列的像素值，赋值给目标图像矩阵第i偶数行第j偶数列的元素，i的取值范围为1到红外低分辨率编码图像行数的正整数，j的取值范围为1到红外低分辨率编码图像列数的正整数；

第四步，将第四幅滤除噪声的红外低分辨率编码图像第i行第j列的像素值，赋值给目标图像矩阵第i偶数行第j奇数列的元素，i的取值范围为1到红外低分辨率编码图像行数的正整数，j的取值范围为1到红外低分辨率编码图像列数的正整数。

参照附图2，对本发明的探测器单个像元像素重排法，更加形象直观地描述如下。将探测器上单个像元获得的红外低分辨率图像的像素值顺序排列在目标图像矩阵中，得到单个像元的重构图像矩阵。在图2(a)中，大正方形左上角的白色小正方形表示焦平面阵列单个像元左上角的成像区域，在图2(b)中，大正方形右上角的白色小正方形表示焦平面阵列单个像元右上角的成像区域，在图2(c)中，大正方形左下角的白色小正方形表示焦平面阵列单个像元左下角的成像区域，在图2(d)中，大正方形右下角的白色小正方形表示焦平面阵列单个像元右下角的成像区域，在图2(e)表示目标图像矩阵，其中，左上角的小正方形表示目标图像矩阵中排列的来自焦平面阵列单个像元左上角的成像区域的像素值，右上角的小正方形表示目标图像矩阵中排列的来自焦平面阵列单个像元右上角的成像区域的像素值，左下角的小正方形表示目标图像矩阵中排列的来自焦平面阵列单个像元左下角的成像区域的像素值，右下角的小正方形表示目标图像矩阵中排列的来自焦平面阵列单个像元右下角的成像区域的像素值，由此得的焦平面阵列单个像元对应的高分辨率重构图像矩阵，焦平面阵列上所有像元的图像重构方法相同。

参考附图3，对本发明提出的成像方法相对于传统方法获得的成像性能提升进行描述。

在图3中，1为物平面上的场景目标，2为透镜，3为编码模板，4为像平面上的红外焦平面阵列。物平面上的场景目标1通过透镜2聚焦到红外焦平面阵列4上，传统成像方法直接在红外焦平面阵列4上记录，本文发明提出的成像方法利用置于焦平面阵列4前的编码模板3对场景目标进行空域调制后记录，存在如下关系：

Δh＝H/2

α＝iFov/2

其中，iFov为传统成像方法单个像元对应的瞬时视场角，H为传统成像方法对应的最小可分辨采样距离，α为引入编码模板的成像方法编码模板单个像元对应的瞬时视场角，Δh为引入编码模板的成像方法对应的最小可分辨采样距离。可以得出本发明提出的成像方法相对传统方法，可以分辨更小的采样距离和瞬时视场角，具有更高的图像分辨率。

Claims (3)

1.一种基于时变编码测量的红外超分辨率成像方法，包括如下步骤：

(1)设置编码模板：

1a)在空间光调制器的工作区域模板上，按水平和垂直方向依次划分出与红外探测器水平和垂直方向像元数目相等的大正方形区域，该大正方形区域与红外探测器单个像元尺寸相同；

1b)将大正方形区域等分为左上角、右上角、左下角、右下角四个小正方形区域，除左上角区域透光外，其他区域均不透光，得到设置好的编码模板；

(2)获得时变低分辨率编码图像：

2a)将编码模板放置在红外探测器前，紧贴红外探测器的焦平面阵列，编码模板上的所有大正方形区域与焦平面阵列上的所有像元一一对准；

2b)利用时变编码测量方法，获得四幅红外低分辨率编码图像；

(3)图像预处理：

通过中值滤波器，对获得的四幅红外低分辨率编码图像进行预处理，滤除其中的噪声，获得四幅滤除噪声的红外低分辨率编码图像；

(4)图像重构：

4a)创建目标图像矩阵，目标图像矩阵的行数等于2倍的红外低分辨率编码图像的行数，目标图像矩阵的列数等于2倍的红外低分辨率编码图像的列数；

4b)采用像素重排法，对四幅滤除噪声的红外低分辨率编码图像进行图像重构，得到红外超分辨率图像。

2.根据权利要求1所述的基于时变编码测量的红外超分辨率成像方法，其特征在于，步骤2b)中所述的时变编码测量方法的具体步骤如下：

第一步，按下红外超分辨率成像系统的快门，编码模板对进入红外超分辨率成像系统的光束进行空域调制，仅让经过编码模板透光区域的光通过，阻挡其他部分，在焦平面阵列上记录第一幅红外低分辨率编码图像；

第二步，第一幅红外低分辨率编码图像记录完成后，控制编码模板自动顺时针旋转90°，编码模板对进入红外超分辨率成像系统的光束进行空域调制，仅让经过编码模板透光区域的光通过，阻挡其他部分，在焦平面阵列上记录第二幅红外低分辨率编码图像；

第三步，第二幅红外低分辨率编码图像记录完成后，控制编码模板自动顺时针旋转90°，编码模板对进入红外超分辨率成像系统的光束进行空域调制，仅让经过编码模板透光区域的光通过，阻挡其他部分，在焦平面阵列上记录第三幅红外低分辨率编码图像；

第四步，第三幅红外低分辨率编码图像记录完成后，控制编码模板自动顺时针旋转90°，编码模板对进入红外超分辨率成像系统的光束进行空域调制，仅让经过编码模板透光区域的光通过，阻挡其他部分，在焦平面阵列上记录第四幅红外低分辨率编码图像。

3.根据权利要求1所述的基于时变编码测量的红外超分辨率成像方法，其特征在于，步骤4b)中所述的像素重排法的具体步骤如下：

第一步，将第一幅滤除噪声的红外低分辨率编码图像第i行第j列的像素值，赋值给目标图像矩阵第i奇数行第j奇数列的元素，i的取值范围为1到红外低分辨率编码图像行数的正整数，j的取值范围为1到红外低分辨率编码图像列数的正整数；

第二步，将第二幅滤除噪声的红外低分辨率编码图像第i行第j列的像素值，赋值给目标图像矩阵第i奇数行第j偶数列的元素，i的取值范围为1到红外低分辨率编码图像行数的正整数，j的取值范围为1到红外低分辨率编码图像列数的正整数；

第三步，将第三幅滤除噪声的红外低分辨率编码图像第i行第j列的像素值，赋值给目标图像矩阵第i偶数行第j偶数列的元素，i的取值范围为1到红外低分辨率编码图像行数的正整数，j的取值范围为1到红外低分辨率编码图像列数的正整数；

第四步，将第四幅滤除噪声的红外低分辨率编码图像第i行第j列的像素值，赋值给目标图像矩阵第i偶数行第j奇数列的元素，i的取值范围为1到红外低分辨率编码图像行数的正整数，j的取值范围为1到红外低分辨率编码图像列数的正整数。