CN103428500A - 一种超分辨率大视场红外成像方法 - Google Patents

Abstract

本发明公开了一种超分辨率大视场红外成像方法。其步骤为：(1)建立多孔径成像模型；(2)设置压缩编码模板；(3)获取低分辨率编码图像阵列；(4)重构压缩编码图像阵列；(5)超分辨率大视场重构。本发明充分利用了计算成像系统的优势，利用微透镜阵列和压缩编码模板获得低分辨率单元图像阵列，使用稀疏优化算法对低分辨率单元图像重构获得超分辨率单元图像，最后整合超分辨率单元图像阵列获得超分辨率大视场图像。本发明结合多孔径成像和压缩孔径编码成像技术，突破了奈奎斯特采样定律的局限，在兼顾大视场和超分辨率成像的同时，减少了计算复杂度，节省了红外探测器像元。本发明可用于红外成像、遥感成像、精确制导等技术领域。

Description

一种超分辨率大视场红外成像方法

技术领域

本发明属于图像处理技术领域，更进一步涉及红外图像处理技术领域中的图像采集与重构，具体是一种超分辨率大视场红外成像方法。本发明通过图像的多孔径压缩采样与重构，可以实现红外场景的超分辨率大视场成像。

背景技术

现在传统的成像系统主要是单孔径成像系统。由于单孔径成像系统视场小，分辨率低的局限性，对数据采集端的光电探测器造成了浪费，增大了传输，数据处理成本，难以满足图像处理技术领域中对目标图像的探测与跟踪的要求。

西安电子科技大学在其申请的专利“基于压缩感知孔径的超分辨率成像系统及成像方法”（专利申请号201110329866.3，公开号CN102438102A）中公开了一种通过低分辨率采样及图像重构的超分辨率成像方法。该方法基于压缩感知理论设计制作孔径编码模板，置于系统的孔径光阑处，对于整个光场进行混叠，利用低密度的红外探测器阵列获得低分辨率编码图像，最后通过优化解码重建生成超分辨率图像。该方法解决了现有技术红外成像代价昂贵的问题，但是，该方法仍然存在的不足是，单通道成像系统的视场角小，不能在大视场范围生成超分辨率图像。

哈尔滨工业大学在其申请的专利“球面成像装置及其成像方法”（申请号201001173948.9，公开号CN101867709A）中公开了一种使用球面成像装置的大视场成像方法。该方法采样的球面成像装置由光电转换单元和信号处理单元组成，通过实验测量获得系统点扩散函数，记录目标图像在接收面上的光强分布，最后进行采样频域变换和逆滤波获得大视场图像。该方法存在的不足是，球面成像装置的光学系统结构复杂，需要测量系统点扩散函数，没有生成超分辨率图像，不能解决现有技术中难以通过减小像元尺寸或增加像元数量的方式提高成像分辨率的问题。

Shankar M和Willett R,Pitsianis N.P等人在论文“Thin infrared imagingsystems through multichannel sampling.”（《Applied Optics》2008.47(10):B1-B10）中提出一种利用多孔径成像获得超分辨率红外图像的方法。该方法利用多孔径成像系统获得多幅具有亚像素偏移的多孔径单元图像，通过图像重构算法整合所有单元图像信息，获得超分辨率红外图像。该方法存在的不足是，文中采用非线性重构方法对多孔径单元图像进行重构，计算复杂度高，孔径间需要高精度的亚像素偏移，存在较大配准误差。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种超分辨率大视场红外成像方法。本发明可以显著增大系统成像视场，改善图像信噪比，生成超分辨率图像，节省成像单元。

实现本发明的基本思路是：建立多孔径成像模型，并设计压缩编码孔径模板，置于成像系统的孔径光阑处，在红外探测器上获得低分辨率压缩编码图像阵列，对每一个低分辨率压缩编码单元图像采用稀疏优化重构算法进行解码重建，最后整合所有孔径信息，获得红外超分辨率大视场图像。

为实现上述目的，本发明的具体步骤如下：

(1)建立多孔径成像模型：

1a)在红外探测器阵列中心前端设置N×N的微透镜阵列，相邻微透镜间距为d，微透镜阵列与红外探测器平面之间的距离等于微透镜阵列的焦距。

1b)在微透镜阵列中的每个微透镜四周添加挡板，每一个微透镜形成一个孔径成像，微透镜阵列形成多个孔径成像，完成多孔径成像模型建立。

(2)设置压缩编码模板：

2a)在空间光调制器的工作区域模板的左上角上，划分出一个大正方形区域，该大正方形区域边长等于单个微透镜通光孔径的直径。

2b)在大正方形区域上，按水平和垂直方向划分出M×M个小正方形区域，M为大于单个微透镜对应的红外探测器阵列像元行列数的正整数，将大正方形区域中的小正方形区域随机地设置成50%通光和50%不通光，得到设置好的光调制器区域。

2c)将设置好的光调制器区域，以相邻微透镜间距d为间隔，按水平和垂直方向分别复制N次，得到压缩编码模板。

(3)获取低分辨率压缩编码图像阵列：

3a)将多孔径成像模型放置在光学系统的采集端，使该多孔径成像模型的红外探测器平面与光轴垂直。

3b)将压缩编码模板置于光学系统的孔径光阑处，压缩编码模板上的每个大正方形区域中心与每个微透镜中心对准。

3c)按下光学系统的快门，在红外探测器上获得包含N×N幅低分辨率压缩编码单元图像的低分辨率压缩编码图像阵列。

(4)重构压缩编码图像阵列：

4a)将低分辨率压缩编码图像阵列中的每一幅低分辨率压缩编码单元图像矩阵按列展开，得到低分辨率压缩编码单元图像列向量。

4b)采用稀疏优化重构方法，依次对每一个低分辨率压缩编码单元图像列向量进行重构，获得重建的超分辨率单元图像向量组。

4c)将每一个重建的超分辨率单元图像向量重组成行列数相等的超分辨率单元图像矩阵，获得超分辨率单元图像阵列。

(5)重构超分辨率大视场：

5a)利用下式，得到超分辨率单元图像阵列的像素偏移量：

$i=\frac{d\·f}{l\·w}$

其中，i表示超分辨率单元图像阵列的像素偏移量，d表示微透镜阵列中相邻微透镜的间距，f表示微透镜阵列中微透镜的焦距，l表示场景与多孔径成像模型微透镜之间的距离，w表示红外探测器平面上像元的边长。

5b)按照下式，得到目标图像的水平像素数目：

M=[(N-1)·i+n]·x

其中，M表示目标图像的水平像素数目，N表示微透镜水平排列的数目，N的取值范围为2～10的正整数，i表示超分辨率单元图像阵列的像素偏移量，n表示超分辨率单元图像的行数，1/x表示超分辨率单元图像阵列的像素偏移量i中的非整数偏移量。

5c)以目标图像的水平像素数目作为行列数目，创建所有像素值为0的目标图像。

5d)按照下式，得到超分辨率单元图像阵列中，每个图像的像素在目标图像中对应的横向和纵向位置：

$M=[(U-1)\·i+P-1]+\frac{x}{2}$

其中，M表示超分辨率单元图像阵列中每个图像的像素在目标图像中的横向和纵向坐标，U表示超分辨率单元图像阵列的横向或纵向图像阵列中的第U个超分辨率单元图像，P表示横向和纵向第U个超分辨率单元图像中的第P个像元，i表示超分辨率单元图像阵列的像素偏移量，1/x表示超分辨率单元图像阵列的像素偏移量i中的非整数偏移量，N表示微透镜水平排列的数目，N的取值范围为2～10的正整数。

5e)将超分辨率单元图像阵列中的像素值，赋值给目标图像中对应位置的像素，判断目标图像中的所有像素是否已被赋值，若是，则认为目标图像就是红外超分辨率大视场图像，若否，执行步骤5f)。

5f)采用双线性插值法，获得目标图像中未被赋值的像素的像素值，得到红外超分辨率大视场图像。

本发明与现有技术相比具有以下优点：

第一，由于本发明采用了多孔径成像，克服了现有技术中单孔径成像系统视场角小的不足，使得本发明可实现大视场成像。

第二，由于本发明在系统的孔径光阑处放置了压缩编码模板，使用稀疏优化重构算法重构超分辨率图像，克服了现有技术中难以通过减小像元尺寸或增加像元数量的方式提高成像分辨率的不足，使得本发明具有了超分辨率成像能力，节省成像像元的优点。

第三，由于本发明采用了多孔径成像模型，像素对应赋值和双线性插值法相结合的单元图像重构方法，克服了现有技术中高精度偏移量误差大，非线性单元图像重构算法复杂度高的不足，使得本发明具有了计算复杂度低，误差小，实时性高的优点。

附图说明

图1为本发明的流程图；

图2为本发明的多孔径成像模型示意图；

图3为本发明的超分辨率大视场重构步骤的流程图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照附图1，本发明的具体步骤如下：

步骤1：建立多孔径成像模型。

在红外探测器阵列中心前端设置N×N的微透镜阵列，相邻微透镜间距为d，微透镜阵列与红外探测器平面之间的距离等于微透镜阵列的焦距。

在微透镜阵列中的每个微透镜四周添加挡板，每一个微透镜形成一个孔径成像，微透镜阵列形成多个孔径成像，完成多孔径成像模型建立。

参照附图2，对建立多孔径成像模型的具体步骤加以描述。在图2中，1表示微透镜，2表示红外探测器，3表示挡板。由图2可以看出，在红外探测器2阵列中心前端设置N×N的微透镜1阵列，相邻微透镜间距为d，根据需要的探测视场确定，相邻微透镜间距d越大，各孔径探测视场重叠区域越小，探测视场越大。微透镜1阵列与红外探测器2所在平面之间的距离等于微透镜阵列的焦距，N是指微透镜1水平排列的数目，N的取值范围为2～10的正整数。

在图2的微透镜1的阵列中每个微透镜1四周添加了挡板3，在每个微透镜后端形成一个正方形的成像区域。

本发明的实施例中，微透镜水平排列的数目N取值为2。

步骤2：设置压缩编码模板。

在空间光调制器的工作区域模板的左上角上，划分出一个大正方形区域，其边长等于单个微透镜通光孔径的直径。

在大正方形区域上，按水平和垂直方向划分出M×M个小正方形区域，M为大于单个微透镜对应的红外探测器阵列像元行列数的正整数，将大正方形区域中的小正方形区域随机地设置成50%通光和50%不通光，得到设置好的光调制器区域。

将设置好的光调制器区域按水平和垂直方向，间隔相邻微透镜间距各复制N次，得到压缩编码模板，其中N是指微透镜水平排列的数目，N的取值范围为2～10的正整数。

本发明的实施例中，微透镜水平排列的数目N取值是2。

步骤3：获取低分辨率压缩编码图像阵列。

将多孔径成像模型放置在光学系统的采集端，使该多孔径成像模型的红外探测器平面与光轴垂直。

根据光学成像的像差要求，确定孔径光阑位置，并将压缩编码模板置于光学系统的孔径光阑处，压缩编码模板上的每个大正方形区域中心与每个微透镜中心对准。

按下光学系统的快门，在红外探测器上获得包含N×N幅低分辨率压缩编码单元图像的低分辨率压缩编码图像阵列，其中N是指微透镜水平排列的数目，N的取值范围为2～10的正整数。

本发明的实施例中，微透镜水平排列的数目N取值是2。所有成像孔径采用相同的正方形压缩编码模板，置于系统的孔径光阑处，利用孔径编码原理，对成像孔径内光场信息进行调制混叠，使物平面上的目标点尽可能大的混叠扩散到红外探测器阵列的多个像元上。

步骤4：重构压缩编码图像阵列。

将低分辨率压缩编码图像阵列中的每一幅低分辨率压缩编码单元图像矩阵按列展开，得到低分辨率压缩编码单元图像列向量；

采用稀疏优化重构方法，依次对每一个低分辨率压缩编码单元图像列向量进行重构，获得重建的超分辨率单元图像向量组。

稀疏优化重构方法的具体步骤如下：

第一步，在压缩编码模板的一个大正方形光调制器区域内，将光通过的区域设定为1，光不通过的区域设定为0，按照大正方形光调制器区域的通光规律，生成压缩编码矩阵；将压缩编码矩阵按行展开，得到压缩编码行向量；将压缩编码行向量作为压缩编码模板对应的测量矩阵的首行，采用托普利兹Toeplitz循环矩阵生成法，获得的压缩编码模板对应的测量矩阵。

第二步，将低分辨率压缩编码单元图像列向量投影到稀疏域，得到初始稀疏分解系数向量，按照下式进行：

θ₀=(DAψ)^-1y

其中，θ₀表示初始稀疏分解系数向量，D表示降采样矩阵，A表示压缩编码模板对应的测量矩阵，Ψ表示稀疏域下的稀疏变换，稀疏域是指小波域，离散余弦域或者傅里叶域，(·)^-1表示矩阵的逆运算，y表示低分辨率压缩编码单元图像矩阵按列展开得到的列向量。

本发明的实施例中，稀疏域是指小波域。

第三步，采用梯度投影稀疏重构算法，将稀疏域的矩阵、初始稀疏分解系数向量、压缩编码模板对应的测量矩阵作为初始输入值，求解最小二范数优化方程，得到最佳优化估计向量。

其中，最小二范数迭代方程如下：

$\widehat{\mathrm{\θ}}=\arg \underset{\mathrm{\θ}}{\min }\frac{1}{2}{\left|\right|y-\mathrm{DA\ψ\θ}\left|\right|}_2^2+\mathrm{\τ}{\left|\right|\mathrm{\θ}\left|\right|}_1$

其中，

表示最佳稀疏分解估计系数，

表示以初始稀疏分解系数向量为变量的条件最小算符，θ表示初始稀疏分解系数向量，y表示低分辨率压缩编码图像矩阵向量化得到的列向量，D表示降采样矩阵，A表示压缩编码模板对应的测量矩阵，Ψ表示稀疏域，τ表示惩罚因子，τ的取值范围为0～1的小数，

表示二范数的平方值，||·||₁表示一范数。

本发明的实施例中，梯度投影稀疏重构算法采用GPSR6.0工具箱完成，稀疏域是指小波域，惩罚因子τ的取值是0.5。

第四步，将最佳估计向量逆投影到实域，获得重建的超分辨率单元图像向量，按照下式进行：

$\hat{x}=\mathrm{\ψ}\widehat{\mathrm{\θ}}$

其中，

表示重建的超分辨率单元图像向量，ψ为稀疏域的矩阵，

为最佳优化估计向量。

本发明的实施例中，稀疏域是指小波域。

将每一个重建的超分辨率单元图像向量重组成行列数相等的超分辨率单元图像矩阵，获得超分辨率单元图像阵列。

步骤5：超分辨率大视场重构。

参照附图3，本发明超分辨率大视场重构的具体步骤如下：

利用下式，得到超分辨率单元图像阵列的像素偏移量：

$i=\frac{d\·f}{l\·a}$

其中，i表示超分辨率单元图像阵列的像素偏移量，d表示微透镜阵列中相邻微透镜的间距，f表示微透镜阵列中微透镜的焦距，l表示场景与多孔径成像模型微透镜之间的距离，a表示像元的尺寸。

按照下式，得到目标图像的水平像素数目：

M=[(N-1)·i+n]·x

其中，M表示目标图像的水平像素数目，N表示微透镜水平排列的数目，N的取值范围为2～10的正整数，i表示超分辨率单元图像阵列的像素偏移量，n表示超分辨率单元图像的行数，1/x表示超分辨率单元图像阵列的像素偏移量i中的非整数偏移量。

以目标图像的水平像素数目作为行列数目，创建所有像素值为0的目标图像。

按照下式，得到超分辨率单元图像阵列中，每个图像的像素在目标图像中对应的横向和纵向位置：

$M=[(U-1)\·i+P-1]+\frac{x}{2}$

其中，M表示超分辨率单元图像阵列中每个图像的像素在目标图像中的横向和纵向坐标，U表示超分辨率单元图像阵列的横向或纵向图像阵列中的第U个超分辨率单元图像，P表示横向和纵向第U个超分辨率单元图像中的第P个像元，i表示超分辨率单元图像阵列的像素偏移量，1/x表示超分辨率单元图像阵列的像素偏移量i中的非整数偏移量，N表示微透镜水平排列的数目，N的取值范围为2～10的正整数。

本发明的实施例中，微透镜水平排列的数目N取值是2。

将超分辨率单元图像阵列中的像素值，赋值给目标图像中对应位置的像素，判断目标图像中的所有像素是否已被赋值，若是，则认为目标图像就是红外超分辨率大视场图像，若否，执行下面步骤。

采用双线性插值法，获得目标图像中未被赋值的像素的像素值，得到红外超分辨率大视场图像。

Claims (4)

1.一种超分辨率大视场红外成像方法，包括以下步骤：

(1)建立多孔径成像模型：

1a)在红外探测器阵列中心前端设置N×N的微透镜阵列，相邻微透镜间距为d，微透镜阵列与红外探测器平面之间的距离等于微透镜阵列的焦距；

1b)在微透镜阵列中的每个微透镜四周添加挡板，每一个微透镜形成一个孔径成像，微透镜阵列形成多个孔径成像，完成多孔径成像模型建立；

(2)设置压缩编码模板：

2a)在空间光调制器的工作区域模板的左上角上，划分出一个大正方形区域，该大正方形区域边长等于单个微透镜通光孔径的直径；

2b)在大正方形区域上，按水平和垂直方向划分出M×M个小正方形区域，M为大于单个微透镜对应的红外探测器阵列像元行列数的正整数，将大正方形区域中的小正方形区域随机地设置成50%通光和50%不通光，得到设置好的光调制器区域；

2c)将设置好的光调制器区域，以相邻微透镜间距d为间隔，按水平和垂直方向分别复制N次，得到压缩编码模板；

(3)获取低分辨率压缩编码图像阵列：

3a)将多孔径成像模型放置在光学系统的采集端，使该多孔径成像模型的红外探测器平面与光轴垂直；

3b)将压缩编码模板置于光学系统的孔径光阑处，压缩编码模板上的每个大正方形区域中心与每个微透镜中心对准；

3c)按下光学系统的快门，在红外探测器上获得包含N×N幅低分辨率压缩编码单元图像的低分辨率压缩编码图像阵列；

(4)重构压缩编码图像阵列：

4a)将低分辨率压缩编码图像阵列中的每一幅低分辨率压缩编码单元图像矩阵按列展开，得到低分辨率压缩编码单元图像列向量；

4b)采用稀疏优化重构方法，依次对每一个低分辨率压缩编码单元图像列向量进行重构，获得重建的超分辨率单元图像向量组；

4c)将每一个重建的超分辨率单元图像向量重组成行列数相等的超分辨率单元图像矩阵，获得超分辨率单元图像阵列；

(5)重构超分辨率大视场：

5a)利用下式，得到超分辨率单元图像阵列的像素偏移量：

$i=\frac{d\·f}{l\·w}$

其中，i表示超分辨率单元图像阵列的像素偏移量，d表示微透镜阵列中相邻微透镜的间距，f表示微透镜阵列中微透镜的焦距，l表示场景与多孔径成像模型微透镜之间的距离，w表示红外探测器平面上像元的边长；

5b)按照下式，得到目标图像的水平像素数目：

M=[(N-1)·i+n]·x

其中，M表示目标图像的水平像素数目，N表示微透镜水平排列的数目，N的取值范围为2～10的正整数，i表示超分辨率单元图像阵列的像素偏移量，n表示超分辨率单元图像的行数，1/x表示超分辨率单元图像阵列的像素偏移量i中的非整数偏移量；

5c)以目标图像的水平像素数目作为行列数目，创建所有像素值为0的目标图像；

5d)按照下式，得到超分辨率单元图像阵列中，每个图像的像素在目标图像中对应的横向和纵向位置：

$M=[(U-1)\·i+P-1]+\frac{x}{2}$

其中，M表示超分辨率单元图像阵列中每个图像的像素在目标图像中的横向和纵向坐标，U表示超分辨率单元图像阵列的横向或纵向图像阵列中的第U个超分辨率单元图像，P表示横向和纵向第U个超分辨率单元图像中的第P个像元，i表示超分辨率单元图像阵列的像素偏移量，1/x表示超分辨率单元图像阵列的像素偏移量i中的非整数偏移量，N表示微透镜水平排列的数目，N的取值范围为2～10的正整数；

5e)将超分辨率单元图像阵列中的像素值，赋值给目标图像中对应位置的像素，判断目标图像中的所有像素是否已被赋值，若是，则认为目标图像就是红外超分辨率大视场图像，若否，执行步骤5f)；

5f)采用双线性插值法，获得目标图像中未被赋值的像素的像素值，得到红外超分辨率大视场图像。

2.根据权利要求1所述的一种超分辨率大视场红外成像方法，其特征在于：步骤1a)、步骤2c)、步骤3c)中所述的N是指微透镜水平排列的数目，N取2～10的正整数。

3.根据权利要求1所述的一种超分辨率大视场红外成像方法，其特征在于：步骤1a)中所述的相邻微透镜间距d由探测视场的角度确定，相邻微透镜间距d越大，各孔径探测视场重叠区域越小，探测视场的角度越大。

4.根据权利要求1所述的一种超分辨率大视场红外成像方法，其特征在于：步骤4b)所述的稀疏优化重构方法的具体步骤如下：

第一步，在压缩编码模板的一个大正方形光调制器区域内，将光通过的区域设定为1，光不通过的区域设定为0，按照大正方形光调制器区域的通光规律，生成压缩编码矩阵；将压缩编码矩阵按行展开，得到压缩编码行向量；将压缩编码行向量作为压缩编码模板对应的测量矩阵的首行，采用托普利兹Toeplitz循环矩阵生成法，获得的压缩编码模板对应的测量矩阵；

第二步，将低分辨率压缩编码单元图像列向量投影到稀疏域，得到初始稀疏分解系数向量；

第三步，采用梯度投影稀疏重构算法，将稀疏域的矩阵、初始稀疏分解系数向量、压缩编码模板对应的测量矩阵作为初始输入值，求解最小二范数优化方程，得到最佳优化估计向量；

所述的最小二范数迭代方程如下：

$\widehat{\mathrm{\θ}}=\arg \underset{\mathrm{\θ}}{\min }\frac{1}{2}{\left|\right|y-\mathrm{DA\ψ\θ}\left|\right|}_2^2+\mathrm{\τ}{\left|\right|\mathrm{\θ}\left|\right|}_1$

其中，

表示最佳稀疏分解估计系数，

表示以初始稀疏分解系数向量为变量的条件最小算符，θ表示初始稀疏分解系数向量，y表示低分辨率压缩编码图像矩阵向量化得到的列向量，D表示降采样矩阵，A表示压缩编码模板对应的测量矩阵，Ψ表示稀疏域，τ表示惩罚因子，τ的取值范围为0～1的小数，表示二范数的平方值，||·||₁表示一范数；

第四步，对最佳估计向量逆投影到实域，获得重建的超分辨率单元图像向量。

Images