CN103310431B - 一种基于硬件加速的单帧红外图像超分辨方法 - Google Patents

Abstract

本发明属于红外成像图像处理领域，具体涉及一种基于硬件加速的单帧红外图像超分辨方法。它包括：步骤一：双线性插值；步骤二：滤波；滤波得到四幅图像，步骤三：计算；计算得到最终的高分辨率图像。本发明的有益效果是：用本申请的方法可以在低分辨率图像的基础上，经过图像处理得到足够满足要求的高分辨率图像。该方法不仅适用于普通可见光图像，而且适用于红外图像。同时该方法可以很方便的用硬件实现，满足系统实时性的要求。

Description

一种基于硬件加速的单帧红外图像超分辨方法

技术领域

本发明属于红外成像图像处理领域，具体涉及一种基于硬件加速的单帧红外图像超分辨方法。

背景技术

红外焦平面技术发展到今天，已经达到了相当的水平。在国内，昆明物理所、中国科学院上海技术物理研究所等红外热成像专业研究所已经取得一定的成果，但在产品性能与技术指标方面与国外还有很大的差距。受国际环境与国内基础工业水平的限制，国内红外焦平面热像仪的探测性能与空间分辨能力将在一个比较长的时间内落后于国外先进产品，使得我国在需要高空间分辨率成像仪来对目标进行有效检测识别的场合，如海岸、边境监视、空中搜救时，都需靠进口引进来解决。所以在研究红外焦平面热成像技术时，通过数字图像处理的方法提高成像系统的空间分辨能力便成为一项有价值的研究方向。

首先出现的超分辨率复原技术是频域方法,这类方法只能局限于全局平移运动和线性空间不变降质模型,而且包含空域先验知识的能力有限。后来出现了多种空域方法,空域方法比频域方法具有更大的灵活性和更广的适用范围，如非均匀空域样本内插法，迭代反投影法集合理论复原法(凸集投影POCS)统计复原法(最大后验概率估计器MAP)混合ML/MAP/POCS法，自适应滤波方法等。国内的研究工作主要集中在对这些算法的改进上，基本上算法运算量大，往往只是在计算机上对算法进行仿真分析与研究，且没有和实际的光学成像系统结合起来开展工作，离实际的工程应用还有距离。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种基于硬件加速的单帧红外图像超分辨方法。

本发明是这样实现的：一种基于硬件加速的单帧红外图像超分辨方法，其特征在于：包括下述步骤：

步骤一：双线性插值

针对输入的低分辨率图像，采用下述公式进行双线性插值：

d_p(i,j)=(1-w_q)d(p,q)+w_qd(p,q+1)

d_p+1(i,j)=(1-w_q)d(p+1,q)+w_qd(p+1,q+1) （1）

d(i,j)=(1-w_p)d(i,j)+w_pd_p+1(i,j)

其中，(i,j)表示新图像的像素点，d(i,j)表示点(i,j)的灰度值，(p,q)，(p,q+1)，(p+1,q)，(p+1,q+1)表示原图像中的点，w_p和w_q为(p,q)点的权重，并且p，qw_p和w_q按照下述公式计算得到

其中表示取整，mod表示模除

本步骤得到双插值后的灰度图像，图像中象元的灰度值用d(i,j)或者用d_ij表示，

步骤二：滤波

分别用下述四个滤波模板对步骤一中得到的图像滤波，滤波得到四幅图像，

滤波模板分别为

hf₁=[-1,0,1];

vf₁=[-1,0,1]'

（4）

hf₂=[1,0,-2,0,1];

vf₂=[1,0,-2,0,1]'

四幅图像分别为

d_ij ¹=d_ij*hf₁

d_ij ²=d_ij*vf₁

（5）

d_ij ³=d_ij*hf₂

d_ij ⁴=d_ij*vf₂

其中d_ij ¹表示用第一个滤波模板进行滤波后得到图像象元的灰度值，类似的d_ij ²、d_ij ³、d_ij ⁴就是用第二、三、四个滤波模板进行滤波后得到图像象元的灰度值，d_ij为步骤一得到图像象元的灰度值，

步骤三：计算

在进行计算之前首先建立高分辨率图像字典D_h和低分辨率图像字典D_l，

字典的建立过程为：首选选取高分辨率（640×512）红外图像，然后通过过采样的手段降低图像分辨率，得到低分辨率（320×256）红外图像，则高分辨率（640×512）红外图像被加入高分辨率图像字典D_h，低分辨率（320×256）红外图像被加入低分辨率图像字典D_l，同时建立高分辨率图像字典中特定图像与低分辨率图像字典中特定图像的一一对应关系，字典中图像的个数一般以25个为最优，当然也可以选取其他个数的字典，一般字典中图像个数选取的数量范围为15～30个，

将所有高分辨率图像字典D_h和低分辨率图像字典D_l中的全部图像都抽取出来，然后将高分辨率图像字典D_h的所有图像排列成三维矩阵，该三维矩阵中的横坐标和纵坐标为高分辨率图像字典D_h中图像的位置坐标，三维矩阵中的高度坐标为图像序号，类似的也建立由低分辨率图像字典D_l的所有图像排列成三维矩阵，此时低分辨率图像字典D_l所有图像排列成三维矩阵的排列顺序与高分辨率图像字典D_h所有图像排列成三维矩阵的排列顺序保持一致，最后，将步骤二中得到的四幅图像，也按照上述规则，构建三维矩阵，上述构建的三个三维矩阵分别记录为：d^*表示用步骤二中图像构建的三维矩阵，D^* _l表示用低分辨率图像字典D_l所有图像排列成的三维矩阵，D^* _h表示用高分辨率图像字典D_h所有图像排列成的三维矩阵，

用下述公式计算系数矩阵α^*

${\mathrm{\α}}^{*}=\arg \underset{\mathrm{\α}}{\min }f\left(\mathrm{\α}\right)=\arg \min \frac{1}{2}{\left|\right|d^{*}-{D^{*}}_l\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_2---\left(6\right)$

上述公式中||||₂表示运算符号中的所有元素平方之和再开方，D^* _l和d^*为前面建立的三维矩阵，λ为预先设定的常数，argmin表示使公式值最小的变量，

最后用下述公式计算高分辨图像

D=D^* _hα^* （7）

上述公式中α^*为公式（6）计算得到的结果，D^* _h表示用高分辨率图像字典D_h所有图像排列成的三维矩阵，D为最终得到的高分辨率图像。

如上所述的一种基于硬件加速的单帧红外图像超分辨方法，其中，当使用FPGA进行公式（2）运算的时候，用下述方法简化运算过程，

p=(i×181)>>8

q=(j×181)>>8

imod256=i&255

其中>>表示向右移位（即向右移8位），&表示按位与（10与11按位与结果为10）。

如上所述的一种基于硬件加速的单帧红外图像超分辨方法，其中，所述公式（6）中的λ的取值范围为（0,1）。

如上所述的一种基于硬件加速的单帧红外图像超分辨方法，其中，所述公式（6）中的λ的取值范围为0.5。

本发明的有益效果是：用本申请的方法可以在低分辨率图像的基础上，经过图像处理得到足够满足要求的高分辨率图像。该方法不仅适用于普通可见光图像，而且适用于红外图像。同时该方法可以很方便的用硬件实现，满足系统实时性的要求。

附图说明

图1是本申请的流程图。

图2是输入的低分辨率图像。

图3是经本申请方法处理后得到的高清图像。

图4是输入的低分辨率红外图像。

图5是经本申请方法处理后得到的高清图像。

图6是用硬件实现本方法的示意图。

具体实施方式

如附图1所示，一种基于硬件加速的单帧红外图像超分辨方法，包括下述步骤：

步骤一：双线性插值

针对输入的低分辨率图像，采用下述公式进行双线性插值：

d_p(i,j)=(1-w_q)d(p,q)+w_qd(p,q+1)

d_p+1(i,j)=(1-w_q)d(p+1,q)+w_qd(p+1,q+1) （1）

d(i,j)=(1-w_p)d(i,j)+w_pd_p+1(i,j)

其中，(i,j)表示新图像的像素点，d(i,j)表示点(i,j)的灰度值，(p,q)，(p,q+1)，(p+1,q)，(p+1,q+1)表示原图像中的点，w_p和w_q为(p,q)点的权重，并且p，qw_p和w_q按照下述公式计算得到

其中表示取整，mod表示模除

当使用FPGA进行公式（2）运算的时候，可以用下述方法简化运算过程。

p=(i×181)>>8

q=(j×181)>>8

imod256=i&255

其中>>表示向右移位（即向右移8位），&表示按位与（10与11按位与结果为10）。

本步骤得到双插值后的灰度图像，图像中象元的灰度值用d(i,j)或者用d_ij表示。

步骤二：滤波

分别用下述四个滤波模板对步骤一中得到的图像滤波，滤波得到四幅图像。

滤波模板分别为

hf₁=[-1,0,1];

vf₁=[-1,0,1]'

（4）

hf₂=[1,0,-2,0,1];

vf₂=[1,0,-2,0,1]'

四幅图像分别为

d_ij ¹=d_ij*hf₁

d_ij ²=d_ij*vf₁

（5）

d_ij ³=d_ij*hf₂

d_ij ⁴=d_ij*vf₂

其中d_ij ¹表示用第一个滤波模板进行滤波后得到图像象元的灰度值，类似的d_ij ²、d_ij ³、d_ij ⁴就是用第二、三、四个滤波模板进行滤波后得到图像象元的灰度值，d_ij为步骤一得到图像象元的灰度值。

步骤三：计算

在进行计算之前首先建立高分辨率图像字典D_h和低分辨率图像字典D_l。

字典的建立过程为：首选选取高分辨率（640×512）红外图像，然后通过过采样的手段降低图像分辨率，得到低分辨率（320×256）红外图像，则高分辨率（640×512）红外图像被加入高分辨率图像字典D_h，低分辨率（320×256）红外图像被加入低分辨率图像字典D_l，同时建立高分辨率图像字典中特定图像与低分辨率图像字典中特定图像的一一对应关系。字典中图像的个数一般以25个为最优，当然也可以选取其他个数的字典，一般字典中图像个数选取的数量范围为15～30个。

将所有高分辨率图像字典D_h和低分辨率图像字典D_l中的全部图像都抽取出来，然后将高分辨率图像字典D_h的所有图像排列成三维矩阵，该三维矩阵中的横坐标和纵坐标为高分辨率图像字典D_h中图像的位置坐标，三维矩阵中的高度坐标为图像序号（例如有三幅高分辨率图像D_h1、D_h2、D_h3，那么建立的三维矩阵为 $\left[\begin{array}{c}{D}_{h1}\\ D_{h2}\\ D_{h3}\end{array}\right]$ ）。类似的也建立由低分辨率图像字典D_l的所有图像排列成三维矩阵，此时低分辨率图像字典D_l所有图像排列成三维矩阵的排列顺序与高分辨率图像字典D_h所有图像排列成三维矩阵的排列顺序保持一致（例如若高分辨所有图像排列成三维矩阵为 $\left[\begin{array}{c}{D}_{h1}\\ D_{h2}\\ D_{h3}\end{array}\right],$ 那么低分辨率图像字典D_l所有图像排列成三维矩阵为 $\left[\begin{array}{c}{D}_{l1}\\ D_{l2}\\ D_{l3}\end{array}\right]$ ）。最后，将步骤二中得到的四幅图像，也按照上述规则，构建三维矩阵。上述构建的三个三维矩阵分别记录为：d^*表示用步骤二中图像构建的三维矩阵，D^* _l表示用低分辨率图像字典D_l所有图像排列成的三维矩阵，D^* _h表示用高分辨率图像字典D_h所有图像排列成的三维矩阵。

用下述公式计算系数矩阵α^*

${\mathrm{\α}}^{*}=\arg \underset{\mathrm{\α}}{\min }f\left(\mathrm{\α}\right)=\arg \min \frac{1}{2}{\left|\right|d^{*}-{D^{*}}_l\left|\right|}_2^2+\mathrm{\λ}{\left|\right|\mathrm{\α}\left|\right|}_2---\left(6\right)$

上述公式中||||₂表示运算符号中的所有元素平方之和再开方，D^* _l和d^*为前面建立的三维矩阵，λ为预先设定的常数，该常数一般设定为0与1之间的任意值，本例中取λ为0.5，argmin表示使公式值最小的变量，上述公式的意思是计算使最小的α，该α记为。

最后用下述公式计算高分辨图像

D=D^* _hα^* （7）

上述公式中α^*为公式（6）计算得到的结果，D^* _h表示用高分辨率图像字典D_h所有图像排列成的三维矩阵，D为最终得到的高分辨率图像。

申请人对本方法得到的高分辨率图像进行了评价，评价过程为：首先选取一幅已知的高分辨率图像（记为A_ij），然后用抽样的方法获得与该高分辨率图像对应的低分辨率图像，再次用本申请的方法对低分辨率图像进行处理，得到还原的高分辨率图像（记为B_ij），最后用下述公式进行评价：

$\mathrm{PSNR}=20\lg (255/\sqrt{\frac{\underset{M\×N}{\mathrm{\Σ}}{(A_{\mathrm{ij}}-B_{\mathrm{ij}})}^2}{M\×N}})---\left(8\right)$

其中M，N分别为图像的长度方向像素数和宽度方向像素数，A_ij为原始图像，B_ij为超分辨恢复处理后图像。计算得到的PSNR值越大越好，用本申请的方法至少可以得到优于常规方法的高分辨率图像。

用本申请方法处理图像的对比如附图2～5所示。

如附图6所示，本申请的方法可以用FPGA和DSP组合实现。

Claims (4)

1.一种基于硬件加速的单帧红外图像超分辨方法，其特征在于：包括下述步骤：

步骤一：双线性插值

针对输入的低分辨率图像，采用下述公式进行双线性插值：

$\begin{array}{c}{d}_p\left(i,j\right)=\left(1-w_q\right)d\left(p,q\right)+w_{q}d\left(p,q+1\right)\\ d_{p+1}\left(i,j\right)=\left(1-w_q\right)d\left(p+1,q\right)+w_{q}d\left(p+1,q+1\right)\\ d\left(i,j\right)=\left(1-w_p\right)d\left(i,j\right)+w_p{d}_{p+1}\left(i,j\right)\end{array}---\left(1\right)$

其中，(i,j)表示新图像的像素点，d(i,j)表示点(i,j)的灰度值，(p,q)，(p,q+1)，(p+1,q)，(p+1,q+1)表示原图像中的点，w_p和w_q为(p,q)点的权重，并且p，q，w_p和w_q按照下述公式计算得到

其中表示取整，mod表示模除

本步骤得到双线性插值后的灰度图像，图像中象元的灰度值用d(i,j)或者用d_ij表示，

步骤二：滤波

分别用下述四个滤波模板对步骤一中得到的图像滤波，滤波得到四幅图像，

滤波模板分别为

$\begin{array}{c}{\mathrm{hf}}_1=\[-1,0,1\];\\ {\mathrm{vf}}_1={\[-1,0,1\]}^{\′}\\ {\mathrm{hf}}_2=\[1,0,-2,0,1\];\\ {\mathrm{vf}}_2={\[1,0,-2,0,1\]}^{\′}\end{array}---\left(4\right)$

四幅图像分别为

$\begin{array}{c}{d_{ij}}^1=d_{ij}*{\mathrm{hf}}_1\\ {d_{ij}}^2=d_{ij}*{\mathrm{vf}}_1\\ {d_{ij}}^3=d_{ij}*{\mathrm{hf}}_2\\ {d_{ij}}^4=d_{ij}*{\mathrm{vf}}_2\end{array}---\left(5\right)$

其中d_ij ¹表示用第一个滤波模板进行滤波后得到图像象元的灰度值，类似的d_ij ²、d_ij ³、d_ij ⁴就是用第二、三、四个滤波模板进行滤波后得到图像象元的灰度值，d_ij为步骤一得到图像象元的灰度值，

步骤三：计算

在进行计算之前首先建立高分辨率图像字典D_h和低分辨率图像字典D_l，

字典的建立过程为：选取分辨率为640×512的红外图像，然后通过过采样的手段降低图像分辨率，得到分辨率为320×256的红外图像，则分辨率为640×512的红外图像被加入高分辨率图像字典D_h，分辨率为320×256的红外图像被加入低分辨率图像字典D_l，同时建立高分辨率图像字典中特定图像与低分辨率图像字典中特定图像的一一对应关系，字典中图像个数选取的数量范围为15～30个，

将所有高分辨率图像字典D_h和低分辨率图像字典D_l中的全部图像都抽取出来，然后将高分辨率图像字典D_h的所有图像排列成三维矩阵，该三维矩阵中的横坐标和纵坐标为高分辨率图像字典D_h中图像的位置坐标，三维矩阵中的高度坐标为图像序号，类似的也建立由低分辨率图像字典D_l的所有图像排列成三维矩阵，此时低分辨率图像字典D_l所有图像排列成三维矩阵的排列顺序与高分辨率图像字典D_h所有图像排列成三维矩阵的排列顺序保持一致，最后，将步骤二中得到的四幅图像，也按照上述规则，构建三维矩阵，上述构建的三个三维矩阵分别记录为：d^*表示用步骤二中图像构建的三维矩阵，D^* _l表示用低分辨率图像字典D_l所有图像排列成的三维矩阵，D^* _h表示用高分辨率图像字典D_h所有图像排列成的三维矩阵，

用下述公式计算系数矩阵α^*

${\mathrm{\α}}^{*}=\underset{\mathrm{\α}}{\arg minf\left(\mathrm{\α}\right)}=\arg min\frac{1}{2}\left|\right|d^{*}-{D^{*}}_l\mathrm{\α}|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\α}\right|{|}_2---\left(6\right)$

上述公式中|| ||₂表示运算符号中的所有元素平方之和再开方，D^* _l和d^*为前面建立的三维矩阵，λ为预先设定的常数，arg min表示使公式值最小的变量，

最后用下述公式计算高分辨率图像

D＝D^* _hα^* (7)

上述公式中α^*为公式(6)计算得到的结果，D^* _h表示用高分辨率图像字典D_h所有图像排列成的三维矩阵，D为最终得到的高分辨率图像。

2.如权利要求1所述的一种基于硬件加速的单帧红外图像超分辨方法，其特征在于：

当使用FPGA进行公式(2)运算的时候，用下述方法简化运算过程，

p＝(i×181)＞＞8

q＝(j×181)＞＞8

imod256＝i&255

其中＞＞表示向右移位，&表示按位与。

3.如权利要求2所述的一种基于硬件加速的单帧红外图像超分辨方法，其特征在于：所述公式(6)中的λ的取值范围为(0,1)。

4.如权利要求3所述的一种基于硬件加速的单帧红外图像超分辨方法，其特征在于：所述公式(6)中的λ的取值为0.5。