CN103310431A - 一种基于硬件加速的单帧红外图像超分辨方法 - Google Patents
一种基于硬件加速的单帧红外图像超分辨方法 Download PDFInfo
- Publication number
- CN103310431A CN103310431A CN2013102404541A CN201310240454A CN103310431A CN 103310431 A CN103310431 A CN 103310431A CN 2013102404541 A CN2013102404541 A CN 2013102404541A CN 201310240454 A CN201310240454 A CN 201310240454A CN 103310431 A CN103310431 A CN 103310431A
- Authority
- CN
- China
- Prior art keywords
- image
- dictionary
- resolution
- images
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明属于红外成像图像处理领域,具体涉及一种基于硬件加速的单帧红外图像超分辨方法。它包括:步骤一:双线性插值;步骤二:滤波;滤波得到四幅图像,步骤三:计算;计算得到最终的高分辨率图像。本发明的有益效果是:用本申请的方法可以在低分辨率图像的基础上,经过图像处理得到足够满足要求的高分辨率图像。该方法不仅适用于普通可见光图像,而且适用于红外图像。同时该方法可以很方便的用硬件实现,满足系统实时性的要求。
Description
技术领域
本发明属于红外成像图像处理领域,具体涉及一种基于硬件加速的单帧红外图像超分辨方法。
背景技术
红外焦平面技术发展到今天,已经达到了相当的水平。在国内,昆明物理所、中国科学院上海技术物理研究所等红外热成像专业研究所已经取得一定的成果,但在产品性能与技术指标方面与国外还有很大的差距。受国际环境与国内基础工业水平的限制,国内红外焦平面热像仪的探测性能与空间分辨能力将在一个比较长的时间内落后于国外先进产品,使得我国在需要高空间分辨率成像仪来对目标进行有效检测识别的场合,如海岸、边境监视、空中搜救时,都需靠进口引进来解决。所以在研究红外焦平面热成像技术时,通过数字图像处理的方法提高成像系统的空间分辨能力便成为一项有价值的研究方向。
首先出现的超分辨率复原技术是频域方法,这类方法只能局限于全局平移运动和线性空间不变降质模型,而且包含空域先验知识的能力有限。后来出现了多种空域方法,空域方法比频域方法具有更大的灵活性和更广的适用范围,如非均匀空域样本内插法,迭代反投影法集合理论复原法(凸集投影POCS)统计复原法(最大后验概率估计器MAP)混合ML/MAP/POCS法,自适应滤波方法等。国内的研究工作主要集中在对这些算法的改进上,基本上算法运算量大,往往只是在计算机上对算法进行仿真分析与研究,且没有和实际的光学成像系统结合起来开展工作,离实际的工程应用还有距离。
发明内容
本发明的目的是针对现有技术的缺陷,提供一种基于硬件加速的单帧红外图像超分辨方法。
本发明是这样实现的:一种基于硬件加速的单帧红外图像超分辨方法,其特征在于:包括下述步骤:
步骤一:双线性插值
针对输入的低分辨率图像,采用下述公式进行双线性插值:
dp(i,j)=(1-wq)d(p,q)+wqd(p,q+1)
dp+1(i,j)=(1-wq)d(p+1,q)+wqd(p+1,q+1) (1)
d(i,j)=(1-wp)d(i,j)+wpdp+1(i,j)
其中,(i,j)表示新图像的像素点,d(i,j)表示点(i,j)的灰度值,(p,q),(p,q+1),(p+1,q),(p+1,q+1)表示原图像中的点,wp和wq为(p,q)点的权重,并且p,qwp和wq按照下述公式计算得到
本步骤得到双插值后的灰度图像,图像中象元的灰度值用d(i,j)或者用dij表示,
步骤二:滤波
分别用下述四个滤波模板对步骤一中得到的图像滤波,滤波得到四幅图像,
滤波模板分别为
hf1=[-1,0,1];
vf1=[-1,0,1]'
(4)
hf2=[1,0,-2,0,1];
vf2=[1,0,-2,0,1]'
四幅图像分别为
dij 1=dij*hf1
dij 2=dij*vf1
(5)
dij 3=dij*hf2
dij 4=dij*vf2
其中dij 1表示用第一个滤波模板进行滤波后得到图像象元的灰度值,类似的dij 2、dij 3、dij 4就是用第二、三、四个滤波模板进行滤波后得到图像象元的灰度值,dij为步骤一得到图像象元的灰度值,
步骤三:计算
在进行计算之前首先建立高分辨率图像字典Dh和低分辨率图像字典Dl,
字典的建立过程为:首选选取高分辨率(640×512)红外图像,然后通过过采样的手段降低图像分辨率,得到低分辨率(320×256)红外图像,则高分辨率(640×512)红外图像被加入高分辨率图像字典Dh,低分辨率(320×256)红外图像被加入低分辨率图像字典Dl,同时建立高分辨率图像字典中特定图像与低分辨率图像字典中特定图像的一一对应关系,字典中图像的个数一般以25个为最优,当然也可以选取其他个数的字典,一般字典中图像个数选取的数量范围为15~30个,
将所有高分辨率图像字典Dh和低分辨率图像字典Dl中的全部图像都抽取出来,然后将高分辨率图像字典Dh的所有图像排列成三维矩阵,该三维矩阵中的横坐标和纵坐标为高分辨率图像字典Dh中图像的位置坐标,三维矩阵中的高度坐标为图像序号,类似的也建立由低分辨率图像字典Dl的所有图像排列成三维矩阵,此时低分辨率图像字典Dl所有图像排列成三维矩阵的排列顺序与高分辨率图像字典Dh所有图像排列成三维矩阵的排列顺序保持一致,最后,将步骤二中得到的四幅图像,也按照上述规则,构建三维矩阵,上述构建的三个三维矩阵分别记录为:d*表示用步骤二中图像构建的三维矩阵,D* l表示用低分辨率图像字典Dl所有图像排列成的三维矩阵,D* h表示用高分辨率图像字典Dh所有图像排列成的三维矩阵,
用下述公式计算系数矩阵α*
上述公式中||||2表示运算符号中的所有元素平方之和再开方,D* l和d*为前面建立的三维矩阵,λ为预先设定的常数,argmin表示使公式值最小的变量,
最后用下述公式计算高分辨图像
D=D* hα* (7)
上述公式中α*为公式(6)计算得到的结果,D* h表示用高分辨率图像字典Dh所有图像排列成的三维矩阵,D为最终得到的高分辨率图像。
如上所述的一种基于硬件加速的单帧红外图像超分辨方法,其中,当使用FPGA进行公式(2)运算的时候,用下述方法简化运算过程,
p=(i×181)>>8
q=(j×181)>>8
imod256=i&255
其中>>表示向右移位(即向右移8位),&表示按位与(10与11按位与结果为10)。
如上所述的一种基于硬件加速的单帧红外图像超分辨方法,其中,所述公式(6)中的λ的取值范围为(0,1)。
如上所述的一种基于硬件加速的单帧红外图像超分辨方法,其中,所述公式(6)中的λ的取值范围为0.5。
本发明的有益效果是:用本申请的方法可以在低分辨率图像的基础上,经过图像处理得到足够满足要求的高分辨率图像。该方法不仅适用于普通可见光图像,而且适用于红外图像。同时该方法可以很方便的用硬件实现,满足系统实时性的要求。
附图说明
图1是本申请的流程图。
图2是输入的低分辨率图像。
图3是经本申请方法处理后得到的高清图像。
图4是输入的低分辨率红外图像。
图5是经本申请方法处理后得到的高清图像。
图6是用硬件实现本方法的示意图。
具体实施方式
如附图1所示,一种基于硬件加速的单帧红外图像超分辨方法,包括下述步骤:
步骤一:双线性插值
针对输入的低分辨率图像,采用下述公式进行双线性插值:
dp(i,j)=(1-wq)d(p,q)+wqd(p,q+1)
dp+1(i,j)=(1-wq)d(p+1,q)+wqd(p+1,q+1) (1)
d(i,j)=(1-wp)d(i,j)+wpdp+1(i,j)
其中,(i,j)表示新图像的像素点,d(i,j)表示点(i,j)的灰度值,(p,q),(p,q+1),(p+1,q),(p+1,q+1)表示原图像中的点,wp和wq为(p,q)点的权重,并且p,qwp和wq按照下述公式计算得到
当使用FPGA进行公式(2)运算的时候,可以用下述方法简化运算过程。
p=(i×181)>>8
q=(j×181)>>8
imod256=i&255
其中>>表示向右移位(即向右移8位),&表示按位与(10与11按位与结果为10)。
本步骤得到双插值后的灰度图像,图像中象元的灰度值用d(i,j)或者用dij表示。
步骤二:滤波
分别用下述四个滤波模板对步骤一中得到的图像滤波,滤波得到四幅图像。
滤波模板分别为
hf1=[-1,0,1];
vf1=[-1,0,1]'
(4)
hf2=[1,0,-2,0,1];
vf2=[1,0,-2,0,1]'
四幅图像分别为
dij 1=dij*hf1
dij 2=dij*vf1
(5)
dij 3=dij*hf2
dij 4=dij*vf2
其中dij 1表示用第一个滤波模板进行滤波后得到图像象元的灰度值,类似的dij 2、dij 3、dij 4就是用第二、三、四个滤波模板进行滤波后得到图像象元的灰度值,dij为步骤一得到图像象元的灰度值。
步骤三:计算
在进行计算之前首先建立高分辨率图像字典Dh和低分辨率图像字典Dl。
字典的建立过程为:首选选取高分辨率(640×512)红外图像,然后通过过采样的手段降低图像分辨率,得到低分辨率(320×256)红外图像,则高分辨率(640×512)红外图像被加入高分辨率图像字典Dh,低分辨率(320×256)红外图像被加入低分辨率图像字典Dl,同时建立高分辨率图像字典中特定图像与低分辨率图像字典中特定图像的一一对应关系。字典中图像的个数一般以25个为最优,当然也可以选取其他个数的字典,一般字典中图像个数选取的数量范围为15~30个。
将所有高分辨率图像字典Dh和低分辨率图像字典Dl中的全部图像都抽取出来,然后将高分辨率图像字典Dh的所有图像排列成三维矩阵,该三维矩阵中的横坐标和纵坐标为高分辨率图像字典Dh中图像的位置坐标,三维矩阵中的高度坐标为图像序号(例如有三幅高分辨率图像Dh1、Dh2、Dh3,那么建立的三维矩阵为 )。类似的也建立由低分辨率图像字典Dl的所有图像排列成三维矩阵,此时低分辨率图像字典Dl所有图像排列成三维矩阵的排列顺序与高分辨率图像字典Dh所有图像排列成三维矩阵的排列顺序保持一致(例如若高分辨所有图像排列成三维矩阵为 那么低分辨率图像字典Dl所有图像排列成三维矩阵为 )。最后,将步骤二中得到的四幅图像,也按照上述规则,构建三维矩阵。上述构建的三个三维矩阵分别记录为:d*表示用步骤二中图像构建的三维矩阵,D* l表示用低分辨率图像字典Dl所有图像排列成的三维矩阵,D* h表示用高分辨率图像字典Dh所有图像排列成的三维矩阵。
用下述公式计算系数矩阵α*
上述公式中||||2表示运算符号中的所有元素平方之和再开方,D* l和d*为前面建立的三维矩阵,λ为预先设定的常数,该常数一般设定为0与1之间的任意值,本例中取λ为0.5,argmin表示使公式值最小的变量,上述公式的意思是计算使最小的α,该α记为。
最后用下述公式计算高分辨图像
D=D* hα* (7)
上述公式中α*为公式(6)计算得到的结果,D* h表示用高分辨率图像字典Dh所有图像排列成的三维矩阵,D为最终得到的高分辨率图像。
申请人对本方法得到的高分辨率图像进行了评价,评价过程为:首先选取一幅已知的高分辨率图像(记为Aij),然后用抽样的方法获得与该高分辨率图像对应的低分辨率图像,再次用本申请的方法对低分辨率图像进行处理,得到还原的高分辨率图像(记为Bij),最后用下述公式进行评价:
其中M,N分别为图像的长度方向像素数和宽度方向像素数,Aij为原始图像,Bij为超分辨恢复处理后图像。计算得到的PSNR值越大越好,用本申请的方法至少可以得到优于常规方法的高分辨率图像。
用本申请方法处理图像的对比如附图2~5所示。
如附图6所示,本申请的方法可以用FPGA和DSP组合实现。
Claims (4)
1.一种基于硬件加速的单帧红外图像超分辨方法,其特征在于:包括下述步骤:
步骤一:双线性插值
针对输入的低分辨率图像,采用下述公式进行双线性插值:
dp(i,j)=(1-wq)d(p,q)+wqd(p,q+1)
dp+1(i,j)=(1-wq)d(p+1,q)+wqd(p+1,q+1) (1)
d(i,j)=(1-wp)d(i,j)+wpdp+1(i,j)
其中,(i,j)表示新图像的像素点,d(i,j)表示点(i,j)的灰度值,(p,q),(p,q+1),(p+1,q),(p+1,q+1)表示原图像中的点,wp和wq为(p,q)点的权重,并且p,qwp和wq按照下述公式计算得到
本步骤得到双插值后的灰度图像,图像中象元的灰度值用d(i,j)或者用dij表示,
步骤二:滤波
分别用下述四个滤波模板对步骤一中得到的图像滤波,滤波得到四幅图像,
滤波模板分别为
hf1=[-1,0,1];
vf1=[-1,0,1]'
(4)
hf2=[1,0,-2,0,1];
vf2=[1,0,-2,0,1]'
四幅图像分别为
dij 1=dij*hf1
dij 2=dij*vf1
(5)
dij 3=dij*hf2
dij 4=dij*vf2
其中dij 1表示用第一个滤波模板进行滤波后得到图像象元的灰度值,类似的dij 2、dij 3、dij 4就是用第二、三、四个滤波模板进行滤波后得到图像象元的灰度值,dij为步骤一得到图像象元的灰度值,
步骤三:计算
在进行计算之前首先建立高分辨率图像字典Dh和低分辨率图像字典Dl,
字典的建立过程为:首选选取高分辨率(640×512)红外图像,然后通过过采样的手段降低图像分辨率,得到低分辨率(320×256)红外图像,则高分辨率(640×512)红外图像被加入高分辨率图像字典Dh,低分辨率(320×256)红外图像被加入低分辨率图像字典Dl,同时建立高分辨率图像字典中特定图像与低分辨率图像字典中特定图像的一一对应关系,字典中图像的个数一般以25个为最优,当然也可以选取其他个数的字典,一般字典中图像个数选取的数量范围为15~30个,
将所有高分辨率图像字典Dh和低分辨率图像字典Dl中的全部图像都抽取出来,然后将高分辨率图像字典Dh的所有图像排列成三维矩阵,该三维矩阵中的横坐标和纵坐标为高分辨率图像字典Dh中图像的位置坐标,三维矩阵中的高度坐标为图像序号,类似的也建立由低分辨率图像字典Dl的所有图像排列成三维矩阵,此时低分辨率图像字典Dl所有图像排列成三维矩阵的排列顺序与高分辨率图像字典Dh所有图像排列成三维矩阵的排列顺序保持一致,最后,将步骤二中得到的四幅图像,也按照上述规则,构建三维矩阵,上述构建的三个三维矩阵分别记录为:d*表示用步骤二中图像构建的三维矩阵,D* l表示用低分辨率图像字典Dl所有图像排列成的三维矩阵,D* h表示用高分辨率图像字典Dh所有图像排列成的三维矩阵,
用下述公式计算系数矩阵α*
上述公式中||||2表示运算符号中的所有元素平方之和再开方,D* l和d*为前面建立的三维矩阵,λ为预先设定的常数,argmin表示使公式值最小的变量,
最后用下述公式计算高分辨图像
D=D* hα* (7)
上述公式中α*为公式(6)计算得到的结果,D* h表示用高分辨率图像字典Dh所有图像排列成的三维矩阵,D为最终得到的高分辨率图像。
2.如权利要求1所述的一种基于硬件加速的单帧红外图像超分辨方法,其特征在于:
当使用FPGA进行公式(2)运算的时候,用下述方法简化运算过程,
p=(i×181)>>8
q=(j×181)>>8
imod256=i&255
其中>>表示向右移位(即向右移8位),&表示按位与(10与11按位与结果为10)。
3.如权利要求2所述的一种基于硬件加速的单帧红外图像超分辨方法,其特征在于:所述公式(6)中的λ的取值范围为(0,1)。
4.如权利要求3所述的一种基于硬件加速的单帧红外图像超分辨方法,其特征在于:所述公式(6)中的λ的取值范围为0.5。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310240454.1A CN103310431B (zh) | 2013-06-17 | 2013-06-17 | 一种基于硬件加速的单帧红外图像超分辨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310240454.1A CN103310431B (zh) | 2013-06-17 | 2013-06-17 | 一种基于硬件加速的单帧红外图像超分辨方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103310431A true CN103310431A (zh) | 2013-09-18 |
CN103310431B CN103310431B (zh) | 2016-09-14 |
Family
ID=49135608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310240454.1A Active CN103310431B (zh) | 2013-06-17 | 2013-06-17 | 一种基于硬件加速的单帧红外图像超分辨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103310431B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105976316A (zh) * | 2016-04-27 | 2016-09-28 | 武汉卓目科技有限公司 | 基于接触式图像传感器的多谱段图像重建方法及系统 |
CN106251339A (zh) * | 2016-07-21 | 2016-12-21 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置 |
CN110082072A (zh) * | 2019-04-30 | 2019-08-02 | 中国科学院合肥物质科学研究院 | 一种探测器阵列靶数据处理方法 |
CN112132748A (zh) * | 2020-09-24 | 2020-12-25 | 长沙理工大学 | 一种红外热成像超分辨率的处理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007119971A1 (en) * | 2006-04-14 | 2007-10-25 | Lg Innotek Co., Ltd | Lens module and camera module |
CN101882314A (zh) * | 2010-07-20 | 2010-11-10 | 上海交通大学 | 基于超完备稀疏表示的红外小目标检测方法 |
-
2013
- 2013-06-17 CN CN201310240454.1A patent/CN103310431B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007119971A1 (en) * | 2006-04-14 | 2007-10-25 | Lg Innotek Co., Ltd | Lens module and camera module |
CN101882314A (zh) * | 2010-07-20 | 2010-11-10 | 上海交通大学 | 基于超完备稀疏表示的红外小目标检测方法 |
Non-Patent Citations (2)
Title |
---|
LIQUAN DONG等: "The effective image denoising method for MEMS based IR image arrays", 《2008 INTERNATIONAL CONFERENCE ON OPTICAL INSTRUMENTS AND TECHNOLOGY》, vol. 7159, 30 November 2008 (2008-11-30), pages 1 - 9 * |
孙玉宝等: "多形态稀疏性正则化的图像超分辨率算法", 《电子学报》, vol. 38, no. 12, 15 December 2010 (2010-12-15), pages 2898 - 2903 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105976316A (zh) * | 2016-04-27 | 2016-09-28 | 武汉卓目科技有限公司 | 基于接触式图像传感器的多谱段图像重建方法及系统 |
CN105976316B (zh) * | 2016-04-27 | 2018-12-07 | 武汉卓目科技有限公司 | 基于接触式图像传感器的多谱段图像重建方法及系统 |
CN106251339A (zh) * | 2016-07-21 | 2016-12-21 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置 |
CN110082072A (zh) * | 2019-04-30 | 2019-08-02 | 中国科学院合肥物质科学研究院 | 一种探测器阵列靶数据处理方法 |
CN112132748A (zh) * | 2020-09-24 | 2020-12-25 | 长沙理工大学 | 一种红外热成像超分辨率的处理方法 |
CN112132748B (zh) * | 2020-09-24 | 2022-09-16 | 长沙理工大学 | 一种红外热成像超分辨率的处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103310431B (zh) | 2016-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107959805B (zh) | 基于混合相机阵列的光场视频成像系统及视频处理方法 | |
Huang et al. | Bidirectional recurrent convolutional networks for multi-frame super-resolution | |
CN105825477B (zh) | 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法 | |
Jian et al. | A novel face-hallucination scheme based on singular value decomposition | |
CN106251297A (zh) | 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法 | |
Chen et al. | Color guided thermal image super resolution | |
CN104935909A (zh) | 一种基于深度信息的多幅图超分辨方法 | |
CN107067380A (zh) | 基于低秩张量和层次化字典学习的高分辨率图像重构方法 | |
CN103310431B (zh) | 一种基于硬件加速的单帧红外图像超分辨方法 | |
Titus et al. | A comparison study on different interpolation methods based on satellite images | |
JP2006309649A (ja) | 超解像処理の高速化方法 | |
CN102110289A (zh) | 基于变分框架的彩色图像对比度增强方法 | |
CN104735360B (zh) | 光场图像处理方法和装置 | |
CN104036468A (zh) | 基于预放大非负邻域嵌入的单帧图像超分辨重建方法 | |
Zhao et al. | A novel infrared image super-resolution method based on sparse representation | |
Jeong et al. | Frame-based Poisson image restoration using a proximal linearized alternating direction method | |
CN109785235A (zh) | 基于压缩感知的红外行人图像超分辨率重建方法及系统 | |
CN103886559A (zh) | 一种光谱图像处理方法 | |
CN106910215A (zh) | 一种基于分数阶梯度插值的超分辨率方法 | |
Li et al. | Space–time super-resolution with patch group cuts prior | |
Karch et al. | Adaptive Wiener filter super-resolution of color filter array images | |
CN102222321A (zh) | 一种视频序列盲重建方法 | |
Zamani et al. | Multiple-frames super-resolution for closed circuit television forensics | |
CN103903240B (zh) | 基于多输出最小二乘支持向量回归的图像超分辨方法 | |
CN102592308B (zh) | 基于小波变换的单相机视频三维重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |