CN104217412B - 一种机载超分辨率图像重建装置及重建方法 - Google Patents

一种机载超分辨率图像重建装置及重建方法 Download PDF

Info

Publication number
CN104217412B
CN104217412B CN201410446682.9A CN201410446682A CN104217412B CN 104217412 B CN104217412 B CN 104217412B CN 201410446682 A CN201410446682 A CN 201410446682A CN 104217412 B CN104217412 B CN 104217412B
Authority
CN
China
Prior art keywords
image
resolution
super
sensing device
beam splitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410446682.9A
Other languages
English (en)
Other versions
CN104217412A (zh
Inventor
刘晶红
何林阳
李刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201410446682.9A priority Critical patent/CN104217412B/zh
Publication of CN104217412A publication Critical patent/CN104217412A/zh
Application granted granted Critical
Publication of CN104217412B publication Critical patent/CN104217412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及航空图像获取技术领域,公开了一种机载超分辨率图像重建装置及重建方法,该机载超分辨率图像重建装置包括:传感器输入模块、图像处理及输出模块;其中,所述传感器输入模块包括:成像镜头组、光线分束器及转动控制结构、第一图像传感器件、第二图像传感器件、模数转换器以及同步信号发生器;所述图像处理及输出模块包括:嵌入式图像处理与控制核心电路、存储单元、视频及超分辨率照片的无线传输电路、无线链路以及地面站信号接收及显示设备。本发明的解决了传统基于多帧图像的超分辨率方法计算量大,成像质量差的问题,为航空领域获取高清超分辨率图像提供了一种可行的办法。

Description

一种机载超分辨率图像重建装置及重建方法
技术领域
本发明涉及航空图像获取技术领域,特别涉及一种机载超分辨率图像重建装置及重建方法。
背景技术
由于现有一些设备成像能力的限制、复杂的航空环境等的影响,获得的图像或序列往往存在一定的降质或退化,如变形、模糊、含噪等。常用的改善图像质量的技术主要有:图像降噪、图像复原、图像增强、图像插值等图像处理技术,这些方法只能在一定程度上改善图像视觉效果,无法真正提高图像的分辨率。
目前,提高图像分辨率的直接方法有提高光学系统性能、提高CCD传感器密度、提高芯片尺寸等硬件性能,其共有的缺点是价格昂贵、体积和重量增加,在机载光电设备上应用尤其受限,因此研究机载超分辨率成像技术显得尤为重要。超分辨率图像重建的主要方法有:一种是基于图像插值的方式,该方式一般是将低分辨率图像序列投影到高分辨率图像网格,根据领域加权的方式重建网格上的高分辨率像素点信息;一种是基于多帧图像重建的方式,该方式首先根据参考图像估计其它图像的亚像素位移量,估计图像模糊因子,并建立超分辨率重建模型,根据先验约束通过迭代的方式求得最终高分辨率图像;一种是基于学习的超分辨率重建方式,该方式通过学习样本建立索引库,通过寻找相似索引块的方式重建高分辨率图像。
现有技术存在以下问题:
基于图像插值的方式只部分改善了图像视觉效果,容易产生“边缘模糊”和“棱效应”;基于多帧图像重建的方式,其重建效果严重依赖于运动估计精度,而现有的算法很难达到亚像素级估计精度,尤其是复杂航空环境下;基于学习的超分辨率重建方式,其硬件性能要求高,运算效率低,重建效果与学习样本息息相关。总之,上述方法目前还无法满足机载光电设备的需求。
发明内容
为了解决复杂航空环境下的超分辨率图像重建难题,本发明在研究现有算法基础上,提供了一种机载超分辨率图像重建装置及重建方法。
本发明的技术方案具体如下:
一种机载超分辨率图像重建装置,包括:传感器输入模块、图像处理及输出模块;其中,
所述传感器输入模块包括:成像镜头组、光线分束器及转动控制结构、第一图像传感器件、第二图像传感器件、模数转换器以及同步信号发生器;
所述图像处理及输出模块包括:嵌入式图像处理与控制核心电路、输入存储单元、输出存储单元、视频及超分辨率照片的无线传输电路、无线链路以及地面站信号接收及显示设备;
机载航拍环境下,目标场景经过成像镜头组后,可通过光线分束器及转动控制结构将同一场景分成双路成像,在同步信号发生器的控制下,第一图像传感器件和第二图像传感器件可得到同视场不同空间分辨率的图像,两路图像传感器经过模数转换器将模拟图像信号转换为数字图像信号并输出;嵌入式图像处理与控制核心电路可将接收到的两路信号分别缓存到输入存储单元中,以对多幅输入的图像进行相位重建,并利用重建得到的多相组线性组合重建得到超分辨率的数字图像,将结果存入输出存储单元中;原始图像序列和超分辨率的数字图像在嵌入式图像处理与控制核心电路的控制下,可通过视频及超分辨率照片的无线传输电路和无线链路将图像数据输出给地面站信号接收及显示设备,用于数据分析显示和进一步处理。
在上述技术方案中,所述光线分束器及转动控制结构包括:
光线分束器、转动控制连接件和机械卡口;其中,转动控制连接件可自由收起或放下光线分束器:当放下光线分束器时,机械卡口用于固定光线分束器,使其倾角成45度角,达到均匀分光的效果;当收起光线分束器时,光线分束器与第一图像传感器件平行,使其倾角成90度角,光线全部照射到第二图像传感器件上,以提高成像信噪比。
在上述技术方案中,所述第一图像传感器件和第二图像传感器件具有相同靶面尺寸、不同空间分辨率,且第一图像传感器件的分辨率低于第二图像传感器件的分辨率;假设第一图像传感器件的像元尺寸为c×c,第二图像传感器件的像元尺寸为d×d,重建倍数为I,则其像元尺寸满足
在上述技术方案中,在机载振动环境下,第一图像传感器件和第二图像传感器件可同时得到参考图像。
在上述技术方案中,所述嵌入式图像处理与控制核心电路包括:控制单元、分块单元、图像预处理单元、图像相位分解单元、超分辨率重建单元以及图像后处理单元;其中,
所述控制单元用于控制光线分束器收起和放下;
所述图像预处理单元对输入图像先做中值滤波处理,再完成图像的快速运动估计,估计精度为像素级;
所述分块单元可将完成初级处理的图像根据运动估计量,按匹配区域分块,并建立索引;
所述图像相位分解单元可对全部子块做相位分解,并按索引存入相应存储单元;
所述超分辨率重建单元对索引块建立超分辨率重建方程组,并求解方程组的最小二乘解;根据最小二乘解和索引块重建超分辨率图像的多相组,由相位合成得到超分辨率的初始估计图像,再根据图像盲卷积原理去除图像模糊获得超分辨率的最终图像;
所述图像后处理单元对得到的超分辨率的最终图像去噪和去模糊,并输出;
图像传感器可在控制单元的协调下,输出低分辨率图像序列;经图像预处理单元完成初级处理再输出给分块单元;由分块单元建立图像索引块输出给图像相位分解单元;由图像分解单元按索引块完成图像块的相位分解;由超分辨率重建单元对图像块分解相位合成得到超分辨率的初始估计图像;最终经图像后处理单元处理输出。
在上述技术方案中,超分辨率重建过程中第二图像传感器件采集的图像序列在嵌入式图像处理与控制核心电路的控制下,可通过视频及超分辨率照片的无线传输电路和无线链路将图像数据输出给地面站,用于数据分析显示和进一步处理;超分辨率重建获得高分辨率图像处理完毕后也通过上述方法传送给地面站,用于数据分析显示和进一步处理。
一种机载超分辨率图像重建方法,该方法包括以下步骤:
(1)采用特定的图像传感器像元分布,在机载随机振动环境下,先利用光线分束器获得同视场不同空间分辨率的参考图像A1、B1,后收起光线分束器,通过第二图像传感器件获取同视场的连续图像序列B2,…,Bn
(2)利用多相分解原理,将第一图像传感器件获取的参考图像A1和第二图像传感器件获取的图像序列B1,…,Bn分解并构建三层相位映射重建模型;
(3)按块重建高分辨率图像的多相组,并利用多相组的线性组合得到初始估计的高分辨率图像;
(4)对初始估计的高分辨率图像根据盲卷积原理去除图像模糊获得超分辨率的最终图像;
(5)将重建的超分辨率图像和第二图像传感器件的图像序列通过无线输出装置传输给地面接收站。
本发明具有如下优点:
(1)只需在采集参考图像时放下光线分束器,其它情形下,收起光线分束器,这样能最大限度的保证第二图像传感器件的图像质量。
(2)采用简单的相位分解算法,不需要亚像素精度的运动估计和复杂的迭代反投影过程,在航空复杂环境下,能有效利用多帧图像间的随机振动带来的随机位移,高效完成超分辨率图像重建。
本发明具有广泛地市场应用前景,如工控、安监、医疗与消费等,尤其适用于遥感侦察、精密制导、战场环境监测等航空军事应用中。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1为整体结构示意图;
图2为光线分束器控制及图像采集处理示意图;
图3为重建算法框架示意图;
其中,图像yref的各相位图可由图像序列的相位线性组合得到,由此建立线性方程组,由最小二乘估计算法求的线性方程组的各系数;根据第二图像传感器件获得的图像序列和以上求得的相位重建系数线性组合上采样得到高分辨率的相位重建图像;将相位重建结果做引导滤波并求其空间梯度,最后通过空间梯度构建控制核,由控制核回归技术去除图像模糊和噪声得到最终的超分辨率图像。这是图像作为整体实现超分辨率重建的流程,在实际操作过程中,为了提高重建精度,通过所述分块单元建立图像索引库,利用参考图像的图像块和对应的索引块序列按上述方法实现超分辨率重建。
图4为第一图像传感器件的靶面尺寸、像元尺寸及像元分布示意图;
其中,第一图像传感器件的靶面尺寸为L1×L2;像元感光区尺寸为c1×c1;相邻像元的中心距离为c2×c2。
图5为第二图像传感器件的像元尺寸、靶面尺寸及像元分布示意图;
其中,第二图像传感器件的靶面尺寸为L1×L2,与第一图像传感器件的靶面尺寸相同;像元感光区尺寸为d1×d1;相邻像元的中心距离为d2×d2。假设重建倍数为I,则如此,相同场景的图像经光线分束器分光后分别投影到图像传感器上,在第二图像传感器件中的间隙部分目标在到第一图像传感器件的感光区能有效感应,这样能有效增加图像的细节信息。
图6为图像相位分解原理示意图;
其中,u为原始高分辨率图像,下采样倍数F=2,定义下采样过程:
为下采样算子,由上式得到下采样序列u0,0,u0,1,u1,0,u1,1,对序列fi,j做Z变换,得到多相组Ui,j1,ε2),即Ui,j1,ε2)=∑(x,y)ε1 xε2 yu(Fx+i,Fy+j),该过程称为图像的相位分解过程。在空间域中,通常也称ui,j为多相组。
图7为差异采样的图像相关性示意图;
在原始高分辨率网格中,黑色小格代表下采样倍数F=2时,图像相位的采样点,灰色小格代表下采样倍数F=3时,图像相位的采样点,为了区分不同下采样倍数下的图像相位用下角标表示采样倍数。黑、灰相间的小格代表差异采样的图像相位共同采样点。由图中可以看出,差异采样存在共同采样点,且共同采样点规律排布。
图8为三层图像相位分解示意图;
给定高分辨率图像u经下采样2×2↓得到图像序列经下采样3×3↓得到参考图像yref。由图7可知,按设定的降采样方法,原始高分辨率图像下采样2×2↓再经过下采样3×3↓得到的图像和原始高分辨率图像下采样3×3↓再经过下采样2×2↓得到的图像相同。
图9为重建结果对比图;
图9中分别是第一图像传感器件采集的参考图像、第二图像传感器件采集的图像序列、双线性插值结果、本发明超分辨率重建结果。其中,双线性插值法和本发明在对比实验中的PSNR值分别为28.71、33.20。通过对比可知,本发明比双线性插值法具有更高的PSNR值,重建结果边缘锐利,景物清晰,明显优于双线性插值结果。
图中的附图标记表示为:
a-传感器输入模块,b-图像处理及输出模块,1-成像镜头组,2-光线分束器及转动控制结构(2a-机械卡口、2b-光线分束器、2c-转动控制连接件),3-第一图像传感器件(3a-第一图像传感器、3b-第一图像传感器固定装置),4-同步信号发生器,5-第二图像传感器件(5a-第二图像传感器、5b-第二图像传感器固定装置),6-模数转换器,7-嵌入式图像处理与控制核心电路(7a-控制单元、7b-分块单元、7c-图像预处理单元、7d-图像相位分解单元、7e-超分辨率重建单元、7f-图像后处理单元),8-输入存储单元,9-输出存储单元,10-视频及超分辨率照片的无线传输电路,11-无线链路(11a-无线链路发送端、11b无线链路接收端),12-地面站信号接收及显示设备。
具体实施方式
本发明的发明思想为:提供一种机载超分辨率图像重建方法,该方法包括以下步骤:
(1)采用特定的图像传感器像元分布,在机载随机振动环境下,先利用光线分束器获得同视场不同空间分辨率的参考图像A1、B1,后收起光线分束器,通过第二图像传感器件获取同视场的连续图像序列B2,…,Bn
(2)利用多相分解原理,将第一图像传感器件获取的参考图像A1和第二图像传感器件获取的图像序列B1,…,Bn分解并构建三层相位映射重建模型;
(3)按块重建高分辨率图像的多相组,并利用多相组的线性组合得到初始估计的高分辨率图像;
(4)对初始估计的高分辨率图像根据盲卷积原理去除图像模糊获得超分辨率的最终图像;
(5)将重建的超分辨率图像和第二图像传感器件的图像序列通过无线输出装置传输给地面接收站。
下面结合附图对本发明做以详细说明。
如图1-3所示,本发明的机载超分辨率图像重建装置包括:传感器输入模块a和图像处理及输出模块b。传感器输入模块a,主要由成像镜头组1、光线分束器及转动控制结构2、第一图像传感器件3、第二图像传感器件5、模数转换器6以及同步信号发生器4组成。所述图像处理及输出模块b主要由嵌入式图像处理与控制核心电路7、输入存储单元8、输出存储单元9、视频及超分辨率照片的无线传输电路10、无线链路11以及地面站信号接收及显示设备12组成。
如图2所示,光线分束器及转动控制结构2包括:光线分束器2b、转动控制连接件2c和机械卡口2a;其中,转动控制连接件2c可自由收起或放下光线分束器2b:当放下光线分束器时,机械卡口2a用于固定光线分束器2b,使其倾角成45度角,达到均匀分光的效果;当收起光线分束器时,光线分束器与第一图像传感器件3平行,使其倾角成90度角,光线全部照射到第二图像传感器件5上,以提高成像信噪比。
本发明的机载超分辨率图像重建装置通过光学成像系统(主要由成像镜头组1、光线分束器及转动控制结构2组成)将一副场景均匀分成两路投射到第一图像传感器件3和第二图像传感器件5(第一图像传感器件3和第二图像传感器件5的靶面尺寸、像元尺寸及像元分布关系如图3-5所示)。通过转动控制连接件2c将光线分束器2b放置与机械卡口2a上,使光线分束器与水平方向成45度角,达到均匀分光的效果。由于只需通过第一图像传感器件获得一张参考图像,因此在获取第二图像传感器件的图像序列时,通过控制由弹片和电机组成的控制结构2c将光线分束器2b收起至图2中虚线位置,这种方式获得第二图像传感器件的图像比分光前的图像信噪比高6dB。
本发明的机载超分辨率图像重建装置中,所述嵌入式图像处理与控制核心电路7包括:控制单元7a、分块单元7b、图像预处理单元7c、图像相位分解单元7d、超分辨率重建单元7e以及图像后处理单元7f;其中,所述控制单元7a用于控制光线分束器收起和放下;所述图像预处理单元7c对输入图像先做中值滤波处理,再完成图像的快速运动估计,估计精度为像素级;所述分块单元7b可将完成初级处理的图像根据运动估计量,按匹配区域分块,并建立索引;所述图像相位分解单元7d可对全部子块做相位分解,并按索引存入相应存储单元;所述超分辨率重建单元7e对索引块建立超分辨率重建方程组,并求解方程组的最小二乘解;根据最小二乘解和索引块重建超分辨率图像的多相组,由相位合成得到超分辨率的初始估计图像,再根据图像盲卷积原理去除图像模糊获得超分辨率的最终图像;所述图像后处理单元7f对得到的超分辨率的最终图像去噪和去模糊,并输出;
图像传感器可在控制单元7a的协调下,输出低分辨率图像序列;经图像预处理单元7c完成初级处理再输出给分块单元7b;由分块单元7b建立图像索引块输出给图像相位分解单元7d;由图像分解单元7d按索引块完成图像块的相位分解;由超分辨率重建单元7e对图像块分解相位合成得到超分辨率的初始估计图像;最终经图像后处理单元7f处理输出。
本发明的机载超分辨率图像重建装置在获取参考图像过程中,通过光学成像系统(主要由成像镜头组1、光线分束器及转动控制结构2组成)将一副场景均匀分成两路。通过控制由弹片和电机组成的控制结构2c将光线分束器2b放置与机械卡口2a上,使光线分束器与水平方向成45度角,达到均匀分光的效果。
本发明的机载超分辨率图像重建装置在获取样本图像序列过程中,通过控制由弹片和电机组成的控制结构2c将光线分束器2b收起至与第一图像传感器件3平行,使光线分束器与水平方向成0度角,光线全部照射到第二图像传感器件5上,以提高成像信噪比。
第一图像传感器件3和第二图像传感器件5具有相同靶面尺寸、不同空间分辨率。像元尺寸满足第一图像传感器件3的像元尺寸和第二图像传感器件5的像元尺寸成比例关系,假设第一图像传感器件3的像元尺寸为c×c,第二图像传感器件5的像元尺寸为d×d,重建倍数为I,则其像元尺寸满足
第一图像传感器件3和第二图像传感器件5采用一定的相对位置关系安装,第一图像传感器3a和第二图像传感器5a分别通过第一图像传感器固定装置3b和第二图像传感器固定装置5b固定。第一图像传感器件3和第二图像传感器件5的对应像元之间不存在差值,即四个角上的像元一一对应。
如图6所示,原始高分辨率图像u可以通过低分辨率相位序列的相位分解逆过程得到。其中,u为原始高分辨率图像,下采样倍数F=2,定义下采样过程:
为下采样算子,由上式得到下采样序列u0,0,u0,1,u1,0,u1,1,对序列fi,j做Z变换,得到多相组Ui,j12),即Ui,jl,ε2)=∑(x,y)ε1 xε2 yu(Fx+i,Fy+j),该过程称为图像的相位分解过程。在空间域中,通常也称ui,j为多相组。
如图7所示,其为差异采样的图像相关性示意图;在原始高分辨率网格中,黑色小格代表下采样倍数F=2时,图像相位的采样点,灰色小格代表下采样倍数F=3时,图像相位的采样点,为了区分不同下采样倍数下的图像相位用下角标表示采样倍数。黑、灰相间的小格代表差异采样的图像相位共同采样点。由图中可以看出,差异采样存在共同采样点,且共同采样点规律排布。
如图8所示,原始高分辨率图像u经过2×2下采样再经过3×3下采样得到的结果和原始高分辨率图像u经过3×3下采样再经过2×2下采样得到的结果一致。因此将通过上述图像获取方式按3×3下采样得到参考图像yref,将第二图像传感器件获得的图像序列按2×2下采样得到图像序列。按如图6所示相位分解方法,分别分解图像yref和图像序列则图像yref的各相位图可由图像序列的线性组合得到,由此建立线性方程组,由最小二乘估计算法求的线性方程组的各系数。根据第二图像传感器件获得的图像序列和以上求得的相位重建系数线性组合重建得到高分辨率的相位重建图像。
由于以上方式重建过程中对模糊不敏感,故采用控制核回归技术将相位重建图像去除图像模糊和噪声,获得超分辨率的最终重建图像,如图9所示。图9中分别是第一图像传感器件采集的参考图像、第二图像传感器件采集的图像序列、双线性插值结果、本发明超分辨率重建结果。其中,双线性插值法和本发明在对比实验中的PSNR值分别为28.71、33.20。通过对比可知,本发明比双线性插值法具有更高的PSNR值,重建结果边缘锐利,景物清晰,明显优于双线性插值结果。
需要说明的是:在图1、3和9中,传感器1和图像传感器1均代表第一图像传感器件;传感器2和图像传感器2均代表第二图像传感器件。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种机载超分辨率图像重建装置,其特征在于,包括:传感器输入模块(a)、图像处理及输出模块(b);其中,
所述传感器输入模块(a)包括:成像镜头组(1)、光线分束器及转动控制结构(2)、第一图像传感器件(3)、第二图像传感器件(5)、模数转换器(6)以及同步信号发生器(4);
所述图像处理及输出模块(b)包括:嵌入式图像处理与控制核心电路(7)、输入存储单元(8)、输出存储单元(9)、视频及超分辨率照片的无线传输电路(10)、无线链路(11)以及地面站信号接收及显示设备(12);
机载航拍环境下,目标场景经过成像镜头组(1)后,通过光线分束器及转动控制结构(2)将同一场景分成双路成像,在同步信号发生器(4)的控制下,第一图像传感器件(3)和第二图像传感器件(5)得到同视场不同空间分辨率的图像,两路图像传感器经过模数转换器(6)将模拟图像信号转换为数字图像信号并输出;嵌入式图像处理与控制核心电路(7)将接收到的两路信号分别缓存到输入存储单元(8)中,以对多幅输入的图像进行相位重建,并利用重建得到的多相组线性组合重建得到超分辨率的数字图像,将结果存入输出存储单元(9)中;原始图像序列和超分辨率的数字图像在嵌入式图像处理与控制核心电路(7)的控制下,通过视频及超分辨率照片的无线传输电路(10)和无线链路(11)将图像数据输出给地面站信号接收及显示设备(12),用于数据分析显示和进一步处理。
2.根据权利要求1所述的机载超分辨率图像重建装置,其特征在于,所述光线分束器及转动控制结构(2)包括:
光线分束器(2b)、转动控制连接件(2c)和机械卡口(2a);其中,转动控制连接件(2c)自由收起或放下光线分束器(2b):当放下光线分束器时,机械卡口(2a)用于固定光线分束器(2b),使其倾角成45度角,达到均匀分光的效果;当收起光线分束器时,光线分束器与第一图像传感器件(3)平行,使其倾角成90度角,光线全部照射到第二图像传感器件(5)上,以提高成像信噪比。
3.根据权利要求1所述的机载超分辨率图像重建装置,其特征在于,所述第一图像传感器件(3)和第二图像传感器件(5)具有相同靶面尺寸、不同空间分辨率,且第一图像传感器件(3)的分辨率低于第二图像传感器件(5)的分辨率;假设第一图像传感器件(3)的像元尺寸为c×c,第二图像传感器件(5)的像元尺寸为d×d,重建倍数为I,则其像元尺寸满足
4.根据权利要求1所述的机载超分辨率图像重建装置,其特征在于,在机载振动环境下,第一图像传感器件(3)和第二图像传感器件(5)同时得到参考图像。
5.根据权利要求1所述的机载超分辨率图像重建装置,其特征在于,所述嵌入式图像处理与控制核心电路(7)包括:控制单元(7a)、分块单元(7b)、图像预处理单元(7c)、图像相位分解单元(7d)、超分辨率重建单元(7e)以及图像后处理单元(7f);其中,
所述控制单元(7a)用于控制光线分束器收起和放下;
所述图像预处理单元(7c)对输入图像先做中值滤波处理,再完成图像的快速运动估计,估计精度为像素级;
所述分块单元(7b)将完成初级处理的图像根据运动估计量,按匹配区域分块,并建立索引;
所述图像相位分解单元(7d)对全部子块做相位分解,并按索引存入相应存储单元;
所述超分辨率重建单元(7e)对索引块建立超分辨率重建方程组,并求解方程组的最小二乘解;根据最小二乘解和索引块重建超分辨率图像的多相组,由相位合成得到超分辨率的初始估计图像,再根据图像盲卷积原理去除图像模糊获得超分辨率的最终图像;
所述图像后处理单元(7f)对得到的超分辨率的最终图像去噪和去模糊,并输出;
图像传感器在控制单元(7a)的协调下,输出低分辨率图像序列;经图像预处理单元(7c)完成初级处理再输出给分块单元(7b);由分块单元(7b)建立图像索引块输出给图像相位分解单元(7d);由图像相位分解单元(7d)按索引块完成图像块的相位分解;由超分辨率重建单元(7e)对图像块分解相位合成得到超分辨率的初始估计图像;最终经图像后处理单元(7f)处理输出。
6.根据权利要求5所述的机载超分辨率图像重建装置,其特征在于,超分辨率重建过程中第二图像传感器件(5)采集的图像序列在嵌入式图像处理与控制核心电路(7)的控制下,通过视频及超分辨率照片的无线传输电路(10)和无线链路(11)将图像数据输出给地面站,用于数据分析显示和进一步处理;超分辨率重建获得高分辨率图像处理完毕后也通过上述方法传送给地面站,用于数据分析显示和进一步处理。
7.一种机载超分辨率图像重建方法,其特征在于,该方法包括以下步骤:
(1)采用特定的图像传感器像元分布,在机载随机振动环境下,先利用光线分束器获得同视场不同空间分辨率的参考图像A1、B1,后收起光线分束器,通过第二图像传感器件获取同视场的连续图像序列B2,…,Bn
(2)利用多相分解原理,将第一图像传感器件获取的参考图像A1和第二图像传感器件获取的图像序列B1,…,Bn分解并构建三层相位映射重建模型;
(3)按块重建高分辨率图像的多相组,并利用多相组的线性组合得到初始估计的高分辨率图像;
(4)对初始估计的高分辨率图像根据盲卷积原理去除图像模糊获得超分辨率的最终图像;
(5)将重建的超分辨率图像和第二图像传感器件的图像序列通过无线输出装置传输给地面接收站。
CN201410446682.9A 2014-09-03 2014-09-03 一种机载超分辨率图像重建装置及重建方法 Active CN104217412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410446682.9A CN104217412B (zh) 2014-09-03 2014-09-03 一种机载超分辨率图像重建装置及重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410446682.9A CN104217412B (zh) 2014-09-03 2014-09-03 一种机载超分辨率图像重建装置及重建方法

Publications (2)

Publication Number Publication Date
CN104217412A CN104217412A (zh) 2014-12-17
CN104217412B true CN104217412B (zh) 2017-02-15

Family

ID=52098860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410446682.9A Active CN104217412B (zh) 2014-09-03 2014-09-03 一种机载超分辨率图像重建装置及重建方法

Country Status (1)

Country Link
CN (1) CN104217412B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104833307A (zh) * 2015-04-14 2015-08-12 中国电子科技集团公司第三十八研究所 一种高帧率运动物体三维测量方法
CN104835115A (zh) * 2015-05-07 2015-08-12 中国科学院长春光学精密机械与物理研究所 用于航空相机的图像成像方法及系统
CN105657224A (zh) * 2015-12-30 2016-06-08 中山联合光电科技股份有限公司 一种具有高品质光学成像的系统结构
CN109117699B (zh) * 2018-02-05 2019-04-16 新昌县雷涛机械有限公司 无人飞行平台实时图像传输系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014073198A1 (ja) * 2012-11-06 2014-05-15 日本電気株式会社 画像処理装置、及び、画像処理方法
CN103985107A (zh) * 2014-05-27 2014-08-13 武汉科技大学 一种基于视觉感知的自适应图像超分辨率重建方法

Also Published As

Publication number Publication date
CN104217412A (zh) 2014-12-17

Similar Documents

Publication Publication Date Title
US10944960B2 (en) Free-viewpoint video generating method and free-viewpoint video generating system
Ayhan et al. A novel utilization of image registration techniques to process mastcam images in mars rover with applications to image fusion, pixel clustering, and anomaly detection
Krig Computer vision metrics: Survey, taxonomy, and analysis
He et al. Deep convolutional neural network framework for subpixel mapping
Zhao et al. Pyramid global context network for image dehazing
He et al. Learning based compressed sensing for SAR image super-resolution
US9143687B2 (en) Method of analyzing motion blur using double discrete wavelet transform
CN104217412B (zh) 一种机载超分辨率图像重建装置及重建方法
Peng et al. Residual pixel attention network for spectral reconstruction from RGB images
Indhumadhi et al. Enhanced image fusion algorithm using laplacian pyramid and spatial frequency based wavelet algorithm
CN108288256A (zh) 一种多光谱马赛克图像复原方法
JP5822937B2 (ja) 不可視スペクトル領域の画像を処理する方法、相応するカメラおよび測定装置
CN105513014B (zh) 一种多帧图像超分辨率重建方法及其重建系统
CN109255822A (zh) 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法
CN103886559B (zh) 一种光谱图像处理方法
CN105069748A (zh) 一种基于微小卫星物方扫描技术获取高分辨率图像的方法
Vasudevan et al. Real-time stereo-vision system for 3D teleimmersive collaboration
US20140347452A1 (en) Efficient stereo to multiview rendering using interleaved rendering
CN106170052A (zh) 双传感器超光谱运动成像系统
CN103905746A (zh) 亚像素级图像偏移定位及叠加方法和装置以及视频设备
Rohith et al. Paradigm shifts in super-resolution techniques for remote sensing applications
CN105931189A (zh) 一种基于改进超分辨率参数化模型的视频超分辨率方法及装置
US11609332B2 (en) Method and apparatus for generating image using LiDAR
CN114359041A (zh) 一种光场图像空间超分辨率重建方法
Shima et al. Comparison of image alignment on hexagonal and square lattices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant