CN102980664B - 超像素微扫描方法及相应的红外超分辨率实时成像装置 - Google Patents
超像素微扫描方法及相应的红外超分辨率实时成像装置 Download PDFInfo
- Publication number
- CN102980664B CN102980664B CN201210451785.5A CN201210451785A CN102980664B CN 102980664 B CN102980664 B CN 102980664B CN 201210451785 A CN201210451785 A CN 201210451785A CN 102980664 B CN102980664 B CN 102980664B
- Authority
- CN
- China
- Prior art keywords
- focal plane
- image
- plane detector
- infrared focal
- parallel flat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明提出一种超像素微扫描方法及相应的红外超分辨率实时成像装置。所述方法通过平行平板转动,使图像在红外焦平面探测器的成像平面上发生超像素位移D,位移量D大于红外焦平面探测器的像元间距。所述装置通过成像镜头组将图像在红外焦平面探测器成像,在成像镜头组和红外焦平面探测器之间设置变转速旋转扫描结构,平行平板置于变转速旋转扫描结构中,红外焦平面探测器连接图像处理及显示电路,平行平板始终与光轴保持一个小于但接近90°的夹角。本发明在不影响超分辨率重建图像的质量前提下,能降低微扫描对扫描光学元件加工精度的苛刻要求,对于不同场频的探测器或者不同的扫描模式的情况,均可实现动态场景超分辨率实时成像的效果。
Description
技术领域
本发明属于红外热成像技术领域,具体涉及一种超像素微扫描方法,以及基于该超像素微扫描的低动态场景红外超分辨率实时成像装置。
背景技术
红外成像技术是一种将不可见的红外辐射能量转换成可见图像的技术。它利用对红外波段敏感的探测器来收集物体的红外辐射能量分布,再通过合适的算法来恢复出物体的图像。由于这一技术具有被动性、隐蔽性、适应全天候的特点,因此在军事、医疗、公共安全等领域有着广泛而重要的应用。
然而受目前半导体制作工艺的限制,相比于普通探测器,红外探测器的像元数目少,像元尺寸大,像元间距大且各像元中开口率也不高,导致了直接通过红外探测器获取到的红外图像的分辨率偏低,且由于采样频率不满足奈奎斯特采样定律,产生了频率混叠的现象,进而整个图像的质量比较差。这已经无法满足军事上高精度目标识别与定位、精确制导、精确打击等需求。
解决这一问题的途径主要有两种,一种是改进半导体制作工艺水平来增大像元数目、减小像元尺寸、提高像元的开口率,从而达到提高图像分辨率的目的。另一种是采用微扫描方法,有效地重复利用红外探测器的各像素,通过微扫描作用来提高成像系统的空间采样频率,再从多幅图像中重建得到一幅高分辨率的图像。前者由于这一途径涉及到半导体材料、半导体加工等前沿领域,短期内是很难实现的。后者虽然会增大系统的复杂度,但在短期内是可以实现并带来实际应用价值。
微扫描方法的关键技术是将图像位移控制在亚像素(几到几十微米)量级,现阶段主要通过1)移动探测器;2)移动光路两类方法来实现。前者采用压电陶瓷实现探测器位移,但其机械结构复杂,且长期振动会影响探测器性能和寿命;后者采用平行平板抖动/旋转实现,它无需与探测器接触即可实现无损扫描,但平行平板加工精度是制约此类微扫描技术发展的问题之一。另一方面,通常采用的分光法来实现动态场景实时成像,但由于分光法不但结构复杂而且造成了能量衰减,导致对红外辐射较弱的目标场景的超分辨率图像重建效果非常不理想。
发明内容
为了解决移动光路法中平行平板加工精度过于苛刻的问题,本发明提供了一种超像素微扫描方法;为了动态场景实时超分辨率成像的图像质量得到更好的保证,本发明还提供了一种基于超像素微扫描的低动态场景超分辨率实时成像装置。
本发明提供的一种超像素微扫描的方法,通过成像镜头组将一幅场景聚焦在红外焦平面探测器上,再通过置于成像镜头组与红外焦平面探测器之间的变转速旋转扫描结构带动平行平板转动,使图像在红外焦平面探测器的成像平面上发生超像素位移D,平行平板始终与光轴保持一个小于但接近90°的夹角。
设置平行平板的转动频率f和红外焦平面探测器的场频f0满足如下关系式:
f=f0/N,N=2,4,9,16…
当目标物体的运动频率低于平行平板的转动频率时,平行平板每旋转一周,红外焦平面探测器自动采集到N幅同一目标场景的红外图像。扫描间距为红外焦平面探测器的像元间距的倍,k=1,2,3。
本发明所述的一种低动态场景超分辨率红外实时成像装置,包括成像镜头组、平行平板、变转速旋转扫描结构、红外焦平面探测器和图像处理及显示电路。红外焦平面探测器位于成像镜头组的焦平面上,变转速旋转扫描结构位于成像镜头组和红外焦平面探测器之间,平行平板置于变转速旋转扫描结构中,红外焦平面探测器连接图像处理及显示电路。
所述的平行平板始终与光轴保持一个小于但接近90°的夹角,由变转速旋转扫描结构带动旋转,通过转动平行平板,使图像在红外焦平面探测器的成像平面上发生位移量D。变转速旋转扫描结构的机械转轴、平行平板的旋转轴与系统光轴完全重合,且转速可根据红外焦平面探测器的场频和扫描模式来匹配。平行平板的转动频率f和红外焦平面探测器的场频f0满足关系式:f=f0/N,N=2,4,9,16…,N表示当目标物体的运动频率低于平行平板的转动频率时,平行平板每旋转一周,红外焦平面探测器自动采集到N幅同一目标场景的红外图像;扫描间距为红外焦平面探测器的像元间距的倍,k=1,2,3。
所述的图像处理及显示电路包括图像处理电路和图像显示电路两部分,图像处理电路中采用DSP、FPGA完成图像信号的处理及控制,并把最终的图像信号显示在图像显示电路中的LCD屏幕上。
本发明的优点和积极效果在于:(1)采用本发明的红外实时成像装置,可以得到超分辨率的红外图像,极大提高探测器的性能;(2)本发明超像素微扫描方法及其红外实时成像装置采用超像素的微扫描位移,降低了平行平板加工的难度,减少了由于加工公差产生的扫描位移相对误差;(3)本发明的超像素微扫描方法,在不影响超分辨率重建图像的质量前提下,能降低微扫描对扫描光学元件加工精度的苛刻要求;(4)本发明的红外实时成像装置,对于不同场频的探测器或者不同的扫描模式的情况,均可实现低动态场景超分辨率实时成像;(5)相比于分光法实时成像,本发明可对辐射源更弱的低动态目标物体实时成像。
附图说明
图1是本发明的超分辨率实时成像装置的整体结构示意图;
图2是旋转的倾斜平行平板产生的光轴运动轨迹示意图;
图3是本发明实施例中超分辨率图像重建的示意图;
图4是采用本发明微扫描方法或本发明成像装置得到的超分辨率图像重建实物图对比;
其中:
1-成像镜头组;2-平行平板;3-变转速旋转扫描结构;4-红外焦平面探测器;
5-图像处理及显示电路。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
本发明一是提供了一种超像素微扫描方法,在不影响超分辨率重建图像的质量前提下,能降低微扫描对扫描光学元件加工精度的苛刻要求;二是提供了一种低动态场景红外超分辨率实时成像装置,对于不同场频的探测器或者不同的扫描模式的情况,均可实现动态场景超分辨率实时成像的效果。
如图1所示,本发明提供的一种低动态场景红外超分辨率实时成像装置包括:成像镜头组1、平行平板2、变转速旋转扫描结构3、红外焦平面探测器4和图像处理及显示电路5。红外焦平面探测器4位于成像镜头组1的焦平面上,变转速旋转扫描结构3位于成像镜头组1和红外焦平面探测器4之间,红外焦平面探测器4连接图像处理及显示电路5。通过成像镜头组1将一幅场景聚焦在红外焦平面探测器4上,再通过变转速旋转扫描结构3带动与光轴成一倾角的平行平板2转动,使图像在红外焦平面探测器4的成像平面上发生位移量D。图像处理及显示电路5包括图像处理电路和图像显示电路两部分,图像处理电路中采用DSP、FPGA完成对红外焦平面探测器4采集的图像信号的处理,并把最终的图像信号显示在图像显示电路中的LCD屏幕上。
如图2所示,旋转的倾斜平行平板2产生的光轴轨迹是一个以原光轴为圆心,位移量D为半径的圆周。倾斜放置的平行平板2产生光轴位移量D,由于位移量D大于红外焦平面探测器4的像元间距,因此称作超像素位移。
设置平行平板2的转动频率f和红外焦平面探测器4的场频f0满足如下关系式:
f=f0/N,N=2,4,9,16…
当目标物体的运动频率低于平行平板2的转动频率时,平行平板2每旋转一周,红外焦平面探测器4自动采集到N幅同一目标场景的红外图像,再通过图像处理算法重建超分辨率红外图像。例如,采用2×2的扫描方式,则平行平板旋转一周,红外焦平面探测器4采集到4幅图像,其中每两幅相邻图像对应的像点位置都相差90°。
传统的微扫描的扫描间距为探测器像元间距的N=2,3,4等,分别对应2×2,3×3,4×4扫描模式,采用传统方法可以提高采样频率,消除频率混叠。扫描间距小于像元间距,一般只有几个到几十个微米。采用平行平板应用到传统微扫描中,具有简单、无损的优点,但平行平板的加工难度会很大,破损率会很高。因此,本发明设置微扫描的扫描间距为探测器像元间距的k=1,2,3,可以达到消除频率混叠的效果,且降低了平行平板的加工难度和扫描带来的相对误差,但是探测器边缘的一部分像素由于扫描不完全而无法恢复出超分辨图像,这部分像素称为病态像元。k越大,病态像元的数目越多。但在总体上存在一个合适的折中点使平行平板易于加工且对图像边缘质量的影响也在可以接受的范围内。这就是本发明提供的超像素微扫描方法的主要思想。
具体本发明提供的超像素微扫描方法为:通过成像镜头组1将一幅场景聚焦在红外焦平面探测器4上,再通过置于成像镜头组1与红外焦平面探测器4之间的变转速旋转扫描结构3带动平行平板2转动,使图像在红外焦平面探测器4的成像平面上发生超像素位移D,对应于扫描间距为红外焦平面探测器4的像元间距的倍,k=1,2,3。位移量D大于红外焦平面探测器4的像元间距。
平行平板2的转动频率f和红外焦平面探测器4的场频f0满足数学关系式:
f=f0/N,N=2,4,9,16....
那么平行平板2每旋转一周,红外焦平面探测器4自动采集到N幅红外图像,红外焦平面探测器4将采集的N幅红外图像传送给图像处理及显示电路5,图像处理及显示电路5通过图像处理算法重建超分辨率红外图像。
如图3所示的实例,采用2×2的扫描方式,则平行平板2旋转一周,红外焦平面探测器4采集到的4幅图像,如图3中(a)所示,四幅图的每个像元的编号分别为1、2、3、4,依次对应图2中a,b,c,d四个光轴投影位置,其中每两幅相邻图像对应的光轴位置都相差90°。如果目标物体的运动频率低于平行平板2的旋转频率,那么此时采集到的四幅图像是同一目标图像中不同区域的信息,如图3的(a)所示,然后通过超分辨率重建算法得到一幅超分辨率的图像,如图3的(b)所示。
变转速旋转扫描结构3的机械转轴、平行平板2的旋转轴与系统光轴完全重合,以确保平行平板2在旋转成像的时候,图像不会发生扭曲。变转速旋转扫描结构3的转速决定平行平板2的转速,因此变转速旋转扫描结构3的转速可根据红外焦平面探测器4的场频和扫描模式来匹配。
图像重建和显示输出的内容由图像处理及显示电路5完成。其中图像处理电路采用DSP、FPGA完成图像信号的处理及控制,整个重建过程分成以下四部:
1、对四幅图像去噪、归一化等图像预处理;
2、用图像匹配算法对四幅图像的位置关系进行校正;
3、用图像重建迭代算法得到一幅超分辨率图像;
4、对重建得到的图像进行后处理,得到最终输出结果。
得到的结果再通过图像显示电路在LCD显示屏上输出。
本发明实施例中图像重建的结果如图4所示,其中图4中的(a)表示探测器观察到的一幅图像,图4的(b)表示k=1时超像素微扫描的超分辨率重建图像,图4的(c)表示k=2时超像素微扫描的超分辨率重建图像,图4的(d)表示图4的(a)的双线性插值图像。通过对比图4的(b)、(c)和(d),可以发现,采用本发明的超像素微扫描得到的超分辨率重建图像都比双线性插值图像清晰。
Claims (5)
1.一种超像素微扫描方法,其特征在于,通过成像镜头组将一幅场景聚焦在红外焦平面探测器上,再通过置于成像镜头组与红外焦平面探测器之间的变转速旋转扫描结构带动平行平板转动,使图像在红外焦平面探测器的成像平面上发生超像素位移D,平行平板的转动频率f和红外焦平面探测器的场频f0满足如下关系式:
f=f0/N,N=2,4,9,16…
当目标物体的运动频率低于平行平板的转动频率时,平行平板每旋转一周,红外焦平面探测器自动采集到N幅同一目标场景的红外图像;扫描间距为红外焦平面探测器的像元间距的倍,k=1,2,3。
2.根据权利要求1所述的超像素微扫描方法,其特征在于,所述的N设置为4。
3.一种低动态场景红外超分辨率实时成像装置,其特征在于,包括:成像镜头组、平行平板、变转速旋转扫描结构、红外焦平面探测器和图像处理及显示电路;红外焦平面探测器位于成像镜头组的焦平面上,变转速旋转扫描结构位于成像镜头组和红外焦平面探测器之间,平行平板置于变转速旋转扫描结构中,红外焦平面探测器连接图像处理及显示电路;
所述的平行平板始终与光轴保持一个小于但接近90°的夹角,由变转速旋转扫描结构带动转动,通过转动平行平板,使图像在红外焦平面探测器的成像平面上发生位移量D;变转速旋转扫描结构的机械转轴、平行平板的旋转轴与系统光轴完全重合;平行平板的转动频率f和红外焦平面探测器的场频f0满足关系式:f=f0/N,N=2,4,9,16…,N表示当目标物体的运动频率低于平行平板的转动频率时,平行平板每旋转一周,红外焦平面探测器自动采集到N幅同一目标场景的红外图像;扫描间距为红外焦平面探测器的像元间距的倍,k=1,2,3。
4.根据权利要求3所述的实时成像装置,其特征在于,所述的平行平板旋转产生的光轴轨迹是一个以系统光轴为圆心,位移量D为半径的圆周。
5.根据权利要求3所述的实时成像装置,其特征在于,所述的图像处理及显示电路包括图像处理电路和图像显示电路两部分,图像处理电路中采用DSP、FPGA完成图像信号的处理及控制,并把最终的图像信号显示在图像显示电路中的LCD屏幕上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210451785.5A CN102980664B (zh) | 2012-11-12 | 2012-11-12 | 超像素微扫描方法及相应的红外超分辨率实时成像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210451785.5A CN102980664B (zh) | 2012-11-12 | 2012-11-12 | 超像素微扫描方法及相应的红外超分辨率实时成像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102980664A CN102980664A (zh) | 2013-03-20 |
CN102980664B true CN102980664B (zh) | 2014-09-17 |
Family
ID=47854891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210451785.5A Expired - Fee Related CN102980664B (zh) | 2012-11-12 | 2012-11-12 | 超像素微扫描方法及相应的红外超分辨率实时成像装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102980664B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105530441A (zh) * | 2014-09-30 | 2016-04-27 | 南京理工大学 | 基于耦合透镜的红外与微光图像配准前端光机结构 |
CN104410789A (zh) * | 2014-12-08 | 2015-03-11 | 西安电子科技大学 | 凝视型超分辨率成像装置及方法 |
CN205373891U (zh) * | 2014-12-31 | 2016-07-06 | 广东美的制冷设备有限公司 | 红外传感器的成像装置及空调器 |
CN107703643A (zh) * | 2017-11-03 | 2018-02-16 | 中国运载火箭技术研究院 | 一种高分辨多波段光学复合成像探测系统及其方法 |
CN109981966B (zh) * | 2017-12-27 | 2023-09-12 | 上海德运光电技术有限公司 | 一种超分辨率成像相机及其成像方法 |
CN110347008A (zh) * | 2019-06-03 | 2019-10-18 | 歌尔股份有限公司 | 一种投影装置 |
CN112729150B (zh) * | 2019-10-14 | 2021-10-22 | 中国科学院沈阳自动化研究所 | 机器人夹持下的导管测量方法 |
CN110996007B (zh) * | 2019-12-19 | 2020-12-08 | 中国科学院长春光学精密机械与物理研究所 | 一种遥感相机分辨率自动调整系统及其方法 |
WO2021228120A1 (zh) * | 2020-05-13 | 2021-11-18 | 荆门市探梦科技有限公司 | 扫描式全息成像器和相关系统 |
CN111537067B (zh) * | 2020-05-19 | 2024-01-23 | 上海乂义实业有限公司 | 一种像素级多光谱与像素级多偏振态探测分辨率增强技术 |
CN113784061A (zh) * | 2020-06-08 | 2021-12-10 | 中国航空工业集团公司洛阳电光设备研究所 | 一种超分辨率红外成像系统及其稳像方法、装置 |
CN111664944B (zh) * | 2020-06-16 | 2022-10-18 | 上海乂义实业有限公司 | 一种基于微扫描平台的稳像、非均匀校正及超分辨系统 |
CN111951205A (zh) * | 2020-08-18 | 2020-11-17 | 燕山大学 | 一种红外与可见光的双光显微成像系统及其图像融合方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0773668A1 (fr) * | 1995-11-08 | 1997-05-14 | Sagem Sa | Procédé d'acquisition d'une image électronique d'une scène utilisant une microbalayage pseudo-aléatoire |
CN101217625A (zh) * | 2008-01-11 | 2008-07-09 | 清华大学 | 超分辨率成像的装置及方法 |
-
2012
- 2012-11-12 CN CN201210451785.5A patent/CN102980664B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0773668A1 (fr) * | 1995-11-08 | 1997-05-14 | Sagem Sa | Procédé d'acquisition d'une image électronique d'une scène utilisant une microbalayage pseudo-aléatoire |
CN101217625A (zh) * | 2008-01-11 | 2008-07-09 | 清华大学 | 超分辨率成像的装置及方法 |
Non-Patent Citations (2)
Title |
---|
吴新社 等.旋转式红外微扫描器研制.《红外与毫米波学报》.2011,第30卷(第3期), |
旋转式红外微扫描器研制;吴新社 等;《红外与毫米波学报》;20110630;第30卷(第3期);263-267 * |
Also Published As
Publication number | Publication date |
---|---|
CN102980664A (zh) | 2013-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102980664B (zh) | 超像素微扫描方法及相应的红外超分辨率实时成像装置 | |
US10353191B2 (en) | Circular scanning technique for large area inspection | |
CN103308452B (zh) | 一种基于景深融合的光学投影断层成像图像获取方法 | |
CN107065159B (zh) | 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法 | |
RU2734018C2 (ru) | Способ и устройство для формирования данных, представляющих световое поле | |
CN109413407B (zh) | 高空间分辨率光场采集装置与图像生成方法 | |
WO2021103696A1 (zh) | 一种基于透射式红外孔径编码成像系统及其超分辨方法 | |
AU2014208262B2 (en) | Apparatus and method for image super-resolution using integral shifting optics | |
CN101217625A (zh) | 超分辨率成像的装置及方法 | |
CN108648147A (zh) | 一种人眼视网膜机理的超分辨率图像获取方法及系统 | |
CN107145052B (zh) | 基于数字插值和相位迭代的全息显微成像方法 | |
Wang et al. | Real-time vision through haze based on polarization imaging | |
Zhang et al. | Snapshot imaging spectrometer based on a microlens array | |
CN116977449B (zh) | 一种基于闪烁棋盘格的复眼事件相机主动标定方法 | |
CN107747914A (zh) | 基于线结构光的360°轮廓测量装置及方法 | |
CN106558036B (zh) | 一种星载超分辨成像系统设计方法 | |
CN106228608A (zh) | 一种基于双目的用于物体快速重构的手持装置和方法 | |
CN116723371A (zh) | 一种基于振镜的360度全景拍摄装置 | |
Cui et al. | Curved retina-like camera array imaging system with adjustable super-resolution fovea | |
CN111080523B (zh) | 红外周视搜索系统及基于角度信息的红外周视图像拼接方法 | |
CN104143179B (zh) | 一种多线列时差扫描扩展采样的运动目标增强方法 | |
CN104138267A (zh) | 一种x射线成像方法和装置 | |
Zhi et al. | The design of cone and pendulum scanning mode using dual-camera with multi-dimensional motion imaging micro-nanosatellite | |
Gui et al. | Super-resolution and wide-field-of-view imaging based on large-angle deflection with risley prisms | |
Zhang et al. | Computational Super-Resolution Imaging With a Sparse Rotational Camera Array |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140917 Termination date: 20201112 |