CN103176346A - 基于叠加异构双镜面的红外全景成像装置及方法 - Google Patents

Abstract

本发明公开了一种基于叠加异构双镜面红外全景成像方法及装置。该全景成像装置包括光学系统和成像设备，其中光学系统由两个红外反射镜面同轴叠加构成，而成像设备由红外图像传感器与红外成像透镜构成。两个红外反射镜面及红外成像透镜均由特殊红外透光材料制造，以保证对特定波长红外光的透过率及敏感度。本发明设计的叠加异构双镜面光学系统，针对红外图像分辨率较低缺点，将空间中一点在像平面二次成像，形成内、外环两层的全向图像，并提出了一种基于小波增强和融合的算法，将内、外环全景图像合成为适于视频监控的单幅超分辨率红外全景柱面图像。该设计旨在提供一个比传统视频监视系统检测范围更宽，适用天气及光线条件更广泛的高分辨率全景红外视频监控系统。

Description

基于叠加异构双镜面的红外全景成像装置及方法

技术领域

本发明主要涉及到红外光学成像及数字图像处理领域，特指一套叠加、异构面型的红外折反射全向成像装置，以及在此基础上进行超分辨率柱面红外全景图像构建的方法。

背景技术

市场上的夜视监控摄像机产品主要是“枪机(即固定安装的摄像机)”和“球机(即带旋转云台的摄像机)”。这些摄像机功能比较单一，视场范围小，在同一时间只能监控一定的角度空间，存在监控盲区和监控死角。但是在很多重要场合，例如：交通运输、银行、居民区等，要求同一时间、同一位置在360度范围内持续的监视目标，则需要安装多个摄像机。随着视频监控技术的发展，可以解决监控盲区，实现360度总体范围的宏观拍摄功能的夜视监控设备有着越来越多的需求。

折反射全向成像技术利用曲面反射镜（如抛物面、双曲面、圆锥面、球面等），将来自成像系统周围360度范围的入射光线经反射作用后，进入常规的光学成像系统（成像透镜＋图像传感器），生成包含空间360度全方位场景信息的环状全向图，对全向图进行展开可生成适合于人眼直接观察的柱面全景图像。凭借360度全方位视野、一次性无缝全景成像、系统设计灵活等优点，近年来各种特定结构的折反射全向成像系统陆续地被设计出来，并应用于全景视频监控、机器人视觉导航、虚拟空间构建等诸多领域。

现有的全景成像系统主要作用于可见光范围，而在特殊环境的军事监控以及地下管道探测等领域, 需要能够在红外波段工作, 且满足360度实时成像的红外全景成像系统。Gutin等人采用元红外热敏感图像传感器设计了一套全景远红外成像系统，但其机构复杂，且仅提供分辨率为640 x 480的图像。Ian Powell利用全景环形镜头模型设计了一款工作在3~5微米中红外波段的全景镜头,但设计不包括图像传感器以及红外图像后期处理部分。

另一方面由于目标的红外辐射十分复杂，而且影响目标红外辐射的因素很多，红外热图像的清晰度以及信息噪声比远不如可视图像。李云红等人提出了利用神经元网络对红外图像进行增强的算法。然而，由于原始红外全向图原始的低分辨率和内环的严重欠采样，单纯依靠后期的图像处理对全向成像的分辨率进行增强，改善效果必然是非常有限的。

发明内容

本发明要解决的技术问题是：针对传统折反射全向成像装置仅作用于可见光，而红外光成像图像清晰度和信息噪声比较低的问题，提出一种作用于红外光的折反射全向成像装置，以及对红外全向图像增强并合成为超分辨率红外柱面全景图像的方法。该发明旨在提供一个比传统视频监视系统检测范围更宽，适用天气及光线条件更广泛的高分辨率360度红外视频系统。

为解决上述技术问题，本发明提出的技术方案是：一种叠加异构双镜面式红外折反射全向成像方法和装置，该装置由两个红外透光反射镜面叠加的光学系统和红外成像设备构成。其光学系统设计使全景范围内的相同景物在图像平面形成内、外双环形的不同红外图像。其中所述红外光反射镜面，均由红外透射材料制造（如氟化钙等），以保证反射镜面材料对于特定波段内中红外光的透过率；而由红外成像透镜和红外图像传感器构成的成像设备，其红外成像透镜保证透过特定波段的红外光，红外图像传感器敏感由红外成像透镜透过的红外光，并将其转化为数字图像。针对红外图像分辨率较低的缺点，将内、外双环形图像展开为同构柱面图像，对上述两幅柱面全景图像进行图像配准，进而运用小波分析理论对配准后的两幅柱面图像进行小波分解，将分解得到的低频图像和水平、垂直、对角线方向的高频图像分别进行筛选和融合，最终再通过小波图像重构算法对柱面全景图像进行超分辨率构建。

作为优选方案，所述光学系统由上抛物曲面红外反射镜和下抛物曲面红外反射镜叠加构成。红外图像传感器和红外成像透镜构成的成像设备与双抛物镜面同轴放置，同时两镜面同中心轴，并具有不同大小和曲率，大镜面曲率较小，小镜面曲率较大，且均位于相机正上方，便于通过不同镜面对共同视域成像。所述支撑部件包括水平放置的底盘、垂直于底盘的立柱和立柱上垂直固定的悬臂。成像设备垂直向上固定于底盘上，所述叠加双抛物镜面红外光反射镜面通过立柱固定于成像设备的正上方，且抛物面镜的轴中心线通过成像透镜的光心。

基于上述叠加异构双镜面式红外折反射全向成像装置所采集的内、外双环状全向图像，本发明提出了一种针对红外图像分辨率较低缺点的超分辨率柱面全景图像构建方法，主要包括如下步骤：

1）采用所述折反射全向成像装置进行全景成像：同一空间点经叠加异构双镜面成像装置中两个不同的光路，分别在成像平面的内环和外环二次成像，生成一幅由内、外环构成的全向图；

2）根据空间点与成像平面上像点之间的坐标映射关系，将所生成的全向图的内环和外环分别投影到同一个柱面全景空间，得到一对柱面全景图像；

3）使用多尺度块匹配图像配准算法对上述两幅柱面全景图像进行图像配准，进而运用小波分析理论对配准后的两幅柱面全景图像进行小波分解，结合两幅柱面全景图像在不同方向上的空间分辨率互补性分布特点，对分解得到的低频图像和水平、垂直、对角线方向的高频图像分别进行筛选和融合，最终再通过小波图像重构算法构建超分辨率的红外全景图像。

本发明所述叠加异构双镜面全向成像装置对红外光的敏感度高，所提出的基于特殊光路结构的全景展开和红外图像增强方法针对性强，效果好。同时，本发明结构简单，运算量小，易于实现及推广。

附图说明：

图1是本发明所述叠加异构双镜面景全向成像装置的结构示意图；

图2是本发明所述叠加异构双镜面景全向成像装置的光学成像原理示意图；

图3是本发明所述超分辨率柱面全景图像构建方法的总体流程示意图；

图4是本发明所述叠加异构双镜面反射全向成像装置的成像效果示意图；

图5是本发明所述叠加异构双镜面全景成像装置的内外环柱面展开示意图；

在附图中：

1-上抛物曲面红外反射镜  2-下抛物曲面红外反射镜  3-支架   4-红外成像设备

5-底盘 

具体实施方式：

以下将结合实施例和附图对本发明做进一步详细说明。

如图1所示，本实施例提供一种叠加异构双镜面全景成像装置，包括起装配固定作用的底盘5、上抛物曲面红外反射镜1和下抛物曲面红外反射镜2及固定在最下方底盘5上的成像设备4，其中成像设备4为由红外图像传感器和红外成像透镜构成的成像设备，两个红外反射镜面经垂直于底盘5的支架3安装在成像设备4的垂直上方，并保证两个红外反射镜面的旋转对称轴均与成像设备4中成像透镜的光轴重叠。 

由于普通玻璃镜面对于中远红外光的吸收率较高，因此对于装置中的所有反光镜面，都必须使用特殊的红外透光材料制造，以保证从外界射入的红外光不被折反射装置吸收减弱。同理成像设备也必须由特殊制成的红外成像透镜和红外光传感器构成，以保证对特定波段红外光的灵敏度。本实施例中，选用氟化钙( CaF2 ) 作为光学系统中反射镜的制造材料, 其折射波长限为10微米，可保证折反射全向反光镜面对于3~5微米波段内中红外光的透过率及灵敏度。红外材料不同于一般的玻璃材料加工具有一定的难度。CaF2材料存在解理面, 容易发生解理, 因此在加工过程中需要做特殊的处理。1) 对于CaF2模块, 晶体切割过程中要使加工面和解理面相互错位, 防止解理, 且由于晶体在不同方向的机械性能不一样, 因此切割时需要采用不同的进刀速度和切割方向。在抛光过程中, 传统的机械抛光加工容易在表面残留划痕, 且会破坏表面下层晶体结构, 因此采用金刚石车削韧性加工。 为保证了表面的精度和光洁度，两个抛物曲面红外反射镜均由高精度数控车床加工抛光形成，且组合时要求上抛物曲面红外反射镜1的中截面和下抛物曲面红外反射镜2的中截面到两镜结合处的距离相等，从而使得由于曲面镜景深差异保证的成像对焦模糊影响最小。

成像设备4具体采用高性能的高分辨率红外焦平面列阵图像传感器及专业的红外广角微距镜头，即红外成像透镜，由单晶锑化铟（InSb）加工而成，固定在圆形底盘5的正中心；支架3底端固定在底盘5的边缘，并与底盘5垂直，同时上部的悬臂用来固定双反射镜，且从上至下保持在同一个垂直于底盘5的平面内。

所述全向成像装置采用异构的上抛物曲面红外反射镜和下抛物曲面红外反射镜叠加而成，其成像视域内的每一个空间点发出的某一条光线经上抛物面镜后进入成像透镜的小孔中心在成像平面的内环或外环成像；同时，该空间点发出的另一条光线经两个曲面镜中的另一个曲面镜反射后，进入成像透镜的小孔中心在成像平面的外环或内环成像，从而实现同一空间点在成像平面的内环和外环二次成像，生成一幅内外环互补的全向图。

上述以红外材料构成的双抛物曲面结构反射镜面全向成像装置的主要特点有：

1、对3~5微米波段内中红外光的透过率及灵敏度良好

由于普通玻璃镜面对于中红外光的吸收率较高，对于装置中的所有反光镜面以及红外成像透镜，都必须使用红外透光材料，以保证从外界射入的红外光不被折反射装置吸收减弱。实施例中选用氟化钙( CaF2 ) 作为反射镜材料, 其折射波长限为10微米，可保证折反射全向反光镜面对于3~5微米波段内中红外光的透过率。且红外成像透镜由单晶锑化铟（InSb）加工而成保证了图像传感器对3~5微米波段内中红外光的灵敏度。

2、全向图内环与外环成像对应的实景空间垂直视野重叠且视域角较小

全向图的内环对应于下抛物线反射镜和成像透镜形成的折反射成像，而外环对应上抛物线反射镜的与成像透镜形成的折反射成像。视野重叠是全向图内环与外环形成互补成像的最基本要求，而视域角较小则是在保证成像视域覆盖感兴趣区域的前提下，通过限制成像范围相对地提高全向成像的空间分辨率。

3、全向图内环与外环的成像面积相等

这是为了在后续的超分辨率柱面全景空间构建时，使得全向图的内环和外环处于等价的地位，即对最终生成高分辨率全景图像所做的贡献基本相当。此外，由于外环的切向分辨率整体上高于内环，内外环成像面积相等就意味着内环在径向上的分辨率必定高于外环，从而使得内环与外环在径向上和切向上的分辨率形成互补。

图2为本发明红外折反射全向成像装置的光学成像原理示意图。如图2所示，视域范围内空间任一点P发出的入射光线经上方的抛物面镜反射后通过成像透镜的中心F在成像平面的外环成像，同时点P发出的另一条入射光线经下方的抛物面面镜反射后，通过成像透镜的中心，在成像平面的内环成像，从而形成一种内外环形结构的图像。

假设投影圆柱面的半径为                                                

，圆柱面上一点

在全向图的外环和内环的成像点分别为

、

。下面根据透视成像原理及光学反射定律，通过几何推导给出柱面全景空间上任一点P映射到全向图内环成像点及外环成像点

的坐标映射关系，即正向投影公式

及

，进而可根据

及

将全向图的内环和外环分别展开为一幅柱面全景图像。

在如图2所示的系统结构中，空间点P通过上下镜面的成像计算公式。考虑到全向成像的轴对称性，仅分析其剖面成像情况。设图像中心点为坐标系原点

，

轴位于像平面上，

轴与相机光轴及镜面中心轴重合。上镜面半径

，高度

，下镜面半径

，高度

，相机焦距

，焦点到下镜面底部的距离

，下镜面底部到上镜面虚拟中心的距离为

。上镜面方程为：

，下镜面方程为：

。

若已知上下镜面共同视域内空间点的空间坐标为，则通过上镜面反射成像的像点可由以下方程联立解得：

                                                                                       (3)

其中为点的入射光线与上镜面的交点 m ₃ 坐标。

点通过下镜面反射成像的像点同理可由以下方程联立解得：

                                                                                (4)

基于上述反射全向成像装置及通过其光学成像原理推导而出的正向投影关系，可将由叠加异构双镜面全向成像装置采集的内、外环全向图分别投影到同一个柱面全景空间，得到两幅在水平方向和垂直方向分辨率不同的柱面全景图像。本实施例针对所采集的红外图内、外环全向图像提出一种超分辨率柱面全景空间构建方法，如图3所示，步骤如下所述：

1）采用上述上下抛物镜面双镜一体的折反射全向成像装置，通过上、下两个镜面的反射作用，使得同一空间点经两个不同的光路，分别在成像平面的内环和外环二次成像，生成一幅内外环双层的全向图，如图4所示；

2）根据上述折反射全向成像装置的几何结构特征，通过光学成像几何分析，得出空间点与成像平面上像点之间的坐标映射关系，进而将所生成的全向图的内环和外环分别投影到同一个柱面全景空间，得到一对在水平方向和垂直方向的空间分辨率呈现显著互补特性的柱面全景图像 CP1 和 CP2 ， 如图5所示；

3）采用多尺度块匹配图像配准算法对这两幅柱面全景图像进行高精度图像配准，以 CP2 为基准图像，采用多尺度块匹配图像配准算法对 CP1 进行配准，得到配准后的图像 CP1’ ；进而运用小波分析理论对配准后的两幅柱面全景图像进行小波分解：选用具有紧支撑有限光滑特性的Daubechies小波基，将 CP1’ 、 CP2 分别小波分解为一个低频图像和水平、垂直和对角线方向上的三个高频图像，标记为[cA1, cH1, cV1, cD1] 和 [cA2, cH2, cV2, cD2]；

4）结合这两幅柱面全景图像在不同方向上的空间分辨率分布特点，对分解得到的低频图像和水平、垂直、对角线方向的高频图像分别进行筛选和融合，最终再通过小波图像重构算法对柱面全景空间进行超分辨率：选择 CP1’ 垂直方向上的高频分量cV1和 CP2 水平方向上的高频分量cH2，而对 CP1’ 和 CP2 的低频分量cA1、cA2采用能量加权法融合得到cA，对角线高频分量cD1、cD2采用最大值规则融合得到cD； 基于上述步骤得到的[cA, cH2, cV1, cD]，通过残差金字塔估计，得到更高分辨率图像的低频分量和高频分量[cA’, cH2’, cV1’, cD’]；仍选用Daubechies小波基，对[cA’, cH2’, cV1’, cD’]进行小波图像重构，最终得到 CP1’ 和 CP2 的超分辨率融合图像 CP 。

上述实施例提到的叠加异构双镜面全向成像装置和方法、红外波段和使用的红外光材料等仅起到解释本发明技术方案的作用，本发明所要求的保护范围不局限于实施例中具体的镜面组成、安装方式、具体材料和具体算法等，因此，仅对上述实施例中部分特征进行简单替换，实质内容并没有脱离本发明限定范围的技术方案，均应属于本发明的保护范围。

Claims (5)

1.一种基于叠加异构双镜面的红外全景成像方法及装置，其特征在于：装置由双红外透光反射镜面叠加成的光学系统和红外成像透镜与红外图像传感器组成的成像设备构成，其光学系统设计使全景空间中一点在图像平面二次成像，形成内、外环两层的全向图像，针对红外图像分辨率较低的缺点，将内、外双环形图像展开为同构柱面图像，并利用小波增强与融合将其合成为适于视频监控的单幅超分辨率的红外全景柱面图像。

2.根据权利要求1所述两个红外光反射镜面构成的光学系统，其特征在于：所述两个反射镜面包括上抛物曲面红外反射镜和下抛物曲面红外反射镜，光路设计通过折反射采集生成一幅内、外双环状的360度全景范围内的红外光全向图像。

3.根据权利要求1或2所述红外光反射镜面，其特征在于所述反射镜面均由红外透射材料制造（如氟化钙等），以保证反射镜面材料对于特定波段内红外光的透过率。

4.根据权利要求1所述由红外成像透镜和红外图像传感器构成的成像设备，其特征在于：红外成像透镜透过特定波段的红外光，红外图像传感器敏感由其透过的红外光，并将红外光信号转化为数字图像，以保证于特定波段内红外光的敏感度。

5.根据权利要求1所述内、外双环低分辨率红外图像进行超分辨率柱面全景图像构建及增强，其特征在于：通过分段小波增强方法对上述叠加异构双镜面的红外全景成像装置采集得到的原始红外双环状图像对比度及边缘细节进行增强, 并抑制噪声；并将上述内、外双环状图像分别展开为两幅柱面全景图像；对上述两幅柱面全景图像进行图像配准，进而运用小波分析理论对配准后的两幅柱面全景图像进行小波分解，结合两幅柱面全景图像在不同方向上的空间分辨率分布特点，对分解得到的低频图像和水平、垂直、对角线方向的高频图像分别进行筛选和融合，最终再通过小波图像重构算法对柱面全景图像进行超分辨率构建。

Images