CN101957552B - 互补结构折反射全向成像装置及基于其的超分辨率柱面全景空间构建方法 - Google Patents

Abstract

本发明公开了一种互补结构折反射全向成像装置，包括支撑部件、由该支撑部件支撑固定且依次布置的三个反射镜面、以及由图像传感器和成像透镜构成的成像设备。其中，三个反射镜面包括两个曲面镜和一个平面镜，所述三个反射镜面的旋转对称轴均与成像设备中成像透镜的光轴重叠。基于所述互补结构折反射全向成像装置，本发明还公开了一种超分辨率柱面全景空间构建方法。本发明通过空间点互补二次成像使得全向成像空间分辨率分布均匀，且全向图的内环和外环在不同方向的空间分辨率存在明显的互补性，为后续的超分辨率柱面全景空间构建打下了很好的基础，从而得到高分辨率的柱面全景图像。

Description

互补结构折反射全向成像装置及基于其的超分辨率柱面全景空间构建方法

技术领域：

本发明主要涉及到光学成像及数字图像处理领域，特指一套互补结构折反射全向成像装置，以及在此基础上进行超分辨率柱面全景空间构建的方法。

背景技术：

折反射全向成像技术利用曲面反射镜(如抛物面、双曲面、圆锥面、球面等)，将来自成像系统周围360度范围的入射光线经反射作用后，进入常规的光学成像系统(成像透镜+图像传感器)，生成包含空间360度全方位场景信息的环状全向图，对全向图进行展开可生成适合于人眼直接观察的柱面全景图像。凭借360度全方位视野、一次性无缝全景成像、系统设计灵活等优点，近年来各种特定结构的折反射全向成像系统陆续地被设计出来，并应用于全景视频监控、机器人视觉导航、虚拟空间构建等诸多领域。但随着研究的不断深入，折反射全向成像固有的空间分辨率低、分辨率分布不均匀的缺陷已成为严重限制其广泛应用的瓶颈。

在成像设备物理分辨率固定的情况下，由于折反射全向成像具有水平360度宽广视野，而传统相机成像的水平张角通常只有60度左右，因此同样尺寸的空间目标在全向图中占有的像素数目相对明显偏低；此外，全向图的内环像素数明显低于外环，在同样的径向跨度中成像的像素分辨率由内向外逐渐增大，即全向图内环与外环的切向分辨率相差悬殊，内环欠采样而外环相对浪费，导致全向成像的分辨率分布严重不均匀。也就是说，真实场景空间中不同位置面积相等的两个区域经折反射成像后，在全向成像平面上对应的成像区域面积大小不一致，从而导致折反射全向图投影展开为柱面全景图像后，图像清晰程度不均匀。

已有的一些研究虽然在径线方向上部分地改善了全向成像的分辨率问题，如Gaspar、Hicks以及国内的曾吉勇等人分别设计实现了水平分辨率均匀、垂直分辨率均匀和角分辨率均匀的全向成像系统，但全向图内外环在切线方向上的分辨率差异才是全向成像分辨率分布不均匀的主要原因。捷克的Stefan.G等人另辟途径，提出了基于非均匀CCD采样点的SVAVISCA方式来解决全向成像分辨率难题，设计的CCD感光阵列越靠近成像中心的感光区域像素点密度越高。此方案本身简单直观，但CCD加工难度高，应用面狭窄，难以普及。

另一方面，部分学者从全向图或全向视频的后处理角度，对全向成像的分辨率问题进行了研究。彭启民和贾云得提出一种基于小波变换的全向图像分辨率增强方法，根据全向图像成像的退化模型，利用小波系数的自相似性及其模的极值点在各层间的传递性，对全向图像丢失的高频成分进行补偿。日本的Nagahara等人从2000年以来，采用旋转或平移全向相机、多聚焦成像等方法，利用多帧全向图或全向视频序列间的时空互补信息，比较系统地研究了全向成像的超分辨率增强问题，并为全向视频给出针对性的超分辨率建模方法。然而，由于全向图原始的低分辨率和内环的严重欠采样，单纯依靠后期的图像处理对全向成像的分辨率进行增强，改善效果必然是非常有限的。

发明内容：

本发明要解决的技术问题是：针对传统折反射全向成像空间分辨率低、分辨率分布不均匀导致所生成的柱面全景图像不够清晰的问题，提出一种互补结构折反射全向成像装置，通过空间点互补二次成像使得全向成像空间分辨率分布均匀，从而为后续的超分辨率柱面全景空间的构建提供很好的基础，以最终得到高分辨率的全景图像。

为解决上述技术问题，本发明提出的技术方案是：一种互补结构折反射全向成像装置，其特征在于：包括支撑部件、由该支撑部件支撑固定且依次布置的三个反射镜面、以及由图像传感器和成像透镜构成的成像设备；其中，三个反射镜面包括两个曲面镜和一个平面镜；成像视域内的每一个空间点发出的某一条光线经其中一个曲面镜反射后进入成像透镜的小孔中心在成像平面的内环或外环成像；同时，该空间点发出的另一条光线经两个曲面镜中的另一个曲面镜反射后，再被平面镜二次反射，然后进入成像透镜的小孔中心在成像平面的外环或内环成像；所述三个反射镜面的旋转对称轴均与成像设备中成像透镜的光轴重叠。

作为优选方案，所述三个反射镜面包括依次设置的圆锥面镜、环形平面镜和双曲面镜。所述支撑部件包括水平放置的底盘、垂直于底盘的立柱和立柱上垂直固定的三个悬臂，其中成像设备垂直向上固定于底盘上，所述圆锥面镜、环形平面镜和双曲面镜三个反射镜面分别通过立柱上的三个悬臂固定于成像设备的正上方，且双曲面镜的外焦点位于成像透镜的小孔中心在平面镜中的像点处。

为了最大程度减小由双曲面镜景深差异导致的成像对焦模糊影响，所述圆锥面镜的中截面到环形平面镜的距离与所述双曲面镜的中截面到环形平面镜的距离相等。

基于上述互补结构折反射全向成像装置，本发明提出了一种超分辨率柱面全景空间构建方法，其包括如下步骤：

1)采用所述互补结构折反射全向成像装置进行全向成像：同一空间点经互补结构折反射全向成像装置中两个不同的光路，分别在成像平面的内环和外环二次成像，生成一幅内外环互补的全向图；

2)根据空间点与成像平面上像点之间的坐标映射关系，将所生成的全向图的内环和外环分别投影到同一个柱面全景空间，得到一对在水平方向和垂直方向的空间分辨率呈现互补特性的柱面全景图像；

3)对上述两幅柱面全景图像进行图像配准，进而运用小波分析理论对配准后的两幅柱面全景图像进行小波分解，结合两幅柱面全景图像在不同方向上的空间分辨率互补性分布特点，对分解得到的低频图像和水平、垂直、对角线方向的高频图像分别进行筛选和融合，最终再通过小波图像重构算法对柱面全景空间进行超分辨率构建。

其中步骤3)中的图像配准可采用现有的多尺度块匹配图像配准算法实现。

本发明的设计原理如下所述：

所述互补结构折反射全向成像装置采用两个曲面镜和一个平面镜相结合的方式进行全向成像，其中成像视域内的每一个空间点发出的某一条光线经两个曲面镜中的一个反射后进入成像透镜的小孔中心在成像平面的内环或外环成像；同时，该空间点发出的另一条光线经两个曲面镜中的另一个曲面镜反射后，再被平面镜二次反射，然后进入成像透镜的小孔中心在成像平面的外环或内环成像，从而实现同一空间点在成像平面的内环和外环二次成像，生成一幅内外环互补的全向图。

在超分辨率柱面全景空间的构建过程中：具有上述特征的互补结构折反射全向成像装置进行全向成像，使得同一空间点经两个不同的光路，分别在成像平面的内环和外环二次成像，生成一幅内外环互补的全向图；再根据互补结构折反射全向成像装置的具体几何结构特征，通过光学成像几何分析，得出空间点与成像平面上像点之间的坐标映射关系；再由所述坐标映射关系将所生成的全向图的内环和外环分别投影到同一个柱面全景空间，得到一对在水平方向和垂直方向的空间分辨率呈现互补特性的柱面全景图像；采用已有的配准方法对上述两幅柱面全景图像进行图像配准后，再对配准后的两幅柱面全景图像进行小波分解，结合两幅柱面全景图像在不同方向上的空间分辨率分布特点，对分解得到的低频图像和高频图像分别进行筛选和融合，最终再通过小波图像重构算法对柱面全景空间进行超分辨率构建。

本发明所述互补结构折反射全向成像装置通过空间点互补二次成像使得全向成像空间分辨率分布均匀，为后续的超分辨率柱面全景空间的构建打下了很好的基础，从而最终实现生成高分辨率的柱面全景图像。同时，本发明结构简单，运算量小，易于实现及推广。

附图说明：

图1是本发明所述互补结构折反射全向成像装置的结构示意图；

图2是本发明所述互补结构折反射全向成像装置的光学成像原理示意图；

图3是本发明所述超分辨率柱面全景空间构建方法的总体流程示意图；

图4是本发明所述互补结构折反射全向成像装置的成像效果示意图；

在附图中：

1-圆锥面镜 2-环形平面镜  3-双曲面镜    4-成像设备

5-底盘     6-立柱        7-悬臂

具体实施方式：

以下将结合实施例和附图对本发明做进一步详细说明。

如图1所示，本实施例提供一种互补结构折反射全向成像装置，包括起装配固定作用的底盘5、从上到下依次放置的圆锥面镜1、环形平面镜2和双曲面镜3三个反射镜面及固定在最下方底盘5上的成像设备4，其中成像设备4可以为照相机或摄像机，三个反射镜面经垂直于底盘5的立柱6上的悬臂7安装在成像设备4的垂直上方，三个反射镜面的旋转对称轴均与成像设备4中成像透镜的光轴重叠，且双曲面镜3的外焦点位于成像透镜的小孔中心在环形平面镜2中的像点处。

本实施例中，将圆锥的侧面、平面环的下底面、双曲面的侧面利用高精度数控车床加工抛光成光滑且高反光的光学反射镜；且要求圆锥面镜1的中截面和双曲面镜3的中截面分别到位于中间位置的环形平面镜2的距离相等，从而使得由于曲面镜景深差异导致的成像对焦模糊影响最小。成像设备4具体采用高性能的高分辨率CMOS图像传感器及专业的广角微距镜头，即成像透镜，固定在圆形底盘5的正中心；立柱6的底端固定在底盘5的边缘，并与底盘5垂直，同时立柱6的上部伸出三根悬臂7分别用来固定三个反射镜，三根悬臂均与立柱6垂直，且从上至下保持在同一个垂直于底盘5的平面内。

上述以“圆锥面镜+环形平面镜+双曲面镜”作为反射镜面的互补结构折反射全向成像装置的主要特点有：

1、全向图内环与外环成像对应的实景空间垂直视野重叠且视域角较小。

全向图的内环对应于最上方的圆锥面镜与成像透镜形成的折反射成像，而外环对应于下方的双曲面镜在环形平面镜的反射作用下与成像透镜形成的折反射成像。视野重叠是全向图内环与外环形成互补成像的最基本要求，而视域角较小则是在保证成像视域覆盖感兴趣区域的前提下，通过限制成像范围相对地提高全向成像的空间分辨率；

2、全向图内环与外环的成像面积相等。

这是为了在后续的超分辨率柱面全景空间构建时，使得全向图的内环和外环处于等价的地位，即对最终生成高分辨率全景图像所做的贡献基本相当。此外，由于外环的切向分辨率整体上高于内环，内外环成像面积相等就意味着内环在径向上的分辨率必定高于外环，从而使得内环与外环在径向上和切向上的分辨率形成互补。

3、三个反射镜面的面型方程简单。

简单的三个反射镜面的面型方程可精确得到空间点投影到全向成像平面的坐标映射关系，为后续的柱面全景展开、高精度图像配准及超分辨率柱面全景空间构建创造有利条件。

4、下方的双曲面镜在环形平面镜的反射作用下，与上方的圆锥面镜相对于成像设备的成像物距相等，使得全向图内外环由于曲面镜景深差异导致的成像对焦模糊影响最小。

图2为本发明互补结构折反射全向成像装置的光学成像原理示意图。如图2所示，视域范围内空间任一点p发出的入射光线I₁经上方的圆锥面镜反射后进入成像透镜的小孔中心在成像平面的内环成像，同时点p发出的另一条入射光线I₂经下方的双曲面镜反射后，再经中间的环形平面镜二次反射后进入成像透镜的小孔中心，在成像平面的外环成像。经分析易知，在外环中越靠内圈成像的目标在内环中成像位置则越靠外圈，而在外环中越靠外圈成像的目标在内环中成像位置则越靠内圈，从而形成一种内外环互补的全向成像方式。

假设投影圆柱面的半径为R_c，圆柱面上一点p(R_c，h)在全向图的外环和内环的成像点分别为P₁(-r₁，0)、P₂(-r₂，0)。下面根据透视成像原理及光学反射定律，通过几何推导给出柱面全景空间上任一点p映射到全向图内环成像点P₁及外环成像点P₂的坐标映射关系，即正向投影公式P₁＝f₁(p)及P₂＝f₂(p)，进而可根据f₁及f₂将全向图的内环和外环分别展开为一幅柱面全景图像。

由于整个成像系统呈旋转轴对称结构，只需在纵截面即xoz平面内进行分析。假设图2中圆锥面镜的纵截面右半部分所在直线方程为：

z＝k·x+m           (1)

双曲面镜的纵截面为一条双曲线，假设该双曲线方程如下式(2)，其中，L为双曲线中心距原点的距离，C₁、C₂为该双曲线的两个焦点，令c²＝a²+b²。

(z-L)²/a²-x²/b²＝1  (2)

对于上方的圆锥面镜折反射成像，点p发出的一条入射光线I₁经圆锥面镜上一点s₁反射作用后，进入成像透镜的小孔中心C并与成像平面交于点P₁。点V_c为小孔中心C在上方的圆锥面镜中所成的像，根据光学反射定律，所有的入射光线I₁(即ps₁)的延长线必经过点V_c，即点V_c相当于上方圆锥面镜折反射成像的一个虚拟视点。对于整个全向图内环成像来说，虚拟视点的轨迹即为点V_c绕z轴旋转一周所得的圆。

根据(1)式的直线方程，可求出小孔中心C的像点即虚拟视点V_c的坐标(x_v，z_v)。由于点s₁即为直线pV_c与圆锥面镜的交点，可根据如下方程组求得点s₁的坐标(x₁，z₁)：

$\left\{\begin{array}{c}{z}_1=k\·x_1+m\\ \frac{z_1-h}{x_1-R_c}=\frac{z_v-h}{x_v-R_c}\end{array}\right.---\left(3\right)$

点P₁即为直线s₁C与成像平面的交点，进而可求得P₁点的坐标如下式(4)，即为柱面全景图像上一点映射到全向图内环的正向投影关系P₁＝f₁(p)。其中，f为成像透镜的焦距，z_c为小孔中心C所在位置的纵坐标。

$r_1=f\·\frac{x_1}{z_1-z_c}---\left(4\right)$

对应下方“双曲面镜+环形平面镜”的折反射成像，点p发出的一条入射光线I₂经双曲面镜上一点s₂反射后，在环形平面镜上一点s₃二次反射，再进入小孔中心C并与成像平面交于点P₂。根据单视点约束及双曲线特性，所有的入射光线I₂(即ps₂)都射向双曲线的内焦点C₁，即为双曲面镜折反射成像的虚拟单视点。因此，点C₁必定在入射光线ps₂的延长线上，从而可根据如下方程组求得点s₂的坐标(x₂，z₂)：

$\left\{\begin{array}{c}{(z_2-L)}^2/a^2-{x_2}^2/b^2=1\\ z_2=\frac{h-(L-c)}{R_c}\·x_2+(L-c)\end{array}\right.---\left(5\right)$

由于反射光线s₂s₃的延长线必经过双曲线的外焦点C₂，也即为小孔中心C在环形平面镜中的像点，可根据环形平面镜所在位置，求得直线s₂C₂与环形平面镜的交点s₃的坐标(x₃，z₃)，进而可求得P₂点的坐标如下式(6)，即为柱面全景图像上一点映射到全向图外环的正向投影关系P₂＝f₂(p)。

$r_2=f\·\frac{x_3}{z_3-z_c}---\left(6\right)$

基于上述互补结构折反射全向成像装置及通过其光学成像原理推导而出的正向投影关系，本实施例提供一种超分辨率柱面全景空间构建方法，如图3所示，步骤如下所述：

1)采用上述“圆锥面镜+环形平面镜+双曲面镜”三镜一体的折反射全向成像装置，通过上、中、下三个镜面的反射作用，使得同一空间点经两个不同的光路，分别在成像平面的内环和外环二次成像，生成一幅内外环互补的全向图，如图4所示。

2)根据上述折反射全向成像装置的几何结构特征，通过光学成像几何分析，得出空间点与成像平面上像点之间的坐标映射关系，进而将所生成的全向图的内环和外环分别投影到同一个柱面全景空间，得到一对在水平方向和垂直方向的空间分辨率呈现显著互补特性的柱面全景图像CP1和CP2；

3)采用多尺度块匹配图像配准算法对这两幅柱面全景图像进行高精度图像配准，以CP2为基准图像，采用多尺度块匹配图像配准算法对CP1进行配准，得到配准后的图像CP1’；进而运用小波分析理论对配准后的两幅柱面全景图像进行小波分解：选用具有紧支撑有限光滑特性的Daubechies小波基，将CP1’、CP2分别小波分解为一个低频图像和水平、垂直和对角线方向上的三个高频图像，标记为[cA1，cH1，cV1，cD1]和[cA2，cH2，cV2，cD2]；

4)结合这两幅柱面全景图像在不同方向上的空间分辨率分布特点，对分解得到的低频图像和水平、垂直、对角线方向的高频图像分别进行筛选和融合，最终再通过小波图像重构算法对柱面全景空间进行超分辨率：选择CP1’垂直方向上的高频分量cV1和CP2水平方向上的高频分量cH2，而对CP1’和CP2的低频分量cA1、cA2采用能量加权法融合得到cA，对角线高频分量cD1、cD2采用最大值规则融合得到cD；基于上述步骤得到的[cA，cH2，cV1，cD]，通过残差金字塔估计，得到更高分辨率图像的低频分量和高频分量[cA’，cH2’，cV1’，cD’]；仍选用Daubechies小波基，对[cA’，cH2’，cV1’，cD’]进行小波图像重构，最终得到CP1’和CP2的超分辨率融合图像CP。

由于本实施例所述超分辨率柱面全景空间构建方法的发明点是基于互补结构折反射全向成像装置所成的内外环互补的全向图提出的一种柱面全景空间构建方法，该柱面全景空间构建方法中具体采用的算法均是已有技术中的公知内容，因此没有对每个算法进行详细描述。

上述实施例提到的互补结构折反射全向成像装置及超分辨率柱面全景空间构建方法仅仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于实施例中具体的镜面组成、安装方式和具体算法等，因此，仅对上述实施例中部分特征进行简单替换，实质内容并没有脱离本发明限定范围的技术方案，均应属于本发明的保护范围。

Claims (6)

1.一种互补结构折反射全向成像装置，其特征在于：包括支撑部件、由该支撑部件支撑固定的三个反射镜面和成像设备，所述三个反射镜面从上到下依次为上方的曲面镜、中间的环形平面镜和下方的曲面镜，所述成像设备由图像传感器和成像透镜构成；位于下方的曲面镜在环形平面镜的反射作用下，与上方的曲面镜相对于成像设备的成像物距相等；成像视域内的每个空间点发出的某一条光线经上方的曲面镜反射后进入成像透镜的小孔中心在成像平面的内环成像；同时，该空间点发出的另一条光线经下方的曲面镜反射后，再被环形平面镜二次反射，然后进入成像透镜的小孔中心在成像平面的外环成像；所述成像平面的内环和外环的成像面积相等；所述三个反射镜面的旋转对称轴均与成像设备中成像透镜的光轴重叠。

2.根据权利要求1所述互补结构折反射全向成像装置，其特征在于：所述三个反射镜面包括从上到下依次布置的圆锥面镜、环形平面镜和双曲面镜。

3.根据权利要求2所述互补结构折反射全向成像装置，其特征在于：所述支撑部件包括水平放置的底盘、垂直于底盘的立柱和与立柱垂直固定的三个悬臂，其中成像设备垂直向上固定于底盘上，所述圆锥面镜、环形平面镜和双曲面镜三个反射镜面分别通过立柱上的三个悬臂固定于成像设备的正上方。

4.根据权利要求2或3所述互补结构折反射全向成像装置，其特征在于：所述圆锥面镜的中截面到环形平面镜的距离与所述双曲面镜的中截面到环形平面镜的距离相等。

5.一种基于权利要求1所述互补结构折反射全向成像装置的超分辨率柱面全景空间构建方法，其特征在于，包括如下步骤：

1)采用所述互补结构折反射全向成像装置进行全向成像：同一空间点经互补结构折反射全向成像装置中两个不同的光路，分别在成像平面的内环和外环二次成像，生成一幅内外环互补的全向图；

2)根据空间点与成像平面上像点之间的坐标映射关系，将所生成的全向图的内环和外环分别投影到同一个柱面全景空间，得到一对在水平方向和垂直方向的空间分辨率呈现互补特性的柱面全景图像；

3)对上述两幅柱面全景图像进行图像配准，进而运用小波分析理论对配准后的两幅 柱面全景图像进行小波分解，结合两幅柱面全景图像在不同方向上的空间分辨率分布特点，对分解得到的低频图像和水平、垂直、对角线方向的高频图像分别进行筛选和融合，最终再通过小波图像重构算法对柱面全景空间进行超分辨率构建。

6.根据权利要求5所述超分辨率柱面全景空间构建方法，其特征在于，所述步骤3)中的图像配准采用多尺度块匹配图像配准算法实现。 

Images