CN104680505A - 一种鱼眼镜头校正的全景视图算法 - Google Patents

Abstract

随着视像系统的迅速发展已经大量视像应用的出现，随之而来涌现出大量的算法设计和图像处理方面的硬件设备。其中一项就是一种广角镜头的应用——鱼眼镜头。鱼眼镜头具有短焦距、大视角的优点，在虚拟实景、视频监控、只能交通、机器人导航等领域得到广泛的应用。但鱼眼镜头也有其自身的缺点，这种镜头拍摄的图像具有严重的变形，如果要利用这些具有严重变形图像的投影信息，需要将这些变形的图像校正为符合人们视觉习惯的头像。本发明呈现了一种既快速有精确的算法。这种算法是结合了经纬度校正算法和球型算法这两种算法的优势，从而在时间和精确度上都有所改善。

Description

一种鱼眼镜头校正的全景视图算法

技术领域

 本发明提出了一种基于鱼眼镜头校正的全景视图算法，属于图像处理领域。 

背景技术

随着视像系统的迅速发展已经大量视像应用的出现，随之而来涌现出大量的算法设计和图像处理方面的硬件设备。其中一项就是一种广角镜头的应用----鱼眼镜头。鱼眼镜头具有短焦距、大视角的优点，在虚拟实景、视频监控、只能交通、机器人导航等领域得到广泛的应用。但鱼眼镜头也有其自身的缺点，这种镜头拍摄的图像具有严重的变形，如果要利用这些具有严重变形图像的投影信息，需要将这些变形的图像校正为符合人们视觉习惯的头像。 对鱼眼图像的校正，虽然在很多领域像视频监控，全景浏览中都用到该技术，但相关理论的研究比较分散。从国内外研究现状来看一般从几个方面来概括鱼眼图像的校正算法： 

（1）球面投影型是一种常用的方法，把鱼眼镜头成像面看成一个球面。该算法是英向华和胡国义提出。其算法思想就是：在球面成像投影模型下，利用空间直线的球面透视投影为大院这样约束来恢复鱼眼变形校正。通过鱼眼变形校正模型，可以将鱼眼图像所有图像点都映射到球面上，而这些休眠点必须满足球面投影约束，也就是空间直线的鱼眼投影曲线必须被映射为球面上的一个大圆。

（2）抛物面成像模型相对球面投影模型更加复杂，它把鱼眼镜头成像面看成一个抛物面。在恢复场景深度时可以得到更加精彩的效果，但用该模型计算过于复杂。实际当中很少应用。 

（3）经度坐标校正算法最早由T.Nathan Mundhenk 提出，其算法思想是：首先对鱼眼图像求取中心点和半径并进行标准圆转换。鱼眼图像中扭曲的场景可以用地球仪上的经度线来表示，即每一条经度上的不同像素在扭曲校正过的图像中具有相同的列坐标值。同一经度上的像素点在的场景中具有相同的横坐标，经度越大的经线，其扭曲程度越大。 

发明内容

本发明提出了一种基于鱼眼镜头校正的全景视图算法，该算法呈现了一种既快速又精确的算法。这种算法是结合了经纬度校正算法和球型算法这两种算法的优势，从而在时间和精确度上都有所改善。 

附图说明

图1  鱼眼镜头成像模型 

图2  鱼眼校正步骤流程图

图3  一个鱼眼图像的模型

图4  鱼眼图像的上下左右四个顶点

图5  P是鱼眼图像中的任意一点，P与圆心的距离为r

图6  映射模型。

具体实施方式

鱼眼图像的形成 

     鱼眼镜头可近似于半球面，鱼眼摄像头的摄像方向OZ轴为光轴，XOY为成像方向，如图1所示。对于空间场景中的一点 ，连 交办球面于，过点 做Z轴的平行线，交地面圆于点，则点就是空间点所成鱼眼图像的像素点。因此，对鱼眼图像来说，所拍摄到得图像是一个圆形图像。我们都知道鱼眼图像具有视角大，信息量丰富的特点。鱼眼镜头的视角越大，其弯曲畸变就越大，只有镜头中心部分的直线可以保持原来状态。

我们用如图2的流程图的方式介绍图像校正的步骤： 

1 提取鱼眼有效范围

鱼眼照片往往中间鱼眼图像处有很高的亮度，而其周围是亮度值很低的黑色。要校正鱼眼图像，首先要把鱼眼图像的有效部分提取出来。图3 所示为一个鱼眼图像的模型。要提取出这个圆形的鱼眼区域，我们需要得出它的上下顶点和左右顶点。

首先寻找他的上下顶点。我们可以逐行扫描每个像素的亮度值，由于边缘是黑色的边框，我们首先扫描到得是亮度值很低的点。亮度值最低的点的亮度值为,遇到的亮度值最大的点的亮度值为,当遇到第一个亮度值，使时，说明这是鱼眼图像最上方的顶点。用同样的方法从下往上逐行扫描，可以找到鱼眼图像最下方的点。如图4所示，我们找到了鱼眼图像的上下左右四个顶点。，，，,通过以上四个顶点的坐标，我们可以算出圆形鱼眼图像的半径和中心点。设鱼眼图像的中心点为

坐标公式为：

         

为了不丢失鱼眼图像中的任何信息，我们选取和两条线段中最长的一条作为鱼眼图像的直径。

   至此，我们已经找到了鱼眼图像的中心和图像的半径。 

2 计算畸变点与中心的距离和角度 

    假设如图5所示，P是鱼眼图像中的任意一点，P与圆心的距离为r

  我们有公式：

   

     

根据点P的坐标和以上的距离公式，我们可以很容易地算出任意点点P和图像中心的距离。同样，我们要利用点P 的横坐标X的值和图像中心横坐标的值来来定义点P的方向角。

我们知道，无论我们所采用的鱼眼镜头的视角多大，其图像中心垂直方向直径上的像素的位置是不发生畸变的。为了矫正畸变，我们需要用一些极坐标里的概念，当一个点从真实世界中映射到鱼眼图像平面时，该点有一个极角。 

  下面我们将笛卡尔坐标平面转换到极坐标平面下，。 

 如果点在第一象限内，我们有 

          

      若点P 在第二象限，我们有

          

      若点P在第三象限，我们有

          

若点P在第四象限，我们有

            

 将以上四个公式简化，我们可以得到：

  当点P 在中心垂直线的左半部分，也就是二三象限，我们有公式：

            

当点P在中心垂直线的右半部分，也就是一四象限，我们有公式：

           

    通过以上过程，我们找到了畸变点的方向角，当然，畸变点的方向角与校正后的点的方向角是相等的。

3 将畸变图像像素矩阵映射到正常平面 

    在之前的章节中，我们计算出了畸变点距离图像中心的距离和它们的方向角，下面我们将利用这些条件来映射图像。

    图6是映射的模型，它其中涉及了球型校正模型的知识。 

首先我们先将鱼眼图像归一化。图中，XOY平面是归一化地鱼眼图像平面，Z轴为光轴。此时鱼眼图像的半径R=1.我们在鱼眼图像平面上任意找一点畸变点P，它在球面上对应p₂点。由于这个球是归一化地，我们有.我们有 

 

  在三角中，我们有

      

   AB是在正常平面内其中心与校正点之间的距离，并且 

 由此，我们已经有了在极坐标下校正图像的参数，我们现在要做的只是把极坐标参数转化为笛卡尔坐标下的参数。在校正平面内，点（x,y）有

 

通过以上步骤，我们成功地将鱼眼图像中的点校正映射到正常的图像平面内。由于鱼眼图像和正常图像不是一一对应的关系，因此映射后会有黑色的空点，我们可以通过图像插值技术将这些空点填补，实现完整的校正，得到一种在正常平面内适合人眼正常视图习惯的校正图。

这种算法结合了经纬度模型和球型校正模型的优势。相比较于经纬度模型，其校正的精确度有了明显的提高。相比较于球型模型，其运行时间明显缩短。 

  

Claims (5)

1.一种基于鱼眼镜头校正的全景视图算法，该算法呈现了一种既快速又精确的算法。

2.根据权利要求1所述的基于鱼眼镜头校正的全景视图算法，是结合了经纬度校正算法和球型算法这两种算法的优势。

3.根据权利要求1所述的基于鱼眼镜头校正的全景视图算法中，我们通过图像插值技术将空点填补，实现完整的校正，得到一种在正常平面内适合人眼正常视图习惯的校正图。

4.根据权利要求1所述的基于鱼眼镜头校正的全景视图算法中，鱼眼校正步骤分为：提取鱼眼有效范围、计算畸变点与中心的距离和角度和将畸变图像像素矩阵映射到正常平面等3步。

5.为了矫正图像畸变，我们采用了笛卡尔坐标平面转换到极坐标平面的方法。