CN103247024A - 一种基于同心圆算法的180度鱼眼图像展开方法和装置 - Google Patents

Abstract

本发明公开了一种基于同心圆算法的180度鱼眼图像展开方法和装置。方法包括两个部分：一是鱼眼摄像机标定，二是摄像机畸变校正。在第一个步骤中，假设从图像传感器得到的图像是标准圆形的一部分，通过对图像边缘弧形区域的拟合，完成图像的标定操作。算法的第二步忽略鱼眼图像在径向方向的畸变，仅考虑图像在切向方向的畸变，将鱼眼图像上一条圆心o′在中心线上的圆弧BTB′与展开矩形图像上的一列相l对应，将拍摄鱼眼全向图像展开为适合人眼浏览习惯的矩形全景图像。本发明同时公开了一种基于同心圆算法的180度鱼眼成像装置。设备包括：墙装枪机式全景摄像机、监视器和外部控制设备。

Description

一种基于同心圆算法的180度鱼眼图像展开方法和装置

技术领域：

本发明涉及图像处理和全向视觉领域，特指一种基于同心圆算法的180度鱼眼图像展开方法和装置。

背景技术：

全景图像/视频凭借180度全方位视角、能覆盖大范围场景的优势，在全景视频监控、机器人视觉导航、虚拟实景空间构建等领域得到了越来越广泛的研究和应用。鱼眼全向成像是全景图像获取的重要途径。但由于鱼眼摄像头的特殊设计，焦距越短，视角越大；视角越大，因光学原理产生的变形也就越强烈，鱼眼镜头所拍摄的图像除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化，这样鱼眼摄像机获得的全方位图像存在严重的扭曲现象。要有效的利用图像信息进行导航跟踪，需恢复还原图像。

传统方法上，将圆形全向图展开为矩形全景图的基本思想是：根据全向图和矩形全景图之间的投影变换关系，将展开后的矩形全景图中每一像素点正向投影到原始的全向图中，获取全向图中相应点采样的颜色值，再将该颜色值赋回给矩形全景图中相应的像素点，直至生成一幅完整的矩形全景图像。

目前，鱼眼图像畸变校正的方法有很多，其中基于球面模型和基于柱面模型的鱼眼镜头矫正方法最为常见。依据该模型，人们提出各种图像展开校正模型，例如文献《基于柱面模型的鱼眼影像校正方法的研究》(2008年10月28日《计算机应用》杂志上公开)中描述的方法即为其中的一个典型方法，该文的作者为周辉、罗飞、李慧娟、冯炳枢，其核心内容是从鱼眼镜头球面成像模型出发，完成从像平面到物球面的坐标变换，用等弧长映射方法将球面的影像投影到柱面上。然而在实际应用中，由于镜头的安装误差以及畸变，基于球而模型和基于柱面模型的鱼眼镜头矫正方法，虽然整体视角较广，中心位置处的畸变校正效果比较好，但是对接近边缘区域的像素校正后弯曲现象严重，对于一些全景图像摄取应用，例如全景会议记录仪等装置，往往难以达到满意的视觉效果，同时由于其变换的复杂性，在校正图像生成速度方面仍有所欠缺，难以满足实时处理要求。

发明内容：

本发明要解决的技术问题在于：针对将鱼眼全向图像展开为全景图像这个特定问题，为了消除全向成像装置的镜头的安装误差以及畸变对全向图展开过程中的不利影响，以及基于球面模型和基于柱面模型的鱼眼镜头矫正方法边缘处变形较大且变换处理复杂的问题，提出一种基于同心圆算法的180度鱼眼图像展开方法和装置。方法包括两个部分，第一鱼眼摄像机标定，第二摄像机畸变校正。在第一个步骤中，假设从图像传感器得到的图像是标准圆形的一部分，通过对图像边缘弧形区域的拟合，完成图像的标定操作。算法的第二步骤忽略鱼眼图像在径向方向的畸变，仅考虑图像在切向方向的畸变，将鱼眼图像上一条圆心在中心线上的圆弧与展开矩形图像上的一列相对应，将拍摄鱼眼全向图像展开为适合人眼浏览习惯的矩形全景图像。本方法不需要传统的棋盘标定，代拟合模型参数，复杂的计算操作等，符合实际应用的要求。同时由于算法无需任何额外的硬件资源，非常适合用于嵌入式摄像机平台。

为解决上述技术问题，本发明采取的技术方案是：一种基于同心圆算法的180度鱼眼图像展开方法和装置，其中方法特征是包括如下鱼眼摄像机自标定和摄像机畸变校正两个部分。

鱼眼摄像机自标定部分，本发明假设从图像传感器得到的图像是标准圆形的一部分，通过对图像边缘弧形区域的拟合，完成图像的标定操作。鱼眼图像校正的目的是估计鱼眼图像圆形的中心o和半径R。本发明假设鱼眼图像两侧的边缘是圆周的一部分，由此鱼眼摄像机自标定问题可以转换为标准的圆拟合问题，可用最小二乘算法或者霍夫变换等算法来解决。

发明中的摄像机畸变校正部分是本方法的核心部分，包括如下步骤：

1).对于校正后图像的左边第一列像素(OD)，它的每个像素值，由圆弧BDB’从上到下的每个像素来对应赋值；

2).对于校正后图像的第N列像素l。先求得一个过B，A，B′的圆，确定其半径，然后求得其圆心o’。然后第N列的每个像素，对应的是圆弧BAB′从上到下每个像素来对应赋值；

3).由此可以遍历整幅图像，可以算出每一列所对应的各个圆弧。得到整个校正图像所对应的像素值。

其中原始的鱼眼全向图像不限定为标准圆形形状，可以为椭圆或者是任意不规则形状，可以消除以去除由于镜头安装产生的遮挡区域，当原始图像区域不是完整圆形时，矩形全景图像上的一列对应于圆形图像上的一条圆弧。

步骤2)中将展开后的矩形全景图像上的任意一列与鱼眼全向圆形图像上的一条圆弧相对应，仅考虑了鱼眼镜头的切向畸变而忽略其径向畸变，实际应用中可以达到较好的视觉效果，克服了一般柱面、球面展开算法边缘处形变较大的缺点。

步骤3)中全景空间任一点鱼眼成像到全向图中的正向投影公式和全向图中任一点逆向投影到矩形全景图像的坐标映射关系均是根据鱼眼成像全向成像系统的面型参数和结构尺寸，通过光学成像几何分析推导得到的。在实际应用中，鱼眼成像满足等距条件，以及满足单视点约束，正向投影公式及逆向映射关系都能很容易通过光学成像过程的简单几何推导，即光学成像几何分析推导而成，因此，本发明对于不同的成像系统的正向和逆向映射关系推导过程不一作详细描述。

本发明在图像采集方面采取的技术方案是：一套墙装枪机式180度鱼眼摄像机的全景图像采集系统，其中包括墙装枪机式全景摄像机、监视器和外部控制设备，其中全景摄像机包括相互连接的全景成像器件和图像处理电路板，所述图像处理电路板上连接有网络数据通讯接口，电源接口和其它附加接口；图像处理电路板经网络接口与监视器连接，所述图像处理电路板还经数据通讯接口与外部控制设备的控制端连接。其中，所述全景成像器件采用的是鱼眼镜头，所述成像组件可以为CCD成像组件或CMOS成像组件。

本发明不依赖于鱼眼镜头的成像模型，即适应于等距投影原理的鱼眼镜头，也适用于其它投影原理的鱼眼镜头。本发明的展开效果消除了其它恢复方法边缘“拉扯”的现象，在边缘也可以得到接近现实世界的效果。本发明算法原理简单，速度较快，占用时间少利于硬件实现，在基于鱼眼镜头的图像跟踪、监控及视频会议等领域都有积极的效果与广泛的应用前景。

附图说明：

图1是发明所述基于径向特征的全向鱼眼图像展开方法示意图；

其中S101是展开全景图像上一点正向投影到全向图成像平面的示意图；

S102是指全向图中一点逆向投影到全景图像的示意图；

图2是本发明所述180度全景摄像机示意图；

图3是本发明所述图像采集系统示意图；

图4是实施例中所述基于径向特征的全向鱼眼图像展开方法的实验效果图。

具体实施方式：

以下结合附图和具体实例对本发明做进一步详细说明。

全向鱼眼图像展开方法在本发明提出的系统中，有两种方式实现，摄像机嵌入式系统实现变换和监控计算机终端实现变换。

摄像机工作原理和图像变换的原理：全景成像器件采集周围360视野的图像，得到全向图像，全向图像输入图像处理电路板进行变换处理，变换后的数字图像输出至网络输出接口，网络输出接口连接终端监视器进行视频的显示。外部控制设备通过网络接口控制全景摄像机。图像变换在监控计算机终端实现的原理：全景成像器件采集周围360视野的图像，得到全景图像通过网络传输到计算机监控终端之后通过计算机CPU进行计算全景图像变换，并且在终端显示出来。

全向鱼眼图像展开是指将全景成像器件获得的180度全向图像变换成符合人眼观察习惯的矩形全景的过程。如图1所示。

本发明提出的具体变换算法如下：

首先通过标准圆拟合算法，估算出鱼眼图像的半径R和圆心o。可用最小二乘算法或者霍夫变换等算法来解决，本发明实际使用的算法是Celestino等人于《IEEE Transactions onInstrumentation and Measurement》上提出的《On Implementing Kasa’s Circle Fitting Procedurc》算法，其具体算法在本发明书中不做具体介绍。

以下对算法的关键步骤，即摄像机畸变校正部分算法做详细介绍。

假设q是原始鱼眼圆形图像上的一点，过q作垂直于X轴的直线，设其焦点为T。求一条过BTB′的一条圆弧，设其圆心为o′(xo ′，0)，而直径为R’。过圆心的方程可以写为：

(x-xo′)²+y²＝R′²

将B，T，B′点的坐标带入上式，可以求得o′和R′。

然后鱼眼全向图像上一点q可以映射为矩形全景图像上直线l上的一点q′，其映射关系可由下式求得：

$\frac{\left|A{q}^{\′}\right|}{\left|\mathrm{AT}\right|}=\frac{\left|\mathrm{Eq}\right|}{\left|\mathrm{ET}\right|}$

由于鱼眼图像的对称特性，在实际计算中可以只计算一个象限的映射关系，其他象限中的点的映射关系可以由简单的对称特性生成。

由上述基于同心圆算法鱼眼图像全景展开方法得到的柱面全景展开图如图5所示，图像质量高，且展开速度快。

本发明中提出的方法实际上可用于任意鱼眼镜头全向成像系统。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的成像模型、公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。

Claims (6)

1.一种基于同心圆算法的180度鱼眼图像展开方法，其特征是，包括鱼眼摄像机自标定和摄像机畸变校正两个部分。

2.根据权利要求1所述，鱼眼摄像机自标定假设从图像传感器得到的图像是标准圆形的一部分，通过对图像边缘弧形区域的拟合，完成图像的标定操作。

3.根据权利要求2所述摄像机畸变校正部分包括如下步骤：

1).对于校正后图像的左边第一列像素(OD)，它的每个像素值，由圆弧BDB’从上到下的每个像素米对应赋值；

2).对于校正后图像的第N列像素1。先求得一个过B，T，B’的圆，确定其半径，然后求得其圆心o’。然后第N列的每个像素，对应的是圆弧BTB’从上到下每个像素来对应赋值；

3).由此可以遍历整幅图像，可以算出每一列所对应的各个圆弧。得到整个校正图像所对应的像素值。

4.根据权利要求1和3所述基于径向特征的同心圆算法展开方法，其中的原始鱼眼全向图像不限定为标准圆形形状，可以为椭圆或者是不规则形状，可以去除由于镜头安装产生的遮挡区域。

5.根据权利要求1和3所述基于径向特征的同心圆算法展开方法，其特征是，所述步骤2)中将展开后的矩形全景图像上的任意一列与鱼眼全向圆形图像上的一条圆弧相对应，仅考虑了鱼眼镜头的切向畸变而忽略其径向畸变，实际应用中可以达到较好的视觉效果，克服了一般柱面、球面展开算法边缘处形变较大的缺点。

6.本发明同时公开了一种基于同心圆算法的180度鱼眼成像装置。装置包括：墙装枪机式全景摄像机、监视器和外部控制设备，其中墙装枪机式全景摄像机包括相互连接的全景成像器件和图像处理电路板，所述图像处理电路板上连接有网络数据通讯接口，电源接口和其它附加接口。

Images