CN102982516A

CN102982516A - 一种基于半球环形全景镜头实现全景图像的方法

Info

Publication number: CN102982516A
Application number: CN2012104121148A
Authority: CN
Inventors: 刘龙; 王攀; 李军
Original assignee: Xian University of Technology
Current assignee: Xian University of Technology
Priority date: 2012-10-25
Filing date: 2012-10-25
Publication date: 2013-03-20
Anticipated expiration: 2032-10-25
Also published as: CN102982516B

Abstract

本发明公开了一种基于半球环形全景镜头实现全景图像的方法,首先将原图像分割成四个小区域进行坐标变换成为等腰梯形图像，再应用双线性变换法将等腰梯形拉伸成为一幅矩形图像。一个区域处理好以后，其坐标的对应关系可以直接应用于剩下的三个部分，最后将四部分按顺序首尾相接，得到一幅长条状的360°全视场图像。能够成为人类视觉可以接受的而且计算机能够处理的矩形图像，并且在算法的快速性上有一定突破，目标要达到实时监控的效果，并且图像质量良好，能够满足一般的视频监控需求。

Description

一种基于半球环形全景镜头实现全景图像的方法

技术领域

本发明属于360°全景视觉技术领域，涉及一种基于半球环形全景镜头实现全景图像的方法，具体涉及图像仿射变换等方法。

背景技术

如今，视频监控系统已广泛应用于各领域中，汽车、飞行器、潜艇上逐渐配备了视频监控系统，然而传统的相机由于镜头限制因素，故视场是十分有限的，为了获取大视场，往往就要增加多个传感器。如此一来，成本增加不少，再者为了将多个传感器获取的图像融合成为全景图像，需要多次的拼接，其复杂性大，也较费时，往往不能达到实时监控的效果，令其功用大打折扣。

鱼眼镜头因其焦距短、视场大而逐渐被应用于360°全景监控中，鱼眼镜头的视角接近180°。半球全景环型镜头其原理与鱼眼镜头相似，焦距非常短而视场却很大，是一种极端的广角镜头，鱼眼镜头与人们眼中的真实世界的景象存在很大的差别，因为我们在实际生活中看见的景物是有规则的固定形态，而通过鱼眼镜头产生的画面效果则超出了这一范畴，我们不能直接应用于目标的检测，故如何将这种全景图像转换为我们所熟悉，并能够为计算机处理的方形图像，逐渐成为了一项热门话题。所以我们要不断的研究这一方面，使其更加方便我们生活。

当下360°全景展现技术已逐渐走进人们的视野，但大部分的研究都是建立于多幅图像拼接而成，主要是将多幅图像映射在同一个球体模型上，然后再进行拼接覆盖重复的区域，因其算法庞大故较为耗时，而且在大视场中检测也不便。即便是鱼眼镜头拥有接近180°的视角，要实现全景监控则必须最少使用2幅图像来拼接完成，虽说计算复杂性已大大减小，但仍需建模拼接。而半球全景环型镜头由于其拍摄原理的特殊性，故可实现单帧全景的效果，无论是畸变校正，还是目标检测都极为方便。半球全景环型镜头在国内的研究还刚刚起步，浙江大学光学实验室也对此进行了研究，但依然没有广泛应用起来，也有不少关于这方面的专利申请，但都未能使人们深入了解这一新兴的镜头。在国外，有一大批人也在研究这项技术，军方民用都有不少产品问世：美军Type-18型潜艇潜望镜加装的全景式成像系统、Gopano品牌的全景式系统，均为人们带来很大的便利。由于半球全景环型镜头在多领域均可应用，所以其研究热度正不断增加，掌握这一技术越发显得重要！

目前在研究全景视觉这一领域内，实现360°全景视觉的主要方法可以暂归结为以下几类：单摄像头或多摄像头与云台结合；多帧图像直接进行拼接；多帧图像应用柱面坐标进行拼接；应用鱼眼镜头的特殊方位拍摄进行展开。

单摄像头或多摄像头结合云台是早期实现全景监控的一种简单办法，因其原理简单易行，成本较为低廉而被广泛应用于各监控领域内，如银行、医院、监狱的监控。但其实现全景监控是依托云台的转动来实现的，云台的转速必须在一定的范围内，所获取的内容也不过是一个广角镜头所拍摄的内容，故其不能实时的获取360°全视场内的信息，我们可以将其称为“伪全景”。

多帧图像的直接拼接是实现全景视觉的一种直观的办法，主要方法为采用一定的技术检测图像中的像素在另一图像中对应的具体位置，从而进行拼接，得到一幅分辨率较大的全景图像，因其无需专业的全景图像硬件设备，只需普通相机所拍摄的照片即可，所以实现成本也较低。但其运算量较大，当多帧图像的分辨率较大时，拼接十分耗时，不利于实时监控的需要，将其用于后期全景制作是比较合适的。

多帧图像应用柱面坐标进行拼接，是通过把多幅图像映射到一个合适的柱面（球面）上,自动调整每幅图像的插入点,使得重合位置的差值图像灰度累积平均值最小,然后柱面（球面）的图像反映射成平面形式,最终得到拼合图像。这类方法较多帧图像直接拼接的运算量和全景图像的质量有了很大的提高，但仍受限制于其运算速度，故用其实现单帧全景图像比较合适，而不适合应用于要求较高的实时全景监控。

应用鱼眼镜头的特殊方位拍摄进行展开，是近年来比较热门的一种方法，得益于鱼眼镜头的短焦距，我们可得到超广角的图像，经过后期的算法处理后，便可制作成全景，由于拍摄角度的差异，甚至可以实现单帧全景图像，针对这种超广角的图像处理方法多种多样，仍有将其映射在球面模型上进行自寻匹配拼接，得益于鱼眼镜头的超广角，甚至只需两幅这样的图像便能实现全景视觉，但由于需要建模进行计算，其运算量便不会小；为了追求处理速度，人们尝试运用一种不需要建模，直接进行坐标变换就可以将这种超广角的图像转换成全景图像的方法，省去建模映射拼接，使得运算量大大减少，以期达到实时处理效果。

发明内容

本发明的目的是提供一种基于半球环形全景镜头实现全景图像的方法，对其所呈图像进行快速的畸形矫正，解决了大视场的全景监视问题

本发明的技术方案是一种基于半球环形全景镜头实现全景图像的方法，是根据一种特殊的鱼眼镜头所采集的图像，利用图像的坐标变换，来实现对图像快速的畸变矫正，该方法按以下步骤进行，

步骤1、将鱼眼镜头所采集的的圆环带失真图像放置在普通的二坐标系中，然后图像不动，坐标系旋转45°，此时坐标系将图像分割为四个部分；

步骤2、对于所分成的四幅图像中，任意选择其中一幅，逐一遍历各像素，并计算出各像素点到图像中心点的欧几里得距离R，其中

R的计算结果若不为整数，采用四舍五入法令其归整，用R为横坐标，原像素点纵坐标不变，将原图像进行坐标变换得到等腰梯形的图像，

将该图的变换关系应用于其它三幅图，得到4部分图像的变换；

步骤3、找出任一梯形图像的四个顶点(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)，以及要将其变换成矩形图像的四个顶点(A₁,B₁),(A₂,B₂),(A₃,B₃),(A₄,B₄)分别代入8参数双线性变换公式：

x₁＝c₁×A₁+c₂×B₁+c₃×A₁×B₁+c₄

y₁＝c₅×A₁+c₆×B₁+c₇×A₁×B₁+c₈

联立方程组得到：

\{\begin{matrix} x_{1} = c_{1} \times A_{1} + c_{2} \times B_{1} + c_{3} \times A_{1} \times B_{1} + c_{4} \\ y_{1} = c_{5} \times A_{1} + c_{6} \times B_{1} + c_{7} \times A_{1} \times B_{1} + c_{8} \\ x_{2} = c_{1} \times A_{2} + c_{2} \times B_{2} + c_{3} \times A_{2} \times B_{2} + c_{4} \\ y_{2} = c_{5} \times A_{2} + c_{6} \times B_{2} + c_{7} \times A_{2} \times B_{2} + c_{8} \\ x_{3} = c_{1} \times A_{3} + c_{2} \times B_{3} + c_{3} \times A_{3} \times B_{3} + c_{4} \\ y_{3} = c_{5} \times A_{3} + c_{6} \times B_{3} + c_{7} \times A_{3} \times B_{3} + c_{8} \\ x_{4} = c_{1} \times A_{4} + c_{2} \times B_{4} + c_{3} \times A_{4} \times B_{4} + c_{4} \\ y_{4} = c_{5} \times A_{4} + c_{6} \times B_{4} + c_{7} \times A_{4} \times B_{4} + c_{8} \end{matrix}

得到c₁…c₈这8个参数，之后对矩形图像进行遍历，将其中每一点的坐标代入8参数双线性变换公式中，计算与之对应的梯形图像中匹配像素点，一次遍历完成后，矩形图像上每一点均与梯形图像上的点一一对应，即完成了梯形到矩形的转换，

在通过8参数双线性变换公式进行坐标计算时，若计算得出的像素点坐标不为整数，则采用最邻近插值，对小数四舍五入；

步骤4、将步骤3所得到的四幅矩形图像按照顺序首尾相接便可得到一幅长条状的360°全视场图像。

本方法的有益效果是：不需要去建模拼接，直接将图像分割成为四个部分进行坐标的仿射变换，再经过双线性变换，然后拼接形成一幅大的全视场图像，处理速度有极大提高，可以达到实时监控的效果。

附图说明

图1是本发明一种基于半球环形全景镜头实现全景图像的方法中镜头的成像原理演示图；

图2是本发明的方法中坐标点的映射的原理演示图，a为球面坐标的一个像素点P，b为同样的像素点映射在平面坐标里；

图3是本发明的方法中将一圆环带图像划分为四个部分原理演示图；

图4是本发明的方法中将球面压缩至平面原理演示图，a为球面坐标系中划分的纬度带，b为将整个球压缩在一个平面内的效果；

图5是本发明的方法中具体的坐标点的转换示意图，a为四分之一圆环带图像，b为将圆环带展开成一梯形图像；

图6是本发明的方法中确定转换后的纵坐标原理示意图，a为离散了的圆环带像素，b为将这一圆环带拉直后的效果；

图7是本发明的方法中图3中的算法仿真结果；

图8是本发明的方法中双线性变换示意图，a为待变换的梯形，b为经过双线性变换后的结果；

图9是运用本发明的方法进行仿真的结果图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明。

半球环形全景镜头由于其成像原理，将整个视场内的景象全部压缩在一圆环带内，故要解决的问题也就在于如何设计算法将这一圆环带内的信息“展开”，即找到失真图像与标准图像的一种映射关系。

为了形象的展示这一圆环带，可参考图1所示，其中心黑色区域为盲区，为了便于计算，将这一圆环带移至直角坐标系中，横轴是为x轴，纵轴是为y轴。图1中的所示的半径R即为图中的点到坐标原点的距离，可由

计算得出。

由于半球全景镜头外形酷似一个半球，可以将其假设为地球的北半球或者南半球，全景环形镜头所成的像可被认为是将北半球上的点全部压缩在赤道平面上，圆环带上的一圈圈半径不同的圆环，可以看作为纬度带，那么赤道上的点可被认为是原封不动的映射在赤道平面上，即图1中圆环的最大半径处，此处的点是没有发生形变的。

图2形象的将这一映射关系表示出来，图2a中P点在球面的一纬度带上，同一纬度带所发生的畸变程度是相同的，若能将同一纬度带上的像素点设法提取出来放置成一条水平带上，如图2b中P点所在的那一像素行，再依次进行相应的坐标变换，即可将圆环带图像转化为符合人类视觉的矩形图像。在图2中，二维坐标系的横坐标用图2a中的球体的经度来表示，纵坐标用球体的纬度来表示，球面上的任何一个点都将对应于一组经纬度数据，通过经纬度可以在球面上确定任意一个点。这样就可以找到由图2a的球面到2b的矩形面之映射关系。

找到映射关系后，需将圆环带失真图像上的每一点经过计算，然后映射到矩形图像中去。当待处理的图像分辨率较小的时候，处理所需时间不长，但当分辨率上升至1024×768，甚至更大时，处理速度便明显变慢。

基于以上提出的原理及问题，本发明提供一种基于半球全景环型镜头的全视场转换方法，

该方法按以下步骤进行：

步骤1.将圆环带图像一分为四

如果可以圆环带图像划分为若干个小块，将各个小块进行并行处理，而不是扫描整张大图，那么运算便会大大的减少。计算机在遍历二维数组时，一般依照从左到右，从上到下进行的。所以建立圆环，将圆环带到矩形图像的映射关系是以半径为纽带的，旨在于找出一圈圈半径相同的像素带。将这一圆环带分割成为四部分来处理，如图3所示。由于这四部分具有高度的对称性，计算出第一部分之后，所得参数可直接应用于其余三部分；分为四部分遍历较为符合计算机遍历二维数组的次序，因为计算机一般不会绕着圈遍历，要尽量使用最简易的方法来简化计算。

步骤2.依次将四幅图像进行坐标变换成梯形图像

在四分之一圆环环带图像中，需要将其中一圈圈半径不同的像素带区别开来，最简单的方法是根据各像素点的横纵坐标来计算出其距圆心的距离R，

(x,y)为像素点的横纵坐标，因为图像的尺寸大小我们事先已知，那么在此图像中需要遍历的不同半径的数量便确定了，例如：在1024×768分辨率下，除去中心盲区不做计算外，约有350条不同半径的像素带可供提取。

在遍历图像时，先设定一半径r的值，那么在遍历完成后，所有经过计算半径为r的像素点均可被标记出。随着设定的r值的不断改变，多次遍历之后，便可以将所有像素都依据r的不同而标记出来。然而，一条纬度带是需要映射到二维的矩形平面上的，但直接进行映射有一些困难，可以先将其映射成为一等腰梯形图像，再设法将等腰梯形通过坐标变换映射成为一矩形图像。

如图4a所示的在半球上有三条不同的纬度带，将这个半球自极点压扁至赤道上，便是图4b所示的内容，可以看出其是非常接近圆环带图像的。

完成由图5a到图5b的转换，假设图5b中的梯形为一张白纸，需要将图5a中四分之一圆环带中的像素点一一的映射到这张白纸上，需要确定映射后各像素点的坐标。之前所计算的每个像素点对应的半径值，正好可以将不同半径的像素带区分开来，由于半径不同，故每一圆环带的周长也不同，这便解释了为什么由圆环带图像转换出的是一等腰梯形图像，而非矩形了。在图5中，一圈圈半径不同的像素带，直观的将映射关系指出。由图5中可以看出最靠外、半径最大的那一圈像素带被放置在等腰梯形较长的下底，最靠里、半径最小的那一圈像素带被放置在了较短的上底，如此各半径不同的像素带可以依次有序的放置在一起形成等腰梯形。

图6a是一像素带，这些像素的共同点是距圆心的距离相同，若能找出一特征，将其各自与其他像素点区分开来，那这种特征便可作为确定纵坐标的依据。计算机所处理的图像均为数字图像，故这一周像素带实质上是许多离散的像素点，图6a中所示是将一圈像素带离散化，可以看出各个点的纵坐标是不相同的。可以依此来区分同一像素带上不同的像素点，即圆环带中像素的纵坐标可以不经变换直映射接到梯形图像中。如此一来，圆环带图像上每一像素点便能唯一的在梯形图像中确定了，图6b为将这一圆环带拉直后的效果，图4a到图4b的转换便完成了。

3.运用双线性变换将梯形图像进行坐标变换成矩形图像

从图7中所示四幅梯形图像中，可以看到，越是靠近两腰图像失真程度就越大，这种梯形图像绝非最终的结果，还需进一步的变换使其摆脱失真的困扰，寻找一种变换方法，使图8a转换为图8b。

在图像的几何变换中，有一种双线性变换法，是很适合这种状况的。此处采用8参数的双线性变换：

x₁＝c₁×A₁+c₂×B₁+c₃×A₁×B₁+c₄

y₁＝c₅×A₁+c₆×B₁+c₇×A₁×B₁+c₈

其中，(x₁,y₁)是等腰梯形图像中某一像素点的坐标，(A₁,B₁)是这一像素点在矩形图像中的新坐标。

只需寻找4个对应的像素点代入上式，便可以解出c₁…c₈这八个未知参数，而且此时正好有现成的四对像素点可用，即梯形图像的四个顶点(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)，矩形图像的四个顶点(A₁,B₁),(A₂,B₂),(A₃,B₃),(A₄,B₄)，因其在双线性变换后，四个顶点的像素，依然会位于四个顶点，接下来，将这四对像素点分别代入上式，联立方程组得到：

\{\begin{matrix} x_{1} = c_{1} \times A_{1} + c_{2} \times B_{1} + c_{3} \times A_{1} \times B_{1} + c_{4} \\ y_{1} = c_{5} \times A_{1} + c_{6} \times B_{1} + c_{7} \times A_{1} \times B_{1} + c_{8} \\ x_{2} = c_{1} \times A_{2} + c_{2} \times B_{2} + c_{3} \times A_{2} \times B_{2} + c_{4} \\ y_{2} = c_{5} \times A_{2} + c_{6} \times B_{2} + c_{7} \times A_{2} \times B_{2} + c_{8} \\ x_{3} = c_{1} \times A_{3} + c_{2} \times B_{3} + c_{3} \times A_{3} \times B_{3} + c_{4} \\ y_{3} = c_{5} \times A_{3} + c_{6} \times B_{3} + c_{7} \times A_{3} \times B_{3} + c_{8} \\ x_{4} = c_{1} \times A_{4} + c_{2} \times B_{4} + c_{3} \times A_{4} \times B_{4} + c_{4} \\ y_{4} = c_{5} \times A_{4} + c_{6} \times B_{4} + c_{7} \times A_{4} \times B_{4} + c_{8} \end{matrix}

得到c₁…c₈这8个参数之后，紧接着对矩形图像进行遍历，将其中每一点的坐标代入双线性变换公式中，计算出一组坐标，并以此在梯形图像中匹配像素点（可能经过计算得出的像素点坐标不为整数，此处采用最邻近插值，对小数四舍五入）一次遍历完成后，原先空白的矩形图像上每一点都会得到一个有效像素值，从梯形到矩形的转换过程便完成了。实验图像变换的效果，如图9所示。

由此图可以看出圆环带图像的失真已被矫正过来，形成了一幅条状的360°全视场景图像，该图底部有一条状的干扰像素带，为几何中心与光学中心不重叠所导致的，可以在后期调整镜头来消除。

图像在生成过程中，由于系统本身具有非线性或拍摄角度不同，会使生成的图像产生几何失真。几何失真一般分为系统失真和非系统失真。系统是真实有规律的、能预测的；非系统失真则是随机的。本发明的技术方案解决的即为系统失真的问题。

在MATLAB仿真中，对于一幅分辨率为1024×768的圆环带图像，通过现有方法处理需要至少一亿次的循环遍历，虽说现在的计算机处理器主频均在2.0Ghz以上，但这仍是一个庞大的数字，它绝对会毁了我们的实时性！所以必须找到一种方法来简化其运算，经过反复思考以上的计算过程，不难发现，每设定一次半径r，都要将整幅图像遍历扫描一次，假设有300个半径不同的像素带，便要将分辨率为1024×768的图像整整遍历扫描300次！而且随着图像分辨率的增大，计算量在成倍的增长！

本发明的方法以相反的思路实现上述过程，即不去设定一个确定的半径值r，然后遍历整个图像，寻找符合的像素点。而是顺序地遍历扫描图像中所有的像素点，每一个像素点均通过其横纵坐标来计算其所对应的半径值r，紧接着根据求出的r和原先的纵坐标值，直接将这个像素点映射到梯形图像中如此一来，那么只需对图像进行一次完整的扫描可完成所有像素点的从圆环带图像映射到梯形图像。1024×768分辨率的图像现在仅需要40万次的循环遍历，是先前的三百分之一，计算量将会骤减！

Claims

1.一种基于半球环形全景镜头实现全景图像的方法，是根据一种特殊的鱼眼镜头所采集的图像，利用图像的坐标变换，来实现对图像快速的畸变矫正，其特征在于，该方法按以下步骤进行，

x₁＝c₁×A₁+c₂×B₁+c₃×A₁×B₁+c₄

y₁＝c₅×A₁+c₆×B₁+c₇×A₁×B₁+c₈

联立方程组得到：

\{\begin{matrix} x_{1} = c_{1} \times A_{1} + c_{2} \times B_{1} + c_{3} \times A_{1} \times B_{1} + c_{4} \\ y_{1} = c_{5} \times A_{1} + c_{6} \times B_{1} + c_{7} \times A_{1} \times B_{1} + c_{8} \\ x_{2} = c_{1} \times A_{2} + c_{2} \times B_{2} + c_{3} \times A_{2} \times B_{2} + c_{4} \\ y_{2} = c_{5} \times A_{2} + c_{6} \times B_{2} + c_{7} \times A_{2} \times B_{2} + c_{8} \\ x_{3} = c_{1} \times A_{3} + c_{2} \times B_{3} + c_{3} \times A_{3} \times B_{3} + c_{4} \\ y_{3} = c_{5} \times A_{3} + c_{6} \times B_{3} + c_{7} \times A_{3} \times B_{3} + c_{8} \\ x_{4} = c_{1} \times A_{4} + c_{2} \times B_{4} + c_{3} \times A_{4} \times B_{4} + c_{4} \\ y_{4} = c_{5} \times A_{4} + c_{6} \times B_{4} + c_{7} \times A_{4} \times B_{4} + c_{8} \end{matrix}