CN107845056A - 基于柱面模型的鱼眼图像全景生成方法 - Google Patents

Abstract

本发明在综合研究现有全景图像生成技术和鱼眼图像校正技术的基础上，针对鱼眼全景摄像机在特定角度下拍摄的图像，提出一种基于柱面模型的鱼眼图像全景生成方法。该发明的创新点在于只需要利用鱼眼全景摄像机在俯视或仰视角度下采集到的单幅监控图像，通过图像预处理、图像校正处理等过程即可生成全景图像。该方法省去了复杂的图像采集过程以及应用多幅图像拼接生成全景图像的繁琐操作，人工成本低，处理速度快，操作简单，实用性强，实时性高。

Description

基于柱面模型的鱼眼图像全景生成方法

技术领域：

本发明公开基于柱面模型的鱼眼图像全景生成方法，利用鱼眼摄像机获得的特定角度(俯视或仰视)下的鱼眼图像，通过校正处理生成全景图像，可以使监控人员能够更加高效直观的对目标区域进行查看和定位，具有成本低廉、处理快速、实用性强等特点。

背景技术：

全景图像生成技术近年来发展迅速，传统的方法基本都是在固定的场景中，用相机配合三脚架按照一定的规则进行水平旋转拍摄或者利用多部相机成一定夹角排列拍摄，采集到目标场景的多幅图像，然后使用计算机进行图像拼接、光照补偿、融合等图像处理，最终生成视角达到水平360°的全景图像。在人工成本愈来愈高的今天，这种方法成本高，操作复杂，缺乏实用性和实时性。鱼眼镜头突破了普通相机对视场的限制，是构建全景视觉最简单有效的方法之一。

本发明在综合研究现有全景图像生成技术和鱼眼图像校正技术的基础上，设计了一种简单有效、快速实用的全景图像生成方法。该方法利用鱼眼摄像机获得目标区域在特定角度下的鱼眼图像，通过设计的柱面模型对鱼眼图像进行图像预处理、图像校正处理等过程生成全景图像。该方法人工成本低，处理速度快，操作简单灵活，实用性强，实时性高。

发明内容：

本发明的目的在于提供一种简单有效、快速实用的全景图像生成方法。该方法利用鱼眼全景摄像机采集监控图像，省去了复杂的图像采集过程以及应用多幅图像拼接生成全景图像的繁琐操作，因此该方法人工成本低，处理速度快，操作简单灵活，实用性强，实时性高。

基于柱面模型的鱼眼图像全景生成方法，利用鱼眼全景摄像机采集监控区域在特定角度(俯视或仰视)下的各时间段图像数据，经通信单元传回主站监控中心。主站监控中心通过调用图像校正处理模块，对采集的鱼眼图像进行校正处理生成全景图像，以完整便于查看的形式展现给工作人员，工作人员在监控端可以直观的观测到水平360°范围内的完整的监控场景，有利于对目标区域的查看和定位。

本发明为解决其技术问题所采用的技术方案是：

鱼眼摄像机因采用的镜头和图像传感器与普通镜头的矩形传感器有着本质上的差异，因此其成像原理也不相同。由于鱼眼镜头焦距越短，视角越大，而视角越大，因光学原理产生的变形也就越强烈的特点，为了达到水平360°，垂直180°的超大视角，鱼眼镜头允许“桶形畸变”合理存在，除了画面中心的景物保持不变，其它本应水平或垂直的景物都发生了相应的变化。由于景深曲率的影响，鱼眼镜头成像会形成一个异于人类视觉习惯的圆形图像，其图像边缘的像素点完全被拉伸，因此如何对圆形图像进行校正，以及保证鱼眼图像的有效像素不丢失是十分关键的技术。图像的畸变十分严重，不符合正常视觉感受，因此需要图像校正处理技术消除鱼眼镜头畸变。

本发明主要包括图像采集、图像预处理、确定鱼眼图像参数、图像校正处理四个模块组成。具体技术方案如下：

1)图像采集

利用鱼眼摄像机采集监控区域在特定角度(俯视或仰视)下的各时间段图像数据，经通信单元传回到主控中心。

2)图像预处理

由于客观条件或者鱼眼摄像机自身的不足造成实际采集到的图像存在模糊、歪斜或缺损等情况，不能如实反映景物的全部信息或对信息有严重影响，因此，需要对采集到的图像进行预处理之后再校正图像产生的畸变。图像预处理一般包括图像二值化处理、滤波去噪、增强图像对比度等过程。图像预处理过程可以减弱图像中的噪声，增强有用信息，处理结果将会对后期提取图像轮廓和畸变校正结果的质量造成影响。

2)确定鱼眼图像参数

鱼眼摄像机拍摄的图像四周黑色部分是无用信息，只有中间圆形有效区域内的信息需要提取出来，进行校正。因此，在畸变校正前，先获取鱼眼图像的轮廓，确定鱼眼图像有效信息所在范围，求出其圆心位置和半径大小，方便图像校正展开。

3)图像校正处理：

首先采用球面透视投影模型建立空间任一点与投影球面的映射关系，完成从像平面到物球面的坐标变换，将原始鱼眼图像转换为透视投影图像。其次建立与物球面同半径的柱面作为视平面来描述目标平面。最后将球面的透视影像投影到柱面上，并按照一定规则生成全景图像。

其分析过程有如下步骤来完成：

(1)将鱼眼图像校正为正常的图像，完成从像平面到物球面的变换。

从空间任一点(x，y，z)指向原点O的射线与投影球面x²+y²+z²＝R²相交于P点，将点P投影到与鱼眼镜头的光轴Z轴垂直的固定平面上，得到平面点R(u，v)(如图1所示)。R(u，v)即为(x，y，z)的球面投影，各坐标间有如下关系：

由已知的鱼眼图像点R(u，v)的坐标值，利用上述公式逆推出相应点的球面坐标值。像素点坐标经反变换后得到的是浮点坐标，采用双线性插值算法确定该点的像素值。

(2)建立与物球面同半径的柱面作为视平面来描述目标平面。

在世界坐标系下建立柱面模型(如图2所示)，向量V与Y_w同向，向量U始终保持与V垂直，柱面上每一行点即U方向上的点具有相同的倾斜角α，每一列点即V方向上的点具有相同的水平方向角β。视平面是在世界坐标系下建立的，它保持着现实世界的上下左右关系，在视平面按照世界坐标系下建立的上下左右关系逐一去取点，对应到相机坐标系下，完成世界坐标系到相机坐标系下的变换。

假定相机坐标系的原点与世界坐标系原点重合，并以水平向右为X轴，竖直向下为Y轴，朝前为Z轴，将初始相机坐标系绕世界坐标系的Xw顺时针旋转δ角，即向下旋转δ角，接着绕Z轴顺时针旋转角度κ，得到空间中一点的相机坐标系与世界坐标系的对应关系：

该点在世界坐标系下的坐标表示为(Wx，Wy，Wz)，相机坐标系下表示为(Cx，Cy，Cz)^T。

(3)将球面的透视影像投影到柱面上，获得柱面展开图像。

由柱面上点P_z的坐标推出其(α，β)的值，确定柱面上的投影点P_z和球面上的投影点P_c的一一对应关系(如图3所示)。

将柱面分成W×H个点，左上角为起始点，柱面上第i行点倾斜角α_i＝α×(H-i)/H。

其中，H为柱面展开图高(等于R)，R为球面半径，也是柱面底面半径。柱面上第j列点水平方向角为β_j＝j×β_m/W+β₀。式中：β_m为水平视角的最大范围；β₀为起始点对应的水平视角。在直角三角形中，可以求出柱面的高度H和宽度W：

H＝R×tanα (e)

W＝R×β_m (f)

由于柱面上的投影点P_z和球面上的投影点P_c具有相同角度α，β，所以按照式(d)将柱面上的投影点P_z与球面上的投影点P_c对应起来。将像平面上一点P(x，y)按照透视投影模型映射到半径为R的球面上点P_c，再按式(d)计算出新的坐标值，采用水平映射方式投影到与球半径同高的柱面上，最后将此点的灰度值按双线性插值法进行灰度重建得到柱面展开图像。

本发明的有益效果是：

本发明涉及一种基于柱面模型的鱼眼图像全景生成方法，使工作人员在对目标区域进行查看和定位时，不需要再对同一监控区域的大量的监控图片进行单独查看分析，监控中心只需要不断接收前端传回的鱼眼图像，就可以将不规则的鱼眼图像校正处理生成全景图像，工作人员只需要集中精力于一幅全景图像查看细节，成本低廉，处理快速，操作简单。

附图说明：

下面结合附图和实施方案对本发明进一步说明。

图1是本发明中的球面透视投影模型。

图2是本发明中鱼眼图像柱面展开模型。

图3是本发明提出的水平映射模型。

图4是本发明提出的鱼眼图像处理过程架构

图5是本发明中鱼眼图像具体实现过程框图。

图6是本发明的实施效果图。

具体实施方式：

以下结合具体实例，对本发明进行详细说明。

图4为鱼眼图像处理过程架构，该架构主要包括鱼眼摄像机、图像传感器、主控中心、全景图像，该处理过程利用鱼眼摄像机采集目标区域特定角度下的鱼眼图像，经过图像传感器传回主控中心，监控中心人员对接收到的鱼眼图像进行校正处理生成全景图像。

图5为鱼眼图像具体实现过程框图，该过程对采集的鱼眼图像首先进行图像预处理过程(图像二值化处理、滤波去噪、增强图像对比度等)，图像预处理过程可以减弱图像中的噪声，增强有用信息，得到更清晰的图像信息。然后确定鱼眼图像信息存在的范围及有效信息区域，求出该圆形区域的圆心和半径。应用获得的图像圆心和半径，采用上述的校正处理算法对图像进行校正生成全景图像。

实施效果：

为了验证本发明的实用性，下面通过具体的实现效果来说明。

对鱼眼摄像机采集到的特定角度下的鱼眼图像进行校正处理生成全景图像如图6所示，相对利用相机配合三脚架按照一定的规则进行水平旋转拍摄或者利用多部相机成一定夹角排列拍摄多幅图像进行拼接获得的全景图像，本发明的优点在于省去人工采集图像和多次拼接获得全景图像的繁琐操作，工作人员在监控中心可直观的查看生成的全景图像。该方法人工成本低，处理速度快，操作简单灵活，实用性强，实时性高。

Claims (2)

1.基于柱面模型的鱼眼图像全景生成方法，该方法利用鱼眼摄像机获得特定角度(俯视或仰视)下的鱼眼图像，通过对鱼眼图像进行校正处理生成全景图像。该方法由图像采集、图像预处理、确定鱼眼图像参数、图像校正处理四个模块组成。本发明的特点在于省去了复杂的图像采集过程以及应用多幅图像拼接生成全景图像的繁琐操作，利用鱼眼全景摄像机采集监控图像，经过图像预处理、图像校正处理等过程生成全景图像。工作人员在监控中心可以直观高效的查看全景图像。

2.根据权利要求1所述的基于柱面模型的鱼眼图像全景生成方法，其中图像预处理模块通过图像二值化处理、滤波去噪、增强图像对比度等过程减弱图像中的噪声，增强有用信息。图像校正处理模块通过建立的球面模型和柱面模型将鱼眼图像上的点和柱面投影点建立一一对应关系，再采用水平映射方式，按双线性插值方法生成全景图像。