CN106534670B - 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 - Google Patents

Abstract

本发明涉及领域，具体涉及一种基于固联鱼眼镜头摄像机组的全景视频生成方法本发明利用多个空间位置确定的鱼眼摄像机，保证水平方向360度和垂直方向180度无盲区拍摄，获取多个角度的大比例尺清晰影像。利用本专利图像拼接技术，将多角度的影像拼接成一幅拥有360度水平视角和180度垂直视角的球面全景图。多摄像机获取的球面全景图信息更加丰富。

Description

一种基于固联鱼眼镜头摄像机组的全景视频生成方法

技术领域

本发明涉及图像处理领域，具体涉及一种基于固联鱼眼镜头摄像机组的全景视频生成方法。

背景技术

现如今的全景拼接，如智能手机全景拼接，大多使用单摄像机来获取影像，使得拍摄面积有限，而且在实际拍摄过程中很容易产生很大的视差。随着拍摄设备的分辨率提高以及应用场景的复杂化，例如实时监控，人们希望用更多摄像机拍摄高分辨率的全景图来对现实场景进行展示。因此更大、更全的高清全景图对全景拼接技术提出了更高要求。

发明内容

本发明的目的在于，提供一种通过球面投影拼接算法，解决以上技术问题；

本发明所解决的技术问题可以采用以下技术方案来实现：一种基于固联鱼眼镜头摄像机组的全景视频生成方法，提供若干个相互固联的鱼眼镜头的摄像机，每一摄像机分别用于采集原始的平面圆形图像，还包括以下步骤，

步骤1，获得所述摄像机之间的空间位姿关系以及每一摄像机的参数；

步骤2，根据步骤1中获得的空间位姿关系以及参数构建成像模型平面、标准视场球面，每一摄像机采集的所述平面圆形图像分别位于对应的所述成像模型平面上，将所述平面圆形图像从所述成像模型平面投影到标准视场球面形成第一球面图像，并根据所述第一球面图像的像点坐标求取所述标准视场球面到所述成像模型平面的映射关系；

步骤3，根据所述映射关系将每一所述摄像机实时采集的所述平面圆形图像分别投影到同一所述标准视场球面上形成第二球面图像；

步骤4，将相邻的所述摄像机对应的所述第二球面图像之间存在的重合部分进行融合得到融合图像；

步骤5，将所述融合图像以及第二球面图像进行拼接，得到球面全景图。进一步的，步骤2包括

步骤2-1，根据步骤1中获得的空间位姿关系以及参数构建成像模型平面、成像模型曲面、标准视场球面，每一摄像机采集的平面圆形图像分别位于对应的成像模型平面上；

步骤2-2，将原始的所述平面圆形图像从成像模型平面投影到对应的所述成像模型曲面形成第一曲面图像；

步骤2-3，将所述成像模型曲面上的第一曲面图像重投影到所述标准视场球面上形成第一球面图像；

步骤2-4，根据对应的平面圆形图像的像点坐标和第一球面图像的像点坐标求取所述标准视场球面到所述成像模型平面的映射关系。

进一步的，步骤4包括

步骤4-1，对步骤3中的每一所述第二球面图像的重合部分进行三角化，并将三角化之后的所述第二球面图像的重合部分于切平面上投影形成若干三角形图像，计算每个所述三角形图像内的特征点；

步骤4-2，将属于不同第二球面图像的两个具有相同特征点的三角形图像在所述切平面上进行相向平移，对平移后的三角形图像进行拉伸以形成两个等大且相互重合的拉伸图像；

步骤4-3，对步骤4-2中两个所述拉伸图像进行融合以形成融合图像，将所述融合图像从切平面重投影到标准视场球面。

进一步的，所述步骤4-2中，拉伸前的所述三角形图像和拉伸后的所述拉伸图像为相似三角形。

进一步的，所述步骤4-3中，融合所述拉伸图像的公式如下：

其中，I₁和I₂为待融合图像，I为融合后图像，ω₁+ω₂＝1，0<ω₁,ω₂<1，ω₁、ω₂分别是待融合图像中像点坐标的权值，(x,y)表示切平面上图像的像点坐标，I₁(x,y)和I₂(x,y)为待融合图像中对应坐标的像点的灰度，I(x,y)为融合后图像中对应坐标的像点的灰度。

进一步的，所述步骤4-3中，还包括对所述融合图像进行平滑处理。

有益效果：由于采用以上技术方案，本发明利用多个空间位置确定的鱼眼摄像机，保证水平方向360度和垂直方向180度无盲区拍摄，获取多个角度的大比例尺清晰影像。利用本专利图像拼接技术，将多角度的影像拼接成一幅拥有360度水平视角和180度垂直视角的球面全景图。多摄像机获取的球面全景图信息更加丰富。

附图说明

图1为鱼眼镜头摄像机重投影示意图；

图2为鱼眼镜头摄像机图像三角化划分示意图；

图3为相邻鱼眼镜头摄像机重叠视场示意图；

图4为相邻鱼眼镜头摄像机重叠视场切平面投影示意图；

图5为鱼眼镜头摄像机组全景图像生成流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

参照图2，球面全景图是与人眼模型最接近的全景描述。本专利的全景拼接是将不同鱼眼摄像机获得的影像首先根据其预设的成像模型投影到模型曲面上，然后再将鱼眼镜头摄像机成像模型上的图像重投影到标准视场球面上，当摄像机组中的所有摄像机都完成重投影过程之后再进行全景拼接，形成一幅畸变、变形较少的全景图像。

本专利的球面重投影模型如图1所示，步骤2解释如下中，C为鱼眼镜头摄像机图像的中心，对应的投影球面半径为r，O为标准视场球面的球心，对应的半径为R，鱼眼镜头摄像机成像投影球面与标准视场球面在中心点C对应的像点相切，切点为T。设P为鱼眼镜头摄像机图像上某一点，Q为鱼眼镜头摄像机成像投影曲面上与P对应的像点，成像模型球面上的像点Q重投影到标准视场球面上，记为像点M。

为了准确地将鱼眼镜头摄像机图像投影到标准视场球面上，需要提前对鱼眼镜头摄像机的成像参数进行标定，例如鱼眼图像中心点坐标C(Cx,Cy)、鱼眼图像成像球面半径r和标准视场球面半径R。

鱼眼镜头摄像机几种常见投影方法有体视投影、等距投影、等立体角投影、正交投影等，根据鱼眼镜头摄像机的成像模型可将鱼眼镜头摄像机采集的原始的平面圆形图像从成像模型平面投影到其成像模型曲面上，即鱼眼图像上的原始像点P首先根据成像模型平面投影到鱼眼镜头摄像机成像投影曲面上形成第一曲面图像，设对应的投影像点为Q,其中与光轴的夹角θ是由P点距离光心C点的距离|CP|和鱼眼摄像机的成像模型决定的。

将第一曲面图像从成像模型曲面到标准视场球面上，得到第一球面图像，二就可以根据第一球面图像以及原始的平面圆形图像，即建立了由点P→Q→M的映射关系。但是由于球面面积大于其赤道面的面积，因此在标准视场球面上会出现未定义的“空洞点”现象，这时可以按照逆映射的顺序求取M→Q→P的映射关系，从而解决该问题。

球面重投影具体实施步骤如下：

步骤1中，本专利球面重投影部分以四摄像机结构为例，求出全景摄像机组的鱼眼摄像机之间的位姿关系；位姿关系的确定不属于本专利的发明点，而可以通过现有的位姿关系确定方法进行确定，二鱼眼摄像机的参数构建系统时读入系统。

步骤2-1中，对鱼眼镜头摄像机的成像参数进行标定，得到鱼眼图像中心点坐标C(Cx,Cy)、鱼眼图像成像球面半径r，标准视场球面半径R与具体的鱼眼摄像机模型有关，可通过实验验证获得，具体数据与实际的鱼眼镜头摄像机参数相关，而根据这些参数就可以生成标准视场球面，然后将根据每个所述鱼眼镜头摄像机成像模型构建对应的成像模型曲面以及对应的标准视场球面。

步骤2-2中，根据具体的鱼眼镜头摄像机所对应的投影模型，例如正交投影模型，将鱼眼镜头摄像机采集的原始的平面圆形图像投影到其成像模型曲面上；

步骤2-3、2-4中，利用步骤1中标定出的全景摄像机组的位姿关系，按照逆映射的顺序求取M→Q→P的映射关系，将四个鱼眼镜头摄像机的图像投影到标准视场球面上。

而接下来就是进行全景拼接的步骤，是将已经投影到同一球面下的图像拼接成一副大视野的球面全景图，包含图像配准与图像融合两个步骤。图像拼接是指通过对齐两幅或者若干幅有空间位置上重叠信息的图像，并将对齐之后的图像组合成一副无缝的、高清晰的图像技术。

步骤4的作用是对投影到同一大圆下的不同鱼眼图像的重合部分之间存在严重畸变和视差，本专利采用三角化校正，首先将重合部分的不同鱼眼图像进行三角化，如图2所示的方法，然后对每个三角形内的特征点进行匹配。通过特征点的匹配得出的特征点间的空间距离，可以得出三角化后三角形顶点需要的位移。同时我们定义代价函数限定三角形的移动遵守相似变化，该策略将使得最终拉伸的三角形区域在视觉上是平滑的。三角化如图2所示，对球面进行三角网格划分获得图形，划分方法上目前较多应用，在此不做赘述，其优选如图2所示的划分方法进行划分。

移动的代价函数基本策略是，例如，考虑三角形ΔG₁G₂G₃中包含一特征点P，已知P点的对应匹配点位Q，首先通过对ΔG₁G₂G₃的平移缩短P、Q的欧拉距离。同时，为了避免过度修正导致的图像不平整，我们定义，当空间中任意顶点位置发生位移时，与之直接相邻的顶点也应该配合移动。我们测量移动前和移动后三角形的相似度来描述临接定点的移动距离和方向。最后，我们希望特征点不丰富区域尽量保持原位，我们给与每个顶点移动权值，权值定义为与特征点距离相关的函数。当优化最终代价函数时，最终结果是一个实现特征点匹配，同时维持整个三角形网格平滑的结果。

由于鱼眼镜头摄像机产生的畸变，图像临近图像边缘的信息可靠度不如图像中心，我们进一步优化三角网格的布局，产生一种如图2所示的外密内疏的结构。如此，在临近图像边缘我们允许更多的顶点位移修正图像。反之在图像中心区域，位移受限于三角形数量，图像将尽量保留原始信息。

而步骤4-3中，图像对齐、配准之后难免会在拼接处产生痕迹，影响最终的全景图视觉效果，本专利优选加权平均法对拼接处的图像灰度值先加权后叠加平均进行处理，假设I₁和I₂分别为待融合图像，I为融合之后的图像，则有：

其中，ω₁+ω₂＝1，0<ω₁,ω₂<1是重叠区域像素的权值，经过平滑处理后，再将其进行球面重投影，得到最终的球面全景图。权值根据实际情况比重进行配置，在此不做限定，与具体位置可以相关。

结合以上说明，实施步骤如下：

步骤4-1中，对投影到同一大圆下的不同鱼眼图像的重合部分如图3所示进行三角化，然后将三角化之后的图像按照如图4所示的方法进行切平面投影，对每个三角形内的特征点进行匹配；

步骤4-2中，通过步骤8中，得出的特征点间的空间距离，计算出三角化后将所述三角形顶点需要的位移，限定三角形的移动遵守相似变化，然后进行拉伸；

步骤4-3中，根据公式(1)对拉伸之后的三角形图像进行融合；

步骤5中，将融合之后的重合部分进行球面重投影，得到最终的球面全景图。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (5)

1.一种基于固联鱼眼镜头摄像机组的全景视频生成方法，其特征在于，提供若干个相互固联的鱼眼镜头的摄像机，每一摄像机分别用于采集原始的平面圆形图像，还包括以下步骤，步骤 1，获得所述摄像机之间的空间位姿关系以及每一摄像机的参数；步骤 2，根据步骤 1 中获得的空间位姿关系以及参数构建成像模型平面、标准视场球面，每一摄像机采集的所述平面圆形图像分别位于对应的所述成像模型平面上，将所述平面圆形图像从所述成像模型平面投影到标准视场球面形成第一球面图像，并根据所述第一球面图像的像点坐标求取所述标准视场球面到所述成像模型平面的映射关系；步骤 3，根据所述映射关系将每一所述摄像机实时采集的所述平面圆形图像分别投影到同一所述标准视场球面上形成第二球面图像；步骤 4，将相邻的所述摄像机对应的所述第二球面图像之间存在的重合部分进行融合得到融合图像；步骤 5，将所述融合图像以及所述第二球面图像进行拼接，得到球面全景图；

所述步骤 4 包括步骤 4-1，对步骤 3 中的每一所述第二球面图像的重合部分进行三角化，并将三角化之后的所述第二球面图像的重合部分于切平面上投影形成若干三角形图像，计算每个所述三角形图像内的特征点；步骤 4-2，将属于不同第二球面图像的两个具有相同特征点的三角形图像在所述切平面上进行相向平移，对平移后的三角形图像进行拉伸以形成两个等大且相互重合的拉伸图像；步骤 4-3，对步骤 4-2 中两个所述拉伸图像进行融合以形成融合图像，将所述融合图像从切平面重投影到标准视场球面。

2.如权利要求 1 所述的一种基于固联鱼眼镜头摄像机组的全景视频生成方法，其特征在于，

步骤 2 包括步骤 2-1，根据步骤 1 中获得的空间位姿关系以及参数构建成像模型平面、成像模型曲面、标准视场球面，每一摄像机采集的平面圆形图像分别位于对应的成像模型平面上；步骤 2-2，将原始的所述平面圆形图像从成像模型平面投影到对应的所述成像模型曲面形成第一曲面图像；步骤 2-3，将所述成像模型曲面上的第一曲面图像重投影到所述标准视场球面上形成第一球面图像；

步骤 2-4，根据对应的平面圆形图像的像点坐标和第一球面图像的像点坐标求取所述标准视场球面到所述成像模型平面的映射关系。

3.如权利要求 1所述的一种基于固联鱼眼镜头摄像机组的全景视频生成方法，其特征在于，所述步骤 4-2 中，拉伸前的所述三角形图像和拉伸后的所述拉伸图像为相似三角形。

4.如权利要求1 所述的一种基于固联鱼眼镜头摄像机组的全景视频生成方法，其特征在于，所述步骤 4-3 中，融合所述拉伸图像的公式如下：

其中，和为待融合图像，I 为融合后图像，，,分别是待融合图像中像点坐标的权值， 表示切平面上图像的像点坐标，和为待融合图像中对应坐标的像点的灰度， 为融合后图像中对应坐标的像点的灰度。

5.如权利要求1所述的一种基于固联鱼眼镜头摄像机组的全景视频生成方法，其特征在于，

所述步骤 4-3 中，还包括对所述融合图像进行平滑处理。