CN112085659A - 一种基于球幕相机的全景拼接融合方法、系统及存储介质 - Google Patents

Abstract

本发明涉及一种基于球幕相机的全景拼接融合方法、系统及存储介质，其方法具体步骤为：S1通过球幕相机获取静态图像及视频流；S2对球幕相机进行标定及对静态图像进行预处理；S3将经预处理后的静态图像拼接成为静态三维全景图；S4将视频流进行预处理后与静态三维全景图进行配准融合，形成动态三维全景图；S5将动态三维全景图输出至显示终端进行动态展示。其系统具体包括有：采集模块、拼接融合模块、显示模块及通信模块。还涉及了可执行本发明方法及系统的计算机存储介质。本发明可实现将视频流融入到静态三维全景图中，极大程度的还原场景中的真实状态，有效克服传统技术存在的拼接后面画面断裂及出现“鬼影”的问题，增强用户沉浸式视觉体验。

Description

一种基于球幕相机的全景拼接融合方法、系统及存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于球幕相机的全景拼接融合方法、系统及存储介质。

背景技术

21世纪是一个充满信息的时代，图像作为人类感知世界的视觉基础，是人类获取信息、表达信息和传递信息的重要手段。数字图像处理，即用计算机对图像进行处理，其发展历史并不长。数字图像处理技术源于20世纪20年代，当时通过海底电缆从英国伦敦到美国纽约传输了一幅照片，采用了数字压缩技术。首先数字图像处理技术可以帮助人们更客观、准确地认识世界，人的视觉系统可以帮助人类从外界获取3/4以上的信息，而图像、图形又是所有视觉信息的载体，尽管人眼的鉴别力很高，可以识别上千种颜色，但很多情况下，图像对于人眼来说是模糊的甚至是不可见的，通过图象增强技术，可以使模糊甚至不可见的图像变得清晰明亮。

现有技术中已经公开有很多有关图像处理的技术，例如：申请号为CN201610715322.3的一种全景拼接方法，其基本步骤主要包括：摄像机的标定；图像坐标变换；传感器图像畸变校正；图像的投影变换；匹配点选取；全景图像融合；亮度与颜色的均衡处理。本发明的有益效果是：本发明实现将两幅以上的分区图合成全景图，可形成360度无视角死区，高清晰度的全景图，令细节表现更完美，增强了真实感和现场感，全景图的数据量较小，分区图合成全景图显示对硬件要求低，有助于满足监控摄像头在长期作业过程中产生的巨大数据量。但该全景拼接方法合成的全景图多为静态图像，无法充分完整的还原出原始场景的真实状态。

申请号为CN108510445A的一种全景图像拼接方法，包括步骤：获取全景相机每路摄像头所拍摄的原始图像，并对各原始图像进行图像畸变矫正；对畸变矫正后的图像进行缩放处理得到待融合图像；计算全景相机各摄像头的待融合图像在融合区内的最优缝合中心线，融合区包括第一融合区和第二融合区，第一融合区由位于各待融合图像的顶部且相互重叠的区域构成，第二融合区由相邻两幅待融合图像其边缘相互重叠的区域构成；基于最优缝合中心线计算第一融合区与第二融合区的权重表；根据第一融合区和第二融合区的权重表对所有待融合图像进行融合；对融合后的图像进行图像拉伸。

由上述可知，在现有技术中，通常利用全景相机对真实场景进行360度拍摄得到多组图像，并利用全景拼接技术自动拼接得到真实场景的一张完整的全景图像，但该全景图多为静态图像，无法充分完整的还原出原始场景的真实状态。此外全景相机自动拼接的全景图像，在图像拼接边缘处会出现拼接缝，进而造成全景画面断裂不连续，具有一定的局限性，用户体实时预览体验感较差。

上述公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

为解决背景技术中的技术问题，本发明提供一种基于球幕相机的全景拼接融合方法、系统及存储介质。

根据本发明提供的一种基于球幕相机的全景拼接融合方法，包括下列步骤：

S1通过球幕相机获取真实场景中的静态图像及视频流；

S2对球幕相机进行标定及对静态图像进行预处理；

S3将经预处理后的静态图像拼接成为静态三维全景图；

S4将视频流进行预处理后与静态三维全景图进行配准融合，形成融合视频流的动态三维全景图；

S5将动态三维全景图输出至显示终端进行动态展示。

优选地，上述技术方案中，步骤S2中进一步包括：

建立球幕相机的参数自标定模型，并计算球幕相机的畸变系数，结合畸变模型对静态图像进行去畸变修正。

优选地，上述技术方案中，步骤S3中进一步包括：

S31将预处理后的静态图像通过全景静态图像拼接算法拼接成初步三维全景图；

S32将初步三维全景图中多张静态图像的拼接处进行融合处理形成静态三维全景图。

优选地，上述技术方案中，融合处理包含利用掩模及模糊算法对初步三维全景图中多张静态图像的拼接处进行融合。

优选地，上述技术方案中，步骤S4中将视频流进行预处理后于静态三维全景图进行配准融合，还包括：

处理后的视频流通过相机内置的视频定位模块与静态三维全景图中拼接点进行配准及拼接。

优选地，上述技术方案中，步骤S4中将视频流进行预处理后于静态三维全景图进行配准融合，还包括：

通过构建视频关键帧空间定位算法将处理后的视频流与静态三维全景图中拼接点进行配准；利用全景静态图像拼接算法对配准后的视频流和静态三维全景图中拼接点进行拼接融合；

步骤S4中还包含对动态三维全景图中遮挡区域进行优化处理。

优选地，上述技术方案中，步骤S5中还包括：利用显示终端对动态三维全景图进行显示，当用户漫游至图像中视频流插入位置处，视频会进行动态播放。

根据本发明提供的一种基于球幕相机的全景拼接融合系统，包括：采集模块、拼接融合模块、显示模块、通信模块以及显示模块；

采集模块，用于获取真实场景中的静态图像及视频流，并将获取的静态图像及视频流存储于采集模块中；

拼接融合模块，用于对采集模块获取的静态图像进行拼接，生成静态三维全景图，以及将视频流与静态三维全景图进行配准融合，以生成动态三维全景图。

显示模块，用于显示生成的动态三维全景图；

通信模块，用于各模块及各子模块之间的通信连接。

优选地，上述技术方案中，拼接融合模块包括预处理子模块、图像拼接子模块、视频融合子模块及边界处理子模块；

预处理子模块，用于对采集模块进行参数标定，以及对采集的静态图像及视频流进行逐一展开、畸变修正及颜色校正；

图像拼接子模块，用于将采集的预处理子模块处理后的静态图像进行配准拼接，以生成初步静态三维全景图；

边界处理子模块，用于对初步静态全景图中各静态图像之间的拼接缝进行融合，以生成最终静态三维全景图；

视频融合子模块，用于将预处理子模块处理后的视频流与最终静态三维全景图进行配准拼接，形成动态三维全景图。

本发明还提供一种计算机存储介质，其特征在于，计算机存储介质存储有一个或者多个程序，其中一个或者多个程序可被一个或者多个处理器执行，以实现如述的基于球幕相机的全景拼接融合方法。

与现有技术相比，本发明具有如下有益效果：本发明提供的一种基于球幕相机的全景拼接融合方法、系统及存储介质，可实现将视频流融入到静态三维全景图中，实现动态图像与静态图像全景图相关联，能够极大程度的还原原始场景中的真实状态，增强用户沉浸式视觉体验感。此外本申请中提出的全景图像拼接及融合算法，有效的克服了现有全景自动拼接技术中存在的，因图像拼接边缘处会出现拼接缝，进而造成画面断裂的问题以及融合后图像出现“鬼影”等问题，具有算法执行效率高，拼接融合图像平滑性较好、鲁棒性高以及实时性良好等优势。

附图说明

图1是一种基于球幕相机的全景拼接融合方法的控制流程图；

图2是本发明一实施例提供的一种基于球幕相机的全景拼接融合方法的另一种控制流程图；

图3是本发明一实施例提供的静态图像通过图像拼接算法成为初步静态三维全景图的流程示意图；

图4是本发明一实施例提供的对初步静态三维全景图中拼接缝进行边界融合的流程示意图；

图5是一种基于球幕相机的全景拼接融合系统的原理框图；

图6是本发明一实施例提供的一种基于球幕相机的全景拼接融合系统的另一种原理框图。

100-采集模块，200-通信模块，300-拼接融合模块，400-显示模块，310-预处理子模块，320-图像拼接子模块，330-视频融合子模块，340-边界处理子模块。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

实施例1

如图1和图2所示，根据本发明提供的一种基于球幕相机的全景拼接融合方法，包括下列步骤：

步骤S1：通过球幕相机获取真实场景中的静态图像及视频流；

具体方法为利用球幕相机采集多组真实场景的静态图像及视频流，完成采集后分别将静态图像和视频流进行存储。在本实例中采用的球幕相机为八目球幕相机，该八目球幕相机由上下两组，每组包含四个鱼眼镜头，四个镜头分别采集四组静态图像拼接成一个360°全景图。两组镜头采取上下相邻设置，四个中有可指定一个主摄像头用于采集视频流，三个辅摄像头用于采集静态场景图像。

步骤S2：对球幕相机进行标定及对球幕相机所拍摄的静态图像进行预处理；

由于球幕相机使用的是鱼眼镜头，这种镜头可以获得更宽的画面，但也存在一定弊端，即镜头的透镜中心区域相较于靠近中心区域更加弯曲，故在进行图像采集时会出现桶形畸变，因此需要建立全景相机的的参数自标定模型对相机的内外参数进行标定，同时计算相机内参和外参的畸变系数，并结合畸变模型完成对静态图像的畸变修正。

参数自标定模型需要先建立标定模板，并求解出相机的内参和外参矩阵，然后利用重投影的方式将标定模板图像重投影至三维空间，随后根据该重投影的三维坐标点和原始标定模板三维坐标点之间的关系求解出相机内参和外参的畸变系数。

需要说明的是，标定模板中每一个点在三维空间中都存在一个对应的三维坐标。为降低重投影误差，获得最优的相机位姿参数(相机外参)以及三维空间点的坐标，本发明中利用光束平差法(Bundle Adjustment，简称BA)对相机标定过程进行优化。

步骤S3：将经预处理后的静态图像拼接成为静态三维全景图；

S31将预处理后的静态图像通过全景静态图像拼接算法拼接成初步三维全景图；

由于全景相机在对同一目标位置进行拍摄时，相邻的两幅图像样本间会有部分重叠的区域，故本申请中利用全景静态图像拼接算法实现经预处理后的多组静态图像对应拼接区域的配准，本发明提供的全景静态图像拼接算法，优选为利用AKAZE-FREAK图像配准算法，具体步骤如下：

如图3所示，S311，对待配准的全景图像中的特征点进行检测；

首先需要构造图像对应的尺度空间，利用公式(1)来求解图像X非线性尺度空间，得到图像X的非线性尺度空间，其次利用非极大值抑制算法计算图像金字塔中每个像素点的Hessian矩阵值，并将该值与该像素点所对应的同层、上下临层的n个像素点进行比较，用于搜索不同尺度归一化后的Hessian矩阵的极大值。n值会依据不同实际图像配准要求进行确定。

X^j+1＝(I+τA(X^j))*X^j (1)

其中，j∈[0，N-1]，i是单位矩阵，A(X^j)为图像在维度j上的矩阵，τ为时间步长，τ＝t_i+1+t；

S312计算筛选的特征点的主方向；

先通过对梯度图像上的以特征点为圆心，6δ为半径的区域内的一阶微分计算图像中该特征点的响应值，然后选取一个同样以该特征点为圆心的60度扇形区域，计算绕点不同方向的扇形区域内特征点梯度向量的向量和，其中向量和最大的向量方向为其主方向。

S313计算待匹配特征点对描述子进行多组静态图像配准；

首先对待匹配特征点对的描述子进行计算，由于传统的AKAZE算法使用的局部差分特征描述子，稳定性较差，因此本申请中将该特征描述子替换为FREAK特征描述子，利用公式(2)计算待匹配特征点的FREAK特征描述子F，

F＝∑2ⁱT(Q_i) 0≦i≦M (2)

其中，Q_i为待匹配特征点对，T(Q_i)由公式(3)计算得出，式(3)中T为待匹配的整点对Q_i经高斯平滑处理后得到的对应的灰度值。

通过计算得出多组待配准静态图像的FREAK特征描述子点集后，将两两图像的特征点进行对比，配特征点对多的两幅图像，在全景图像中处于相邻的位置，利用FREAK特征描述子点对之间的对应关系，求解两幅全景图之间的变换矩阵，利用变换矩阵对图像做对应变换完成图像拼接。

需要说明的是图像特征匹配是指在高维向量空间中寻找出最相似的特征点。

将完成图像配准后的多组静态图像进行图像拼接，具体流程为下：

S314利用分类算法，结合尺度信息约束条件对匹配点进行筛选。

首先利用支持向量机分类器对待拼接的一幅目标图像上的目标特征点的最邻近以及次邻近的特征点进行搜索，并分别计算该目标特征点与上述两个点间的Hanmming距离的比值，再结合尺度信息约束条件对匹配点进行筛选，对于Hanmming距离的比值小于匹配阈值，以及满足特征点尺度信息约束条件的特征点，则判定该特征点为与目标特征点相似匹配程度高的点，并将其标定为正确匹配点对，将匹配错误的特征点以及不包含特征点的图像块删除。

S315利用全概率RANSAC算法对粗略匹配点进行二次精确匹配。

由步骤S314中得到的正确匹配点仅为粗略匹配点对，特征点在提取和匹配时存在一定的误差，因此需要利用全概率RANSAC算法对粗略匹配点对进行二次精确匹配，以此消除误匹配特征点对以及无匹配点对，进而提高两两图像间特征点的匹配精度，及后续图像融合精度。

S316计算待拼接图像间的变换矩阵及完成图像拼接。

同时利用全概率RANSAC计算两两待拼接图像之间的变换矩阵，利用变换矩阵对图像做对应变换完成对两两待拼接图像之间的拼接，得到初步的静态三维全景图。

S32将初步静态三维全景图中多张静态图像的拼接处进行融合处理形成静态三维全景图。

进一步的，将鱼目相机采集到的视频流进行预处理后与得到的初步静态三维全景图进行配准融合，形成融合视频流的动态三维全景图；

将上述S31中得到的初步静态三维全景图的拼接缝进行边界融合，因为得到的初步静态三维全景图，在图像拼接处会存在明显的拼接缝，这是由于图像拼接时重叠区域在进行过渡时像素点发生了突变以及球幕相机存在光心距离等因素造成的，为解决在图像拼接处会出现明显拼接缝的问题，本发明中优选利用拉普拉斯金字塔算法实现对初步的全局静态三维全景图中拼接缝进行边界融合，具体步骤如下：

如图4所示，S321构建待融合图像对应的高斯金字塔及对应层数的拉普拉斯金字塔。

具体为构建待融合两幅图像的高斯金字塔GPyr_{1_N}和GPyr_{2_N}，同时建立N层的拉普拉斯金字塔LPyr_{1_N}和LPyr_{2_N}。在实际应用中根据工程要求选择合适的N值，需要说明的是拉普拉斯金字塔的层数越高(即N值越大)，图像融合效果较好。

S322针对静态三维全景图中每一拼接缝设置掩膜。

具体为在静态三维全景图中每个拼接缝(待融合边界位置)处设置一个掩膜(mask)，并建立N+1层掩膜对应高斯金字塔GPyrmask。

S323利用掩膜权值结合待融合两幅图像对应的拉普拉斯金字塔和高斯金字塔，计算得到初步融合后的图像V1MG1。

具体为依据mask权值将两幅图像的拉普拉斯金字塔LPyr_{1_N}和LPyr_{2_N}相加，并得到一个新的拉普拉斯金字塔LPyr_{New_N}。同时依据mask权值将两幅图像的高斯金字塔的N+1层GPr_{1_N}和GPyr_{2_N}相加，得到相加后的图像VIMG1。

S324对初步融合后的图像VIMG1进行上采样，结合该图像对应层数经重新构造的新拉普拉斯金字塔，计算得到融合第三幅图像后的图像V1MG2。

具体为对得到的图像VIMG1进行上采样，然后将其与新的拉普拉斯金字塔的第N层LPyr_{New_N}相加后得到图像VIMG2，针对VIMG2进行上采样，然后将其与新的拉普拉斯金字塔的第N-1层LPyr_{New_N-1}相加。

S325重复步骤S321-S324，直至完成静态三维全景图中全部拼接缝的边界融合，最终得到边界融合处理后的静态三维全景图。

需要说明的是，由于利用掩膜在建立高斯金字塔过程中使用了高斯模糊算法，故融合后的边界更加平滑，图像间的过渡更加顺畅，有效避免拼接融合后的图像出现断裂或再拼接缝处出现颜色突变等情况。

步骤S4：将球幕相机采集到的视频进行预处理后与得到的最终静态三维全景图进行配准融合，形成融合视频流的动态三维全景图；

对球幕相机采集的视频流进行预处理是指，由于视频是由一帧一帧的静态图像以时间为轴叠加而成，故需先将采集得到的视频流进行解码得到多帧图像，由于球幕相机拍摄位置、光照环境、相机本身等会造成图像畸变，需要对得到的多帧图像逐一进行图像预处理，即对图像进行几何校正和颜色矫正，同时将经过预处理后的图像进行逐一展开。

方法一

将经过预处理后的视频流通过相机内置存的视频流定位算法，自动实现与静态三维全景图中配准拼接。需要说明的是，采用方式一完成视频流与静态三维全景图配准拼接，需要在静态图像及视频流采集阶段，采集多组真实场景的静态图像中，对应的视频采集点同步采集视频流。

方式二

自动提取视频流的关键帧，利用SFM算法估算出关键帧的三维空间坐标，利用关键帧的三维坐标信息得到其在全局静态三维全景图中的二维像素信息，已进行图像的正射投影，实现视频流与全局静态三维全景图中拼接定位。

进一步的，利用光流法实现对视频流与静态三维全景图的拼接，由于视频图像序列中相邻的图像间的像素点的变化量极小，且光照在短暂的时间里可视为不会发生变化，因此本电请利用光流法的图像配准算法如公式(4)，实现视频流与静态三维全景图的配准拼接。光流法可先对新传输的每一帧图像，寻找其上一帧图像的特征点在当前帧的位置。

其中，ρ_d(·)为确保估计的运动矢量符合光流法的模型，G₁和G₂，为用于配准的两帧图像，μ和ν分别代表水平和垂直方向的分量，λ为正则化参数，ρ_S(·)为估计运动矢量矩阵的平滑约束，Δ(i，j)是图像中点(i,j)和其相邻点的差值。

需要说明的是，为了提高光流法图像配准的准确性，本申请中针对每一帧新传输的图像进行两次光流计算，若经过两次光流映射得到的其上一帧图像的特征点与原始特征点的误差小于系统设定的配准误差阈值，则将光流法成功跟踪的特征点，标记为当前帧的特征点。

利用光流法的优点在于可对图像进行逐帧回溯，即得到当前帧与其历史关键帧中提取的特征点间的匹配关系及获得匹配的特征点对，利用得到的特征点对计算每帧图像与其的历史关键帧间的单应性矩阵。单应性矩阵包含了图像间坐标变换的所有信息，因此可采用单应性矩阵作为图像拼接模型，完成视频流中各帧图像中关键帧间的配准，以及各帧图像中关键帧到静态三维全景图的配准拼接，得到初步的动态三维全景图。

需要说明的是，视频流的关键帧优选为视频流首帧。

在通过第二种实现视频流与静态三维模型的拼接融合后，需进一步对初步得到的动态三维全景图中遮挡区域进行优化处理，以此得到最终融合视频流的动态三维全景图。由于视频流包含较多的时间冗余信息，因此视频流与静态三维全景图进行拼接过程中会产生较多遮挡(即不存在匹配的像素点)，进而导致拼接后的图像中会出现“鬼影”等问题。因此本申请中利用基于流场能量函数的图像遮挡区域优化算法如公式(6)，对初步得到的动态三维全景图进行优化，最终得到融合视频流的动态三维全景图。具体过程如下：

E_co ^*(v)＝∫η(|G₂(x+v(z))-G_1(x)|²)dx (7)

其中，

为遮挡因子，ν表示视频帧图像水平和垂直方向上的光流值(a，b)，η表示惩罚函数，ν(z)表示为z位置的光流值，

及β为调节参数。利用公式(7)-公式(9)分别计算光流场能量公式中包含的E_co ^*(v)、E_gr ^*(v)以及E_sm ^*(v)三个参数。

需要说明的是。本发明通过利用在光流场能量计算公式(6)中引入遮挡因子

以此实现对拼接视频流遮挡区域的优化操作。

S5将动态三维全景图输出至显示终端进行动态展示。

将最终得到的动态三维全景图输出到输出显示终端。用户利用显示终端进行动态三维全景图的预览时，当用户漫游至三维场景中视频插入位置时，则系统会自动对该处视频流进行播放，能够实现对原始场景中的真实状态进行高度还原，增强用户的体验感及视觉沉浸感。需要说明的是，终端显示设备可为PC端和移动端展示，移动端可基于手机、APP或VR设备等。

本发明是基于OpenMP多线程并行架构实现的，能够实现在不影响图像配准及融合精度的前提下，有效地提高算法的执行效率，能够满足图像全景拼接融合的实时性要求。

实施例2

如图5和图6所示，根据本发明提供的一种基于球幕相机的全景拼接融合系统，包括：采集模块100、拼接融合模块300、通信模块200、显示模块400；本实施例的全景拼接融合系统中各模块的运算算法可采用实施例1中所提及的算法，因此在本实施例中不再加以赘述。

采集模块100是用于获取真实场景中的静态图像及视频流，并将获取的静态图像及视频流存储于采集模块中；

拼接融合模块300是用于对采集模块获取的静态图像进行拼接，生成静态三维全景图，以及将视频流与静态三维全景图进行配准融合，以生成动态三维全景图。

其中，拼接融合模块300还包括有预处理子模块310、图像拼接子模块320、视频融合子模块330及边界处理子模块340；

预处理子模块310用于对采集模块进行参数标定，以及对静态图像和视频流的进行逐一展开、畸变修正、图像去噪以及颜色校正；

图像拼接子模块320用于将采集的预处理子模块处理后的静态图像进行配准拼接，以生成初步三维全景图；

边界处理子模块340用于对初步静态全景图中各静态图像之间的拼接缝进行融合，以生成静态三维全景图；

视频融合子模块330用于将预处理子模块处理后的视频流与静态三维全景图进行配准拼接，形成动态三维全景图。

本发明还包括通信模块200，用于各个模块间的通信连接；

本发明还包括有显示模块400，用于对系统输出融合视频流的动态三维全景图像进行显示。

实施例3

本发明的另一个实施例中，提供了一种计算机存储介质，计算机存储介质存储有一个或者多个程序，其中一个或者多个程序可被一个或者多个处理器执行，以实现实施1中所述的基于球幕相机的全景拼接融合方法，此外还可在计算机存储介质中安装有如实施例2所述的基于球幕相机的全景拼接融合系统。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种基于球幕相机的全景拼接融合方法，其特征在于包括下列步骤：

S1通过球幕相机获取真实场景中的静态图像及视频流；

S2对所述球幕相机进行标定及对所述静态图像进行预处理；

S3将经预处理后的所述静态图像拼接成为静态三维全景图；

S4将所述视频流进行预处理后与所述静态三维全景图进行配准融合，形成融合视频流的动态三维全景图；

S5将所述动态三维全景图输出至显示终端进行动态展示。

2.根据权利要求1所述的一种基于球幕相机的全景拼接融合方法，其特征在于，所述步骤S2中进一步包括：

建立所述球幕相机的参数自标定模型，并计算所述球幕相机的畸变系数，结合畸变模型对所述静态图像进行畸变修正。

3.根据权利要求1所述的一种基于球幕相机的全景拼接融合方法，其特征在于，所述步骤S3中进一步包括：

S31将预处理后的所述静态图像通过全景静态图像拼接算法拼接成初步三维全景图；

S32将所述初步三维全景图中多张所述静态图像的拼接处进行融合处理形成所述静态三维全景图。

4.根据权利要求3所述的一种基于球幕相机的全景拼接融合方法，其特征在于，所述融合处理包含利用掩模及模糊算法对所述初步三维全景图中多张所述静态图像的拼接处进行融合。

5.根据权利要求1所述的一种基于球幕相机的全景拼接融合方法，其特征在于，所述步骤S4中将所述视频流进行预处理后与所述静态三维全景图进行配准融合，还包括：

所述处理后的视频流通过所述相机内置的视频定位模块与所述静态三维全景图中拼接点进行配准及拼接。

6.根据权利要求1所述的一种基于球幕相机的全景拼接融合方法，其特征在于，所述步骤S4中将所述视频流进行预处理后与所述静态三维全景图进行配准融合，还包括：

通过构建视频关键帧空间定位算法将所述处理后的视频流与所述静态三维全景图中拼接点进行配准；利用全景静态图像拼接算法对所述配准后的视频流和所述静态三维全景图中拼接点进行拼接融合；

所述步骤S4中还包含对所述动态三维全景图中遮挡区域进行优化处理。

7.根据权利要求1所述的一种基于球幕相机的全景拼接融合方法，其特征在于，所述步骤S5中还包括:利用显示终端对动态三维全景图进行显示，当用户漫游至图像中视频流插入位置处，视频会进行动态播放。

8.一种基于球幕相机的全景拼接融合系统，包括：采集模块、拼接融合模块、通信模块以及显示模块；

所述采集模块，用于获取真实场景中的静态图像及视频流，并将获取的所述静态图像及所述视频流存储于所述采集模块中；

所述拼接融合模块，用于对所述采集模块获取的所述静态图像进行拼接，生成静态三维全景图，以及将所述视频流与所述静态三维全景图进行配准融合，以生成动态三维全景图；

所述显示模块，用于显示生成的动态三维全景图；

所述通信模块，用于所述各模块及所述各子模块之间的通信连接。

9.根据权利要求8所述的一种基于球幕相机的全景拼接融合系统，其特征在于，所述拼接融合模块包括预处理子模块、图像拼接子模块、视频融合子模块及边界处理子模块；

所述预处理子模块，用于对所述采集模块进行参数标定，以及对采集的所述静态图像及所述视频流进行逐一展开、畸变修正及颜色校正；

所述图像拼接子模块，用于将采集的所述预处理子模块处理后的所述静态图像进行配准拼接，以生成初步静态三维全景图；

所述边界处理子模块，用于对初步生成的静态三维全景图中各所述静态图像之间的拼接缝进行融合，以生成最终静态三维全景图；

所述视频融合子模块，用于将所述预处理子模块处理后的视频流与所述最终静态三维全景图进行配准拼接，形成动态三维全景图。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，一个或者多个所述程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述的基于球幕相机的全景拼接融合方法。

Images