CN106504196A - 一种基于空间球面的全景视频拼接方法及设备 - Google Patents

Abstract

本申请的目的是提供一种基于空间球面的全景视频拼接方法及设备，本申请通过将视频中的一帧视频中的每一幅平面图像映射到空间球面，以获得对应的空间球面图像；确定出一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对，得到特征点对在空间球面的位置；基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在空间球面上进行配准，避免了将平面图像展开为平面经纬图时引入的畸变，使得配准结果更加准确；将每一幅配准后的空间球面图像展开为对应的平面经纬图，对每一幅平面经纬图进行拼接得到对应一帧视频的全景图像，实现了将视频中的每一帧视频中的所有平面图像准确地展开拼接为全景图像。

Description

一种基于空间球面的全景视频拼接方法及设备

技术领域

本申请涉及计算机领域，尤其涉及一种基于空间球面的全景视频拼接方法及设备。

背景技术

现有技术中，对全景视频进行全景拼接的技术主要有两种方法，方法一是将平面图像展开为经纬图，通过对经纬图做平移和旋转，得到平面图像之间的位置配准信息，并基于该位置配准信息对对应的经纬图进行拼接；方法二是通过计算平面图像之间的仿射变换，得到对应的单应性矩阵，通过该单应性矩阵，将平面图像映射到空间中并获取配准信息，然后基于该配准信息对平面图像对应的空间图像进行拼接。由于方法一在将平面图像展开为经纬图后进行选准平移得到配准信息的过程中存在经纬图的畸变特性，造成得到的配准信息受到平面图像展开为经纬图的展开影响，导致图像配准误差较大；又由于方法二通过仿射变换得到配准信息的过程中，该仿射变换是对刚体形变有效的线性变换，而全景视频由于拍摄设备中心无法完全重合的原因，导致多个图像中存在视角差不满足刚体形变，进而导致使用该仿射变换得到的配准信息中存在一定误差，若在存在视角差的情况中进行仿射变换，会导致图像配准的严重失真。

因此，采用现有技术中的全景拼接技术对全景视频进行拼接，不仅导致图像配准误差大，还导致图像配准的严重失真。

发明内容

本申请的一个目的是提供一种基于空间球面的全景视频拼接方法及设备，以解决采用现有技术中的全景拼接技术对全景视频进行拼接所导致的图像配准误差大和严重失真的问题。

根据本申请的一个方面，提供了一种基于空间球面的全景视频拼接方法，其中，所述方法包括：

将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置；

基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在所述空间球面上进行配准；

将所述每一幅配准后的空间球面图像展开为对应的平面经纬图，对所述每一幅平面经纬图进行拼接得到对应一帧视频的全景图像。

进一步地，在上述方法中，所述将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置，包括：

对相邻的两幅平面图像或对应的空间球面图像进行特征匹配，得到匹配的特征点对集合{AB}；

分别对相邻的两幅平面图像或对应的空间球面图像进行自身的特征匹配，得到匹配的特征点对集合{AA}和{BB}；

特征点对中的两个点是同一个点时称为自匹配，从匹配的特征点对集合{AA}和{BB}中提取非自匹配的特征点集合{a}和{b}；

从匹配的特征点对集合{AB}中移除所有和特征点集合{a}和/或{b}中的特征点相关的特征点对，得到所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对。

进一步地，在上述方法中，所述将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置，包括：

将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，以平面经纬图形式表示；

基于空间球面特征匹配算法，对所述每一相邻的两幅平面图像对应的平面经纬图进行特征点匹配，得到所述每一相邻的两幅平面图像在对应的平面经纬图上的特征点对，得到所述特征点对在空间球面上的位置。

进一步地，在上述方法中，所述将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置，包括：

采用平面特征匹配算法，对所述每一相邻的两幅平面图像进行特征点匹配，得到所述每一相邻的两幅平面图像的特征点对；

将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，得到所述特征点对在空间球面上的位置。

进一步地，在上述方法中，所述基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在所述空间球面上进行配准，包括：

基于所述映射到空间球面的特征点对及其位置，确定所述每一相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置；

将一帧视频中所有空间球面图像中的一幅空间球面图像的中心位置置于所述空间球面的原点位置；

根据处于所述原点位置的空间球面图像与所述一帧视频中其它空间球面图像的相对旋转角度和相对平移位置，确定所述一帧视频中所有空间球面图像在所述空间球面上的位置，得到配准后的空间球面图像。

进一步地，在上述方法中，所述基于所述映射到空间球面的特征点对及其位置，确定所述每一相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，包括：

每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的相对旋转角度和相对平移位置；

基于所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置，优选得到相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置。

进一步地，在上述方法中，所述每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的相对旋转角度和相对平移位置，包括：

对相邻的两幅平面图像对应的空间球面图像的特征点对进行过滤，得到过滤后的特征点对；

每次从相邻的两幅平面图像对应的空间球面图像的过滤后的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像的相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的多套相对旋转角度和相对平移位置。

进一步地，在上述方法中，所述对相邻的两幅平面图像对应的空间球面图像的特征点对进行过滤，得到过滤后的特征点对，包括初始化内点的个数和内点的集合后，重复如下步骤，直至所述内点的个数和内点的集合达到连续累计预设次数未更新，将最终内点的集合作为所述过滤后的特征点对:

从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述选取的两组特征点对计算对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置；

基于所述对应的相对旋转角度和相对平移位置计算本次所述特征点对中所述选取的两组特征点对之外的剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数；

判断本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数是否大于所述内点的个数，

若是，则将本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数及内点的集合更新为所述内点的个数和内点的集合；

若否，本次不更新内点的个数和内点的集合。

进一步地，在上述方法中，所述基于所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置，优选得到相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，包括：

对于每次所述选取的两组特征点对之外剩余的特征点对，按照所述选取的两组特征点对对应的相对旋转角度和相对平移位置进行移动，计算所述剩余的特征点对移动后的空间球面距离；

对所述空间球面距离进行累加求和，确定每次所述选取的两组特征点对对应的空间球面配准误差值；

选取最小空间球面配准误差值对应的所述相对旋转角度和所述相对平移位置，作为所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置。

进一步地，在上述方法中，所述选取最小空间球面配准误差值对应的所述相对旋转角度和相对平移位置，作为所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置之后，还包括：

基于非线性最小二乘算法对相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置进行优化，得到优化后的空间球面配准误差值及其对应的优化后的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置。

进一步地，在上述方法中，所述每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的多套相对旋转角度和相对平移位置，包括：

每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对；

设所述相邻的两幅平面图像对应的空间球面图像分别为图A和图B，其中，图A的点A1和图B的点B1，图A的点A2和图B的点B2是分别选取的两组特征点对，则先在球面上移动图B使B1和A1重合，再绕A1和B1旋转图B，使得A1A2，B1B2两个弧线重合后，沿重合弧线移动图B，以使弧线A1A2和B1B2的中心重合后，得到所述两组特征点对对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置。

进一步地，在上述方法中，所述将所述每一幅配准后的空间球面图像展开为对应的平面经纬图，对所述每一幅平面经纬图进行拼接得到对应一帧视频的全景图像，包括：

将所述每一幅配准后的空间球面图像展开为对应的平面经纬图；

基于图割拼接法对对应于任意相邻的两幅平面图像的平面经纬图进行拼接，确定所述两幅平面经纬图的重叠区域的分界线，得到所有平面经纬图的重叠区域的分界线；

根据所述所有平面经纬图的重叠区域的分界线，基于高斯金字塔融合法对所述所有平面经纬图进行融合，得到对应一帧视频的全景图像。

进一步地，在上述方法中，所述基于图割拼接法对对应于任意相邻的两幅平面图像的平面经纬图进行拼接，确定所述两幅平面经纬图的重叠区域的分界线，得到所有平面经纬图的重叠区域的分界线之前，还包括：

计算所述相邻的两幅平面图像对应的平面经纬图的重叠区域的色彩平均差值，基于所述色彩平均差值分别对所述两幅平面经纬图的重叠区域的每个像素点的色彩进行补偿。

进一步地，在上述方法中，所述根据所述所有平面经纬图的重叠区域的分界线，基于高斯金字塔融合法对所述所有平面经纬图进行融合，得到对应一帧视频的全景图像，还包括：

对所述所有平面经纬图建立高斯金字塔，确定所述所有平面经纬图金字塔的各层图像；

根据所述所有平面经纬图的重叠区域的分界线，基于位置标记的方式对所述全景图像中的像素点的位置来源进行标记，并建立图像金字塔，得到带有像素点的位置来源标记的掩模图像金字塔的各层掩模图像；

基于所述所有平面经纬图金字塔和掩模图像金字塔进行金字塔合并和高斯金字塔重建，得到全景图像金字塔，选取所述全景图像金字塔最底层的全景图像作为所述对应一帧视频的全景图像。

根据本申请的另一方面，还提供了一种基于空间球面的全景视频拼接的设备，其中，所述设备包括：

映射确定装置，用于将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置；

配准装置，用于基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在所述空间球面上进行配准；

展开拼接装置，用于将所述每一幅配准后的空间球面图像展开为对应的平面经纬图，对所述每一幅平面经纬图进行拼接得到对应一帧视频的全景图像。

进一步地，在上述设备中，所述映射确定装置用于：

对相邻的两幅平面图像或对应的空间球面图像进行特征匹配，得到匹配的特征点对集合{AB}；

分别对相邻的两幅平面图像或对应的空间球面图像进行自身的特征匹配，得到匹配的特征点对集合{AA}和{BB}；

特征点对中的两个点是同一个点时称为自匹配，从匹配的特征点对集合{AA}和{BB}中提取非自匹配的特征点集合{a}和{b}；

从匹配的特征点对集合{AB}中移除所有和特征点集合{a}和/或{b}中的特征点相关的特征点对，得到所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对。

进一步地，在上述设备中，所述映射确定装置包括：

映射单元，用于将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，以平面经纬图形式表示；

第一确定单元，用于基于空间球面特征匹配算法，对所述每一相邻的两幅平面图像对应的平面经纬图进行特征点匹配，得到所述每一相邻的两幅平面图像在对应的平面经纬图上的特征点对，得到所述特征点对在空间球面上的位置。

进一步地，在上述设备中，所述映射确定装置用于：

采用特征匹配算法，对所述每一相邻的两幅平面图像进行特征点匹配，得到所述每一相邻的两幅平面图像的特征点对；

将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，得到所述特征点对在空间球面上的位置。

进一步地，在上述设备中，所述配准装置包括：

第二确定单元，用于基于所述映射到空间球面的特征点对及其位置，确定所述每一相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置；

初始单元，用于将一帧视频中所有空间球面图像中的一幅空间球面图像的中心位置置于所述空间球面的原点位置；

配准单元，用于根据处于所述原点位置的空间球面图像与所述一帧视频中其它空间球面图像的相对旋转角度和相对平移位置，确定所述一帧视频中所有空间球面图像在所述空间球面上的位置，得到配准后的空间球面图像。

进一步地，在上述设备中，所述第二确定单元用于：

每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的相对旋转角度和相对平移位置；

基于所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置，优选得到相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置。

进一步地，在上述设备中，所述第二确定单元用于：

对相邻的两幅平面图像对应的空间球面图像的特征点对进行过滤，得到过滤后的特征点对；

每次从相邻的两幅平面图像对应的空间球面图像的过滤后的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的多套相对旋转角度和相对平移位置。

进一步地，在上述设备中，所述第二确定单元用于初始化内点的个数和内点的集合后，重复执行如下步骤，直至所述内点的个数和内点的集合达到连续累计预设次数未更新，将最终内点的集合作为所述过滤后的特征点对:

从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述选取的两组特征点对计算对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置；

基于所述对应的相对旋转角度和相对平移位置计算本次所述特征点对中所述选取的两组特征点对之外的剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数；

判断本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数是否大于所述内点的个数，

若是，则将本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数及内点的集合更新为所述内点的个数和内点的集合；

若否，本次不更新内点的个数和内点的集合。

进一步地，在上述设备中，所述第二确定单元用于：

对于每次所述选取的两组特征点对之外剩余的特征点对，按照所述选取的两组特征点对对应的相对旋转角度和相对平移位置进行移动，计算所述剩余的特征点对移动后的空间球面距离；

对所述空间球面距离进行累加求和，确定每次所述选取的两组特征点对对应的空间球面配准误差值；

选取最小空间球面配准误差值对应的所述相对旋转角度和所述相对平移位置，作为所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置。

进一步地，在上述设备中，所述第二确定单元还用于：

基于非线性最小二乘算法对相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置进行优化，得到优化后的空间球面配准误差值及其对应的优化后的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置。

进一步地，在上述设备中，所述第二确定单元用于：

每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对；

设所述相邻的两幅平面图像对应的空间球面图像分别为图A和图B，其中，图A的点A1和图B的点B1，图A的点A2和图B的点B2是分别选取的两组特征点对，则先在球面上移动图B使B1和A1重合，再绕A1和B1旋转图B，使得A1A2，B1B2两个弧线重合后，沿重合弧线移动图B，以使弧线A1A2和B1B2的中心重合后，得到所述两组特征点对对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置。

进一步地，在上述设备中，所述展开拼接装置包括：

展开单元，用于将所述每一幅配准后的空间球面图像展开为对应的平面经纬图；

拼接单元，用于基于图割拼接法对对应于任意相邻的两幅平面图像的平面经纬图进行拼接，确定所述两幅平面经纬图的重叠区域的分界线，得到所有平面经纬图的重叠区域的分界线；

融合单元，用于根据所述所有平面经纬图的重叠区域的分界线，基于高斯金字塔融合法对所述所有平面经纬图进行融合，得到对应一帧视频的全景图像。

进一步地，在上述设备中，所述拼接单元还用于：

计算所述相邻的两幅平面图像对应的平面经纬图的重叠区域的色彩平均差值，基于所述色彩平均差值分别对所述两幅平面经纬图的重叠区域的每个像素点的色彩进行补偿。

进一步地，在上述设备中，所述融合单元还用于：

对所述所有平面经纬图建立高斯金字塔，确定所述所有平面经纬图金字塔的各层图像；

根据所述所有平面经纬图的重叠区域的分界线，基于位置标记的方式对所述全景图像中的像素点的位置来源进行标记，并建立图像金字塔，得到带有像素点的位置来源标记的掩模图像金字塔的各层掩模图像；

基于所述所有平面经纬图金字塔和掩模图像金字塔进行金字塔合并和高斯金字塔重建，得到全景图像金字塔，选取所述全景图像金字塔最底层的全景图像作为所述对应一帧视频的全景图像。

与现有技术相比，本申请首先将视频中的一帧视频中的每一幅平面图像映射到空间球面，以得到每一幅平面图像对应的空间球面图像；接着，确定出所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对，进而可以得到所述特征点对在空间球面的位置；然后，可以基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在所述空间球面上进行配准，避免了现有技术中的将所述平面图像展开为平面经纬图时引入的畸变，使得将所述空间球面图像进行配准得到的配准结果更加准确；最后，将所述每一幅配准后的空间球面图像展开为对应的平面经纬图，对所述每一幅平面经纬图进行拼接得到对应一帧视频的全景图像，实现了将视频中的每一帧视频中的所有平面图像准确地展开拼接为全景图像。

进一步地，为了得到更加精确地所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对，会首先对相邻的两幅平面图像或对应的空间球面图像进行特征匹配，得到匹配的特征点对集合{AB}；然后分别对这相邻的两幅平面图像或对应的空间球面图像进行自身的特征匹配，得到自身匹配的特征点对集合{AA}和{BB}；其中，特征点对中的两个点是同一个点时称为自匹配，接着从自身匹配的特征点对集合{AA}和{BB}中提取非自匹配的特征点集合{a}和{b}；最后将所有和特征点集合{a}和/或{b}中的特征点相关的特征点对从匹配的特征点对集合{AB}中移除，得到所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对，达到了对所述相邻的两幅平面图像或对应的空间球面图像在对应的所述空间球面上的特征点对进行过滤的目的，减少了任意相邻两幅平面图像或对应的空间球面图像之间的特征点进行错误匹配的比率，使得得到的所述相邻的两幅平面图像或对应的空间球面图像的特征点对更加准确有效。

更进一步地，为了得到更加准确地所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对，还可以先将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，所述空间球面图像以平面经纬图形式表示；然后再基于空间球面特征匹配算法，对所述每一相邻的两幅平面图像对应的平面经纬图进行特征点匹配，得到所述每一相邻的两幅平面图像在对应的平面经纬图上的特征点对，进而得到所述特征点对在空间球面上的位置，避免了现有技术中采用普通广角镜头或鱼眼镜头下的图像保存为所述平面图像时镜头中心和边缘处的畸变差异导致的特征点对匹配误差，使得得到的所述每一相邻的两幅平面图像或空间球面图像的特征点对更加准确有效。

进一步地，本申请还采用平面特征匹配算法，对所述每一相邻的两幅平面图像进行特征点匹配，以得到所述每一相邻的两幅平面图像的特征点对；并将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，并得到所述特征点对在空间球面上的位置，实现了对所述每一相邻的两幅平面图像进行特征点匹配并得到了对应的在空间球面上的特征点对的位置。

进一步地，基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在所述空间球面上进行配准，包括以下步骤：首先，基于所述映射到空间球面的特征点对及其位置，确定所述每一相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置；然后，将一帧视频中所有空间球面图像中的一幅空间球面图像的中心位置置于所述空间球面的原点位置；最后，根据处于所述原点位置的空间球面图像与所述一帧视频中其它空间球面图像的所述相对旋转角度和相对平移位置，得到所述一帧视频中所有空间球面图像在所述空间球面上的位置，得到配准后的空间球面图像，实现了基于任意相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置对所述一帧视频中所有平面图像对应的空间球面图像在所述空间球面上的配准。

更进一步地，为了得到更加准确地所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，首先是：每次从所述相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的这两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，循环将所有的所述特征点对进行两两选择，得到多次选取的两组特征点对对应的相对旋转角度和相对平移位置；然后对所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置进行优选，以优选得到所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，保证了得到的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置为所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置中的最佳的且最准确的所述相对旋转角度和相对平移位置。

进一步地，为了在所有的所述特征点对中进行多次选择两组特征点对之前得到更加准确有效地所有的所述特征点对，本申请还可以首先对相邻的两幅平面图像对应的空间球面图像的所有的特征点对进行过滤，以得到过滤后的特征点对，使得得到的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的特征点对更加准确，然后再每次从更加准确的所述过滤后的特征点对中随机选取两组特征点对，并基于每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，以得到更加准确的多次选取的两组特征点对对应的相对旋转角度和相对平移位置。

更进一步地，所述对相邻的两幅平面图像对应的空间球面图像的特征点对进行过滤，得到过滤后的特征点对，包括初始化内点的个数和内点的集合后，重复如下步骤，直至所述内点的个数和内点的集合达到连续累计预设次数未更新，将最终内点的集合作为所述过滤后的特征点对，具体的重复步骤包括：首先，从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述选取的两组特征点对计算对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置；接着，基于所述对应的相对旋转角度和相对平移位置计算本次所述特征点对中所述选取的两组特征点对之外的剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数；最后，判断本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数是否大于所述内点的个数，若是，则将本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数及内点的集合更新为所述内点的个数和内点的集合；若否，本次不更新内点的个数和内点的集合，实现了基于所述特征点对的空间球面距离与所述预设空间球面距离阈值的大小确定的所述内点的个数来对所述特征点对进行过滤，达到排除所述相邻的两幅平面图像对应的空间球面图像的所有特征点对中的错误的和/或误差较大的特征点对的目的，使得得到的所述两幅平面图像对应的特征点对更加精确。

更进一步地，上述的基于所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置，优选得到相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，具体包括：首先，对于每次所述选取的两组特征点对之外剩余的特征点对，按照所述选取的两组特征点对对应的相对旋转角度和相对平移位置进行移动，计算所述剩余的特征点对移动后的空间球面距离；接着，对所有的所述空间球面距离进行累加求和，确定每次所述选取的两组特征点对对应的空间球面配准误差值；最后，选取最小空间球面配准误差值对应的所述相对旋转角度和相对平移位置，作为所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，通过基于空间球面距离来确定的空间球面配准误差值，不仅避免了在一帧视频中的原始的平面图像或该平面图像对应的平面经纬图由于不同位置的畸变不同导致的特征点对的匹配误差变化，还保证了得到的所述两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置的准确度和稳定度。

进一步地，在基于最小空间球面配准误差值对应的一套相对旋转角度和相对平移位置，得到更加准确的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置之后，为了得到更加准确且最优的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，本申请还通过：基于非线性最小二乘算法对相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置进行优化，得到优化后的空间球面配准误差值及其对应的优化后的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，保证了优化后得到的所述相邻的两幅平面图像的所述相对旋转角度和相对平移位置更加准确，进而减少了后续基于所述相对旋转角度和相对平移位置进行一帧视频中的所有的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的配准误差。

进一步地，在对一帧视频中的所有所述平面图像或者对应的空间球面图像在所述空间球面中进行配准之后，继续将所述每一幅配准后的空间球面图像展开为对应的平面经纬图，对所述每一幅平面经纬图进行拼接得到对应一帧视频的全景图像，具体展开拼接过程包括如下步骤：首先，将所述每一幅配准后的空间球面图像展开为对应的平面经纬图；接着，基于图割拼接法对对应于任意相邻的两幅平面图像的平面经纬图进行拼接，确定所述两幅平面经纬图的重叠区域的分界线，得到所有平面经纬图的重叠区域的分界线；最后，根据所述所有平面经纬图的重叠区域的分界线，基于高斯金字塔融合法对所有所述平面经纬图进行融合，得到对应一帧视频的全景图像，不仅实现了对任意相邻的两幅平面图像的平面经纬图进行拼接，还实现了基于高斯金字塔融合法对所有所述平面经纬图之间的重叠区域的分界线进行融合处理，使得任意相邻的两幅平面图像的平面经纬图的重叠区域的分界线视觉效果更好，进一步地保证了基于一帧视频中的所有平面图像对应的平面经纬图拼接融合得到的对应一帧视频的全景图像的视觉效果更好。

更进一步地，为了减少一帧视频中的任意相邻的两幅平面图像由于拍摄原因导致的色彩偏差对拼接分界线的影响，在基于图割拼接法对对应于任意相邻的两幅平面图像的平面经纬图进行拼接，确定所述两幅平面经纬图的重叠区域的分界线，得到所有平面经纬图的重叠区域的分界线之前，还可以包括：计算所述相邻的两幅平面图像对应的平面经纬图的重叠区域的色彩平均差值，基于所述色彩平均差值分别对所述两幅平面经纬图的重叠区域的每个像素点的色彩进行补偿，减少了一帧视频中的任意相邻的两幅平面图像由于拍摄原因导致的色彩偏差，使得得到的所述相邻的两幅平面图像对应的平面经纬图的重叠区域的分界线更加准确合理，进一步保证后续基于一帧视频中的所有平面图像对应的平面经纬图拼接融合得到的对应一帧视频的全景图像的视觉效果更好。

更进一步地，根据所述所有平面经纬图的重叠区域的分界线，基于高斯金字塔融合法对所述所有平面经纬图进行融合，得到对应一帧视频的全景图像，具体还包括如下步骤：首先，对所述所有平面经纬图建立高斯金字塔，确定所述所有平面经纬图高斯金字塔的各层图像；接着，根据所述所有平面经纬图的重叠区域的分界线，基于位置标记的方式对所述全景图像中的像素点的位置来源进行标记，以便后续基于该位置来源标记对所述平面经纬图进行融合，并建立图像金字塔，得到带有像素点的位置来源标记的掩模图像金字塔的各层掩模图像；最后，基于所述所有平面经纬图高斯金字塔和掩模图像金字塔进行金字塔合并和高斯金字塔重建，得到全景图像金字塔，选取所述全景图像金字塔最底层的全景图像作为所述对应一帧视频的全景图像，达到了基于高斯金字塔融合法对所述所有平面经纬图进行融合的目的，使得基于高斯金字塔融合法融合之后得到的对应一帧视频的全景图像的视觉效果更好。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出本申请一个方面的基于空间球面的全景视频拼接方法的流程示意图图；

图2示出根据本申请一个方面的一种普通广角镜头下的平面图像到空间球面之间的映射关系示意图；

图3示出根据本申请一个方面的一种等距鱼眼镜头下的平面图像到空间球面之间的映射关系示意图；

图4示出本申请一个方面的一帧视频中的相邻的两幅平面图像对应的空间球面图像基于两组特征点对得到空间球面上相对旋转角度和相对平移位置的旋转方法流程示意图；

图5示出本申请一个方面的一帧视频中的相邻的两幅平面图像对应的空间球面图像基于相对旋转角度和相对平移位置旋转其中一幅空间球面图像的旋转示意图；

图6示出本申请一个方面的一帧视频中的相邻两幅平面图像对应的平面经纬图的其中一幅平面经纬图；

图7示出本申请一个方面的一帧视频中的相邻两幅平面图像对应的平面经纬图的其中另一幅平面经纬图；

图8示出本申请一个方面的一帧视频中的相邻两幅平面图像对应的平面经纬图采用图割拼接法拼接之后的示意图；

图9示出本申请一个方面的一帧视频中的相邻两幅平面图像对应的平面经纬图在采用高斯金字塔融合法对重叠区域的分界线进行融合后的示意图；

图10示出本申请一个方面的基于空间球面的全景视频拼接方法中的一帧视频中的所有平面经纬图的拼接流程示意图；

图11示出本申请一个方面的基于空间球面的全景视频拼接方法中的一帧视频中的所有平面经纬图拼接之后得到的掩模图像示意图；

图12示出本申请一个方面的基于空间球面的全景视频拼接方法中的一帧视频中的所有平面经纬图对应的所述平面经纬图金字塔示意图；

图13示出本申请一个方面的基于空间球面的全景视频拼接方法中的一帧视频中的所有平面经纬图对应的掩模图像金字塔的各层掩模图像示意图；

图14示出本申请一个方面的基于空间球面的全景视频拼接方法中的一帧视频中的所有平面经纬图对应的平面经纬图金字塔中的一层图像按照所述掩模图像金字塔的对应层掩模图像进行合并得到结果金字塔中对应层的流程示意图；

图15示出本申请一个方面的基于空间球面的全景视频拼接方法中的一帧视频中的所有平面经纬图对应的合并之后的所述结果金字塔进行高斯金字塔重建得到的全景图像金字塔示意图；

图16示出本申请一个方面的基于空间球面的全景视频拼接设备的结构示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(BPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(CRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(BC-ROM)、数字多功能光盘(CVC)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory meCia)，如调制的数据信号和载波。

图1示出本申请一个方面的基于空间球面的全景视频拼接方法的流程示意图，该方法包括：步骤S11、步骤S12和步骤S13，其中，

所述步骤S11，将视频中的一帧视频中的每一幅平面图像映射到空间球面，以得到视频中的一帧视频中的每一幅平面图像对应的空间球面图像；接着，在所述步骤S11中确定出所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对，进而可以得到所述特征点对在空间球面的位置；

然后，所述步骤S12可以基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在所述空间球面上进行配准，避免了现有技术中的将所述平面图像展开为平面经纬图时引入的畸变，使得将所述空间球面图像进行配准得到的配准结果更加准确；

最后，所述步骤S13将所述每一幅配准后的空间球面图像展开为对应的平面经纬图，对所述每一幅平面经纬图进行拼接得到对应一帧视频的全景图像，实现了将视频中的每一帧视频中的所有平面图像准确地展开拼接为全景图像。

需要说明的是，对于所述视频中的一帧视频中的任意两幅平面图像，若两幅平面图像之间有匹配的特征点对，则认为这两幅平面图像为所述相邻的两幅平面图像。

进一步地，为了得到更加精确地所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对，所述步骤S11将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置，具体包括如下步骤：

首先，所述步骤S11对相邻的两幅平面图像或对应的空间球面图像进行特征匹配，得到匹配的特征点对集合{AB}；然后，所述步骤S11分别对这相邻的两幅平面图像或对应的空间球面图像进行自身的特征匹配，得到自身匹配的特征点对集合{AA}和{BB}；其中，特征点对中的两个点是同一个点时称为自匹配，则特征点对中的两个点不是同一个点时称为非自匹配，接着，所述步骤S11从自身匹配的特征点对集合{AA}和{BB}中提取非自匹配的特征点集合{a}和{b}；最后，所述步骤S11将所有和特征点集合{a}和/或{b}中的特征点相关的特征点对从匹配的特征点对集合{AB}中移除，得到所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对，达到了对所述相邻的两幅平面图像或对应的空间球面图像在对应的所述空间球面上的特征点对进行过滤的目的，减少了任意相邻的两幅平面图像或对应的空间球面图像之间的特征点进行错误匹配的比率，使得得到的所述相邻的两幅平面图像或对应的空间球面图像的特征点对更加准确有效。

在本申请的一实施例中，对于所述视频中的一帧视频中的需要进行特征匹配的任意相邻的两幅平面图像A和B，首先所述步骤S11对相邻的两幅平面图像的图A和图B进行图像之间的特征匹配，得到匹配的特征点对集合{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A1B3,A3B4}；然后所述步骤S11分别对图A进行所述图A与所述图A之间的自身匹配和对图B进行所述图B与所述图B之间的自身匹配，分别得到所述图A对应的自身匹配的特征点对集合{AA}＝{A1A1,A2A2,A3A3,A4A4,A5A5,A6A6,A1A3}和所述图B对应的自身匹配的特征点对集合{BB}为空；接着，所述步骤S11从所述图A自身匹配的特征点对集合{AA}中提取非自匹配的特征点集合，得到所述图A对应的非自匹配的特征点集合{a}＝{A1,A3}；最后，所述步骤S11从匹配的特征点对集合{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A1B3,A3B4}中移除所有和特征点集合{a}＝{A1,A3}中的特征点相关的特征点对，得到所述相邻的两幅平面图像图A和图B匹配的至少两组特征点对{A2B2,A4B4,A5B5,A6B6,}。达到了对所述相邻的两幅平面图像或对应的空间球面图像在对应的所述空间球面上的特征点对进行过滤的目的，减少了任意相邻的两幅平面图像或对应的空间球面图像之间的特征点进行错误匹配的比率，使得得到的所述相邻的两幅平面图像或对应的空间球面图像的特征点对更加准确有效。

在本申请的一实施例中，对于所述视频中的一帧视频中的需要进行特征匹配的任意相邻的两幅平面图像A和B，首先所述步骤S11对相邻的两幅平面图像的图A和图B进行图像之间的特征匹配，得到匹配的特征点对集合{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A1B3,A3B4}；然后，所述步骤S11分别对图A进行所述图A与所述图A之间的自身匹配和对图B进行所述图B与所述图B之间的自身匹配，分别得到所述图A对应的自身匹配的特征点对集合{AA}为空和所述图B对应的自身匹配的特征点对集合{BB}＝{B1B1,B2B2,B3B3,B4B4,B5B5,B6B6,B3B4}；接着，所述步骤S11从所述图B自身匹配的特征点对集合{BB}中提取非自匹配的特征点集合，得到所述图B对应的非自匹配的特征点集合{b}＝{B3,B4}；最后所述步骤S11从匹配的特征点对集合{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A1B3,A3B4}中移除所有和特征点集合{b}＝{B3,B4}中的特征点相关的特征点对，得到所述相邻的两幅平面图像图A和图B匹配的至少两组特征点对{A1B1,A2B2,A5B5,A6B6}。达到了对所述相邻的两幅平面图像或对应的空间球面图像在对应的所述空间球面上的特征点对进行过滤的目的，减少了任意相邻的两幅平面图像或对应的空间球面图像之间的特征点进行错误匹配的比率，使得得到的所述相邻的两幅平面图像或对应的空间球面图像的特征点对更加准确有效。

在本申请的一实施例中，对于所述视频中的一帧视频中的需要进行特征匹配的任意相邻的两幅平面图像A和B，首先所述步骤S11对相邻的两幅平面图像的图A和图B进行图像之间的特征匹配，得到匹配的特征点对集合{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A1B3,A3B4}；然后所述步骤S11分别对图A进行所述图A与所述图A之间的自身匹配和对图B进行所述图B与所述图B之间的自身匹配，分别得到所述图A对应的自身匹配的特征点对集合{AA}＝{A1A1,A2A2,A3A3,A4A4,A5A5,A6A6,A1A3}和所述图B对应的自身匹配的特征点对集合{BB}＝{B1B1,B2B2,B3B3,B4B4,B5B5,B6B6,B3B4}；接着，所述步骤S11分别从所述图A和所述图B自身匹配的特征点对集合{AA}和{BB}中提取非自匹配的特征点集合，得到所述图A对应的非自匹配的特征点集合{a}＝{A1,A3}和所述图B对应的非自匹配的特征点集合{b}＝{B3,B4}；最后，所述步骤S11从匹配的特征点对集合{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A1B3,A3B4}中移除所有和特征点集合{a}＝{A1,A3}和{b}＝{B3,B4}中的特征点相关的特征点对，得到所述相邻的两幅平面图像图A和图B匹配的至少两组特征点对{A2B2,A5B5,A6B6}。达到了对所述相邻的两幅平面图像或对应的空间球面图像在对应的所述空间球面上的特征点对进行过滤的目的，减少了任意相邻的两幅平面图像或对应的空间球面图像之间的特征点进行错误匹配的比率，使得得到的所述相邻的两幅平面图像或对应的空间球面图像的特征点对更加准确有效。

更进一步地，为了得到更加准确地所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对，所述步骤S11所述将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置，具体包括：步骤S111和步骤S112，其中，

所述步骤S111，先将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，所述空间球面图像以平面经纬图形式表示；

所述步骤S112，接着基于空间球面特征匹配算法，对所述每一相邻的两幅平面图像对应的平面经纬图进行特征点匹配，得到所述每一相邻的两幅平面图像在对应的平面经纬图上的特征点对，进而得到所述特征点对在空间球面上的位置，避免了现有技术中采用普通广角镜头或鱼眼镜头下的图像保存为所述平面图像时镜头中心和边缘处的畸变差异导致的特征点对匹配误差，使得得到的所述每一相邻的两幅平面图像或空间球面图像的特征点对更加准确有效。

本申请一实施例中，所述步骤S111首先将一帧视频中原始的每一幅平面图像按照镜头类型映射到空间球面，得到以平面经纬图形式表示的空间球面图像；接着，所述步骤S112将所述平面经纬图作为输入图像，使用空间球面特征匹配(Sphere SIFT)算法，计算得到所述每一相邻的两幅平面图像在对应的平面经纬图上匹配的特征点对，再按照平面图像映射到平面经纬图的反向映射，将在所述空间球面上计算得到的所述每一相邻的两幅平面图像在对应的平面经纬图上匹配的特征点对的位置坐标映射到原始的每一相邻的两幅平面图像上，并基于原始的每一相邻的两幅平面图像上的特征点对，得到所述特征点对在空间球面上的位置。所述步骤S11中基于空间球面特征匹配算法将所述平面图像映射至所述空间球面，并基于该空间球面进行特征匹配，避免了现有技术中采用普通广角镜头或鱼眼镜头下的图像保存为所述平面图像时镜头中心和边缘处的畸变差异导致的特征点对匹配误差，使得得到的所述每一相邻的两幅平面图像或空间球面图像的特征点对更加准确有效。

接着本申请的上述实施例，所述步骤S11中按照平面图像的镜头类型将所述平面图像映射到空间球面表面，并将映射到原始的每一相邻的两幅平面图像上的特征点对的位置从所述平面图像上的位置映射到所述空间球面表面的位置。其中，所述平面图像根据拍摄时的镜头类型，和所述平面图像上的每个像素点的坐标和实际的视球空间球面上对应点的位置坐标之间存在一个平面-球面映射关系，按照该平面-球面映射关系将所述平面图像映射到视球空间球面，并将映射到原始的每一相邻的两幅平面图像上的特征点对的位置的坐标再次映射到视球空间球面的空间坐标上，该视球空间球面对应的球半径取1。下面以最常用的普通广角镜头和等距鱼眼镜头为例进行说明，其他类型的镜头类型按照镜头的光学模型，亦可以得到类似的映射关系；其中，对于普通广角镜头，将所述平面图像中的每一像素点对应的坐标映射到所述视球空间球面的空间坐标的映射关系如图2所示，对于等距鱼眼镜头，将所述平面图像中的每一像素点对应的坐标映射到视球空间球面的空间坐标的映射关系如图3所示。

进一步地，本申请实施例中的所述步骤S11将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置，包括：采用平面特征匹配算法，对所述每一相邻的两幅平面图像进行特征点匹配，以得到所述每一相邻的两幅平面图像的特征点对；并将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，并得到所述特征点对在空间球面上的位置，实现了对所述每一相邻的两幅平面图像进行特征点匹配并基于匹配的特征点对得到了对应的在空间球面上的特征点对的位置。

本申请的实施例中，所述平面特征匹配算法不仅可以包括SIFT算法(Scale-invariant feature transform算法，尺度不变特征变换算法)、SURF算法(Speed-uprobust features算法，加速健壮特征算法)以及ORB算法(ORiented Brief算法)，还可以包括使用开源的代码库，例如图像拼接SIFT算法库(autopano-sift库)或全景摄影图像拼接软件(hugin)中的cpfind库。当然，其他今后可能出现的所述平面特征匹配算法如可使用于本申请，则包括在本申请内。

本申请的实施例中可以通过每一相邻的两幅平面图像匹配得到的所有的特征点对来计算所述视频中的一帧视频中的每一相邻的两幅平面图像或平面图像映射至所述空间球面的空间球面图像在所述空间球面的相对旋转角度和相对平移位置，具体实施例如下所示。

进一步地，所述步骤S12基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在所述空间球面上进行配准，具体包括：步骤S121、步骤S122和步骤S123，其中，

所述步骤S121，首先基于所述映射到空间球面的特征点对及其位置，确定所述每一相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置；

接着所述步骤S122，将一帧视频中所有空间球面图像中的一幅空间球面图像的中心位置置于所述空间球面的原点位置；

最后所述步骤S123，根据处于所述原点位置的空间球面图像与所述一帧视频中其它空间球面图像的所述相对旋转角度和相对平移位置，得到所述一帧视频中所有空间球面图像在所述空间球面上的位置，得到配准后的空间球面图像，实现了基于任意相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置对所述一帧视频中所有平面图像对应的空间球面图像在所述空间球面上的配准。

本申请的实施例中，首先所述步骤S121基于相邻的两幅平面图像映射到空间球面的所有特征点对及其位置中，由其中任意两组特征点对便可确定出所述每一相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置；

接着，所述步骤S122通过将一帧视频中所有空间球面图像中的一幅空间球面图像N1的中心位置置于所述空间球面的原点位置：(y＝0,p＝0,r＝0)；

最后，所述步骤S123根据处于所述原点位置的空间球面图像N1与所述一帧视频中其它空间球面图像(例如，空间球面图像N2、空间球面图像N3、空间球面图像N4……和空间球面图像Nk)的相对旋转角度和相对平移位置及所有所述其他空间球面图像之间的每相邻的两幅空间球面图像之间的相对旋转角度和相对平移位置，来确定所述一帧视频中的其他空间球面图像在所述空间球面上的位置，(例如，以N1的中心位置置于所述空间球面的原点处，若N1与N2相邻，N2与N3相邻、N3与N4相邻，……直至N(k-1)与Nk相邻，则以N1为中心位置，基于N1与N2之间的相对旋转角度和相对平移位置、N2与N3之间的相对旋转角度和相对平移位置、N3与N4之间的相对旋转角度和相对平移位置、……直至N(k-1)与Nk之间的相对旋转角度和相对平移位置，来确定出所述一帧视频中的所有空间球面图像在所述空间球面上的位置。)，以得到配准后的空间球面图像，实现了基于任意相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置对所述一帧视频中所有平面图像对应的空间球面图像在所述空间球面上的配准。

更进一步地，为了得到更加准确地所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，所述步骤S121所述基于所述映射到空间球面的特征点对及其位置，确定所述每一相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，具体包括如下步骤：

首先，每次从所述相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的这两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，循环将所有的所述特征点对进行两两选择，得到多次选取的两组特征点对对应的相对旋转角度和相对平移位置；

然后对所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置进行优选，以优选得到所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，保证了得到的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置为所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置中的最佳的且最准确的所述相对旋转角度和相对平移位置。

例如，若所述相邻的两幅平面图像A和B对应的空间球面图像的特征点对为{AB}＝{A2B2,A5B5,A6B6}，每次从特征点对{AB}＝{A2B2,A5B5,A6B6}中随机选取两组特征点对，则若随机选取的两组特征点对为A2B2和A5B5，得到对应的所述相对旋转角度(Roll1)和相对平移位置(Yaw1,Pitch1)，则若随机选取的两组特征点对为A2B2和A6B6，得到对应的所述相对旋转角度(Roll2)和相对平移位置(Yaw2,Pitch2)，则若随机选取的两组特征点对为A5B5和A6B6，得到对应的所述相对旋转角度(Roll3)和相对平移位置(Yaw3,Pitch3)，然后对所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置进行优选，若上述任意两组特征点对得到的三组所述相对旋转角度和相对平移位置{(Roll1),(Yaw1,Pitch1)}、{(Roll2),(Yaw2,Pitch2)}、{(Roll3),(Yaw3,Pitch3)}中进行优选得到的{(Roll2)，(Yaw2,Pitch2)}为优选出来的所述相对旋转角度和相对平移位置，则优选得到所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置为由所述两组特征点对为A2B2和A6B6计算得到的相对旋转角度(Roll2)和相对平移位置(Yaw2,Pitch2)，保证了得到的所述相邻的两幅平面图像A和B对应的空间球面图像在所述空间球面图像上的上述相对旋转角度和相对平移位置的准确度。

进一步地，为了在所有的所述特征点对中进行多次选择两组特征点对之前得到更加准确有效地所有的所述特征点对，所述步骤S121中的每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的相对旋转角度和相对平移位置，具体包括如下步骤：

首先，在采用RANSAC算法(随机抽象一致性算法)每次从相邻的两幅平面图像对应的空间球面图像的所有的特征点对中随机选取两组特征点之前，对相邻的两幅平面图像对应的空间球面图像的所有的特征点对进行过滤，以得到过滤后的特征点对，使得得到的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的特征点对更加准确；

例如，若所述相邻的两幅平面图像对应的空间球面图像的所有的特征点对{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,……,AnBn}，则所述步骤S121对相邻的两幅平面图像对应的空间球面图像的所有的特征点对{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,……,AnBn}进行过滤，以得到过滤后的特征点对{AB}＝{A2B2,A5B5,A6B6}，使得得到的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的特征点对{AB}＝{A2B2,A5B5,A6B6}更加准确。

然后，再每次从更加准确的所述过滤后的特征点对中随机选取两组特征点对，并基于每次选取的两组特征点对计算对应的两幅空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，以得到更加准确的多次选取的两组特征点对对应的相对旋转角度和相对平移位置。例如，每次从更加准确的所述过滤后的特征点对{AB}＝{A2B2,A5B5,A6B6}中随机选取两组特征点对，计算得到更加准确的多次选取的两组特征点对对应的相邻的两幅平面图像对应的空间球面图像在所述空间球面上的所述相对旋转角度和相对平移位置{(Roll1),(Yaw1,Pitch1)}、{(Roll2),(Yaw2,Pitch2)}、{(Roll3),(Yaw3,Pitch3)}。

更进一步地，在采用RANSAC算法每次从相邻的两幅平面图像对应的空间球面图像的所有的特征点对中随机选取两组特征点之前，所述步骤S121中的对相邻的两幅平面图像对应的空间球面图像的特征点对进行过滤，得到过滤后的特征点对，包括初始化内点的个数和内点的集合后，重复如下步骤，直至所述内点的个数和内点的集合达到连续累计预设次数未更新，将最终内点的集合作为所述过滤后的特征点对，具体的重复步骤包括：

首先，从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述选取的两组特征点对计算对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置；

接着，基于所述对应的相对旋转角度和相对平移位置计算本次所述特征点对中所述选取的两组特征点对之外的剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数；

最后，判断本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数是否大于所述内点的个数，若是，则将本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数及内点的集合更新为所述内点的个数和内点的集合；若否，本次不更新内点的个数和内点的集合，实现了基于所述特征点对的空间球面距离与所述预设空间球面距离阈值的大小确定的所述内点的个数来对所述特征点对进行过滤，达到排除所述相邻的两幅平面图像对应的空间球面图像的所有特征点对中的错误的和/或误差较大的特征点对的目的，使得得到的所述两幅平面图像对应的特征点对更加精确。

本申请的一实施例中，若相邻的两幅平面图像A和B对应的空间球面图像之间所有的特征点对为集合M，所述集合M中包括了至少两组特征点对，在初始化内点的个数p为零和内点的集合P为空后，所述步骤S121首先每次从所有的特征点对对应的集合M中随机选取两组特征点对Ma和Mb，通过所述选取的两组特征点对Ma和Mb计算得到相邻的两幅平面图像对应的空间球面图像的相对旋转角度(Roll M)和相对平移位置(Yaw M,Pitch M)}；接着所述步骤S121按照对应的该相对旋转角度(Roll M)和相对平移位置(Yaw M,Pitch M)}，在所述空间球面上移动所述相邻的两幅平面图像对应的空间球面图像中的其中一幅空间球面图像；然后计算所述集合M中所述选取的两组特征点对Ma和Mb之外的剩余的特征点对中的空间球面距离小于预设空间球面距离阈值L的个数n，其中，该所述集合M中的该n个特征点对称为内点，所述集合M中的剩余的特征点对称为外点；最后，所述步骤S121判断本次的所述集合M中所述选取的两组特征点对Ma和Mb之外剩余的特征点对中空间球面距离小于预设空间球面距离阈值L的特征点对的个数n是否大于所述内点的个数p，若是，则本次选取的两组特征点对Ma和Mb计算得到的剩余的特征点对中的空间球面距离小于预设空间球面距离阈值L的个数n对应的内点集合更具有代表性，则将本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值L的特征点对的个数n及内点的集合更新为所述内点的个数p(即p＝n)和内点的集合(即集合P＝内点个数为n时对应的特征点对的集合)；若否，本次不更新内点的个数p和内点的集合P，并继续循环执行下一次基于随机选取所述集M中的两组特征点对来计算空间球面距离并判断的过程，直到达到连续累计预设次数K没有进行所述内点的个数p和内点的集合P的更新，将最终内点的集合作为过滤后的特征点对，达到排除所述相邻的两幅平面图像对应的空间球面图像的所有特征点对中的错误的和/或误差较大的特征点对(即所述集合M中的外点)的目的，使得得到的所述两幅平面图像对应的空间球面图像在所述空间球面上的所有的特征点对更加精确。

在所述步骤S121中得到所述过滤后的特征点对之后，采用RANSAC算法遍历并随机选取所述过滤后的特征点对中的两组特征点对，来计算对应的两幅空间球面图像的相对旋转角度和相对平移位置，进而得到优化后的更加准确的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置。

更进一步地，所述步骤S121中的基于所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置，优选得到相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，具体包括如下步骤：

首先，对于每次所述选取的两组特征点对之外剩余的特征点对，按照所述选取的两组特征点对对应的相对旋转角度和相对平移位置进行移动，计算所述剩余的特征点对移动后的空间球面距离；

接着，对所有的所述空间球面距离进行累加求和，确定每次所述选取的两组特征点对对应的空间球面配准误差值；

最后，选取最小空间球面配准误差值对应的所述相对旋转角度和相对平移位置，作为所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，通过基于空间球面距离来确定的空间球面配准误差值，不仅避免了在一帧视频中的原始的平面图像或该平面图像对应的平面经纬图由于不同位置的畸变不同导致的特征点对的匹配误差变化，还保证了得到的所述两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置的准确度和稳定度。本申请一实施例中，所述步骤S121首先通过所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的所有特征点对中的两组特征点对，计算得到所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置；接着，对于每次所述选取的两组特征点对之外剩余的特征点对，按照所述选取的两组特征点对对应的相对旋转角度和相对平移位置进行移动，计算所述剩余的特征点对移动后的空间球面距离Δd；然后假设所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的特征点对有N个，则对所有的所述空间球面距离进行累加求和，确定每次所述选取的两组特征点对对应的空间球面配准误差值

其中，所述Δd_i为所述选取的两组特征点对之外剩余的特征点对中的第i个特征点对在所述空间球面上移动后的空间球面距离；

若所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的特征点对有N个，则任意遍历选取所述特征点对中的两组特征点对来计算得到对应的空间球面配准误差值，则可以得到个空间球面配准误差值；最后，从遍历选取所有的特征点对中的任意两组特征点对得到的个空间球面配准误差值中选取最小空间球面配准误差值ΔP_min对应的所述相对旋转角度(Roll min)和相对平移位置(Yaw min,Pitchmin)，作为所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，通过基于空间球面距离来确定的空间球面配准误差值，不仅避免了在一帧视频中的原始的平面图像或该平面图像对应的平面经纬图由于不同位置的畸变不同导致的特征点对的匹配误差变化，还保证了得到的所述两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置的准确度和稳定度。

进一步地，在所述步骤S121中的基于最小空间球面配准误差值对应的相对旋转角度和相对平移位置，得到更加准确的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置之后，为了得到更加准确且最优的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，所述步骤S121还包括：

基于非线性最小二乘算法对相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置进行优化，得到优化后的空间球面配准误差值及其对应的优化后的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，保证了优化后得到的所述相邻的两幅平面图像的所述相对旋转角度和相对平移位置更加准确，进而减少了后续基于所述相对旋转角度和相对平移位置进行一帧视频中的所有的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的配准误差。

需要说明的是，所述非线性最小二乘算法可以是包括但不限于包括LM算法(Levenberg-Marquard算法，列文伯格-马夸尔特法算法)。在本申请的一优选的实施例中，将所述非线性最小二乘算法优选为所述LM算法。当然，所述LM算法仅为所述非线性最小二乘算法的一优选实施例，其他现有或今后的所述非线性最小二乘算法如可适用于本申请，都应包含在本申请以内。

本申请一实施例中，在所述步骤S12中完成了对一帧视频中的每一幅空间球面图像在所述空间球面上进行的配准之后，还采用所述LM算法对基于最小空间球面配准误差值ΔP_min对应的相对旋转角度(Roll min)和相对平移位置(Yaw min,Pitch min)，得到的更加准确的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度(Roll min)和相对平移位置(Yaw min,Pitch min)做进一步的优化，得到优化后的空间球面配准误差值ΔP_minopt及其对应的优化后的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度(Roll minopt)和相对平移位置(Yaw minopt,Pitchminopt)，使得按照该优化后的相对旋转角度(Roll minopt)和相对平移位置(Yaw minopt,Pitch minopt)旋转移动后，所述相邻的两幅平面图像对应的空间球面图像在所述球面上的所有特征点对的空间球面距离累加达到优化后的最小值(即优化后的空间球面配准误差值ΔP_minopt)，不仅保证了优化后得到的所述相邻的两幅平面图像的所述相对旋转角度和相对平移位置更加准确，还减少了后续基于所述相对旋转角度和相对平移位置进行一帧视频中的所有的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的配准误差。

进一步地，所述步骤S121中的所述每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的多套相对旋转角度和相对平移位置，具体包括：

每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对；

设所述相邻的两幅平面图像对应的空间球面图像分别为图A和图B，其中，图A的点A1和图B的点B1，图A的点A2和图B的点B2是分别选取的两组特征点对，则先在球面上移动图B使B1和A1重合，再绕A1和B1旋转图B，使得A1A2，B1B2两个弧线重合后，沿重合弧线移动图B，以使弧线A1A2和B1B2的中心重合后，得到所述两组特征点对对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置。

在本申请的实施例中，对于所述相邻的两幅平面图像对应的空间球面图像A和B的所有的特征点对，可以由所述所有的特征点对中的任意两组特征点对来确定所述相邻的两幅平面图像在所述空间球面上的相对旋转角度和相对平移位置。例如，如图4所示的设图A的点A1(x1,y1)和图B的点B1(X1,Y1)，图A的点A2(x2,y2)和图B的点B2(X2,Y2)是两组匹配的特征点对，则可以先在所述空间球面上移动图B使B1和A1重合，然后再绕A1和B1重合所在的点B1(A1)旋转图B，使得A1A2，B1B2两个弧线重合，最后沿该重合弧线移动图B，使得弧线A1A2和B1B2中心重合。由于弧线A1A2和B1B2的空间球面距离可能不同，故所述相邻的两幅平面图像对应的空间球面图像的空间球面配准过程以两条弧线A1A2和B1B2的中心重合为配准完成，即不保证两条弧线A1B1和A2B2两个特征点对的完全重合。基于弧线A1A2和B1B2中心重合后，得到所述两组特征点对对应的所述相邻的两幅平面图像对应的空间球面图像A和B的相对旋转角度(Roll)和相对平移位置(Yaw,Pitch)，其中所述图A和图B的配准结果表示为：以该图B的中心点O相对于该图A的中心点的相对平移位置(Yaw,Pitch)和图B绕自身中的中心点O的相对旋转角度(Roll)，如图5所示。

进一步地，在所述步骤S12中对一帧视频中的所有所述平面图像或者对应的空间球面图像在所述空间球面中进行配准之后，所述步骤S13继续将所述每一幅配准后的空间球面图像展开为对应的平面经纬图，对所述每一幅平面经纬图进行拼接得到对应一帧视频的全景图像，具体包括步骤S131、步骤S132和步骤S133，其中，

首先所述步骤S131，将所述每一幅配准后的空间球面图像展开为对应的平面经纬图；例如，通过空间球面到平面经纬图的映射关系，将空间球面上不同位置的每一幅空间球面图像映射到平面经纬图上的对应区域，得到一帧视频中的所有空间球面图像在平面经纬图上展开的平面经纬图，其中，映射过程按照空间球面上每一幅空间球面图像的各像素点的经纬度，将空间球面上的像素点对应的展开到平面经纬图上，得到一帧视频中的每一幅配准后的空间球面图像展开后对应的平面经纬图。

接着所述步骤S132，基于图割拼接法对对应于任意相邻的两幅平面图像的平面经纬图进行拼接，确定所述两幅平面经纬图的重叠区域的分界线，得到所有平面经纬图的重叠区域的分界线；例如，对于一帧视频中的所有空间球面图像对应展开的平面经纬图，逐个将所述平面经纬图进行拼接；即若一帧视频中的所有空间球面图像对应展开的平面经纬图有W个，首先将平面经纬图1和平面经纬图2进行拼接得到拼接图像1-2，然后再将拼接图像1-2和平面经纬图3进行拼接，得到拼接图像1-2-3，如此循环，逐个将所有的平面经纬图进行拼接，得到所述两幅平面经纬图的重叠区域的分界线，并得到所有平面经纬图的重叠区域的分界线；如图6和图7相邻的两幅平面图像的平面经纬图，采用图割拼接法从图6和图7的重叠区域得到一个分界线，将两幅图拼接为一幅拼接图像，该拼接图像不仅分别包括图6和图7特有的图像部分，还包括有图6和图7的重叠区域但该重叠区域已去冗余，图6和图7拼接后得到的拼接图像如图8所示，实现了所述一帧视频中的任意相邻的两幅平面图像的平面经纬图的拼接过程。

最后所述步骤S133，根据所述所有平面经纬图的重叠区域的分界线，基于高斯金字塔融合法对所有所述平面经纬图进行融合，得到对应一帧视频的全景图像。例如，对于一帧视频中的所有平面经纬图中的任意两幅平面经纬图之间的重叠区域的分界线，可以采用高斯金字塔融合法对进行融合，使得得到视觉效果更好的拼接图像，如图9所示为将拼接图像8中的分界线采样高斯金字塔融合法进行融合之后的拼接图像，如此循环的处理所有相邻两幅平面经纬图拼接后的拼接图像，则可以得到视觉效果更好的对应一帧视频的全景图像。不仅实现了对任意相邻的两幅平面图像的平面经纬图进行拼接，还实现了基于高斯金字塔融合法对所有所述平面经纬图之间的重叠区域的分界线进行融合处理，使得任意相邻的两幅平面图像的平面经纬图的重叠区域的分界线视觉效果更好，进一步地保证了基于一帧视频中的所有平面图像对应的平面经纬图拼接融合得到的对应一帧视频的全景图像的视觉效果更好。

在对视频中的每一帧视频中的所有平面图像经过如所述步骤S11至所述步骤S13的操作之后，即可得到视频中的每一帧视频对应的全景图像，从而实现基于空间球面的全景视频的拼接融合。

更进一步地，为了减少一帧视频中的任意相邻的两幅平面图像由于拍摄原因导致的色彩偏差对拼接分界线的影响，所述步骤S132基于图割拼接法对对应于任意相邻的两幅平面图像的平面经纬图进行拼接，确定所述两幅平面经纬图的重叠区域的分界线，得到所有平面经纬图的重叠区域的分界线之前，还可以包括：

计算所述相邻的两幅平面图像对应的平面经纬图的重叠区域的色彩平均差值，基于所述色彩平均差值分别对所述两幅平面经纬图的重叠区域的每个像素点的色彩进行补偿，减少了一帧视频中的任意相邻的两幅平面图像由于拍摄原因导致的色彩偏差，使得得到的所述相邻的两幅平面图像的平面经纬图对应的重叠区域的分界线更加准确合理，进一步保证后续基于一帧视频中的所有平面图像对应的平面经纬图拼接融合得到的对应一帧视频的全景图像的视觉效果更好。

例如，在所述步骤S132基于图割拼接法对对应于任意相邻的两幅平面图像的平面经纬图进行拼接之前，首先计算任意相邻的两幅平面图像对应的平面经纬图的重叠区域的色彩平均差值D，按照该色彩平均差值D对所述重叠区域的每个像素点的色彩进行补偿，使得相邻的两幅平面图像对应的平面经纬图的重叠区域的色彩平均差值为0。具体色彩补偿过程为，若任意相邻的两幅平面图像的平面经纬图为图A和图B，则对平面经纬图A和平面经纬图B计算重叠区域的色彩差值A-B并求均值得到色彩平均差值D，对平面经纬图A的重叠区域的每个像素点减去D/2，对平面经纬图B的重叠区域的每个像素点加上D/2，使得平面经纬图A和平面经纬图B的重叠区域的色彩平均差值为0，然后，所述步骤S132使用图割拼接法计算得到所述重叠区域的分界线。减少了一帧视频中的任意相邻的两幅平面图像由于拍摄原因导致的色彩偏差，使得得到的所述相邻的两幅平面图像对应的平面经纬图的重叠区域的分界线更加准确合理，进一步保证后续基于一帧视频中的所有平面图像对应的平面经纬图拼接融合得到的对应一帧视频的全景图像的视觉效果更好。

更进一步地，所述步骤S133根据所述所有平面经纬图的重叠区域的分界线，基于高斯金字塔融合法对所述所有平面经纬图进行融合，得到对应一帧视频的全景图像，具体还包括如下步骤：

首先，对所述所有平面经纬图建立高斯金字塔，确定所述所有平面经纬图金字塔的各层图像；

接着，根据所述所有平面经纬图的重叠区域的分界线，基于位置标记的方式对所述全景图像中的像素点的位置来源进行标记，以便后续基于该位置来源标记对所述平面经纬图进行融合，并建立图像金字塔，得到带有像素点的位置来源标记的掩模图像金字塔的各层掩模图像；

最后，基于所述所有平面经纬图金字塔和掩模图像金字塔进行金字塔合并和高斯金字塔重建，得到全景图像金字塔，选取所述全景图像金字塔最底层的全景图像作为所述对应一帧视频的全景图像，达到了基于高斯金字塔融合法对所述所有平面经纬图进行融合的目的，使得基于高斯金字塔融合法融合之后得到的对应一帧视频的全景图像的视觉效果更好。

本申请的一实施例中，在所述步骤S13中对视频中每一帧视频中的每一幅空间球面图像对应的平面经纬图进行拼接融合的过程中，采用位置标记的方式，将每一幅平面经纬图逐个进行拼接融合的过程为：若其中一帧视频中的空间球面图像对应的平面经纬图有W个，为了对所有的平面经纬图进行拼接融合，首先拼接平面经纬图N1和N2，得到拼接后的拼接图像N12和mask(掩模)图像M12，mask图像M12中用数值1和2来分别表示拼接后图像对应的位置像素值来源于平面经纬图N1和平面经纬图N2，然后再将拼接图像N12和平面经纬图N3进行拼接，得到拼接后的拼接图像N123和mask图像M123，mask图像M123中用数值1，2和3来表示拼接后的拼接图像N123中对应的位置像素值分别来源于平面经纬图N1，平面经纬图N2和平面经纬图N3，当W＝4时，逐个拼接该4个平面经纬图的流程示意图如图10所示；在拼接完成后得到带有位置像素值来源的最终的mask图像M1234如图11所示，其中，用数值1到W来表示对应位置像素值分别来源于平面经纬图1到平面经纬图N。

接着本申请的上述实施例，所述步骤S133在进行一帧视频中的每一幅平面经纬图进行的多图像之间的高斯金字塔融合时，对每一幅原始平面经纬图1到平面经纬图W建立高斯金字塔，得到一帧视频中的所有平面经纬图对应的所述平面经纬图金字塔如图12所示，其中，所述平面经纬图图像金字塔的第1层为所述原始平面经纬图图像，对得到的带有像素点的位置来源标记的mask图像同样建立图像金字塔，得到带有像素点的位置来源标记的掩模图像金字塔的各层掩模图像如图13所示；接着按照高斯金字塔的建立流程，高斯金字塔的顶层图像等于图像金字塔的顶层图像。对平面经纬图1到平面经纬图W的高斯金字塔的每一层，按照对应层的mask图像，采用mask图像中各区域指定的图像中对应位置的像素值作为来源，对一副和掩模图像同样大小的结果图像的对应各区域进行填充，合并出所述掩模图像金字塔的对应层结果图像，合并过程如图14所示，所有所述对应层结果图像组成的金字塔成为结果金字塔；最后对所述结果金字塔按照高斯金字塔图像重建过程，重建得到视频中的对应一帧视频的全景图像，重建过程如图15所示，最终的视频中的对应一帧视频的全景图像为所述结果金字塔重建后得到的全景图像金字塔的第1层图像。其中，如图12、图13和图15中的实心箭头用于指示高斯模糊下采样，即对对应的图像做高斯模糊然后再进行下采样；虚线箭头用于指示高斯模糊上采样，即对对应的图像做上采样然后再进行高斯模糊；所述减号与等号的组合用于指示对对应的图像进行相减；所述加号与等号的组合用于指示对对应的图像进行相加。

图16示出本申请一个方面的基于空间球面的全景视频拼接设备的结构示意图，该设备包括：映射确定装置11、配准装置12和展开拼接装置13，其中，

所述映射确定装置11，用于将视频中的一帧视频中的每一幅平面图像映射到空间球面，以得到视频中的一帧视频中的每一幅平面图像对应的空间球面图像；接着，在所述映射确定装置11中确定出所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对，进而可以得到所述特征点对在空间球面的位置；

然后，所述配准装置12用于基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在所述空间球面上进行配准，避免了现有技术中的将所述平面图像展开为平面经纬图时引入的畸变，使得将所述空间球面图像进行配准得到的配准结果更加准确；

最后，所述展开拼接装置13用于将所述每一幅配准后的空间球面图像展开为对应的平面经纬图，对所述每一幅平面经纬图进行拼接得到对应一帧视频的全景图像，实现了将视频中的每一帧视频中的所有平面图像准确地展开拼接为全景图像。

需要说明的是，对于所述视频中的一帧视频中的任意两幅平面图像，若两幅平面图像之间有匹配的特征点对，则认为这两幅平面图像为所述相邻的两幅平面图像。

进一步地，为了得到更加精确地所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对，所述映射确定装置11用于：

首先，所述映射确定装置11对相邻的两幅平面图像或对应的空间球面图像进行特征匹配，得到匹配的特征点对集合{AB}；然后，所述映射确定装置11分别对这相邻的两幅平面图像或对应的空间球面图像进行自身的特征匹配，得到自身匹配的特征点对集合{AA}和{BB}；其中，特征点对中的两个点是同一个点时称为自匹配，则特征点对中的两个点不是同一个点时称为非自匹配，接着，所述映射确定装置11从自身匹配的特征点对集合{AA}和{BB}中提取非自匹配的特征点集合{a}和{b}；最后，所述映射确定装置11将所有和特征点集合{a}和/或{b}中的特征点相关的特征点对从匹配的特征点对集合{AB}中移除，得到所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对，达到了对所述相邻的两幅平面图像或对应的空间球面图像在对应的所述空间球面上的特征点对进行过滤的目的，减少了任意相邻的两幅平面图像或对应的空间球面图像之间的特征点进行错误匹配的比率，使得得到的所述相邻的两幅平面图像或对应的空间球面图像的特征点对更加准确有效。

在本申请的一实施例中，对于所述视频中的一帧视频中的需要进行特征匹配的任意相邻的两幅平面图像A和B，首先所述映射确定装置11对相邻的两幅平面图像的图A和图B进行图像之间的特征匹配，得到匹配的特征点对集合{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A1B3,A3B4}；然后所述映射确定装置11分别对图A进行所述图A与所述图A之间的自身匹配和对图B进行所述图B与所述图B之间的自身匹配，分别得到所述图A对应的自身匹配的特征点对集合{AA}＝{A1A1,A2A2,A3A3,A4A4,A5A5,A6A6,A1A3}和所述图B对应的自身匹配的特征点对集合{BB}为空；接着，所述映射确定装置11从所述图A自身匹配的特征点对集合{AA}中提取非自匹配的特征点集合，得到所述图A对应的非自匹配的特征点集合{a}＝{A1,A3}；最后，所述映射确定装置11从匹配的特征点对集合{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A1B3,A3B4}中移除所有和特征点集合{a}＝{A1,A3}中的特征点相关的特征点对，得到所述相邻的两幅平面图像图A和图B匹配的至少两组特征点对{A2B2,A4B4,A5B5,A6B6,}。达到了对所述相邻的两幅平面图像或对应的空间球面图像在对应的所述空间球面上的特征点对进行过滤的目的，减少了任意相邻的两幅平面图像或对应的空间球面图像之间的特征点进行错误匹配的比率，使得得到的所述相邻的两幅平面图像或对应的空间球面图像的特征点对更加准确有效。

在本申请的一实施例中，对于所述视频中的一帧视频中的需要进行特征匹配的任意相邻的两幅平面图像A和B，首先所述映射确定装置11对相邻的两幅平面图像的图A和图B进行图像之间的特征匹配，得到匹配的特征点对集合{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A1B3,A3B4}；然后，所述映射确定装置11分别对图A进行所述图A与所述图A之间的自身匹配和对图B进行所述图B与所述图B之间的自身匹配，分别得到所述图A对应的自身匹配的特征点对集合{AA}为空和所述图B对应的自身匹配的特征点对集合{BB}＝{B1B1,B2B2,B3B3,B4B4,B5B5,B6B6,B3B4}；接着，所述映射确定装置11从所述图B自身匹配的特征点对集合{BB}中提取非自匹配的特征点集合，得到所述图B对应的非自匹配的特征点集合{b}＝{B3,B4}；最后所述映射确定装置11从匹配的特征点对集合{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A1B3,A3B4}中移除所有和特征点集合{b}＝{B3,B4}中的特征点相关的特征点对，得到所述相邻的两幅平面图像图A和图B匹配的至少两组特征点对{A1B1,A2B2,A5B5,A6B6}。达到了对所述相邻的两幅平面图像或对应的空间球面图像在对应的所述空间球面上的特征点对进行过滤的目的，减少了任意相邻的两幅平面图像或对应的空间球面图像之间的特征点进行错误匹配的比率，使得得到的所述相邻的两幅平面图像或对应的空间球面图像的特征点对更加准确有效。

在本申请的一实施例中，对于所述视频中的一帧视频中的需要进行特征匹配的任意相邻的两幅平面图像A和B，首先所述映射确定装置11对相邻的两幅平面图像的图A和图B进行图像之间的特征匹配，得到匹配的特征点对集合{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A1B3,A3B4}；然后所述映射确定装置11分别对图A进行所述图A与所述图A之间的自身匹配和对图B进行所述图B与所述图B之间的自身匹配，分别得到所述图A对应的自身匹配的特征点对集合{AA}＝{A1A1,A2A2,A3A3,A4A4,A5A5,A6A6,A1A3}和所述图B对应的自身匹配的特征点对集合{BB}＝{B1B1,B2B2,B3B3,B4B4,B5B5,B6B6,B3B4}；接着，所述映射确定装置11分别从所述图A和所述图B自身匹配的特征点对集合{AA}和{BB}中提取非自匹配的特征点集合，得到所述图A对应的非自匹配的特征点集合{a}＝{A1，A3}和所述图B对应的非自匹配的特征点集合{b}＝{B3，B4}；最后，所述映射确定装置11从匹配的特征点对集合{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,A1B3,A3B4}中移除所有和特征点集合{a}＝{A1,A3}和{b}＝{B3,B4}中的特征点相关的特征点对，得到所述相邻的两幅平面图像图A和图B匹配的至少两组特征点对{A2B2,A5B5,A6B6}。达到了对所述相邻的两幅平面图像或对应的空间球面图像在对应的所述空间球面上的特征点对进行过滤的目的，减少了任意相邻的两幅平面图像或对应的空间球面图像之间的特征点进行错误匹配的比率，使得得到的所述相邻的两幅平面图像或对应的空间球面图像的特征点对更加准确有效。

更进一步地，为了得到更加准确地所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对，所述映射确定装置11具体包括：映射单元111和第一确定单元112，其中，

所述映射单元111，先将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，所述空间球面图像以平面经纬图形式表示；

所述第一确定单元112，接着基于空间球面特征匹配算法，对所述每一相邻的两幅平面图像对应的平面经纬图进行特征点匹配，得到所述每一相邻的两幅平面图像在对应的平面经纬图上的特征点对，进而得到所述特征点对在空间球面上的位置，避免了现有技术中采用普通广角镜头或鱼眼镜头下的图像保存为所述平面图像时镜头中心和边缘处的畸变差异导致的特征点对匹配误差，使得得到的所述每一相邻的两幅平面图像或空间球面图像的特征点对更加准确有效。

本申请一实施例中，所述映射单元111首先将一帧视频中原始的每一幅平面图像按照镜头类型映射到空间球面，得到以平面经纬图形式表示的空间球面图像；接着，所述第一确定单元112将所述平面经纬图作为输入图像，使用空间球面特征匹配(Sphere SIFT)算法，计算得到所述每一相邻的两幅平面图像在对应的平面经纬图上匹配的特征点对，再按照平面图像映射到平面经纬图的反向映射，将在所述空间球面上计算得到的所述每一相邻的两幅平面图像在对应的平面经纬图上匹配的特征点对的位置坐标映射到原始的每一相邻的两幅平面图像上，并基于原始的每一相邻的两幅平面图像上的特征点对，得到所述特征点对在空间球面上的位置。所述映射确定装置11中基于空间球面特征匹配算法将所述平面图像映射至所述空间球面，并基于该空间球面进行特征匹配，避免了现有技术中采用普通广角镜头或鱼眼镜头下的图像保存为所述平面图像时镜头中心和边缘处的畸变差异导致的特征点对匹配误差，使得得到的所述每一相邻的两幅平面图像或空间球面图像的特征点对更加准确有效。

接着本申请的上述实施例，所述映射确定装置11中按照平面图像的镜头类型将所述平面图像映射到空间球面表面，并将映射到原始的每一相邻的两幅平面图像上的特征点对的位置从所述平面图像上的位置映射到所述空间球面表面的位置。其中，所述平面图像根据拍摄时的镜头类型，和所述平面图像上的每个像素点的坐标和实际的视球空间球面上对应点的位置坐标之间存在一个平面-球面映射关系，按照该平面-球面映射关系将所述平面图像映射到视球空间球面，并将映射到原始的每一相邻的两幅平面图像上的特征点对的位置的坐标再次映射到视球空间球面的空间坐标上，该视球空间球面对应的球半径取1。下面以最常用的普通广角镜头和等距鱼眼镜头为例进行说明，其他类型的镜头类型按照镜头的光学模型，亦可以得到类似的映射关系；其中，对于普通广角镜头，将所述平面图像中的每一像素点对应的坐标映射到所述视球空间球面的空间坐标的映射关系如图2所示，对于等距鱼眼镜头，将所述平面图像中的每一像素点对应的坐标映射到视球空间球面的空间坐标的映射关系如图3所示。

进一步地，本申请实施例中的所述映射确定装置11用于：采用平面特征匹配算法，对所述每一相邻的两幅平面图像进行特征点匹配，以得到所述每一相邻的两幅平面图像的特征点对；并将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，并得到所述特征点对在空间球面上的位置，实现了对所述每一相邻的两幅平面图像进行特征点匹配并基于匹配的特征点对得到了对应的在空间球面上的特征点对的位置。

本申请的实施例中，所述平面特征匹配算法不仅可以包括SIFT算法(Scale-invariant feature transform算法，尺度不变特征变换算法)、SURF算法(Speed-uprobust features算法，加速健壮特征算法)以及ORB算法(ORiented Brief算法)，还可以包括使用开源的代码库，例如图像拼接SIFT算法库(autopano-sift库)或全景摄影图像拼接软件(hugin)中的cpfind库。当然，其他今后可能出现的所述平面特征匹配算法如可使用于本申请，则包括在本申请内。

本申请的实施例中可以通过每一相邻的两幅平面图像匹配得到的所有的特征点对来计算所述视频中的一帧视频中的每一相邻的两幅平面图像或平面图像映射至所述空间球面的空间球面图像在所述空间球面的相对旋转角度和相对平移位置，具体实施例如下所示。

进一步地，所述配准装置12具体包括：第二确定单元121、初始单元122和配准单元123，其中，

所述第二确定单元121，首先基于所述映射到空间球面的特征点对及其位置，确定所述每一相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置；

接着所述初始单元122，将一帧视频中所有空间球面图像中的一幅空间球面图像的中心位置置于所述空间球面的原点位置；

最后所述配准单元123，根据处于所述原点位置的空间球面图像与所述一帧视频中其它空间球面图像的所述相对旋转角度和相对平移位置，得到所述一帧视频中所有空间球面图像在所述空间球面上的位置，得到配准后的空间球面图像，实现了基于任意相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置对所述一帧视频中所有平面图像对应的空间球面图像在所述空间球面上的配准。

本申请的实施例中，首先所述第二确定单元121基于相邻的两幅平面图像映射到空间球面的所有特征点对及其位置中，由其中任意两组特征点对便可确定出所述每一相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置；

接着，所述初始单元122通过将一帧视频中所有空间球面图像中的一幅空间球面图像N1的中心位置置于所述空间球面的原点位置：(y＝0,p＝0,r＝0)；

最后，所述配准单元123根据处于所述原点位置的空间球面图像N1与所述一帧视频中其它空间球面图像(例如，空间球面图像N2、空间球面图像N3、空间球面图像N4……和空间球面图像Nk)的相对旋转角度和相对平移位置及所有所述其他空间球面图像之间的每相邻的两幅空间球面图像之间的相对旋转角度和相对平移位置，来确定所述一帧视频中的其他空间球面图像在所述空间球面上的位置，(例如，以N1的中心位置置于所述空间球面的原点处，若N1与N2相邻，N2与N3相邻、N3与N4相邻，……直至N(k-1)与Nk相邻，则以N1为中心位置，基于N1与N2之间的相对旋转角度和相对平移位置、N2与N3之间的相对旋转角度和相对平移位置、N3与N4之间的相对旋转角度和相对平移位置、……直至N(k-1)与Nk之间的相对旋转角度和相对平移位置，来确定出所述一帧视频中的所有空间球面图像在所述空间球面上的位置。)，以得到配准后的空间球面图像，实现了基于任意相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置对所述一帧视频中所有平面图像对应的空间球面图像在所述空间球面上的配准。

更进一步地，为了得到更加准确地所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，所述第二确定单元121具体用于：

首先，每次从所述相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的这两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，循环将所有的所述特征点对进行两两选择，得到多次选取的两组特征点对对应的相对旋转角度和相对平移位置；

然后对所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置进行优选，以优选得到所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，保证了得到的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置为所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置中的最佳的且最准确的所述相对旋转角度和相对平移位置。

例如，若所述相邻的两幅平面图像A和B对应的空间球面图像的特征点对为{AB}＝{A2B2,A5B5,A6B6}，每次从特征点对{AB}＝{A2B2,A5B5,A6B6}中随机选取两组特征点对，则若随机选取的两组特征点对为A2B2和A5B5，得到对应的所述相对旋转角度(Roll1)和相对平移位置(Yaw1,Pitch1)，则若随机选取的两组特征点对为A2B2和A6B6，得到对应的所述相对旋转角度(Roll2)和相对平移位置(Yaw2,Pitch2)，则若随机选取的两组特征点对为A5B5和A6B6，得到对应的所述相对旋转角度(Roll3)和相对平移位置(Yaw3,Pitch3)，然后对所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置进行优选，若上述任意两组特征点对得到的三组所述相对旋转角度和相对平移位置{(Roll1),(Yaw1,Pitch1)}、{(Roll2),(Yaw2,Pitch2)}、{(Roll3),(Yaw3,Pitch3)}中进行优选得到的{(Roll2)，(Yaw2,Pitch2)}为优选出来的所述相对旋转角度和相对平移位置，则优选得到所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置为由所述两组特征点对为A2B2和A6B6计算得到的相对旋转角度(Roll2)和相对平移位置(Yaw2,Pitch2)，保证了得到的所述相邻的两幅平面图像A和B对应的空间球面图像在所述空间球面图像上的上述相对旋转角度和相对平移位置的准确度。

进一步地，为了在所有的所述特征点对中进行多次选择两组特征点对之前得到更加准确有效地所有的所述特征点对，所述第二确定单元121具体用于：

首先，在采用RANSAC算法(随机抽象一致性算法)每次从相邻的两幅平面图像对应的空间球面图像的所有的特征点对中随机选取两组特征点之前，对相邻的两幅平面图像对应的空间球面图像的所有的特征点对进行过滤，以得到过滤后的特征点对，使得得到的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的特征点对更加准确；

例如，若所述相邻的两幅平面图像对应的空间球面图像的所有的特征点对{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,……,AnBn}，则所述配准装置121对相邻的两幅平面图像对应的空间球面图像的所有的特征点对{AB}＝{A1B1,A2B2,A3B3,A4B4,A5B5,A6B6,……,AnBn}进行过滤，以得到过滤后的特征点对{AB}＝{A2B2,A5B5,A6B6}，使得得到的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的特征点对{AB}＝{A2B2,A5B5,A6B6}更加准确。

然后，再每次从更加准确的所述过滤后的特征点对中随机选取两组特征点对，并基于每次选取的两组特征点对计算对应的两幅空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，以得到更加准确的多次选取的两组特征点对对应的相对旋转角度和相对平移位置。例如，每次从更加准确的所述过滤后的特征点对{AB}＝{A2B2,A5B5,A6B6}中随机选取两组特征点对，计算得到更加准确的多次选取的两组特征点对对应的相邻的两幅平面图像对应的空间球面图像在所述空间球面上的所述相对旋转角度和相对平移位置{(Roll1),(Yaw1,Pitch1)}、{(Roll2),(Yaw2,Pitch2)}、{(Roll3),(Yaw3,Pitch3)}。

更进一步地，在采用RANSAC算法每次从相邻的两幅平面图像对应的空间球面图像的所有的特征点对中随机选取两组特征点之前，所述第二确定单元用于121用于初始化内点的个数和内点的集合后，重复如下步骤，直至所述内点的个数和内点的集合达到连续累计预设次数未更新，将最终内点的集合作为所述过滤后的特征点对，具体的重复步骤包括：

首先，从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述选取的两组特征点对计算对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置；

接着，基于所述对应的相对旋转角度和相对平移位置计算本次所述特征点对中所述选取的两组特征点对之外的剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数；

最后，判断本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数是否大于所述内点的个数，若是，则将本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数及内点的集合更新为所述内点的个数和内点的集合；若否，本次不更新内点的个数和内点的集合，实现了基于所述特征点对的空间球面距离与所述预设空间球面距离阈值的大小确定的所述内点的个数来对所述特征点对进行过滤，达到排除所述相邻的两幅平面图像对应的空间球面图像的所有特征点对中的错误的和/或误差较大的特征点对的目的，使得得到的所述两幅平面图像对应的特征点对更加精确。

本申请的一实施例中，若相邻的两幅平面图像A和B对应的空间球面图像之间所有的特征点对为集合M，所述集合M中包括了至少两组特征点对，在初始化内点的个数p为零和内点的集合P为空后，所述第二确定单元用于121首先每次从所有的特征点对对应的集合M中随机选取两组特征点对Ma和Mb，通过所述选取的两组特征点对Ma和Mb计算得到相邻的两幅平面图像对应的空间球面图像的相对旋转角度(Roll M)和相对平移位置(Yaw M,PitchM)}；接着所述第二确定单元用于121按照对应的该相对旋转角度(Roll M)和相对平移位置(Yaw M,Pitch M)}，在所述空间球面上移动所述相邻的两幅平面图像对应的空间球面图像中的其中一幅空间球面图像；然后计算所述集合M中所述选取的两组特征点对Ma和Mb之外的剩余的特征点对中的空间球面距离小于预设空间球面距离阈值L的个数n，其中，该所述集合M中的该n个特征点对称为内点，所述集合M中的剩余的特征点对称为外点；最后，所述第二确定单元用于121判断本次的所述集合M中所述选取的两组特征点对Ma和Mb之外剩余的特征点对中空间球面距离小于预设空间球面距离阈值L的特征点对的个数n是否大于所述内点的个数p，若是，则本次选取的两组特征点对Ma和Mb计算得到的剩余的特征点对中的空间球面距离小于预设空间球面距离阈值L的个数n对应的内点集合更具有代表性，则将本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值L的特征点对的个数n及内点的集合更新为所述内点的个数p(即p＝n)和内点的集合(即集合P＝内点个数为n时对应的特征点对的集合)；若否，本次不更新内点的个数p和内点的集合P，并继续循环执行下一次基于随机选取所述集M中的两组特征点对来计算空间球面距离并判断的过程，直到达到连续累计预设次数K没有进行所述内点的个数p和内点的集合P的更新，将最终内点的集合作为过滤后的特征点对，达到排除所述相邻的两幅平面图像对应的空间球面图像的所有特征点对中的错误的和/或误差较大的特征点对(即所述集合M中的外点)的目的，使得得到的所述两幅平面图像对应的空间球面图像在所述空间球面上的所有的特征点对更加精确。

在所述第二确定单元用于121中得到所述过滤后的特征点对之后，采用RANSAC算法遍历并随机选取所述过滤后的特征点对中的两组特征点对，来计算对应的两幅空间球面图像的相对旋转角度和相对平移位置，进而得到优化后的更加准确的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置。

更进一步地，所述第二确定单元用于121具体用于：

首先，对于每次所述选取的两组特征点对之外剩余的特征点对，按照所述选取的两组特征点对对应的相对旋转角度和相对平移位置进行移动，计算所述剩余的特征点对移动后的空间球面距离；

接着，对所有的所述空间球面距离进行累加求和，确定每次所述选取的两组特征点对对应的空间球面配准误差值；

最后，选取最小空间球面配准误差值对应的所述相对旋转角度和相对平移位置，作为所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，通过基于空间球面距离来确定的空间球面配准误差值，不仅避免了在一帧视频中的原始的平面图像或该平面图像对应的平面经纬图由于不同位置的畸变不同导致的特征点对的匹配误差变化，还保证了得到的所述两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置的准确度和稳定度。本申请一实施例中，所述第二确定单元用于121首先通过所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的所有特征点对中的两组特征点对，计算得到所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置；接着，对于每次所述选取的两组特征点对之外剩余的特征点对，按照所述选取的两组特征点对对应的相对旋转角度和相对平移位置进行移动，计算所述剩余的特征点对移动后的空间球面距离Δd；然后假设所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的特征点对有N个，则对所有的所述空间球面距离进行累加求和，确定每次所述选取的两组特征点对对应的空间球面配准误差值

其中，所述Δd_i为所述选取的两组特征点对之外剩余的特征点对中的第i个特征点对在所述空间球面上移动后的空间球面距离；

若所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的特征点对有N个，则任意遍历选取所述特征点对中的两组特征点对来计算得到对应的空间球面配准误差值，则可以得到个空间球面配准误差值；最后，从遍历选取所有的特征点对中的任意两组特征点对得到的个空间球面配准误差值中选取最小空间球面配准误差值ΔP_min对应的所述相对旋转角度(Roll min)和相对平移位置(Yaw min,Pitchmin)，作为所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，通过基于空间球面距离来确定的空间球面配准误差值，不仅避免了在一帧视频中的原始的平面图像或该平面图像对应的平面经纬图由于不同位置的畸变不同导致的特征点对的匹配误差变化，还保证了得到的所述两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置的准确度和稳定度。

进一步地，在所述第二确定单元用于121用于基于最小空间球面配准误差值对应的相对旋转角度和相对平移位置，得到更加准确的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置之后，为了得到更加准确且最优的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，所述第二确定单元121还用于：

基于非线性最小二乘算法对相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置进行优化，得到优化后的空间球面配准误差值及其对应的优化后的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，保证了优化后得到的所述相邻的两幅平面图像的所述相对旋转角度和相对平移位置更加准确，进而减少了后续基于所述相对旋转角度和相对平移位置进行一帧视频中的所有的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的配准误差。

需要说明的是，所述非线性最小二乘算法可以是包括但不限于包括LM算法(Levenberg-Marquard算法，列文伯格-马夸尔特法算法)。在本申请的一优选的实施例中，将所述非线性最小二乘算法优选为所述LM算法。当然，所述LM算法仅为所述非线性最小二乘算法的一优选实施例，其他现有或今后的所述非线性最小二乘算法如可适用于本申请，都应包含在本申请以内。

本申请一实施例中，在所述配准装置12中完成了对一帧视频中的每一幅空间球面图像在所述空间球面上进行的配准之后，还采用所述LM算法对基于最小空间球面配准误差 值ΔP_min 对应的相对旋转角度(Roll min)和相对平移位置(Yaw min,Pitch min)，得到的更加准确的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度(Roll min)和相对平移位置(Yaw min,Pitch min)做进一步的优化，得到优化后的空间球面配准误差值ΔP_minopt及其对应的优化后的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度(Roll minopt)和相对平移位置(Yaw minopt,Pitchminopt)，使得按照该优化后的相对旋转角度(Roll minopt)和相对平移位置(Yaw minopt,Pitch minopt)旋转移动后，所述相邻的两幅平面图像对应的空间球面图像在所述球面上的所有特征点对的空间球面距离累加达到优化后的最小值(即优化后的空间球面配准误差值ΔP_minopt)，不仅保证了优化后得到的所述相邻的两幅平面图像的所述相对旋转角度和相对平移位置更加准确，还减少了后续基于所述相对旋转角度和相对平移位置进行一帧视频中的所有的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的配准误差。

进一步地，所述配准装置121具体用于：

每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对；

设所述相邻的两幅平面图像对应的空间球面图像分别为图A和图B，其中，图A的点A1和图B的点B1，图A的点A2和图B的点B2是分别选取的两组特征点对，则先在球面上移动图B使B1和A1重合，再绕A1和B1旋转图B，使得A1A2，B1B2两个弧线重合后，沿重合弧线移动图B，以使弧线A1A2和B1B2的中心重合后，得到所述两组特征点对对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置。

在本申请的实施例中，对于所述相邻的两幅平面图像对应的空间球面图像A和B的所有的特征点对，可以由所述所有的特征点对中的任意两组特征点对来确定所述相邻的两幅平面图像在所述空间球面上的相对旋转角度和相对平移位置。例如，如图4所示的设图A的点A1(x1,y1)和图B的点B1(X1,Y1)，图A的点A2(x2,y2)和图B的点B2(X2,Y2)是两组匹配的特征点对，则可以先在所述空间球面上移动图B使B1和A1重合，然后再绕A1和B1重合所在的点B1(A1)旋转图B，使得A1A2，B1B2两个弧线重合，最后沿该重合弧线移动图B，使得弧线A1A2和B1B2中心重合。由于弧线A1A2和B1B2的空间球面距离可能不同，故所述相邻的两幅平面图像对应的空间球面图像的空间球面配准过程以两条弧线A1A2和B1B2的中心重合为配准完成，即不保证两条弧线A1B1和A2B2两个特征点对的完全重合。基于弧线A1A2和B1B2中心重合后，得到所述两组特征点对对应的所述相邻的两幅平面图像对应的空间球面图像A和B的相对旋转角度(Roll)和相对平移位置(Yaw,Pitch)，其中所述图A和图B的配准结果表示为：以该图B的中心点O相对于该图A的中心点的相对平移位置(Yaw,Pitch)和图B绕自身中的中心点O的相对旋转角度(Roll)，如图5所示。

进一步地，在所述配准装置12用于对一帧视频中的所有所述平面图像或者对应的空间球面图像在所述空间球面中进行配准之后，所述展开拼接装置13具体包括展开单元131、拼接单元132和融合单元133，其中，

首先所述展开单元131，将所述每一幅配准后的空间球面图像展开为对应的平面经纬图；例如，通过空间球面到平面经纬图的映射关系，将空间球面上不同位置的每一幅空间球面图像映射到平面经纬图上的对应区域，得到一帧视频中的所有空间球面图像在平面经纬图上展开的平面经纬图，其中，映射过程按照空间球面上每一幅空间球面图像的各像素点的经纬度，将空间球面上的像素点对应的展开到平面经纬图上，得到一帧视频中的每一幅配准后的空间球面图像展开后对应的平面经纬图。

接着所述拼接单元132，基于图割拼接法对对应于任意相邻的两幅平面图像的平面经纬图进行拼接，确定所述两幅平面经纬图的重叠区域的分界线，得到所有平面经纬图的重叠区域的分界线；例如，对于一帧视频中的所有空间球面图像对应展开的平面经纬图，逐个将所述平面经纬图进行拼接；即若一帧视频中的所有空间球面图像对应展开的平面经纬图有W个，首先将平面经纬图1和平面经纬图2进行拼接得到拼接图像1-2，然后再将拼接图像1-2和平面经纬图3进行拼接，得到拼接图像1-2-3，如此循环，逐个将所有的平面经纬图进行拼接，得到所述两幅平面经纬图的重叠区域的分界线，并得到所有平面经纬图的重叠区域的分界线；如图6和图7相邻的两幅平面图像的平面经纬图，采用图割拼接法从图6和图7的重叠区域得到一个分界线，将两幅图拼接为一幅拼接图像，该拼接图像不仅分别包括图6和图7特有的图像部分，还包括有图6和图7的重叠区域但该重叠区域已去冗余，图6和图7拼接后得到的拼接图像如图8所示，实现了所述一帧视频中的任意相邻的两幅平面图像的平面经纬图的拼接过程。

最后所述融合单元133，根据所述所有平面经纬图的重叠区域的分界线，基于高斯金字塔融合法对所有所述平面经纬图进行融合，得到对应一帧视频的全景图像。例如，对于一帧视频中的所有平面经纬图中的任意两幅平面经纬图之间的重叠区域的分界线，可以采用高斯金字塔融合法对进行融合，使得得到视觉效果更好的拼接图像，如图9所示为将拼接图像8中的分界线采样高斯金字塔融合法进行融合之后的拼接图像，如此循环的处理所有相邻两幅平面经纬图拼接后的拼接图像，则可以得到视觉效果更好的对应一帧视频的全景图像。不仅实现了对任意相邻的两幅平面图像的平面经纬图进行拼接，还实现了基于高斯金字塔融合法对所有所述平面经纬图之间的重叠区域的分界线进行融合处理，使得任意相邻的两幅平面图像的平面经纬图的重叠区域的分界线视觉效果更好，进一步地保证了基于一帧视频中的所有平面图像对应的平面经纬图拼接融合得到的对应一帧视频的全景图像的视觉效果更好。

在对视频中的每一帧视频中的所有平面图像经过如所述步骤S11至所述步骤S13的操作之后，即可得到视频中的每一帧视频对应的全景图像，从而实现基于空间球面的全景视频的拼接融合。

更进一步地，为了减少一帧视频中的任意相邻的两幅平面图像由于拍摄原因导致的色彩偏差对拼接分界线的影响，所述拼接单元132还用于：

计算所述相邻的两幅平面图像对应的平面经纬图的重叠区域的色彩平均差值，基于所述色彩平均差值分别对所述两幅平面经纬图的重叠区域的每个像素点的色彩进行补偿，减少了一帧视频中的任意相邻的两幅平面图像由于拍摄原因导致的色彩偏差，使得得到的所述相邻的两幅平面图像对应的平面经纬图的重叠区域的分界线更加准确合理，进一步保证后续基于一帧视频中的所有平面图像对应的平面经纬图拼接融合得到的对应一帧视频的全景图像的视觉效果更好。

例如，在所述拼接单元132基于图割拼接法对对应于任意相邻的两幅平面图像对应的平面经纬图进行拼接之前，首先计算任意相邻的两幅平面图像对应的平面经纬图的重叠区域的色彩平均差值D，按照该色彩平均差值D对所述重叠区域的每个像素点的色彩进行补偿，使得相邻的两幅平面图像对应的平面经纬图的重叠区域的色彩平均差值为0。具体色彩补偿过程为，若任意相邻的两幅平面图像的平面经纬图为图A和图B，则对平面经纬图A和平面经纬图B计算重叠区域的色彩差值A-B并求均值得到色彩平均差值D，对平面经纬图A的重叠区域的每个像素点减去D/2，对平面经纬图B的重叠区域的每个像素点加上D/2，使得平面经纬图A和平面经纬图B的重叠区域的色彩平均差值为0，然后，所述拼接单元132使用图割拼接法计算得到所述重叠区域的分界线。减少了一帧视频中的任意相邻的两幅平面图像由于拍摄原因导致的色彩偏差，使得得到的所述相邻的两幅平面图像对应的平面经纬图的重叠区域的分界线更加准确合理，进一步保证后续基于一帧视频中的所有平面图像对应的平面经纬图拼接融合得到的对应一帧视频的全景图像的视觉效果更好。

更进一步地，所述融合单元133根据所述所有平面经纬图的重叠区域的分界线，基于高斯金字塔融合法对所述所有平面经纬图进行融合，得到对应一帧视频的全景图像，具体还包括如下步骤：

首先，对所述所有平面经纬图建立高斯金字塔，确定所述所有平面经纬图金字塔的各层图像；

接着，根据所述所有平面经纬图的重叠区域的分界线，基于位置标记的方式对所述全景图像中的像素点的位置来源进行标记，以便后续基于该位置来源标记对所述平面经纬图进行融合，并建立图像金字塔，得到带有像素点的位置来源标记的掩模图像金字塔的各层掩模图像；

最后，基于所述所有平面经纬图金字塔和掩模图像金字塔进行金字塔合并和高斯金字塔重建，得到全景图像金字塔，选取所述全景图像金字塔最底层的全景图像作为所述对应一帧视频的全景图像，达到了基于高斯金字塔融合法对所述所有平面经纬图进行融合的目的，使得基于高斯金字塔融合法融合之后得到的对应一帧视频的全景图像的视觉效果更好。

本申请的一实施例中，在所述展开拼接装置13中对视频中每一帧视频中的每一幅空间球面图像对应的平面经纬图进行拼接融合的过程中，采用位置标记的方式，将每一幅平面经纬图逐个进行拼接融合的过程为：若其中一帧视频中的空间球面图像对应的平面经纬图有W个，为了对所有的平面经纬图进行拼接融合，首先拼接平面经纬图N1和N2，得到拼接后的拼接图像N12和mask(掩模)图像M12，mask图像M12中用数值1和2来分别表示拼接后图像对应的位置像素值来源于平面经纬图N1和平面经纬图N2，然后再将拼接图像N12和平面经纬图N3进行拼接，得到拼接后的拼接图像N123和mask图像M123，mask图像M123中用数值1，2和3来表示拼接后的拼接图像N123中对应的位置像素值分别来源于平面经纬图N1，平面经纬图N2和平面经纬图N3，当W＝4时，逐个拼接该4个平面经纬图的流程示意图如图10所示；在拼接完成后得到带有位置像素值来源的最终的mask图像M1234如图11所示，其中，用数值1到W来表示对应位置像素值分别来源于平面经纬图1到平面经纬图N。

接着本申请的上述实施例，所述融合单元133在进行一帧视频中的每一幅平面经纬图进行的多图像之间的高斯金字塔融合时，对每一幅原始平面经纬图1到平面经纬图W建立高斯金字塔，得到一帧视频中的所有平面经纬图对应的所述平面经纬图金字塔如图12所示，其中，所述平面经纬图图像金字塔的第1层为所述原始平面经纬图图像，对得到的带有像素点的位置来源标记的mask图像同样建立图像金字塔，得到带有像素点的位置来源标记的掩模图像金字塔的各层掩模图像如图13所示；接着按照高斯金字塔的建立流程，高斯金字塔的顶层图像等于图像金字塔的顶层图像。对平面经纬图1到平面经纬图W的高斯金字塔的每一层，按照对应层的mask图像，采用mask图像中各区域指定的图像中对应位置的像素值作为来源，对一幅和掩模图像同样大小的结果图像的对应各区域进行填充，合并出所述掩模图像金字塔的对应层结果图像，合并过程如图14所示，所有所述对应层结果图像组成的金字塔成为结果金字塔；最后对所述结果图像金字塔按照高斯金字塔图像重建过程，重建得到视频中的对应一帧视频的全景图像，重建过程如图15所示，最终的视频中的对应一帧视频的全景图像为所述结果金字塔重建后得到的全景图像金字塔的第1层图像。其中，如图12、图13和图15中的实心箭头用于指示高斯模糊下采样，即对对应的图像做高斯模糊然后再进行下采样；虚线箭头用于指示高斯模糊上采样，即对对应的图像做上采样然后再进行高斯模糊；所述减号与等号的组合用于指示对对应的图像进行相减；所述加号与等号的组合用于指示对对应的图像进行相加。

综上所述，本申请通过首先将视频中的一帧视频中的每一幅平面图像映射到空间球面，以得到每一幅平面图像对应的空间球面图像；接着，确定出所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对，进而可以得到所述特征点对在空间球面的位置；然后，可以基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在所述空间球面上进行配准，避免了现有技术中的将所述平面图像展开为平面经纬图时引入的畸变，使得将所述空间球面图像进行配准得到的配准结果更加准确；最后，将所述每一幅配准后的空间球面图像展开为对应的平面经纬图，对所述每一幅平面经纬图进行拼接得到对应一帧视频的全景图像，实现了将视频中的每一帧视频中的所有平面图像准确地展开拼接为全景图像。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIB)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (28)

1.一种基于空间球面的全景视频拼接方法，其中，所述方法包括：

将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置；

基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在所述空间球面上进行配准；

将所述每一幅配准后的空间球面图像展开为对应的平面经纬图，对所述每一幅平面经纬图进行拼接得到对应一帧视频的全景图像。

2.根据权利要求1所述的方法，其中，所述将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置，包括：

对相邻的两幅平面图像或对应的空间球面图像进行特征匹配，得到匹配的特征点对集合{AB}；

分别对相邻的两幅平面图像或对应的空间球面图像进行自身的特征匹配，得到匹配的特征点对集合{AA}和{BB}；

特征点对中的两个点是同一个点时称为自匹配，从匹配的特征点对集合{AA}和{BB}中提取非自匹配的特征点集合{a}和{b}；

从匹配的特征点对集合{AB}中移除所有和特征点集合{a}和/或{b}中的特征点相关的特征点对，得到所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对。

3.根据权利要求1或2所述的方法，其中，所述将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置，包括：

将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，以平面经纬图形式表示；

基于空间球面特征匹配算法，对所述每一相邻的两幅平面图像对应的平面经纬图进行特征点匹配，得到所述每一相邻的两幅平面图像在对应的平面经纬图上的特征点对，得到所述特征点对在空间球面上的位置。

4.根据权利要求1或2所述的方法，其中，所述将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置，包括：

采用平面特征匹配算法，对所述每一相邻的两幅平面图像进行特征点匹配，得到所述每一相邻的两幅平面图像的特征点对；

将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，得到所述特征点对在空间球面上的位置。

5.根据权利要求1所述的方法，其中，所述基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在所述空间球面上进行配准，包括：

基于所述映射到空间球面的特征点对及其位置，确定所述每一相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置；

将一帧视频中所有空间球面图像中的一幅空间球面图像的中心位置置于所述空间球面的原点位置；

根据处于所述原点位置的空间球面图像与所述一帧视频中其它空间球面图像的相对旋转角度和相对平移位置，确定所述一帧视频中所有空间球面图像在所述空间球面上的位置，得到配准后的空间球面图像。

6.根据权利要求5所述的方法，其中，所述基于所述映射到空间球面的特征点对及其位置，确定所述每一相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，包括：

每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的相对旋转角度和相对平移位置；

基于所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置，优选得到相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置。

7.根据权利要求6所述的方法，其中，所述每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的相对旋转角度和相对平移位置，包括：

对相邻的两幅平面图像对应的空间球面图像的特征点对进行过滤，得到过滤后的特征点对；

每次从相邻的两幅平面图像对应的空间球面图像的过滤后的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的相对旋转角度和相对平移位置。

8.根据权利要求7所述的方法，其中，所述对相邻的两幅平面图像对应的空间球面图像的特征点对进行过滤，得到过滤后的特征点对，包括初始化内点的个数和内点的集合后，重复如下步骤，直至所述内点的个数和内点的集合达到连续累计预设次数未更新，将最终内点的集合作为所述过滤后的特征点对:

从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述选取的两组特征点对计算对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置；

基于所述对应的相对旋转角度和相对平移位置计算本次所述特征点对中所述选取的两组特征点对之外的剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数；

判断本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数是否大于所述内点的个数，

若是，则将本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数及内点的集合更新为所述内点的个数和内点的集合；

若否，本次不更新内点的个数和内点的集合。

9.根据权利要求6所述的方法，其中，所述基于所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置，优选得到相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置，包括：

对于每次所述选取的两组特征点对之外剩余的特征点对，按照所述选取的两组特征点对对应的相对旋转角度和相对平移位置进行移动，计算所述剩余的特征点对移动后的空间球面距离；

对所述空间球面距离进行累加求和，确定每次所述选取的两组特征点对对应的空间球面配准误差值；

选取最小空间球面配准误差值对应的所述相对旋转角度和所述相对平移位置，作为所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置。

10.根据权利要求9所述的方法，其中，所述选取最小空间球面配准误差值对应的所述相对旋转角度和相对平移位置，作为所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置之后，还包括：

基于非线性最小二乘算法对相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置进行优化，得到优化后的空间球面配准误差值及其对应的优化后的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置。

11.根据权利要求6至10中任一项所述的方法，其中，所述每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的多套相对旋转角度和相对平移位置，包括：

每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对；

设所述相邻的两幅平面图像对应的空间球面图像分别为图A和图B，其中，图A的点A1和图B的点B1，图A的点A2和图B的点B2是分别选取的两组特征点对，则先在球面上移动图B使B1和A1重合，再绕A1和B1旋转图B，使得A1A2，B1B2两个弧线重合后，沿重合弧线移动图B，以使弧线A1A2和B1B2的中心重合后，得到所述两组特征点对对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置。

12.根据权利要求1所述的方法，其中，所述将所述每一幅配准后的空间球面图像展开为对应的平面经纬图，对所述每一幅平面经纬图进行拼接得到对应一帧视频的全景图像，包括：

将所述每一幅配准后的空间球面图像展开为对应的平面经纬图；

基于图割拼接法对对应于任意相邻的两幅平面图像的平面经纬图进行拼接，确定所述两幅平面经纬图的重叠区域的分界线，得到所有平面经纬图的重叠区域的分界线；

根据所述所有平面经纬图的重叠区域的分界线，基于高斯金字塔融合法对所述所有平面经纬图进行融合，得到对应一帧视频的全景图像。

13.根据权利要求12所述的方法，其中，所述基于图割拼接法对对应于任意相邻的两幅平面图像的平面经纬图进行拼接，确定所述两幅平面经纬图的重叠区域的分界线，得到所有平面经纬图的重叠区域的分界线之前，还包括：

计算所述相邻的两幅平面图像对应的平面经纬图的重叠区域的色彩平均差值，基于所述色彩平均差值分别对所述两幅平面经纬图的重叠区域的每个像素点的色彩进行补偿。

14.根据权利要求12或13所述的方法，其中，所述根据所述所有平面经纬图的重叠区域的分界线，基于高斯金字塔融合法对所述所有平面经纬图进行融合，得到对应一帧视频的全景图像，还包括：

对所述所有平面经纬图建立高斯金字塔，确定所述所有平面经纬图金字塔的各层图像；

根据所述所有平面经纬图的重叠区域的分界线，基于位置标记的方式对所述全景图像中的像素点的位置来源进行标记，并建立图像金字塔，得到带有像素点的位置来源标记的掩模图像金字塔的各层掩模图像；

基于所述所有平面经纬图金字塔和掩模图像金字塔进行金字塔合并和高斯金字塔重建，得到全景图像金字塔，选取所述全景图像金字塔最底层的全景图像作为所述对应一帧视频的全景图像。

15.一种基于空间球面的全景视频拼接的设备，其中，所述设备包括：

映射确定装置，用于将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像；确定所述一帧视频中每一相邻的两幅平面图像或空间球面图像对应的至少两组特征点对；得到所述特征点对在空间球面上的位置；

配准装置，用于基于所述映射到空间球面的特征点对的位置，将一帧视频中的每一幅空间球面图像在所述空间球面上进行配准；

展开拼接装置，用于将所述每一幅配准后的空间球面图像展开为对应的平面经纬图，对所述每一幅平面经纬图进行拼接得到对应一帧视频的全景图像。

16.根据权利要求15所述的设备，其中，所述映射确定装置用于：

对相邻的两幅平面图像或对应的空间球面图像进行特征匹配，得到匹配的特征点对集合{AB}；

分别对相邻的两幅平面图像或对应的空间球面图像进行自身的特征匹配，得到匹配的特征点对集合{AA}和{BB}；

特征点对中的两个点是同一个点时称为自匹配，从匹配的特征点对集合{AA}和{BB}中提取非自匹配的特征点集合{a}和{b}；

从匹配的特征点对集合{AB}中移除所有和特征点集合{a}和/或{b}中的特征点相关的特征点对，得到所述相邻的两幅平面图像或对应的空间球面图像对应的至少两组特征点对。

17.根据权利要求15或16所述的设备，其中，所述映射确定装置包括：

映射单元，用于将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，以平面经纬图形式表示；

第一确定单元，用于基于空间球面特征匹配算法，对所述每一相邻的两幅平面图像对应的平面经纬图进行特征点匹配，得到所述每一相邻的两幅平面图像在对应的平面经纬图上的特征点对，得到所述特征点对在空间球面上的位置。

18.根据权利要求15或16所述的设备，其中，所述映射确定装置用于：

采用平面特征匹配算法，对所述每一相邻的两幅平面图像进行特征点匹配，得到所述每一相邻的两幅平面图像的特征点对；

将一帧视频中每一幅平面图像映射到空间球面，获得对应的空间球面图像，得到所述特征点对在空间球面上的位置。

19.根据权利要求15所述的设备，其中，所述配准装置，包括：

第二确定单元，用于基于所述映射到空间球面的特征点对及其位置，确定所述每一相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置；

初始单元，用于将一帧视频中所有空间球面图像中的一幅空间球面图像的中心位置置于所述空间球面的原点位置；

配准单元，用于根据处于所述原点位置的空间球面图像与所述一帧视频中其它空间球面图像的相对旋转角度和相对平移位置，确定所述一帧视频中所有空间球面图像在所述空间球面上的位置，得到配准后的空间球面图像。

20.根据权利要求19所述的设备，其中，所述第二确定单元用于：

每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的相对旋转角度和相对平移位置；

基于所述多次选取的两组特征点对对应的所述相对旋转角度和相对平移位置，优选得到相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置。

21.根据权利要求20所述的设备，其中，所述第二确定单元用于：

对相邻的两幅平面图像对应的空间球面图像的特征点对进行过滤，得到过滤后的特征点对；

每次从相邻的两幅平面图像对应的空间球面图像的过滤后的特征点对中随机选取两组特征点对，基于所述每次选取的两组特征点对计算对应的两幅空间球面图像相对旋转角度和相对平移位置，得到多次选取的两组特征点对对应的多套相对旋转角度和相对平移位置。

22.根据权利要求7所述的设备，其中，所述第二确定单元用于初始化内点的个数和内点的集合后，重复执行如下步骤，直至所述内点的个数和内点的集合达到连续累计预设次数未更新，将最终内点的集合作为所述过滤后的特征点对:

从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对，基于所述选取的两组特征点对计算对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置；

基于所述对应的相对旋转角度和相对平移位置计算本次所述特征点对中所述选取的两组特征点对之外的剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数；

判断本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数是否大于所述内点的个数，

若是，则将本次剩余的特征点对中空间球面距离小于预设空间球面距离阈值的特征点对的个数及内点的集合更新为所述内点的个数和内点的集合；

若否，本次不更新内点的个数和内点的集合。

23.根据权利要求20所述的设备，其中，所述第二确定单元用于：

对于每次所述选取的两组特征点对之外剩余的特征点对，按照所述选取的两组特征点对对应的相对旋转角度和相对平移位置进行移动，计算所述剩余的特征点对移动后的空间球面距离；

对所述空间球面距离进行累加求和，确定每次所述选取的两组特征点对对应的空间球面配准误差值；

选取最小空间球面配准误差值对应的所述相对旋转角度和所述相对平移位置，作为所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置。

24.根据权利要求23所述的设备，其中，所述第二确定单元还用于：

基于非线性最小二乘算法对相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置进行优化，得到优化后的空间球面配准误差值及其对应的优化后的所述相邻的两幅平面图像对应的空间球面图像在所述空间球面上的相对旋转角度和相对平移位置。

25.根据权利要求20至24中任一项所述的设备，其中，所述第二确定单元用于：

每次从相邻的两幅平面图像对应的空间球面图像的特征点对中随机选取两组特征点对；

设所述相邻的两幅平面图像对应的空间球面图像分别为图A和图B，其中，图A的点A1和图B的点B1，图A的点A2和图B的点B2是分别选取的两组特征点对，则先在球面上移动图B使B1和A1重合，再绕A1和B1旋转图B，使得A1A2，B1B2两个弧线重合后，沿重合弧线移动图B，以使弧线A1A2和B1B2的中心重合后，得到所述两组特征点对对应的所述相邻的两幅平面图像对应的空间球面图像的相对旋转角度和相对平移位置。

26.根据权利要求15所述的设备，其中，所述展开拼接装置包括：

展开单元，用于将所述每一幅配准后的空间球面图像展开为对应的平面经纬图；

拼接单元，用于基于图割拼接法对对应于任意相邻的两幅平面图像的平面经纬图进行拼接，确定所述两幅平面经纬图的重叠区域的分界线，得到所有平面经纬图的重叠区域的分界线；

融合单元，用于根据所述所有平面经纬图的重叠区域的分界线，基于高斯金字塔融合法对所述所有平面经纬图进行融合，得到对应一帧视频的全景图像。

27.根据权利要求26所述的设备，其中，所述拼接单元还用于：

计算所述相邻的两幅平面图像对应的平面经纬图的重叠区域的色彩平均差值，基于所述色彩平均差值分别对所述两幅平面经纬图的重叠区域的每个像素点的色彩进行补偿。

28.根据权利要求26或27所述的设备，其中，所述融合单元还用于：

对所述所有平面经纬图建立高斯金字塔，确定所述所有平面经纬图金字塔的各层图像；

根据所述所有平面经纬图的重叠区域的分界线，基于位置标记的方式对所述全景图像中的像素点的位置来源进行标记，并建立图像金字塔，得到带有像素点的位置来源标记的掩模图像金字塔的各层掩模图像；

基于所述所有平面经纬图金字塔和掩模图像金字塔进行金字塔合并和高斯金字塔重建，得到全景图像金字塔，选取所述全景图像金字塔最底层的全景图像作为所述对应一帧视频的全景图像。