CN107948547B - 全景视频拼接的处理方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种全景视频拼接的处理方法、装置及电子设备，对于由球面全景图映射得到的二维平面全景图，本申请将利用该二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图，此时由于该待滤波全景图实现了二维平面全景图两端像素块相邻，从而使其能够进行去块效应滤波，保证二维平面全景图两端边界像素亮度一致，避免得到的全景视频内容出现拼接缝，保证了全景视频播放画面的质量。

Description

全景视频拼接的处理方法、装置及电子设备

技术领域

本发明涉及图像拼接技术领域，更具体地说是涉及一种全景视频拼接方法、装置及电子设备。

背景技术

全景视频是在720度或360度全景的技术之上发展延伸而来的，能够将静态的全景图片转化为动态的视频图像，并且在拍摄角度左右上下360度的任意观看动态视频，让用户产生一种身临其境的感觉，在虚拟现实、安防、监控、电影、视频通讯、教育以及旅游等领域都得到了很好的应用。

在实际应用中，全景视频通常是通过将多个视频采集设备指向不同方向，获得同一场景的不同角度的多幅视频图像，然后再将这多幅视频图像进行图像拼接，生成一个覆盖全方位360度视角的单一视频。

然而，现有的全景图像的拼接方法往往会导致所生成的全景视频在某个观察角度的图像出现拼接缝，让图像看起来像被割裂开，降低了全景视频的画面效果，影响了用户体验。

由此可见，如何提高图像拼接质量，保证全景视频所呈现的画面效果成为本领域技术人员的研究重点。

发明内容

有鉴于此，本发明提供了一种全景视频拼接的处理方法、装置及电子设备，解决了现有的全景视频画面容易出现拼接缝，影响画面质量的技术问题。

为了解决上述技术问题，本申请提供了以下技术方案：

一种全景视频拼接的处理方法，所述方法包括：

获得目标拍摄对象的球面全景图；

对所述球面全景图进行映射处理，得到所述目标拍摄对象的二维平面全景图；

利用所述二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图，所述本端与所述对端是所述二维平面全景图中相对的两端；

对所述待滤波全景图进行去块效应滤波处理，并将去块效应滤波处理得到的图像两端边界的第二预设像素列删除，得到待拼接图像；

按照预设视角，利用预设图像拼接算法对所述待拼接图像进行处理，生成所述目标拍摄对象的全景视频。

优选的，所述本端边界为图像最左端边界，相应地所述对端边界为图像最右端边界；或者，所述本端边界为图像最右端边界，相应地所述对端边界为图像最左端边界，在对所述待滤波全景图进行去块效应滤波处理之后，且在所述将去块效应滤波处理得到的图像两端边界的第二预设像素列删除之前，所述方法还包括：

利用去块效应滤波处理得到的图像两端边界的第二预设像素列的像素值，对该图像最左端边界的所述第二预设像素列与最右端边界的所述第一预设像素列对应的像素进行加权平均运算，得到第一运算结果，并对该图像最右端边界的所述第二预设像素列与最左端边界的所述第一预设像素列对应的像素进行加权平均运算，得到第二运输结果；

利用所述第一运算结果替换该图像最右端边界的所述第一预设像素列对应像素的像素值；

利用所述第二运算结果替换该图像最左端边界的所述第一预设像素列对应像素的像素值。

优选的，所述本端边界为图像最左端边界，相应地所述对端边界为图像最右端边界；或者，所述本端边界为图像最右端边界，相应地所述对端边界为图像最左端边界，所述利用所述二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图，包括：

确定所述二维平面全景图最右端边界的第一预设像素列以及最左端边界的第一预设像素列；

针对所述最右端边界的第一预设像素列中像素的每一个编码分量，利用所述最左端边界的第一预设像素列对应像素的相应编码分量进行扩展；

针对所述最左端边界的第一预设像素列中像素的每一个编码分量，利用所述最右端边界的第一预设像素列对应像素的相应编码分量进行扩展；

获得待滤波全景图。

优选的，所述方法还包括：

确定所述第一预设像素列中像素的多个编码分量的像素宽度；

获得第一编码分量分别在所述二维平面全景图最右端边界的第一扩展宽度，以及在最左端边界的第二扩展宽度，所述第一编码分量是所述多个编码分量中的任意一个编码分量；

利用所述多个编码分量的像素宽度，以及所述第一扩展宽度和所述第二扩展宽度，确定所述多个编码分量中其他编码分量在两端边界的扩展宽度。

优选的，所述第一扩展宽度和所述第二扩展宽度是2的倍数，或者是4的倍数。

优选的，所述获得目标拍摄对象的球面全景图，包括：

接收多个图像采集设备针对目标拍摄对象采集到的拍摄图像，所述多个图像采集设备的拍摄视角不同；

利用接收到的多个拍摄图像，生成所述目标拍摄对象的球面全景图。

一种全景视频拼接的处理装置，所述装置包括：

图像获得模块，用于获得目标拍摄对象的球面全景图；

映射处理模块，用于对所述球面全景图进行映射处理，得到所述目标拍摄对象的二维平面全景图；

像素扩展模块，用于利用所述二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图；

滤波处理模块，用于对所述待滤波全景图进行去块效应滤波处理，并将处理得到的图像两端边界的第二预设像素列删除，得到待拼接图像；

图像拼接模块，用于按照预设视角，利用预设图像拼接算法，生成所述目标拍摄对象的全景视频。

优选的，所述装置还包括：

加权平均运算模块，用于利用处理得到的图像两端边界的第二预设像素列的像素值，对该图像最左端边界的所述第二预设像素列与最右端边界的所述第一预设像素列对应的像素进行加权平均运算，得到第一运算结果，并对该图像最右端边界的所述第二预设像素列与最左端边界的所述第一预设像素列对应的像素进行加权平均运算，得到第二运输结果；

第一替换模块，用于利用第一运算结果替换该图像最右端边界的所述第一预设像素列对应像素的像素值；

第二替换模块，用于利用第二运算结果替换该图像最左端边界的所述第一预设像素列对应像素的像素值。

优选的，所述像素扩展模块包括：

第一确定单元，用于确定所述二维平面全景图最右端边界的第一预设像素列以及最左端边界的第一预设像素列；

第一扩展单元，用于针对所述最右端边界的第一预设像素列中像素的每一个编码分量，利用所述最左端边界的第一预设像素列对应像素的相应编码分量进行扩展；

第二扩展单元，用于针对所述最左端边界的第一预设像素列中像素的每一个编码分量，利用所述最右端边界的第一预设像素列对应像素的相应编码分量进行扩展；

图像获得单元，用于获得待滤波全景图。

一种电子设备，所述电子设备包括：

通信端口；

存储器，用于存储多个第一指令以及多个第二指令；

视频编码器，用于加载并执行所述多个第一指令，包括：

获得目标拍摄对象的球面全景图；

对所述球面全景图进行映射处理，得到所述目标拍摄对象的二维平面全景图；

利用所述二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图；

视频解码器，用于加载并执行所述多个第二指令，包括：

对所述待滤波全景图进行去块效应滤波处理，并将处理得到的图像两端边界的第二预设像素列删除，得到待拼接图像；

按照预设视角，利用预设图像拼接算法，生成所述目标拍摄对象的全景视频；

显示器，用于显示所述全景视频内容。

由此可见，与现有技术相比，本申请提供了一种全景视频拼接的处理方法、装置及电子设备，对于由球面全景图映射得到的二维平面全景图，本申请将利用该二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图，此时由于该待滤波全景图实现了二维平面全景图两端像素块相邻，从而使其能够进行去块效应滤波，保证二维平面全景图两端边界像素亮度一致，避免得到的全景视频内容出现拼接缝，保证了全景视频播放画面的质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种球面全景图示意图；

图2为本申请实施例提供的一种二维图像映射示意图；

图3为本申请实施例提供的一种像素值计算示意图；

图4为本申请实施例提供的一种全景视频拼接的处理方法流程示意图；

图5(a)为本申请实施例提供的一种二维平面全景图示意图；

图5(b)为本申请实施例提供的一种待滤波全景图示意图；

图6为本申请提供的一种全景视频拼接的处理方法优选实施例的流程示意图；

图7为本申请实施例提供的一种全景视频拼接的处理装置的结构图；

图8为本申请实施例提供的另一种全景视频拼接的处理装置的结构图；

图9为本申请实施例提供的又一种全景视频拼接的处理装置的结构图；

图10为本申请实施例提供的一种电子设备的硬件结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着显示技术、移动设备以及网络技术的发展，全景视频再次得到关注，由于其包含全方位360度视角的内容，用户可以自由选择观察视角，以满足各领域的实际需要。

由于全景视频的生成需要多个视频采集设备(如相机)协同工作，每个视频采集设备覆盖一定角度，如呈环形或球形设置这多个视频采集设备，从而得到该场景下各个方位的图像。

在本申请中，对于采集到的全景视频内容可以采用球面图的形式保存，如图1所示，每个纬度包含相同数据量的像素点，其中，球面图中的极点位置经处理，可以认为其包含与其他纬度相等的像素点，观察者被认为在球面内部的每一个位置，从而可以看到球面上各个角度的内容。

在全景视频图像的实际存储中，可以将上述球面映射到一个矩形平面，如图2所示，球面上一点A与Y轴夹角b的取值范围为[0 180)度，其在XZ平面上的投影与Z轴夹角a的取值范围为[0 360)度，通过把夹角a和b分别映射为矩形平面的水平、垂直坐标，从而实现球面到矩形平面的映射。其中，图2中的r是指一定常数，本申请并不限定其具体数值。

从上述球面到矩形平面的映射过程可以看出，由于夹角的0度和360度重合，则0度与359度相邻，所以，矩形平面的最左侧和最右侧的内容在球面上实际是相邻的。

基于此，在实际应用中，全景视频图像的球面图实际上是以矩形平面的形式存储，当球面图传输至显示设备后，将根据视角和球面内容计算出要显示的图像，参照图3所示的从球面图得到不同视角的内容的示意图。为了方便描述，图3中示出的是二维圆到一维线段的映射方式，此方式可以很容易扩展到三维球面到二维矩形平面的映射。

如图3所示，当观察者的视角(该视角可以由观察者自己调整)及其视野范围(可以由用户设定也可以由显示设备设置默认值)确定后，线段(由观察者的视角以及视野范围确定，如图3中的线段A’B’)的位置和长度都确定了，为了得到线段上某点C’的像素值，只需要连接圆心O和该点C’，得到的选段OC’与圆的交点C处的像素值(根据圆上的像素点插值得到)可以作为点C’的像素值；同理，线段OA’与圆的交点A处的像素值可以作为点A’的像素值，线段OB’与圆的交点B处的像素值可以作为点B’的像素值。

在实际应用中，基于上述原理对采集到的全景视频图像进行图像拼接时，往往会在某个观察角度的图像中出现拼接缝，大大影响全景视频的画面效果，降低了用户体验。

针对上述问题，申请人通过对现有的全景视频拼接方案的分析发现，拼接缝往往出现在视角内容跨度夹角a等于0度的情况中，参照上述图3，以夹角a等于0度的弧线(如图3中粗实线)为边界，顺时针方向与该边界相邻的点在矩形平面的最左侧，而逆时针方向与该边界相邻的点在矩形平面的最右侧。基于此，在对映射的矩形平面内容进行视频编码过程中，矩形平面最左侧和最右侧相距很远，两者之间根本无法进行块效应滤波(de-blockingfilering)，导致视频编码后两侧的亮度值等参数很可能不连续。这样，当观察视角跨越夹角a等于0度的弧线时，显示设备所显示的图像将会出现拼接缝。

基于上述分析，为了改善全景视频中的图像拼接缝的问题，本申请提出对矩形平面的最左侧和最右侧进行像素填充的方式，使得视频编码器能够自动对矩形平面最左侧和最右侧像素进行去块效应滤波，从而保证两侧像素亮度值相同，避免了所显示的图像中出现拼接缝，提高全景视频的画面效果。

为了使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

如图4所示，为本申请提供的一种全景视频拼接的处理方法流程图，该方法可以包括以下步骤：

步骤S401，获得目标拍摄对象的球面全景图；

在本实施例中，通过全方位设置的图像采集设备获得目标拍摄对象的图像序列后，可以利用球面投影算法，将图像序列投影到预设球面投影模型进行处理，得到相应的球面全景图，本申请对获得该球面全景图的具体实现过程不作详述。

由此可见，目标拍摄对象的球面全景图可以由关于目标拍摄对象的多张图像生成，且这多张图像可以是同一时间同一地点，由不同拍摄角度的图像采集设备(如照相机等)获得，也可以是不同时间同一地点，不同拍摄角度的照相机采集得到，本申请对此不作限定，可以根据用户需要展示该目标拍摄对象的全景视频要求确定。

步骤S402，对该球面全景图进行映射处理，得到目标拍摄对象的二维平面全景图；

参照上图3所示的映射过程，可以将目标拍摄对象的球面全景图映射到矩形平面上，从而得到二维平面全景图。

需要说明的是，本申请对获得目标拍摄对象的二维平面全景图的具体过程不作限定，除了图3所示的方式外，还可以直接将球面全景图展开得到该二维平面全景图等。

步骤S403，利用该二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图；其中，步骤S403中的本端和对端是二维平面全景图中相对的两端，也就是说，当本端边界为图像最左端边界，相应地对端边界为图像最右端边界；或者，当本端边界为图像最右端边界，相应地对端边界为图像最左端边界。

结合上述描述，由于将三维的球面全景图映射成二维平面全景图后，如图2所示，该二维平面全景图最右端和最左端相距很远，并不能直接进行去块效应滤波，对此，本申请提出将最右端的部分像素列(即第一预设像素列)添加到最左端，同时将最左端的部分像素列添加到最右端这种方式，实现对二维平面全景图两端的扩展，从而使修改后的二维平面全景图中两端同时具有原二维平面全景图两端的像素列，使得修改后的二维平面全景图各部分都能够进行去块效应滤波。针对上段描述的本申请技术方案的发明构思，参照图5(a)和图5(b)，本申请可以在二维平面全景图的两端边界，确定连续的预设数量的像素列作为预设像素列，即图5(a)中右侧的w1列和左侧的w2列。

其中，w1和w2可以相同也可以不同，可选的，本申请可以将w1和w2都设置为4的倍数或2的倍数，例如w1＝w2＝4；w1＝w2＝8；w1＝4，w2＝8；或者w1＝8，w2＝4等等，本申请对该w1和w2的具体数值不作限定。

基于此，为了实现对二维平面全景图两端边界像素块的去块效应滤波，本申请可以按照上述描述的发明构思，利用对端边界预设像素列对本端进行像素填充。

具体的，如图5(b)所示，可以二维平面全景图中的左侧w2列像素复制到该二维平面全景图右侧，同理将右侧w2列像素复制到该二维平面全景图左侧，从而使得到的待滤波全景图的宽度由原来的width变为width+w1+w2，图像高度height不变。

假设如图5(a)所示的二维平面全景图I上像素点的坐标表示为I[x,y]，那么经上述像素填充处理后，所得到的如图5(b)所示的待滤波全景图I’的坐标表示为I’[x,y]，基于待滤波全景图I’的获取过程，可以确定二维平面全景图I与待滤波全景图I’之间的坐标存在以下关系：

可选的，本申请可以结合上述坐标变换关系以及预设的颜色编码方法，实现二维平面全景图中各像素点的处理，以确定待滤波全景图。在本申请中，预设的颜色编码方法可以包括YUV颜色编码、RGB颜色编码等等，本申请对该预设的颜色编码方法不作限定。

其中，对于YUV颜色编码方式，Y表示明亮度，也就是灰度值；U和V表示色度，用来描述图像色彩及饱和度，可以指定像素的颜色；而对于RGB颜色编码方式，R表示红，G表示绿，B表示蓝，通过对这三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。

基于上述内容，本申请对二维平面全景图最右端以及最左端进行像素填充时，对于每一个像素点的各个编码分量，都可以按照上述方式扩展，即按照上述坐标关系，调整像素点的坐标，得到待滤波全景图。

具体的，在确定二维平面全景图各像素点的一个编码分量，其对应的用于进行像素填充的第一预设像素列w1和w2(即该编码分量的扩展宽度w1和w2)后，其他编码分量的扩展宽度可以按照确定的该编码分量扩展宽度w1和w2，以及编码分量本身的宽度比例进行设置。由此可见，在对二维平面全景图各像素点的多个编码分量进行扩展时，可以按照一定的比例关系实现。

举例说明：若二维平面全景图各像素点的第一编码分量C0的图像宽度记为width0，第二编码分量C1的图像宽度记为width1，第三编码分量C2的图像宽度记为width2，那么，假设二维平面全景图的第一编码分量C0在最左端的第一扩展宽度为w1列像素，最右端的第二扩展宽度为w2列像素后，其他两个编码分量的扩展宽度可以按照以下比例关系确定，但并不局限于本实施例列举的这种方式。

其他编码分量在最左端的扩展宽度wi1＝w1*width1/width0，其他编码分量在最右端的扩展宽度wi2＝w2*width1/width0，其中，i＝1或2，wi1和wi2为整数。

需要说明的是，如果wi1/w1不等于width1/width0或者wi2/w2不等于width1/width0，可以通过调整第一编码分量在最左端的扩展宽度w1和/或最右端的扩展宽度w2，直至wi1/w1等于width1/width0并且wi2/w2等于width1/width0。其中涉及到的除法结果是实数。

由此可见，上述第一编码分量在最左端的扩展宽度w1，与最右端的扩展宽度w2可以设置为任意值，可以相等也可以不相等，本申请对w1和w2的具体数值不作限定，受图像中像素分布的约束，为了保证所取像素类型完整性，进而保证过滤效果，通常可以选取2或4的倍数。

步骤S404，对待滤波全景图进行去块效应滤波处理；

目前，基于块的变换编码在图像压缩编码中得到了广泛应用，随着码率的降低，量化变得粗糙，在块的边界会出现不连续，形成重建图像的明显缺陷，这种像素块之间的不连续现象可以称为块效应。为了克服这一缺陷，通常可以采用去块效应滤波的方法，对待滤波图像的边界处像素的像素值进行滤波，从而使滤波后的信号整体平滑下降，避免出现编码后的像素亮度值不连续，导致显示内容出现拼接缝。

对此，本申请通过上述方式解决了映射得到的二维平面全景图边界像素列不连接，导致最终所显示视频图像容易出现拼接缝的问题。具体的，结合上述分析，由于本申请是利用对端边界的像素列，实现本端边界像素扩展，从而将二维平面全景图中距离最远的两端像素块相邻，使得待滤波全景图解决了二维平面全景图在视频编码过程中，因两端相距太远，而无法进行去块效应滤波的问题。

由此可见，本实施例得到的待滤波全景图的两端边界的第二预设像素列，其包含了上述二维平面全景图相距最远的两端的像素列，且该二维平面全景图两端的像素列相邻，这样，本申请就能够直接对待滤波全景图进行去块效应滤波，从而保证编码后两侧的亮度值连续，避免显示内容出现拼接缝。其中，第二预设像素列可以包括上述二维平面全景图两端第一预设像素列，也就是说，该第二预设像素列可以等于上述举例中的w1+w2，但并不局限于此。

需要说明的是，本申请对图像进行去块效应滤波的实现方法不作限定，可以采用去块效应滤波算法实现，也可以利用去块滤波器实现，本申请在此不作详述。

可选的，在对待滤波全景图进行去块效应滤波时，可以先计算该待滤波全景图边界处像素的滤波偏置值，并根据该滤波偏置值对该像素(即上述第二预设像素列中的像素)进行滤波，保证滤波后信号波形整体的平滑性。

当然，在该可选实施例的基础上，也可以利用滤波预测值以及当前像素值，对滤波偏置值进行调整，从而利用调整后的滤波偏置值实现对像素的滤波，从而提高滤波后的信号波形整体上的平滑性。可见，本申请对去块效应滤波的实现方法不作限定，并不局限于上文列举的实现方法。

步骤S405，将去块效应滤波处理得到的图像两端边界的第二预设像素列删除，得到待拼接图像；

仍以上述图5(a)和图5(b)对应的实例为例进行说明，本申请经上述对二维平面全景图进行像素填充，并对填充得到的待滤波全景图进行去块效应滤波处理后，所得图像的宽度仍然为width+w1+w2，此时，本申请可以进一步将处理得到的图像最左侧的w1和最右侧的w2删除，得到宽度为width，高度为height的矩形图，即待拼接图像。

由此可见，步骤S405处的第二预设像素列可以指上述步骤S403中对二维平面全景图两端添加的像素列，即向二维平面全景图最左端添加的w1，以及向该二维平面全景图最右端添加的w2，从而保证带拼接图像与二维平面全景图的宽度和高度一致。也就是说，此处第二预设像素列的列数与上述第一预设像素列的列数可以相同。

步骤S406，按照预设视角，利用预设图像拼接算法对待拼接图像进行处理，生成目标拍摄对象的全景视频。

在实际应用中，图像拼接技术是将数张有重叠部分的图像，拼成一幅大型的无缝高分辨率图像的技术，并且，在生成全景视频过程中，针对用户设定的视角的不同，所生成的全景视频的内容也是不同的，本申请在此不再详述。

对于不同的图像拼接算法，其对应的步骤通常会存在一定的差异，大致上可以分为：图像预处理、图像配准、建立变换模型、统一坐标变换以及融合重构等五个步骤，其中，图像配准和图像融合是图像拼接的两个关键技术，本申请对其具体实现过程不作详述。

综上所述，本申请利用得到二维平面全景图对端边界的像素，实现本端边界像素扩展，从而使二维平面全景图两端边界的像素块相邻，实现去块效应滤波处理，保证二维平面全景图两端边界像素亮度一致，避免得到的全景视频内容出现拼接缝的问题。

可选的，经过步骤S404的去块效应滤波处理后，本申请还可以先对处理得到的图像进行融合处理，再执行步骤S405，以进一步提高块效应滤波处理后的图像质量，即提高所得待拼接图像的质量，本申请可以结合上图5(b)所示的像素填充示意图，对该融合处理过程进行说明，但并不局限于本实施例描述的这一种融合处理方法。该融合处理方法可以包括：

利用处理得到的图像两端边界的第二预设像素列的像素值，对该图像最左端的第二预设像素列和最右端的第一预设像素列对应的像素进行加权平均运算，并利用运算结果替换该图像最右端的第一预设像素列对应的像素值；同时，对该图像最右端的第二预设像素列和最左端的第一预设像素列对应的像素进行加权平均运算，将运算结果替换该图像最左端的第一预设像素列对应的像素值，之后，再将所得图像两端边界的第二预设像素列删除，得到待拼接图像。

以上图5(b)所示的像素填充示意图为例进行说明，经上述去块效应滤波对待滤波图像的处理后，可以在终端侧利用处理得到的图像最左端的w1列以及最右端的w2列的像素值，对该图像最左端的w1列与最右端[width,width+w1)列的相应像素做加权平均，并将得到的结果替换该图像最右端[width,width+w1)列对应像素的像素值；同时，对该图像最右侧w2列与最左端[w1,w1+w2)列的相应像素做加权平均，并将得到的结果替换该图像最左端[w1,w1+w2)列对应像素的像素值。

其中，本实施例所采用的加权平均方法可以按照以下三个公式实现，但并不局限于本实施例列举的这种计算方法。

I'[w1+x,y]＝(1-d(x))*I'[w1+x,y]+d(x)*I'[w1+width+x,y]

if x∈[0,w2),y∈[0,height)

I'[width+x,y]＝(1-d(w1-1-x))*I'[width+x,y]+d(w1-1-x)*I'[x,y]

if x∈[0,w1),y∈[0,height)

d(x)＝d(0)＞＞x,d(0)＝1/2

其中，I'[w1+x,y]表示经上述加权平均算法计算得到的处理后的图像最左端的第一预设像素列(即上图5(b)所示最左端横线表示的像素列)对应的像素坐标，同理，I'[width+x,y]表示该处理得到的图像最右端第一预设像素列(即上图5(b)所示最右端斜线线表示的像素列)对应的像素坐标。而I'[w1+width+x,y]表示该处理得到的图像最右端第二预设像素列(即上图5(b)所示最右端横线表示的像素列)对应的像素坐标，I'[x,y]表示该处理得到的图像最左端第二预设像素列(即上图5(b)所示最左端斜线表示的像素列)对应的像素坐标。

需要说明的是，在本申请实施例的实际应用中，上述步骤S401～步骤S403的过程可以由编码器实现，而步骤S404～步骤S406可以由解码器实现，本申请实施例描述的处理过程则是从整个电子设备的角度进行描述。

综上，本申请采用上述可选实施例的方案，进一步提高了拼接效果，保证了所得全景视频的播放效果。

基于上述分析，参照图6，本申请提供了一种全景视频拼接的处理方法的优选实施例的流程图，但并不局限于本实施例描述这种实现方式，可以在本申请提供的发明构思的基础上，进行适应性调整，本申请不再一一详述，在该优选实施例中，该方法可以包括：

步骤S601，接收多个图像采集设备针对目标拍摄对象采集到的拍摄图像；

在本实施例中，这多个图像采集设备的拍摄视角不同，通常是成全方位360度设置，以保证得到该目标拍摄对象的全方位360度图像。

其中，在实际拍摄过程中，待图像采集设备获得拍摄图像后，可以直接通过无线方式发送至电子设备，以实现后续处理，也可以在接收到电子设备发送的获取指令后，再将相应的拍摄图像发送至该电子设备，本申请对此不作限定。

步骤S602，利用接收到的多个拍摄图像，生成目标拍摄对象的球面全景图；

需要说明的是，本申请对如何利用同一拍摄对象的全方位图像，生成球面全景图的实现方法不作限定。

步骤S603，对该球面全景图进行映射处理，得到所述目标拍摄对象的二维平面全景图；

本实施例，该步骤S603的实现方法可以参照上图2所示的映射过程，本实施例在此不作详述。

步骤S604，确定该二维平面全景图最右端边界的第一预设像素列以及最左端边界的第一预设像素列；

在本实施例中，可以在矩形图即二维平面全景图的两端边界确定预设像素列，完成后续像素扩展或填充，如上图5(a)所示最右端的w1列像素以及最左端的w2列像素，本申请对该w1和w2的具体数值不作限定，通常是2或4的倍数，且两者可以相等也可以不相等，本申请对此不作限定。

步骤S605，针对该最右端边界的第一预设像素列中像素的每一个编码分量，利用该最左端边界的第一预设像素列对应像素的相应编码分量进行扩展；

步骤S606；针对所述最左端边界的第一预设像素列中像素的每一个编码分量，利用该最右端边界的第一预设像素列对应像素的相应编码分量进行扩展；

需要说明的是，本实施例对步骤S605和步骤S606的执行顺序不作限定，且关于这两个步骤中编码分量的扩展实现过程可以参照上述实施例相应部分的描述，本实施例在此不再详述。

其中，在对两端边界像素的每一个编码分量扩展时，可以先确定各编码分量的扩展宽度，再按照该扩展宽度实现像素扩展，该扩展宽度的确定过程可以包括：

可以先确定第一预设像素列中像素的多个编码分量的像素宽度，获得预设的第一编码分量分别在所述二维平面全景图最右端边界的第一扩展宽度，以及在最左端边界的第二扩展宽度，所述第一编码分量是所述多个编码分量中的任意一个编码分量；再利用所述多个编码分量的像素宽度，以及所述第一扩展宽度和所述第二扩展宽度，确定所述多个编码分量中其他编码分量在两端边界的扩展宽度，具体实现过程可以参照上述实施例结合图5(b)所示的扩展示意图进行的描述。

步骤S607，获得待滤波全景图。

步骤S608，对该待滤波全景图两端边界中相邻的第一预设像素列和第二预设像素列的像素进行去块效应滤波处理；

结合上述描述，待滤波全景图两端边界都包括了原二维平面全景图两端第一预设像素列的像素，即使原二维平面全景图两端距离较远的第一预设像素列的像素相邻，从而使待滤波全景图能够进行去块效应滤波，保证处理后两端像素亮度一致。

步骤S609，利用去块效应滤波处理得到的图像两端边界的第二预设像素列的像素值，对该图像最左端边界的所述第二预设像素列与最右端边界的所述第一预设像素列对应的像素进行加权平均运算，得到第一运算结果；

步骤S610，对该图像最右端边界的所述第二预设像素列与最左端边界的所述第一预设像素列对应的像素进行加权平均运算，得到第二运算结果；

关于上述步骤S609和步骤S610的加权平均运算过程，可以参照上述实施例相应部分的描述，本实施例在此不再详述。

步骤S611，利用第一运算结果替换该图像最右端边界的第一预设像素列对应像素的像素值；

步骤S612，利用第二运算结果替换该图像最左端边界的第一预设像素列对应像素的像素值；

步骤S613，将处理得到图像两端边界的第二预设像素列删除，得到待拼接图；

步骤S614，按照预设视角，利用预设图像拼接算法对待拼接图像进行处理，生成所述目标拍摄对象的全景视频。

综上，在本实施例中，将针对像素每一个编码分量，都会利用对端边界对应像素的相应编码分量进行像素扩展，从而使视频编码器能够实现对处理后的图像两端像素的去块效应滤波，保证两端像素亮度一致，进而避免由此得到的全景视频内容中出现拼接缝，保证了全景视频的播放效果。

参照图7，为本申请实施例提供的一种全景视频拼接的处理装置的结构框图，在本实施例中，该装置可以应用于电子设备，具体可以包括：

图像获得模块71，用于获得目标拍摄对象的球面全景图；

可选的，该图像获得模块71可以包括：

接收单元，用于接收多个图像采集设备针对目标拍摄对象采集到的拍摄图像，所述多个图像采集设备的拍摄视角不同；

全景图生成单元，用于利用接收到的多个拍摄图像，生成所述目标拍摄对象的球面全景图。

映射处理模块72，用于对所述球面全景图进行映射处理，得到所述目标拍摄对象的二维平面全景图；

像素扩展模块73，用于利用所述二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图；

可选的，为了实现对二维平面全景图两端边界像素的扩展，如图8所示，该像素扩展模块73可以包括：

第一确定单元731，用于确定所述二维平面全景图最右端边界的第一预设像素列以及最左端边界的第一预设像素列；

第一扩展单元732，用于针对所述最右端边界的第一预设像素列中像素的每一个编码分量，利用所述最左端边界的第一预设像素列对应像素的相应编码分量进行扩展；

第二扩展单元733，用于针对所述最左端边界的第一预设像素列中像素的每一个编码分量，利用所述最右端边界的第一预设像素列对应像素的相应编码分量进行扩展；

图像获得单元734，用于获得待滤波全景图。

作为本申请另一实施例，在上述可选实施例的基础上，该装置还可以包括：

像素宽度确定模块，用于确定所述第一预设像素列中像素的多个编码分量的像素宽度；

第一获得模块，用于获得第一编码分量分别在所述二维平面全景图最右端边界的第一扩展宽度，以及在最左端边界的第二扩展宽度，所述第一编码分量是所述多个编码分量中的任意一个编码分量；

第二获得模块，用于利用所述多个编码分量的像素宽度，以及所述第一扩展宽度和所述第二扩展宽度，确定所述多个编码分量中其他编码分量在两端边界的扩展宽度。

滤波处理模块74，用于对所述待滤波全景图进行去块效应滤波处理，并将去块效应滤波处理得到的图像两端边界的第二预设像素列删除，得到待拼接图像；

图像拼接模块75，用于按照预设视角，利用预设图像拼接算法对待拼接图像进行处理，生成所述目标拍摄对象的全景视频。

可选的，为了提高全景视频画面质量，如图9所示，该装置还可以包括：

加权平均运算模块76，用于利用处理得到的图像两端边界的第二预设像素列的像素值，对该图像最左端边界的所述第二预设像素列与最右端边界的所述第一预设像素列对应的像素进行加权平均运算，得到第一运算结果，并对该图像最右端边界的所述第二预设像素列与最左端边界的所述第一预设像素列对应的像素进行加权平均运算，得到第二运输结果；

第一替换模块77，用于利用第一运算结果替换该图像最右端边界的第一预设像素列对应像素的像素值；

第二替换模块78，用于利用第二运算结果替换该图像最左端边界的第一预设像素列对应像素的像素值。

综上，本申请利用得到二维平面全景图对端边界的像素，实现本端边界像素扩展，从而使二维平面全景图两端边界的像素块相邻，实现去块效应滤波处理，保证二维平面全景图两端边界像素亮度一致，避免得到的全景视频内容出现拼接缝的问题。

上面主要从功能模块的角度来说明装置的功能组成，下面将从硬件结构的角度说明电子设备的硬件组成。

如图10所示，为本申请实施例提供的一种电子设备的硬件结构图，该电子设备可以包括：

通信端口101，用于实现与图像采集设备的通信连接，接收该图像采集设备针对目标拍摄对象采集到的拍摄图像。

在实际应用中，根据电子设备与图像采集设备之间的通信方式的不同，该通信端口101的类型可以不同，如WIFI模块的接口，GSM模块的接口等。

存储器102，用于存储多个第一指令以及多个第二指令；

其中，多个第一指令可以为实现上述方法实施例描述的全景视频拼接的处理方法中，利用新的编码方式对目标拍摄对象的球面全景图进行处理，得到待滤波全景图的程序代码，第二指令可以为实现上述方法实施例描述的全景视频拼接的处理方法中，对得到的待滤波全景图进行去块效应滤波处理，解码得到全景视频的过程的程序代码等。

可见，该存储器102可以存储实现图像获得模块、映射处理模块、像素扩展模块、滤波处理模块以及图像拼接模块等程序模块的程序代码，以使视频编码器或视频解码器调用相应的程序代码，实现本申请提供的全景视频拼接的处理方案，保证二维平面全景图两端像素亮度一致，避免最终所呈现的全景视频内容出现拼接缝，提高了全景视频画面质量。

另外，在实际应用中，该存储器还可以存储图像采集设备采集到的拍摄图像，以及程序处理过程中产生的中间数据等等，本申请在此不做详述。

在本实施例中，该存储器102可以是高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

视频编码器103，用于加载并执行存储器存储的多个第一指令，包括：

获得目标拍摄对象的球面全景图；

对所述球面全景图进行映射处理，得到所述目标拍摄对象的二维平面全景图；

利用所述二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图。

需要说明的是，关于视频编码器实现执行多个第一指令的实现过程可以参照上述方法实施例相应部分的描述，本实施例在此不再详述。

视频解码器104，用于加载并执行存储器存储的多个第二指令，包括：

对待滤波全景图进行去块效应滤波处理，并将去块效应滤波处理得到的图像两端边界的第二预设像素列删除，得到待拼接图像；

按照预设视角，利用预设图像拼接算法对待拼接图像进行处理，生成所述目标拍摄对象的全景视频。

需要说明的是，关于视频解码器实现执行多个第二指令的实现过程可以参照上述方法实施例相应部分的描述，本实施例在此不再详述。

基于上述方案描述，对于上述虚拟装置中的图像获得模块、映射处理模块以及像素扩展模块等程序模块的功能可以由上述视频编码器103实现，而滤波处理模块以及图像拼接模块等程序模块的功能可以由上述视频解码器104实现。

显示器105，用于显示全景视频内容。

在实际应用中，电子设备的硬件组成并不局限于上文列举的器件，还可以根据电子设备的产品类型，包括相应的固有器件，如音视频播放器、通信总线以及各种传感器等等，本申请在此不再一一列举。

综上，本实施例提供的电子设备可以通过对得到的二维平面全景图两端边界的像素进行扩展处理，从而使处理后的图像能够进行去块效应滤波，保证二维平面全景图两端像素亮度一致，避免最终所呈现的全景视频内容出现拼接缝，提高了全景视频画面质量。

最后，需要说明的是，关于上述各实施例中，诸如第一、第二等之类的关系术语仅仅用来将一个操作或单元与另一个操作或单元区分开来，而不一定要求或者暗示这些单元或操作之间存在任何这种实际的关系或者顺序。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置和电子设备而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种全景视频拼接的处理方法，其特征在于，所述方法包括：

获得目标拍摄对象的球面全景图；

对所述球面全景图进行映射处理，得到所述目标拍摄对象的二维平面全景图；

利用所述二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图，所述本端与所述对端是所述二维平面全景图中相对的两端；

对所述待滤波全景图进行去块效应滤波处理，并将去块效应滤波处理得到的图像两端边界的第二预设像素列删除，得到待拼接图像；

按照预设视角，利用预设图像拼接算法对所述待拼接图像进行处理，生成所述目标拍摄对象的全景视频；

所述本端边界为图像最左端边界，相应地所述对端边界为图像最右端边界；或者，所述本端边界为图像最右端边界，相应地所述对端边界为图像最左端边界，所述利用所述二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图，包括：

确定所述二维平面全景图最右端边界的第一预设像素列以及最左端边界的第一预设像素列；

针对所述最右端边界的第一预设像素列中像素的每一个编码分量，利用所述最左端边界的第一预设像素列对应像素的相应编码分量进行扩展；

针对所述最左端边界的第一预设像素列中像素的每一个编码分量，利用所述最右端边界的第一预设像素列对应像素的相应编码分量进行扩展；

获得待滤波全景图。

2.根据权利要求1所述的方法，其特征在于，所述本端边界为图像最左端边界，相应地所述对端边界为图像最右端边界；或者，所述本端边界为图像最右端边界，相应地所述对端边界为图像最左端边界，在对所述待滤波全景图进行去块效应滤波处理之后，且在所述将去块效应滤波处理得到的图像两端边界的第二预设像素列删除之前，所述方法还包括：

利用去块效应滤波处理得到的图像两端边界的第二预设像素列的像素值，对该图像最左端边界的所述第二预设像素列与最右端边界的所述第一预设像素列对应的像素进行加权平均运算，得到第一运算结果，并对该图像最右端边界的所述第二预设像素列与最左端边界的所述第一预设像素列对应的像素进行加权平均运算，得到第二运算结果；

利用所述第一运算结果替换该图像最右端边界的所述第一预设像素列对应像素的像素值；

利用所述第二运算结果替换该图像最左端边界的所述第一预设像素列对应像素的像素值。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述第一预设像素列中像素的多个编码分量的像素宽度；

获得第一编码分量分别在所述二维平面全景图最右端边界的第一扩展宽度，以及在最左端边界的第二扩展宽度，所述第一编码分量是所述多个编码分量中的任意一个编码分量；

利用所述多个编码分量的像素宽度，以及所述第一扩展宽度和所述第二扩展宽度，确定所述多个编码分量中其他编码分量在两端边界的扩展宽度。

4.根据权利要求3所述的方法，其特征在于，所述第一扩展宽度和所述第二扩展宽度是2的倍数，或者是4的倍数。

5.根据权利要求1所述的方法，其特征在于，所述获得目标拍摄对象的球面全景图，包括：

接收多个图像采集设备针对目标拍摄对象采集到的拍摄图像，所述多个图像采集设备的拍摄视角不同；

利用接收到的多个拍摄图像，生成所述目标拍摄对象的球面全景图。

6.一种全景视频拼接的处理装置，其特征在于，所述装置包括：

图像获得模块，用于获得目标拍摄对象的球面全景图；

映射处理模块，用于对所述球面全景图进行映射处理，得到所述目标拍摄对象的二维平面全景图；

像素扩展模块，用于利用所述二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图；

滤波处理模块，用于对所述待滤波全景图进行去块效应滤波处理，并将处理得到的图像两端边界的第二预设像素列删除，得到待拼接图像；

图像拼接模块，用于按照预设视角，利用预设图像拼接算法，生成所述目标拍摄对象的全景视频；

所述像素扩展模块包括：

第一确定单元，用于确定所述二维平面全景图最右端边界的第一预设像素列以及最左端边界的第一预设像素列；

第一扩展单元，用于针对所述最右端边界的第一预设像素列中像素的每一个编码分量，利用所述最左端边界的第一预设像素列对应像素的相应编码分量进行扩展；

第二扩展单元，用于针对所述最左端边界的第一预设像素列中像素的每一个编码分量，利用所述最右端边界的第一预设像素列对应像素的相应编码分量进行扩展；

图像获得单元，用于获得待滤波全景图。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

加权平均运算模块，用于利用处理得到的图像两端边界的第二预设像素列的像素值，对该图像最左端边界的所述第二预设像素列与最右端边界的所述第一预设像素列对应的像素进行加权平均运算，得到第一运算结果，并对该图像最右端边界的所述第二预设像素列与最左端边界的所述第一预设像素列对应的像素进行加权平均运算，得到第二运输结果；

第一替换模块，用于利用第一运算结果替换该图像最右端边界的所述第一预设像素列对应像素的像素值；

第二替换模块，用于利用第二运算结果替换该图像最左端边界的所述第一预设像素列对应像素的像素值。

8.一种电子设备，其特征在于，所述电子设备包括：

通信端口；

存储器，用于存储多个第一指令以及多个第二指令；

视频编码器，用于加载并执行所述多个第一指令，包括：

获得目标拍摄对象的球面全景图；

对所述球面全景图进行映射处理，得到所述目标拍摄对象的二维平面全景图；

利用所述二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图；

视频解码器，用于加载并执行所述多个第二指令，包括：对所述待滤波全景图进行去块效应滤波处理，并将处理得到的图像两端边界的第二预设像素列删除，得到待拼接图像；

按照预设视角，利用预设图像拼接算法，生成所述目标拍摄对象的全景视频；

显示器，用于显示所述全景视频内容；

所述本端边界为图像最左端边界，相应地所述对端边界为图像最右端边界；或者，所述本端边界为图像最右端边界，相应地所述对端边界为图像最左端边界，所述视频编码器利用所述二维平面全景图对端边界的第一预设像素列，实现本端边界的像素扩展，得到待滤波全景图的过程具体包括：

确定所述二维平面全景图最右端边界的第一预设像素列以及最左端边界的第一预设像素列；

针对所述最右端边界的第一预设像素列中像素的每一个编码分量，利用所述最左端边界的第一预设像素列对应像素的相应编码分量进行扩展；

针对所述最左端边界的第一预设像素列中像素的每一个编码分量，利用所述最右端边界的第一预设像素列对应像素的相应编码分量进行扩展；

获得待滤波全景图。

Images