CN105554506A - 基于多方式边界填充的全景视频编码、解码方法和装置 - Google Patents

Abstract

一种基于多方式边界填充的全景视频编码、解码方法和装置，在通过帧间预测得到当前图像块的预测图像块时，帧间预测包括边界填充步骤，边界填充步骤为：当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式，以求得参考样本的样本值。本申请提供的基于多方式边界填充的全景视频编码、解码方法和装置中，充分利用了全景视频中，水平方向图像内容是循环相连的这一特性，优化图像边界填充方法，使得在编码端能够根据参考样本的坐标自适应选择更合理的边界填充方式，以达到提升压缩效率的目的。

Description

基于多方式边界填充的全景视频编码、解码方法和装置

技术领域

本申请涉及数字视频编解码技术领域，具体涉及一种基于多方式边界填充的全景视频编码、解码方法和装置。

背景技术

目前，虚拟现实技术和相关应用正在快速发展。在虚拟现实技术中，全景图像和全景视频是一个重要的组成部分。由于全景视频记录了360度视角的全部画面，具有极高的数据量，因此全景视频的压缩是虚拟现实应用中的一个关键技术。全景视频作为一种新兴的媒体，和传统的视频相比，具有视野大，分辨率高，数据量大等特点。利用全景视频，观察者视点不变，改变观察方向能够观察到周围的全部场景，而普通的二维视频只反应了全景视频的某个局部。

柱面全景视频是一种常见的全景视频，它相当于一个虚拟的摄像机，把空间中的三维物体投影到柱面上。柱面全景视频的生成可以利用多摄像头或者单摄像头采集系统采集而成。

由于全景视频的视野范围是普通视频的5～6倍，在给用户提供相同的视觉质量的情况下，全景视频的数据量是普通视频的5～6倍。如果按照传统的视频传输方案，全景视频在网络环境下的使用变得困难重重。但是，由于在同一时刻，用户所需要看到的内容只是全景视频的某一部分，所以分块编码与传输成为了全景视频网络传输的常见方案。

请参考图1，柱面全景视频的传输方法主要包括下面步骤：

对全景图像进行分块，并对每个图像块的序列独立进行编码。

之后选择所需要的编码后的数据进行传输。在此可以根据用户当前的视角选择数据。传输媒介可以是因特网、无线网络、局域网、光学网络、其它合适的传输媒介、或者这些传输媒介的适当组合。

最后解码端接收到数据之后，对这些块序列进行独立的解码和投影变换，得到所需图像。

在全景视频的分块编码中，分块的尺寸对于全景视频的编码效率以及传输区域有着重要的影响，而这两项因素直接决定着需要传输的数据量。如果编码块尺寸小，则传输区域较小，但是编码效率会较低；如果编码块尺寸大，则编码效率较高，但是传输区域也较大。所以在相同的视觉质量下，不同的编码块尺寸，需要传输的数据量是不一样的。

由于全景视频相对普通视频具有一定的特殊性，例如全景视频具有循环性，画面存在较大畸变等，需要使用一个特殊的编码技术以提高全景视频的压缩效率，而如何提高全景视频的压缩效率是本领域常年研究的一个问题。

发明内容

本申请提供一种基于多方式边界填充的全景视频编码、解码方法和装置，可以提高全景视频的压缩效率。

根据本申请的第一方面，本申请提供了一种基于多方式边界填充的全景视频编码方法包括：

将当前图像划分为若干图像块；

通过帧间预测得到当前图像块的预测图像块；所述帧间预测包括边界填充步骤，所述边界填充步骤为：当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式，以求得参考样本的样本值；

将当前图像块与预测图像块相减，得到残差块；

对残差块进行变换、量化和熵编码，以得到编码码流；所述编码码流的序列头或图像头中写入有边界填充步骤中所选择的边界填充方式。

优选的，当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式步骤，包括：当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，选择横向图像边界填充方式求得参考样本的样本值；当参考样本的纵坐标位于参考图像上边界和下边界之外时，选择纵向图像边界填充方式求得参考样本的样本值。

在一实施例中，当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用循环填充方式。

在另一实施例中，当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用重复填充方式。

根据本申请的第二方面，本申请还提供了一种基于多方式边界填充的全景视频编码装置，包括：

图像划分模块，用于将当前图像划分为若干图像块；

帧间预测模块，用于通过帧间预测得到当前图像块的预测图像块；所述帧间预测模块包括边界填充单元，用于在当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式，以求得参考样本的样本值；

计算模块，用于将当前图像块与预测图像块相减，得到残差块；

码流生成模块，用于对残差块进行变换、量化和熵编码，以得到编码码流；所述编码码流的序列头或图像头中写入有边界填充单元所选择的边界填充方式。

优选的，边界填充单元用于在当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式，以求得参考样本的样本值，具体为：边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，选择横向图像边界填充方式求得参考样本的样本值；在当参考样本的纵坐标位于参考图像上边界和下边界之外时，选择纵向图像边界填充方式求得参考样本的样本值。

在一实施例中，边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；在当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用循环填充方式。

在另一实施例中，边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；在当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用重复填充方式。

根据本申请的第三方面，本申请还提供了一种基于多方式边界填充的全景视频解码方法，包括：

对编码码流进行熵解码、反量化和反变换，以得到重建的残差块；

通过帧间预测得到当前图像块的预测图像块；所述帧间预测包括边界填充步骤，所述边界填充步骤为：采用编码码流的序列头或图像头中记录的边界填充方式，以求得参考样本的样本值；

将预测图像块和重建的残差块相加，得到重建的图像块。

在一实施例中，当所述边界填充方式记录在编码码流的序列头中时，编码码流的所有序列的图像采用所记录的边界填充方式进行图像边界填充；当所述边界填充方式记录在编码码流的图像头中时，与该图像头对应的图像采用所记录的边界填充方式进行图像边界填充。

根据本申请的第四方面，本申请还提供了一种基于多方式边界填充的全景视频解码装置，包括：

残差块重建模块，用于对编码码流进行熵解码、反量化和反变换，以得到重建的残差块；

帧间预测模块，用于通过帧间预测得到当前图像块的预测图像块；所述帧间预测模块包括边界填充单元，用于采用编码码流的序列头或图像头中记录的边界填充方式，以求得参考样本的样本值；

图像块重建模块，用于将预测图像块和重建的残差块相加，得到重建的图像块。

在一实施例中，边界填充单元用于当所述边界填充方式记录在编码码流的序列头中时，编码码流的所有序列的图像采用所记录的边界填充方式进行图像边界填充；当所述边界填充方式记录在编码码流的图像头中时，与该图像头对应的图像采用所记录的边界填充方式进行图像边界填充。

本申请提供的基于多方式边界填充的全景视频编码、解码方法和装置，充分利用了全景视频中，水平方向图像内容是循环相连的这一特性，优化图像边界填充方法，使得在编码端能够根据参考样本的坐标自适应选择更合理的边界填充方式，以达到提升压缩效率的目的。

附图说明

图1为柱面全景视频的传输方法示意图；

图2为本申请一种实施例中基于多方式边界填充的全景视频编码方法的流程示意图；

图3为帧间预测过程中，边界填充的示意图；

图4为本申请一种实施例中采用循环填充方式的原理示意图；

图5为本申请一种实施例中分别采用循环填充方式和重复填充方式的原理示意图；

图6为本申请一种实施例中基于多方式边界填充的全景视频编码装置的模块示意图；

图7为本申请一种实施例中基于多方式边界填充的全景视频解码方法的流程示意图；

图8为本申请一种实施例中基于多方式边界填充的全景视频解码装置的模块示意图。

具体实施方式

本申请的发明构思在于：在传统的视频编解码标准中，对图像边界统一使用重复填充的方法。对于图像边界外的样本点，使用图像边界上距离样本点最近的点的值作为样本点的样本值。但在全景视频中，水平方向图像内容是循环相连的，因此可以利用这一特性优化图像边界填充方法，以达到提升压缩效率的目的。所以，本申请提供的全景视频编码、解码方法和装置中，在编码端根据参考样本的坐标自适应选择更合理的边界填充方式，以达到提升压缩效率的目的。

下面通过具体实施方式结合附图对本申请作进一步详细说明。

实施例一

请参考图2，本实施例提供了一种基于多方式边界填充的全景视频编码方法，包括下面步骤：

步骤1.1：将当前图像划分为若干图像块。具体的，切分的图像块的大小可以根据实际需求选择。

步骤1.2：通过帧间预测得到预测图像块。本实施例中，步骤1.2包括边界填充步骤(步骤1.21)，步骤1.21为：当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式，以求得参考样本的样本值。

首先，需要说明的是，编解码过程中进行帧间预测时，当前图像块的坐标加上运动矢量MV，得到的新坐标就是参考图像上预测图像块的坐标。帧间预测就是根据该坐标将参考图像上的预测图像块的值取出，作为当前图像块的预测值。具体到图像块内的某一个像素时，预测图像块内对应位置的像素称作当前图像块内该像素的参考样本。但是参考图像上的预测图像块可能会有一部分或全部位于参考图像边界外，如图3所示，当前图像块为图像块A，运动矢量为MV，因此参考图像上的预测图像块为图像块B。图像块B的一部分位于参考图像边界之外，因此这一部分的像素值就需要通过边界填充计算出来。

本实施例中，当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，选择横向图像边界填充方式求得参考样本的样本值；当参考样本的纵坐标位于参考图像上边界和下边界之外时，选择纵向图像边界填充方式求得参考样本的样本值。

优选的，本实施例中，当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用循环填充方式。

请参考图4，为本实施例中采用循环填充方式的原理示意图。

具体的，本实施例中，循环填充方式可以采用下面形式：

对于一个宽为w，高为h的图像，以图像左上角为坐标原点，横向向右为x坐标正方向，纵向向下为y坐标正方向；如果一个样本点坐标为(a_x,a_y)，记为样本点A，当0<a_y<h，且a_x<0或a_x>w–1(由于像素坐标是从0开始的，图像宽度为w时，图像内部像素的横坐标的取值范围是0到w-1)时，样本点A的样本值等于样本点(w-(a_x％w),a_y)的样本值。如果一个样本点坐标为(b_x,b_y)，记为样本点B，当b_y<0或b_y>h–1时，样本点B的样本值等于样本点(b_x,h-(b_y％h))的样本值。其中，“％”运算符为取模运算。

在另一实施例中，当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用重复填充方式。

请参考图5，为其分别采用循环填充方式和重复填充方式的原理示意图。具体的，循环填充方式和重复填充方式分别可以采用下面形式：

以图像左上角为坐标远点；横向为x坐标，向右为正方向；纵向为y坐标，向下为正方向；图像宽度为w，图像高度为h。如果一个样本点坐标为(a_x,a_y)，记为样本点A，当0<a_y<h，且a_x<0或a_x>w–1时，样本点A的样本值等于样本点(w-(a_x％w),a_y)的样本值。其中，“％”运算符为取模运算。如果一个样本点坐标为(b_x,b_y)，记为样本点B，当b_y<0时，样本点B的样本值等于样本点(b_x,0)的样本值；当b_y>h–1时，样本点B的样本值等于样本点(b_x,h-1)的样本值。

当然，在其他实施例中，如果坐标系发生了相应的改变，例如坐标原点不再取图像左上角，那么样本值的计算方式也可以相应进行改变。

步骤1.3：当前图像块每个像素减去预测图像块相同位置的像素，得到残差块。

步骤1.4：对残差块进行变换、量化得到量化块；最后通过熵编码将量化块的每个系数以及当前图像块的运动矢量写入编码码流。本实施例中，由于在帧间预测过程中选择了不同的边界填充方式，因此，在编码码流中需要写入所选择的相应的边界填充方式，以用于解码。具体的，在编码码流的序列头或图像头中写入边界填充步骤中所选择的边界填充方式。

需要说明是，具体是选择将边界填充方式的信息写入序列头还是图像头，可以根据实际需求选择。写入序列头就表示序列内所有图像都采用相同的方式填充，而图像头不再需要写入额外的标识，可以节省标识位本身的开销；写入图像头就只能标识当前图像的填充方式，每一帧图像都可以采用不同的方式填充，方式较为灵活。

实施例二

请参考图6，对应于实施例一提供的基于多方式边界填充的全景视频编码方法，本实施例相应提供了一种基于多方式边界填充的全景视频编码装置，包括图像划分模块101、帧间预测模块102、计算模块103和码流生成模块104。

图像划分模块101用于将当前图像划分为若干图像块。具体的，切分的图像块的大小可以根据实际需求选择。

帧间预测模块102用于通过帧间预测得到当前图像块的预测图像块。本实施例中，帧间预测模块102包括边界填充单元1021，用于在当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式，以求得参考样本的样本值。

首先，需要说明的是，编解码过程中进行帧间预测时，当前图像块的坐标加上运动矢量MV，得到的新坐标就是参考图像上预测图像块的坐标。帧间预测就是根据该坐标将参考图像上的预测图像块的值取出，作为当前图像块的预测值。具体到图像块内的某一个像素时，预测图像块内对应位置的像素称作当前图像块内该像素的参考样本。但是参考图像上的预测图像块可能会有一部分或全部位于参考图像边界外，如图3所示，当前图像块为图像块A，运动矢量为MV，因此参考图像上的预测图像块为图像块B。图像块B的一部分位于参考图像边界之外，因此这一部分的像素值就需要通过边界填充计算出来。

本实施例中，边界填充单元1021用于在当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，选择横向图像边界填充方式求得参考样本的样本值；在当参考样本的纵坐标位于参考图像上边界和下边界之外时，选择纵向图像边界填充方式求得参考样本的样本值。

优选的，本实施例中，边界填充单元1021用于在当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；在当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用循环填充方式。

请参考图4，为本实施例中采用循环填充方式的原理示意图。

具体的，本实施例中，循环填充方式可以采用下面形式：

对于一个宽为w，高为h的图像，以图像左上角为坐标原点，横向向右为x坐标正方向，纵向向下为y坐标正方向；如果一个样本点坐标为(a_x,a_y)，记为样本点A，当0<a_y<h，且a_x<0或a_x>w–1(由于像素坐标是从0开始的，图像宽度为w时，图像内部像素的横坐标的取值范围是0到w-1)时，样本点A的样本值等于样本点(w-(a_x％w),a_y)的样本值。如果一个样本点坐标为(b_x,b_y)，记为样本点B，当b_y<0或b_y>h–1时，样本点B的样本值等于样本点(b_x,h-(b_y％h))的样本值。其中，“％”运算符为取模运算。

在另一实施例中，边界填充单元1021用于在当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；在当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用重复填充方式。

请参考图5，为其分别采用循环填充方式和重复填充方式的原理示意图。具体的，循环填充方式和重复填充方式分别可以采用下面形式：

以图像左上角为坐标远点；横向为x坐标，向右为正方向；纵向为y坐标，向下为正方向；图像宽度为w，图像高度为h。如果一个样本点坐标为(a_x,a_y)，记为样本点A，当0<a_y<h，且a_x<0或a_x>w–1时，样本点A的样本值等于样本点(w-(a_x％w),a_y)的样本值。其中，“％”运算符为取模运算。如果一个样本点坐标为(b_x,b_y)，记为样本点B，当b_y<0时，样本点B的样本值等于样本点(b_x,0)的样本值；当b_y>h–1时，样本点B的样本值等于样本点(b_x,h-1)的样本值。

当然，在其他实施例中，如果坐标系发生了相应的改变，例如坐标原点不再取图像左上角，那么样本值的计算方式也可以相应进行改变。

计算模块103用于将当前图像块与预测图像块相减，得到残差块。

码流生成模块104用于对残差块进行变换、量化和熵编码，以得到编码码流。编码码流的序列头或图像头中写入有边界填充单元1021所选择的边界填充方式，以用于解码。

需要说明是，具体是选择将边界填充方式的信息写入序列头还是图像头，可以根据实际需求选择。写入序列头就表示序列内所有图像都采用相同的方式填充，而图像头不再需要写入额外的标识，可以节省标识位本身的开销；写入图像头就只能标识当前图像的填充方式，每一帧图像都可以采用不同的方式填充，方式较为灵活。

实施例三

请参考图7，基于实施例一提供的基于多方式边界填充的全景视频编码方法，本实施例相应提供了一种基于多方式边界填充的全景视频解码方法，包括下面步骤：

步骤2.1：对编码码流进行熵解码、反量化和反变换，以得到重建的残差块。

步骤2.2：通过帧间预测得到预测图像块。本实施例中，步骤2.2包括边界填充步骤(步骤2.21)，步骤2.21为：采用编码码流的序列头或图像头中记录的边界填充方式，以求得参考样本的样本值。步骤2.21与实施例一中的步骤1.21相同，此处不再赘述。

本实施例中，当边界填充方式记录在编码码流的序列头中时，编码码流的所有序列的图像采用所记录的边界填充方式进行图像边界填充；当边界填充方式记录在编码码流的图像头中时，与该图像头对应的图像采用所记录的边界填充方式进行图像边界填充。

步骤2.3：将预测图像块和重建的残差块相加，得到重建的图像块

实施例四

请参考图8，对应于实施例三提供的基于多方式边界填充的全景视频解码方法，本实施例相应提供了一种基于多方式边界填充的全景视频解码装置，包括残差块重建模块201、帧间预测模块202和图像块重建模块203。

残差块重建模块201用于对编码码流进行熵解码、反量化和反变换，以得到重建的残差块。

帧间预测模块202用于通过帧间预测得到当前图像块的预测图像块。本实施例中，帧间预测模块202包括边界填充单元2021，用于采用编码码流的序列头或图像头中记录的边界填充方式，以求得参考样本的样本值。边界填充单元2021与实施例二中的边界填充单元1021相同，此处不再赘述。

本实施例中，边界填充单元2021用于当边界填充方式记录在编码码流的序列头中时，编码码流的所有序列的图像采用所记录的边界填充方式进行图像边界填充；当边界填充方式记录在编码码流的图像头中时，与该图像头对应的图像采用所记录的边界填充方式进行图像边界填充。

图像块重建模块203用于将预测图像块和重建的残差块相加，得到重建的图像块。

需要说明的是，本申请实施例中，仅对全景视频编解码帧间预测过程中的边界填充步骤进行了详细说明，对于全景视频编解码过程中的其他步骤，皆可以采用现有技术中的任意一种可行方法。另外，通常，视频处理装置可包括编码装置和/或解码装置，编码装置包括编码过程和解码过程，解码装置包括解码过程。解码装置的解码过程与编码装置的解码过程相同。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来控制相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存取存储器、磁盘或光盘等。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (10)

1.一种基于多方式边界填充的全景视频编码方法，其特征在于，包括：

将当前图像划分为若干图像块；

通过帧间预测得到当前图像块的预测图像块；所述帧间预测包括边界填充步骤，所述边界填充步骤为：当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式，以求得参考样本的样本值；

将当前图像块与预测图像块相减，得到残差块；

对残差块进行变换、量化和熵编码，以得到编码码流；所述编码码流的序列头或图像头中写入有边界填充步骤中所选择的边界填充方式。

2.如权利要求1所述的方法，其特征在于，当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式步骤，包括：当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，选择横向图像边界填充方式求得参考样本的样本值；当参考样本的纵坐标位于参考图像上边界和下边界之外时，选择纵向图像边界填充方式求得参考样本的样本值。

3.如权利要求2所述的方法，其特征在于，当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用循环填充方式。

4.如权利要求2所述的方法，其特征在于，当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用重复填充方式。

5.一种基于多方式边界填充的全景视频编码装置，其特征在于，包括：

图像划分模块，用于将当前图像划分为若干图像块；

帧间预测模块，用于通过帧间预测得到当前图像块的预测图像块；所述帧间预测模块包括边界填充单元，用于在当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式，以求得参考样本的样本值；

计算模块，用于将当前图像块与预测图像块相减，得到残差块；

码流生成模块，用于对残差块进行变换、量化和熵编码，以得到编码码流；所述编码码流的序列头或图像头中写入有边界填充单元所选择的边界填充方式。

6.如权利要求5所述的装置，其特征在于，边界填充单元用于在当前图像块中像素的参考样本在相应的参考图像的边界之外时，根据参考样本的坐标自适应选择边界填充方式，以求得参考样本的样本值，具体为：边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，选择横向图像边界填充方式求得参考样本的样本值；在当参考样本的纵坐标位于参考图像上边界和下边界之外时，选择纵向图像边界填充方式求得参考样本的样本值。

7.如权利要求6所述的装置，其特征在于，边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；在当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用循环填充方式。

8.如权利要求6所述的装置，其特征在于，边界填充单元用于在当参考样本的纵坐标位于参考图像上边界和下边界以内，且参考样本的横坐标位于参考图像左边界和右边界之外时，横向图像边界填充方式采用循环填充方式；在当参考样本的纵坐标位于参考图像上边界和下边界之外时，纵向图像边界填充方式采用重复填充方式。

9.一种基于多方式边界填充的全景视频解码方法，其特征在于，包括：

对编码码流进行熵解码、反量化和反变换，以得到重建的残差块；

通过帧间预测得到当前图像块的预测图像块；所述帧间预测包括边界填充步骤，所述边界填充步骤为：采用编码码流的序列头或图像头中记录的边界填充方式，以求得参考样本的样本值；

将预测图像块和重建的残差块相加，得到重建的图像块。

10.一种基于多方式边界填充的全景视频解码装置，其特征在于，包括：

残差块重建模块，用于对编码码流进行熵解码、反量化和反变换，以得到重建的残差块；

帧间预测模块，用于通过帧间预测得到当前图像块的预测图像块；所述帧间预测模块包括边界填充单元，用于采用编码码流的序列头或图像头中记录的边界填充方式，以求得参考样本的样本值；

图像块重建模块，用于将预测图像块和重建的残差块相加，得到重建的图像块。