CN101010960B - 针对全景图像进行运动估计和补偿的方法和设备 - Google Patents

Abstract

提出了一种用于对全景图像执行运动估计和补偿的方法和设备。基于全景图像的左边边界和右边边界之间的空间关系非常高，执行关于具有360°全方向视图的全景图像的运动估计和补偿。因此，可以通过针对全景图像运动的有效且精确的估计和补偿来改善图像质量。具体地，可以改善在全景图像的左边边缘和右边边缘处的图像质量。

Description

针对全景图像进行运动估计和补偿的方法和设备 

技术领域

本发明涉及全景图像的运动估计和补偿。更具体地，本发明涉及一种用于对包含360°全方向图像信息的全景图像的运动进行估计的方法和设备，以及一种用于针对全景图像的运动进行补偿的方法和设备。 

背景技术

全方向视频摄像机系统是一种能够根据单独视角获得360°全方向视图的全方向摄像机系统。全方向摄像机系统包括安装了诸如双曲面反射镜之类的特定形状的反射镜、或诸如鱼眼透镜之类的特定透镜的摄像机，或者可以包括多个摄像机以获得360°视角。 

可以将三维(3D)逼真广播系统应用于全方向视频编码。作为3D逼真广播服务的示例，观看者终端接收从不同视点观看的场景的全部图像信息，例如棒球比赛中的投手、接球手、击球手、和一垒附近的观众的视点，观看者可以选择所希望的视点，并且从所述视点来观看场景。 

由全方向摄像机系统捕获到的图像具有与三维圆柱形环境相对应的特征，并且因此变换为二维(2D)平面图像。在这种情况下，2D平面图像是具有360°全方向视图的全景图像，并且执行关于二维全景图像的全方向视频编码。 

在作为一种图像编码技术的运动估计技术中，通过使用预定估计函数从在先帧中检测与当前帧中的数据单元最相似的数据单元来计算运动矢量，所述运动矢量表示数据单元之间的不同位置，并且通常使用16×16宏块作为数据块，但是没有限制宏块的尺寸，例如，数据单元可以是16×8、8×16、或8×8的宏块，或任意合适的块。 

现在将更加详细地描述在16×16宏块单元中执行的传统运动估计技术。首先，使用与当前宏块相邻的多个在先宏块来预测当前宏块的运 动矢量。图1示出了用于估计当前宏块X的运动矢量的多个宏块A、B、C和D。在当前宏块X的编码之前，对在先宏块A至D进行编码。 

然而，有时，根据当前宏块X在当前帧中的位置，与当前宏块X相邻的一些在先宏块在估计当前宏块X的运动矢量时不可用。图2A示出了此种情况：其中，不存在用于估计当前宏块X的运动矢量所需的在先宏块B、C和D。在这种情况下，将当前宏块X的运动矢量设置为0。 

图2B示出了不存在在先宏块A和D的情况。在这种情况下，将在先宏块A和D的运动矢量设置为0，并且将当前宏块X的运动矢量设置为在先宏块A至D的运动矢量的中值。 

图2C示出了不存在在先宏块C的情况。在这种情况下，将在先宏块C的运动矢量设置为0，并且将当前宏块X的运动矢量设置为在先宏块A至D的运动矢量的中值。 

在预测当前宏块X的运动矢量之后，使用预定估计函数来计算由预测的运动矢量所表示的基准帧中每一个基准宏块与当前宏块X之间的相似性。接下来，从在预定搜索范围之内的基准帧中检测与当前宏块X最相似的基准帧。通常，使用绝对差总和(SAD)函数、绝对变换差总和(SATD)函数、或平方差总和(SSD)函数作为预定估计函数。 

在预定搜索范围之内检测最相似基准宏块期间，最相似基准宏块的一些或全部像素可能出现在最相似基准宏块的外部。在这种情况下，如图3所示，在将最相似基准宏块像素的左边边界和右边边界上的像素值分别填充(padding)到左边界和右边界外部之后，执行运动估计和补偿。该运动估计和补偿被称作在自由运动矢量(UMV)模式下的运动估计和补偿。 

图4A示出了具有360°全方向视图的圆柱形图像。图4B示出了沿图4A的圆柱形图像的X线得到的具有360°全方向视图的全景图像。参考图4B，如图4A所示的人形目标的左侧A和右侧B分别位于全景图像的右边和左边边界处。即，具有360°全方向视图的全景图像的右边和左边边界之间的空间关系非常高。 

发明内容

技术问题 

因此，不考虑全景图像的特征而执行关于具有全方向视图的全景图像的传统运动估计和补偿是低效的。因此，需要一种用于具有全方向视图的全景图像的运动的有效估计和补偿的方法。 

技术方案 

本发明提出了一种用于对包含全方向图像信息的全景图像的运动有效和精确地进行估计的方法和设备。 

本发明提出了一种用于对以上全景图像的运动有效和精确地进行补偿的方法和设备。 

有益效果 

根据本发明，基于全景图像的左边边界和右边边界之间的空间关系非常高，执行关于具有全方向视图的全景图像的运动估计和补偿，从而增加了运动估计和补偿的效率和精确度。因此，可以改善图像质量，具体地，在全景图像的右边边界和左边边界处的图像质量。 

附图说明

图1是示出了传统可用于针对当前宏块的运动矢量估计的多个在先宏块的图； 

图2A至图2C是示出了传统不存在用于估计当前宏块运动矢量的宏块的情况的图； 

图3是示出了填充基准帧的传统方法的图； 

图4A是示出了具有360°全方向视图的圆柱形图像的图； 

图4B是示出了与图4A的圆柱形图像相对应的二维(2D)图像的图； 

图5是根据本发明实施例对全景图像的运动矢量进行编码的编码单元的方框图； 

图6A和图6B是根据本发明实施例估计全景图像运动的方法的流程图； 

图7A是示出了根据本发明实施例、选择用于估计当前宏块运动矢 量的在先宏块的图； 

图7B是示出了根据本发明另一个实施例、选择用于估计当前宏块运动矢量的在先宏块的图； 

图8A是示出了基准宏块与基准帧部分地重叠的情况的图； 

图8B是示出了基准宏块位于基准帧外部的情况的图； 

图9是示出了根据本发明实施例填充基准帧的方法的图； 

图10是示出了当前宏块的运动矢量的图； 

图11A和图11B是示出了根据本发明实施例、检测子像素运动的方法的流程图； 

图12示出了解释图11方法的输入基本帧的示例； 

图13A示出了根据本发明实施例、解释图11A和图11B方法的、通过向图12的基本帧添加填充区并且扩展添加有填充区的基本帧两倍而获得的基准帧； 

图13B示出了说明根据本发明实施例处理基准帧的填充区的像素值的基准图； 

图14A和图14B是示出了根据本发明另一个实施例、检测子像素运动方法的流程图； 

图15A示出了解释图14A和图14B的方法、通过向图12的基本帧添加填充区并且扩展添加有填充区的基本帧两倍而获得的基准帧； 

图15B是示出了根据图14A和图14B的方法、处理在基准帧的填充区以及基准帧的外部的像素值的基准图； 

图16是根据本发明实施例对全景图像的运动矢量进行解码的解码单元的方框图； 

图17是根据本发明实施例、用于对全景图像的运动进行补偿的方法的流程图。 

具体实施方式

最佳实施模式 

根据本发明的一个方面，提出了一种用于对包含360°全方向视图信息的全景图像的运动进行估计的方法。所述方法包括：使用基本基准 帧的右边边界区对与基本基准帧的左侧相连的填充区进行填充，所述基本基准帧用于全景图像的运动估计。所述方法还包括：使用基本基准帧的左边边界区对与基本基准帧的右侧相连的填充区进行填充；以及通过扩展所述已填充的基本基准帧来形成基准帧。所述方法使用与当前数据单元相邻的多个在先数据单元，继续对全景图像的当前数据单元的运动矢量进行估计。当子像素属于基准帧时，通过获得子像素的值来确定根据基准帧估计的运动矢量所表示的基准数据单元的全部像素的值。将子像素的x坐标设置为通过将子像素和与所述子像素相邻的基本基准帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值、或从相对边界的x坐标中减去所述距离而获得的值。当所述子像素位于基准帧外部时，获得所述子像素的值。使用预定估计函数确定当前数据单元和基准数据单元之间的相似性。 

根据本发明的另一个方面，提出了一种用于对包含360°全方向视图信息的全景图像的运动进行估计的方法。所述方法包括：使用基本基准帧的左边边界区的像素的值对与基本基准帧的左侧相连的填充区进行填充，所述基本基准帧用于全景图像的运动估计。使用基本基准帧的右边边界区的像素的值对与基本基准帧的右侧相连的填充区进行填充。通过扩展所述已填充的基本基准帧来形成基准帧。使用与当前数据单元相邻的多个在先数据单元的运动矢量，对全景图像的当前数据单元的运动矢量进行估计。当子像素属于基准帧时，通过获得子像素的值来确定根据基准帧估计的运动矢量所表示的基准数据单元的全部像素的值。当子像素位于基本基准帧外部时，将子像素的x坐标设置为通过将子像素和与子像素相邻的基本基准帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值、或从相对边界的x坐标中减去所述距离而获得的值，并且获得所述子像素的值。使用预定估计函数确定当前数据单元和基准数据单元之间的相似性。 

根据本发明另一个方面，提出了一种用于对包含360°全方向视图信息的全景图像的运动进行估计的设备。所述设备包括：存储器，用于存储与全景图像的当前数据单元相邻的多个在先数据单元的基准帧和运 动矢量。通过使用基本基准帧的右边边界区对与基本基准帧的左侧相连的填充区进行填充，所述基本基准帧用于全景图像的运动估计，使用基本基准帧的左边边界区对与基本基准帧的右侧相连的填充区进行填充，以及通过扩展所述已填充的基本基准帧来形成基准帧，来获得所述基准帧。运动估计单元使用在先数据单元的运动矢量，对当前数据单元的运动矢量进行估计。当由估计的运动矢量表示的子像素属于基准帧时，通过获得子像素的值来确定由根据基准帧估计的运动矢量所表示的基准数据单元的全部像素的值。当子像素位于基准帧外部时，将子像素的x坐标设置为通过将子像素和与子像素相邻的基本基准帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值、或从相对边界的x坐标中减去所述距离而获得的值，并且获得所述子像素的值。使用预定估计函数确定当前数据单元和基准数据单元之间的相似性。 

根据本发明另一个方面，提出了一种用于对包含360°全方向视图信息的全景图像的运动进行估计的设备。所述设备包括：存储器，用于存储与全景图像的当前数据单元相邻的多个在先数据单元的基准帧和运动矢量。通过使用基本基准帧的左边边界区的像素的值对与基本基准帧的左侧相连的填充区进行填充，所述基本基准帧用于全景图像的运动估计，使用基本基准帧的右边边界区的像素的值对与基本基准帧的右侧相连的填充区进行填充，以及通过扩展所述已填充的基本基准帧来形成基准帧，来获得所述基本帧。运动估计单元使用在先数据单元的运动矢量，对当前数据单元的运动矢量进行估计。当由估计的运动矢量表示的子像素属于基准帧的基本基准帧时，通过获得子像素的值来确定由根据基准帧估计的运动矢量所表示的基准数据单元的全部像素的值。当子像素位于基准帧外部时，将子像素的x坐标设置为通过将子像素和与子像素相邻的基本基准帧的相邻边界之间的x轴上的距离与相对边界的x坐标相加而获得的值、或从相对边界的x坐标中减去所述距离而获得的值，并且获得所述子像素的值。使用预定估计函数确定当前数据单元和基准数据单元之间的相似性。 

根据本发明的一个方面，提出了一种用于对包含360°全方向视图 信息的全景图像的运动进行补偿的方法。所述方法包括：使用基本基准帧的右边边界区对与基本基准帧的左侧相连的填充区进行填充，所述基本基准帧用于全景图像的运动补偿；使用基本基准帧的左边边界区对与基本基准帧的右侧相连的填充区进行填充；以及通过扩展所述已填充的基本基准帧来形成基准帧。接收全景图像的当前数据单元的运动矢量。当子像素属于基准帧时，通过获得由当前数据单元的运动矢量表示的基准数据单元的子像素的值，来确定根据基准帧估计的运动矢量所表示的基准数据单元的全部像素的值。将子像素的x坐标设置为通过将子像素和与子像素相邻的基本基准帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值、或从相对边界的x坐标中减去所述距离而获得的值。当子像素位于基准帧外部时获得所述子像素的值。使用基准数据单元的像素的值来再现当前数据单元。 

根据本发明的另一个方面，提出了一种用于对包含360°全方向视图信息的全景图像的运动进行补偿的方法。所述方法包括：使用左边边界区的像素的值对与基本基准帧的左侧相连的填充区进行填充，所述基本基准帧用于全景图像的运动补偿；使用右边边界区的像素的值对与基本基准帧的右侧相连的填充区进行填充；以及通过扩展所述已填充的基本基准帧来形成基准帧。接收全景图像的当前数据单元的运动矢量。当子像素属于基准帧的基本基准帧时，通过获得子像素的值来确定根据基准帧接收到的运动矢量所表示的基准数据单元的全部像素的值。当子像素位于基本基准帧外部时，将子像素的x坐标设置为通过将子像素和与子像素相邻的基本基准帧的边界之间的x轴上的距离与相对边界的x坐标相加、或从相对边界的x坐标中减去所述距离而获得的值，并且获得所述子像素的值。使用基准数据单元的像素的值来再现当前数据单元。 

根据本发明另一个方面，提出了一种对包含360°全方向视图信息的全景图像的运动进行补偿的设备。所述设备包括：存储器，用于存储基准帧，通过使用右边边界区对与基本基准帧的左侧相连的填充区进行填充，所述基本基准帧用于全景图像的运动补偿，使用左边边界区对与基本基准帧的右侧相连的填充区进行填充，以及通过扩展所述已填充的 基本基准帧来形成基准帧，来获得所述基准帧。运动补偿单元接收全景图像的当前数据单元的运动矢量。当子像素属于基准帧时，通过获得子像素的值，根据基准帧来确定由接收到的运动矢量所表示的基准数据单元的全部像素的值，并且当子像素位于基准帧外部时，将子像素的值设置为通过将子像素和与子像素相邻的基本基准帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值、或从相对边界的x坐标中减去所述距离而获得的值，并且获得所述子像素的值。使用基准数据单元的像素值来再现当前数据单元。 

根据本发明另一个方面，提出了一种用于对包含360°全方向视图信息的全景图像的运动进行补偿的设备。所述设备包括：存储器，用于存储基准帧，通过使用左边边界区的像素的值对与基本基准帧的左侧相连的填充区进行填充，所述基本基准帧用于全景图像的运动补偿，使用右边边界区的像素的值对与基本基准帧的右侧相连的填充区进行填充，以及通过扩展所述已填充的基本基准帧来形成基准帧，来获得所述基本帧。运动补偿单元接收全景图像的当前数据单元的运动矢量，当子像素属于基准帧的基本基准帧时，通过获得子像素的值、根据基准帧来确定由接收到的运动矢量所表示的基准数据单元的全部像素的值；并且当子像素位于基本基准帧外部时，将子像素的x坐标设置为通过将子像素和与子像素相邻的基本基准帧的相邻边界之间的x轴上的距离与相对边界的x坐标相加而获得的值、或从相对边界的x坐标中减去所述距离而获得的值，并且获得所述子像素的值。使用基准数据单元的像素的值来再现当前数据单元。 

实现本发明的方式 

在下文中，将参考附图详细描述本发明的典型实施例。 

图5是根据本发明实施例对全景图像的运动矢量进行编码的编码单元的方框图。参考图5，编码单元包括变换单元110、量化单元115、逆量化单元120、逆变换单元125、加法单元130、限幅单元140、帧存储器150、全景图像运动估计单元160、全景图像运动补偿单元170、减法 单元180、以及可变长度编码器(VLC)190。 

变换单元110接收输入全景图像，并且通过预定的变换对其进行变换，以输出变换系数。输入全景图像是沿如图4A所示的圆柱形图像的X线得到的、具有诸如如图4B所示的360°全方向视图的全景图像。例如，由变换单元110执行的预定变换是以8×8块为单位的离散余弦变换(DCT)。 

量化单元115对从变换部分110接收到的变换系数进行量化。在由逆量化单元102对量化变换系数进行逆量化、以及由逆变换单元125逆变换之后，再现了输入全景图像。由限幅单元140对再现的全景图像进行归一化，并且将再现的全景图像存储在帧存储器150中。在新输入的全景图像的运动和估计中，将在帧存储器150中存储的全景图像用作基准全景图像。 

全景图像运动估计单元160使用在帧存储器150中存储的基准全景图像，根据本发明实施例执行运动估计。具体地，全景图像运动估计单元160接收关于当前全景图像的信息；通过使用在帧存储器150中存储的基准全景图像来执行关于当前全景图像的运动估计，获得当前全景图像的运动矢量；以及向VLC 190输出所述运动矢量。以被称作数据单元的预定块为单位执行运动估计和补偿。在该实施例中，假设数据单元是16×16的宏块。 

全景图像运动补偿单元170根据本发明实施例执行运动补偿。具体地，全景图像运动补偿单元170从全景图像运动估计单元160接收当前宏块的运动矢量，并且向减法单元180输出与当前宏块相对应的基准宏块。减法单元180向变换单元110输出当前宏块和基准宏块之间的残余信号。所述残余信号由变换单元110进行变换、由量化单元115进行量化、并且由VLC 190进行可变长度编码。将由全景图像运动估计单元160产生的当前宏块的运动矢量直接输入VLC 190，并由VLC 190对其进行可变长度编码。 

现在将参考图6A和图6B更加详细地描述全景图像运动估计单元160的操作。图6A和图6B是示出了根据本发明实施例估计全景图像的运动的方法的流程图，用于搜索整数像素值。参考图6A和图6B，全景 图像运动估计单元160使用与当前数据单元相邻的多个数据单元的运动矢量，对当前数据单元的运动矢量进行估计(310)。如图1所示，数据单元X是当前数据单元，并且数据单元A、B、C和D是用于估计当前数据单元X的运动矢量所需的在先数据单元。在该实施例中，数据单元是16×16的宏块。 

具体地，全景图像运动估计单元160检测在内部存储器(未示出)中存储的在先宏块A、B、C和D的运动矢量。当所有在先宏块A至D都存在时，使用检测到的运动矢量，根据预定或传统运动估计方法对当前宏块X的运动矢量进行估计。 

然而，在先宏块A至D的至少一个可能不存在。图7A示出了在全景图像中不存在在先宏块A和D的情况，因此，A和D的运动矢量不能用于当前宏块X的运动估计。图7B示出了在全景图像中不存在在先宏块C的情况，因此，C的运动矢量不能用于当前宏块X的运动估计。 

如上所述，在具有360°全方向视图的全景图像的右边边界和左边边界之间的空间相关性非常高。即，全景图像的右边和左边边界之间的距离实质为0。根据本发明实施例，当用于对当前宏块X的运动矢量进行估计所需的一些在先宏块A、C和D不存在时，使用全景图像的上述特征来确定用于运动估计所需的在先宏块的运动矢量。例如，参考图7A，位于全景图像的右侧处、并且在先宏块D所处的Y轴上的在先宏块D’与在先宏块D实质相同。因此，在先宏块D’的运动矢量被认为与在先宏块D的运动矢量相同，并且用于当前宏块X的运动矢量的估计。相反，在当前宏块X的运动估计之后，预测全景图像的右侧处、并且位于在先宏块A所处的Y轴上的在先宏块的运动，因此不具有可用的运动矢量。因此，将用于当前宏块X的运动矢量的估计所需的在先宏块A的运动矢量设置为0。 

参考图7B，位于全景图像的左侧处、在先宏块C所处的Y轴上的在先宏块C’与在先宏块C实质相同。因此，在先宏块C’的运动矢量被认为与在先宏块C的运动矢量相同，并且被用于当前宏块X的运动矢量的估计。 

返回参考图6A和图6B，在操作310中对当前宏块X的运动矢量进 行估计之后，全景图像运动估计单元160确定由估计的运动矢量表示的基准宏块是否存在于基准帧中(315)。将基准帧存储在帧存储器150中。 

如果由当前宏块X的运动矢量表示的基准宏块的全部像素存在于基准帧中，从帧存储器150中取得基准宏块的全部像素(330)，并且使用预定的估计函数来确定当前宏块X和基准宏块之间的相似性(335)。 

然而，当由当前宏块X的运动矢量表示的基准宏块的一些或全部像素存在于基准帧的右边边界和左边边界之一外部时，将来自另一边界的基准帧的预定范围中存在的图像填充到所述右边边界和左边边界之一外部(320)。 

图8A示出了基准宏块位于基准帧的边界处的情况。图8B示出了基准宏块位于基准帧外部的情况。 

参考图3，传统上，在将基准帧的左边边界处的像素的值填充到左边边界的外部、以及将基准帧的右边边界处的像素的值填充到右边边界的外部之后，执行运动估计和步长。相反，本发明实施例的优势基于这样的事实：在具有360°全方向视图的全景图像的右边和左边边界之间的空间相关性非常高。参考图9，根据本发明实施例，利用基准帧400的右边边界区470处的像素的值来填充基准帧400的左边边界区450的外部区480。利用左边边界区450处的像素的值填充右边边界区470的外部区460。 

接下来，在操作320中对基准帧进行填充之后，全景图像运动估计单元160从帧存储器150中已填充的基准帧中取得基准宏块的全部像素值(325)。此后，使用预定估计函数对当前宏块X和基准宏块之间的相似性进行估计(335)。通常，使用绝对差总和(SAD)函数、绝对变换差总和(SATD)函数、或平方差总和(SSD)函数作为预定估计函数。 

可选地，基于基准帧是通过连接基准帧的右边边界和左边边界获得的圆柱形图像的假设，可以从圆柱形图像中获得基准数据单元的全部像素的值，而无需填充基准帧。具体地，基准帧是诸如图4B所示的二维(2D)平面图像，并且通过连接所述2D平面图像的右边边界和左边边界获得诸如如图4A所示的圆柱形图像。即，当基准帧是圆柱形图像时，可以从所述圆柱形图像中获得基准数据单元的全部像素值的值。 

接下来，全景图像运动估计单元160在预定的搜索范围中改变基准宏块的位置，并且确定改变的基准宏块和当前宏块X之间的相似性(340和345)。在预定的搜索范围中对当前宏块X和多个基准宏块的每一个之间的相似性进行估计之后，全景图像运动估计单元160确定多个基准宏块中与当前宏块X最相似的基准宏块，并且产生所述确定的基准宏块的运动矢量(350)。 

图10是示出了当前宏块510的运动矢量的图。在图10中，参考数字530表示与当前宏块510最相似的、并且存在于填充的基准帧上的宏块；以及参考数字540表示与宏块530相对应的、并且存在于未填充的图像500上的宏块。当宏块530与当前宏块510最相似时，参考数字550表示当前宏块510的运动矢量。当基准宏块540与当前宏块510最相似时，参考数字560表示当前宏块510的运动矢量。即，当前宏块510的运动矢量可以是运动矢量550和560之一。然而，因为不能将没有落在预定搜索范围之内的宏块的运动矢量传输给解码器(未示出)，将基准宏块530的运动矢量550确定为当前宏块510的运动矢量。 

图11A和图11B是示出了根据本发明实施例、在搜索子像素的同时对全景图像的运动进行估计的方法的流程图。参考图11A和11B，图5的全景图像运动估计单元160使用与当前数据单元相邻的多个在先数据单元的运动矢量，对当前数据单元的运动矢量进行估计(1101)。在搜索像素的同时，按照与全景图像的运动估计相似的方式执行运动矢量的估计。 

接下来，全景图像运动估计单元160使用在基本帧的边界区中存在的像素的值，将填充区添加到输入基本帧，这将用作用于当前全景图像的运动估计的基准帧(1102)。即，将基本帧的左边边界区的像素的值填充到与基本帧的右侧相连的填充区，并且将基本帧的右边边界区的像素的值填充到与基本帧的左侧相连的填充区。 

接下来，全景图像运动估计单元160通过对在操作1102中将填充区添加到的基本帧进行扩展来产生基准帧(1103)。例如，在二分之一像素搜索的情况下，将基本帧扩展两倍，并且在四分之一像素搜索的情况下，将基本帧扩展四倍。 

例如，在当前全景图像是352×288、并且在其上执行二分之一像素检测时，将当前全景图像加倍为(352×2)×(288×2)，如图12所示。参考图13A，为了来形成基准帧，当将每一个均具有4个填充尺寸的填充区填充到352×288的基准帧以供参考时，填充的基本帧具有(4+352+4)×(4+288+4)的尺寸，然后加倍到((4+352+4)×2)×((4+288+4)×2)。 

在对当前数据单元的运动矢量进行估计之后，全景图像运动估计单元160确定由估计的运动矢量表示的基准数据单元的像素X是否属于基准帧的基本帧(1104)。 

接下来，如果像素X属于基准帧，照原样获得像素X的值(1105)。 

如果像素X属于基准帧的填充区或基准帧的外部，即，位于基准帧外部，将像素X的x坐标设置为通过将像素X和与像素X相邻的基本帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值、或从相对边界的x坐标中减去所述距离而获得的值，然后，获得了具有设定x坐标的相应像素的值(1106)。例如，当像素X属于与基本帧的左侧相连的填充区、或基准帧的左侧外部区时，将像素X的x坐标设置为通过从相对边界的x坐标中减去像素X和与像素X最靠近的基本帧的边界之间x轴上的距离而获得的值。如果像素X属于与基本帧的右侧相连的填充区、或基准帧的右侧外部区，将像素X的x坐标设置为通过将像素X和与像素X最靠近的基本帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值。 

例如，参考图13B，因为在基准数据单元中的像素A的坐标是(30，50)，即，它们属于基本帧，将像素A的值照原样使用。 

基准数据单元中的像素B具有坐标(4，50)，因此属于与基本帧的左侧相连的填充区。与像素B相邻的基本帧的边界的x坐标是7，像素B和边界之间的距离是3。因为相对边界的x坐标是711，并且711-3＝708，将像素B的x坐标设置为708。即，像素B的值是根据像素B’的坐标(708，50)获得的。 

基准数据单元中的像素C具有坐标(-5，100)，即，位于基准帧外部。与像素C相邻的基本帧的边界的x坐标是7，像素C和边界之间的距离是12。因为相对边界的x坐标是711，以及711-12＝699，将像素C的x坐标设置为699。即，像素C的值是根据像素C’的坐标(699，100)获得的。 

如上所述，在本实施例中，将在填充区存在的像素的值设置为在相对边界区中相应像素的值，因为在填充区中存在的像素的值是无用值。即，在利用无用值填充填充区的情况下，根据相对边界处的相应像素的值来获得在填充区或基准帧的外部存在的像素的值。 

接下来，全景图像运动估计单元160确定是否获得基准数据单元中的全部像素的值(1107)。如果获得了基准数据单元中的全部像素的值，使用预定估计函数确定当前数据单元和基准数据单元之间的相似性(1108)。如果没有获得，所述方法回到操作1104以获得基准数据单元中的全部像素的值。通常，使用绝对差总和(SAD)函数、绝对变换差总和(SATD)函数、或平方差总和(SSD)函数作为预定估计函数。 

接下来，全景图像运动估计单元160在检测的预定范围之内改变基准数据单元的位置，并且确定当前数据单元和改变的基准数据单元之间的相似性(1109)。接下来，当在检测的预定范围之内确定当前数据单元和多个基准数据单元的每一个之间的相似性(1110)之后，全景图像运动估计单元160从多个基准数据单元中选择与当前数据单元最相似的基准数据单元，并且产生表示选定基准数据单元的运动矢量(1111)。 

图14A和图14B是示出了根据本发明另一个实施例、在搜索子像素的同时对全景图像的运动进行估计的方法的流程图。参考图14A和图14B，全景图像运动估计单元160使用与当前数据单元相邻的多个在先数据单元的运动矢量，对当前数据单元的运动矢量进行估计(1401)。在检测像素时，按照与全景图像的运动估计相似的方式执行运动矢量的估计。 

全景图像运动估计单元160使用在基本帧的右边边界区中存在的像素的值，对与基本帧的左侧相连的填充区进行填充，并且使用在基本帧的左边边界区中存在的像素的值，对与基本帧的右侧相连的填充区进行填充(1402)。 

接下来，全景图像运动估计单元160通过对在操作1402中填充区填充到的基本帧进行扩展来形成基准帧(1403)。例如，对二分之一像素 扩展两倍，并且对四分之一像素扩展四倍。 

例如，在当前全景图像是352×288、并且在其上执行二分之一像素检测时，将当前全景图像加倍为(352×2)×(288×2)，如图12所示。参考图15A，为了获得基准帧，当将每一个均具有4个填充尺寸的填充区填充到352×288的基准帧以供参考时，填充的基本帧具有(4+352+4)×(4+288+4)的尺寸，然后加倍到((4+352+4)×2)×((4+288+4)×2)。当然，利用在基本帧的右边边界区中的像素的值来对添加到基本帧的左侧的填充区进行填充，并且利用在基本帧的左边边界区中的像素的值来对添加到其左侧的填充区进行填充。 

接下来，全景图像运动估计单元160对当前数据单元的运动矢量进行估计，并且确定由估计的运动矢量表示的基准数据单元的像素B是否属于基准帧(1404)。 

如果基准数据单元的像素X属于基准帧，照原样使用像素X的值(1405)。 

当像素X位于基准帧外部时，将像素X的x坐标设置为通过将像素X和与像素X相连的基本帧的边界之间x轴上的距离与相对边界的x坐标相加而获得的值，然后，获得了具有设置的x坐标的相应像素的值(1406)。即，当像素X位于基准帧的左侧外部时，将像素X的x坐标设置为通过从相对边界的x坐标中减去像素X和与像素X相连的基本帧的边界之间x轴上的距离而获得的值。当像素X位于基准帧的右侧外部时，将像素X的x坐标设置为通过将像素X和与像素X相连的基本帧的边界之间x轴上的距离与相对边界的x坐标相加而获得的值。 

例如，参考图15B，在基准数据单元中存在具有坐标(30，50)的像素A、具有坐标(4，50)的像素B以及具有坐标(-5，100)的像素D。 

像素A和像素B属于基准帧，并且像素D位于基准帧外部。同样，像素A存在于基准帧的基本帧中，并且像素B存在于填充区域中。因为像素A存在于基本帧中，将像素A的值照原样使用。 

像素B存在于填充区域中，当形成基准帧时，考虑到全景图像的空间特征，已经用基本帧的右边边界区中的像素的值对所述填充区域进行了填充。因此，将像素B的值照原样使用。 

基准数据单元中的像素D具有坐标(-5，100)，即，位于基准帧外部。与像素D相邻的基本帧的边界的x坐标是7，像素D和边界之间的距离是12。因为相对边界的x坐标是711，以及711-12＝699，将像素D的x坐标设置为699。即，像素D的值是根据像素D’的坐标(699，100)获得的。如上所述，在本实施例中，由于每一个填充区已经利用相对边界区中的像素的值进行了填充，将每一个填充区中存在的像素的值照原样使用。因此，仅根据在相对边界区中它们的相应像素的值来获得基准帧外部的像素的值。 

接下来，全景图像运动估计单元160确定是否获得了基准数据单元中的全部像素的值(1407)。如果获得了基准数据单元中的全部像素的值，使用预定估计函数确定当前数据单元和基准数据单元之间的相似性(1408)。如果没有获得，所述方法回到操作1404，以便获得基准数据单元中的其他像素的值。通常，使用绝对差总和(SAD)函数、绝对变换差总和(SATD)函数、或平方差总和(SSD)函数作为预定估计函数。 

接下来，全景图像运动估计单元160在预定的检测范围之内改变基准数据单元的位置，并且确定已改变基准数据单元和当前数据单元之间的相似性(1409和1410)。在确定了多个基准数据单元的每一个和当前数据单元之间的相似性之后，全景图像运动估计单元160从预定检测范围之内的多个基准数据单元中选择与当前数据单元最相似的基准数据单元，并且产生表示选定基准数据单元的运动矢量(1411)。 

现在将描述根据本发明实施例的一种用于全景图像的运动补偿的方法和设备。 

图16是根据本发明实施例对全景图像的运动矢量进行解码的解码单元的方框图。参考图16，解码器包括可变长度解码器(VLD)710、逆量化单元720、逆变换单元730、加法单元740、全景图像运动补偿单元750、限幅单元760和帧存储器770。 

VLD 710可变长度解码器对输入的比特流进行解码。将从VLD 710的输出的运动矢量以及宏块和基准宏块之间的残余信号分别输入到全景图像运动补偿单元750和逆量化单元720。 

帧存储器770存储通过将比特流顺序地输入到逆量化单元720、逆变 换单元730和限幅单元760而获得的基准全景图像。将在帧存储器770中存储的基准全景图像用于新输入的全景图像的运动补偿。 

全景图像运动补偿单元750使用在帧存储器770中存储的基准全景图像执行运动补偿。具体地，全景图像运动补偿单元750从诸如图5所示的编码器中接收当前宏块的运动矢量，自帧存储器770中读取与当前宏块相对应的基准宏块，并且向加法单元740输出读取的基准宏块。然后，加法单元740接收由逆量化单元720进行逆量化并由逆变换单元730进行逆变换的当前宏块和基准宏块之间的残余信号。 

加法单元740使用当前宏块和基准宏块之间的残余信号以及从全景图像运动补偿单元750输入的基准宏块来再现当前宏块。限幅单元760对从加法单元740输出的再现当前宏块进行归一化。 

现在将更加详细地描述全景图像运动补偿单元750的操作。图17是根据本发明实施例的用于对全景图像的运动进行补偿的方法的流程图。 

参考图17，全景图像运动补偿单元750从VLD 710接收将要执行运动估计的当前数据单元的运动矢量(910)。在该实施例中，数据单元是16×16的宏块。 

接下来，全景图像运动补偿单元750确定由当前宏块的运动矢量表示的基准宏块是否存在于基准帧中(920)。所述基准帧存储在帧存储器770中。 

在搜索整数像素的情况下，当有当前宏块的运动矢量表示的基准宏块的像素存在于基准帧中时，从帧存储器770中读取基准宏块的全部像素的值(950)，并且再现当前宏块(960)。 

加法单元740使用从逆变换单元730输出的当前宏块和基准宏块之间的残余信号、以及从全景图像运动补偿单元750输出的基准宏块，来再现当前宏块。 

然而，如图8A或图8B所示，当由当前宏块的运动矢量表示的基准宏块的一些或全部像素位于基准帧的左边边界或右边边界之一外部时，将来自基准帧的另一边界的预定范围中的图像填充到左边或右边边界之一外部(930)。根据本发明实施例，如图9所示，基于具有360°全方向视图的全景图像的右边和左边边界之间的空间关系非常高，来对基准帧外部的区域进行填充。 

接下来，在操作930中对基准帧进行填充之后，全景图像运动补偿单元750从帧存储器770中读取基于已填充基准帧的基准宏块的全部像素的值(940)。 

可选地，基于基准帧是通过连接基准帧的左边边界和右边边界获得的圆柱形图像的假设，可以从圆柱形图像中获得基准数据单元的全部像素的值，而无需填充基准帧。具体地，基准帧是诸如如图4B所示的2D平面图像，并且通过连接所述2D平面图像的左边边界和右边边界获得诸如如图4A所示的圆柱形图像。即，如果基准帧是圆柱形图像，可以从所述圆柱形图像中获得基准数据单元的全部像素的值。 

最后，加法单元740使用当前宏块与基准宏块之间的残余信号以及从全景图像运动补偿单元750输入的基准宏块，来再现当前宏块。 

在搜索子像素的情况下，根据本发明实施例，使用基本帧的右边边界区对与用于当前全景图像的运动补偿的基本帧的左侧相连的填充区进行填充，并且使用基本帧的左边边界区对与所述基本帧的右侧相连的填充区进行填充。将通过扩展已填充的基本帧获得的基准帧存储在帧存储器中。当将要搜索其运动的、并且存在于由输入运动矢量表示的基准数据单元中的像素属于基准帧时，将所述子像素的值照原样应用于运动估计。将子像素的x坐标设置为通过将子像素和与子像素相邻的基本帧的边界之间x轴上的距离与相对边界的x坐标相加而获得的值、或从相对边界的x坐标中减去所述距离而获得的值，并且从相对边界区中相应像素的值中获得所述子像素的值。 

在搜索子像素的情况下，根据本发明另一个实施例，使用基本帧的左边边界区中的像素的值对与用于当前全景图像的运动补偿的基本帧的右侧相连的填充区进行填充，并且使用基本帧的右边边界区中的像素的值对与所述基本帧的左侧相连的填充区进行填充。将通过扩展已填充的基本帧获得的基准帧存储在帧存储器中。当将要检测其运动的、并且存在于由当前数据单元的运动矢量表示的基准帧中的像素属于基准帧时，将所述子像素的值照原样使用。当子像素位于基本帧外部时，将子像素 的x坐标设置为通过将基本帧和与子像素相邻的基本帧的边界之间x轴上的距离与相对边界的x坐标相加而获得的值、或从相对边界的x坐标中减去所述距离而获得的值，并且从相对边界区中相应像素的值中获得所述子像素的值。 

在本公开中，沿基准帧的宽度方向执行针对全景图像的运动补偿，使得将基本帧的左边边界区的像素的值用作与其右侧相连的填充区的像素的值，反之亦然。即，因为前景图像的右边和左边边界之间的空间相关性较高，沿基准帧的宽度方向执行运动补偿。然而，对于本领域普通技术人员显而易见的是，当全景图像的上边和下边边界之间的空间相关性也较高时，本发明可应用于沿高度方向的基准帧中。 

可以将本发明实施例具体实现为计算机可读介质中的计算机可读代码。这里，计算机可读记录介质可以是能够存储由计算机系统读取的数据的任意记录设备，例如只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)-ROM、磁带、软盘、光数据存储设备等。例如，计算机可读介质也可以是经由因特网传输数据的载波。计算机可读介质可以分布于通过网络相互连接的计算机系统中，并且可以将本发明存储和具体实现为分布系统中的计算机可读代码。 

尽管已经参考本发明的典型实施例，具体示出和描述了本发明，但本领域普通技术人员应当理解，在不脱离所附权利要求所限定的本发明的精神和范围的情况下，可以对这些实施例进行形式和细节上的多种改变。 

Claims (15)

1.一种对包含360°全方向视图信息的全景图像的运动进行估计的方法，所述方法包括：

使用基本基准帧的右边边界区中像素的值对与所述基本基准帧的左侧相连的填充区进行填充，所述基本基准帧用于全景图像的运动估计；使用基本基准帧的左边边界区中像素的值对与所述基本基准帧的右侧相连的填充区进行填充，所述填充区位于基本基准帧的外部；以及通过扩展已填充的基本基准帧来形成基准帧；

使用与当前数据单元相邻的多个在先数据单元，对全景图像的当前数据单元的运动矢量进行估计；

当子像素属于基准帧时，通过获得子像素的值来确定由根据基准帧估计的运动矢量表示的基准数据单元的全部像素的值；

当所述子像素属于与基本基准帧的右侧相连的填充区时，将子像素的x坐标设置为通过将所述子像素和与所述子像素相邻的基本基准帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值；以及当子像素属于与基本基准帧的左侧相连的填充区时，将子像素的x坐标设置为通过从相对边界的x坐标中减去所述距离而获得的值，并且获得被设置了所述x坐标的对应子像素的值；以及

使用预定估计函数来确定当前数据单元和基准数据单元之间的相似性。

2.如权利要求1所述的方法，其中，当多个在先数据单元的至少之一存在于全景图像的左边边界和右边边界之一外部时，对当前数据单元的运动矢量进行估计包括：当全景图像是圆柱形图像时，根据通过连接全景图像的左边边界和右边边界而获得的圆柱形图像，来确定多个在先数据单元。

3.如权利要求1所述的方法，还包括：

确定在预定的搜索范围之内与当前数据单元最相似的基准数据单元；以及

确定表示所确定的基准数据单元的运动矢量。

4.一种对包含360°全方向视图信息的全景图像的运动进行估计的方法，所述方法包括：

使用基本基准帧的左边边界区的像素的值对基本基准帧右侧外部的填充区进行填充，所述基本基准帧用于全景图像的运动估计；使用所述基本基准帧的右边边界区的像素的值对所述基本基准帧左侧外部的填充区进行填充；通过扩展已填充的基本基准帧来形成基准帧；

使用与当前数据单元相邻的多个在先数据单元的运动矢量，对全景图像的当前数据单元的运动矢量进行估计；

当子像素属于基准帧时，通过获得子像素的值来确定由根据基准帧估计的运动矢量表示的基准数据单元的全部像素的值；

当子像素属于与基本基准帧的右侧相连的填充区时，将子像素的x坐标设置为通过将子像素和与子像素相邻的基本基准帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值；当子像素属于与基本基准帧的左侧相连的填充区时，将子像素的x坐标设置为通过从相对边界的x坐标中减去所述距离而获得的值，并且获得被设置了所述x坐标的对应子像素的值；以及

使用预定估计函数确定当前数据单元和基准数据单元之间的相似性。

5.如权利要求4所述的方法，其中，当多个在先数据单元的至少之一存在于全景图像的左边边界和右边边界之一外部时，对当前数据单元的运动矢量进行估计包括：当全景图像是圆柱形图像时，根据通过连接全景图像的左边边界和右边边界而获得的圆柱形图像，来确定多个在先数据单元。

6.如权利要求4所述的方法，还包括：

确定在预定的搜索范围之内与当前数据单元最相似的基准数据单元；以及

确定表示所确定基准数据单元的运动矢量。

7.一种用于对包含360°全方向视图信息的全景图像的运动进行估计的设备，所述设备包括：

存储器，用于存储基准帧和与全景图像的当前数据单元相邻的多个在先数据单元的运动矢量，通过使用基本基准帧的右边边界区中像素的值对与用于全景图像的运动估计的基本基准帧的左侧相连的填充区进行填充、使用基本基准帧的左边边界区中像素的值对与基本基准帧的右侧相连的填充区进行填充、以及通过扩展已填充的基本基准帧形成基准帧，来获得所述基准帧，所述填充区位于基本基准帧的外部；以及

运动估计单元，用于使用在先数据单元的运动矢量，对当前数据单元的运动矢量进行估计；当由估计的运动矢量表示的子像素属于基准帧时，通过获得子像素的值来确定由根据基准帧估计的运动矢量表示的基准数据单元的全部像素的值；

当子像素属于与基本基准帧的右侧相连的填充区时，将子像素的x坐标设置为通过将子像素和与子像素相邻的基本基准帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值，当子像素属于与基本基准帧的左侧相连的填充区时，将子像素的x坐标设置为通过从相对边界的x坐标中减去所述距离而获得的值，并且获得被设置了所述x坐标的对应子像素的值；以及使用预定估计函数确定当前数据单元和基准数据单元之间的相似性。

8.如权利要求7所述的设备，其中，所述运动估计单元确定在预定搜索范围中与当前数据单元最相似的基准数据单元，并且确定表示所确定的基准数据单元的运动矢量。

9.一种对包含360°全方向视图信息的全景图像的运动进行估计的设备，所述设备包括：

存储器，用于存储基准帧和与全景图像的当前数据单元相邻的多个在先数据单元的运动矢量，通过使用基本基准帧的左边边界区的像素的值对基本基准帧右侧外部的填充区进行填充、使用基本基准帧的右边边界区的像素的值对基本基准帧左侧外部的填充区进行填充、以及通过扩展已填充的基本基准帧形成基准帧，来获得所述基准帧，所述基本基准帧用于全景图像的运动估计；以及

运动估计单元，用于使用在先数据单元的运动矢量，对当前数据单元的运动矢量进行估计；当由估计的运动矢量表示的子像素属于基准帧的基本基准帧时，通过获得子像素的值来确定由根据基准帧估计的运动矢量所表示的基准数据单元的全部像素的值；当子像素属于与基本基准帧的右侧相连的填充区时，将子像素的x坐标设置为通过将子像素和与子像素相邻的基本基准帧的相邻边界之间的x轴上的距离与相对边界的x坐标相加而获得的值，当子像素属于与基本基准帧的左侧相连的填充区时，将子像素的x坐标设置为通过从相对边界的x坐标中减去所述距离而获得的值，并且获得被设置了所述x坐标的对应子像素的值；以及使用预定估计函数确定当前数据单元和基准数据单元之间的相似性。

10.如权利要求9所述的设备，其中，当多个在先数据单元的至少一个存在于全景图像的左边边界和右边边界之一外部时，当全景图像是圆柱形图像时，所述运动估计单元根据通过连接全景图像的左边边界和右边边界而获得的圆柱形图像，来确定多个在先数据单元。

11.如权利要求9所述的设备，其中，所述运动估计单元确定在预定搜索范围中与当前数据单元最相似的基准数据单元，并且确定表示所确定的基准数据单元的运动矢量。

12.一种用于对包含360°全方向视图信息的全景图像的运动进行补偿的方法，所述方法包括：

使用基本基准帧的右边边界区中像素的值对与基本基准帧的左侧相连的填充区进行填充，所述基本基准帧用于全景图像的运动补偿；使用基本基准帧的左边边界区中像素的值对与基本基准帧的右侧相连的填充区进行填充，所述填充区位于基本基准帧的外部；以及通过扩展已填充的基本基准帧来形成基准帧；

接收全景图像的当前数据单元的运动矢量；

当子像素属于基准帧时，通过获得由当前数据单元的运动矢量表示的基准数据单元的子像素的值，来确定由根据基准帧估计的运动矢量表示的基准数据单元的全部像素的值；以及

当子像素属于与基本基准帧的右侧相连的填充区时，将子像素的x坐标设置为通过将子像素和与子像素相邻的基本基准帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值，当子像素属于与基本基准帧的左侧相连的填充区时，将子像素的x坐标设置为从相对边界的x坐标中减去所述距离而获得的值，并且获得被设置了所述x坐标的对应子像素的值；以及

使用基准数据单元的像素的值来再现当前数据单元。

13.一种用于对包含360°全方向视图信息的全景图像的运动进行补偿的方法，所述方法包括：

使用左边边界区的像素的值对基本基准帧右侧外部的填充区进行填充，所述基本基准帧用于全景图像的运动补偿；使用右边边界区的像素的值对基本基准帧左侧外部的填充区进行填充；以及通过扩展已填充的基本基准帧来形成基准帧；

接收全景图像的当前数据单元的运动矢量；

当子像素属于基准帧的基本基准帧时，通过获得子像素的值来确定由基准帧接收到的运动矢量表示的基准数据单元的全部像素的值；

当子像素属于与基本基准帧的右侧相连的填充区时，将子像素的x坐标设置为通过将子像素和与子像素相邻的基本基准帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值，当子像素属于与基本基准帧的左侧相连的填充区时，将子像素的x坐标设置为通过从相对边界的x坐标中减去所述距离而获得的值，并且获得被设置了所述x坐标的对应子像素的值；以及

使用基准数据单元的像素的值来再现当前数据单元。

14.一种用于对包含360°全方向视图信息的全景图像的运动进行补偿的设备，所述设备包括：

存储器，用于存储基准帧，通过使用右边边界区中像素的值对与基本基准帧的左侧相连的填充区进行填充、使用左边边界区中像素的值对与基本基准帧的右侧相连的填充区进行填充、以及通过扩展已填充的基本基准帧形成基准帧，来获得所述基准帧，所述填充区位于基本基准帧的外部，所述基本基准帧用于全景图像的运动补偿；以及

运动补偿单元，用于接收全景图像的当前数据单元的运动矢量；当子像素属于基准帧时，通过获得子像素的值，根据基准帧来确定由接收到的运动矢量表示的基准数据单元的全部像素的值；以及

当子像素属于与基本基准帧的右侧相连的填充区时，将子像素的值设置为通过将子像素和与子像素相邻的基本基准帧的边界之间的x轴上的距离与相对边界的x坐标相加而获得的值，当子像素属于与基本基准帧的左侧相连的填充区时，将子像素的值设置为通过从相对边界的x坐标中减去所述距离而获得的值，并且获得被设置了所述x坐标的对应子像素的值；以及

使用基准数据单元的像素值来再现当前数据单元。

15.一种用于对包含360°全方向视图信息的全景图像的运动进行补偿的设备，所述设备包括：

存储器，用于存储基准帧，通过使用左边边界区的像素的值对基本基准帧右侧外部的填充区进行填充、使用右边边界区的像素的值对基本基准帧左侧外部的填充区进行填充、以及通过扩展已填充的基本基准帧形成基准帧，来获得所述基准帧，所述基本基准帧用于全景图像的运动补偿；以及

运动补偿单元，用于接收全景图像的当前数据单元的运动矢量；当子像素属于基准帧时，通过获得子像素的值、根据基准帧来确定由接收到的运动矢量表示的基准数据单元的全部像素的值；并且

当子像素属于与基本基准帧的右侧相连的填充区时，将子像素的x坐标设置为通过将子像素和与子像素相邻的基本基准帧的相邻边界之间的x轴上的距离与相对边界的x坐标相加而获得的值，当子像素属于与基本基准帧的左侧相连的填充区时，将子像素的x坐标设置为通过从相对边界的x坐标中减去所述距离而获得的值，并且获得被设置了所述x坐标的对应子像素的值；以及

使用基准数据单元的像素的值来再现当前数据单元。

Images