CN100544444C - 用于全景图像的运动估计和补偿的方法和设备 - Google Patents

Abstract

一种基于全景图像的右边界和左边界之间的空间关系非常高，对具有360°全方位示图的全景图像执行运动估计和补偿的方法和设备。因此，通过对全景图像的运动的有效和精确的估计和补偿，可改善图像质量。尤其是可改善在全景图像的右边界和左边界的图像质量。

Description

用于全景图像的运动估计和补偿的方法和设备

技术领域

本发明总体构思涉及全景图像的运动估计和补偿，更具体地讲，涉及一种用于估计包含360°全方位图像信息的全景图像的运动的方法和设备，以及一种用于补偿全景图像的运动的方法和设备。

背景技术

全方位视频摄像机系统能够从单个视点获得360°全方位示图。全方位视频摄像机系统包括一个摄像机或者多个摄像机，其中，诸如双曲面反射镜的专用反射镜或者诸如鱼眼透镜的专用透镜被安装到所述摄像机。

三维(3D)真实广播(3D realistic broadcasting)可应用于全方位视频编码。作为3D真实广播业务的示例，观看者的终端接收关于从不同视点(诸如棒球比赛中的投手、捕手、击球手和一垒一侧的观众的视点)观看的场景的所有图像信息，并且观看者可选择期望的视点来从期望的视点观看多个场景中的一个。

全方位视频摄像机系统捕捉的图像具有与3D柱形环境相应的特性，从而所述图像被变换为二维(2D)平面图像。在这种情况下，2D平面图像是具有360°全方位示图的全景图像，并且对2D全景图像执行全方位视频编码。

在作为一种图像编码技术的运动估计技术中，通过使用预定的估计函数从先前帧检测与当前帧中的数据单元最相似的数据单元来计算运动矢量，所述运动矢量表现数据单元之间的位置差，通常16×16宏块用作数据块，但是宏块的大小不限于此，例如，数据单元可以是16×8、8×16或8×8宏块。

现在将更详细地描述以16×16宏块为单位执行的传统的运动估计技术。首先，使用与当前帧的当前宏块相应的位置相邻的先前帧的多个先前宏块来预测当前帧的当前宏块的运动矢量。图1示出了用于估计当前帧的当前宏块X的运动矢量的先前帧的多个先前宏块A、B、C和D。在对当前宏块X编码之前对先前宏块A至D编码。

然而，有时某些与当前宏块X相邻的先前宏块不可用于根据当前帧中的当前宏块X的位置来估计当前宏块X的运动矢量。图2A示出了估计当前宏块X的运动矢量所需的先前宏块B、C和D不存在的情况。在这种情况下，当前宏块X的运动矢量被设置为O。

图2B示出了先前宏块A和D不存在的情况。在这种情况下，先前宏块A和D的运动矢量被设置为O，当前宏块X的运动矢量被设置为先前宏块A至D的运动矢量的平均值。

图2C示出了先前宏块C不存在的情况。在这种情况下，先前宏块C的运动矢量被设置为O，当前宏块X的运动矢量被设置为先前宏块A至D的运动矢量的平均值。

在预测当前宏块X的运动矢量之后，使用预定的估计函数来计算由预测的运动矢量指示的参考帧中的每个参考宏块与当前宏块X之间的相似性。接下来，在预定的搜索范围之内从参考帧检测与当前宏块X最相似的参考宏块。通常，绝对差和(SAD)函数、绝对变换差和(SATD)函数或均方差和(SSD)函数用作所述预定的估计函数。

在预定的搜索范围内检测最相似的参考宏块期间，参考宏块的部分或全部像素可以位于预定的搜索范围之外。在这种情况下，如图3所示，需要将最相似的参考宏块像素的左右边界上的像素的值分别填充到左右边界的外部，以执行运动估计和补偿。这种运动估计和补偿被称为无限制运动矢量(UMV)模式下的运动估计和补偿。

图4A示出了具有360°全方位示图的柱形图像。图4B示出了沿图4A的柱形图像的X线得到的具有360°全方位示图的全景图像。参照图4B，图4A中示出的人形对象的左侧A和右侧B被分别置于全景图像的右边界和左边界。也就是说，具有360°全方位示图的全景图像的右边界和左边界之间的空间关系非常高。

因此，在不考虑全景图像的特性的情况下对具有全方位示图的全景图像执行传统的运动估计和补偿是无效的。因此，需要有效地估计和补偿具有全方位示图的全景图像的运动的方法。

发明公开

技术问题

本发明总体构思提供了一种有效地和精确地估计包含全方位图像信息的全景图像的运动的方法和设备。

本发明总体构思还提供了一种有效地和精确地补偿包含全方位图像信息的全景图像的运动的方法和设备。

有益效果

根据本发明总体构思，基于全景图像的右边界和左边界之间的空间关系非常高，对具有360°全方位示图的全景图像执行运动估计和补偿，从而提高了运动估计和补偿的有效性和精确性。因此，可改善图像质量，即在全景图像的右边界和左边界的图像质量。

附图说明

图1是示出可用于传统的当前宏块的运动矢量的估计的多个先前宏块的示图；

图2A至图2C是示出用于估计当前宏块的运动矢量的先前宏块不存在的情况的示图；

图3是示出填充参考图像的传统方法的示图；

图4A是示出具有360°全方位示图的柱形图像的示图；

图4B是示出与图4A的柱形图像相应的二维(2D)图像的示图；

图5是示出根据本发明总体构思的实施例的对全景图像的运动矢量编码的编码单元的方框图；

图6A和图6B是示出根据本发明总体构思的实施例的估计全景图像的运动的方法的流程图；

图7A是示出根据本发明总体构思的实施例的选择用于估计当前宏块的运动矢量的先前宏块的示图；

图7B是示出根据本发明总体构思的另一实施例的选择用于估计当前宏块的运动矢量的先前宏块的示图；

图8A是示出参考宏块部分地与参考图像重叠的情况的示图；

图8B是示出参考宏块位于参考图像外部的情况的示图；

图9是示出根据本发明总体构思的实施例的填充参考图像的方法的示图；

图10是示出当前宏块的运动矢量的示图；

图11是示出根据本发明总体构思的实施例的对全景图像的运动矢量解码的解码单元的方框图；和

图12是示出根据本发明总体构思的实施例的补偿全景图像的运动的方法的流程图。

最佳方式

可通过提供一种估计包含360°全方位示图信息的当前全景图像的运动的方法来实现本发明总体构思的上述和/或其他方面，所述方法包括：通过使用与当前数据单元相邻的多个先前的参考数据单元的运动矢量来估计全景图像的当前数据单元的运动矢量；当由估计的运动矢量指示的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时，将预定范围内的图像从参考图像的另一边界填充到所述左边界和右边界之一的外部；从填充的参考图像获得所述多个参考数据单元之一的全部像素值；和通过使用预定的估计函数确定当前数据单元和参考数据单元之间的相似性。

还可通过提供一种估计包含360°全方位示图信息的当前全景图像的运动的方法来实现本发明总体构思的上述和/或其他方面，所述方法包括：通过使用与当前数据单元相邻的多个先前的参考数据单元的运动矢量来估计全景图像的当前数据单元的运动矢量；当由估计的运动矢量指示的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时，从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得所述参考图像的多个参考数据单元之一的全部像素值；和通过使用预定的估计函数确定当前数据单元和参考数据单元之间的相似性。

还可通过提供一种估计包含360°全方位示图信息的全景图像的运动的设备来实现本发明总体构思的上述和/或其他方面，所述设备包括：存储器，存储将被用于全景图像的运动估计的参考图像以及与全景图像的当前数据单元相邻的多个先前的参考数据单元的运动矢量；和运动估计单元，通过使用多个先前的参考数据单元的运动矢量来估计当前数据单元的运动矢量，当由估计的运动矢量指示的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时，将预定范围内的参考图像从参考图像的另一边界填充到所述左边界和右边界之一的外部，从填充的参考图像获得参考数据单元的全部像素值，并通过使用预定的估计函数确定当前数据单元和参考数据单元之间的相似性。

还可通过提供一种估计包含360°全方位示图信息的全景图像的运动的设备来实现本发明总体构思的上述和/或其他方面，所述设备包括：存储器，存储将被用于全景图像的运动估计的参考图像以及与全景图像的当前数据单元相邻的参考图像的多个先前的参考数据单元的运动矢量；和运动估计单元，通过使用多个先前的参考数据单元的运动矢量来估计当前数据单元的运动矢量，当由估计的运动矢量指示的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时，假设参考图像是柱形图像，从通过连接参考图像的左边界和右边界获得的柱形图像获得参考数据单元的全部像素值，并通过使用预定的估计函数确定当前数据单元和参考数据单元之间的相似性。

还可通过提供一种补偿包含360°全方位示图信息的全景图像的运动的方法来实现本发明总体构思的上述和/或其他方面，所述方法包括：接收全景图像的当前数据单元的运动矢量；当由当前数据单元的运动矢量指示的参考图像的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时，将预定范围内的参考图像从参考图像的另一边界填充到所述参考图像的左边界和右边界之一的外部；从填充的参考图像获得参考数据单元的全部像素值；和通过使用所述参考数据单元的像素值再现当前数据单元。

还可通过提供一种补偿包含360°全方位示图信息的全景图像的运动的方法来实现本发明总体构思的上述和/或其他方面，所述方法包括：接收全景图像的当前数据单元的运动矢量；当由当前数据单元的运动矢量指示的参考图像的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时，从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得参考数据单元的全部像素值；和通过使用所述参考数据单元的像素值再现当前数据单元。

还可通过提供一种补偿包含360°全方位示图信息的全景图像的运动的设备来实现本发明总体构思的上述和/或其他方面，所述设备包括：存储器，存储将被用于全景图像的运动估计的参考图像；运动补偿单元，接收全景图像的当前数据单元的运动矢量，当由当前数据单元的运动矢量指示的参考图像的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时，将预定范围内的参考图像从参考图像的另一边界填充到所述参考图像的左边界和右边界之一的外部，从填充的参考图像获得参考数据单元的全部像素值，并通过使用所述参考数据单元的像素值再现当前数据单元。

还可通过提供一种补偿包含360°全方位示图信息的全景图像的运动的设备来实现本发明总体构思的上述和/或其他方面，所述设备包括：存储器，存储将被用于全景图像的运动估计的参考图像；运动补偿单元，接收全景图像的当前数据单元的运动矢量，当由当前数据单元的运动矢量指示的参考图像的参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时，从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得参考数据单元的全部像素值，并通过使用所述参考数据单元的像素值再现当前数据单元。

还可通过提供一种估计包含360°全方位示图信息的全景图像的运动矢量的设备来实现本发明总体构思的上述和/或其他方面，所述设备包括：存储器，存储具有第一边界和第二边界的参考图像以及在参考图像之内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元；运动估计单元，从存储器接收当前图像的当前数据单元和参考图像的参考数据单元，并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时，通过使用第一参考数据单元和第二参考数据单元中不包括在搜索区域中的另一个来估计当前数据单元的运动矢量。

还可通过提供一种产生包含360°全方位示图信息的全景图像的设备来实现本发明总体构思的上述和/或其他方面，所述设备包括：解码单元，对具有与当前图像和参考图像相应的数据的比特流解码，并产生当前图像的当前数据单元的运动矢量，所述运动矢量对应于参考图像的搜索区域，所述搜索区域包括位于参考图像的第一边界的第一参考数据单元；全景图像运动补偿单元，根据所述运动矢量，通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块；和输出单元，根据参考宏块和与解码的比特流相应的数据产生当前图像。

还可通过提供一种具有用于估计包含360°全方位示图信息的全景图像的运动矢量的编码器和解码器的设备来实现本发明总体构思的上述和/或其他方面。所述编码器包括：存储器，存储具有第一边界和第二边界的参考图像以及在参考图像内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元；运动估计单元，从存储器接收当前图像的当前数据单元和参考图像的参考数据单元，并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时，通过使用第一参考数据单元和第二参考数据单元中不包括在所述搜索区域中的另一个来估计当前数据单元的运动矢量；全景图像运动补偿单元，根据所述运动矢量和参考图像产生参考宏块；和编码单元，根据当前图像和所述参考宏块产生比特流。所述解码器包括：解码单元，对具有与当前图像和参考图像相应的数据的比特流解码，并产生当前图像的当前数据单元的运动矢量，所述运动矢量对应于参考图像的搜索区域，所述搜索区域包括位于参考图像的第一边界的第一参考数据单元；第二全景图像运动补偿单元，根据所述运动矢量，通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块；和输出单元，根据所述参考宏块和与解码的比特流相应的数据产生当前图像。

还可通过提供一种估计包含360°全方位示图信息的全景图像的运动矢量的方法来实现本发明总体构思的上述和/或其他方面，所述方法包括：存储具有第一边界和第二边界的参考图像以及在参考图像内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元；和从存储器接收当前图像的当前数据单元和参考图像的参考数据单元，并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时，通过使用第一参考数据单元和第二参考数据单元中不包括在搜索区域中的另一个来估计当前数据单元的运动矢量。

还可通过提供一种产生包含360°全方位示图信息的全景图像的方法来实现本发明总体构思的上述和/或其他方面，所述方法包括：对具有与当前图像和参考图像相应的数据的比特流解码，并产生当前图像的当前数据单元的运动矢量，所述运动矢量对应于参考图像的搜索区域，所述搜索区域包括位于参考图像的第一边界的第一参考数据单元；根据所述运动矢量，通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块；和根据所述参考宏块和与解码的比特流相应的数据产生当前图像。

还可通过提供一种估计包含360°全方位示图信息的全景图像的运动矢量的方法来实现本发明总体构思的上述和/或其他方面，所述方法包括：存储具有第一边界和第二边界的参考图像以及在参考图像内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元；从存储器接收当前图像的当前数据单元和参考图像的参考数据单元，并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时，通过使用第一参考数据单元和第二参考数据单元中不包括在所述搜索区域中的另一个来估计当前数据单元的运动矢量；根据所述运动矢量和参考图像产生参考宏块；根据当前图像和所述参考宏块产生比特流；对具有与当前图像和参考图像相应的数据的比特流解码，并产生当前图像的当前数据单元的运动矢量，所述运动矢量对应于参考图像的搜索区域，所述搜索区域包括位于参考图像的第一边界的第一参考数据单元；根据所述运动矢量，通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块；和根据所述参考宏块和与解码的比特流相应的数据产生当前图像。

本发明的方式

现在将对本发明总体构思的实施例进行详细描述，其示例在附图中示出，其中，相同的标号始终表示相同的部件。以下参照附图描述实施例以解释本发明总体构思。

图5是示出根据本发明总体构思的实施例的对全景图像的运动矢量编码的编码单元的方框图。参照图5，所述编码单元包括：变换单元110、量化单元115、逆量化单元120、逆变换单元125、加法单元130、修剪单元140、帧存储器150、全景图像运动估计单元160、全景图像运动补偿单元170、减法单元180和可变长度编码器(VLC)190。

变换单元110接收输入的全景图像，并通过预定的变换来变换接收的全景图像，以输出变换系数。输入的全景图像是沿图4A的所示的柱形图像的X线得到的如图4B所示的具有360°全方位示图的全景图像。变换单元110执行的预定的变换可以是以8×8块为单位的离散余弦变换(DCT)。

量化单元115对从变换单元110接收的变换系数进行量化。在量化的变换系数通过逆量化单元120被逆量化并通过逆变换单元125被逆变换之后，输入的全景图像被再现。再现的全景图像通过修剪单元140被规范化并被存储在帧存储器150中。存储在帧存储器150中的全景图像在新输入的全景图像的估计和补偿中被用作参考全景图像。加法单元130可具有预定值，接收再现的全景图像，通过使用所述预定值来修改再现的全景图像，并将再现的全景图像和修改的全景图像之一作为再现的全景图像输出到修剪单元140和全景图像运动补偿单元170。根据所述预定值，修改的全景图像可以与再现的全景图像相同。

全景图像运动估计单元160使用存储在帧存储器150中的参考全景图像来执行运动估计。具体地讲，全景图像运动估计单元160接收关于当前全景图像的信息，通过使用存储在帧存储器150中的参考全景图对当前全景图像执行运动估计获得当前全景图像的运动矢量，并将运动矢量输出到VLC190。以被称为数据单元的预定的块为单位来执行运动估计和补偿。在本实施例中，数据单元可以是16×16宏块。

全景图像运动补偿单元170执行运动补偿。详细地讲，全景图像运动补偿单元170从全景图像运动估计单元160接收当前全景图像的当前宏块的运动矢量并接收帧存储器150中的参考全景图像，并且使用当前全景图像的当前宏块的运动矢量和帧存储器150中的参考全景图像将与当前宏块相应的参考宏块输出到减法单元180。全景图像运动补偿单元170可使用再现的全景图像和运动矢量来产生参考宏块。减法单元180将当前宏块和参考宏块之间的残差信号输出到变换单元110。所述残差信号通过变换单元110被变换，通过量化单元115被量化，通过VLC 190被可变长度编码。全景图像运动估计单元160产生的当前宏块的运动矢量被直接输入到VLC 190并通过VLC 190被可变长度编码。

现在将参照图6A和图6B更详细地描述全景图像运动估计单元160的操作。图6A和图6B是示出根据本发明总体构思的实施例的估计全景图像的运动的方法的流程图。参照图5、图6A和图6B，全景图像运动估计单元160使用与当前数据单元相邻的多个先前数据单元的运动矢量来估计当前数据单元的运动矢量(S310)。如图1所示，数据单元X是当前数据单元，数据单元A、B、C和D是估计当前数据单元X的运动矢量所需的先前数据单元。在本实施例中，数据单元可以是16×16宏块。当前数据单元X被包括在当前帧中，并且先前数据单元A、B、C和D被包括在先前帧中。

详细地讲，全景图像运动估计单元160检测存储在内部存储器(未示出)中的先前宏块A、B、C和D的运动矢量。当所有的先前宏块A至D都存在时，通过使用检测到的运动矢量，根据预定的或传统的运动估计来估计当前宏块X的运动矢量。

然而，先前宏块A至D中的至少一个可能不存在。图7A示出了在全景图像中不存在先前宏块A和D的情况，从而它们的运动矢量不可用于当前宏块X的运动估计。图7B示出了在全景图像中不存在先前宏块C的情况，从而它的运动矢量不可用于当前宏块X的运动估计。

如上所述，具有360°全方位示图的全景图像的右边界和左边界之间的空间关系非常高。也就是说，全景图像的右边界和左边界之间的差距基本为0。根据本发明总体构思的本实施例，当用于估计当前宏块X的运动矢量所需的先前宏块A、C和D中的一个或多个不存在时，通过使用全景图像的上述特性来确定运动估计所需的先前宏块的运动矢量。例如，参照图7A，在全景图像右侧并在先前宏块D所位于的Y轴上的先前宏块D′基本上与先前宏块D相同。因此，先前宏块D′的运动矢量被认为与先前宏块D的运动矢量相同，并可用于估计当前宏块X的运动矢量。相反，当在全景图像右侧并在先前宏块A所位于的Y轴上的先前宏块的运动矢量在当前宏块X的运动估计之后被预测时，没有运动矢量可用于先前宏块A。因此，估计当前宏块X的运动矢量所需的先前宏块A的运动矢量被设置为0。

参照图7B，在全景图像左侧并在先前宏块C所位于的Y轴上的先前宏块C′基本上与先前宏块C相同。因此，先前宏块C′的运动矢量被认为与先前宏块C的运动矢量相同，从而可用于估计当前宏块X的运动矢量。

参照图6A和图6B，在操作S310中估计当前宏块X(或当前数据单元)的运动矢量之后，在操作S315中，全景图像运动估计单元160确定由估计的运动矢量指示的参考宏块是否存在于参考图像(或参考全景图像)中。所述参考图像存储在帧存储器150中。

如果由当前宏块X的运动矢量指示的参考宏块的全部像素都存在于参考图像中，则参考宏块的像素从帧存储器150被取出(S330)，并且通过使用预定的估计函数确定当前宏块X与参考宏块之间的相似性(S335)。

然而，当由当前宏块X的运动矢量指示的参考宏块的部分或全部像素位于参考图像的右边界和左边界之一的外部时，存在于参考图像的预定范围内的图像从另一边界被填充到所述右边界和左边界之一的外部(S320)。

图8A示出参考宏块位于参考图像的边界的情况。图8B示出参考宏块位于参考图像外部的情况。

参照图3，在将参考图像左边界的像素值填充到左边界的外部并且将参考图像的右边界的像素值填充到右边界的外部之后，执行传统的运动估计和补偿。相反，本发明总体构思的实施例是基于具有360°全方位示图的全景图像的右边界和左边界之间的空间关系非常高的情况。参照图9，参考图像400的左边界区域450的外部区域480被填充有参考图像400的右边界区域470的像素值。右边界区域470的外部区域460被填充有左边界区域450的像素值。

接下来，在操作S320中填充参考图像之后，全景图像运动估计单元160从帧存储器150中的填充的参考图像取出参考宏块的全部像素(S325)。其后，使用预定的估计函数来估计当前宏块X与参考宏块之间的相似性(S335)。通常，绝对差和(SAD)函数、绝对变换差和(SATD)函数或均方差和(SSD)函数被用作所述预定的估计函数。

可选地，当参考图像是通过连接参考图像的右边界和左边界获得的柱形图像时，可不用填充参考图像而从柱形图像获得参考数据单元的全部像素值。具体地讲，参考图像是如图4B所示的二维(2D)平面图像，而柱形图像是通过连接2D平面图像的右边界和左边界获得的如图4A所示的柱形图像。也就是说，当参考图像是柱形图像时，可从该柱形图像获得参考数据单元的全部像素值。

接下来，全景图像运动估计单元160改变预定的搜索区域中的参考宏块的位置，并确定改变的参考宏块与当前宏块X之间的相似性(S340和S345)。在估计当前宏块X与预定的搜索区域中的多个参考宏块中的每一个之间的相似性之后，全景图像运动估计单元160从所述多个参考宏块中确定与当前宏块X最相似的参考宏块，并产生确定的参考宏块的运动矢量(S350)。

图10是示出当前宏块510的运动矢量的示图。在图10中，标号530表示与当前宏块510最相似并存在于填充的参考图像中的宏块，标号540表示对应于宏块530并且存在于非填充的图像500中的宏块。当宏块530是与当前宏块510最相似的宏块时，标号550表示当前宏块510的运动矢量。当参考宏块540是与当前宏块510最相似的宏块时，标号560表示当前宏块510的运动矢量。也就是说，当前宏块510的运动矢量可以是运动矢量550和560中的一个。然而，没有落入预定的搜索范围之内的宏块的运动矢量不可能被发送到解码器(未示出)。因此，参考宏块530的运动矢量550可能被确定为当前宏块510的运动矢量。

现在将描述根据本发明总体构思的实施例的补偿全景图像的运动的方法和设备。

图11是示出根据本发明总体构思的实施例的对全景图像的运动矢量解码的解码单元的方框图。参照图11，所述解码器包括：可变长度解码器(VLD)710、逆量化单元720、逆变换单元730、加法单元740、全景图像运动补偿单元750、修剪单元760和帧存储器770。

VLD710使用可变长度编码/解码方法对输入的比特流解码。从VLD710输出的运动矢量以及宏块和参考宏块之间的残差信号被分别输入到全景图像运动补偿单元750和逆量化单元720。

帧存储器770存储通过将输入的比特流顺序地输入到逆量化单元720、逆变换单元730和修剪单元760获得的参考全景图像。存储在帧存储器770中的参考全景图像用于补偿新输入的全景图像(当前全景图像)的运动。

全景图像运动补偿单元750使用存储在帧存储器770中的参考全景图像来执行运动补偿。详细地讲，全景图像运动补偿单元750从如图5所示的编码器接收全景图像的当前宏块的运动矢量，读取帧存储器770中与当前宏块相应的先前帧的参考宏块，并将读取的参考宏块输出到加法单元740。然后，加法单元740接收通过逆量化单元720逆量化并通过逆变换单元730逆变换的当前宏块和参考宏块之间的残差。

加法单元740使用当前宏块和参考宏块之间的残差信号以及从全景图像运动补偿单元750输入的参考宏块来再现当前宏块。修剪单元760将从加法单元740输出的再现的当前宏块规范化。

现在将更详细地描述全景图像运动补偿单元750的操作。图12是示出根据本发明总体构思的实施例的补偿全景图像的运动的方法的流程图。

参照图11和图12，全景图像运动补偿单元750从VLD 710接收将对其执行运动估计的当前数据单元的运动矢量(S910)。在本实施例中，数据单元可以是16×16宏块。

接下来，全景图像运动补偿单元750确定由当前宏块的运动矢量指示的参考宏块是否位于参考图像中(S920)。所述参考图像被存储在帧存储器770中。

当由当前宏块的运动矢量指示的参考宏块的像素位于参考图像中，则从帧存储器770读取参考宏块的全部像素值(S950)，并再现当前宏块(S960)。加法单元740使用从逆变换单元730输出的当前宏块和参考宏块之间的残差信号以及从全景图像运动补偿单元750输出的参考宏块来再现当前宏块。

然而，如图8A或图8B所示，当由当前宏块的运动矢量指示的参考宏块的部分或全部像素位于参考图像的左边界和右边界之一的外部时，预定范围内的图像从参考图像的另一边界被填充到所述左边界和右边界之一的外部(S930)。根据本发明，如图9所示，基于具有360°全方位示图的全景图像的右边界和左边界之间的空间关系非常高，来填充参考图像外部的区域。

接下来，在操作S930中填充参考图像之后，全景图像运动补偿单元750从来自帧存储器770的填充的参考图像读取参考宏块的全部像素值(S940)。

可选地，参考图像是通过连接参考图像的左边界和右边界获得的柱形图像时，可不用填充参考图像而从柱形图像获得参考数据单元的全部像素值。具体地讲，参考图像是如图4B所示的2D平面图像，而柱形图像是通过连接2D平面图像的左边界和右边界获得的如图4A所示的柱形图像。也就是说，如果参考图像是柱形图像，则可从该柱形图像获得参考数据单元的全部像素值。

最后，加法单元740使用当前宏块和参考宏块之间的残差信号以及从全景图像运动补偿单元750输入的参考宏块来再现当前宏块(S960)。

本发明总体构思可被实现为计算机可读介质中的计算机可读代码。这里，所述计算机可读记录介质可以是任何能够存储由计算机系统读取的数据的记录设备，例如，只读存储器(ROM)、随机存取存储器(RAM)、压缩盘(CD)-ROM、磁带、软盘、光学数据存储装置等。此外，所述计算机可读介质可以是例如经由互联网发送数据的载波。所述计算机可读介质也可分布于通过网络互相连接的计算机系统上，并且本发明可作为分布式系统中的计算机可读代码被存储和实现。

如上所述，根据本发明总体构思，基于全景图像的右边界和左边界之间的空间关系非常高，对具有360°全方位示图的全景图像执行运动估计和补偿，从而提高了运动估计和补偿的有效性和精确性。因此，可改善图像质量，尤其是在全景图像的右边界和左边界的图像质量。

尽管已经显示和描述了本发明总体构思的一些实施例，但是本领域技术人员应该理解，在不脱离本发明总体构思的原则和精神的情况下，可以对这些实施例进行各种改变，本发明总体构思的范围由权利要求及其等同物限定。

Claims (24)

1、一种估计包含360°全方位示图信息的全景图像的运动的方法，所述方法包括：

通过使用与当前数据单元相邻的多个先前的参考数据单元的运动矢量来估计全景图像的当前数据单元的运动矢量；

当由估计的运动矢量指示的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时，将预定范围内的参考图像从参考图像的另一边界填充到所述左边界和右边界之一的外部；

从填充的参考图像获得所述多个参考数据单元之一的全部像素值；

通过使用预定的估计函数确定当前数据单元和所述参考数据单元之间的相似性；

确定预定的搜索范围内的所述多个参考数据单元中与当前数据单元最相似的一个参考数据单元；和

确定表现确定的参考数据单元的运动矢量。

2、如权利要求1所述的方法，其中，当所述多个先前的参考数据单元中的一个或多个位于全景图像的左边界和右边界之一的外部时，估计当前数据单元的运动矢量的步骤包括：

当参考图像是柱形图像时，从通过连接参考图像的左边界和右边界获得的柱形图像确定多个先前的参考数据单元。

3、如权利要求1所述的方法，其中，所述多个先前的参考数据单元包括：

第一数据单元，布置为与当前数据单元的左侧相应的位置相邻；

第二数据单元，布置为与当前数据单元的上侧相应的位置相邻；

第三数据单元，布置为与所述第二数据单元的右侧相应的位置相邻；和

第四数据单元，布置为与所述第一数据单元和第二数据单元相邻。

4、一种估计包含360°全方位示图信息的全景图像的运动的方法，所述方法包括：

通过使用与当前数据单元相邻的多个先前的参考数据单元的运动矢量来估计全景图像的当前数据单元的运动矢量；

当由估计的运动矢量指示的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时，从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得参考图像的所述多个参考数据单元之一的全部像素值；

通过使用预定的估计函数确定当前数据单元和所述参考数据单元之间的相似性；

确定预定的搜索范围内的所述多个参考数据单元中与当前数据单元最相似的一个参考数据单元；和

确定表现所确定的参考数据单元的运动矢量。

5、如权利要求4所述的方法，其中，所述多个先前的参考数据单元包括：

第一数据单元，布置为与当前数据单元的左侧相应的位置相邻；

第二数据单元，布置为与当前数据单元的上侧相应的位置相邻；

第三数据单元，布置为与所述第二数据单元的右侧相应的位置相邻；和

第四数据单元，布置为与所述第一数据单元和第二数据单元相邻。

6、一种估计包含360°全方位示图信息的全景图像的运动的设备，所述设备包括：

存储器，存储将被用于全景图像的运动估计的参考图像以及与全景图像的当前数据单元相邻的多个先前的参考数据单元的运动矢量；和

运动估计单元，通过使用多个先前的参考数据单元的运动矢量来估计当前数据单元的运动矢量，当由估计的运动矢量指示的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时，将预定范围内的参考图像从参考图像的另一边界填充到所述左边界和右边界之一的外部，从填充的参考图像获得参考数据单元的全部像素值，通过使用预定的估计函数确定当前数据单元和参考数据单元之间的相似性，确定预定的搜索范围内的所述多个参考数据单元中与当前数据单元最相似的一个参考数据单元，并确定表现所确定的参考数据单元的运动矢量。

7、如权利要求6所述的设备，其中，当所述多个先前的参考数据单元中的一个位于全景图像的左边界和右边界之一的外部时，运动估计单元从当全景图像是柱形图像时通过连接全景图像的左边界和右边界获得的柱形图像确定所述多个先前的参考数据单元。

8、如权利要求6所述的设备，其中，所述多个先前的参考数据单元包括：

第一数据单元，布置为与当前数据单元的左侧相应的位置相邻；

第二数据单元，布置为与当前数据单元的上侧相应的位置相邻；

第三数据单元，布置为与所述第二数据单元的右侧相应的位置相邻；和

第四数据单元，布置为与所述第一数据单元和第二数据单元相邻。

9、一种估计包含360°全方位示图信息的全景图像的运动的设备，所述设备包括：

存储器，存储将被用于全景图像的运动估计的参考图像以及与全景图像的当前数据单元相邻的多个先前的参考数据单元的运动矢量；和

运动估计单元，通过使用多个先前的参考数据单元的运动矢量来估计当前数据单元的运动矢量，当由估计的运动矢量指示的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时，从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得所述多个参考数据单元之一的全部像素值，通过使用预定的估计函数确定当前数据单元和所述参考数据单元之间的相似性，确定预定的搜索范围内的所述多个参考数据单元中与当前数据单元最相似的一个参考数据单元，并确定表现所确定的参考数据单元的运动矢量。

10、如权利要求9所述的设备，其中，所述多个先前的参考数据单元包括：

第一数据单元，布置为与当前数据单元的左侧相应的位置相邻；

第二数据单元，布置为与当前数据单元的上侧相应的位置相邻；

第三数据单元，布置为与所述第二数据单元的右侧相应的位置相邻；和

第四数据单元，布置为与所述第一数据单元和第二数据单元相邻。

11、一种补偿包含360°全方位示图信息的全景图像的运动的方法，所述方法包括：

接收全景图像的当前数据单元的运动矢量；

当由当前数据单元的运动矢量指示的全景参考图像的多个参考数据单元中的一个参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时，将预定范围内的图像从参考图像的另一边界填充到所述参考图像的左边界和右边界之一的外部；

从填充的参考图像获得参考数据单元的全部像素值；和

通过使用参考数据单元的像素值再现当前数据单元。

12、一种补偿包含360°全方位示图信息的全景图像的运动的方法，所述方法包括：

接收全景图像的当前数据单元的运动矢量；

当由当前数据单元的运动矢量指示的参考图像的参考数据单元的一个或多个像素位于参考图像的左边界和右边界之一的外部时，从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得多个参考数据单元中的一个的全部像素值；和

通过使用所述多个参考数据单元中的一个的像素值再现当前数据单元。

13、一种补偿包含360°全方位示图信息的全景图像的运动的设备，所述设备包括：

存储器，存储将被用于全景图像的运动估计的参考图像；

运动补偿单元，接收全景图像的当前数据单元的运动矢量，当由当前数据单元的运动矢量指示的参考图像的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时，将预定范围内的参考图像从参考图像的另一边界填充到所述参考图像的左边界和右边界之一的外部，从填充的参考图像获得所述多个参考数据单元之一的全部像素值，并通过使用所述参考数据单元的像素值再现当前数据单元。

14、一种补偿包含360°全方位示图信息的全景图像的运动的设备，所述设备包括：

存储器，存储将被用于当前全景图像的运动估计的参考图像；

运动补偿单元，接收全景图像的当前数据单元的运动矢量，当由当前数据单元的运动矢量指示的参考图像的多个参考数据单元之一的一个或多个像素位于参考图像的左边界和右边界之一的外部时，从当参考图像是柱形图像时通过连接参考图像的左边界和右边界获得的柱形图像获得所述多个参考数据单元之一的全部像素值，并通过使用所述参考数据单元的像素值再现当前数据单元。

15、一种估计包含360°全方位示图信息的全景图像的运动矢量的设备，所述设备包括：

存储器，存储具有第一边界和第二边界的参考图像以及在参考图像之内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元；

运动估计单元，从存储器接收当前图像的当前数据单元和参考图像的参考数据单元，并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时，通过使用第一参考数据单元和第二参考数据单元中不包括在搜索区域中的另一个来估计当前数据单元的运动矢量。

16、如权利要求15所述的设备，其中，参考图像包括当连接第一边界和第二边界形成的柱形图像，第一参考数据单元和第二参考数据单元分别包括第一宏块和第二宏块，所述第一宏块和第二宏块具有在柱形图像中彼此相邻布置的空间关系。

17、如权利要求15所述的设备，其中，参考图像和当前图像包括全景图像，当第一参考数据单元和第二参考数据单元中的一个位于当前数据单元的运动矢量的搜索区域之内时，所述搜索区域包括第一参考数据单元和第二参考数据单元中位于所述搜索区域外部的另一个。

18、如权利要求15所述的设备，还包括：

全景图像运动补偿单元，根据运动矢量和参考图像产生参考宏块；

编码单元，根据所述参考宏块和当前图像产生与参考图像相应的信号；

第二单元，根据与量化的变换系数相应的编码的信号产生运动矢量，并根据所述编码的信号产生残差信号；

第二全景图像运动补偿单元，根据运动矢量产生参考宏块；

第三单元，根据所述参考宏块和残差信号产生当前图像。

19、一种产生包含360°全方位示图信息的全景图像的设备，所述设备包括：

解码单元，对具有与当前图像和参考图像相应的数据的比特流解码，并产生当前图像的当前数据单元的运动矢量，所述运动矢量对应于参考图像的搜索区域，所述搜索区域包括位于参考图像的第一边界的第一参考数据单元；

全景图像运动补偿单元，根据所述运动矢量，通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块；和

输出单元，根据参考宏块和与解码的比特流相应的数据产生当前图像。

20、一种估计包含360°全方位示图信息的全景图像的运动矢量的设备，所述设备包括：编码器和解码器，

所述编码器包括：

存储器，存储具有第一边界和第二边界的参考图像以及在参考图像

内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元，

运动估计单元，从存储器接收当前图像的当前数据单元和参考图像的参考数据单元，并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时，通过使用不包括在所述搜索区域中的第一参考数据单元和第二参考数据单元中的另一个来估计当前数据单元的运动矢量，

全景图像运动补偿单元，根据所述运动矢量和参考图像产生参考宏块，和

编码单元，根据当前图像和所述参考宏块产生比特流；和

所述解码器包括：

解码单元，对具有与当前图像和参考图像相应的数据的比特流解码，并产生当前图像的当前数据单元的运动矢量，所述运动矢量对应于参考图像的搜索区域，所述搜索区域包括位于参考图像的第一边界的第一参考数据单元，

第二全景图像运动补偿单元，根据所述运动矢量，通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块，和

输出单元，根据所述参考宏块和与解码的比特流相应的数据产生当前图像。

21、一种估计包含360°全方位示图信息的全景图像的运动矢量的方法，所述方法包括：

存储具有第一边界和第二边界的参考图像以及在参考图像内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元；和

从存储器接收当前图像的当前数据单元和参考图像的参考数据单元，并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时，通过使用第一参考数据单元和第二参考数据单元中不包括在搜索区域中的另一个来估计当前数据单元的运动矢量。

22、如权利要求21所述的方法，还包括：

根据运动矢量和参考图像产生参考宏块；和

根据参考宏块和当前图像产生参考图像。

23、一种产生包含360°全方位示图信息的全景图像的方法，所述方法包括：

对具有与当前图像和参考图像相应的数据的比特流解码，并产生当前图像的当前数据单元的运动矢量，所述运动矢量对应于参考图像的搜索区域，所述搜索区域包括位于参考图像的第一边界的第一参考数据单元；

根据所述运动矢量，通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块；和

根据所述参考宏块和与解码的比特流相应的数据产生当前图像。

24、一种估计包含360°全方位示图信息的全景图像的运动矢量的方法，所述方法包括：

存储具有第一边界和第二边界的参考图像以及在参考图像之内分别与所述第一边界和第二边界相邻的第一参考数据单元和第二参考数据单元；

从存储器接收当前图像的当前数据单元和参考图像的参考数据单元，并且当参考图像的第一参考数据单元和第二参考数据单元中的一个包括在搜索区域中时，通过使用第一参考数据单元和第二参考数据单元中不包括在所述搜索区域中的另一个来估计当前数据单元的运动矢量；

根据所述运动矢量和参考图像产生参考宏块；

根据当前图像和所述参考宏块产生比特流；

对具有与当前图像和参考图像相应的数据的比特流解码，并产生当前图像的当前数据单元的运动矢量，所述运动矢量对应于参考图像的搜索区域，所述搜索区域包括位于参考图像的第一边界的第一参考数据单元；

根据所述运动矢量，通过使用不包括在所述搜索区域中的位于参考图像的第二边界的第二参考数据单元产生参考图像的第一参考数据单元的参考宏块；和

根据所述参考宏块和与解码的比特流相应的数据产生当前图像。

Images