CN103248899B - 多视点视频skip模式的运动矢量预测方法 - Google Patents

Abstract

本发明提出一种多视点视频SKIP模式的运动矢量预测方法，包括：获取待编码块；从待编码块对应视点内获取与待编码块相邻块的运动信息集合；获取与待编码块对应的视点间对应块，并得到视点间对应块以及与视点间对应块相邻的块的运动信息集合；根据上述运动信息集合生成运动矢量候选集；分别计算待编码块对应的深度块和运动矢量候选集中每个运动矢量对应的深度块的平均均方误差，并选择平均均方误差最小的运动矢量作为待编码块的最优运动矢量。本发明实施例可通过视点内相邻块和视点间对应块及对应块的相邻块的运动信息预测当前待编码块的SKIP模式的运动矢量，该方法适用于多视点视频，且具有预测精度高的优点。

Description

多视点视频SKIP模式的运动矢量预测方法

技术领域

本发明涉及立体视频压缩编码技术领域，特别涉及一种多视点视频SKIP模式的运动矢量预测方法。

背景技术

随着人们对立体视觉感知需求的不断增长，多视点视频技术引起了越来越多的国内外学者以及工业界的关注。与普通二维视频相比，多视点视频增加了场景的深度信息，从而能给用户提供视觉上的现实感和逼真感，但是同时也大大增加了视频的数据量。因此，对于多视点视频的编码，需要进一步提高压缩效率。

如今，为了满足更广角度的多视点视频图像生成，在进行编码时通常除了输入多视点视频以外，还会输入相应的深度视频，从而可以再输出端生成更多角度的合成视点视频图像。这种编码模式虽然满足了广角甚至全息的视频需求，但是庞大的数据量以及运算量对于视频的实时应用有了很大的限制，

现有的视频编码标准中，SKIP模式不需要传输运动矢量和预测残差信息，可以节省较大的码率。但是，相比与单视点视频编码，多视点编码框架中引入深度信息和视差信息，从而导致现有的SKIP模式运动矢量预测方法不适用于多视点视频的编码。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种多视点视频SKIP模式的运动矢量预测方法，该方法能够有效利用视点内相邻块和视点间对应块相邻位置的运动信息。通过利用视点内和视点间的信息，能够更加精确的预测当前块的SKIP模式运动矢量。

为了实现上述目的，本发明的实施例提出了一种多视点视频SKIP模式的运动矢量预测方法，包括以下步骤：从所述多视点视频序列中获取待编码块；从所述待编码块对应的视点内获取与所述待编码块相邻的块的第一运动信息集合；获取与所述待编码块对应的视点间对应块，并得到所述视点间对应块以及与所述视点间对应块相邻的块的第二运动信息集合；根据所述第一运动信息集合和所述第二运动信息集合生成运动矢量候选集；以及分别计算所述待编码块对应的深度块和所述运动矢量候选集中每个运动矢量对应的深度块的平均均方误差，并选择平均均方误差最小的运动矢量作为所述待编码块的最优运动矢量。

根据本发明实施例的多视点视频SKIP模式的运动矢量预测方法，可通过视点内相邻块和视点间对应块及对应块的相邻块的运动信息预测当前待编码块的SKIP模式的运动矢量，该方法适用于多视点视频，通过本发明实施例的方法对多视点视频进行编码，具有高的压缩率的同时具有预测精度高且编码精度高的优点，可提高多视点视频的传输速率，降低网络传输的压力。另外，该方法简单易行，适用范围广。

另外，根据本发明上述实施例的多视点视频SKIP模式的运动矢量预测方法还可以具有如下附加的技术特征：

在本发明的实施例中，判断所述平均均方误差最小的运动矢量对应的块与所述待编码块是否来自同一视点；如果来自不同的视点，则进一步判断所述平均均方误差最小的运动矢量对应的块与所述待编码块之间的视差矢量是否为预设值；如果为所述预设值，则将所述待编码块对应的视差矢量替换所述最优运动矢量。

在本发明的实施例中，所述待编码块对应的视差矢量的计算方法如下：

通过公式：计算所述待编码块对应的深度块的平均深度值d(u,v)，其中，(u,v)为所述待编码块对应的深度块的位置，(i,j)为所述待编码块的所有像素点的位置集合，D为所述待编码块对应的视点的深度图信息，B为当前编码块中像素集合；

通过如下公式计算所述平均深度值d(u,v)对应的视差矢量disparity(u,v)，

$z={(\frac{d(u,v)}{255}(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}})}^{-1},$

其中，z为景深，Znear为相机拍摄当前场景的最小景深，Zfar为相机拍摄当前场景的最大景深，f为相机焦距，L为相机之间的水平距离，

将所述视差矢量disparity(u,v)作为替换所述最优运动矢量。

在本发明的实施例中，所述从待编码块对应的视点内获取与所述待编码块相邻的块的第一运动信息集合的步骤，进一步包括：判断与所述待编码块相邻的块是否为非帧内预测块；如果是，则将所述与所述待编码块相邻的块的运动矢量添加到所述第一运动信息集合；如果不是，则舍弃所述与所述待编码块相邻的块的运动矢量。

在本发明的实施例中，所述获取与所述待编码块对应的视点间对应块，并得到所述视点间对应块以及与所述视点间对应块相邻的块的第二运动信息集合的步骤，进一步包括：分别判断所述视点间对应块以及与所述视点间对应块相邻的块是否为非帧内编码块；如果是，则进一步判断所述视点间对应块以及与所述视点间对应块相邻的块分别对应的运动矢量是否通过时域预测得到；如果是通过所述时域预测得到，则将所述视点间对应块以及与所述视点间对应块相邻的块的运动矢量添加到所述第二运动信息集合。

在本发明的实施例中，通过如下公式得到所述平均均方误差最小的运动矢量：

$\arg \underset{\mathrm{mv}}{\min }\underset{i,j\∈B}{\mathrm{\Σ}}{|D^{\′}(u+\mathrm{mv}\left(u\right)+i,\mathrm{mv}\left(v\right)+j)-D(u+i,v+j)|}^2$

其中，u,v为所述待编码块对应的深度块的横坐标与纵坐标，mv（u）、mv（v）为所述待编码块对应的深度块的运动矢量的水平与竖直位移，(u,v)为所述待编码块对应的深度块的位置，(i,j)为所述待编码块的所有像素点的位置集合，D为所述待编码块所在视点的深度图信息。D’为运动矢量候选集中每个运动矢量对应帧的深度图信息。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的多视点视频SKIP模式的运动矢量预测方法的流程图；

图2是本发明一个实施例的多视点视频SKIP模式的运动矢量预测方法的当前待编码块周围已重构块的运动矢量信息；

图3是本发明一个实施例的多视点视频SKIP模式的运动矢量预测方法的待编码块的视点间对应块以及对应块的相邻块的运动信息；

图4是本发明一个实施例的多视点视频SKIP模式的运动矢量预测方法的基于深度信息的最优运动矢量决策的示意图；以及

图5是本发明一个实施例的多视点视频SKIP模式的运动矢量预测方法的编码过程的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的实施例中，对于当前待编码块的SKIP模式的运动矢量可以从视点内和视点间已编码块的运动信息中预测。在视点内，包含当前块的周围块：左边、上边以及右上角的块的运动信息，在视点间包含对应位置的对应块以及对应块周围的运动信息。通过对运动矢量候选集进行最优运动矢量决策，可以获得当前块的SKIP模式的运动矢量信息。

具体的，图1是根据本发明一个实施例的多视点视频SKIP模式的运动矢量预测方法的流程图。如图1所示，根据本发明一个实施例的多视点视频SKIP模式的运动矢量预测方法包括以下步骤：

步骤S101：从多视点视频序列中获取待编码块。待编码块指多视点视频序列中某一视点内的某一帧图像上的待编码块。图像被划分为多个块，以块为单位对图像进行编码。

步骤S102：从待编码块对应的视点内获取与待编码块相邻的块的第一运动信息集合。

对于当前的待编码块，获取其所在视点上的同一图像的已编码块的运动信息（运动矢量）。根据空间相关性，即与当前的待编码块越是相邻，其可能相似度越高，因此，在本发明的优选实施例中，选择当前的待编码块周围块的运动信息（运动矢量）加入到第一运动信息集合中。

具体地，如图2所示，对于待编码块获取相邻块的已重构块的第一运动信息，结合图2所示，示出了与当前视点待编码块周围的已重构块的三个块，例如分别为位于待编码块（如图2所示的右下方的块）的左边的块，对应的运动信息记为：mv_a，上边的块，对应的运动信息记为：mv_b，右上角的块，对应的运动信息记为：mv_c。进一步地，对于运动信息mv_a、mv_b和mv_c，需要判断是否将上述三个运动信息加入到第一运动信息集合中，具体方法如下：

步骤102-01：判断与待编码块相邻的块是否为非帧内预测块。例如，判断左边的块、上边的块和右上角的块是否为非帧内预测块，即是否为采用非帧内预测方式得到的相应的运动矢量。

步骤102-02：如果是（即如果为非帧内预测块），则将与待编码块相邻的块的运动矢量添加到第一运动信息集合。例如，假设左边的块、上边的块和右上角的块均为非帧内预测块，则mv_a、mv_b和mv_c均加入到第一运动信息集合中。

步骤102-03：如果不是（即如果不是非帧内预测块），则舍弃与待编码块相邻的块的运动矢量。例如，左边的块不是非帧内预测块、而上边的块和右上角的块分别为非帧内预测块，则将mv_b和mv_c加入到第一运动信息集合中，而舍弃mv_a。

步骤S103：获取与待编码块对应的视点间对应块，并得到视点间对应块以及与视点间对应块相邻的块的第二运动信息集合。

具体而言，根据当前待编码块的位置，将其映射到其他已编码视点的对应块，并获取其它已经编码的视点中的对应块及对应块的相邻块的运动信息。

作为一个具体的示例，如图3所示，根据待编码块的位置获得视点间对应的已重构块的位置。以多视点视频包括2个视点为例，如视点V0和视点V1（参考视点）。设当前的待编码块位于视点V1中，那么当前待编码块（如图3中V1中的右下方的块）的视点间对应块位置如V0中的块（如参考视点中右下方的块），而假设当前待编码的块的对应块的相邻块为三个。如图3所示，即V0中包含的可以利用的块包括当前待编码的块的对应块、该对应块的左边的块、上边的块和右上角的块，对应块、该对应块的左边的块、上边的块和右上角的块分别对应的运动信息记为：mv’、mv_a’、mv_b’和mv_c’。

对于上述的运动矢量，如果该重构块为非帧内编码块，并且运动矢量来自于时域预测得到，则将运动矢量加入到第二运动信息集合中，反之则不加入。具体地，包括以下步骤：

步骤S103-01：分别判断视点间对应块以及与视点间对应块相邻的块是否为非帧内编码块。

步骤S103-02：如果是，则进一步判断视点间对应块以及与视点间对应块相邻的块分别对应的运动矢量是否通过时域预测得到。

步骤S103-03：如果是通过时域预测得到，则将视点间对应块以及与视点间对应块相邻的块的运动矢量添加到第二运动信息集合。

步骤S104：根据第一运动信息集合和第二运动信息集合生成运动矢量候选集。即将第一运动信息集合中的运动矢量与第二运动信息集合中的运动矢量进行汇总，得到运动矢量候选集。

步骤S105：分别计算待编码块对应的深度块和运动矢量候选集中每个运动矢量对应的深度块的平均均方误差，并选择平均均方误差最小的运动矢量作为待编码块的最优运动矢量。

采用深度信息作为最优运动矢量决策。对于候选集中的每个运动矢量，都可以找到对应的视点内或者视点间深度块。比较当前深度块和运动矢量对应的深度块的平均均方误差（SSD，SumofSquareDifference）。选择最小的平均均方误差SSD的作为最优运动矢量。

根据视点间和视点内的深度信息来对当前待编码块的SKIP模式的运动矢量进行预测，如图4所示，运动矢量的评价标准为当前块对应的深度块和运动矢量对应的视点内或视点间对应位置的深度块。

通过如下公式得到平均均方误差最小的运动矢量：

$\arg \underset{\mathrm{mv}}{\min }\underset{i,j\∈B}{\mathrm{\Σ}}{|D^{\′}(u+\mathrm{mv}\left(u\right)+i,\mathrm{mv}\left(v\right)+j)-D(u+i,v+j)|}^2$

其中，u,v为待编码块对应的深度块的横坐标与纵坐标，mv（u）、mv（v）为待编码块对应的深度块的运动矢量的水平与竖直位移，(u,v)为待编码块对应的深度块的位置，(i,j)为待编码块的所有像素点的位置集合，D为待编码块所在视点的深度图信息。D’为运动矢量候选集中每个运动矢量对应帧的深度图信息。

那么根据上述准则，则可以在运动矢量候选集中选择一个最优的运动矢量，即选择平均均方误差最小的运动矢量作为待编码块的最优运动矢量。

在本发明的一个实施例中，如图1所示，在步骤S105之后，还可包括如下步骤：

步骤S106：判断平均均方误差最小的运动矢量对应的块与待编码块是否来自同一视点。

步骤S107：如果来自不同的视点，则进一步判断平均均方误差最小的运动矢量对应的块与待编码块之间的视差矢量是否为预设值。

步骤S108：如果为预设值，则将待编码块对应的视差矢量替换最优运动矢量。

具体的，如果通过对运动信息集合中的运动信息进行最优决策得到的运动信息来自于视点间并且视差矢量的大小为0，则利用当前块的平均视差矢量进行替换。用当前块的平均深度信息对应的视差向量作为最终的运动矢量。

待编码块对应的视差矢量的计算方法如下：

通过公式：计算待编码块对应的深度块的平均深度值d(u,v)，其中，(u,v)为待编码块对应的深度块的位置，(i,j)为待编码块的所有像素点的位置集合，D为待编码块对应的视点的深度图信息，B为当前编码块中像素集合，

通过如下公式计算平均深度值d(u,v)对应的视差矢量disparity(u,v)，

$z={(\frac{d(u,v)}{255}(\frac{1}{Z_{\mathrm{near}}}-\frac{1}{Z_{\mathrm{far}}})+\frac{1}{Z_{\mathrm{far}}})}^{-1},$

其中，z为景深，Znear为相机拍摄当前场景的最小景深，Zfar为相机拍摄当前场景的最大景深，f为相机焦距，L为相机之间的水平距离。

将视差矢量disparity(u,v)作为替换最优运动矢量。即对应的视差矢量disparity(u,v)作为修正后的SKIP模式的运动矢量信息。

根据本发明实施例的多视点视频SKIP模式的运动矢量预测方法，可通过视点内相邻块和视点间对应块及对应块的相邻块的运动信息预测当前待编码块的SKIP模式的运动矢量，该方法适用于多视点视频，通过本发明实施例的方法对多视点视频进行编码，具有高的压缩率的同时具有预测精度高且编码精度高的优点，可提高多视点视频的传输速率，降低网络传输的压力。另外，该方法简单易行，适用范围广。

参阅图5所示，为根据本发明实施例的编码过程的流程图。

步骤S501：获得视点内待编码块相邻块的运动信息（即第一运动信息集合）。

步骤S502：获得视点间对应块以及对应块的相邻块的运动信息（即第二运动信息集合）。

步骤S503：基于深度信息（即深度块）的待编码块的SKIP模式最优运动矢量。

步骤S504：视差运动矢量（即视差矢量）修正。

具体的，判断平均均方误差最小的运动矢量对应的块与待编码块是否来自同一视点。如果是，则进入步骤S505，否则则进入步骤S506。

步骤S505：如果来自不同的视点，则进一步判断平均均方误差最小的运动矢量对应的块与待编码块之间的视差矢量是否为预设值。如果为预设值，则将待编码块对应的视差矢量替换最优运动矢量。

步骤S506：结束。

根据本发明实施例的多视点视频SKIP模式的运动矢量预测方法，可通过视点内相邻块和视点间对应块及对应块的相邻块的运动信息预测当前待编码块的SKIP模式的运动矢量，该方法适用于多视点视频，通过本发明实施例的方法对多视点视频进行编码，具有高的压缩率的同时具有预测精度高且编码精度高的优点，可提高多视点视频的传输速率，降低网络传输的压力。另外，该方法简单易行，适用范围广。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (3)

1.一种多视点视频SKIP模式的运动矢量预测方法，其特征在于，包括以下步骤：

从所述多视点视频序列中获取待编码块；

从所述待编码块对应的视点内获取与所述待编码块相邻的块的第一运动信息集合，具体包括：判断与所述待编码块相邻的块是否为非帧内预测块，如果是，则将与所述待编码块相邻的块的运动矢量添加到所述第一运动信息集合，如果不是，则舍弃与所述待编码块相邻的块的运动矢量；

获取与所述待编码块对应的视点间对应块，并得到所述视点间对应块以及与所述视点间对应块相邻的块的第二运动信息集合，具体包括：分别判断所述视点间对应块以及与所述视点间对应块相邻的块是否为非帧内编码块，如果是，则进一步判断所述视点间对应块以及与所述视点间对应块相邻的块分别对应的运动矢量是否通过时域预测得到，如果是通过所述时域预测得到，则将所述视点间对应块以及与所述视点间对应块相邻的块的运动矢量添加到所述第二运动信息集合；

根据所述第一运动信息集合和所述第二运动信息集合生成运动矢量候选集；

分别计算所述待编码块对应的深度块和所述运动矢量候选集中每个运动矢量对应的深度块的平均均方误差，并选择平均均方误差最小的运动矢量作为所述待编码块的最优运动矢量；

判断所述平均均方误差最小的运动矢量对应的块与所述待编码块是否来自同一视点；

如果来自不同的视点，则进一步判断所述平均均方误差最小的运动矢量对应的块与所述待编码块之间的视差矢量是否为预设值；

如果为所述预设值，则将所述待编码块对应的视差矢量替换所述最优运动矢量。

2.根据权利要求1所述的方法，其特征在于，所述待编码块对应的视差矢量的计算方法如下：

通过公式：计算所述待编码块对应的深度块的平均深度值d(u,v)，其中，(u,v)为所述待编码块对应的深度块的位置，(i,j)为所述待编码块的所有像素点的位置集合，D为所述待编码块对应的视点的深度图信息，B为当前编码块中像素集合；

通过如下公式计算所述平均深度值d(u,v)对应的视差矢量disparity(u,v)，

$z={\left(\frac{d(u,v)}{255}\left(\frac{1}{Z_{near}}-\frac{1}{Z_{far}}\right)+\frac{1}{Z_{far}}\right)}^{-1},$

其中，z为景深，Znear为相机拍摄当前场景的最小景深，Zfar为相机拍摄当前场景的最大景深，f为相机焦距，L为相机之间的水平距离；

将所述视差矢量disparity(u,v)作为替换所述最优运动矢量。

3.根据权利要求1所述的方法，其特征在于，通过如下公式得到所述平均均方误差最小的运动矢量：

$\arg \underset{mv}{min}\underset{i,j\∈B}{\Σ}|D^{\′}(u+mv(u)+i,mv(v)+j)-D(u+i,v+j){|}^2$

其中，u,v为所述待编码块对应的深度块的横坐标与纵坐标，mv(u)、mv(v)为所述待编码块对应的深度块的运动矢量的水平与竖直位移，(u,v)为所述待编码块对应的深度块的位置，(i,j)为所述待编码块的所有像素点的位置集合，D为所述待编码块所在视点的深度图信息，D’为运动矢量候选集中每个运动矢量对应帧的深度图信息。