CN104365098A - 用于视频流编码的方法与装置 - Google Patents

Abstract

一种使用编码方案对被分为宏块的视频流进行编码的方法，所述视频流包括透明度等级通道，所述方法包括：-将所述宏块分类为内部宏块和转变宏块，对于所述内部宏块其由所述透明度信息通道提供的透明度值在实质上一致，对于所述转变宏块其由透明度等级通道提供的透明度值在实质上不一致；-为每一个所述内部宏块确定所述透明度值的统计值；并且-根据其各自的统计值，为每一个所述内部宏块配置所述编码方案的相应参数。

Description

用于视频流编码的方法与装置

技术领域

本发明涉及视频编码领域，并且尤其涉及带有透明度信息的视频流编码领域。

背景技术

透明度通道正在越来越多地在多种应用中使用以便将不同的直播视频种子融合成一个视频流。

目前，尚无哪种方法能够在为YUV/RGB通道以及可能的深度信息执行编码时有效地考虑透明度信息。

发明内容

因此，本发明实施例的目的为利用可用的透明度信息来改进编码机制，尤其是降低输出视频速率和/或计算复杂度。

依照本发明的一个方面，提供了使用编码方案对被分隔为宏块的视频流进行编码的方法，所述视频流包括透明度等级通道，所述方法包括：将宏块分类为内部宏块和转变宏块，对于内部宏块，由透明度信息通道提供的透明度值实质上是一致的，对于转变宏块，由透明度等级通道提供的透明度值在实质上不一致；确定每一个内部宏块的透明度值的统计值；并且依据其各自的统计值，为每一个内部宏块配置编码方案的相应参数。

本申请全文中，术语“宏块”被用来指明编码方案的编码单元。虽然术语“宏块”在H.264建议中被定义，并且根据该建议典型地与编码有关，该术语应被理解为包括在其他编码方案中的等同的编码单元。

依照本发明的方法的优势为在逐宏块(macroblock-per-macroblock)的基础上，以将内容的不透明度/透明度考虑在内的方式编码视频流(即YUV/RGB通道以及可能的深度信息)。因此，多数地包含透明度内容的宏块(对该宏块从透明度值的平均值、中值或其他相关的统计值来确定)可以更有效的并且较少定性(less qualitative)的参数集合进行编码。根据已知的用于编码器如H.264和HEVC的惯例，这些参数被配置为“编码提示(encoding hints)”。根据本发明所述方法的进一步的优势为，其可辨别被视为一致的宏块——只要对他们的透明度进行考虑，通常来说比起那些在其中不透明度的(突然)转变的宏块，编码所述被视为一致的宏块更有效率。

在依照本发明的方法的实施例中，所述统计值为平均透明度等级或透明度等级的中值，并且对所述参数的配置包括：判断所述统计值是否超过预先确定的值；并且如果判断是肯定的，为对每一个内部宏块的编码方案的参数进行配置以降低编码复杂度。

该实施例的优势为使用一个相对简单的基于阈值的评估来确定是否为特别的内部宏块降低编码复杂度。所述“透明度等级”为一个表示宏块中的像素的透明度等级的参数，例如高“透明度等级”可理解为指高透明度的内容。这样的表述并非旨在排除透明度实际上是通过“不透明度等级”(例如，“alpha”参数)编码的实现，其中低“不透明度等级”用来标识高透明度的内容；在这种情况下，低“不透明度等级”对应高“透明度等级”。

依照本发明的方法的实施例中，所述参数的配置包括使去区块滤波器(deblocking filter)和自适应环路滤波器(adaptive loop filter)中的至少一个无效。

在特别的实施例中，宏块被组合为片段(slices)，所述片段表示被水平分割的帧的部分，所述方法进一步包括使对包括转变宏块的每个片段的去区块滤波器和自适应环路滤波器中的至少一个无效。

这些实施例是基于发明者注意到例如在视频流的实质上透明部分中的区块效应没有显著的干扰。因此，这些实施例通过选择性地停用去区块滤波器和/或自适应环路滤波器来提高编码效率。

在依照本发明的方法的实施例中，对参数的配置包括对16×16DC模式的内部预测的设置。

该实施例是基于发明者注意到在视频流的实质上透明部分中的粗插补不会显著地使整幅图片降级。因此，该实施例通过选择性地将插值引擎设置为简略模式(coarser mode)来提高编码效率。

依照本发明的方法的实施例中，对参数的配置包括从运动估计模式转换至P_SKIP模式。

该实施例是基于发明者注意到视频流的实质上透明部分中的粗运动估计不会显著地使整幅图片降级。因此，该实施例通过选择性地停用运动估计来提高编码效率。

在特别的实施例中，所述方法进一步包括对每个转变块：将转变块分割成多个子块，所述分割被执行以使包括透明度等级转变的子块的个数最小化。

该实施例对透明度信息中的转变的发生进行了考虑。该实施例的优点为在精确地表达转变——其可能是锐变的——和有效地编码底层颜色(以及可选的深度)信息之间达到较好的平衡。作为施加分割的结果，所述不包括透明度等级转变的子块因此可被视为“内部子块”，并且接受由上文描述的对“内部块”的处理。

依照本发明的方法的实施例中，对参数的配置包括根据所述统计值配置施加至每个内部块的压缩的量，以使更透明的宏块受到更多的压缩。

在特别的实施例中，所述方法进一步包括：为每一个转变宏块确定透明度值的统计值；并且根据所述统计值配置对每个转变宏块施加的压缩的量，以使更透明的宏块受到更多的压缩。

这些实施例的优点为以在逐宏块的基础上对内容的不透明度/透明度进行考虑这样的方式，以自适应压缩率执行视频流(即，YUV/RGB通道和可能的深度信息)的编码。相应地，主要包含透明内容的宏块将被以更多的压缩(例如，更高的QP值)来编码，并且因此，质量较低。依照公知的编码实践，如H.264和HEVC，这些参数被配置为“编码提示”。

根据本发明的一个方面，提供了包括用以执行上述方法的软件装置的计算机程序。

根据本方面的一个方面，提供了用于编码被划分为宏块的视频流的装置，所述视频流包括透明度等级通道，所述装置包括：被配置为根据编码方案编码所述视频流的视频编码器；用于将宏块分类为内部宏块和转变宏块的分类引擎，对于所述内部宏块，由透明度信息通道提供的透明度值是在实质上是一致的，对于所述转变宏块，由透明度等级通道提供的透明度值不是在实质上一致；用于为每一个内部宏块计算透明度值的统计值的处理器；以及适于根据相应的统计值为每一个内部宏块配置视频编码器的参数的编码提示生成器。

依照本发明的装置的实施例中，所述统计值为平均透明度等级或透明度等级中值，并且其中所述编码提示生成器进一步适于：确定统计值是否超过了预先确定的值；并且如果所述判断是肯定的，为每一个内部宏块配置视频编码器的参数以降低编码复杂度。

依照本发明所述装置的实施例中，所述参数的配置包括对根据所述统计值配置施加至每个内部宏块的压缩的量，以使更透明的宏块受到更多的压缩。

在特别的实施例中，所述处理器进一步适于为所述转变宏块中的每一个确定透明度值的统计值；并且所述编码提示生成器进一步适于根据所述统计值配置施加至每个转变宏块的压缩的量，以使更透明的宏块受到更多的压缩。

依照本发明的实施例的计算机程序和装置的技术效果和优点经过必要地变更，对应于那些现有的相关依照本发明的方法的相应实施例。

附图说明

现在仅以示例的方式并参考相应的附图，对依照本发明的实施例的装置和/或方法的一些实施例进行描述，其中：

图1提供了依照本发明的方法的实施例的流程图；以及

图2提供了依照本发明的装置的实施例的示意图。

具体实施方式

本发明的实施例尤其是基于发明者注意到旨在保留透明度的视频流的部分可以降低的质量重建，同时在最终(融合的)视频流的整体质量上没有明显的降低。

本发明的实施例还基于发明者注意到这些部分的质量的降低需求可有利地在编码步骤中被考虑，以降低编码复杂度和/或视频流的比特率。

依照本发明的实施例，在编码器侧做出提高编码效率的特定选择还引起解码过程的复杂度的降低。

虽然在下文本发明的实施例在H.264以及HEVC编码器环境中进行描述，这样作仅仅是为了清楚的目的，而并非旨在限定本发明的范围。本领域技术人员可理解本发明的原理同样可应用到不同类型的基于块的编码器，所述编码器为透明度信息的包含进行了考虑。同样，术语“alpha通道”(在公式中表示为α)被作为透明度信息通道的典型示例使用，并非旨在限制本发明的编解码器需特别地实际以“alpha通道”的名称或形式提供透明度信息。

在说明书中，将提到“实质上透明的”像素、块、宏块，或片段。本领域技术人员需认识到本发明的原理的应用没有考虑其选择以应用来确定像素是否为“实质上透明的”的精确阈值。在本发明的背景下，可能认为只有完全透明的像素为实质上透明的。也有可能认为不透明度小于(或等于)50％的像素或甚至小于(或等于)25％的像素为实质上透明的。还可能应用不同的阈值，其可低于或者高于50％不透明度。并且，不同的阈值可被施加至本发明的不同阶段。

为阐明本发明的方面，并且不限制其范围，对下面的数学公式进行介绍以便讨论可用的透明度信息。在与本发明于同一天以申请号EP12305617.8提交的标题为“Method and apparatus for encoding a videostream having a transparency information channel”的申请中提供了关于该公式进一步的细节，其内容被全文引入作为参考。

Alpha图像根据具有支持域的分隔区域和隐函数

F(x，y，z)=F(i，j，α)=0

来进行数学上的考虑。

所述数学表示被定义为隐函数的成分。这些函数表示在具有(X，Y，Z)坐标系的三维空间中定义F(X，Y，Z)函数，所述坐标系中(X，Y)对相当于alpha像素的(i，j)像素坐标，并且z坐标为在(i，j)处的alpha值。函数F例如可为半径为r的球，如

F(x，y，z)=x²+y²+z²-r²=0

函数F为(X，Y，Z)中的广义多项式，其完全由他们的系数a_m，n，p来定义，例如

$F(x,y,z)=\underset{m,n,p}{\mathrm{\Σ}}{a}_{m,n,p}{x}^m{y}^n{z}^p$

函数F还可在通过(X，Y)坐标中的矩形区域描述的支持域上定义。

函数(例如，平面中间的半球)的成分由具有其各自的支持域的函数定义，具有特定的规则：如果(X，Y)对接收到两个可能的alpha值，仅将最大的alpha值与该(X，Y)对相关联(不透明侧上的是错误的)。

这样的表示的优点为其允许对alpha形状或深度值的平滑转变进行精确表示。并且，如果对图像进行缩放或重采样，alpha通道能被重新计算出来并且没有任何的质量损失。

来自alpha通道的“先验信息”或“提示”被用来简化YUV/RGB通道的编码。由于来自于alpha通道的先验信息，在AVC或HEVC编码器的功能块中其可被简化或加速，所述先验信息为：

-如果alpha通道上的几何形状是可用的，则为内部预测方向并进行分割；

-如果可从alpha通道得出对象，则为间预测分割(inter predictionpartitioning)以及运动信息(如搜索区域)；

-如果形状在alpha通道可用，则为环路滤波器参数；

-速率控制参数。

依据本发明可使用这些功能块中的任意一个或多个。

现在参考图1对第一实施例进行描述。

根据本发明，在具有实质上一致的透明度等级的宏块——在下文中被称之为“内部宏块”——与具有不一致透明度等级的宏块——下文中被称之为“转变宏块”——之间做出(100)有利的区分。

虽然下文描述的依照本发明的方法的实施例中的分析和决策都假定基于单独的帧(当前帧)，本领域技术人员应认识到，在分析中包括由从一个或多个前帧中获取的信息一般是有利的。相应地，如果确定从前帧到当前帧，透明度信息没有大的改变，则先前建立的内部宏块和转变宏块之间的区分可至少被部分地重利用以提高所述方法的效率。

以示例的方式，所述方法被施加至H.264编码器，所述编码器具有作为输入的两个YUV通道以及包含透明度值的一个alpha通道，所述alpha值能代表内容的分段或由应用(如画中画应用)定义。此处将提及与HEVC编码器相关的适当的修改。为清楚起见，图1中各通道没有分别示出。

在逐宏块的基础上，以这样的方式引导编码过程，即对于实质上透明的宏块，压缩等级被增加(因此，比特率和质量级别下降)。该速度控制(110)优选地如下完成：

-对于内部宏块来说，基于函数t(α，QP)调节(增加)QP参数，其中α为该宏块上的alpha值的平均，并且QP为由编码器为该宏块所选择的初始QP，有如下限制条件：

○对低的α值(本质上透明的像素)，QP应为最大的(最低视觉可接受质量)，

○对高的α值(本质上不透明的像素)，QP不应被修改。

-对于转变宏块，以与对内部宏块同样的方式通过该宏块的alpha值的中值修改QP。平均值上的中值的优势为其对该宏块最具代表性(在像素的数量方面)的区域有利并且认为其为整个宏块的代表。

虽然alpha值的平均值(对内部宏块)和alpha值的中值(对转变宏块)的使用是特别有利并且计算简单的，也可使用其他统计值。

速率控制110可特别地如下完成。如果R₁为第一YUV通道的每张图的总速率(对于I，P或B帧R₁是不同的)，具有相应的透明度α₁的YUV通道的每个宏块m₁将获取依据α₁和R₁建议(hinted)速率111。有利地，建议速率被设置为α₁×R₁/M₁，其中M1等于所述YUV通道的每帧中的宏块的数目。以同样的方式，来自具有透明度α₂=(1-α₁)的其他YUV通道的宏块m2接收依照α2和R2的建议速率112，其有利地为(1-α₁)＊R₂/M₂，其中R₂为第二YUV通道的每图速率并且M₂为第二YUV通道中宏块的数目。

在本发明的实施例中，依据在alpha通道中定义的形状的边缘确定YUV编码的流的内部预测方向，并且作为有效压缩的优先方向被建议。这提供了降低编码和解码计算复杂度并提高视觉质量的优点。

优选地，如果所述宏块为转变宏块，将选择121内部预测模式方向以最佳地匹配在该宏块上的alpha转变。优选地，如果所述宏块为内部宏块，并且平均alpha值低于阈值t(α，QP)，122，选择123低复杂度模式如16×16DC模式。

在本发明的实施例中，如果通过alpha通道形状描绘运动目标，则提示130运动估计信息，如搜寻区域、运动分割和运动方向。这允许通过避免(实质上)透明的像素的不必要的运动矢量信号来降低编码和解码的运动估计部分的计算复杂度，特别是H.264编码和解码。

优选地，如果所述宏块为转变宏块，最优的表示所述转变的分割被提示给编码器131。所述“最优”分割为被区域的边界分割的子块的数目为最小的分割。优选地，如果所述宏块为内部宏块，并且其平均alpha值低于阈值t(α，QP)，132，应选择133低复杂度的模式如P_SKIP模式。

H.264的去区块滤波器或HEVC的自适应环路滤波器可根据alpha通道140中的形状边缘对给定的宏块边缘打开或关闭。关闭所述滤波器将降低编码和解码的计算复杂度。在逐片的基础上可更优地作出所述决定，其中“片段”为连续宏块的横向组合。

优选地，如果所述片段的宏块的多数为具有低于预先确定阈值的alpha值的内部宏块t(α)(即实质上透明的宏块)143，对该片段142关闭所述去区块滤波器。优选地，如果片段141中存在转变宏块，则对该片段142关闭所述去区块滤波器。在其他情况中，与该滤波器有关的编码提示可被省略。

如果深度通道被作为附加的输入出现，则可根据透明度值进一步地调整深度量化的速率，其中更透明的区域需要所述深度通道更低精细的量化。优选地，于是可根据透明度和感兴趣的深度两者的函数来调整所述两个YUV通道宏块的编码速率，如：

${\mathrm{\α}}_1\×f\left({\mathrm{depth}}_1\right)\×\frac{R_1}{M_1}$

其中，f(depth₁)为代表对给定深度的期待质量的函数。

通过限制搜索区域至相应的alpha值一定且深度一定的区域，即alpha值的变化和深度值的变化很低的区域，同样可基于深度值提示运动估计。

在基于模板匹配的视频编码中，其可作为H.264和HEVC的备选，所述提示可被限制至在已被编码并重构的当前帧的区域中相关的搜索(在当前帧已编码的区域内部进行运动估计；所述区域为当前已处理图像块的上方和左侧区域)。根据本发明的任意实施例，所述搜索区域被所述alpha通道的形状和数值限制，即被连续的非透明形状所限制。

图2示出了对被分割为宏块的视频流进行编码的装置200，所述视频流包括透明度等级通道。为了清楚的目的，没有详细绘制出输入和输出接口。所述视频流(编码前和编码后)以简单化的粗箭头方式示出。所述装置200各块之间交换的信息(包括宏块分类信息、计算的统计值和编码提示)以细箭头表示。所述装置200包括视频编码器210，所述视频编码器被配置为根据编码方案，如H.264或HEVC，对视频流信息进行编码。所述装置200进一步包括根据由透明度信息通道提供的透明度值是否实质上一致，将所述视频流的宏块分类为内部宏块和转变宏块的分类引擎220。所述装置200进一步包括处理器230，所述处理器操作地耦合至分类引擎，用于为每一个内部宏块计算透明度值的统计值。编码提示生成器240，操作地耦合至处理器230及视频编码器210，被提供和调整以用来根据各自的统计值为每一个内部宏块配置视频编码器210的参数。

优选地，所述统计值为平均透明度等级或透明度等级中值，并且所述编码提示生成器进一步适于确定统计值是否超过预先确定的值。如果是这样(即所述判断得出肯定的结果)，为每一个这样的内部宏块配置视频编码器210的参数以降低编码复杂度。

所述参数的配置可包括依据所述统计值配置施加至每个内部宏块的压缩的量，以使更透明的宏块受到更多的压缩。

所述处理器230可进一步适于为每个转变宏块确定透明度值的统计值。相应的编码提示生成器240可适于随后依据所述统计值配置施加至每个转变宏块的压缩的量，以使更透明的宏块受到更多的压缩。

虽然上述以独立的实施例对方法和装置进行了描述，这仅是为了清晰的目的，并且需要指出所述的仅与方法实施例相关的特点可应用至依照本发明的装置的实施例中以获得同样的技术效果和优势，反之亦然。

图中所示多种单元，包括任何标记为“处理器”的功能模块可以通过专用硬件的使用或具有执行软件能力的硬件结合适当的软件来提供。当由处理器提供时，所述功能可由单独的专用处理器、单独的共享处理器或部分独立处理器被共享的多个独立处理器。此外，术语“处理器”或“控制器”的明确使用不应被理解为涉及排除能执行软件的硬件，并且隐含地包括而不限于数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用来存储软件的只读存储器(ROM)、随机存储器以及非易失存储器。其余常规和/或定制硬件设备也可能包括在内。类似地，图中示出的任何交换都是逻辑意义上的。其功能的执行可通过对程序逻辑的操作、通过专用逻辑、通过程序控制与专用逻辑器件的交互、或者甚至手动，具体实现方式可以由实施者依照其个人对环境的理解来进行选择。

本领域的技术人员可以很容易的认识到上述方法中的多个步骤均可以通过编程的计算机来执行。这里，一些实施例还旨在覆盖如数字数据存储媒体的程序存储设备，所述程序存储设备为机器或计算机可读并能够编码机器可执行或计算机可执行指令的程序，其中所述指令执行上述方法部分或全部的步骤。程序存储设备可为如数字存储器、像磁盘和磁带这样的磁存储介质、硬盘驱动器、或光可读数字数据存储介质。实施例还倾向于覆盖编程以执行上述方法的步骤的计算机。

Claims (14)

1.一种用于使用编码方案对被分为宏块的视频流进行编码的方法，所述视频流包括透明度等级通道，所述方法包括：

-将所述宏块分类为内部宏块和转变宏块，对于所述内部宏块，由所述透明度信息通道提供的透明度值实质上一致，对于所述转变宏块，由所述透明度等级通道提供的透明度值实质上不一致；

-确定每一个所述内部宏块的所述透明度值的统计值；并且

-根据其各自的统计值，为每一个所述内部宏块配置所述编码方案的相应参数。

2.如权利要求1所述的方法，其中所述统计值为平均透明度等级或透明度等级中值，并且其中对所述参数的所述配置包括：

-确定所述统计值是否超出预先确定的值；并且

-如果所述判断为肯定，为每一个所述内部宏块配置所述编码方案的所述参数以降低编码复杂度。

3.如权利要求2所述的方法，其中所述参数的所述配置包括至少禁用去区块滤波器和自适应环路滤波器中的一个。

4.如权利要求3所述的方法，其中所述宏块被组合为片段，所述片段表示被水平分割的帧的部分，所述方法进一步包括为包括转变宏块的每个片段禁用所述去区块滤波器和所述自适应环路滤波器中的至少一个。

5.如权利要求2所述的方法，其中所述参数的所述配置包括设置内部预测为16×16DC模式。

6.如权利要求2所述的方法，其中所述参数的所述配置包括将运动估计模式切换为P_SKIP模式。

7.如权利要求6所述的方法，进一步包括，对于每个转变块：

-将所述转变块分割为子块，所述分割被执行以使包括透明度等级转变的子块的数目最小化。

8.如上述权利要求中任意一项所述的方法，其中所述参数的所述配置包括：依据所述统计值配置施加至每个内部宏块的压缩的量，以使更透明的宏块受到更多的压缩。

9.如权利要求8所述的方法，进一步包括：

-为每一个所述转变宏块确定所述透明度值的统计值；并且

-依据所述统计值配置施加至每个转变宏块的压缩的量，以使更透明的宏块受到更多的压缩。

10.一种计算机程序，包括用于执行上述权利要求中的任意一条所述的方法的软件装置。

11.一种用于对被分为宏块的视频流进行编码的装置，所述视频流包括透明度等级通道，所述装置包括：

-被配置为根据编码方案编码所述视频流的视频编码器；

-用于将所述宏块分类为内部宏块和转变宏块的分类引擎，所述内部宏块，由所述透明度信息通道提供的透明度值实质上一致，对于所述转变宏块，由所述透明度等级通道提供的透明度值实质上不一致；

-用于为每一个所述内部宏块计算所述透明度值的统计值的处理器；和

-适于依据其各自的统计值为每一个所述内部宏块配置所述视频编码器的参数的编码提示生成器。

12.如权利要求11所示装置，其中所述统计值为平均透明度等级或透明度等级中值，并且其中所述编码提示生成器进一步适于：

-确定所述统计值是否超出预先确定的值；并且

-如果所述判断为肯定，为每一个所述内部宏块配置所述视频编码器的所述参数以降低编码复杂度。

13.如权利要求11-12中任意一项所述的装置，其中所述参数的所述配置包括依据所述统计值配置施加至每个内部宏块的压缩的量，以使更透明的宏块受到更多的压缩。

14.如权利要求13所述的装置，其中所述处理器进一步适于为每一个所述转变宏块确定所述透明度值的统计值；并且其中所述编码提示生成器进一步适于依据所述统计值配置施加至每个转变宏块的压缩的量，以使更透明的宏块受到更多的压缩。