CN106063263A - 改进的屏幕内容和混合内容编码 - Google Patents

Abstract

一种装置，包括处理器，用于：获取包括图像的混合内容视频，所述图像包括计算机生成屏幕内容(screen content，SC)和自然内容(natural content，NC)；将所述图像分区为SC区域和NC区域；以及通过使用SC编码工具对所述SC区域进行编码和使用NC编码工具对所述NC区域进行编码来对所述图像进行编码；以及与所述处理器连接的发射器，其中，所述发射器用于向客户端设备传输数据，所述数据包括所述编码后的图像和分区的边界指示。

Description

改进的屏幕内容和混合内容编码

相关申请案交叉申请

本申请要求2014年3月13日由Thorsten Laude、Marco Munderloh和JoernOstermann递交的发明名称为“改进的屏幕内容和混合内容编码(Improved ScreenContent And Mixed Content Coding)”的第61/952,160号美国临时专利申请案和2015年3月11日由Thorsten Laude、Marco Munderloh和Joern Ostermann递交的发明名称为“改进的屏幕内容和混合内容编码(Improved Screen Content And Mixed Content Coding)”的第14/645,136号美国专利申请案的在先申请优先权，这两个在先申请的全部内容以引入的方式并入本文本中。

关于由联邦政府赞助研究或开发的声明

不适用

参考缩微胶片附录

不适用

背景技术

随着云服务的近期发展及智能手机和平板电脑等移动设备部署为内容显示设备，新出现的情况是：计算机生成的内容在一个设备上生成但使用第二设备来显示。此外，可要求这种设备来同时显示相机采集内容和计算机生成内容，从而导致需要显示混合内容。相机采集内容和计算机生成内容的特征在边缘锐度、不同颜色的数量、压缩等方面有显著差异。用于显示视频采集内容的视频编码和解码机制在显示计算机生成内容时效果不好，反之亦然。例如，尝试使用用于显示视频采集内容的视频编码和解码机制来显示计算机生成内容可导致显示的计算机生成内容的那一部分编码失真、模糊、文件过大等(反之亦然)。

发明内容

在一项实施例中，本发明包括一种装置，所述装置包括处理器，用于：获取包括图像的混合内容视频，所述图像包括计算机生成屏幕内容(screen content，SC)和自然内容(natural content，NC)；将所述图像分区为SC区域和NC区域；以及通过使用SC编码工具对所述SC区域进行编码和使用NC编码工具对所述NC区域进行编码来对所述图像进行编码；以及与所述处理器连接的发射器，其中，所述发射器用于向客户端设备传输数据，所述数据包括所述编码后的图像和分区的边界指示。

在另一项实施例中，本发明包括一种在客户端设备处对混合内容视频进行解码的方法，所述方法包括：接收包括编码后混合内容视频的比特流，所述混合内容视频包括图像，其中，每个图像包括SC和NC；在所述比特流中接收包括所述SC内容的SC区域与包括所述NC内容的NC区域之间的分区边界的指示；对所述分区边界界定的所述SC区域进行解码，其中，对所述SC区域进行解码包括使用SC编码工具；对所述分区边界界定的所述NC区域进行解码，其中，对所述NC区域进行解码包括使用与所述SC编码工具不同的NC编码工具；以及将所述解码后的SC区域和所述解码后的NC区域作为解码后的混合内容视频转发给显示器。

在另一项实施例中，本发明包括一种计算机程序产品，所述计算机程序产品包括存储在非瞬时性计算机可读介质上的计算机可执行指令，从而当所述计算机可执行指令由处理器执行时，使网元(network element，NE)执行以下操作：获取包括图像的混合内容视频，所述图像包括SC和NC，将所述图像分区为SC区域和NC区域；将所述SC区域中的图像数据编码为至少一个SC子流；将所述NC区域中的图像数据编码为至少一个NC子流；以及通过发射器将所述子流传输给客户端设备，以便重新组合为所述混合内容视频。

结合附图和权利要求书，可以从下文的详细描述中更清楚地理解这些和其它特征。

附图说明

为了更透彻地理解本发明，现参阅结合附图和具体实施方式而描述的以下简要说明，其中的相同参考标号表示相同部分。

图1示出了包括SC和NC的示例性混合内容视频；

图2为用于编码和发送混合内容视频的网络的实施例的示意图；

图3为在网络中充当节点的NE的实施例的示意图；

图4为编码和发送混合内容视频的方法的实施例的流程图；

图5为将混合内容视频按多个专用子流进行编码和发送的方法的实施例的流程图；

图6为解码混合内容视频的方法的实施例的流程图；

图7为量化参数(quantization parameter，QP)管理的方法的实施例的示意图；

图8示出了包括SC和NC的另一种示例性混合内容视频；

图9为与混合内容视频相关联的示例性分区信息的示意图；

图10示出了包括SC的SC分割图像的实施例；

图11示出了包括NC的NC分割图像的实施例。

具体实施方式

首先应理解，尽管下文提供一项或多项实施例的说明性实施例，但所公开的系统和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本发明决不应限于下文所说明的说明性实施例、附图和技术，包括本文所说明并描述的示例性设计和实施例，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。

下面的本发明使用了多个术语，在实施例中，这些术语解释如下：片：帧中独立编码/解码的空间不同的区域；片头：用于发送与特定片相关联的信息的数据结构；编码区块：帧中独立编码/解码的不同空间的矩形区域，形成划分整个图像的这种区域的网格的一部分；块：样本的MxN(M列乘以N行)阵列或变换系数的MxN阵列；最大编码单元(largestcoding unit，LCU)网格——用于将像素块划分为用于视频编码的宏块的网格结构；编码单元(coding unit，CU)：亮度样本编码块、具有三个样本阵列的图像的两个对应的色度样本编码块，或黑白图像或使用三个单独色彩平面和语法结构进行编码的图像的样本编码块，其中色彩平面和语法结构用于对样本进行编码；图像参数集(picture parameter set，PPS)：包含适用于零个或多个整体编码后的图像的语法元素的语法结构，由在每个片断头部中发现的语法元素确定。序列参数集(Sequence Parameter Set，SPS)：包含适用于零个或多个整体编码后的视频序列的语法元素的语法结构，由在PPS中发现的语法元素的内容确定，PPS由在每个片断头部中发现的语法元素引用；预测单元(prediction unit，PU)：亮度样本预测块、具有三个色度样本阵列的图像的两个对应预测块，或黑白图像或使用三个单独的色彩平面和语法结构进行编码的图像的样本预测块，其中色彩平面和语法结构用于对预测块样本进行预测；补充增强信息(supplemental enhancement information，SEI)：可插入到视频比特流中以增强视频的使用的额外信息；亮度：指示图像样本的明亮度的信息；色度：指示图像样本的颜色的信息，其可用红色差色度分量(red difference chromacomponent，Cr)和蓝色差色度分量(blue difference chroma component，Cb)来描述；QP：包括指示样本的量化的信息的参数，其中，量化表示将一系列值压缩为单个值。

发生混合内容视频的一个可能场景是：应用在远端服务器上运行，要向本地用户工作站转发显示输出。另外一个示例性场景是：将智能手机或平板电脑屏幕复制到电视设备的屏幕，以允许用户在比移动设备屏幕更大的屏幕上观看电影。这些场景需要高效传输SC，即应当在遵守现有传输系统给定的数据速率限制的同时能够呈现视觉质量足够好的SC信号。这个挑战的示例性方案为：使用视频编码技术来压缩SC，例如，通过使用像运动图像专家组(Moving Pictures Expert Group，MPEG)版本2(MPEG version two，MPEG-2)、MPEG版本4(MPEG version four，MPEG-4)、高级视频编码(Advanced Video Coding，AVC)、高效率视频编码(High Efficiency Video Coding，HEVC)等视频编码标准。开发HEVC的目的是压缩相机采集内容等NC，导致NC的压缩性能较好而SC的压缩性能较差。

值得注意的是，除了其它属性，NC和SC信号的特征在边缘锐度、不同颜色的数量等方面有显著差异。因此，一些SC编码(SC coding，SCC)方法可能在NC上表现不好，一些HEVC编码工具可能在SC上表现不好。例如，HEVC编码器要么呈现SC的效果非常差，编码失真严重，例如文本模糊和边缘模糊，要么以很高的比特率呈现SC视频，使得SC的呈现质量高。在使用SCC机制对整个帧进行编码的情况下，这种机制在SC上表现良好，但在描述NC信号时表现较差。这个挑战的一个解决方案是：如果序列/图像只包含SC或NC，则按序列和/或图像层级启用或禁用SCC工具和/或常规编码工具。然而，这种方法对包括自然和屏幕内容两者的混合内容不适用。

本文公开的是用于改善屏幕内容和混合内容编码以支持高效且质量稳定地显示混合视频内容的各种机制。将混合视频内容分区为NC区域和SC区域。使用NC专用编码工具对NC区域进行编码，使用SC专用编码工具对SC区域进行编码。此外，通过对不同区域采用不同的QP，可以以低于SC区域的分辨率对NC区域进行编码，便于减小文件大小而不会降低SC区域的质量。将分区信息和编码后的混合内容视频一起发送给客户端，使得客户端分别对每个区域进行解码。编码实体(例如服务器)也可指示客户端为每个区域启用/禁用编码工具，降低了在解码时的处理要求(例如，在不需要时可关闭不需要用的编码工具)。在替代实施例中，将每个区域(例如NC区域或SC区域)编码在视频流的不同比特流/子流中。然后，客户端可对每个比特流进行编码，并组合区域以创建NC和SC内容的合成图像。

图1示出了包括SC 120和NC 110的混合内容视频100的实施例。视频序列为组成视频流的时间部分的多个相关图像。图像还可指帧或图片。混合内容视频100示出了视频序列中的单个图像。SC 120为SC的示例，SC是作为计算机程序或应用的界面而生成的视觉输出。例如，SC可包括web浏览器窗口、文本编辑界面、邮件程序界面、图表、图等等。SC通常包括锐化边缘和相对少的通常选择用来对比的颜色。NC 110为NC的一个示例。NC是视频记录设备采集的视觉输出或生成的用来模拟采集的视频的计算机图形。例如，NC包括诸如体育比赛、电影、电视内容、网络视频等真实世界图像。NC还包括计算机图像影像(computer graphicsimagery，CGI)，用于模拟诸如视频比赛输出、基于CGI的电影等真实世界影像。因为NC显示或模拟真实世界图像，所以NC包括模糊边缘和相对较多的颜色，相邻颜色有细微改变。可看出的是，混合内容视频100，在视频100上普遍使用设计用于NC的编码工具会导致SC 120的性能较差。此外，在混合内容视频100上普遍使用设计用于SC的编码工具会导致NC 110的性能较差。应注意，如本文使用的术语编码工具包括用于对内容进行编码的编码工具和用于对内容进行解码的解码工具两者。

图2为网络200的实施例的示意图，网络200用于编码和发送混合内容视频，例如，混合内容视频100。网络200包括视频源221、服务器211和客户端201。视频源221生成NC和SC两者，并将它们转发给服务器211进行编码。在替代实施例中，视频源221可包括多个节点，这些节点可不直接连接。在另一替代实施例中，视频源221与服务器211可位于相同位置。例如，视频源221可包括：用于记录和流式传输实时视频的视频相机，以及用于流式传输与记录的视频相关联的演示幻灯片的计算机。作为另一实施例，视频源221可以是用于将附接显示器的内容转发给服务器211的计算机、手机、平板电脑等。不管在哪一个实施例，都会将SC内容和NC内容转发给服务器211进行编码并分发给客户端201。

服务器211可为用于如本文所述的混合视频内容的任何设备。作为非限制性示例，服务器211可位于如图2所示的云网络中，可作为专用服务器位于家庭/办公室中，或可包括视频源221。不管在哪一个实施例中，服务器211都会接收混合内容视频，将视频的帧和/或帧的子部分分区为一个或多个SC区域和一个或多个NC区域。服务器211通过对SC区域使用SC编码工具和对NC区域使用NC工具来分别对SC区域和NC区域进行编码。此外，可分别修改SC区域和NC区域的分辨率以优化视频的文件大小和分辨率质量。例如，在文件大小上，压缩NC比压缩SC的效果好，因为NC视频通常比SC视频复杂的多。因此，可大幅度压缩NC视频而不大幅度压缩SC视频，这可减少文件大小而不过分降低SC视频的质量。服务器211用于向客户端201传输编码后的混合视频内容。在一项实施例中，视频内容可作为帧的比特流传输，每个帧包括SC编码区域和NC编码区域。在另一项实施例中，将SC区域编码在SC子流中，将NC区域编码在NC子流中。然后，将子流传输给客户端201以组合成合成图像。在任一实施例中，服务器211用于向客户端201传输数据以帮助客户端201对混合视频内容进行解码。传输给客户端201的数据包括指示每个SC和NC区域的边界的分区信息。该数据还可包括每个区域要启用或禁用的编码工具的隐式或显式指示。该数据还可包括每个区域的QP，其中，QP描述每个区域的压缩。

客户端201可是用于接收和解码混合内容视频的任何设备。客户端201还可用于显示解码后的内容。例如，客户端201可是连接到电视的机顶盒、计算机、手机、平板电脑等。客户端201接收编码后的混合视频内容，基于从服务器接收到的数据(例如，分区信息、编码工具信息、QP等)对混合视频内容进行解码，并转发解码后的混合视频内容以向终端用户显示。根据实施例，客户端201基于分区信息对每个帧的每个区域进行解码，或基于分区信息对各个子流进行解码并将来自各个子流的区域组成合成图像。

通过将混合内容视频分区为SC区域和NC区域，可以通过给关联区域使用最合适的机制来单独对各个区域进行编码。这种分区解决了同一图像中的NC区域和SC区域的图像处理要求不同的问题。分区和单独处理每个区域缓解了对使用非常复杂的编码系统来同时处理NC和SC图像数据的需求。存在多种机制来划分区域、传输分区数据、启用/禁用编码工具，指示量化和向客户端201转发编码后的混合视频内容，这在下文中有更详细的论述。

图3是NE 300的实施例的示意图，NE 300在网络中作为节点，诸如服务器211、客户端201和/或视频源221，并用于对混合内容视频100等混合内容视频进行编码和/或解码。NE300可在单个节点中实现，或者NE 300的功能可在网络中的多个节点实现。本领域技术人员将认识到，术语NE包括各种设备，其中NE 300仅仅是一个示例。包括NE 300是为了论述清楚，而绝非意在将本发明的应用限制为特定NE实施例或一类NE实施例。至少一些在本发明中描述的特征/方法可在NE 300等网络装置或组件中实现。例如，本发明中的特征/方法可使用硬件、固件和/或安装以在硬件上运行的软件来实现。NE 300可为通过网络传送的帧的任何设备，例如交换机、路由器、网桥、服务器、客户端、视频采集设备等。如图3所示，NE 300可以包括收发器(Tx/Rx)310，其可以是发射器、接收器或它们的组合。Tx/Rx 310可耦合到多个下行端口320(例如，下行接口)以传输和/或接收来自其它节点的帧，并且Tx/Rx 310可耦合到多个上行端口350(例如，上行接口)以传输和/或接收来自其它节点的帧。处理器330可耦合到Tx/Rx310以处理帧和/或确定向哪些节点发送帧。处理器330可包括一个或多个多核处理器和/或存储设备332，其可充当数据存储、缓冲区等。处理器330可实现为通用处理器，或可为一个或多个专用集成电路(application specific integrated circuit，ASIC)和/或数字信号处理器(digital signal processor，DSP)的一部分。处理器330可包括混合内容编码模块334，其可根据实施例执行方法400、500、600和/或700。在一项实施例中，混合内容编码模块334对SC和NC区域进行分区，基于分区对混合内容视频进行编码，将分区信息、编码工具信息、量化信息和/或编码后的视频发送给客户端。在另一项实施例中，混合内容编码模块334基于分区和从服务器接收到的相关信息接收和解码混合视频内容。在一项替代实施例中，混合内容编码模块334可实现为存储在存储器332的指令，例如，其可作为计算机程序产品由处理器330来执行。在另一替代实施例中，混合内容编码模块334可在单独的NE上实现。下行端口320和/或上行端口350可包含电和/或光传输和/或接收部件。

可理解，通过将可执行指令编程和/或加载到NE 300中，处理器330、混合内容编码模块334、下行端口320、Tx/Rx 310、存储器332和/或上行端口350中的至少一个会发生改变，将NE 300部分转换为具有本发明所提出的新颖功能的特定机器或装置，例如，多核转发架构。对电子工程和软件工程领域来说，通过将可执行软件加载到计算机而可实现的功能可通过公知的设计规则转换为硬件实现是基本的。决定使用软件还是硬件来实施一个概念通常取决于设计稳定性及要生产的单元数量而不是取决于软件领域转换至硬件领域中所涉及的任何问题。通常，还会经常变化的设计可优选在软件中实现，因为硬件实现的重制比软件设计的重制更昂贵。通常，稳定的及会大量生产的设计可优选在在ASIC这样的中硬件中实现，因为通过硬件实现大量生产要比软件实现便宜。设计可能经常以软件形式进行开发与测试，随后通过该领域熟知的设计规则转换为对软件的指令进行硬连线的专用集成电路中的等效硬件实现。由新的ASIC控制的机器是特定机器或装置，同样地，编程过的电脑和/或加载了可执行指令的计算机也可视为特定机器或装置。

图4是编码和传输混合内容视频100等混合内容视频的方法400的实施例的流程图。方法400可由服务器211和/或NE 300等网络设备来实现，并可开始于从接收要编码为混合内容视频的视频内容。例如，在步骤401中，从视频源221接收包括NC和SC的混合内容视频信号。在步骤403中，将视频分区为NC区域和SC区域。可基于从NC视频图像的视频信号源接收到的数据和/或基于从创建SC图像的处理器接收到的数据作出分区决定，这些数据指示NC和SC在帧内的位置。在替代实施例中，方法400在分区前可检查帧以确定SC和NC位置。

可以使用多个机制来对NC区域和SC区域进行分区。例如，可将区域分区成方形区域或矩形区域。在一项实施例中，使用像素坐标来描述分区的边界。作为示例，坐标可通过NC区域、SC区域或两者的左上角和右下角位置的水平和垂直分量来表示。在其它示例中，坐标通过NC区域、SC区域或两者的左下角和右上角位置的水平和垂直分量来表示。在另一项实施例中，每个图像被量化为网格，其中两个点之间的最小距离大于完整像素距离，诸如对应于HEVC宏块的LCU网格或用于预测性编码的CU网格。然后使用网格坐标来描述分区的边界。坐标可通过NC区域、SC区域或两者的左上角和右下角位置的水平和垂直分量来表示。作为其它示例，坐标也可通过NC区域、SC区域或两者的左下角和右上角位置的水平和垂直分量来表示不同的分区可能性由信令开销与区域边界的精度之间的平衡点决定。如果使用了准确的坐标来描述区域的大小，则可在图像中SC结束以及NC开始的位置准确地设置分区的边界。但是，考虑到编码工具可能按块操作，所以分区可应用于使分区边界与相关编码工具使用的块大小相匹配。如果区域的边界仅可在一个较大的网格上表示，例如为LCU或CU大小的几倍，那么SC区域在区域边界处可包含NC的一些行和/或列，反之亦然。另一方面，网格较大会引入更少的信令开销。

作为另一示例，可将这些区域分区为任意形状的区域。如果区域具有任意的形状，那么它们可更好地适应帧的内容。然而，任意形状作为语法元素的描述比矩形或正方形形状的区域需要更多的数据。在采用任意形状的区域时，可以将这些区域映射到正方形或矩形网格。这种映射可支持使用基于块的编码工具。如果NC和/或SC区域在诸如LCU网格等网格上表示，那么，当LCU的某些子CU属于SC区域而同一LCU的其它子CU属于NC区域时，也可应用这一映射过程。例如，当块的至少一个样本包括NC时、当块的所有样本都包括NC时，或当块中NC样本与SC样本的比率比超过预定阈值(例如百分之七十五，百分之五十，百分之二十五等)时，块可理解为被映射的NC区域的一部分。在其它示例中，当块的至少一个样本包含SC时、当块的所有样本都包括SC时，或当在块中SC样本与NC样本的比率超过预定阈值(例如百分之七十五，百分之五十，百分之二十五，等)时，块可理解为被映射的SC区域的一部分。此外，可使用小型块，例如4×4块，和/或细的基于非像素的网格，以更好地适应区域边界，以便减少不正确地映射到NC或SC区域的样本的数目。

分区还可跨越多个帧使用。例如，分区可在序列的编码开始时创建，并对整个序列保持有效而不改变。分区还可在序列的编码开始时创建并保持有效，直到需要新分区，例如，由于事件(例如，调整混合视频内容的窗口大小)、时间到期和/或在编码完预定数量的帧后。分区实施例的实施是基于效率与复杂度之间的平衡。最有效的分区方案可能涉及在同一时间将每个整帧分区。将分区限制在每个帧的小区域可允许提升编码并行化。

在步骤405中，基于分区使用NC工具对NC区域进行编码。在步骤407中，基于分区使用SC工具对SC区域进行编码。有些NC工具可能对SC区域无益，有些SC工具可能对NC区域无益。因此，基于不同编码工具分别对NC区域和SC区域进行编码。此外，大多数SC区域可以非常有效地进行编码，但描述NC区域需要的比特率可能要高得多。为了符合相关传输或存储系统的数据速率要求，可能需要减少混合视频内容比特流的数据速率。考虑到人在SC和NC编码误差的认知上的视觉感知系统的特性，在编码期间降低数据速率可分别应用于NC和SC区域。例如，微小的质量下降在SC区域可能感知得到，但在NC区域却感知不到。因此，可通过对不同区域使用不同质量的表示来对图像的NC和SC区域进行编码。在一项实施例中，NC和SC区域可使用不同的QP。作为一个具体示例，NC区域使用的QP可比SC区域的高，导致NC区域的量化比SC区域的粗糙。由于NC区域中的大量颜色和阴影，NC区域可负责混合内容视频的总数据速率的主要部分。这样，NC区域使用较高的QP而SC区域使用较低的QP可显著降低混合内容视频的总数据速率，同时保持SC区域中的高视觉质量和NC区域中的合理的高感知视觉质量。还可应用其它机制来实现NC和SC区域的不同质量的表示。例如，每个NC和/或SC区域可使用不同的QP值，而不是所有NC区域使用一个QP值，所有SC区域使用一个QP值。此外，SC和/或NC区域的每个色度分量可使用不同的QP偏移。

在步骤409中，将编码后的混合内容视频、分区信息、编码工具信息和量化信息传输给客户端以进行解码。存在用于发送分区信息的多个实施例。例如，SC区域分区、NC区域分区或两者可作为比特流的一部分与编码后的混合视频内容一起传输。对于每个图片/图像、序列的每个片、序列的每个编码区块、序列的每个块(例如，每个LCU或CU)和/或每个任意形状的区域，无论何时分区发生变化，分区信息都可在序列的开始处发送。一旦确定了SC区域和NC区域，它们就可作为编码后的混合内容视频比特流的一部分发送。在各种实施例中，分区信息、编码工具信息和/或量化信息可作为视频图像参数集(picture parameterset，PPS)、序列参数集(sequence parameter set，SPS)、片头、CU层信息、预测单元(prediction unit，PU)层信息、编码树单元(coding tree unit，TU)层信息的一部分发送和/或在补充增强信息(supplemental enhancement information，SEI)消息中发送。还可使用其它分区形式，例如通过角位置与区域的宽度和高度一起指定NC和/或SC的角。使用前一图像的NC和/或SC区域来预测后续图像的NC和/或SC区域可减少信令开销。例如，所有的NC和/或SC区域可从先前的图像复制；可显式地发送一些NC和/或SC区域，同时从先前的图像复制一些NC和/或SC区域；或可发送前一图像的NC和/或SC区域与当前图像的NC和/或SC区域之间的相对变化(例如，当NC和/或SC区域的位置和/或大小发生变化)。

在一些实施例中，客户端可基于分区信息隐式地确定使用哪些编码工具(例如，用于SC区域的SC工具和用于NC区域的NC工具)。在另一项实施例中，使用编码工具信息的信令来在客户端禁用和/或启用NC区域和/或SC区域的编码工具。在某些情况下，启用或禁用编码工具的决定可不仅仅基于图像的样本是属于NC区域还是SC区域这一判定。例如，当NC和/或SC区域是任意形状时，启用/禁用编码工具的信令可有益。当应用于任意形状的区域时，基于块的编码工具可应用于区域边界的两侧，使得工具为NC和SC所用。客户端可能没有足够的信息来确定区域是使用SC编码工具还是NC编码工具。因此，区域要启用/禁用的编码工具可由客户端显式地发送或隐式地确定。然后，客户端可基于编码工具信息和/或基于分区信息来启用或禁用区域的编码工具。作为另一示例，当禁用了图像的特定区域的特定编码工具时，降低了编码步骤405和/或407处的复杂度。降低编码步骤的复杂度可降低成本、功耗和延迟，有益于编码器(例如服务器)的其它属性。例如，可通过限制不利于特定SC和/或NC区域的特定内容的模式决策过程和速率失真优化来降低编码复杂度，这可能需要信令。此外，一些模式决策过程和速率失真优化可能从来都不利于特定类型的内容，并且可隐式地确定或可发送。例如，可禁用所有SC区域的变换编码方法并可禁用所有NC区域的调色板编码方法。作为另一个示例，可向NC区域和/或SC区域发送不同的色度采样格式。

还可采用与发送分区信息和/或编码工具信息大体上类似的方式来向客户端发送量化信息。例如，NC和/或SC区域的不同QP值可隐式地推断或作为混合内容视频比特流的一部分发送。SC和/或NC区域的QP值可作为PPS、SPS、片头、CU层信息、PU层信息、TU层信息的一部分发送和/或作为SEI消息发送。

通过传输如本文所述的编码后的混合内容视频、分区信息、编码工具信息和量化信息，方法400可在编码时分别处理每个SC区域和NC区域，以创建高效编码后的混合视频内容比特流，该混合视频内容比特流可由客户端设备进行解码。

应注意，描述方法400的步骤是为了简化论述。然而，应理解，可以在连续的循环中执行方法400来对作为视频序列一部分的多个图像进行编码。此外，方法400的步骤可以不按顺序执行，取决于实施例。例如，为了帧的精细分区，步骤403可在一个循环中多次执行；当对多个帧采用分区时，步骤403可在多个循环中执行一次。此外，步骤405和407可按顺序执行或并行执行。此外，传输步骤409可在所有的编码完成后开始或与方法400的其它步骤并行开始，这取决于实施例。因此，图4所描述的方法400的顺序应视为说明性的而非限制性的。

图5是在多个专用子流中编码和发送混合内容视频100等混合内容视频的方法500的实施例的流程图。方法500可由服务器211等服务器使用，并且与方法400基本上类似(因此在相似的条件下实现)，但混合内容视频图像的每个区域使用了专用的比特流。这种比特流在本文中称为子流。在步骤501中，采用与步骤401基本上类似的方式来接收混合内容视频。在步骤503中，将视频图像分区为包含NC区域的NC图像和包含SC区域的SC图像。例如，采用与步骤403基本上类似的方式将每个图像分区为NC区域和SC区域。每个NC区域分割为NC图像，每个SC区域分割为SC图像。在步骤505中，使用NC编码工具将NC图像编码为一个或多个NC子流。在步骤507中，使用SC编码工具将SC图像编码为一个或多个SC子流。在步骤509中，将NC子流和SC子流传输给客户端，例如客户端201，以采用与步骤409类似的方式将子流和子流的分区信息、编码工具信息和量化信息一起进行解码。

与方法400一样，方法500可部署在多个实施例中。例如，单个NC子流可用于所有NC区域，而单个SC子流可用于所有SC区域。另外，可将NC区域和/或SC区域中的每一个进一步细分，使得每个子区域被分配给单独的子流。此外，例如通过基于量化、使用的编码工具等将这些子区域分组，某些子区域可在子流中组合，而其它子区域被分配给专用的子流。通过将每个混合内容图像分割为多个图像，每个分割后的图像可分别编码，然后发送到客户端，以组合成合成图像。

在一项实施例中，在步骤505和/或507中，可对每个子流进行编码，以具有不同的分辨率。例如，子流的分辨率可分别对应于相应的NC和SC区域的大小。可使用子流和/或掩码的分辨率来定义子流应如何在解码器处合成以产生输出。在步骤509中，可例如通过使用MPEG-4场景的二进制格式(MPEG-4Binary Format for Scenes，BIFS)和/或MPEG轻量级应用场景表示(MPEG Lightweight Application Scene Representation，LASeR)等协议将分辨率和/或掩码作为分区信息来传输。在另一项实施例中，所有的子流可采用相同的分辨率，这可使子流在客户端/解码器处的组合更容易。在这种情况下，可通过应用指示哪些区域应从哪个子流中提取的掩码来组合子流。区域提取后可进行区域的合成以得到最终图像。

在将多个区域编码为多个子流的实施例中，某些区域可能不是一直包括图像内容，例如，当在混合内容视频序列期间调整窗口大小、关闭窗口时。在这种情况下，相关的子流可能不是一直携带图像数据。为了确保适当的解码，可分配和/或发送定义的值/默认值来帮助解码器将子流组合成正确的合成图像。例如，当子流不包括映射内容时，在步骤505和/或507中，可给相关样本分配固定值(例如0)，其可代表统一的颜色(例如绿色)。在解码期间，可使用固定值/颜色作为掩码信息。

作为另一项实施例，在编码步骤505和/或507期间，可将具有映射内容的区域扩展到无映射内容的区域。例如，当子流中区域的大小和/或位置未与相关联的编码系统的CU或块网格对齐的时候，可采用这一实施例。因此，为便于解码，这些区域可以扩展到相关联的网格。此外，当内容区域是非矩形的，可将内容区域扩展为矩形形状的区域。扩展可涉及复制有映射内容的区域的边缘样本和/或基于有映射内容区域的样本的插值。还可使用定向扩张方法。例如，可应用HEVC帧内预测方法来将具有映射内容的区域扩展到没有映射内容的区域。

应注意，NC区域可包括先前编码的内容，如已通过其它视频编码标准压缩的已接收内容。例如，NC区域的第一部分可包括第一软件窗口中的压缩视频，而压缩图像(例如，联合图像专家组(Photographic Experts Group，JPEG))可以第二窗口中显示。对先前已编码的内容进行再编码可能会导致负效率以及数据丢失增加。因此，包含先前已编码材料的区域可将原始压缩比特流用于与这些区域相关联的子流。

图6是对混合内容视频100等混合内容视频进行解码的方法600的实施例的流程图。方法600可由客户端201等客户端使用，并且在(例从如服务器211)接收到编码后的混合内容视频时开始。在步骤601中，从例如服务器211接收编码后的混合内容视频、分区信息、编码工具信息和/或量化信息作为步骤409或509的结果。在步骤603中，基于分区信息指示的边界通过使用编码工具信息指示的SC编码工具以及基于SC区域的量化信息对SC区域进行解码。例如，可通过在步骤601中接收的分区信息确定每个区域的位置和大小。可通过显式编码工具信息确定或基于分区信息隐式地确定要启用和/或禁用的编码工具。然后，可基于SC区域的位置/大小(例如，分区边界)以及基于在步骤601中接收到的任何量化/QP值通过将所确定/发送的编码工具应用于SC区域来对SC区域进行解码。在步骤605中，基于分区信息指示的边界通过使用编码工具信息指示的NC编码(NC coding，NCC)工具以及基于NC区域的量化信息，采用与步骤603基本上类似的方式对NC区域进行解码。在SC区域和NC区域在多个专用子流中接收的实施例中，步骤603和605还包括：基于分区信息将每个图像的解码后区域组合成合成图像。在步骤607中，向显示器转发解码后的混合视频内容。与方法400和500一样，方法600的步骤可不按顺序执行和/或根据需要并行执行来对所接收的视频进行解码。

为了进一步阐明方法400、500和600中的分区信息信令、编码工具信令和/或量化信令，应注意，例如，基于解码器处的信令、信号分析等，解码器(例如，客户端201)可知晓信号中的不同内容类型(例如，NC和/或SC)和图像中NC和/或SC区域的位置。要在解码器处启用/禁用的编码工具是基于显式信令或隐式地基于指示SC区域和NC区域的分区信息。当编码工具被禁用时，解码器可能不会在与相关联的比特流和/或子流中得到与被禁用的编码工具相关联的语法元素。例如，解码器可能会禁用SC区域内的块的变换编码。具体地，transform_skip_flag[x0][y0][cIdx]可能不会存在于相关联的比特流中，但对区域内的一些或所有颜色分量来说，可由解码器推断为1。阵列索引x0，y0指定考虑的变换块的左上角亮度样本相对于图像的左上角亮度样本的位置(x0，y0)。阵列索引cIdx指定颜色分量的指标，例如，对于亮度等于0，对于Cb等于1，对于Cr等于2。解码器还可使用与NC和SC区域相关联的不同色度采样格式。色度采样格式使用符号J：a：b，其中J指示采样区域(例如，在像素、网格坐标中等等)的宽度，a指示采样区域的第一行中色度样本的数目，b指示J的第一行和J的第二行之间的色度样本的变化次数。4：2：0采样格式可足以满足人类视觉感知系统对NC的需求和能力，而4：4：4采样格式可用于SC。在一项实施例中，4：4：4采样格式可用于图像的SC区域，4：2：0采样格式可用于图像的NC区域。色度采样格式可由解码器基于分区信息隐式地确定，或者可作为一种编码工具信息来接收。这种色度采样格式信息可作为PPS、SPS、片头、CU层信息、PU层信息、TU层信息的一部分发送和/或在SEI消息中发送。

图7是QP管理方法的实施例的示意图700，其可与方法400、500和/或600一起使用。如上所述，对于NC和/或SC区域，可发送不同的QP值作为量化信息。解码器可从左到右(或反之)以及从上到下(或反之)对图像进行解码。因为SC区域可包围NC区域(或反之)，所以客户端201等解码器在区域间移动时可能需要反复改变QP值。例如，在步骤603和605中，在区域之间移动时，可通过重新建立先前使用的QP值来改进解码。图700包含内容711(例如NC内容)和内容713(例如SC内容)。内容711和713需要不同的QP值以进行适当的解码。解码时，解码器可首先对前一区域701进行解码，接着是当前区域703，然后是下一区域705。一旦完成对前一区域701的解码，可存储前一区域701的QP值作为下一区域705的QP值的预测值，因为区域701和705都包括同一内容区域中的内容713。然后，在当前区域的解码期间，可使用当前区域703的QP值。在当前区域703完成时，解码器可重新建立在前一量化组/内容区域(按解码顺序)中使用的最后一个QP值(例如，前一区域701的)作为下一个量化组/内容区域(按解码顺序)中的QP值的预测值。此外，还可在对下一区域705进行解码之前存储当前区域703的QP值，这可允许在解码器返回到内容711时重新建立当前区域703的QP值。通过重新建立内容区域之间的QP值，解码器在内容区域之间移动时可在QP值之间进行切换。

如上文所述，可使用多个机制来发送和/或推断分区信息和量化信息。本文公开了可用于发送这类信息的具体示例性实施例。表1描述了可用于通过由D.Flynn等人起草的HEVC范围扩展文本规范：草案6(HEVC Range Extensions text specification:draft 6)在片头中发送与NC区域相关的分区信息的具体源代码，该规范以引入的方式并入本文本中。

表1

如表1所示，nc_areas_enabled_flag可设置为等于1指为片启用了发送NC区域，nc_areas_enabled_flag可设置为等于0，指没有为片发送NC区域。number_nc_areas_minus1加1可指为片发送的NC区域的数目。nc_area_left_list_entry[i]可指第i个NC区域的左上角像素的水平位置。nc_areas_top_list_entry[i]可指第i个NC区域的左上角像素的垂直位置。nc_area_width_list_entry[i]可指第i个NC区域的宽度。nc_area_height_list_entry[i]可指第i个NC区域的高度。

表2描述了可用于通过HEVC范围扩展文本规范：草案6(HEVC Range Extensionstext specification:draft 6)在片头发送与SC区域相关的分区信息的具体源代码。

表2

如表2所示，sc_areas_enabled_flag可设置为等于1，指为片启用了发送SC区域。sc_areas_enabled_flag可设置为等于0，指没有为片发送SC区域。number_sc_areas_minus1加1可指为片发送的SC区域的数目。sc_area_left_list_entry[i]可指第i个SC区域的左上角像素的水平位置。sc_areas_top_list_entry[i]可定第i个SC区域的左上角像素的垂直位置。sc_area_width_list_entry[i]可指第i个SC区域的宽度。sc_area_height_list_entry[i]可指第i个SC区域的高度。

表3描述了可用于通过HEVC范围扩展文本规范：草案6(HEVC Range Extensionstext specification:draft 6)将与NC/SC区域相关的分区信息作为CU语法的一部分来发送的具体源代码。

表3

如表3所示，cu_nc_area_flag可设置为等于1，指当前CU属于NC区域。cu_nc_area_flag可设置为等于0，指当前CU属于SC区域。

表4描述了可用于通过HEVC范围扩展文本规范：草案6(HEVC Range Extensionstext specification:draft 6)将与NC/SC区域相关的QP信息作为PPS的一部分来发送的具体源代码。

表4

如表4所示，pps_nc_qp_offset可指定用于推导NC区域的量化参数的偏移值。片的初始NC区域QP值SliceNcQpY按如下推导：SliceNcQpY＝26+init_qp_minus26+slice_qp_delta+pps_nc_qp_offset。也可使用类似的过程来指定SC片的QP值。

表5描述了可结合HEVC范围扩展文本规范：草案6(HEVC Range Extensions textspecification:draft 6)使用的量化参数的推导过程。

表5

应注意，在表1至表5中使用了具体的参数/功能，为了清楚和简洁起见，其中一些参数/功能在此不再重复。不过，这类参数/功能在HEVC范围扩展文本规范：草案6(HEVCRange Extensions text specification:draft 6)中有进一步论述。

图8示出了包括SC 820和NC 810的另一示例性混合内容视频800。混合内容视频800可基本上类似于混合视频内容100，是作为可通过使用本文所述的机制根据方法400、500和/或600进行编码/解码的视频图像的具体示例而示出。例如，混合内容视频800可在步骤401或501中接收，并在步骤403或503中分区。SC 820和NC 810可基本上类似于SC 120和NC 110。

图9为与混合内容视频800相关联的分区信息900的示意图。在分区后，混合内容视频800包括NC区域910和SC区域920。如图8至图9所示，NC区域910是准确描述NC 810的多边形非矩形区域，SC区域920是准确描述的SC 820的多边形非矩形区域。可认为NC区域910和SC区域920是任意的。因此，如上所述，区域910和920可被编码为任意区域、映射到网格和/或细分为额外的子区域(例如，多个矩形区域)。例如，在步骤409和/或509中，向客户端(例如，客户端201)发送包括NC区域910和SC区域920的分区信息900以支持解码，在步骤601中，客户端接收分区信息900。基于分区信息900，客户端可以对混合内容视频800进行解码。

图10示出了包括SC 1020的SC分割图像1000的实施例，SC 1020可为基于分区信息900的SC区域920的混合视频内容800的SC 820等。SC分割图像1000可通过步骤503和507创建。SC分割图像1000仅包括编码后的SC 820，而NC 810替换为掩码1010，掩码1010可包括固定值(例如0)、固定颜色(例如绿色)或其它掩码数据。因此，将掩码1010应用于SC以外的NC，以允许将SC编码到SC分割图像1000中。一旦被编码，可在SC子流中将SC分割图像1000传输给解码器(例如，客户端201)。

图11示出了包括NC 1110的NC分割图像1100的实施例，NC 1110可为基于分区信息900的NC区域910的混合视频内容800的NC 810等。SC分割图像可通过步骤503和505创建。SC分割图像1000仅包括编码后的NC 810，而SC 810替换为掩码1120，掩码1120可包括固定值(例如0)、固定颜色(例如绿色)或其它掩码数据。因此，将掩码1120应用于NC以外的SC，以允许将NC编码到NC分割图像1100中。一旦被编码，可在NC子流中将NC分割图像1100传输给解码器(例如，客户端201)。应注意，掩码1010和1120可基本上类似或者可包括不同的固定值、颜色或掩码数据。在接收到SC分割图像1000、NC分割图像1100和分区信息900(例如，在步骤601中)后，解码器/客户端可对SC和NC区域进行解码，并将它们组合成相当于混合内容视频800的合成图像(例如，在步骤603和605中)。然后，在步骤607中，可将合成图像转发给显示器以便用户观看。

虽然本发明多个具体实施例，但应当理解，所公开的系统和方法也可通过其它多种具体形式体现，而不会脱离本发明的精神或范围。本发明的示例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。

此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其它变更、替换、更替示例对本领域技术人员而言是显而易见的，均不脱离此处公开的精神和范围。

Claims (24)

1.一种装置，其特征在于，包括：

处理器，用于：

获取包括图像的混合内容视频，所述图像包括计算机生成屏幕内容(screen content，SC)和自然内容(natural content，NC)；

将所述图像分区为SC区域和NC区域；以及

通过使用SC编码工具对所述SC区域进行编码和使用NC编码工具对所述NC区域进行编码来对所述图像进行编码；以及

与所述处理器连接的发射器，所述发射器用于向客户端设备传输数据，

其中，所述数据包括所述编码后的图像和所述图像的分区的边界指示。

2.根据权利要求1所述的装置，其特征在于，所述SC内容包括计算机应用生成的图像内容，所述NC内容包括图像记录设备采集的图像内容或图像记录设备采集的计算机生成图像内容的仿真图像内容。

3.根据权利要求1所述的装置，其特征在于，所述对所述图像进行编码包括应用量化参数(quantization parameter，QP)来减少传输所述图像所需的带宽，应用于第一图像的SC区域的SC QP值与应用于所述第一图像的NC区域的NC QP值不同。

4.根据权利要求3所述的装置，其特征在于，所述NC QP值大于所述SC QP值，使得所述NC区域的质量相比于所述SC区域的质量有所下降。

5.根据权利要求1所述的装置，其特征在于，每个图像包括一组子部分，以及传输每个图像中每个子部分的分区边界的指示。

6.根据权利要求1所述的装置，其特征在于，所述分区边界的指示指示了所述SC区域的大小和位置以及所述NC区域的大小和位置。

7.根据权利要求1所述的装置，其特征在于，所述分区边界的指示包括指示分区边界的像素坐标。

8.根据权利要求1所述的装置，其特征在于，所述图像通过量化为网格的坐标描述，所述分区边界的指示包括所述网格上的坐标，所述坐标指示所述分区边界。

9.根据权利要求1所述的装置，其特征在于，所述SC区域和NC区域中的至少一个包括非矩形形状，所述对所述图像进行分区包括：将所述非矩形形状映射到矩形网格，所述矩形网格描述包括所述非矩形形状的关联图像。

10.根据权利要求1所述的装置，其特征在于，所述图像中的至少一个包括子部分，所述子部分包括至少一个NC像素和至少一个SC像素，所述对所述图像进行分区包括：当NC内容像素与SC内容像素的比率超过预定阈值时，将所述子部分映射到NC区域。

11.根据权利要求1所述的装置，其特征在于，在图像参数集(picture parameter set，PPS)、序列参数集(sequence parameter set，SPS)、片头、编码单元(coding unit，CU)数据、预测单元(prediction unit，PU)数据、补充增强信息(supplemental enhancementinformation，SEI)消息或它们的组合中传输所述分区边界的指示。

12.根据权利要求1所述的装置，其特征在于，在所述图像的序列的开始处传输所述分区边界的指示，所述指示描述所述序列的分区边界。

13.根据权利要求12所述的装置，其特征在于，图像之间的分区边界会发生改变，所述数据包括描述相对于前一指示的变化的后续指示。

14.一种在客户端设备处对混合内容视频进行解码的方法，其特征在于，所述方法包括：

接收包括编码后混合内容视频的比特流，所述混合内容视频包括图像，其中，每个图像包括计算机生成屏幕内容(screen content，SC)和自然内容(natural content，NC)；

在所述比特流中接收包括所述SC内容的SC区域与包括所述NC内容的NC区域之间的分区的边界指示；

对所述分区边界界定的所述SC区域进行解码，其中，对所述SC区域进行解码包括使用SC编码工具；

对所述分区边界界定的所述NC区域进行解码，其中，对所述NC区域进行解码包括使用与所述SC编码工具不同的NC编码工具；以及

将所述解码后的SC区域和所述解码后的NC区域作为解码后的混合内容视频转发给显示器。

15.根据权利要求14所述的方法，其特征在于，还包括：在所述比特流中接收所述SC区域中要使用的所述SC编码工具的指示和在所述NC区域中要使用的所述NC编码工具的指示。

16.根据权利要求14所述的方法，其特征在于，还包括：在所述比特流中接收所述SC区域中要禁用的NC编码工具的指示和在所述NC区域中要禁用的SC编码工具的指示。

17.根据权利要求14所述的方法，其特征在于，基于所述分区边界隐式地选择所述SC编码工具和所述NC编码工具。

18.根据权利要求14所述的方法，其特征在于，对于所述SC区域，所述SC编码工具使用第一色度采样格式；对于所述NC区域，所述NC编码工具使用第二色度采样格式；所述第一色度采样格式不同于所述第二色度采样格式。

19.一种计算机程序产品，其特征在于，包括存储在非瞬时性计算机可读介质上的计算机可执行指令，从而当所述计算机可执行指令由处理器执行时，使网元(network element，NE)执行以下操作：

获取包括图像的混合内容视频，所述图像包括计算机生成屏幕内容(screen content，SC)和自然内容(natural content，NC)，将所述图像分区为包括SC的SC图像和包括NC的NC图像；

将所述SC图像编码为至少一个SC子流；

将所述NC图像编码为至少一个NC子流；以及

通过发射器将所述子流传输给客户端设备，以便重新组合成所述混合内容视频。

20.根据权利要求19所述的计算机程序产品，其特征在于，每个图像包括多个SC区域和多个NC区域，将每个区域的图像数据编码为不同的专用子流，所述区域的所述专用子流使用不同的图像分辨率。

21.根据权利要求19所述的计算机程序产品，其特征在于，所述将所述SC图像编码为SC子流还包括对所述SC以外的图像数据使用掩码。

22.根据权利要求19所述的计算机程序产品，其特征在于，所述将所述NC图像编码为NC子流还包括对所述NC以外的图像数据使用掩码。

23.根据权利要求19所述的计算机程序产品，其特征在于，所述将所述SC图像编码为子流还包括：在将所述SC图像编码为所述子流之前，将分区后的SC区域和相关内容扩展到预定大小。

24.根据权利要求19所述的计算机程序产品，其特征在于，所述将所述NC图像编码为子流还包括：在将所述NC图像编码为所述子流之前，将分区后的NC区域和相关内容扩展到预定大小。