CN104125501A - 用于处理视频数据的系统和方法 - Google Patents

Abstract

本发明公开了用于处理视频数据的系统和方法。该系统和方法处理具有第一分辨率视频帧的视频流，该第一分辨率视频帧包括多个第二分辨率视频帧。

Description

用于处理视频数据的系统和方法

相关申请的交叉引用

本申请是非临时申请并要求于2013年4月25日提交的题为“Systemand Method for Processing Video Data”的美国临时专利申请第61/815,860号的权益，通过引用将其全部内容结合于本文中。

技术领域

本公开内容一般涉及用于处理视频数据的系统和方法，且更具体地涉及用于处理包含嵌入在较高分辨率视频数据中的较低分辨率视频数据的视频数据的系统和方法。

背景技术

现代视频系统不断推高视频分辨率的界限。然而，却不能始终为现代视频系统提供具有与它们的最大支持分辨率等效的分辨率的视频。可能向系统多次提供低于最大支持分辨率的视频。在具有支持较高分辨率的视频格式的存储器和硬盘的情况下，当支持来自传统标准的较低分辨率视频流时，系统可能得不到有效地利用。

发明内容

根据本发明的一个方面，提供了一种用于视频处理的方法，所述方法包括：接收包含第一分辨率视频帧的第一视频流，所述第一分辨率视频帧中的至少一个被定义为包括多个第二分辨率视频帧；以及基于所述第一分辨率视频帧的所述第二分辨率视频帧产生第二视频流。

其中，所述第一分辨率视频帧具有第一帧速率以及多个所述第二分辨率视频帧具有第二帧速率。

其中，所述第二帧速率高于所述第一帧速率。

其中，所述第一分辨率和所述第二分辨率是位深度。

其中，多个所述第二分辨率视频帧包括：包含所述位深度的最高有效位的第一帧和包含所述位深度的最低有效位的第二帧。

其中，所述第一分辨率具有比所述第二分辨率高的分辨率。

进一步地，所述方法包括：在视频编解码器中接收所述第一分辨率帧。

进一步地，所述方法包括：从所述第一分辨率视频帧中裁剪多个所述第二分辨率视频帧。

进一步地，所述方法包括：从所述第二分辨率视频帧中产生第二分辨率视频流。

根据本发明的第二方面，提供了一种用于编码视频数据的系统，所述系统包括：存储单元；帧处理单元，可操作地耦接至所述存储单元，所述帧处理单元被配置为检索多个较低分辨率视频帧，将所述较低分辨率视频帧组合在较高分辨率视频帧中，以及将所述较高分辨率视频帧存储在所述存储单元中；编码器，可操作地耦接至所述存储单元，所述编码器包括被配置为将所述较高分辨率视频帧压缩在编码位流中的至少一个模块。

其中，所述较高分辨率视频帧定义比所述较低分辨率视频帧低的帧速率。

其中，所述多个较低分辨率视频帧的每个帧位于所述较高分辨率视频帧的区域。

其中，所述多个较低分辨率视频帧的每个帧包括三维视频帧的组件帧。

其中，所述多个较低分辨率视频帧的至少一个帧包括二维视频内容。

其中，所述多个较低分辨率视频帧的至少一个相应的帧包括三维深度层内容。

根据本发明的又一方面，提供了一种用于处理包括嵌入在高分辨率视频数据中的较低分辨率视频数据的视频数据的装置，所述装置包括：存储单元；处理器，可操作地耦接至所述存储单元，所述处理器包括被配置为以下的至少一个模块：将较高分辨率视频帧缓存在所述存储单元中；从所述较高分辨率视频帧中裁剪多个较低分辨率视频帧；渲染所述多个较低分辨率视频帧以产生较低分辨率视频流。

其中，所述较高分辨率视频帧包括四个较低分辨率视频帧。

其中，所述多个较低分辨率视频帧包括视频广播的多个相机角度。

其中，多个低清晰度视频帧的每个帧包括不同的节目。

其中，所述多个低清晰度视频帧包括多个视频流以及所述多个视频流的至少一个视频流包括用于特定用户的针对性营销内容。

附图说明

图1是具有包含具有第二分辨率的多个视频帧的第一分辨率的视频帧的示图；

图2是用于编码包含第二分辨率的多个视频帧的第一分辨率的视频帧的系统的框图；

图3是用于解码包含第二分辨率的多个视频帧的第一分辨率的视频帧的系统；

图4是显示用于图3所介绍的系统的多个操作模式的框图；

图5是用于解码包含第二分辨率的视频内容的第一分辨率的视频流的方法的流程图；

图6是包含第二分辨率的多个视频帧(包含三维内容)的第一分辨率的视频帧的示图；

图7是用于解码包含三维视频内容的视频流的系统的框图；

图8是用于解码包含三维视频内容的视频流的方法的流程图；

图9是包含具有增加的帧速率的多个视频帧的第一分辨率的视频帧的示图；以及

图10是用于解码包含具有增加的帧速率和第二分辨率的多个视频帧的第一分辨率的视频帧的系统；以及

图11是根据本公开内容的教导的具有第一位深度的视频帧的示图。

具体实施方式

参考图1，提供视频帧的示图。视频帧可以具有第一分辨率并且包含具有第二分辨率的多个视频帧。在该实施方式中，具有第一分辨率的视频帧可以定义较高分辨率视频帧102并且具有第二分辨率的视频帧可以定义较低分辨率视频帧104。较低分辨率视频帧104相组合可以形成组合的较高分辨率帧106。较高分辨率视频帧102可以包括3840x2160的像素分辨率，通常被称为4k x2k分辨率或Ultra HD分辨率。在一些实施方式中，较高分辨率视频帧的帧速率可以是例如120Hz。然而，应该理解，帧速率可以是任何其他视频帧速率(例如，60Hz、240Hz、480Hz等)。组合的较高分辨率帧106也可以包括3840x2160的总分辨率。组合的较高分辨率帧106可以进一步包括多个较低分辨率视频帧，诸如，1080p分辨率(即，每个具有1920x1080的像素分辨率)。

在该实例中，组合的较高分辨率帧106可以包括包含相应的视频内容的多个部分或段。在一个或多个实施方式中，对应于第一帧象限108、第二帧象限110、第三帧象限112、第四帧象限114。可以在帧象限108、110、112、114的每个中显示四个不同的节目(program)。此外，帧象限108、110、112、114的每个可以是1080p分辨率。

虽然在该实施方式中描述1080p和4k x2k的分辨率，根据本公开内容可以应用其他视频分辨率，例如720x480、1280x720、8k x4k以及其他标准的和非标准的视频分辨率。在一些实施方式中，多个帧可以包括位于组合的较高分辨率帧的多个区域中的任何数量的帧。例如，多个帧可以包括位于组合的较高分辨率帧中的对应数量的区域中的两个至十个帧。多个帧可以进一步改变单个组合的较高分辨率帧中的分辨率。例如，组合的较高分辨率帧可以包括三个1080p帧、一个1280x720帧和640x360帧。

如本文所使用的术语节目和视频内容可能是指多种形式的视频流、视频内容、相机角度、通过软件程序捕获的视频、计算机节目、三维视频内容、以及其他形式的视频。在该实施方式中，可以在组合的较高分辨率帧106中嵌入来自四个独立的视频流的帧。例如，在单个4k x2k视频流中可以同时传递四个1080p视频流。如本文讨论的术语较高分辨率和较低分辨率被用于比较第一分辨率和第二分辨率的相对分辨率，并且不应被视为限制本公开内容。一般而言，术语分辨率可以指视频帧的像素分辨率。然而，在至少一个实施方式中，分辨率可以指如下文所述的像素深度、位深度或颜色深度。

参考图2，根据本公开内容的教导示出用于编码具有第一分辨率的视频帧的系统202的框图。具有第一分辨率的视频帧可以进一步包括具有第二分辨率的多个视频帧。系统通常可以包括：帧处理器204、存储器206、视频帧编译器208和编码器210。贯穿本公开内容描述的在该系统202和其他系统中的存储器可以包括各种形式的存储器，例如，随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、以及被配置为存储数字信息的其他形式的存储器。

在该具体实施方式中，帧处理器204可被配置为检索单个的较低分辨率视频帧并且将每个视频帧缓存在存储器206(例如DRAM)。存储器206可具有足够的容量来存储对应于至少一个较高分辨率视频帧的多个缓存的视频帧。在该实施方式中，较低分辨率视频帧214a、214b、214c和214d可以是1080p视频帧并且较高分辨率视频帧212可以是4k x2k视频帧。视频帧编译器208可以检索单个的较低分辨率视频帧并且组合该帧以形成单个较高分辨率(例如，4k x2k)视频帧。一旦较高分辨率视频帧被编译，编码器可以检索每个较高分辨率视频帧。然后，编码器可以编码每个视频帧以以压缩形式创建高分辨率输出视频流。输出视频稍后被解码器处理并且压缩作为视频馈送(video feed)的一部分。

现在参考图1和2，编译器可以以各种排列和顺序聚合较低分辨率帧104。较低分辨率视频帧的特定排列以及每个帧的其他特征由编译器来收集并被编码器嵌入元数据。元数据通常可以包括识别组合的较高分辨率帧106中的较低分辨率帧104的存在和排列的信息。元数据可以进一步包括关于高和较低分辨率帧的其他特征信息，例如，分辨率、压缩数据、帧速率、颜色深度和可以将较低分辨率视频帧和较高分辨率视频帧联系起来的任何信息。术语元数据可以指各种形式的数据，例如标头信息、数据令牌、数据包以及可在视频流中接收的其他识别信息。

现在参考图3，根据本公开内容的教导示出用于解码具有第一分辨率的视频帧的系统。具有第一分辨率的视频帧可以进一步包括具有第二分辨率的多个视频帧。解码系统302通常可以包括：解码器304、存储单元306(例如，以DRAM形式)、视频缩放器308、视频合成器310。响应于输入视频流的接收，系统302可将高分辨率视频流的一个或多个视频帧缓存在存储单元306中。解码器304可以访问存储单元306中的帧的元数据以确定输入高分辨率视频流的特征。然后，解码器304可以解释对应于高分辨率视频流的一个或多个较高分辨率视频帧的元数据以确定关于每个较高分辨率视频帧的识别信息。识别信息可以指示输入高分辨率视频流包括常规的视频数据，例如，用于单个节目的视频数据的单个帧，或者在每个较高分辨率视频帧中嵌入多个较低分辨率视频帧。接着，整个解码系统可应用输入高分辨率视频流的特征以处理多个较低分辨率视频帧用于显示。

因为解码器304从视频流解压缩每个较高分辨率视频，所以可以将每个较高分辨率视频帧存储在存储单元306中。接着，视频馈送器312可以检索一个或多个较高分辨率视频帧并且将每个较高分辨率视频帧提供至视频缩放器308。视频缩放器308可以根据元数据、控制器或用户输入的指示裁剪和排列每个较低分辨率视频帧。经解压缩，作为120Hz的4k x2k视频帧接收的多个视频帧可以对应于120Hz的四个1080p视频流(例如，1080p节目)对应。

接着，可由帧捕获单元316捕获来自视频缩放器308的缩放的视频帧。帧捕获单元316可以捕获每个较低分辨率视频帧的缩放和位置用于以单个、较高分辨率视频帧显示。经帧捕获，可以将包括多个较低分辨率视频帧的组合的较高分辨率视频帧提供至视频合成器310。接着，视频合成器310可以以最终的视频格式组装每个帧以增加附加的渲染图形和增强。接着，可以将组合的较高分辨率视频帧的最终格式从合成器输出至显示单元。为了提供灵活的观看体验，系统302可以进一步提供用于被配置为改变观看模式的用户输入，如图4所示。

参考图4，根据本公开内容的教导示出图示可以作为经由解码系统302输出的视频模式的框图。在第一模式402中，视频缩放器可以检索四个较低分辨率视频帧。可由视频缩放器404裁剪和缩放每个较低分辨率视频帧。视频缩放器404允许较低分辨率视频帧以单个较高分辨率帧显示。接着，可由帧捕获单元406完成单个较高分辨率帧的帧捕获。可由合成器405和输出模块407处理每个节目以将其输出至显示屏幕408。可同时显示较低分辨率视频帧，如节目1、节目2、节目3和节目4所示或者所示的位置产生任何变化。在该第一模式402中，在高分辨率显示器408上同时示出四个独立的较低分辨率视频屏幕。在该实例中，每个单独的较低分辨率帧可以包括4kx2k高分辨率帧中所提供的1080p帧。

在第二模式410中，用户可能更喜欢在全屏幕上观看单个节目，例如节目1。用户可以请求激活该模式，使得在显示器412上全屏幕显示节目1。在该情况下，视频缩放器414可以裁剪和放大(upscale)节目1的每个帧。另外，帧捕获单元416可以捕获节目1的每个帧用于全屏幕显示。可由合成器415和输出模块417处理视频帧以将其全屏幕输出在显示器412上。接着，用户可以以传统的观看形式观看节目1。

通过检索和放大对应于节目2的单个帧可以类似于第二模式410支持第三模式418。接着，视频缩放器422可放大对应于节目2的单个视频帧。此外，帧捕获单元424可以捕获用于节目2的较高分辨率帧。可由合成器425和输出模块427处理视频帧。接着，节目2可以以放大的较高分辨率的格式显示在显示器420上。类似于模式410和418，其他模式也可以应用于第三节目和第四节目。其他实施方式可以进一步针对存储在单个较高分辨率视频帧中的多个较低分辨率视频帧提供，并且可以进一步合并408中所示的四个帧的子帧或者对应于可在单个较高分辨率视频帧中排列或传递的任何分辨率或多个分辨率的部分小数部分。例如，包括1080p、720p和480p(DVD分辨率)的分辨率的多个帧可以组合成单个、较大的1080p、4k x2k、或8k x4k视频帧。也可以应用与本公开内容一致的其他标准和非标准的视频分辨率。

本公开内容中的术语节目一般用于描述广泛的视频内容。在一些实施方式中，较低分辨率帧可包括可对应于现场广播或之前录制的广播的多个相机角度。例如，体育赛事的多个相机角度可以被显示为节目1、2、3和4。在另一个实施方式中，多个独立的视频内容可以被显示为节目1、2、3和4。针对节目的实施方式的其他实例进一步可包括：包括商业广告、视频集锦、天气报告、比分、信用的渲染视频内容或任何其他视频内容的至少一个节目。在包括多个相机视图的实施方式中，用户可以请求系统在全屏模式下在相机视图之间切换(见412和420)或同时显示相机角度408。

在又一个实施方式中，至少一个节目可以包括针对性视频流，该针对性视频流可包括针对特定观众的针对性市场营销内容。在该实施方式中，如408中所示，可以为一个或多个节目同时提供内容。另外，如框412和420所示，响应于在输入视频流中接收的元数据或用户全屏幕显示的请求，可以切换内容。节目的其他实例可以包括计算机软件视频内容和其他计算机应用相关内容。在这些实施方式中，显示优先级可以通过视频流中接收的元数据识别，也可以由用户偏好识别。元数据可以包括指示在用户可能返回到所选节目之前将显示的广告所需要的时期的规则。

参考图5，502提供用于解码视频流的方法的流程图。可以以第一分辨率编码和传输视频流。然而，根据本公开内容的教导，视频流可以包括具有第二分辨率的视频内容。图3的系统302可以进一步应用于以整个视频显示器中显示的高分辨率来显示视频内容。响应于输入视频流的内容，系统302还可以选择性地在每个单个较高分辨率视频帧中显示多个较低分辨率视频帧。因此，系统可以接收编码视频流(504)。响应于输入视频流的接收，输入视频流的视频帧可被缓存在存储器(诸如DRAM)中(506)。可由解码器检索视频帧(508)。解码器可以被配置为拆开对应于每个视频帧的元数据(510)。基于元数据，系统可以识别输入视频流是否包括嵌入的、较低分辨率视频帧(512)。

虽然本文的元数据是指对应于输入视频流的一个或多个帧的识别信息，但是元数据也可包括例如包含标头文件、标志的各种形式或者与或在视频流接收到的其他识别信息。元数据还可以由解释器、内部或外部的控制器、附加的处理器或被配置为识别输入视频流的特性的其他电路并行解释。接着，解码器可以将特性应用于解码并且显示输入视频流。在该实施方式中，元数据可以将输入视频流的每个帧指定为包含与常规视频(例如，在整个显示器上显示的单个视频流)类似的旨在显示的单个帧。

如果输入视频流包括单个帧，解码单个较高分辨率视频帧(514)并且将其存储在存储器中。然后，从存储器中检索较高分辨率视频(518)。根据需要缩放较高分辨率视频(520)。然后，捕获较高分辨率帧(524)。此外，例如由合成器接着组合内容(526)。然后，将较高分辨率视频提供至输出视频馈送(528)。

元数据还可以将单个帧指定为包含嵌入在较高分辨率视频帧的一部分中(例如，在不同的象限)的多个较低分辨率视频帧。如果确定已接收包括多个较低分辨率帧的视频帧，则解码包括较低分辨率视频帧的较高分辨率视频帧(536)并将其存储在存储器中。方法可以继续从存储器中检索每个较低分辨率视频帧(538)。然后，缩放和裁剪每个较高分辨率帧的较低分辨率帧(542)。然后，将较低分辨率帧捕获至最后视频帧(544)。接着用于显示的每个视频帧的捕获，可以由合成器增加附加的渲染内容(546)。合成器可以将嵌入在单个较高分辨率视频中的多个较低分辨率视频输出至显示器(528)。

现在参考图6，提供具有第一分辨率的视频帧的示图。第一分辨率视频帧可以具有第一分辨率格式。此外，具有第一视频格式的第一分辨率视频帧可以包括第二分辨率格式的多个视频帧。根据本公开内容的教导的多个视频帧可以包括三维内容。在该实施方式中，可以实施单个较高分辨率视频帧602来显示可以被组合以产生三维内容的多个较低分辨率帧。每个较低分辨率视频帧可以包括对应于单个较低分辨率三维视频帧的相应的视频数据。

较低分辨率视频帧可以包括视频层604。视频层604可以进一步包括两个二维(2D)视频帧组件606。此外，两个视频层604可以包括三维(3D)增强层视频组件608(增强层)。如所示，视频层604可包括均可被组合以产生单个3D视频帧的两个2D视频帧组件606和两个三维增强层组件608。更具体地，2D视频帧606可以包括左立体图像610和右立体图像612。3D增强层608可以包括左增强层深度图614和右增强层深度图616。可以组合每个较低分辨率层604以形成包括3D深度内容的单个较低分辨率视频帧。在一个实例中，较低分辨率可以是1080p以及较高分辨率可以是4kx2k；然而，可以根据本公开内容的教导应用其他分辨率。

现在参考图7，根据本公开内容的教导示出用于解码包括3D视频内容的视频流的系统的框图。与图3的系统类似，系统702可以在解码器704中接收输入高分辨率视频流。解码器704可以解码输入高分辨率视频流并且在存储器706中缓存来自高分辨率视频流的每个帧的多个视频帧。可以解释对应于多个视频帧的元数据以识别视频流的特性或特征。如果确定输入视频流包括对应于3D内容的视频层，视频馈送器708可以检索包括视频层710的较高分辨率帧。视频缩放器711可以裁剪、重新排列和缩放来自视频馈送器708的每个较低分辨率视频层。然后，3D渲染引擎712可以从组合的较低分辨率视频层710中捕获单个3D合成帧。视频馈送器708可以将3D合成帧作为输出3D视频流流出。视频馈送器708可以将视频流的速度控制在元数据中所识别的帧速率。在合成器716中可以将3D视频流与渲染图形组合用于显示器718。

在该实施方式中，在单个较高分辨率视频帧中提供四个视频层(710a、710b、710c、710d)。可以组合四个视频层以产生单个、较低分辨率3D视频帧。当连续产生时，较低分辨率3D视频帧可以形成较低分辨率3D视频流。本文公开的方法和系统可以在单个较高分辨率视频帧中组合各种较低分辨率视频内容。较低分辨率内容的实例可以包括各种视频内容、节目、增强层、互动营销信息和多个相机视图。

现在参考图8，根据本公开内容的教导示出用于解码包括3D视频内容的视频流的方法的流程图(802)。该方法可以通过接收编码高分辨率视频流进行初始化(804)。所述视频流的每个帧可被缓存在存储器中，例如DRAM(806)。一旦至少一个较高分辨率视频帧已经缓存存储器中，可以从存储器中检索较高分辨率视频帧(808)。然后，可以拆开元数据以识别接收的视频帧的特性(810)。从元数据中，解码器可以识别较高分辨率视频帧包括3D视频帧。然后，可以解码较高分辨率视频帧并且将其存储在存储器中(812)。在解码之后，视频馈送器可以从存储器中检索视频帧(814)。然后，视频缩放器可以缩放视频帧(816)。然后，可以在3D渲染引擎中组合视频帧以创建单个较低分辨率3D视频帧(818)。然后，例如可以在合成器中组合3D视频帧与附加的渲染图形(820)。可以将3D视频帧作为较低分辨率3D视频馈送输出至显示器(822)。

参考图9，根据本公开内容的教导提供视频帧的示图。视频帧具有第一分辨率并且可以设置在第一帧速率。第一分辨率的视频帧可以包括具有第二分辨率和第二帧速率的多个视频帧。在一个实施方式中，较高分辨率视频帧902具有嵌入其内的多个较低分辨率帧。较高分辨率视频帧902可以具有4k x2k的分辨率和60Hz的帧速率。多个较低分辨率视频帧904可以包括同一视频节目的四个连续的1080p帧，每个帧为240Hz帧速率。每个较低分辨率帧的帧速率可能比较高分辨率帧的帧速率大三倍，然而分辨率可能小三倍。

在该实施方式中，单个节目(记为节目1)可以具有四个连续的帧，第一帧906、第二帧908、第三帧910和第四帧912。通过将四个较低分辨率帧904存储在较高分辨率帧902中，包括较高分辨率视频帧的视频流可以被配置为传递具有为高分辨率视频流的帧速率四倍的较低分辨率视频馈送。在一些实施方式中，较高分辨率视频帧902可以是4kx2k的分辨率和较低分辨率视频帧904可以是1080p的分辨率。在其他实施方式中，每个较高分辨率帧和较低分辨率帧可以分别包括不同的高和低帧分辨率。较高分辨率帧的另一个实例可以是具有嵌入在8k帧内的十六个1080p帧的7,680x4,320像素帧(8k)。又一个实例可以包括嵌入8k帧内的4k x2k帧。

在该实施方式中的较低分辨率帧904排列有左上象限的第一帧906、右上象限的第二帧908、左下象限的第三帧910和右下象限的第四帧912。进一步由显示帧顺序的箭头指示该次序。在一些实施方式中，可以在较高分辨率帧902的不同象限中存储每个较低分辨率帧。例如，第一帧906可以在左上象限，第二帧908可以在左下象限，第三帧910可以在右上象限，和第四帧912可以在右下象限。又一个实施方式可以包括第一帧906在左上象限，第二帧908在右上象限，第三帧910在左下象限和第四帧912在右下象限。论述的关于该实施方式的较低分辨率帧904的排列通常可以应用于在该公开内容中论述的任何实施方式。

现在参考图10，示出用于解码具有第一分辨率的视频帧的系统1002。具有第一分辨率的视频帧可以包括具有第二分辨率和增加的帧速率的多个视频帧。系统1002通常可以包括：解码器1004、存储单元1006、视频缩放器1008和合成器1010。与论述的其他实施方式类似，响应于输入视频流，解码器可以被激活。然后，解码器1004可以将输入视频流的至少一个帧缓存在存储器1006(例如DRAM)中。在该实施方式中，输入视频流可以包括多个较高分辨率视频帧，每个较高分辨率视频帧包括四个较低分辨率视频帧。

利用存储器1006中缓存的至少一个较高分辨率视频帧，解码器可以拆开用于较高分辨率视频帧的标头信息并且确定嵌入的较低分辨率视频帧的特性。如参考图9论述的，四个较低分辨率视频帧可以包括四个240Hz的1080p帧。可由解码器1004识别并解码每个较低分辨率视频帧。然后，可由视频馈送器1012从存储器1006中检索较低分辨率视频帧并将其供应至视频缩放器1008。在视频缩放器1008中，单个较高分辨率帧的四个单个帧可以被裁剪和缩放为目标显示分辨率。然后，帧捕获单元1014可以捕获单个的帧并产生增加的帧速率的较低分辨率视频流。然后，合成器1010可以增加附加的视频帧内容并且将视频流输出至显示器1018。

一旦视频缩放器1008裁剪并缩放第一四个帧，可以检索下一个较高分辨率视频帧的接着的四个帧。在处理输入视频流时，该处理可以继续。系统1002可以遵循用于来自设置在视频流中的元数据的每个较高分辨率帧中的较低分辨率帧的顺序的指令。来自显示器1018的输出视频流可以包括连续显示以在较低分辨率中提供增强的运动数据的每个较低分辨率视频帧。与其他公开的实施方式类似，较低分辨率和较高分辨率视频帧的帧速率可以变化。也可以应用的帧速率的组合的一些实例可以包括30Hz和120Hz、50Hz和100Hz、120Hz和、120Hz和480Hz等。

参考图11，示出根据本公开内容的教导的具有第一位深度的视频帧1102的示图。位深度可以指示用于指示单个像素的颜色的位的数量并且可以定义颜色深度。在该实施方式中，视频帧1102可以包括第一颜色深度并且可以具有高分辨率(例如，4kx2k)。视频帧1102可以进一步包括具有第二颜色深度的多个视频帧1104。多个视频帧1104可以包括四个较低分辨率(例如，1080p)视频帧。在一些实施方式中，第一颜色深度可以定义比第二颜色深度低的颜色深度精确度。在该实例中，第一颜色深度可以是12位以及第二颜色深度可以是24位。颜色深度可以定义用于指示每个视频帧的每个像素的颜色的位的数量。

虽然在该实施方式中论述颜色深度，但位深度可以定义其他帧和像素特性。位深度可以指像素组件数据和像素颜色组件的精确度。在一些示例中，位深度可以指像素的亮度和色度。可以通过可包括4:2:0、4:2:2、4:2:1、4:1:1、4:1:0、4:4:4和其他子样本方案的多个子样本方法传送像素组件数据。在一些实施方式中，位深度可以指可以进一步定义附加的像素数据的像素强度。各种公开的实施方式可以进一步被组合以定义包括帧和像素特性的任何组合的多个部分视频帧。

多个视频帧1104可以进一步定义包括帧第二颜色深度的最高有效位的第一部分视频帧1106和包括第二颜色深度的最低有效位的第二部分视频帧1108。在该实例中，第一部分视频帧1106可以包括第一视频帧的每个像素的颜色深度的十二个最高有效位。第二部分视频帧1108可以包括第二视频帧的每个像素的颜色深度的十二个最低有效位。可以组合第一部分视频帧1106和第二部分视频帧1108以形成具有第二颜色深度的第一视频帧1110。

多个视频帧1104可以进一步定义包括第二颜色深度的最高有效位的第三部分视频帧1112和包括第二颜色深度的最低有效位的第四部分视频帧1114。与第一部分视频帧1106类似，第三部分视频帧1114可以包括第一视频帧的每个像素的颜色深度的十二个最高有效位。此外，第二部分视频帧1108可以与包括第四视频帧的每个像素的颜色深度的十二个最低有效位的第三部分视频帧类似。也可以组合第三部分视频帧1112和第四部分视频帧1114以形成具有第二颜色深度(例如，24位的精确度或者第一颜色深度的两倍)的第二视频帧1116。

当第一视频帧1110和第二视频帧都是利用其相应的部分视频帧的组合时，第一视频帧1110和第二视频帧1116可以进一步定义较低分辨率视频帧1118的顺序。较低分辨率视频帧1118的顺序可以对应于具有第二颜色深度的低像素分辨率视频流的连续帧。通过组合部分视频帧1106至1108和部分视频帧1110至1112以形成具有第二颜色深度的较低分辨率视频帧1118的顺序，较低分辨率视频帧的顺序可以在与本文公开的这些类似的系统中流传输。

虽然该实例中的第一颜色深度和第二颜色深度分别是12位和24位，同样可以应用颜色深度的其他组合。颜色深度组合的其他实例可以包括8位和16位、6位和12位、以及4位和8位颜色深度。具有第一颜色深度的视频帧1102和具有第二颜色深度的多个视频帧1104也可以改变像素分辨率。在一个实施方式中，具有第一颜色深度的视频帧可以具有8k分辨率以及具有第二分辨率的多个视频帧可以具有1080p分辨率。在该实施方式中，具有第二分辨率的多个视频帧可以包括八个部分视频帧。可以组合八个部分视频帧以形成具有第二颜色深度的四个较低分辨率视频帧。还可以根据本公开内容应用颜色深度和分辨率的其他组合。

与本公开内容介绍的其他处理类似，具有第二颜色深度的较低分辨率视频流可以在具有第一颜色深度的高分辨率视频流中传递。当接收高分辨率视频流的每个帧时，可以在存储单元中缓存每个帧。然后，解码器可以解压缩高分辨率流的帧。然后，可以解释伴随高分辨率视频流的帧的元数据以识别高分辨率视频流的帧包括具有较低分辨率的多个部分视频帧。可以在缩放器中裁剪并组合具有较低分辨率的部分视频帧以形成具有第二颜色深度的多个较低分辨率视频帧。然后，可以将具有第二颜色深度的每个较低分辨率视频帧捕获至帧捕获单元中并且输出用于显示。

应注意，本文描述的各种模块和/或电路(例如，编码模块和/或电路、解码模块和/或电路、编码器的速率自适应模块和/或电路等)可以是单个处理设备或多个处理设备。这种处理设备可以是微处理器、微控制器、数字信号处理器、微型计算机、中央处理单元、现场可编程门阵列、可编程逻辑器件、状态机、逻辑电路、模拟电路、数字电路、和/或基于操作指令来操作信号(模拟和/或数字)的任何设备。操作指令可存储在存储器内。存储器可以是单个的存储设备或多个存储设备。这种存储设备可以是只读存储器(ROM)、随机存取存储器(RAM)、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪速存储器、和/或储存数字信息的任何设备。注意，当处理模块通过状态机、模拟电路、数字电路和/或逻辑电路实施方式其一个或多个功能时，存储相应操作指令的存储器可以被嵌入有电路，该电路包括状态机、模拟电路、数字电路和/或逻辑电路。在这种实施方式中，存储器存储，和耦接到那的处理模块执行对应于本文说明和/或描述的至少一些步骤和/或功能的操作指令。

以上已借助于示出某些重要功能的性能的功能构建模块描述了本公开内容的各个方面。为了方便描述，这些功能构建模块的界限是任意定义的。只要某些重要功能被适当地执行，就可以定义可替代的界限。类似地，流程图在本文中也被任意定义以说明某些重要功能。为了某种程度的使用，流程图的界限和顺序可以被另外定义，只要仍能执行这些重要功能。功能构建模块和流程图块和顺序的这种替代定义因此落入要求保护的公开内容的范围和精神之内。

本领域的技术人员清楚理解，上述描述旨在说明本公开内容的原则。该描述并不期望限制本公开内容的范围或应用，因为在不脱离如以下权利要求所定义的本公开内容的精神的情况下，可以对公开内容作出修改、变更和改变。

Claims (10)

1.一种用于视频处理的方法，所述方法包括：

接收包含第一分辨率视频帧的第一视频流，所述第一分辨率视频帧中的至少一个被定义为包括多个第二分辨率视频帧；以及

基于所述第一分辨率视频帧的所述第二分辨率视频帧产生第二视频流。

2.根据权利要求1所述的方法，其中，所述第一分辨率视频帧具有第一帧速率以及多个所述第二分辨率视频帧具有第二帧速率。

3.根据权利要求2所述的方法，其中，所述第二帧速率高于所述第一帧速率。

4.根据权利要求1所述的方法，其中，所述第一分辨率和所述第二分辨率是位深度。

5.根据权利要求4所述的方法，其中，多个所述第二分辨率视频帧包括：包含所述位深度的最高有效位的第一帧和包含所述位深度的最低有效位的第二帧。

6.根据权利要求1所述的方法，其中，所述第一分辨率具有比所述第二分辨率高的分辨率。

7.根据权利要求1所述的方法，进一步包括：在视频编解码器中接收所述第一分辨率帧。

8.根据权利要求7所述的方法，进一步包括：从所述第一分辨率视频帧中裁剪多个所述第二分辨率视频帧。

9.一种用于编码视频数据的系统，所述系统包括：

存储单元；

帧处理单元，可操作地耦接至所述存储单元，所述帧处理单元被配置为检索多个较低分辨率视频帧，将所述较低分辨率视频帧组合在较高分辨率视频帧中，以及将所述较高分辨率视频帧存储在所述存储单元中；

编码器，可操作地耦接至所述存储单元，所述编码器包括被配置为将所述较高分辨率视频帧压缩在编码位流中的至少一个模块。

10.一种用于处理包括嵌入在高分辨率视频数据中的较低分辨率视频数据的视频数据的装置，所述装置包括：

存储单元；

处理器，可操作地耦接至所述存储单元，所述处理器包括被配置为以下的至少一个模块：

将较高分辨率视频帧缓存在所述存储单元中；

从所述较高分辨率视频帧中裁剪多个较低分辨率视频帧；

渲染所述多个较低分辨率视频帧以产生较低分辨率视频流。