CN105874808A - 用于使用元数据的视频优化的方法和装置 - Google Patents

Abstract

描述了用于改善升频和图像优化的处理，其中，原始内容被分析并且用于内容的升频和优化的元数据被创建。元数据然后连同内容一起被提供至播放设备。播放设备然后可以使用元数据来改善内容的升频和显示。

Description

用于使用元数据的视频优化的方法和装置

对相关申请的交叉引用

本申请要求2014年1月3日递交的美国临时申请序列号No.61/923,476的权益，其全部内容通过引用结合于此。

背景

技术领域

本发明一般地涉及视频优化，更具体地，涉及提高针对特定内容和硬件的升频(upscaling)和播放的性能。

背景技术

目前，对视频内容进行升频是通用处理。也就是说，不存在基于被升频内容或者被用于内容的升频和播放的硬件对升频处理的任何调整。

发明内容

一种用于改善升频和图像优化的处理，其中原始内容被分析并且用于升频和优化内容的元数据被生成。元数据然后连同内容被提供给播放设备。播放设备然后可以使用元数据来改善内容的升频和显示。

本公开的一个实施例提供一种用于优化视频内容的播放的方法。该方法涉及接收待优化的视频内容，接收用于优化所述内容的播放的元数据，处理所述视频内容和元数据，以及输出使用所述元数据优化的视频内容。

本公开的另一实施例提供一种用于优化视频内容的播放的装置。该装置包括存储设备、存储器和处理器。存储设备和存储器用于存储数据。处理器被配置为接收待优化的视频内容，接收用于优化所述内容的播放的元数据，处理所述视频内容和元数据，以及输出使用所述元数据优化的视频内容。

目的和优点将通过权利要求中特别指出的元件和联接器被实现和达到。重要的是注意到，所公开的实施例仅是本文的新颖教导的许多有利有图的示例。应当理解的是，以上的一般性描述和以下的详细描述都是示例性和解释性的，并不是对如权利要求所声称的本发明的限制。此外，一些陈述可以适用于一些创造性特征，但不适用于其它创造性特征。在一般情况下，除非另有说明，单数元件可以是多个，反之亦然，而不丧失一般性。在附图中，相同的标号在数个视图中指代相同的部件。

附图说明

图1描绘根据实施例的可以在其中实现视频优化的系统的示意框图。

图2描绘根据实施例的用于实现视频优化的方法的电子设备的示意框图。

图3A描绘根据实施例的用于视频优化的方法的示例性流程图。

图3B描绘根据实施例的用于图3A的内容处理步骤的方法的示例性流程图。

图4描绘根据实施例的、包括用于优化的元数据的MPEG4第14部分容器文件的示例性表示。

图5A描绘根据实施例的用于图3A的使用元数据来优化内容的播放步骤的方法的示例性流程图。

图5B描绘根据实施例的图4的容器文件中所提供的数据如何被用于优化的一个示例。

具体实施方式

现在转到图1，描绘了关于本公开的用于实现内容优化的系统100的实施例的框图。系统100包括内容源110、内容处理120和播放设备130。将在下面更详细地讨论这些中的每一者。

内容源110可以是广播源、照相机、服务器或其它存储设备，例如，硬盘驱动器、闪速存储器、磁带、光盘或类似物。内容源110向内容处理120提供内容(例如，视频内容112)。视频内容112可以具有多种格式和分辨率。例如，内容可以是标清、高清(2K)或超高清(4K)分辨率。这种视频内容112还可以符合不同视频简档(profile)，例如公知的用于不同视频标准(例如，MPEG-2、MPEG-4、H.264、SVEC等)的主简档、扩展简档、基线简档等。

内容处理120是对视频内容进行分析以确定如何最佳地优化视频内容的显示的地方。这可以由人或计算机系统或二者的组合执行。在某些实施例中，内容处理还可以涉及对视频内容进行编码或以其他方式改变视频内容122的格式或分辨率，以用于播放设备130的接收和解码。这种改变可以将内容从一种简档变为第二种简档。内容处理120提供伴随视频内容122的元数据124。

播放设备130可以是可被用于内容的播放和/或显示的电视、媒体播放器、个人电子设备、或类似物。根据本公开，播放设备130连同视频内容122一起接收元数据124。播放设备130然后可以使用元数据124来优化内容122的播放和/或显示。在某些实施例中，这包括视频内容从较低分辨率到较高分辨率的升频。

用于视频处理的元数据字段的示例包括：

元数据——亮度

元数据——色度

元数据——块大小

元数据——位深度

元数据——运动矢量

元数据——降噪参数

元数据——运动估计

元数据——量化等级

元数据——高动态范围色彩信息

元数据——其它

可以设想，这种元数据字段和元数据可以用于播放设备130内的处理器中，以增强或以其它方式优化视频内容的播放。在一个示例中，播放设备130具有升频芯片(由马塞尔网络(Marseille Network)提供的“VTV-122x”)，该升频芯片可以在所接收的用于播放的视频内容的升频中使用所接收的元数据。

图2描绘可被用于实现针对视频优化的方法和系统的示例性电子设备200。电子设备200包括一个或多个处理器210、存储器220、存储设备230和网络接口240。将在下面更详细地讨论这些元件中的每一个元件。

处理器210控制电子设备200的操作。处理器210运行操作电子设备的软件并提供用于视频优化的功能的软件，例如图1中所示的内容处理120或播放设备130。处理器210连接到存储器220、存储设备230和网络接口240，并处置这些元件之间信息的传输和处理。处理器210可以是通用处理器或专用于特定功能的处理器。在某些实施例中可以存在多个处理器。

存储器220是存储将被处理器执行的指令和数据的地方。存储器220可以包括易失性存储器(RAM)、非易失性存储器(EEPROM)或其它合适的介质。

存储设备230是存储在执行内容分析时由处理器使用和产生的数据的地方。存储设备可以是磁介质(硬盘驱动器)、光介质(CD/DVD-Rom)或基于闪存的存储设备。鉴于本公开的益处，其它类型的合适的存储设备对本领域技术人员将是显而易见的。

网络接口240处理电子设备200与其它设备的通过网络的通信。合适的网络的示例包括以太网、具有Wi-Fi能力的网络、蜂窝网络、和类似物。鉴于本公开的益处，其它类型的合适的网络对本领域技术人员将是显而易见的。

应当理解的是，图2中阐明的元件是示意性的。电子设备200可以包括任意数量的元件，并且某些元件可以提供其它元件的部分或全部功能。鉴于本公开的益处，其它可能的实现方式对本领域技术人员将是显而易见的。

图3A是根据本公开的用于视频优化的处理的示例性流程图300。在其基础上，处理涉及三个步骤，即：接收视频内容310、处理视频内容320和输出与内容相关的元数据330。在某些实施例中，处理还涉及使用元数据340优化内容的播放。下面将更详细地讨论这些步骤中的每个步骤。

如以上参考图1所阐明的，视频内容112接收自内容源110(步骤310)。视频内容112可以有各种格式、简档和分辨率。在某些实施例中，以标清或高清分辨率提供内容。

内容112的处理(步骤320)在图1的内容处理120处被执行。这里内容被分析以确定如何最佳地优化内容的显示。这可以由人或计算机系统或二者的组合来执行。这可以用逐场景或逐镜头的方式来完成，其提供了对于图像优化要求的基于时间码的映射。可在图3B中看到这方面的示例。

图3B描绘用于处理视频内容(步骤320)的一种方法的示例性流程图。它涉及场景分析(步骤322)、元数据生成(步骤324)和元数据验证(步骤326)。下面将进一步详细讨论这些步骤中的每个步骤。

在场景分析中(步骤320)，影片中的每个场景被标识并且针对该场景的时间码被标记。然后针对可能需要优化的场景的参数，每个场景被分解或以其它方式被分析。在某些实施例中，分析还可以包括对每个场景的不同区域或范围的分析。

用于优化的一些这种参数可以包括，但不限于，高频或噪声、高动态范围(HDR)、场景中清晰的量或场景中不清晰的量、运动的量、颜色、亮度和阴影、位深度、块大小和量化等级。在某些实施例中，参数可以考虑执行最终优化的播放硬件的播放能力和限制。鉴于本公开的益处，其它可能的参数对本领域技术人员将是显而易见的。

然后基于这些参数确定如何最佳地优化内容。在某些实施例中，这包括如何将视频内容从较低分辨率最佳地升频到较高分辨率。在其它实施例中，这种分析可以涉及内容的编码或以其他方式改变内容的格式或分辨率，以用于播放设备130的接收和解码。例如，一些场景可能具有高浓度的视觉效果，或者镜头可以推入非常细节的图像，或可以具有非常高的对比度。这些和其它情形可能需要调整对噪声、色度和缩放的各种设置，以避免伪影并使观看体验的质量最大化。优化还可以考虑被用于内容的播放或显示的硬件的能力或限制。

场景和优化分析的结果可以被转译或以其他方式被转换为元数据(步骤324)。元数据可以是针对播放设备130如何最佳地优化内容的播放的指令。例如，元数据可以包括用于播放设备130的升频器和/或解码器的代码和硬件特定的指令。在某些实施例中，元数据被时间同步到在场景分析处理中被分析的特定场景。

这种元数据指令的示例可以包括通用参数，例如，锐度、对比度或降噪。元数据还可以包括用于不同类型的设备或硬件的特定指令。鉴于本公开的益处，其它可能的元数据对本领域技术人员将是显而易见的。

一旦元数据被生成(步骤324)，它然后可以被验证(步骤326)以确定元数据实现所期望的结果，或没有不利地影响所期望的优化，例如内容的升频或解码。这可以通过使用元数据用于所期望的优化并对结果进行检查来执行。参数和/或元数据然后可以根据需要被进一步调节。一旦被验证，元数据然后准备好被提供或以其它方式被输出以用于播放优化。

如前所述，处理步骤中的任何处理步骤可以由个人用户、机器或二者的组合来执行。

作为该处理的一部分，主文件或参考文件然后可以被创建以用于每段内容。文件可以涉及两个要素：

1)要素1：对将影响图像质量的因素的逐场景和/或逐帧分析。这种分析将涉及对将影响图像质量的因素的比较前或比较后的自动和人工质量观测，以及技术描述。通过定义这些因素，由自动创作系统来提供对条件的分析是可行的，对条件的分析然后能够作为元数据被插入。

2)要素2：元数据被编码成用于显示和升频芯片的指令集，以调整他们的设置，从而优化观看体验并减少显示在屏幕上的伪影的出现。这种主列表或参考列表的创建和使用允许内容流水线中的以下内容：

1)取决于生成，升频和显示芯片将调整降噪、灰阶、缩放等的设置。所开发的这种元数据可以基于内容文件被存档，并且编码进行被开发以支持其他制造商的升频和图像控制芯片。

2)由于更高分辨率和新的观看格式的发展，这种内容流水线可以适于重新利用主文件的要素1，以在要素2的完全自动化的处理中适用新的格式。

在这种处理(步骤320)之后，所产生的元数据124被输出(步骤330)以用于优化内容的播放(步骤340)。

如上所述，内容的处理(步骤320)还可以包括对内容122进行编码或以其它方式改变内容122的格式或分辨率以提供给播放设备130。

在一些实施例中，用于优化的元数据与待优化的内容被分开提供。在其它实施例中，内容122可以连同元数据124一起被提供(步骤330)。在一些这种实施例中，元数据124可以在与内容122一起编码的情况下被提供。可以在图4中看到这种情况的示例。

图4是MPEG4第14部分容器文件400的示例性表示。容器文件400包括视频数据410、音频数据420、字幕数据430、升频数据440和其它数据450。元数据124可以作为升频数据440和/或其它数据450的一部分被提供。460处可以看到元数据的一些示例参数。

参考回图3A，在元数据被输出(步骤330)之后，元数据然后可以被用于优化内容的播放(步骤340)。在某些实施例中，这由被配置用于视频内容播放的电子设备(例如，如图2中所示出的)来执行。用于视频播放的合适的电子设备的示例包括，但不限于，个人计算机、便携设备、游戏系统、视频盘播放器和媒体流设备。鉴于本公开的益处，其它合适的设备对本领域技术人员将是显而易见的。

图5A描绘使用元数据优化视频内容的播放(步骤340)的一种方法的示例性流程图。该方法涉及接收待优化的内容(步骤510)、接收将在优化中使用的元数据(步骤520)、处理待优化的内容和数据(步骤530)以及输出经优化的数据(步骤540)。下面将更详细地讨论这些步骤中的每一个步骤。

可以从存储介质(例如，DVD、蓝光、闪速存储器或硬盘驱动器)上提供的媒体文件接收内容(步骤510)。可替代地，内容文件可以被广播(陆地或卫星)、下载或提供为网络上的数据文件流。如上所述，在某些实施例中，内容以MPEG格式(例如，图4中所示出的MPEG4)被提供至播放设备并在播放设备处被接收。鉴于本公开的益处，其它可能的递送机制和格式对本领域技术人员将是显而易见的。

与内容相类似，可以从存储介质(例如，DVD、蓝光、闪速存储器或硬盘驱动器)上提供的媒体文件接收元数据(步骤520)。可替代地，元数据文件可以被广播(陆地或卫星)、下载或被提供为网络上的数据文件流。如上所述，在某些实施例中，元数据可以与内容一起被提供并以MPEG格式(例如，图4中所示出的MPEG4)被提供至播放设备并在播放设备处被接收。鉴于本公开的益处，其它可能的递送机制和格式对本领域技术人员将是显而易见的。

一旦内容与用于优化的相关元数据被接收，内容与相关元数据可以被处理(步骤530)。这涉及执行由元数据提供的指令以用于处理或以其它方式展示内容。这样元数据可以包括调整针对噪声、色度和缩放的各种设置以避免伪影并使观看体验的质量最大化。元数据的优化还可以考虑被用于内容的播放和显示的硬件的能力和限制。图5B是关于播放设备130的硬件可以如何处理图4的容器文件400中所提供的数据的一个示例。

在图5B的示例中，所提供的元数据专注于升频，所以视频数据410、音频数据420、字幕数据430被播放设备130的解码器550处理。升频数据440和其它数据450(包括元数据124)由播放设备130的升频器560处理。在某些其它实施例中，其它数据350(包括元数据)也可以由解码器500处理。解码器550和升频器可以在软件中被实现，或被实现为专用硬件。其它可能的实现方式对本领域技术人员将是显而易见的。

最后，经优化的视频内容可以被输出(步骤540)以由播放设备130在显示器上播放。

所提供的使用术语优化的示例性实施例还可以使用升频、降频、上变频、下变频、或在处理操作期间将视频内容从第一格式改变为第二格式和/或改变视频内容的属性的任何其它类型的类似操作，其中这种改变由根据示例性实施例的元数据控制。

所叙述的所有示例和条件语言意在用于信息目的，以帮助读者理解本公开的原理和由发明人所贡献的用于促进现有技术的概念，并且意在被理解为不限于这些具体叙述的示例和条件。

此外，本文中叙述本公开的原理、方面和实施例及其具体示例的所有的陈述意在涵盖其结构上和功能上的等同物。附加地，这些等同物意在包括当前已知的等同物以及将来开发的等同物，即，所开发的执行相同功能的任何元件，而不论其结构。

因此，例如，本领域技术人员将要理解的是，本文呈现的框图表示体现本公开的原理的示意性电路的概念视图。类似地，将要理解的是任何流程表、流程图、状态转换图、伪代码等表示各种处理，这些处理基本上可以被表示在计算机可读介质中并被计算机或处理器执行，不论这种计算机或处理器是否被明确示出。

图中示出的各种元件的功能可以通过结合适当的软件使用专用硬件以及能够执行软件的硬件来提供。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器(这些处理器中的一些可以被共享)来提供。此外，术语“处理器”或“控制器”的明确使用不应当被解释为专指能够执行软件的硬件，并且可以隐含地包括，但不限于，数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储装置。

其它硬件(传统的和/或定制的)也可以被包括在内。类似地，图中示出的任何开关仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制与专用逻辑的交互或甚至手动地被实现。从上下文可更具体地理解实施者可选择的具体技术。

虽然本文已经示出并描述结合本公开的教导的实施例，本领域技术人员可以容易地想出仍然结合这些教导的许多其它不同的实施例。应当注意到的是，在已经描述了某些实施例(其意在是示意性的并且不是限制性的)的情况下，本领域技术人员可以根据上述教导做出修改和变化。

Claims (16)

1.一种用于优化视频内容的播放的方法，该方法包括：

接收待优化的视频内容；

接收用于优化所述内容的播放的元数据；

处理所述视频内容和元数据；以及

输出使用所述元数据优化的视频内容。

2.如权利要求1所述的方法，其中，所述优化包括对所述视频内容进行升频。

3.如权利要求1所述的方法，其中，所述元数据包括关于从包括以下项的群组中选择的至少一个参数的元数据：亮度、色度、块大小、位深度、运动矢量、降噪参数、运动估计、量化等级、以及高动态范围色彩信息。

4.如权利要求1所述的方法，其中，所述元数据包括特定于播放设备的元数据。

5.如权利要求1所述的方法，其中，接收所述元数据包括接收与所述视频内容一起编码的元数据。

6.一种用于优化视频内容的播放的装置，该装置包括：

存储设备，用于存储视频内容；

存储器，用于存储用于处理的元数据；以及

与所述存储设备和所述存储器通信的处理器，所述处理器被配置为：接收待优化的视频内容，接收用于优化所述视频内容的播放的元数据，处理所述视频内容和元数据，以及输出使用所述元数据优化的视频内容。

7.如权利要求6所述的装置，还包括用于连接到网络的网络连接。

8.如权利要求6所述的装置，其中，所述内容的播放的优化包括对所述视频内容进行升频。

9.如权利要求6所述的装置，其中，所述元数据包括关于从包括以下项的群组中选择的至少一个参数的元数据：亮度、色度、块大小、位深度、运动矢量、降噪参数、运动估计、量化等级、以及高动态范围色彩信息。

10.如权利要求6所述的装置，其中，所述元数据包括特定于所述装置的元数据。

11.如权利要求6所述的装置，其中，所述处理器通过接收与所述视频内容一起编码的元数据来接收所述元数据。

12.一种包含指令的机器可读介质，所述指令当被运行时执行以下步骤，包括：

接收待优化的视频内容；

接收用于优化所述内容的播放的元数据；

处理所述视频内容和元数据；以及

输出使用所述元数据优化的视频内容。

13.如权利要求12所述的介质，其中，所述优化包括对所述视频内容进行升频。

14.如权利要求12所述的介质，其中，所述元数据包括关于从包括以下项的群组中选择的至少一个参数的元数据：亮度、色度、块大小、位深度、运动矢量、降噪参数、运动估计、量化等级、以及高动态范围色彩信息。

15.如权利要求12所述的介质，其中，所述元数据包括特定于播放设备的元数据。

16.如权利要求12所述的介质，其中，接收所述元数据包括接收与所述视频内容一起编码的元数据。