CN104094603B

CN104094603B - 用于在视频编码系统中进行集成元数据插入的系统和方法

Info

Publication number: CN104094603B
Application number: CN201180075927.6A
Authority: CN
Inventors: N·路; A·H·穆罕默德; S·N·耶迪迪; P·刘
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2011-12-28
Filing date: 2011-12-28
Publication date: 2018-06-08
Anticipated expiration: 2031-12-28
Also published as: TW201330627A; EP2798843A1; TWI603606B; EP2798843A4; CN104094603A; US20140086338A1; WO2013100986A1; JP2015507407A

Abstract

用于在没有软件干预的情况下在视频编码系统中插入元数据的系统和方法。可以向硬件电路提供报头数据，所述硬件电路可随后构建和格式化一个或多个报头来容纳所述报头数据。所述报头数据可随后被附加到所述编码视频中。所述报头数据和所述编码视频的组合可随后与音频数据和/或用户数据进行多路复用，并且如果需要的话被加密。

Description

用于在视频编码系统中进行集成元数据插入的系统和方法

背景技术

在多个视频标准中，需要在编码视频流中添加与视频相关的数据。这样的数据可能是视频的元数据，也可能与编码过程毫无关系。这样的元数据可以包括例如时间戳、色彩转换公式(color conversion formula)、和/或帧速率。

典型地，这样的元数据可以被构造成一个或多个报头，所述报头被附加到编码视频中。然而，通常根据编码器设置来定义报头。对这些报头的任意后续的修改通常需要软件干预，来操作或改变已经在硬件中构造的所述报头。在一些系统中，在硬件中创建的报头必须以这样的方式来构建：该方式使得通过软件便于后续的操作。假设报头必须容许可能需要支持的多种元数据类型的灵活性，那么这就要求报头具有复杂性。

构建报头的过程可能是低效的。在这里，可以在硬件中构建报头，并且可以通过软件进行操作。此外，软件处理可能是耗时的，并且通常比硬件处理更慢。进一步的，必须在硬件处理和软件处理之间进行多次切换。编码必须在硬件中进行，在编码之后，软件必须进行报头操作来容纳所述元数据。在这个阶段之后，例如硬件处理可能恢复以便对音频数据和编码视频进行多路复用。加密可能也是需要的，其可以是硬件或软件处理。硬件处理和软件处理之间的这种切换会使得整个处理过程变复杂并最终减慢整个处理过程。

附图说明

图1是描绘在视频编码系统中进行元数据插入的框图。

图2是根据一个实施例，描绘在视频编码系统中进行元数据插入的框图。

图3是根据一个实施例，描绘本文所描述的系统的处理过程的流程图。

图4是根据一个实施例，进一步描绘在视频编码系统中进行元数据插人的框图。

图5是根据一个实施例，描绘如本文所描述的可以接收或生成具有附加报头的编码视频的系统。

图6是根据一个实施例，描绘本文所描述的可以接收或生成具有附加报头的编码视频的移动设备。

在附图中，附图标记的最左边的数字标识所述附图标记最早出现的附图。

具体实施方式

现在参照附图描述实施例，其中相同的附图标记指示相同的或者功能上相似的部件。当论述具体的配置和安排时，应该理解其仅仅是用于阐述的目的。相关领域的技术人员将意识到在不脱离本说明书的精神和范围的情况下可以使用其它的配置和布置。对于相关领域的技术人员来说，显然，除了本文所描述的之外，本方案还可在多种其它系统和应用中使用。

本文所描述的系统和方法用于在视频编码系统中插入元数据，而不需要软件干预。可以向硬件电路提供报头数据，所述硬件电路可以随后构建和格式化一个或多个报头来容纳所述报头数据。随后可以将所述报头数据附加到编码视频中。所述报头数据和所述编码视频的组合可以随后与音频数据和/或用户数据进行多路复用，并且被加密(如果有必要的话)。这并不需要软件处理来修改编码过程可以形成的预先构建的报头。相反，可以向硬件中提供报头信息，然后所述硬件根据需要构建并附加报头。

图1阐述了插入元数据的常规处理的示例。可以通过软件来处理原始视频数据110，然后将其提供给硬件视频编码器120。视频编码器120的输出显示编码视频130。通常，正如向视频编码器120应用的设置所定义的，在编码过程中创建固定的报头。在软件中，通过软件模块140来操作这些报头。根据需要，该模块可以修改所述报头来容纳所述元数据。上述元数据可以包括，例如时间戳、色彩转换公式的规定、或者帧速率。

所述编码视频130连同任何修改后的报头可以随后被发送到音视频(AV)多路复用器150中，以便和用户数据160和/或音频数据170进行多路复用。注意，在这个阶段，再次在硬件中而不是在软件中进行所述处理。所述多路复用器150的输出可以随后被发送到加密模块180中。加密的结果被示出为压缩AV数据190。在软件中执行对压缩AV数据190的进一步处理。

图2根据一个实施例，描绘了插入元数据的处理。在这里，原始视频数据210可以被传给硬件编码器220。这样可以形成编码视频230。可以向硬件模块240提供报头数据235，所述硬件模块240负责构造和格式化一个或多个报头来容纳所述报头数据235，并且将所述报头附加到所述编码视频230中。所述编码视频230连同由模块240创建的任何附加报头，被传送给硬件AV多路复用器250。在这里，该信息可以与用户数据260和/或音频数据270进行多路复用。如果需要加密的话，所形成的多路复用信息可被传给硬件加密模块280。在可选的实施例中，可以由软件来实现所述加密模块280。所述加密模块280的输出被示出为压缩AV数据290。根据需要，数据290可以随后被软件进行进一步处理。

在图2的实施例中，对由硬件创建的报头进行软件修改可能不是必要的。相反，在硬件中将报头数据格式化和附加到编码视频中。这可以提高图1描绘的处理的速率和效率。注意，图2的实施例可能也需要软件处理和硬件处理之间的较少的切换。如垂直线所示，图1的处理包括四个这样的切换，而图2的实施例所示的处理可能仅仅需要两个这样的切换。

图3根据一个实施例，描绘本文描述的系统的处理过程。在310，接收报头数据，其中所述报头数据表示要被合并到报头中的元数据。此外，还可以接收音频数据和用户数据，其中，这些数据格式最终与编码视频数据进行多路复用。在320，向格式化电路提供所述报头数据，所述格式化电路可以构建用于合并报头数据的报头。在一个实施例中，在330处可以执行所述格式化，并且所述格式化可以基于报头数据的类型和数量。在340，可以利用硬件附加电路将所形成的报头附加到有效载荷，所述有效载荷包括编码视频。在350，编码视频连同附加报头可以与任何音频数据和/或用户数据进行多路复用。在360，如果需要的话，可以对多路复用后的数据执行加密。

格式化和附加电路可以如图4中所示那样操作。如上述所讨论的，可以将原始视频(如410所示)输入到硬件编码器420中。所形成的编码视频430可以传送到附加电路445中。报头数据435可以被发送到硬件格式化电路440中，所形成的报头可以被发送到附加电路445中。所述附加电路445的输出可以包括有效载荷，所述有效载荷包括编码视频430和所述附加报头。所述数据被发送到AV多路复用器450，在所述AV多路复用器450中，所述数据与任何用户数据和/或音频数据(未示出)进行多路复用。如果需要的话，可以由加密模块480应用加密。可由硬件来实现所述加密模块480；可选地，可由在可编程处理器上执行的软件逻辑来实现所述加密模块480。最终的输出被示出为输出495。

在一个实施例中，所述格式化电路440和所述附加电路445可以是单独的模块；可选地，这些模块也可以被合并成如由图2的模块240表示的单个模块。

这里所公开的一个或多个特征可由离散的和集成的电路逻辑、专用集成电路逻辑(ASIC)和微控制器来实现，并且可由特定领域的集成电路块的一部分或者集成电路块的组合来实现。

图5描绘了较大系统500的实施例。可以利用所述视频编码系统200和400来生成编码视频，所述编码视频可以由诸如系统500之类的系统接收和使用。作为补充或替代，为了在其它位置发送编码视频，可以根据实施例200和400在系统500中生成编码视频。在实施例中，系统500可以是媒体系统，尽管系统500并不限于这种情况。例如，系统500可以被合并入个人计算机(PC)、膝上型计算机、超膝上型计算机、平板计算机、触摸式平板计算机、便携式计算机、手持计算机、掌上型计算机、个人数字助理(PDA)、手机、手机/PDA的组合、电视、智能设备(例如，智能电话、智能平板计算机或者智能电视)、移动互联网设备(MID)、消息传送设备、数据通信设备等等。

在实施例中，系统500包括连接到显示器520的平台502。平台502可以从内容设备(例如，内容服务设备530或者内容传送设备540或者其它类似的内容源)接收内容。包括一个或多个导航特征的导航控制器550可以被用于例如与平台502和/或显示器520进行交互。下面将更加详细地描述这些组件中的每一个组件。

在实施例中，平台502可以包括芯片组505、处理器510、内存512、存储器514、图形子系统515、应用516和/或无线单元518的任意组合。在一个实施例中，系统200或400还可以被集成到平台502中。芯片组505可以提供处理器510、内存512、存储器514、图形子系统515、应用516和/或无线单元518之间的相互通信。例如，芯片组505可以包括存储适配器(未示出)，该存储适配器用于提供与存储器514之间的相互通信。

处理器510可以实现成复杂指令集计算机(CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核、或者任何其它微处理器或中央处理器(CPU)。在实施例中，所述处理器519可以包括双核处理器、双核移动处理器等等。

内存512可实现为易失性存储设备，例如但并不限于，随机存取存储器(RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。

存储器514可以实现为非易失性存储设备，例如但不限于，磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附加的存储设备、闪存、电源备份的SDRAM(同步DRAM)、和/或可接入网络的存储设备。在实施例中，例如，存储器514在包括多个硬盘驱动器时，可以包括用于提高针对有价值的数字媒体的存储性能增强保护的技术。

图形子系统515可以执行对图像的处理，例如用于显示的静态图像或者视频。所述图形子系统515可以是，例如图形处理单元(GPU)或者是可视处理单元(VPU)。可以使用模拟或者数字接口来通信地耦接所述图形子系统515和所述显示器520。例如，所述接口可以是高清多媒体接口、显示器接口、无线HDMI、和/或无线HD兼容技术中的任意一个。图形子系统515可被集成到处理器510或芯片组505中。图形子系统515可以是通信地耦接到芯片组505的单独卡。

在这里所描述的图形和/或视频处理技术可由多种硬件架构来实现。例如，图形和/或视频功能可被集成到芯片组中。可选地，可以使用离散图形和/或视频处理器。如另一个实施例所述，图形和/或视频功能可由通用处理器(包括多核处理器)来实现。在其它实施例中，可在消费电子设备中实现所述功能。

无线单元518可包括利用各种适当的无线通信技术来发送和接收信号的一个或多个无线单元。这样的技术可以包括跨越一个或多个无线网络的通信。示例性的无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝网络以及卫星网络。在这些网络中进行通信时，无线单元518可根据一个或多个任意版本的适用标准进行操作。

在实施例中，显示器520可以包括任意电视类型的监视器或者显示器。显示器520可以包括，例如计算机显示屏、触摸屏显示器、视频监视器、类似电视机的设备和/或电视机。显示器520可以是数字的或者模拟的。在实施例中，显示器520可以是全息显示器。此外，显示器520可以是可接收可视投影的透明表面。这样的投影可以传达多种形式的信息、图像和/或对象。例如，对于移动增强现实(MAR)应用，这样的投影可以是视觉叠加的。在一个或多个软件应用516的控制下，平台502可以在显示器520上显示用户接口522。

在实施例中，内容服务设备530可以由任何国内、国际和/或独立的服务托管，从而可经由例如互联网接入到平台502。内容服务设备530可被耦接到平台502和/或显示器520。平台502和/或内容服务设备530可被耦接到网络560以便进行通信(例如，发送和/或接收)去往和来自网络560的媒体信息。内容传送设备540也可被耦接到平台502和/或显示器520。

在实施例中，内容服务设备530可以包括有线电视盒、个人计算机、网络、电话、能够传送数字信息和/或内容的启用互联网的设备或电器装置，以及能够经由网络560或者直接地在内容提供商和平台502和/或显示器520之间单向或者双向通信的任何其它类似的设备。应当意识到的是，可以经由网络560在系统500的组件中的任一个和内容提供商之间单向和/或双向地传输所述内容。内容的示例可以包括任何媒体信息，所述媒体信息例如包括视频、音乐、医疗或游戏信息等等。

内容服务设备530接收内容，例如包括媒体信息、数字信息和/或其它内容的有线电视节目。内容提供商的示例可以包括任何有线或卫星电视或无线或互联网内容提供商。所提供的示例并不意味着对本发明的实施例进行限制。

在实施例中，平台502可以从具有一个或多个导航特征的导航控制器550接收控制信号。控制器550的导航特征可被用于与例如用户接口522进行交互。在实施例中，所述导航控制器550可以是指针设备，该指针设备可以是计算机硬件组件(具体地，是用户接口设备)，允许用户向计算机输入空间(例如，连续的和多维的)数据。许多系统例如图形用户接口(GUI)、电视机以及监视器允许用户使用身体姿势来控制数据并向计算机或电视机提供数据。

通过在显示器上显示的指针、光标、聚焦环或其它可视的指示符的移动，控制器550的导航特征的移动可在显示器(例如显示器520)上模仿。例如，在软件应用516的控制下，位于导航控制器550上的导航特征可被映射到显示在例如用户接口522上的虚拟导航特征。在实施例中，控制器550可能不是单独的组件，而是被集成到平台502和/或显示器520。然而，所述实施例并不限于此处所示出或描述的元件或上下文。

在实施例中，驱动器(未示出)可包括一种技术，其使得用户能够在例如启动时，在初始化启动之后，一碰触按钮就立刻打开或关闭平台502，就像电视一样。程序逻辑可能允许平台502在该平台“关闭”的时候向媒体适配器或其它内容服务设备530或内容传送设备540流式地传输内容。此外，芯片组505可以包括例如用于5.1环绕立体声和/或高清晰7.1环绕立体声的硬件和/或软件支持。驱动器可以包括用于集成图形平台的图形驱动器。在实施例中，图形驱动器可以包括外部组件互联(PCI)快速图形卡。

在各个实施例中，系统500所示出的任意一个或多个组件可以是集成的。例如，平台502和内容服务设备530可以是集成的，或者平台502和内容传送设备540可以是集成的，或者例如平台502、内容服务设备530和内容传送设备540可以是集成的。在各个实施例中，平台502和显示器520可以是集成单元。例如，显示器520和内容服务设备530可以是集成的，或者显示器520和内容传送设备540可以是集成的。这些示例并不意味着限制本发明。

在各个实施例中，系统500可以实现为无线系统、有线系统或者两者的组合。当实现为无线系统时，系统500可以包括可适合于在无线共享媒体上进行通信的组件和接口，例如，一个或多个天线、发射机、接收机、收发机、放大器、滤波器、控制逻辑等等。无线共享媒体的示例可以包括无线频谱的一部分，例如RF频谱等等。当实现为有线系统时，系统500可以包括适合于在有线通信媒体上进行通信的组件和接口，例如，输入/输出(I/O)适配器、用于连接所述I/O适配器和相应的有线通信介质的物理连接器、网络接口卡(NIC)、磁盘控制器、视频控制器、音频控制器等等。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板(PCB)、背板、开关结构、半导体材料、双绞线、同轴电缆、光纤等等。

平台502可以建立一个或多个逻辑的或物理的通道来传输信息。所述信息包括媒体信息和控制信息。媒体信息可以涉及表示用于提供给用户的内容的任何数据。内容的示例可以包括例如来自语音对话、视频会议、流视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等等。来自语音对话的数据可以例如是语音信息、静默时段、背景噪声、适宜噪声、音调等等。控制信息可以指代表示用于自动化系统的命令、指令和控制字的任何数据。例如，可以使用控制信息通过系统来路由媒体信息，或者指示节点按照预先确定的方式处理媒体信息。然而，所述实施例并不限于图5所示和描述的元件和上下文。

如上所述，系统500可以以各种物理样式和形状规格来具体实现。图6描绘了小型设备600的实施例，其中，可以具体实现系统500。在实施例中，例如，设备600可由具有无线能力的移动计算设备来实现。例如，移动计算设备可以指具有处理系统和移动功率源或电源(例如一个或多个电池)的任何设备。

如上所述，移动计算设备的示例可以包括个人电脑(PC)、膝上型计算机、超膝上型计算机、平板计算机、触摸式平板计算机、便携式计算机、手持计算机、掌上型计算机、个人数字助理(PDA)、手机、手机/PDA的组合、电视、智能设备(例如智能电话、智能平板计算机或智能电视)、移动互联网设备(MID)、消息传送设备、数据通信设备等等。

移动计算设备的示例还可以包括由个人佩戴的计算机，例如腕部计算机、手指计算机、指环计算机、眼镜计算机、腰带计算机、臂带计算机、鞋计算机、衣服计算机和其它可穿戴的计算机。在实施例中，例如，可以将移动计算设备实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。虽然某些实施例可以通过被实现为例如智能电话的移动计算设备进行描述的，但应当理解的是，也可以使用其它无线移动计算设备来实现其它实施例。这些实施例不限于该上下文。

如图6所示，设备600可以包括外壳602、显示器604、输入/输出(I/O)设备606和天线608。设备600还可以包括导航特征612。显示器604可以包括任意适当的显示单元，用于显示适于移动计算设备的信息。I/O设备606可以包括用于向移动计算设备输入信息的任意适当的I/O设备。I/O设备606的示例可以包括字母数字键盘、数字键盘、触摸板、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备和软件等等。也可以借助麦克风将信息输入到设备600中。可以由语音识别设备将该信息数字化。这些实施例不限于该上下文。

系统500的各种实施例可以使用硬件单元、软件单元或二者的结合来实现。硬件单元的示例可以包括处理器、微处理器、电路、电路元件(例如晶体管、电阻器、电容器、电感器等等)、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件的示例可以包括软件组件、程序、应用软件、计算机程序、应用、系统程序、机器程序、操作系统软件、中间件、固件、软件模块、例程、子例程、功能、方法、进程、软件接口、应用程序接口(API)、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或者它们的任何结合。判定实施例是否是使用硬件单元和/或软件单元来实现的可以根据任何数量的因素发生变化，例如，期望的计算速率、功率电平、耐热性、处理周期预算、输入数据速率、输出数据数率、存储器资源、数据总线速度和其它设计或性能约束。

系统500的至少一个实施例的一个或多个方面可由存储在机器可读介质中的代表性指令来实现，所述代表性指令表示处理器中的各种逻辑，当被机器读取的时候，所述代表性指令使得所述机器构建用于执行本文所描述的技术的逻辑。这样的表示，被称为“IP核心”，可被存储在有形的机器可读介质上，并被提供给各种用户或制造商来加载到制造机器中，所述制造机器实际上生成了所述逻辑和处理器。

本文借助于描绘功能、特征及其关系的功能构建块来公开方法和系统。为了描述方便，本文已经随意地定义了这些功能构建块的边界的至少一部分。可以定义可选的边界，只要具体的功能及其关系被恰当地执行。

尽管本文公开了各种实施例，应该明白的是所述实施例仅仅是以示例的方式来表示的，而不是限制。对于相关领域的技术人员来说，显然，在不脱离本文所公开的方法和系统的精神和范围的情况下，这里可以在形式和细节方面进行各种变化。因此，权利要求的宽度和范围并不限于本文所公开的任何示例性实施例。

Claims

1.一种用于在视频编码中进行元数据插入的方法，包括：

接收由要被应用于编码器的编码器设置定义的编码器报头数据；

使用硬件格式化电路将所述编码器报头数据格式化到一个或多个报头中；

通过使用硬件来改变所述一个或多个报头以将元数据报头数据添加到所述一个或多个报头并且改变所述一个或多个报头的内容；

使用硬件附加电路将添加有所述元数据报头数据的所述一个或多个报头附加到包括编码视频的有效载荷；以及

输出所形成的编码视频和一个或多个附加报头，

其中，所述格式化、改变和附加是在没有软件干预的情况下被执行的。

2.根据权利要求1所述的方法，还包括：

在所述输出之前执行：将音频数据与所述编码视频以及所述一个或多个附加报头进行多路复用。

3.根据权利要求1所述的方法，还包括：

在所述输出之前执行：将用户数据与所述编码视频以及所述一个或多个附加报头进行多路复用。

4.根据权利要求1所述的方法，还包括：

在所述输出之前执行：对所述编码视频以及所述一个或多个附加报头进行加密。

5.根据权利要求1所述的方法，其中，所述编码视频是被压缩的。

6.根据权利要求1所述的方法，其中，所述编码器报头数据的所述格式化取决于所述编码器报头数据的数量和所述编码器报头数据的一个或多个类型。

7.根据权利要求1所述的方法，其中，所述元数据报头数据包括帧速率、时间戳和色彩转换公式中的一个或多个。

8.一种用于在视频编码中进行元数据插入的系统，包括：

视频编码器，其被配置为接收原始视频，并编码和压缩所述原始视频来生成编码视频；

格式化电路，其被配置为接收由要被应用于编码器的编码器设置定义的编码器报头数据，并将所述编码器报头数据格式化到一个或多个报头中；

电路，用于改变所述一个或多个报头以将元数据报头数据添加到所述一个或多个报头并且改变所述一个或多个报头的内容；以及

附加电路，其被配置为将添加有所述元数据报头数据的所述一个或多个报头附加到包括所述编码视频的有效载荷，

其中，所述格式化电路、用于改变所述一个或多个报头的电路和所述附加电路在没有软件干预的情况下进行操作。

9.根据权利要求8所述的系统，还包括：

多路复用器，其被配置为对音频数据与所述编码视频以及一个或多个附加报头进行多路复用。

10.根据权利要求8所述的系统，还包括：

多路复用器，其被配置为对用户数据与所述编码视频以及一个或多个附加报头进行多路复用。

11.根据权利要求8所述的系统，其中，所述格式化电路的操作取决于所述编码器报头数据的数量和类型。

12.根据权利要求8所述的系统，其中，所述元数据报头数据包括帧速率、时间戳和色彩转换公式中的一个或多个。

13.一种用于在视频编码中进行元数据插入的系统，包括：

电路，用于改变所述一个或多个报头以将元数据报头数据添加到所述一个或多个报头并且改变所述一个或多个报头的内容；

附加电路，其被配置为将添加有所述元数据报头数据的所述一个或多个报头附加到包括所述编码视频的有效载荷；以及

加密模块，其被配置为对所述编码视频和附加报头进行加密，

14.根据权利要求13所述的系统，还包括：

15.根据权利要求13所述的系统，还包括：

16.根据权利要求13所述的系统，其中，所述格式化电路的操作取决于所述编码器报头数据的数量和类型。

17.根据权利要求13所述的系统，其中，所述元数据报头数据包括帧速率、时间戳和色彩转换公式中的一个或多个。

18.根据权利要求13所述的系统，其中，所述系统被合并到计算系统中。

19.根据权利要求18所述的系统，其中，所述计算系统包括便携式计算系统。

20.根据权利要求18所述的系统，其中，所述计算系统包括智能电话。