CN117083864A - 用于均衡来自hbbtv服务的主音频及辅助音频的设备及方法 - Google Patents

Abstract

本发明描述一种在HbbTV终端装置中进行音频处理的方法。所述方法包含：接收包含第一音轨的经解码广播源；接收与所述广播源相关的HbbTV内容，所述HbbTV内容包含第二音轨；从所述经解码广播源提取电平相关信息，其中所述电平相关信息被嵌入于所述经解码广播源中且使能获得所述第一音轨的原始音频电平的指示；分析所述第一音轨用于确定所述第一音轨的实际音频电平；基于所述实际音频电平及所述原始音频电平确定增益因子；及基于所述第一音轨、所述第二音轨及所述增益因子产生第三音轨以由所述HbbTV终端装置输出。还描述用于实行所述方法的设备以及对应程序及计算机可读存储媒体。

Description

用于均衡来自HBBTV服务的主音频及辅助音频的设备及方法

相关申请案的交叉参考

本申请案要求以下优先权申请案的优先权：在2021年3月10日申请的美国临时申请案63/159,076(参考文献：D20131USP1)及在2021年3月10日申请的EP申请案21161794.9(参考文献：D20131EP)，所述申请案特此以引用方式并入。

技术领域

本公开涉及音频处理领域。特定来说，本公开涉及用于在HbbTV终端装置中进行音频处理的技术，包含用于均衡来自HbbTV服务的主音轨及辅助音轨的技术。

背景技术

HbbTV(混合广播宽带TV)是一种提供技术平台来无缝组合经由广播递送的TV服务与经由宽带(或大体上任何合适的IP连接)递送的服务的行业标准(ETSI TS102 796，例如，V1.5.1版本或任何先前或后续版本)。

HbbTV服务可用于发送可与主音轨混合的音轨或辅助音轨的不同版本。当广播TV源首先由连接到HbbTV启用的TV(作为HbbTV终端装置的实例)的基本机顶盒(STB)处理时，HbbTV超链接可被添加到主A/V内容使得HbbTV启用的TV可处理所述超链接且向观看者提供相关联辅助内容/服务。

当辅助服务存在于将在主音轨内混合的辅助音轨的递送中(例如，作为音频评论)时或为了临时替换主音轨(例如，作为目标广告板块的部分)，在“一致的”音频电平上进行混合很重要。然而，源STB可在经解码主轨上执行独立音量控制使得HbbTV启用的TV可能未察觉由STB执行的音频均衡。因此，取决于由STB执行的音频均衡，由HbbTV启用的TV进行的主轨与辅助轨的音频混合可能不是处于一致的音频电平下，借此不利地影响(结束)用户体验。

因此，需要在HbbTV终端装置中进行音频处理的经改进方法，其避免主音轨与辅助音轨之间的电平不匹配。

发明内容

鉴于上述内容，本公开提供一种在HbbTV终端装置中进行音频处理的方法以及对应设备(例如HbbTV终端装置)、计算机程序及计算机可读存储媒体，其具有相应独立技术方案的特征。

根据本公开的一方面，提供一种在HbbTV终端装置中进行音频处理的方法。在HbbTV标准的意义上，HbbTV终端装置可为混合装置。即，HbbTV终端装置可符合HbbTV标准(其版本中的任何者中的ETSI TS102 796，例如，版本1.1.1到1.5.1中的任何者及任何即将到来的版本)。所述方法可包含接收经解码广播源。所述经解码广播源可由解码器装置(例如(举例来说)机顶盒(STB))产生及/或可从所述解码器装置接收。解码器装置可经由数字接口(例如(举例来说)HDMI)耦合到HbbTV终端装置。所述经解码广播源可包含第一音轨。所述第一音轨可为广播的主音轨。所述方法可进一步包含接收与所述广播源相关的HbbTV内容。举例来说，所述HbbTV内容可从HbbTV服务器(IP服务器)接收(例如，经由宽带或任何其它合适的IP(因特网)连接)。所述HbbTV内容可包含第二音轨。所述第二音轨可为可用于增强主音轨的辅助音轨或其可用于临时替换所述主音轨。所述方法可进一步包含从所述经解码广播源提取电平相关信息。所述电平相关信息可被嵌入于所述经解码广播源中。可使能获得所述第一音轨的原始音频电平(参考音频电平)的指示。所述方法可进一步包含例如通过从所述电平相关信息导出所述指示或通过参考外部信息源(例如IP服务器)以使用包含于所述电平相关信息中的地址信息(参考信息)检索所述指示来获得所述原始音频电平的所述指示。举例来说，所述原始音频电平的所述指示可由广播器或内容创建器/编辑器提供。所述方法可进一步包含分析所述第一音轨用于确定所述第一音轨的实际音频电平。所述方法可进一步包含基于所述实际音频电平及所述原始音频电平确定增益因子(例如，衰减或增强因子)。所述增益因子可给出由所述解码器装置已施加于所述第一音轨的衰减量或增强量的指示。所述方法又可进一步包含基于所述第一音轨、所述第二音轨及所述增益因子产生第三音轨以由所述HbbTV终端装置输出。所述第三音轨可确保来自所述第一及第二音轨的其比重的一致音频电平。

如上文描述般配置，所提出方法可避免主音轨与任何辅助音轨之间的音频电平不匹配，无论由解码器装置执行的上游音量控制为何。如果解码器装置在将对主音轨的音量控制输出到HbbTV终端装置之前已对主音轨执行音量控制，那么HbbTV终端装置可适当地调整辅助音轨的音频电平以实现一致的聆听体验。举例来说，如果解码器装置已提高主音轨的音量，那么辅助音轨的音频电平也可增强，使得辅助音轨保持在主音轨上可听见，或使得在主音轨临时由辅助音轨替换的情况下音频音量没有下降。同样地，如果解码器装置已降低主音轨的音量，那么辅助音轨的音频电平也可降低，使得辅助音轨不会压过主音轨，或使得在主音轨由辅助音轨临时替换的情况下音频音量不会突然增大。显著地，主音轨与辅助音轨之间的此均衡能力独立于解码器装置的类型，即，可以解码器不可知的方式执行，不会引起遗留问题。

在一些实施例中，从所述经解码广播源提取所述电平相关信息可涉及识别所述经解码广播源中的数字水印。举例来说，所述数字水印可包含于(例如，嵌入于、或压印于)第一音轨中。替代地，例如，其可包含于经解码广播源的视频分量中，注意，广播源的音频及视频分量被同步。所述提取可进一步涉及分析所述数字水印用于导出所述电平相关信息。

借助于数字水印传达电平相关信息确保了所需信息由HbbTV终端装置接收，无需专用数据交换或一般来说来自解码器装置的任何辅助。

在一些实施例中，电平相关信息可指示第一音轨的原始音频电平。替代地，HbbTV内容可从HbbTV服务器接收，且电平相关信息可包含用于从HbbTV服务器获得第一音轨的原始音频电平的指示的参考信息(例如地址信息)。其中，HbbTV服务器可被理解为将HbbTV内容提供到HbbTV终端装置的任何因特网连接的服务器(IP服务器)。举例来说，参考信息可涉及指向HbbTV服务器上的数据资源的地址链接。

借此，由HbbTV终端装置进行主音轨及辅助音轨的音频均衡所需的信息可经由不同通道传输，取决于近期HbbTV用例的特定要求。

在一些实施例中，分析第一音轨可涉及分析第一音轨的音频样本。

在一些实施例中，分析第一音轨可涉及将电平计量算法应用于第一音轨。应理解，电平计量算法可为标准化的电平计量算法。特定来说，相同电平计量算法可用于确定原始音频电平(在广播器或内容创建器/编辑器侧处)且用于确定HbbTV终端侧处的实际音频电平。

在一些实施例中，确定增益因子可涉及比较原始音频电平及实际音频电平以导出增益因子。举例来说，增益因子可为基于原始音频电平与实际音频电平的比率或其间的差异。

在一些实施例中，产生第三音轨可涉及基于增益因子调整第二音轨的音频电平。所述产生可进一步涉及混合第一音轨及电平经调整的第二音轨，或由电平经调整的第二音轨临时替换第一音轨。例如，如果解码器装置在将第一音轨的音频电平输出到HbbTV终端装置之前已降低其，那么第二音轨的音频电平也可在混合之前降低。另一方面，如果解码器装置在将第一音轨的音频电平输出到HbbTV终端装置之前已提高其，那么第二音轨的音频电平也可在混合之前提高。

在一些实施例中，提取电平相关信息及分析第一音轨可对多个连续时间部分中的每一者执行。这些时间部分(或时间窗)可为相对短。例如，时间部分可短于2s(秒)，例如(举例来说)约1s。

因此，由HbbTV终端装置进行的音频均衡可适当地对解码器装置的任何音量控制操作作出实时反应。

在一些实施例中，如果电平相关信息在给定时间部分中从经解码广播源提取，那么第一音轨可在相同给定时间部分中进行分析。

在一些实施例中，方法可进一步包含基于压印于广播源(例如其音频及/或视频分量)及第二音轨上的相应时间戳记同步所述第一及第二音轨。此可涉及例如缓冲及/或延迟第一及第二音轨中的一者。举例来说，时间戳记可作为数字水印被嵌入。同步可被理解为在混合之前执行。时间戳记可比例如每2s一次更频繁地发生。

在一些实施例中，方法可进一步包含在HbbTV终端装置处解码HbbTV内容。此可通过适当地设置HbbTV终端装置的解码器或解码器单元来实现。

在一些实施例中，经解码广播源可从耦合到HbbTV终端装置的解码器装置接收。其中，解码器装置可能能够调整第一音轨的音频电平。即，解码器装置可能能够对广播源执行音量控制，例如，对第一音轨，使得在HbbTV终端装置的输入处的第一音轨的音频电平可为可变的，取决于解码器装置的音量设置。举例来说，所述音量控制可响应于(终端)用户输入来执行。

根据本公开的另一方面，提供一种HbbTV终端装置。所述HbbTV终端装置可包含：第一接口，其用于接收经解码广播源。所述经解码广播源可包含第一音轨。所述HbbTV终端装置可进一步包含：第二接口，其用于接收与所述广播源相关的HbbTV内容。所述HbbTV内容可包括第二音轨。所述HbbTV终端装置可进一步包含：提取单元，其用于从所述经解码广播源提取电平相关信息。所述电平相关信息可被嵌入于所述经解码广播源中且可使能获得所述第一音轨的原始音频电平(参考音频电平)的指示。所述提取单元可进一步经调适以获得(例如，确定、导出或检索)所述原始音频电平的所述指示。所述HbbTV终端装置可进一步包含：分析单元(例如电平计量单元)，其用于分析所述第一音轨用于确定所述第一音轨的实际音频电平。所述HbbTV终端装置可进一步包含：确定单元(例如增益确定单元)，其用于基于所述实际音频电平及所述原始音频电平确定增益因子。所述HbbTV终端装置可又进一步包含：产生单元(例如混合单元)，其用于基于所述第一音轨、所述第二音轨及所述增益因子产生第三音轨以由所述HbbTV终端装置输出。前述单元或接口中的任何者可为计算机实施的，例如，可由HbbTV终端装置的一或多个处理器(计算机处理器)实施。所述设备可进一步包含普通TV装置的组件，例如(举例来说)扬声器及显示器。

根据另一方面，提供一种计算机程序。所述计算机程序可包含当由处理器执行时致使所述处理器实行贯穿本公开描述的方法的所有步骤的指令。

根据另一方面，提供一种计算机可读存储媒体。所述计算机可读存储媒体可存储前面提及的计算机程序。

根据又一方面，提供一种设备，其包含处理器及耦合到所述处理器的存储器。所述处理器可经调适以实行贯穿本公开描述的方法的所有步骤。所述设备可进一步包含上文所描述的接口及/或普通TV装置的组件，例如(举例来说)扬声器及显示器。

应了解，设备特征及方法步骤可以许多方式交换。特定来说，如所属领域的技术人员应了解，所公开方法的细节可由对应设备实现，且反之亦然。此外，上文关于方法(及，例如，其步骤)陈述的任何者被理解为同样适用于对应设备(及，例如，其块、阶段、单元等)，且，反之亦然。

附图说明

本公开的实例实施例在下文参考附图进行解释，其中

图1示意性地说明包含广播服务、IP服务器、解码器装置及HbbTV终端装置的HbbTV框架的实例，

图2示意性地说明解码器装置的实例操作，

图3A及图3B示意性地说明根据本公开的实施例的HbbTV终端装置的实例操作，

图4是示意性地说明根据本公开的实施例的在HbbTV终端装置中进行音频处理的方法的实例的流程图，及

图5示意性地说明根据本公开的实施例的HbbTV终端装置的实例。

具体实施方式

诸图及以下描述涉及仅通过说明的优选实施例。应注意，从以下论述，本文中公开的结构及方法的替代实施例将容易地被承认为可在不背离所要求的内容的原理的情况下采用的可行替代例。

现将详细参考若干实施例，其实例在附图中说明。应注意，在任何情况下，可行的类似或相似参考数字可用于诸图中且可指示类似或相似功能性。诸图描绘所公开系统(或方法)的实施例仅用于说明目的。所属领域的技术人员将从以下描述容易地认识到，可在不背离本文中描述的原理的情况下，采用本文中说明的结构及方法的替代实施例。

在本公开的上下文中，HbbTV终端装置(例如HbbTV启用的TV)被理解为意味着能够经由IP连接(例如宽带因特网连接)并行地从IP服务器(例如HbbTV服务器)接收包含与(普通)广播源(例如，“原始”或经解码)有关的A/V内容及额外内容(例如A/V内容)的广播源的装置。其中，应理解，在一些情况中，广播源可经由数字接口接收。因而，HbbTV终端装置被理解为对应于如由HbbTV标准定义的“混合终端”，即，支持经由宽带(或大体上任何合适的IP连接)及经由广播两者递送A/V内容的终端。其中，宽带被理解为意味着具有足够带宽用于流式传输或下载A/V内容的始终在线的双向IP连接，且广播被理解为意味着例如经典的基于单向MPEG-2传输流的广播，例如DVB-T、DVB-S或DVB-C。广播源可与线性及非线性A/V内容两者相关。线性A/V内容被理解为意味着希望被用户实时观看的广播A/V内容，而非线性A/V内容被理解为意味着从开始到结束无需线性地消耗的A/V内容，例如，根据需要流式传输的A/V内容。

HbbTV服务可用于发送可与主音轨混合或可与主音轨交替的音轨或辅助音轨的不同版本。当广播TV源首先由连接到HBBTV启用的TV(作为HbbTV终端装置的实例)的基本STB处理时，广播器可将HbbTV超链接“加水印”到主A/V内容(例如主音轨)中使得HbbTV启用的TV可处理超链接且将相关联辅助内容/服务提供给观看者。

当辅助服务存在于或涉及将在主音轨内混合或与主音轨交替的辅助音轨的递送时，在“一致的”音频电平上进行混合很重要。问题是源STB将对经解码主轨执行某程度的音量控制且HbbTV启用的TV没有关于由STB执行的音频均衡的信息。

此问题参考图1进一步说明，图1示意性地说明包含广播服务(例如，具有HbbTV链接的主广播服务)30、IP服务器(例如HbbTV IP服务器)40、解码器装置(例如STB)20及HbbTV终端装置(例如HbbTV启用的TV)10的HbbTV框架1的实例。解码器装置20从广播服务30接收广播源(例如主A/V广播源)35。其解码广播源且将经解码广播源25提供到HbbTV终端装置10。经解码广播源25可经由数字连接(例如HDMI链接)被提供到HbbTV终端装置10。其可载送主A/V内容，例如，主音轨及主视频轨。广播源35以及经解码广播源25包含HbbTV服务的加水印的链接，即，经由数字加水印嵌入到广播源的A/V内容(例如主音轨或主视频轨)中的链接。使用这些链接，HbbTV终端装置可经由IP连接从IP服务器40获得(例如，提取、检索)辅助服务，包含辅助A/V内容(例如，一或多个辅助音轨及/或一或多个辅助视频轨)，及解码辅助A/V内容。就音频而言，HbbTV终端装置10混合辅助音轨与主音轨或由辅助音轨临时替换主音轨，其中应理解，临时替换轨(或使轨交替)是将这些轨与彼此混合的极限情况。

在输出到HbbTV终端装置10之前，解码器装置20可对经解码广播源的音频分量(即，对主音轨)执行音频电平控制。HbbTV终端装置10将不会察觉到由解码器装置20进行的任何音频电平控制(音量控制)，这可导致不适当地混合主音轨及辅助音轨。例如，主音轨的音频电平可能已由解码器装置20增强，在此情况中，辅助音轨可能在主音轨上听不到，或当从主音轨转变到辅助音轨时，在主音轨与辅助音轨之间交替可导致可辨别的音频电平下降。同样地，主音轨的音频电平可能已由解码器装置20降低，在此情况中，在辅助音轨存在时主音轨可能不再听得到，或当从主音轨转变到辅助音轨时，在主音轨与辅助音轨之间交替可导致可辨别的音频电平提升。

解码器装置20的实例操作在图2中更详细说明。如上文描述，解码器装置20从广播服务30接收广播源35。A/V程序在A/V解调块210中进行解调。视频解码器块220解码视频分量(例如视频内容、主视频轨)，且音频解码器块230解码音频分量(例如音频内容、主音轨)。HDMI输出块240产生包含经解码视频分量及经解码音频分量的经解码广播源25以输出到HbbTV终端装置10。

总的来说，本公开提出如下般解决前面提及的主音轨与辅助音轨之间的音频电平不匹配的问题。接收由解码器装置(例如源STB)解码并均衡的主音频的HbbTV终端装置(例如HbbTV启用的TV)应使用“标准化的”电平计量算法“测量”接收到的音频的电平(音频电平)及比较其与嵌入于由HbbTV终端装置在辅助音轨处理的或“加水印”于主轨中的所述源中的参考电平元数据。

基于电平差，接着，HbbTV终端装置可在混合之前均衡辅助音轨。这样做可以保证观看者/聆听者对主音频服务及辅助音频服务的一致聆听体验。

换句话说，本公开提出使用(数字)加水印将主音频服务(即，主轨)的实时参考电平(参考音频电平、原始音频电平)嵌入到主音频服务中或通过辅助音频服务递送为元数据使得HbbTV终端装置可关于通过STB处理主广播音频服务执行的均衡解码并均衡辅助音频服务。

其中，主音轨的参考电平在内容创建时进行测量，优选地在短的时间窗内。举例来说，可对语音或以电平门控方式执行此测量，如在ITU-R BS.1770中描述。测量得到的参考音频电平通过加水印于广播源的主音轨或视频流内被传输到HbbTV终端装置，或其可被附加作为辅助音轨(辅助音轨帧)的元数据。在此情况中，应理解，广播源包含允许从HbbTV服务器检索元数据的参考信息。在HbbTV终端装置侧处，音频电平使用相同算法在相同的短时间窗内测量，及与所传输的参考音频电平作比较。如果参考音频电平被附加到辅助音频，那么短时间窗使用加水印于从解码器装置接收的数字(例如，HDMI)源中的时间码在HbbTV内容与广播源的A/V内容之间(即，在TV与数字(例如，HDMI)捕获之间)同步。

HbbTV终端装置10的实例操作在图3A中更详细说明。HDMI Rx块110从解码器装置20接收经解码广播源25。经解码广播源通常包含音频分量及视频分量。音频分量可包括或对应于第一音轨(主音轨)。广播源中加水印的HbbTV链接由处理块120解码。存取HbbTV链接允许向用户呈现例如由处理块130作出替代音频体验的选项。举例来说，此可包含(但不限于)不同语言的音轨或音频评论。对应于选定替代音频体验的HbbTV内容45由处理块140从HbbTV服务器40提取且由解码块150解码。假定HbbTV内容45包含第二音轨(辅助音轨)。另外，第一音轨的参考音频电平的指示从嵌入于广播源的A/V内容中的(电平相关)信息导出或使用电平相关信息作为指针从HbbTV服务器40检索。

并发地，第一音轨的音频电平由测量块160进行测量。接着，测量得到的音频电平可由均衡块170用于均衡第二音轨使得其具有与第一音轨的音频电平一致的音频电平。此可涉及应用基于第一音轨的参考音频电平及测量得到的第一音轨的(即，实际)音频电平确定的增益因子。接着，经均衡的第二音轨(电平经调整的第二音轨)由混合块180与第一音轨混合。由混合块180产生的经混合音轨(第三音轨)可由扬声器190输出。

HbbTV终端装置10的另一实例操作在图3B中说明。HbbTV终端装置10的操作与图3A中说明的操作相同，除了处理块130由处理块130'替换之外，在处理块130'处，HbbTV服务(例如HbbTV系统、HbbTV服务器)代替用户选择替代音频体验。此可为例如针对目标广告板块的情况。在此场景中，HbbTV链接可指示在广播源中存在广告板块。接着，HbbTV服务可自动(即，无需用户干预)例如基于先前收集的用户数据选择与替代广告板块相关的HbbTV内容(例如，包含替代音频及/或视频内容)来取代或替换包含于广播源中的广告板块。在此场景中由处理块140从HbbTV服务器40提取且由解码块150解码的HbbTV内容45对应于替代广告板块。

在HbbTV终端装置(例如，符合其版本中的任何者中的HbbTV标准ETSI TS102796，例如，版本1.1.1到1.5.1中的任何者及任何即将到来的版本)中进行音频处理的对应方法400的实例在图4的流程图中示意性地说明。方法400可由HbbTV终端装置执行且被理解为覆盖图3A及图3B的用例两者。其包括步骤S410到S460。

在步骤S410处，接收经解码广播源。经解码广播源包含第一音轨(例如主音轨)。此经解码广播源可能已由例如(举例来说)STB的解码器装置产生(及从所述解码器装置接收到)。应理解，解码器装置可经由数字接口(例如(举例来说)HDMI)或任何其它合适接口耦合到HbbTV终端装置。如上所述，此解码器装置通常能够执行音量控制及调整第一音轨的音频电平。例如，用户可通过经由解码器装置进行音量控制引起第一音轨的音频电平改变，代替借助于经由HbbTV终端装置的音量控制。因此，在HbbTV终端装置的输入处的第一音轨的音频电平可为可变的，取决于解码器装置的音量设置。举例来说，步骤S410可对应于前面提及的HDMI Rx块110的操作。

在步骤S420处，接收与广播源相关的HbbTV内容。HbbTV内容包括第二音轨(例如辅助音轨)。举例来说，此HbbTV内容可从HbbTV服务器(IP服务器)接收(例如，经由宽带或任何合适的IP连接)。例如，可使用超链接或嵌入于广播源的(主)A/V内容中的任何其它参考从HbbTV服务器请求及检索HbbTV内容。此类超链接或参考可在规则时间间隔处被加水印到音频及/或视频内容中。此步骤还可包含根据从HbbTV服务器接收或检索HbbTV内容的任何格式解码所述HbbTV内容。此可由适当地设置的HbbTV终端装置的解码器或解码单元来完成。

如上所述，第二(或辅助)音轨可用于与主音轨混合(例如，在音频评论的情况中)或用于临时替换第一音轨或与第一音轨交替(例如，在目标广告板块的情况中)。

举例来说，步骤S420可对应于前面提及的块120、130(或130')、140及150的操作。

在步骤S430处，从经解码广播源提取电平相关信息。其中，电平相关信息被嵌入于经解码广播源中(例如，在音频内容及/或视频内容中)。所述提取可涉及识别经解码广播源中(例如，在第一音轨中或在经解码广播源的视频内容中)的数字水印及分析数字水印用于导出电平相关信息。数字水印可被嵌入于或压印于经解码广播源的音频分量及视频分量中。显著地，广播源的音频分量及视频分量两者可用于载送水印，因为两个分量彼此都紧密同步。

从经解码广播源提取的电平相关信息使能获得第一音轨的原始音频电平(或参考音频电平)的指示。现将更详细描述获得所述指示的两种可能模式。

根据第一模式，原始音频电平的指示可从电平相关信息导出。即，电平相关信息可包含所述指示，或换句话说，电平相关信息本身可指示第一音轨的原始音频电平。在电平相关信息(例如数字水印)可包含前面提及的指示及时间戳记两者的意义上，原始音频电平的指示可为加时间戳记的。

根据第二模式，HbbTV终端装置可指用于检索指示的外部信息源(例如HbbTV服务器或IP服务器)。在此情况中，电平相关信息包括用于从外部信息源获得(例如，请求、存取、检索)第一音轨的原始音频电平的指示的参考信息(例如地址链接、超链接或指向数据资源的其它指针)。类似于第一模式，还是针对第二模式，从外部信息源检索的原始音频电平的指示可为加时间戳记的。

针对两种模式，应理解，原始音频电平的指示最初由广播器或内容创建器/编辑器提供(如果适用的话，与时间戳记一起)。

在步骤S440处，分析第一音轨用于确定第一音轨的实际音频电平。明确来说，分析可涉及第一音轨的样本。执行分析的一种方式是将电平计量算法应用于第一音轨(第一音轨的样本)。优选地，至少在相同电平计量算法已用于确定可使用嵌入于广播源中的电平相关信息获得或导出的原始音频电平(在广播器或内容创建器/编辑器侧处)的意义上，此电平计量算法是标准化的电平计量算法。借此，可确保原始音频电平(参考音频电平)及实际音频电平无需转换直接与彼此作比较。

应理解，可对多个连续时间部分或时间窗中的每一者执行在步骤S430处进行的电平相关信息的提取及在步骤S440处的分析第一音轨。接着，如果电平相关信息在给定时间部分中从经解码广播源提取，那么第一音轨应在相同给定时间部分中进行分析，用于导出增益因子(参阅步骤S450)。原位时间部分可为相对短且可具有短于在字段中由“短项”标示的内容的持续时间，其通常指示2到8秒的持续时间。例如，时间部分的合适长度可为1秒。

举例来说，步骤S440可对应于前面提及的测量块160的操作。

在步骤S450处，基于实际音频电平及原始音频电平确定增益因子。此增益因子可为衰减或增强因子且可给出已由解码器装置施加于第一音轨的衰减量或增强量的指示。增益因子可通过比较原始音频电平及实际音频电平导出。因而，其可为基于例如原始音频电平与实际音频电平之间的比率或差。如果通过比较发现第一音轨(例如主音轨)已由解码器装置衰减，那么第二音轨(例如辅助音轨)也应在用第一音轨替换或与第一音轨混合之前衰减，优选地，衰减相同的量。同样地，如果发现第一音轨已由解码器装置增强，那么第二音轨也应增强，优选地，增强相同的量。

在步骤S460处，基于第一音轨、第二音轨及增益因子产生第三音轨，以由HbbTV终端装置输出。在此，产生第三音轨可涉及基于增益因子调整第二音轨的音频电平(即，模仿据发现已由解码器装置执行的音频电平调整)。例如，如果在步骤S450处发现解码器装置在将第一音轨的音频电平输出到HbbTV终端装置之前已降低其，那么第二音轨的音频电平也可在产生第三音轨之前降低(例如，降低相同的量或基本上类似的量)。另一方面，如果在步骤S450处发现解码器装置在将第一音轨的音频电平输出到HbbTV终端装置之前已提高其，那么第二音轨的音频电平也可在产生第三音轨之前提高(例如，提高相同的量或基本上类似的量)。在对第二音轨进行电平调整之后，第一音轨及电平经调整的第二音轨可混合，或电平经调整的第二音轨可用于临时替换第一音轨。如上所述，可针对多个后续时间部分中的每一者完成此，使得可适当地处置由解码器装置进行音量控制的任何影响。

举例来说，在步骤S460处调整第二音轨可对应于前面提及的均衡块170的操作。此外，例如，混合电平经调整的第二音轨与第一音轨或由电平经调整的第二音轨临时替换第一音轨可对应于前面提及的混合块180的操作。

如上所述，广播源的音频及视频分量(例如，主音频及视频轨)可借助于加水印(即，经嵌入或经压印)的时间戳记紧密同步。此外，第一及第二音轨也可借助于加水印的时间戳记同步。因此，方法400可进一步包含(例如，在步骤S460处的混合之前的任何点处)基于压印于广播源(其合适分量)及第二音轨上的时间相应戳记同步第一及第二音轨。此同步可涉及例如缓冲及/或延迟第一及第二音轨中的一者。

应注意，音频电平比较不一定必须是瞬时的。这意味着增益因子可基于给定时间部分内的实际音频电平及原始音频电平确定，但可用于在稍后时间部分处混合第一音轨及电平经调整的第二音轨或由电平经调整的第二音轨临时替换第一音轨。延迟越短越好，但实际上，在其仅在终端用户指示STB执行音量控制(例如，使用其远程控制件)或使音频减音时才移动的意义上，施加于源STB上的音量电平(音频电平)可被视为准静态的。在此意义上，在执行实际混合时可求助于经确定增益因子的历史。

换句话说，本公开的中央方面是HbbTV终端装置输入处的经测量响度与相同内容板块在进入STB时的原始响度之间的比较。只要终端用户不改变STB处的音量控制，此差异就是恒定的。因此，当HbbTV辅助流开始播放时(例如，在由用户选择之后，或当进入广告板块时)，过去测量的历史已经有了差异(即，增益因子)，且当用户操作STB的音量控制时，任务更多的是赶上变化。没有预期限制，此可被导出例如为预定义数目的过去测量/原始响度比较的滑动平均值(即，预定义数目的过去增益因子的滑动平均值)，或可使用最近计算得到的增益因子。换句话说，用于调整第二音轨的音频电平的当前增益因子可通过计算预定义数目的先前增益因子的滑动平均值来确定，其中先前增益因子通过比较第一音轨的相应先前时间部分的原始音频电平及实际音频电平来确定。一般来说，第一及第二音轨的混合可为基于针对本时间部分计算得到的增益因子，或其可为基于针对先前时间部分(例如，紧接在时间部分之前)确定的一或多个增益因子。

实例计算装置

上文已描述在HbbTV终端装置中进行音频处理的方法。另外，本公开还涉及用于实行此方法的设备(例如HbbTV终端装置或HbbTV终端装置的音频处理模块)。此设备的实例在图5中展示。与图4中说明的方法400一致，设备(例如HbbTV终端装置)500可包括第一接口510、第二接口520、提取单元530、分析单元(电平计量单元)540、确定单元(增益因子确定/计算单元)550及产生单元(混合单元)560。第一接口510可经配置用于接收经解码广播源25，如上文描述。第二接口520可经配置用于接收与广播源相关的HbbTV内容45，如上文描述。提取单元520可经配置用于从经解码广播源25提取电平相关信息，如上文描述。提取单元可进一步经调适以获得(例如，确定、导出或检索)原始音频电平的指示，如上文描述。分析单元540可经配置用于分析第一音轨用于确定第一音轨的实际音频电平，如上文描述。确定单元550可经配置用于基于实际音频电平及原始音频电平确定增益因子，如上文描述。最后，产生单元560可经配置用于基于第一音轨、第二音轨及增益因子产生第三音轨15以由HbbTV终端装置500输出，如上文描述。前面提及的单元或接口中的任何者可为计算机实施的，例如，可由HbbTV终端装置的一或多个处理器(计算机处理器)实施。设备可进一步包含普通TV装置的组件，例如(举例来说)扬声器及显示器。

大体上，本公开涉及一种设备，其包括处理器及耦合到所述处理器的存储器，其中所述处理器经调适以实行本文中描述的方法的步骤。举例来说，处理器可经调适以实施前面提及的接口及/或单元。设备可进一步包含上文描述的接口及/或普通TV装置的组件，例如(举例来说)扬声器及显示器。

本公开进一步涉及一种程序(例如计算机程序)，其包括当由处理器执行时致使所述处理器实行本文中描述的方法的步骤中的一些或全部的指令。

又此外，本公开涉及一种计算机可读(或机器可读)存储媒体，其存储前面提及的程序。在此，例如，术语“计算机可读存储媒体”包含(但不限于)呈固态存储器、光学媒体及磁性媒体的形式的数据存储库。

解译及额外配置考虑

本公开涉及音频处理方法及音频处理设备(例如HbbTV终端装置)。应理解，关于方法及其步骤作出的任何陈述同样且类似地适用于对应设备及其接口/块/单元，且反之亦然。

除非另外明确陈述，否则如从以下论述显而易见，应了解，贯穿本公开，利用例如“处理”、“计算(computing/calcalating)”、“确定”、“分析”或类似物的术语的论述指计算机或计算系统或将表示为物理(例如电子)量的数据操纵及/或变换成类似地表示为物理量的其它数据的类似电子计算装置的动作及/或过程。

以类似方式，术语“处理器”可指处理例如来自寄存器及/或存储器的电子数据以将所述电子数据变换成例如可存储于寄存器及/或存储器中的其它电子数据的任何装置或一装置的任何部分。“计算机”或“计算机器”或“计算平台”(例如HbbTV终端装置)可包含一或多个处理器。

在一个实例实施例中，本文中描述的方法可由接受含有当由处理器中的一或多者执行时会实行本文中描述的方法中的至少一者的指令集的计算机可读(也称为机器可读)代码的一或多个处理器执行。包含能够执行指定将采取的动作的指令集(循序或以其它方式)的任何处理器。因此，一个实例是包含一或多个处理器的典型的处理系统。每一处理器可包含CPU、图形处理单元及可编程DSP单元中的一或多者。处理系统进一步可包含包括主RAM及/或静态RAM及/或ROM的存储器子系统。可包含总线子系统用于在组件之间通信。处理系统进一步可为具有通过网络耦合的处理器的分布式处理系统。如果处理系统需要显示器，那么可包含此显示器，例如，液晶显示器(LCD)或阴极射线管(CRT)显示器。如果需要手动数据输入，那么处理系统还包含输入装置，例如字母数字输入单元(例如键盘)、指向控制装置(例如鼠标)、远程控制件等等中的一或多者。处理系统还可涵盖存储系统，例如磁盘驱动单元。在一些配置中，处理系统可包含声音输出装置及网络接口装置。存储器子系统因此包含计算机可读载体媒体，其载送包含用以致使在由一或多个处理器执行时执行本文中描述的方法中的一或多者的指令集的计算机可读代码(例如软件)。注意，当方法包含若干元素(例如，若干步骤)时，不暗含此类元素的排序，除非明确陈述。软件可驻留于硬盘中，或在其由计算机系统执行期间也可完全或至少部分驻留于RAM内及/或处理器内。因此，存储器及处理器也构成载送计算机可读代码的计算机可读载体媒体。此外，计算机可读载体媒体可形成或被包含于计算机程序产品中。

在替代实例实施例中，一或多个处理器作为独立装置操作或可连接(例如，联网)到其它处理器，在联网部署中，一或多个处理器可在服务器-用户网络环境中以服务器或用户机器的身份操作或在对等或分布式网络环境中作为对等机器操作。一或多个处理器可形成HbbTV终端装置。

注意，术语“机器”还应被理解为包含个别地或共同执行一指令集(或多个指令集)以执行本文中论述的方法中的任一或多者的任何机器集合。

因此，本文中描述的方法中的每一者的一个实例实施例呈载送指令集的计算机可读载体媒体的形式，例如，用于在一或多个处理器(例如，作为网络服务器布置的部分的一或多个处理器)上执行的计算机程序。因此，如所属领域的技术人员应了解，本公开的实例实施例可体现为方法、例如专用设备的设备、例如数据处理系统的设备或计算机可读载体媒体(例如计算机程序产品)。计算机可读载体媒体载送包含在于一或多个处理器上执行时致使所述处理器或若干处理器实施一种方法的指令集的计算机可读代码。因此，本公开的方面可采取方法、完全硬件实例实施例、完全软件实例实施例或组合软件及硬件方面的实例实施例的形式。此外，本公开可采取载送体现于媒体中的计算机可读程序代码的载体媒体(例如，计算机可读存储媒体上的计算机程序产品)的形式。

软件可进一步经由网络接口装置在网络上传输或接收。虽然在实例实施例中载体媒体是单种媒体，但术语“载体媒体”应被理解为包含存储一或多个指令集的单种媒体或多种媒体(例如集中式或分布式数据库及/或相关联高速缓存及服务器)。术语“载体媒体”还应被理解为包含能够存储、编码或载送供处理器中的一或多者执行且致使一或多个处理器执行本公开的方法中的任一或多者的指令集的任何媒体。载体媒体可采取许多形式，包含(但不限于)非易失性媒体、易失性媒体及传输媒体。非易失性媒体包含例如光盘、磁盘及磁光盘。易失性媒体包含动态存储器，例如主存储器。传输媒体包含同轴缆线、铜线及光纤，包含包括总线子系统的线。传输媒体还可采取声波或光波的形式，例如在无线电波及红外数据通信期间产生的声波或光波。举例来说，术语“载体媒体”应相应地被理解为包含(但不限于)：固态存储器、体现于光学媒体及磁媒体中的计算机产品；媒体，其承载可由至少一个处理器或一或多个处理器检测到的且表示当执行时实施方法的指令集的经传播信号；及网络中的传输媒体，其承载可由一或多个处理器中的至少一个处理器检测到的且表示指令集的经传播信号。

应理解，在一个实例实施例中，所论述方法的步骤由执行存储于存储装置中的指令(计算机可读代码)的处理(例如，计算机)系统的一(或若干)适当处理器执行。还应理解，本公开不限于任何特定实施方案或编程技术，且本公开可使用用于实施本文中描述的功能性的任何适当技术来实施。本公开不限于任何特定编程语言或操作系统。

贯穿本公开对“一个实例实施例”、“一些实例实施例”或“实例实施例”的参考意味着结合实例实施例描述的特定特征、结构或特性包含于本公开的至少一个实例实施例中。因此，在贯穿本公开的各个地方出现短语“在一个实例实施例中”、“在一些实例实施例中”或“在实例实施例中”不一定全都指同一实例实施例。此外，如所属领域的一般技术人员应从本公开明白，在一或多个实例实施例中，特定特征、结构或特性可以任何合适方式组合。

如本文中使用，除非另外指定，否则使用序数形容词“第一”、“第二”、“第三”等描述共同物体仅指示参考相似物体的不同例子且不希望暗含如此描述的物体必须以时间方式、空间方式、排名或以任何其它方式在给定序列中。

在下文权利要求书及本文中的描述中，术语包括(comprising/comprised of/which comprises)中的任一者是意味着包含至少下文的元件/特征但不排除其它者的开放术语。因此，术语包括在用于权利要求书中时不应被解译为限于此后列举的构件或元件或步骤。举例来说，一种包括A及B的装置的表述的范围不应限于仅由元件A及B组成的装置。如本文中使用，术语包含(including/which includes/that includes)中的任一者也是也意味着至少包含跟随所述术语的元件/特征但不排除其它者的开放术语。因此，包含与包括同义且意味着包括。

应了解，在本公开的实例实施例的上述描述中，本公开的各种特征有时被一起分组到单个实例实施例、图或其描述中用于使本公开精简且帮助理解各种发明方面中的一或多者的目的。然而，本公开的此方法不应被解译为权利要求书需要比每一权利要求中明确引述的更多特征的意图。实情是，如以下权利要求书反映，发明方面在于少于前文公开的单个实例实施例的所有特征。因此，描述之后的权利要求书特此明确并入到此描述中，其中每一权利要求自身独立作为本公开的单独实例实施例。

此外，如所属领域的技术人员应理解，虽然本文中描述的一些实例实施例包含一些但不包含包含于其它实例实施例中的其它特征，但不同实例实施例的特征的组合意味着在本公开的范围内，且形成不同实例实施例。举例来说，在以下权利要求书中，所要求实例实施例中的任何者可以任何组合使用。

在本文中提供的描述中，陈述众多特定细节。然而，应理解，可无需这些特定细节实践本公开的实例实施例。在其它例子中，未详细展示众所周知的方法、结构及技术以便使对此描述的理解清楚。

因此，虽然已描述据信是本公开的最佳模式的内容，但所属领域的技术人员将认识到，在不背离本公开的精神的情况下，可对其作出其它及另外修改，且希望要求如落于本公开的范围内的所有此类变化及修改。举例来说，上文给出的任何公式仅表示可使用的程序。可从框图添加或删除功能性，且操作可在功能块当中互换。可将步骤添加到在本公开的范围内描述的方法或从所述方法删除步骤。

可从下文列举的实例实施例(EEE)了解本发明的各种方面：

EEE1.一种在HbbTV终端装置中进行音频处理的方法，所述方法包括：

接收经解码广播源，所述经解码广播源包含第一音轨；

接收与所述广播源相关的HbbTV内容，所述HbbTV内容包括第二音轨；

从所述经解码广播源提取电平相关信息，其中所述电平相关信息被嵌入于所述经解码广播源中且使能获得所述第一音轨的原始音频电平的指示；

分析所述第一音轨用于确定所述第一音轨的实际音频电平；

基于所述实际音频电平及所述原始音频电平确定增益因子；及

基于所述第一音轨、所述第二音轨及所述增益因子产生第三音轨以由所述HbbTV终端装置输出。

EEE2.根据EEE 1所述的方法，其中从所述经解码广播源提取所述电平相关信息涉及：

识别所述经解码广播源中的数字水印；及

分析所述数字水印用于导出所述电平相关信息。

EEE3.根据EEE 1或2所述的方法，

其中所述电平相关信息指示所述第一音轨的所述原始音频电平；或

其中所述HbbTV内容从HbbTV服务器接收，且所述电平相关信息包括用于从所述HbbTV服务器获得所述第一音轨的所述原始音频电平的所述指示的参考信息。

EEE4.根据EEE 1到3中任一EEE所述的方法，其中分析所述第一音轨涉及分析所述第一音轨的音频样本。

EEE5.根据EEE 1到4中任一EEE所述的方法，其中分析所述第一音轨涉及将电平计量算法应用于所述第一音轨。

EEE6.根据EEE 1到5中任一EEE所述的方法，其中确定所述增益因子涉及比较所述原始音频电平及所述实际音频电平以导出所述增益因子。

EEE7.根据EEE 1到6中任一EEE所述的方法，其中产生所述第三音轨涉及：

基于所述增益因子调整所述第二音轨的所述音频电平；及

混合所述第一音轨及所述电平经调整的第二音轨，或由所述电平经调整的第二音轨临时替换所述第一音轨。

EEE8.根据EEE 1到7中任一EEE所述的方法，其中所述提取所述电平相关信息及所述分析所述第一音轨是针对多个连续时间部分中的每一者执行。

EEE9.根据EEE 1到8中任一EEE所述的方法，其中，如果所述电平相关信息是在给定时间部分中从所述经解码广播源提取，那么所述第一音轨在所述相同给定时间部分中进行分析。

EEE10.根据EEE 1到9中任一EEE所述的方法，其进一步包括基于压印于所述广播源及所述第二音轨上的时间相应戳记同步所述第一及第二音轨。

EEE11.根据EEE 1到10中任一EEE所述的方法，其进一步包括在所述HbbTV终端装置处解码所述HbbTV内容。

EEE12.根据EEE 1到11中任一EEE所述的方法，其中所述经解码广播源从耦合到所述HbbTV终端装置的解码器装置接收，所述解码器装置能够调整所述第一音轨的所述音频电平。

EEE13.一种HbbTV终端装置，其包括

第一接口，其用于接收经解码广播源，所述经解码广播源包含第一音轨；

第二接口，其用于接收与所述广播源相关的HbbTV内容，所述HbbTV内容包括第二音轨；

提取单元，其用于从所述经解码广播源提取电平相关信息，其中所述电平相关信息被嵌入于所述经解码广播源中且使能获得所述第一音轨的原始音频电平的指示；

分析单元，其用于分析所述第一音轨用于确定所述第一音轨的实际音频电平；

确定单元，其用于基于所述实际音频电平及所述原始音频电平确定增益因子；及

产生单元，其用于基于所述第一音轨、所述第二音轨及所述增益因子产生第三音轨以由所述HbbTV终端装置输出。

EEE14.一种设备，其包括处理器及耦合到所述处理器的存储器，其中所述处理器经调适以实行根据EEE 1到12中任一EEE所述的方法的步骤。

EEE15.一种计算机程序，其包括当由计算装置执行时致使所述计算装置实行根据EEE 1到12中任一EEE所述的方法的步骤的指令。

EEE16.一种计算机可读存储媒体，其存储根据EEE 15所述的计算机程序。

Claims (18)

1.一种在HbbTV终端装置中进行音频处理的方法，所述方法包括：

接收经解码广播源，所述经解码广播源包含第一音轨；

接收与所述广播源相关的HbbTV内容，所述HbbTV内容包括第二音轨；

从所述经解码广播源提取电平相关信息，其中所述电平相关信息被嵌入于所述经解码广播源中且使能获得所述第一音轨的原始音频电平的指示；

分析所述第一音轨用于确定所述第一音轨的实际音频电平；

基于所述实际音频电平及所述原始音频电平确定增益因子；及

基于所述第一音轨、所述第二音轨及所述增益因子产生第三音轨以由所述HbbTV终端装置输出。

2.根据权利要求1所述的方法，其中从所述经解码广播源提取所述电平相关信息涉及：

识别所述经解码广播源中的数字水印；及

分析所述数字水印用于导出所述电平相关信息。

3.根据权利要求1或2所述的方法，

其中所述电平相关信息指示所述第一音轨的所述原始音频电平；或

其中所述HbbTV内容从HbbTV服务器接收，且所述电平相关信息包括用于从所述HbbTV服务器获得所述第一音轨的所述原始音频电平的所述指示的参考信息。

4.根据权利要求1到3中任一权利要求所述的方法，其中分析所述第一音轨涉及分析所述第一音轨的音频样本。

5.根据权利要求1到4中任一权利要求所述的方法，其中分析所述第一音轨涉及将电平计量算法应用于所述第一音轨。

6.根据权利要求1到5中任一权利要求所述的方法，其中确定所述增益因子涉及比较所述原始音频电平及所述实际音频电平以导出所述增益因子。

7.根据权利要求1到6中任一权利要求所述的方法，其中产生所述第三音轨涉及：

基于所述增益因子调整所述第二音轨的所述音频电平；及

混合所述第一音轨及所述电平经调整的第二音轨，或由所述电平经调整的第二音轨临时替换所述第一音轨。

8.根据权利要求1到7中任一权利要求所述的方法，其中所述提取所述电平相关信息及所述分析所述第一音轨是针对多个连续时间部分中的每一者执行；及/或

其中，如果所述电平相关信息是在给定时间部分中从所述经解码广播源提取，那么所述第一音轨在所述相同给定时间部分中进行分析。

9.当附属于权利要求6时根据权利要求8所述的方法，其中所述增益因子在所述给定时间部分中确定且其中所述增益因子用于混合所述第一音轨及所述电平经调整的第二音轨或在稍后时间部分处由所述电平经调整的第二音轨临时替换所述第一音轨。

10.根据权利要求1所述的方法，其中确定所述增益因子涉及通过计算在预定义数目的先前增益因子内的滑动平均值来确定当前增益因子，其中所述先前增益因子通过比较所述原始音频电平及所述第一音轨的相应先前时间部分的所述实际音频电平来确定。

11.根据权利要求1到10中任一权利要求所述的方法，其进一步包括基于压印于所述广播源及所述第二音轨上的时间相应戳记同步所述第一及第二音轨。

12.根据权利要求1到11中任一权利要求所述的方法，其进一步包括在所述HbbTV终端装置处解码所述HbbTV内容。

13.根据权利要求1到12中任一权利要求所述的方法，其中所述经解码广播源从耦合到所述HbbTV终端装置的解码器装置接收，所述解码器装置能够调整所述第一音轨的所述音频电平。

14.根据权利要求13所述的方法，其中所述解码器装置是机顶盒STB。

15.一种HbbTV终端装置，其包括

第一接口，其用于接收经解码广播源，所述经解码广播源包含第一音轨；

第二接口，其用于接收与所述广播源相关的HbbTV内容，所述HbbTV内容包括第二音轨；

提取单元，其用于从所述经解码广播源提取电平相关信息，其中所述电平相关信息被嵌入于所述经解码广播源中且使能获得所述第一音轨的原始音频电平的指示；

分析单元，其用于分析所述第一音轨用于确定所述第一音轨的实际音频电平；

确定单元，其用于基于所述实际音频电平及所述原始音频电平确定增益因子；及

产生单元，其用于基于所述第一音轨、所述第二音轨及所述增益因子产生第三音轨以由所述HbbTV终端装置输出。

16.一种设备，其包括处理器及耦合到所述处理器的存储器，其中所述处理器经调适以实行根据权利要求1到14中任一权利要求所述的方法的步骤。

17.一种计算机程序，其包括当由计算装置执行时致使所述计算装置实行根据权利要求1到14中任一权利要求所述的方法的步骤的指令。

18.一种计算机可读存储媒体，其存储根据权利要求17所述的计算机程序。