CN102160358B - 小蜂窝无线网络中的客户设备的上游信号处理 - Google Patents

小蜂窝无线网络中的客户设备的上游信号处理 Download PDF

Info

Publication number
CN102160358B
CN102160358B CN200980136482.0A CN200980136482A CN102160358B CN 102160358 B CN102160358 B CN 102160358B CN 200980136482 A CN200980136482 A CN 200980136482A CN 102160358 B CN102160358 B CN 102160358B
Authority
CN
China
Prior art keywords
resource
data
constrained devices
media data
loudness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980136482.0A
Other languages
English (en)
Other versions
CN102160358A (zh
Inventor
C·鲍伊尔
B·G·克罗克特
C·Q·罗宾逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN102160358A publication Critical patent/CN102160358A/zh
Application granted granted Critical
Publication of CN102160358B publication Critical patent/CN102160358B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Abstract

提供处理媒体数据以用于质量增强的方法、装置和存储介质中的程序逻辑。该媒体数据用于在无线设备处呈现。从位置远离无线设备但接近得足以指示设备的环境中的类似量的一个或更多个传感器接受环境量。传感器处于网络节点处或与网络节点连接。在网络节点处，该方法包括使用所述环境量处理媒体数据以产生经处理的数据，以及向资源受限设备无线发送经处理的输出以供呈现，使得经处理的输出可被资源受限设备使用以呈现或者以处理和呈现该媒体数据。

Description

小蜂窝无线网络中的客户设备的上游信号处理
相关申请的交叉引用
本申请要求2008年9月19日提交的美国专利临时申请No.61/098,566的优先权，在此以引用方式包含其全部内容。
技术领域
本公开一般涉及媒体数据的信号处理，诸如流式(streaming)音频数据的和视频数据的信号处理。
背景技术
无线便携式设备在普及性和功能性方面持续发展。这种越来越普及的设备包括诸如Apple的iPod之类的媒体播放器、蜂窝式电话、诸如由Heli、Linksys等制造的设备之类的基于无线IP的电话、诸如Microsoft Zune、Apple iPhone等的无线网络兼容多媒体设备、诸如Sony PSP、Nokia N Gage等的便携式游戏机以及可用于发送、接收和/或呈现(render)通信和/或多媒体数据的许多其它设备。这样的设备可典型地包含诸如数字信号处理器(DSP)或微控制器之类的处理系统和包含软件指令的存储器。虽然这样的便携式设备在处理能力和功能性、和/或延长的电池寿命方面持续改善，但是，与诸如计算机、网络适配器和路由器和/或固定核心网络设备(fixed core networkdevices)之类的非便携式处理系统相比，这些设备仍然具有有限的信号处理能力和/或其它的资源。典型地，便携式设备优选是小的，优选是不昂贵的、具有有限的处理能力、有限的存储器资源且/或具有有限的电池功率。
诸如无线个人区域网络(WPAN)和微微蜂窝(picocell)的蜂窝电话网络之类的小蜂窝无线网络是已知的。它们共同具有与蜂窝中的一个或更多个客户设备通信的基站，该基站在蜂窝式电话网络的情况下被称为基站，而在无线网络的情况下被称为接入点(access point)。它们还共同具有米或更小的量级的相对较小的蜂窝。在这种系统中，具有电池寿命相对较长的、小的相对不昂贵的客户设备是十分重要的。
与客户设备完全相反，诸如服务器计算机系统、网络适配器、网络路由器、无线基站/接入点和/或某些固定核心网络设备中的固定处理系统之类的与无线客户设备通信的固定处理系统具有明显更大的信号处理能力和相对不受限的对于电力的接入。因此，固定系统典型的特征为相对较高速处理能力、比便携式设备大得多的存储能力和几乎不受限的对于电力的接入。
一般地，与固定处理系统相比具有有限的(一个或多个)资源的诸如便携式设备之类的设备在这里被称为“有限资源设备”。基站在这里指的是无线地向资源有限设备传送媒体数据的接入点、蜂窝式基站或类似的无线收发器。
US5802467描述了一种用于声音和数据发送和接收的无线通信、命令、控制和感测系统。WO02/27985描述了一种用于基于测量的参数对于无线电设备进行自动音量控制的系统。
附图说明
图1A和图1B示出包含根据本发明的实施例的无线资源有限设备的无线布置的两个不同的例子的简化框图。
图1C示出包含媒体数据的上游处理并且例如描述图1A和图1B的特定实施例的装置实施例的简化框图。
图2A示出本发明的实施例的示例应用中的单过道客机中的几排座位的简化视图。
图2B示出六个座位的一个示例微微蜂窝，每个座位包含声音输入传感器，本发明的实施例可对于该示例微微蜂窝进行操作。
图3示出本发明的方法实施例的简化流程图。
图4示出本发明的实施例的简化框图，在该实施例中，视频数据经由信号处理装置无线地向包含高动态范围(HDR)视频显示器的便携式设备以流方式被传送(streamed)。
图5示出根据本发明的实施例的包含使用相对于客户设备远程产生的环境噪声信息和元数据的音频内容的噪声补偿上游处理的例子的装置的简化框图。
图6A～6D示出描述质量增强信号处理的一些实施例的功能框图，其中，音频信号被修正(modify)以产生修正的音频，使得部分特性响度(specific loudness)-存在干扰噪声时的特性响度-接近使用前馈(feed-forward)布置的目标特性响度。
图7描绘用于噪声补偿的前馈布置中体现的本发明的方面的示例实施例，在所述用于噪声补偿的前馈布置中，预处理将输入音频分成多个频率带。
具体实施方式
概述
本发明的实施例包括方法、装置和在一个或更多个计算机可读的有形介质中编码以实施方法的程序逻辑。该方法要使用在某位置处收集的一个或更多个环境量而对媒体数据实施质量增强信号处理，该位置远离资源受限设备但与该资源受限设备接近得足以使得这些环境量指示与设备附近相同的相应量。该处理要产生供资源受限设备使用以呈现媒体数据的经处理的输出。
本发明的特定的实施例包含使用处理硬件处理媒体数据以用于质量增强的方法。媒体数据用于由资源受限无线设备呈现。该方法包含接受从一个或更多个传感器确定的一个或更多个感测的环境量。所述传感器处于某位置处，该位置远离资源受限设备但与该资源受限设备接近得足以使得所述环境量与处于资源受限设备附近的传感器指示相同的相应环境量。该方法还包括：在位于远离所述资源受限设备的该位置处的或与该位置耦合的网络节点处，使用所述环境量处理所述媒体数据以产生经处理的数据，所述传感器处于该网络节点中或与该网络节点连接；以及，向资源受限设备无线发送经处理的输出以供呈现，使得经处理的输出能够被资源受限设备使用以呈现或者以处理和呈现所述媒体数据。
在该方法的一些实施例中，所述网络节点包含无线网络的基站。
在该方法的一些实施例中，所述经处理的输出包含用于由资源受限设备呈现的经处理的媒体数据。
此外，在该方法的一些实施例中，在资源受限设备处发生一些媒体数据处理，并且，经处理的输出包含供资源受限设备对于该资源受限设备处的媒体数据处理所使用的助手数据。
在称为“流式传送实施例”的方法的一些实施例中，媒体数据包含以下中的一个或更多个1)向资源受限设备以流方式传送的媒体数据，和/或2)作为涉及资源受限设备的双向通信的一部分，跨无线网络交互地向资源受限设备以流方式传送的媒体数据。
在一些流式传送实施例中，媒体数据包含音频数据，所述一个或更多个环境量包含指示环境中的噪声的声学分布(acoustic profile)的至少一个量，并且，所述质量增强处理包含噪声补偿。在一些模式中，噪声补偿包含：使用一个或更多个响度水平参数和声学噪声分布的一个或更多个参数，从音频数据产生修正参数。通过在感知响度域(perceptual loudness domain)中对信息实施操作，产生所述修正参数。噪声补偿还包含基于所述修正参数修正音频数据，以产生经处理的音频数据。所述一个或更多个响度水平参数包含是否接通音频噪声补偿、用于资源受限设备的基准水平、希望的再现水平和/或噪声补偿量中的一个或更多个。
在一些噪声补偿方法实施例中，其中，媒体数据的质量增强处理包含向音频数据施加的自动增益控制、动态范围压缩和/或均衡中的一个或更多个。
在一些流式传送实施例中，媒体数据包含视频数据，所述一个或更多个环境量包含指示环境中的照明的至少一个参数，并且，质量增强处理包含根据所述参数中的一个或更多个来修正视频数据的对比度和/或明度(brightness)。
在一些流式传送实施例中，媒体数据包含视频数据，所述一个或更多个环境量包含指示环境中的照明的至少一个参数，并且，资源受限设备包含平板显示设备，该平板显示设备具有依赖于位置的背光照明元件，各背光照明元件根据随视频数据被发送到资源受限设备的依赖于图像的调制数据而被调制。质量增强处理包含修正视频数据的对比度和/或明度。网络节点处的数据处理包含根据所述一个或更多个参数中的至少一个来产生所述依赖于图像的调制数据。
特定的实施例包含当被处理系统的至少一个处理器执行时使得实施在本概述部分中描述的方法实施例中的任一项的程序逻辑。例如，在计算机可读存储介质中体现这种程度逻辑。
特定的实施例包含计算机可读介质，所述计算机可读介质中具有当被处理系统的至少一个处理器执行时使得实施在本概述部分中描述的方法实施例中的任一项的程序逻辑。
特定的实施例包含一种用于实施媒体数据的质量增强处理的至少一部分的装置。该装置包括：网络节点，被配置为与资源受限设备无线连接；和一个或更多个传感器，与所述网络节点连接或处于所述网络节点中。所述传感器处于某位置处，该位置远离资源受限设备但与该资源受限设备接近得足以使得从这些传感器确定的所述环境量与处于资源受限设备附近的传感器指示相同的相应一个或更多个环境量。该装置还包括与所述网络节点连接或处于所述网络节点中的处理硬件，所述处理硬件被配置为接受所述一个或更多个环境量，并且实施媒体数据的数据处理，以使用所接受的环境量中的至少一些来产生经处理的输出，实现质量增强。所述网络节点进一步被配置为向资源受限设备无线发送所述经处理的输出，使得所述经处理的输出能够被资源受限设备使用以呈现或以处理和呈现所述媒体数据。所述装置的一些实施例被配置为实施在本概述部分中描述的方法实施例中的任一项。
特定的实施例包含用于实施媒体数据的质量增强处理的至少一部分的装置。该装置包括包含至少一个处理器的处理系统和存储设备。该存储设备配置有当被执行时使得该装置实施在本概述部分中描述的方法实施例中的任一项的程序逻辑。
特定的实施例可提供这些方面、特征或优点中的全部或一些或者不提供它们中的任何。特定的实施例可提供一个或更多个其它的方面、特征或优点，本领域技术人员从这里的附图、描述和权利要求可容易理解这些其它的方面、特征或优点中的一个或更多个。
一些示例实施例
一些实施例的典型体系结构
图1A和图2B示出包含根据本发明的实施例的无线资源有限设备的无线布置的两个不同的例子的简化框图。
图1C示出描述本发明的实施例的简化框图。图1A和图1B中的每一个中所示的特定的实施例均可通过图1C的布置来描述。
图1A示出第一示例布置，在所述第一示例布置中，媒体数据向客户设备以流方式被传送，以供在客户设备处呈现。包含网络101，基站103与该网络101耦合。注意，在本描述中，同义地并且可交换地使用术语“基站”。“基站”是在描述蜂窝式通信网络时常用的术语，而“接入点”是在描述基础设施型无线局域网络时常用的术语。基站103包含无线电收发器107、处理子系统和存储子系统113，无线电收发器107耦合包含至少一个天线的天线子系统105，处理子系统包含处理器111。存储子系统113包含一个或更多个存储器元件和诸如磁盘之类的可能的一个或更多个其它的存储元件。这里，子系统113被统称为存储设备。在一些实施例中，如这里描述的那样，存储设备包含程序逻辑，例如，当被执行时使得基站实施本发明的方法实施例的方法步骤的指令。
基站被配置为与资源受限客户设备121无线通信。特别地，基站被设计为以流方式传送诸如用于在(资源受限)客户设备121处呈现的音频数据、或者音频数据和视频数据之类的媒体数据。资源设备包括用于例如从基站103接收无线发射的天线子系统123，以及一个或更多个换能器，例如用于用其它的部件呈现音频的扬声器/耳机和/或用于用其它的部件呈现视频的显示屏。
本发明的一个实施例被设计为以流方式传送诸如音频数据、或者音频数据和视频数据之类的媒体数据。
图1A包含与网络101耦合的一个或更多个媒体服务器-图中所示的一个示例媒体服务器131-的形式的媒体数据的源。作为这种服务器常见地，服务器101包含处理系统和存储子系统135，所述处理系统包含处理器133，所述存储子系统135包含存储器和可能的诸如光学和/或磁媒体系统之类的一个或更多个其它的存储元件。计算机可读存储子系统135包含当被处理器133执行时使得服务器经由网络101提供媒体数据的指令137。
作为一个特定的例子，客户设备121是个人音频回放设备，并且，(一个或多个)输出换能器包括飞机中的头戴式耳机，用于收听经由网络101以流方式传送的音频节目。作为另一特定的例子，客户设备121是个人视频回放设备，并且，(一个或多个)输出换能器包括飞机中的显示屏，用于观看经由网络101以流方式传送的视频数据。在任一种情况下，媒体数据以流方式被传送，以用于在资源受限客户设备121处呈现，并且，资源受限客户设备121呈现媒体数据以用于经由一个或更多个输出换能器125进行收听和/或观看。
本发明的一个方面包含通过实施信号处理来修正媒体数据以用于由客户设备121呈现，所述信号处理使用指示客户设备121的环境的一个或更多个感测的环境量。一个或更多个传感器109被配置为感测一个或更多个环境量。环境量的例子包含但不限于音频的情况下的噪声特性和视频的情况下的背景照明。本发明的一个方面在于，一个或更多个传感器处于某位置处，该位置远离客户设备121但是与资源受限设备接近得足以使得所感测的环境量指示与资源受限设备附近相同的相应的一个或更多个环境量。在图1A的实施例中，(一个或多个)传感器109处于基站103处，即，直接与基站103耦合。这限制资源有限设备处的电力的使用，并且还限制资源有限客户设备121处的信号处理量。
本发明的一个方面是修正媒体数据的方法以用于由与包含基站103的无线网络无线耦合的资源受限设备121进行呈现。处理系统，例如，包含处理器111的处理系统，从(一个或多个)传感器109接收一个或更多个所感测的环境量。该处理系统被配置为使用接收的所感测的环境量来数据处理媒体数据，以产生经处理的输出，例如，经处理的媒体数据和/或在便携式设备中使用的用于处理便携式设备处的媒体数据的助手数据。在一个实施例中，由处理系统进行的这种数据处理包含：使用接收的所感测的环境量产生修正参数，以及基于修正参数处理媒体数据以产生经处理的媒体数据。经处理的媒体数据和/或助手数据被无线发送到资源受限设备121以供呈现，或者经由(一个或多个)输出换能器被发送，或者以供处理和呈现。因此，可通过不具有设备121的资源限制并且远离设备121的处理器来实施使用呈现设备121的环境中的环境量但是需要可能在呈现设备121中受到限制的资源的信号处理方法。
在此，以下更详细地描述可有利地使用所示布置的几个这种信号处理方法。
虽然在一些实施例中媒体数据的源处于上游并且从这种源被发送到客户设备121，但是，在本发明的其它的实施例中，媒体数据的源处于客户设备121中而不是处于网络上游的独立的设备处。在这样的实施例中，媒体数据向上游被发送到包含处理器111的处理系统。这种处理系统接收媒体数据和一个或更多个所感测的环境量。
图1B描述其中无线客户设备121例如经由与网络101耦合的基站103作为移动电话参于双向会话的第二例子。注意，这里使用相同的附图标记表示具有与图1A类似的功能的元件。尽管使用相同的附图标记，包含由元件实现功能所使用的手段的任何特定的元件的细节可在实施例之间不同。对于图1B的该例子，基站103的操作与图1A的基站的不同在于，其是所谓的“轻重量”的基站，它包含包括收发器107在内的最少的部件，其功能性被也与网络101耦合的控制器141控制。控制器141包含处理子系统和存储子系统145，所述处理子系统包含至少一个处理器143。存储子系统145包含一个或更多个存储器元件和诸如磁盘之类的可能的一个或更多个其它的存储元件。这里，子系统145被统称为存储设备。控制数据和指令通过安全控制协议经由网络被传送，使得基站与控制器组合以与诸如图1A所示之类的特征更加丰富的基站类似的方式操作。在一些实施例中，如这里描述的那样，存储设备包含指令，例如，作为使得基站103实施本发明的方法实施例的方法步骤的计算机程序147。
基站103例如通过存储子系统145中的程序被配置为与资源受限客户设备121无线通信。特别地，基站被设计为接收作为用于在(资源受限)客户设备121处呈现的音频数据的媒体数据，并且接收媒体数据，所述媒体数据例如为由传感器收集的音频数据，传感器例如为客户设备121中的麦克风。资源设备包含用于例如从基站103接收无线发射的天线子系统123和一个或更多个输入/输出换能器125，所述一个或更多个输入/输出换能器125例如为用于呈现的扬声器/耳机和用于接收音频的麦克风。
本发明的一个实施例被设计为：作为涉及资源受限设备121的双向通信的一部分，跨包含基站103和资源的无线网络，将诸如音频数据之类的媒体数据交互地以流方式传送到资源受限设备121。这种应用的一个好例子是蜂窝式电话。
除了控制器131，图1B包含媒体数据的源，所述媒体数据的源具有与能够将媒体数据以流方式传送到资源有限设备121或一些其它的资源有限设备的图1A的媒体服务器类似的媒体服务器131的形式，所述媒体数据例如为娱乐或其它消息。
本发明的一个方面是通过实施信号处理来修正供客户设备121呈现的媒体数据，所述信号处理使用指示客户设备121的环境的一个或更多个所感测的环境量。一个或更多个传感器109被配置为感测一个或更多个环境量。环境量的例子包含但不限于音频的情况下的噪声特性和/或视频的情况下的背景照明。本发明的一个方面在于，所述一个或更多个传感器处于某位置处，该位置远离客户设备121但与资源受限设备接近得足以使得所感测的环境量指示与资源受限设备附近相同的相应的一个或更多个环境量。在图1B的实施例中，(一个或多个)传感器109处于基站103处，即，直接与基站103耦合。这限制资源有限设备处的电力的使用，并且还限制资源有限客户设备121处的信号处理量。
处理系统，例如包含控制器141处的处理器143的处理系统，经由基站103和网络101从(一个或多个)传感器109接收所述一个或更多个所感测的环境量。处理系统被配置为使用接收的所感测的环境量来数据处理媒体数据，以产生经处理的输出，例如，媒体数据和/或用于在资源受限设备121处进一步处理媒体数据的助手数据。在一个实施例中，由处理系统进行的这种数据处理包含：使用接收的所感测的环境量产生修正参数，以及基于修正参数处理媒体数据以产生经处理的媒体数据。控制器被配置为使得经处理的媒体数据和/或助手数据被无线发送到资源受限设备121，以用于经由(一个或多个)输出换能器呈现或者以供处理和呈现使用。因此，可通过不具有设备121的资源限制并且远离设备121的处理器来实施使用呈现设备121的环境中的环境量但是需要可能在呈现设备121中受到限制的资源的信号处理方法。
虽然在一些实施例中媒体数据的源处于上游并且从这种源被发送到客户设备121，但是，在本发明的其它的实施例中，媒体数据的源处于客户设备121中而不是处于网络上游的独立的设备处。因此，图1A和1B中示出的客户设备121包括其中可存储媒体数据的存储装置。在这样的实施例中，媒体数据向上游被发送到包含处理器111的处理系统。这种处理系统接收媒体数据和一个或更多个所感测的环境量。
在此，以下更详细地描述可有利地使用所示的布置的几个质量增强信号处理方法。
示例性应用
在图1A和图2B的例子中，传感器与客户设备121之间的距离相对较小。一个例子是微微蜂窝网络。考虑例如飞机座位。假定客户设备是用于收听经由基站向微微蜂窝的客户机以流方式被传送的材料的一对无线耳机。微微蜂窝包含飞机中的座位集合的座位子集。在替换性应用中，再次考虑例如飞机座位并且假定客户设备是用于从事双向会话的蜂窝式电话，所述双向会话包含收听经由基站向微微蜂窝的客户设备以流方式传送的材料。微微蜂窝包含飞机中的座位集合的座位子集。假定作为第二例子，无线客户设备121是被设计为与例如处于飞机座位附近的微微蜂窝无线连接的音乐播放器，并且飞机提供存储于无线客户设备121中的音乐数据的质量增强服务。
图2A示出本发明的实施例的示例应用中的单过道客机中的几排座位201的简化视图。在本例子中，两排的两个座位过道形成微微蜂窝203，从而示出四个这种微微蜂窝，每个微微蜂窝203包含基站209和共计六个座位。
图2B示出六个座位的一个示例微微蜂窝203。各座位205包含声音输入传感器，例如，任何乘客的头部附近的座位的背部的麦克风207。最左最前座位被示为其中有乘客。对于该乘客，蜂窝电话211以简化的放大形式被示出。各麦克风207直接与基站耦合。作为各乘客的替换性的客户设备，无线头戴式耳机213(也以简化夸张的放大形式被示出)也是可用的。
使得蜂窝电话手持机211和头戴式耳机极其不昂贵以不需要许多的处理并且也不需要许多的电力从而使得再充电和/或电池更换不频繁是有利的。但是还希望通过实施考虑环境(例如，乘客附近的环境噪声)的信号处理来改善乘客对于传送给乘客的例如音频的体验。
在替换性的方案中，飞机为经由其微微蜂窝无线网络连接其音频回放设备的乘客提供质量增强服务是有利的。
客户设备211和213中的每一个遵循图1A和图1B所示的一般结构。基站可以是遵循图1A所示的一般体系结构的完整基站，或者是遵循图1B的体系结构的轻重量基站，即使用一些其它结构的基站。
注意，在该应用的替换性的模式中，在微微蜂窝203中使用更少的麦克风207。例如，可以使用一个麦克风以获得整个微微蜂窝区域203的背景噪声量。
虽然图2A和图2B示出与音频相关的应用，但是，类似的应用适用于在作为客户设备并且具有受限资源的便携式视频设备上观看视频或静止图像。
方法实施例
图3示出例如由图1C所示的装置执行的本发明的方法实施例和图1A和图1B中的每一个所示的特定的示例实施例的简化流程图。图中示出修正媒体数据、例如为了质量增强而进行修正以由与无线网络无线耦合的资源受限设备呈现的方法300。该方法包含：在301中，从一个或更多个传感器109接收一个或更多个所感测的环境量。传感器109处于某个位置处，该位置远离资源受限设备121但与资源受限设备121接近得足以使得所感测的环境量指示与资源受限设备121附近相同的相应的一个或更多个环境量。
该方法还包含：在303中，在位于传感器109的所述位置处或与该传感器109的所述位置耦合的网络节点161处，即远离资源受限设备121的所述位置处，使用接收的所感测的环境量来数据处理媒体数据，以产生经处理的输出，例如，经处理的媒体数据，或者用于在资源受限设备处的处理中使用的助手数据，或者经处理的媒体数据和助手数据这两者。
该方法包含：在305中，向资源受限设备121无线发送经处理的输出(经处理的媒体数据和/或助手数据)以供呈现，或者以供在资源受限设备121处的处理和呈现。
在一些实施例中，媒体数据包含音频数据，例如用于质量增强处理的音频数据。在一些其它的实施例中，媒体数据包含用于质量增强处理的视频数据。在一些实施例中，媒体数据包含用于质量增强处理的音频数据和用于质量增强处理的视频数据这两者。
在一些实施例中，网络节点161包含无线网络的基站。通过术语“无线网络的基站”来包括自身具有用于实施处理的处理能力的基站131或经由网络与具有用于实施处理的处理能力的元件耦合的基站131。因此，术语“基站”覆盖图1A以及图1B的情形。
在一些实施例中，媒体数据包含向资源受限设备以流方式被传送的媒体数据。在一些实施例中，媒体数据包含作为涉及资源受限设备的双向通信的一部分而跨无线网络交互地向资源受限设备以流方式被传送的媒体数据。而在其它的实施例中，媒体数据包含向资源受限设备以流方式被传送的媒体数据，并且，媒体数据包含作为涉及资源受限设备的双向通信的一部分而跨无线网络交互地向资源受限设备以流方式被传送的媒体数据。
在一些实施例中，媒体数据源自无线客户机，然后在处理之后被送回到无线客户机。
使用所感测的环境量的处理的类型
本发明不限于使用所感测的环境量的处理的类型，并且，可有利地利用本发明的许多这种类型的信号处理操作是已知的。可利用移动设备的环境附近的声学噪声分布的估计的音频数据的质量增强信号处理技术包含在感知域中实施的处理，感知域也称为感知响度域或简称为响度域。在一个实施例中，这种处理包含噪声补偿。在一些噪声补偿实施例中，处理另外包含自动增益控制、动态范围压缩和/或动态均衡中的一个或更多个。
可利用远离但接近无线设备获得的环境照明的估计的用于视频数据的质量增强信号处理技术包含饱和度调整、明度调整和对比度调整等，其包括例如产生用于调制平板显示设备的一组背光照明元件的依赖于图像的信号，所述平板显示设备使用多个被独立调制的发光元件，诸如用于对所谓的高动态范围(HDR)显示器的背光照明的LED。
HDR显示器的示例性实施例
HDR显示器和它们背后的技术被与本发明的受让人有关的杜比实验室有限公司(Dolby Laboratories，Inc.)作为DOLBYCONTRAST、DOLBY HDR和DOLBY VISION而在市场上销售。现在正在被构建的HDR显示器使用诸如被调制的发光二极管(LED)用于背光被调制光源。这样的背光有时被称为IMLED(单独调制的LED阵列)背光。在一种形态中，各LED的明度被8位信号控制，因此，各LED具有256个明度阶梯。不是在LCD屏幕后面具有单个光源，而是根据被示出的场景中的本地明度和对比度以被调制的方式背后照明多个小的区域。
通过对视频信号实施处理获得调制信号，以产生更多地调制用于背光照明的LED的信号。对于更多的细节，参见例如Helge Seetzen，Wolfgang Heidrich，Wolfgang Stuerzlinger，Greg Ward，LorneWhitehead，Matthew Trentacoste，Abhijeet Ghosh，AndrejsVorozcovs：“High dynamic range display systems，”ACMTransactions on Graphics(TOG)，Volume 23，Issue 3，Special Issue：Proceedings of the 2004 SIGGRAPH Conference(August 2004)。还参见美国专利申请6,891,672。
用于从视频信号确定调制信号的信号处理并非无关紧要的。因此，资源受限观看设备可能不能进行这种处理。但是，可根据接近资源受限观看设备的环境而被提供、确定或测量的一个或更多个参数，有利地在上游实施这种信号处理。
因此，根据本地观察条件(例如，观看环境的明度)修正对比度和明度是已知的。在一个实施例中，与处理元件连接但远离无线客户机的环境传感器确定接近观看环境的明度的测量。环境明度被提供给上游处理。在一个实施例中，发送一个或更多个其它的参数，例如，表示对比度增强的量的参数，表示观看者希望的明度设定的参数，等等。上游处理器从资源有限观看设备接收了这样的参数，并且实施信号处理以确定LED设备的背光照明的水平。典型地，背光照明是单色的，并且分辨率远比主视频低下。较低分辨率背光照明数据与视频信号一起被发送到资源有限设备，根据接收的参数被调整，并且通过资源有限观看设备被组合呈现。
图4示出其中媒体数据经由信号处理装置403向便携式设备被以流方式传送的本发明的实施例的简化框图，在这种情况下，该便携式设备为包含HDR视频显示器413的无线设备511，该HDR视频显示器413由LCD面板415和一定数量的被单独调制的发光二极管器件417构成，所述一定数量的被单独调制的发光二极管器件417提供依赖于空间的调制的背光照明。当然，这种图4示出显示器413是最简化的二维形式。与信号处理装置403耦合的设备421包含光传感器325，该光传感器325被配置为测量无线便携式设备411附近的周围光的指示。在示出的实施例中，作为提供元数据的用户接口(UI)，还包含麦克风423，以获得音频噪声环境量。周围光环境量以例如为每秒一次的某种速率，与关于音频和/或视频的质量增强处理的元数据的一个或更多个其它项和/或其它的环境量一起被提供给上游信号处理装置403。上游信号处理装置包含HDR信号处理器405，该HDR信号处理器405被配置为接受周围光环境量和视频媒体数据，并进一步被配置为处理视频数据，以产生可由便携式设备使用的调制信号以产生用于HDR显示器413中的被单独调制的LED设备417的信号。该处理是要不仅根据视频信号中的亮度(luminance)而且还根据在便携式设备409处观看视频的周围照明，增强视频中的对比度。根据元数据的其它项和例如背景噪声的可能的其它的环境量，处理装置403可另外包含其它的音频和/或视频质量增强处理。
在一些实施例中，信号处理块403包含处理器和存储设备，所述存储设备包含程序逻辑，所述程序逻辑被配置有用于实施根据本发明的一些实施例的方法步骤的指令。
噪声补偿的示例性实施例
图5示出装置实施例的简化框图，其中，媒体数据包含音频数据，并且，至少一个环境量从无线便携式设备511附近的设备521指示由至少一个传感器523测量的无线设备511的环境附近的声学噪声分布。质量增强处理在上游处理块503中被实施，并且包含使用元数据和由设备521产生的环境噪声量的噪声补偿。下面更详细地描述这种噪声补偿。在一些这种实施例中，噪声补偿包含使用一个或更多个响度水平参数和指示声学噪声分布的一个或更多个环境量而从音频数据产生修正参数。通过在所谓的“感知域”中对信息实施操作而产生修正参数。噪声补偿包含基于修正参数修正音频数据以产生被无线发送到便携式设备511的经处理的音频数据。作为例子，响度水平参数包含以下中的一个或更多个：是否接通音频噪声补偿、用于资源受限设备的基准水平、希望的再现水平和/或噪声补偿量。在一些变型例中，音频数据的处理还包含以下中的一个或更多个：向音频数据施加的AGC、动态范围压缩和/或动态均衡。图5示出可被发送的元数据和环境量的一些典型的值。环境量包含噪声功率的估计，例如，某数量的带的集合中的噪声大小提供环境量。由包含于设备521中的处理器确定它们，设备521从所包含的麦克风523接受输入。在一个实施例中，确定和使用20个噪声谱大小值。在另一实施例中，使用40个噪声谱大小值。对于水平调整(leveling)和噪声补偿中有经验的人发现，基于当今的处理能力，在实施20和40个频率带中的水平调整和噪声补偿之间，提供良好的结果。当然，随着技术进展，可能使用更多的谱带，并且，在甚至上游处理也被某种程度限制的一些状况下，可能使用更少的频率带因而更少的谱噪声值。该元数据和环境量被上游信号处理系统503接受，所述上游信号处理系统503具有执行音频噪声补偿的容量和能力，例如为包含噪声补偿处理块505的系统503。
典型地，以大大低于音频数据的频率范围的速率测量和提供环境量，例如约每秒一组量。
在一些实施例中，信号处理块503包含处理器和存储设备，该存储设备包含程序逻辑，该程序逻辑配置有用于实施根据本发明的一些实施例的方法步骤的指令。
在一个实施例中，对于基于响度的噪声补偿，以下的元数据参数和环境信息提供足以用于包含噪声补偿处理的上游信号处理的信息，以处理向例如便携式设备的客户设备以流方式传送的音频数据。示出在一个实施例中使用的单元和一些典型的值：
参数1：噪声补偿接通/关断(0或1)
参数2：便携式设备基准再现水平(75dB)
参数3：目标再现水平(-20dB)
参数4：噪声谱估计，例如，大约每秒一次发送20～40个噪声谱大小值。
参数5：噪声补偿量(1-10)
本领域技术人员将清楚理解，图4和图5只描述了可由具有图1C的一般结构的不同实施例实施的可能的音频数据质量增强信号处理和/或视频数据质量增强信号处理的几个例子。
更详细的感知域中的处理
本发明不限于音频媒体数据的任何特定类型的质量增强处理。但是，为了阐明本发明的实施例的有利的用途，在本部分中描述噪声补偿-音频质量增强信号处理方法的例子，其在这里在所谓的感知域、也称为感知响度域或简称为响度域中发生。在质量增强信号处理中确定和使用感知域中的感知的响度的测量是已知的。参见例如发明名称为METHOD，APPARATUS，AND COMPUTER PROGRAM FORCALCULATING AND ADJUSTING THE PERCEIVED LOUDNESSOF AN AUDIO SIGNAL、作为WO 2004111994公布的国际专利申请No.PCT/US2004/016964以及发明名称为CALCULATING ANDADJUSTING THE PERCEIVED LOUDNESS AND/OR THEPERCEIVED SPECTRAL BALANCE OF AN AUDIO SIGNAL、作为WO 2006047600公布的国际专利申请No.PCT/US2005/038579。还参见发明名称为CALCULATING AND ADJUSTING THEPERCEIVED LOUDNESS AND/OR THE PERCEIVED SPECTRALBALANCE OF AN AUDIO SIGNAL、作为WO 2007120453公布的国际专利申请No.PCT/US20075/007946。这些申请中的每一个指定美国。这些公布WO 2004111994、WO 2006047600和WO 2007120453中的每一个的内容以引用方式被包含在这里。还参见Alan Seefeldt：“Loudness Domain Signal Processing，”paper 7180，Proceedings，123rd Convention of the Audio Engineering Society，New York，NY，USA，5-8 2007。这里描述的音频质量增强信号处理方法的一些的细节在这些公开的专利申请和公开的论文中。
质量增强信号处理方法包含从在感知响度域中实施的计算中确定修正参数，以及根据修正参数修正音频媒体数据。通过确定感知响度域中的修正参数，与在电气信号域中导出这样的修正参数相比，可以实现在感知响度和感知的谱平衡上的更大的控制。另外，与在电气信号域中导出修正参数的布置相比，在执行响度域计算中使用基膜(basilar membrane)仿真心理声学滤波器组或其等同物可提供对感知的谱的更详细的控制。
常常预期在规定的基准水平处再现音频媒体数据。但是，在许多情况下，媒体数据在降低的水平处被回放。取决于再现水平，在音频的感知中存在变化是已知的。这种变化与心理声学以及寂静中的听力的等响度线(equal loudness contour)和阈值有关。当与在基准水平处回放的相同的媒体数据相比时，改变的回放水平可导致音频的音质和空间感知的显著差异。本发明的一些实施例的质量增强信号处理包含以改进的方式确定和调整音频信号的感知响度。使用心理声学模型计算感知单元中的音频信号的响度的测量。这种感知域响度测量被称为特性响度，并且是作为频率和时间的函数的感知响度的测量。作为一个例子，使用在感知域中确定的参数的音量控制方法包含使用信号处理方法以计算宽带乘性增益，该宽带乘性增益当被施加到音频时导致增益修正的音频的响度基本上与基准响度相同。该增益调整方法包含取决于将音频恢复到要在基准回放水平处被感知的方式的回放水平来分析和修正音频的信号处理方法。已发现，这导致音频媒体数据的改善的成像、可理解性和可听性。以下给出更多的细节。
作为音量水平调整的噪声补偿(任选地具有动态范围控制和/或自动增益控制)
噪声补偿是存在(并考虑)噪声时的音量水平调整的例子。音量水平调整，也称为响度水平调整和响度补偿的水平调整，包含：通过修正音频信号来导出可用于控制音频信号的特性响度的信息，以便减小音频信号的特性响度和目标特性响度之间的差值，以及其他步骤。在实际的实现中，可以使修正的音频信号的特性响度近似目标特性响度。可不仅通过普通的信号处理考虑而且还通过可在修正中使用的时间和/或频率平滑来影响该近似。所述方法包含以音频信号的特性响度的形式确定音频信号的感知响度，并且确定向音频信号的多个带施加的多带增益，以修正音频信号。在一些实施例中，信号的修正动态地向音频施加多带增益修正，使得音频媒体数据的感知响度保持恒定。当与音频系统的音量控制结合使用它时，音量控制器被变换并且不再效仿控制被发送到放大部分的音频信号水平的电阻器。作为替代，音量控制器现在向指示用户希望的感知响度再现水平的水平调整方法提供输入。
噪声补偿-存在噪声干扰的情况下的水平调整
在许多音频回放环境中，存在干扰收听者希望听到的音频的背景噪声。例如，移动的汽车中的收听者可能正在安装的立体声系统上播放音乐，并且，来自引擎和道路的噪声会显著改变音乐的感知。特别地，对于其中噪声的能量相对于音乐的能量非常显著的谱的部分，音乐的感知的响度降低。如果噪声的水平足够大，那么音乐被完全掩盖。本发明的一些实施例中的质量增强信号处理包含补偿在音频回放环境中进行干扰的背景噪声的方法。音频的部分特性响度被定义为在存在诸如噪声之类的二次干扰声音信号的情况下的音频的感知响度。一些实施例中的信号处理包含通过修正音频信号来确定可用于控制音频信号的部分特性响度的信息，以便减小音频信号的部分特性响度和目标特性响度之间的差值。这样做以感知方面精确的方式减轻噪声的影响。
具有自动增益控制或动态范围压缩的噪声补偿
存在噪声的情况下的水平调整可被用于确定被用于修正再现的音频的感知响度的修正信息，以匹配用户希望的响度水平。可以使用这一点来实现自动增益控制和/或动态范围压缩。以下更详细地描述用于实现自动增益控制和动态范围压缩的水平调整的细节。
动态均衡(DEQ)
与存在噪声的情况下的简单的水平调整不同，作为修正音频以匹配用户希望的感知响度水平的替代，动态均衡改变音频以匹配预设或用户定义的均衡或谱平衡分布(profile)。由于特性响度是作为频率和时间的函数的音频信号的感知响度的测量，因此，为了减小音频信号的特性响度和目标特性响度之间的差值，该修正可作为频率的函数修正音频信号。虽然在一些情况下目标特性响度可以是时不变的并且音频信号自身可以是稳态时不变信号，但是，典型地，该修正也可作为时间的函数修正音频信号。在时变和频变缩放因子的情况下，可通过希望的谱形状的测量与音频信号的谱形状的测量的比率来缩放特性响度。可以使用这种缩放，将音频信号的感知谱从时变感知谱变换成基本上时不变的感知谱。当通过希望的谱形状的测量与音频信号的谱形状的测量的比率缩放特性响度时，这种缩放可被用作动态均衡器。
在包含诸如噪声补偿之类的水平调整的感知域处理的情况下，接收的感测的环境量包含指示接近资源受限设备的环境的环境的声学噪声分布的一个或更多个参数。元数据包含一个或更多个响度水平调整参数。媒体数据的处理包含噪声补偿，其可能包含向音频数据施加的动态范围压缩和/或均衡。噪声补偿包含使用一个或更多个响度水平参数和声学噪声分布的一个或更多个参数从音频数据产生修正参数，并且基于修正参数修正音频数据，以产生经处理的音频数据。通过在感知响度域中对信息实施操作来产生修正参数。所述一个或更多个响度水平参数包含基准再现水平、希望的再现水平和/或水平调整量中的一个或更多个。
在特定的实施例中，接收的感测的环境量包含指示资源受限设备的环境中的声学噪声分布的一个或更多个参数。向音频数据施加的噪声补偿根据一个或更多个参数，包括：(a)接收的感测的环境量中的一个或更多个，其包含指示资源受限设备的环境中的声学噪声分布的至少一个参数；和(b)音频噪声补偿是否被接通、资源受限设备的基准水平和/或包含希望的再现水平一个或更多个处理参数，以及噪声补偿量。
基于感知域的质量增强处理的更详细的概述
在以下的整个描述中，使用诸如“滤波器”或“滤波器组”之类的术语以基本上包含诸如无限脉冲响应(IIR)滤波器或变换以及有限脉冲响应(FIR)滤波器之类的递归和非递归滤波的任何形式。“经滤波的”信息意味着应用这种滤波器或这些滤波器的结果。以下描述的实施例采用通过变换实现的滤波器组。
如上所述，可有益地包含于本发明的实施例中的感知响度域中的音频质量增强信号处理操作包含噪声补偿，其包含在存在噪声干扰的情况下的水平调整。这种噪声补偿可能有益地与动态范围控制或自动增益控制和/或动态均衡(DEQ)组合。
这些实施例包含确定音频信号的特性响度，以及基于从接近资源受限设备的位置的位置发送的环境量确定噪声的特性响度。质量增强信号处理包含从一个或更多个传感器接收噪声的测量，所述一个或更多个传感器位置远离资源有限设备但接近得足以指示资源有限设备的环境中的噪声，并且通过修正音频信号控制音频信号的部分特性响度，以便减小其部分特定响度和目标特性响度之间的差值。质量增强信号处理可包含通过根据一个或更多个处理和一个或更多个处理控制参数来处理音频信号或其测量，处理音频信号，以产生具有目标特性响度的信号。
目标特性响度可以是音频信号的函数，或者不是音频信号的函数。在后一种情况下，目标特性响度可以是存储的目标特性响度，或者作为参数接收或从接收参数确定的目标特性响度。在这种情况下，该修正或该导出可显式或隐式计算特性响度或部分特性响度。隐性计算的例子包含查找表或通过计算其中固有地确定特性响度和/或部分特性响度的数学表达式。
前馈布置
图6A～6D示出描述质量增强信号处理的一些实施例的功能框图，其中，使用前馈布置，修正音频信号以产生修正的音频，使得部分特性响度接近目标特性响度。特别地，图6A示出其中向两个路径施加音频信号611的前馈拓扑，所述两个路径为：信号修正路径601，具有一个或更多个处理或设备，所述一个或更多个处理或设备被配置为响应一个或更多个修正参数619修正音频信号611；和参数产生控制路径，具有参数产生控制路径602，所述参数产生控制路径602被配置为产生这样的修正参数619。图6A的前馈拓扑例子中的信号修正路径601可以是设备或处理，所述设备或处理根据从参数产生控制路径602接收的修正参数619，以频变和/或时变方式修正音频信号，例如其振幅。在一个实施例中，参数产生控制路径602至少部分地在感知响度域中操作，而信号修正路径601在电信号域中操作并且产生修正的音频信号615。
信号修正路径601和参数产生控制路径602一起被配置为修正音频信号以减小其特性响度和目标特性响度623之间的差值。
在一个实施例中，信号修正路径601和参数产生控制路径602中的每一个处理首先被预处理操作或设备处理的信号。因此，图6A包含预处理功能块603，该预处理功能块603产生经预处理的音频613。
在图6A的前馈例子中，参数产生控制路径602可包含几个处理和/或设备：在图6A中，参数产生控制路径602包含计算特性响度块605，该计算特性响度块605包含一个或更多个处理和/或设备，所述一个或更多个处理和/或设备被配置为一般响应于音频信号611或音频信号的测量，并且在示出的示例实施例中响应经预处理的音频信号613，计算音频信号的特性响度617。参数产生控制路径602包含计算修正参数块607，该计算修正参数块607响应特性响度或激励617、目标特性响度623、由于诸如噪声之类的二次干扰音频信号621的激励或特性响度，计算修正参数。计算修正参数块607由此也接收这种二次干扰音频信号的测量作为输入，或者接收其二次干扰信号自身作为其输入之一。如在此后以及在WO 2006047600和WO 2007120453中更详细地描述的那样，二次干扰信号的测量可以是其激励。将干扰信号的测量或该信号自身应用于图6A中的计算修正参数块607使得适当配置的这种处理或设备能够计算将干扰信号考虑在内的修正参数619以实现噪声补偿。
在图6A的前馈例子中，部分特性响度没有被显式计算-图6A的计算修正参数块607计算适当的修正参数以使得修正的音频的部分特性响度近似目标特性响度623。在反馈和混合配置中，也可以计算部分特性响度。
在一些实施例中，如图6B所示，控制路径602的计算修正参数块607的目标特性响度由目标特性响度块631确定，该目标特性响度块631包含一个或更多个处理或设备，所述一个或更多个处理或设备被配置为一般响应音频信号或其测量并且在示出的实施例中响应经预处理的音频信号613，计算目标特性响度623。这种计算目标特性响度块631可执行一个或更多个函数“F”，这些函数中的每一个可具有函数参数。例如，它可计算音频信号的特性响度，并然后向其应用一个或更多个函数F，以提供目标特性响度623。这在图6A中被示意性地表示为向计算目标特性响度块631的“函数和/或函数参数”输入633。
在一些实施例中，如图6C所示，目标特性响度623可由包含于参数产生控制路径602中或与其相关联的作为存储元件635被示意性地示出的存储处理或设备提供。
此外，如图6D所示，在一些实施例中，目标特性响度623由总体处理或设备外部的源提供。
因此，修正参数619至少部分基于感知(心理声学)响度域中的计算。
可以显式和/或隐式执行由图6A例子中的处理或设备605和607以及图6B中的631执行的计算。隐性执行的例子包含(1)查找表，其条目全部或部分基于特性响度和/或目标特性响度623和/或修正参数计算；和(2)封闭形式的数学表达式，其固有地全部或部分基于特性响度和/或目标特性响度623和/或修正参数。
虽然图6A和图6B例子的计算块605、607和631被示意性地示出和描述为分开的，但这仅出于说明的目的。可以理解，这些处理或设备中的一些或全部可在单一处理或设备中被组合，或者在多个处理或设备中以各种方式被组合。
目标特性响度可以是音频信号的测量的缩放，诸如音频信号的特性响度。例如，如WO 2006047600和WO 2007120453中详细描述的那样，缩放可以是特性响度的以下的缩放中的一个或组合，其中，b表示频率的测量，例如，预处理603将输入信号分成多个频率带的情况下的带数，t表示时间的测量，表示目标特性响度623，N[b，t]表示音频信号611的特性响度617：
(a)如关系那样的对特性响度的时变和频变缩放因子缩放。
(b)如关系那样的对特性响度的时变、频不变缩放因子Φ[t]缩放。
(c)如关系那样的对特性响度的时不变、频变缩放因子Θ[b]缩放。
(d)如关系那样的对音频信号的特性响度的时不变、频不变缩放因子α缩放。
因此，表示的目标特性响度623可被表达为通过音频信号或音频信号的测量的F组合表示的一个或更多个函数，特性响度N[b，t]是音频信号的一个可能的测量，使得假定一个或多个函数F是可求反的，那么可作为目标特性响度623的一个或多个反函数F-1(N[b，t])来计算未修正的音频信号611的特性响度N[b，t]。
虽然在图6A中示出前馈布置，但是，使用其中计算一个或多个反函数F-1( )的反馈和混合前馈/反馈布置也是已知的。例如，参见WO2006047600和WO 2007120453。但是，为了简化展示，这里仅描述前馈配置。
无论是否使用查找表、封闭形式数学表达式或某种其它的技术，参数产生控制路径602的操作都使得计算基于感知(心理声学)响度域，即使特性响度和目标特性响度623不能被显式计算。或者存在显式特性响度，或者存在名义的隐式特性响度。类似地，或者存在显式目标特性响度623，或者存在名义的隐式目标特性响度623。在任一种情况下，修正参数的计算寻求产生修正音频信号的修正参数，以减小特性响度和目标特性响度623之间的差值。
修正参数619当被信号修正路径601应用于音频信号(或经预处理的音频信号)时减小所得到的修正的音频的部分特性响度和目标特性响度623之间的差值。在理想情况下，修正的音频信号615的部分特性响度紧密地近似目标特性响度623或与目标特性响度623相同。
在一些实施例中，预处理例如使用滤波器组将音频信号分成多个频率带。在这样的实施例中，如在后面更详细地描述的例子中那样，修正参数619可采取向从603中的滤波器组导出的频率带施加的时变增益因子的形式。在替代性的实施例中，修正参数619被施加到时变滤波器的系数。因此，在所有的图6A例子中，信号修正路径601可被实现为例如多个振幅缩放器，每个振幅缩放器在一个频率带中操作，或者被实现为时变滤波器，例如，多抽头FIR滤波器或多极点IIR滤波器。
虽然如何确定特性响度或部分不是关键或必不可少的，但是，一些实施例在计算特性响度块605中使用在上述的国际申请公布WO2004/111964中阐述的技术，其中，该计算从两个或更多个特性响度模型函数的组中选择特性响度模型函数中的一个或者两个或更多个的组合，其选择由输入音频信号的特性的测量来控制。
根据本发明的其它的方面，未修正的音频信号611和(1)修正参数619或者(2)目标特性响度623或目标特性响度623的表示可被存储或被传送以供例如在时间和/或空间分离的设备和处理中使用，所述目标特性响度623的表示例如为可用于显式或隐式计算目标特性响度623的缩放因子。修正参数、目标特性响度623或目标特性响度623的表示可以以任何适当的方式确定。在实际中，诸如图6A的例子中的前馈布置是最不复杂并且是最快的，因为它避免基于修正的音频信号615的计算。
图7描绘在其中预处理将输入音频分成频率带的前馈布置中体现的本发明的方面的示例实施例的更多的细节。在实际的实施例中，在数字域中实施音频的处理，使得实施模拟信号的采样和数字化。这样的细节在本说明书中被省略，并且是本领域技术人员会清楚理解的。
音频611首先穿过分析滤波器组函数(function)或设备703，该分析滤波器组函数或设备703将音频信号分成多个频率带。这是本示例实施例的预处理603。图7中的粗线表示多个信号，从而存在多个输出，每个是来自分析滤波器组703的一个频率带。这些频率带中的每一个经受示出的各种处理步骤，直到合成滤波器组723，所述合成滤波器组723将各带相加为组合宽带信号以产生修正的音频信号615。
与分析滤波器组703中的各频率带相关联的滤波器的响应被设计为模拟人的内耳中的基膜的特定位置处的响应。在一些实施例中，分析滤波器组703包含一组线性滤波器，所述一组线性滤波器的带宽和间隔在等效矩形带宽(ERB)频率尺度上是恒定的。
可通过使用短时离散傅立叶变换(短时DFT、STDFT)或修正的离散余弦变换(修正的DCT、MDCT)，有效率地实现分析滤波器组703。可类似地使用STDFT或MDCT以实现合成滤波器组723。
然后，分析滤波器组703中的各滤波器的输出通过而进入传输滤波器函数或设备705，所述传输滤波器函数或设备705被设计为模拟音频通过人的外耳和中耳传输的滤波效果。
为了计算输入音频信号的响度，获得施加传输滤波器705之后的分析滤波器组703的各滤波器中的音频信号的短时能量的测量。该时变和频变测量被称为激励，其被表示为E[b，t]，这里b表示频率带，t表示时间。为了获得激励，传输滤波器705的输出然后通过而进入激励函数或设备707，该激励函数或设备707的输出被设计为模拟沿人耳的基膜的能量的分布。取决于希望的效果，激励能量值可通过平滑函数或设备709在时间上被平滑，所述平滑函数或设备709被设计为具有根据处理的希望的效果的要求而设定的时间常数。激励函数707的输出是每段时间(表示为t)的各ERB带(表示为b)中的能量(表示为E)的频域表现。
特性响度函数或设备711以特性响度(SL)将经平滑的激励信号转换成特性响度。可以例如以宋(sone)每单位频率为单位、例如，宋每ERB，表示特性响度。注意，从特性响度，总体或总响度是所有带b上的特性响度的和。设计特性响度函数711包括对于音调和噪声确定被选择为匹配响度的生长的实验数据的窄带和带宽估计值的增益。此外，特性响度函数711被设计为使得当激励处于听力的阈值时特性响度是某个小的值而不是零，并且使得随着激励减小为零时特性响度单调减小为零。激励E[b，t]向表示为N[b，t]的特性响度的转换通过这里由Ψ{·}表示的函数进行，使得特性响度表示为N[b，t]＝Ψ{E[b，t]}。
取决于处理的特定的希望的一个或多个效果，与频率带相关联的特性响度成分被传递进入产生目标特性响度的特性响度修正函数或设备713。如上面参照图6B描述的那样，一些实施例中的目标特性响度根据处理的希望的效果而是输入音频的特性响度的函数。可例如在音量控制的情况下使用缩放因子计算目标特性响度。对于自动增益控制(AGC)的情况，或者对于动态范围控制(DRC)的情况，可使用希望的输出响度与输入响度的比率来计算目标特性响度。一个实施例包含将表示为N[b，t]的特性响度在带上进行平滑而不是在每个带上独立执行DRC，使得施加的DRC的量从一个带到下一个带不急剧改变。
在动态均衡(DEQ)的情况下，可使用考虑当前的音频谱的关系来计算目标特性响度，特别地，信号的谱被测量，并且然后，信号被动态修正，以便将测量的谱变换成基本上静态的希望的形状，所述基本上静态的希望的形状在带b上被规定并且被称为EQ[b]。音频信号的谱形状由L[b，t]表示，并且，在一个实施例中，作为特性响度的时间上的平滑而被确定，被表示为N[b，t]。如对于多带DRC那样，可能不希望DEQ修正从一个带到下一个带急剧改变，因此，可以施加带平滑函数以产生带平滑的谱。为了保存音频的原始动态范围，希望的谱EQ[b]应被归一化以与由L[b，t]给出的测量的谱形状具有相同的总响度。在一个实施例中，规定参数，例如，表达要施加的DEQ的量的从0变为1的参数，使得值0表示没有DEQ。因而，SL修正713可在各带上独立地操作，或者，在带之间可能存在互相依赖性。
实施例还以与块703、705、707和709的操作对应的方式包括通过分析滤波器组733、传输滤波器735、激励737和平滑739进行的噪声激励的测量。噪声激励与来自平滑709的音频的激励和来自SL修正713的目标特性响度一起馈送到增益求解器631中。
以来自平滑器709的经平滑的激励频率带成分、来自平滑器739的经平滑化的激励频率带成分和来自SL修正713的目标特性响度623为其输入，增益求解器函数或设备715被配置为确定为了将确定的部分特性响度变换成目标特性响度623而需要向各带施加的增益。确定的增益一般是频变和时变的增益，当被应用于音频输入和噪声的原始激励时，该频变和时变的增益导致在理想情况下等于希望的目标特性响度的部分特性响度，并且，在实际中导致修正音频信号，以便减小部分特性响度和目标特性响度之间的差值。可以以各种方式实现增益求解器515。如果封闭形式的计算是可能的，那么应用它。如果表查找是可能的，那么也可使用这种表查找。在一个实施例中，增益求解器可包含迭代过程，在该迭代过程中，对于各迭代，使用当前的增益估计来评价部分特性响度。将得到的部分特性响度与希望的目标相比较，并且，基于误差迭代更新增益。在作为WO 2004111964公布的上述的国际专利申请中公开了这种迭代方法。可以设计通过特性响度和目标特性响度的显式或隐式计算来计算修正参数的其它方法，并且，本发明意图覆盖所有这样的方法。
可通过任选的平滑函数或设备719在时间上进一步平滑由增益求解器715产生的每个带的增益，以便使感知伪信号最小化。交替地，在总体处理或设备中的别处施加时间平滑是有利的。
最后，通过相应的乘性组合函数或组合器721向相应带施加由增益求解器715确定的增益，所述乘性组合函数或组合器721向由适当的延迟函数或设备725延迟的来自分析滤波器组的输出施加增益，所述延迟函数或设备725被配置为补偿与增益计算相关联的任何的延迟时间(latency)。
从合成滤波器组函数或设备723中的增益已修正带合成修正音频615。如上所述，可通过使用短时DFT或修正DCT来有效率地实现分析滤波器组703，并且，可类似地使用STDFT或MDCT来实现合成滤波器组723。从在分析滤波器组703中使用的滤波器和延迟725的延迟来确定带的合成滤波器。
注意，作为替换方案，作为计算用于在频率带中施加增益修正的增益的替代，增益求解器715可计算控制诸如多抽头FIR滤波器或多极点IIR滤波器之类的时变滤波器的滤波器系数。为了展示的简化，本发明的各方面主要被描述为采用向频率带施加的增益因子，但是，可以理解也可以在实际的实施例中使用滤波器系数和时变滤波器。
对于噪声补偿，来自增益求解器的表示为G[b，t]的增益使得在存在干扰噪声的情况下的经处理的音频的特性响度等于或接近目标特性响度。为了实现该效果，可使用部分响度的概念。EN[b，t]的表示代表来自噪声的激励，并且，EA[b，t]的表示代表来自没有预设噪声的音频的激励。音频和噪声的组合的特性响度由下式给出：
NTot[b，t]＝Ψ{EA[b，t]+EN[b，t]}，
这里，Ψ{·}再次表示从激励到特性响度的变换。可以假定收听者的听力以保留组合的特性响度的方式在音频的部分特性响度和噪声的部分特性响度之间分割组合的特性响度，这里，表示为NA[b，t]的音频的部分特性响度是希望控制的值，因此，必须对该值求解。WO 2006047600和WO 2007120453描述了可以如何从EN[b，t]、NTot[b，t]、存在噪声的情况下的掩盖的阈值和带b处的寂静中的听力的阈值来近似噪声的部分特性响度，然后，利用当音频的激励等于噪声的掩盖阈值时音频的部分特性响度等于寂静中的阈值处的信号的响度以及当音频的激励远大于噪声的激励时音频的特性响度近似等于不存在噪声的情况下的音频的特性响度的性质，可获得音频NA[b，t]的部分特性响度的表达式。换句话说，随着音频变得远比噪声响亮，噪声被音频掩盖。该表达式包含可凭经验选择的指数值，以作为信噪比的函数对于噪声中的音调的响度的数据给出良好的拟合。噪声的掩盖阈值可被近似为噪声激励自身的函数。
对于噪声补偿，使用修正的增益求解器计算增益G[b，t]，使得存在噪声的情况下的经处理的音频的部分特性响度等于或接近目标特性响度。
在操作的最基本的模式中，图7中的SL修正713可简单地将目标特性响度设定为等于音频N[b，t]的原始特性响度。换句话说，SL修正提供音频信号的特性响度的频率不变的缩放因子缩放。通过诸如图7中的布置，计算增益，使得存在噪声的情况下的经处理的音频的感知响度谱等于不存在噪声的情况下的音频的响度谱。另外，可以与噪声补偿响度修正系统相结合使用包括音量控制、AGC、DRC和DEQ的用于作为原值的函数计算目标特性响度的先前描述的技术中的任一个或者多个的组合。
在实际的实施例中，可从位于将播放音频的环境中或该环境附近的麦克风获得噪声的测量。本发明的一个方面在于，通过与将发生信号处理的系统中的网络元素耦合的传感器而不是在回放资源受限设备处，实施噪声的测量。
比较图6A-4B到图7，通过分析滤波器组703实施预处理块603，通过延迟725和增益乘法721的组合以及合成滤波器组实施修正音频。通过传输滤波器705、激励707、平滑709和特性响度函数711的组合实施计算特性响度块605。计算修正参数计算增益G(b，t)，并且，通过任选地与没有噪声补偿的情况下的平滑719组合的增益求解器715以及通过与分析滤波器组733、传输滤波器735、激励737、平滑739和特性响度函数611组合以及任选地与平滑719组合的增益求解器715而被实施。对于各种应用，如果通过特性响度修正块713实施图6B，那么计算目标特性响度631。
虽然这里以某种详细程度描述了可能具有音量控制、AGC、动态范围控制和/或动态均衡中的一个或更多个的噪声补偿，但是，这决不意味着限制本发明限于的信号处理的类型。本发明适用于对媒体数据的信号处理操作，该信号处理操作可有利地在网络元件处的上游被实施，以产生可被资源受限设备使用的经处理的输出以呈现或者处理和呈现媒体数据，其中在所述网络元件处的上游，使用与资源有限设备的环境有关但远离资源有限设备而获得的信息，足以用于处理的一个或更多个资源是可用的。
注意，虽然以上的描述和专利申请公布WO 2004111994和WO2006047600描述了确定特定响度的一些方法，但是，用于确定特性响度的其它方法也是已知的。参见例如WO 2007120453。
在一个实施例中，计算机可读介质配置有程序逻辑，例如，当被至少一个处理器执行时使得实施这里描述的方法的一组方法步骤的一组指令。
与通用工业术语保持相同，可以互换地使用术语“基站”、“接入点”和“AP”以描述可与多个其它电子设备无线并且基本上同时通信的电子设备，同时，可以互换地使用术语“客户机”、“移动设备”、“便携式设备”和“资源受限设备”以描述具有呈现媒体数据的能力的那些多个其它电子设备中的任一个。但是，本发明的范围不限于标有这些术语的设备。
在本文的上下文中，可以使用术语“无线”及其衍生语以描述可经由非固态介质通过使用经调制的电磁放射线传送数据的电路、设备、系统、方法、技术、通信信道等。该术语不意味着相关联的设备不包含任何导线，虽然在一些实施例中设备可以不包含任何导线。
除非另外特别声明，否则，从以下的讨论可以清楚地看出，能够理解，在整个说明书讨论中，利用诸如“处理”、“计算”、“计算出”或“确定”等的术语指的是计算机或计算系统或者操纵和/或将表达为诸如电子量之类的物理量的数据变换成类似地表达为物理量的其它数据的类似的电子计算设备的动作和/或处理。
以类似的方式，术语“处理器”可指处理例如来自寄存器和/或存储器的电子数据以将该电子数据变换成例如可被存储于寄存器和/或存储器中的其它电子数据的任何设备或设备的一部分。“计算机”或“计算机器”或“计算平台”可包含至少一个处理器。
注意，当描述包括例如为几个步骤的几个要素的方法时，除非特别声明，否则不意味着例如这些步骤的排序的这些要素的排序。
在一个实施例中，这里描述的方法可通过接受在一个或更多个计算机可读介质上体现的计算机可执行(也称为机器可执行)程序逻辑的一个或更多个处理器被执行。程序逻辑包括当被处理器中的一个或更多个执行时实施在这里描述的方法中的至少一个的一组指令。包括能够执行规定要采取的动作的一组指令(顺序的或非顺序的)的任何处理器。因此，一个例子是包括一个处理器或多于一个的处理器的典型的处理系统。各处理器可包含CPU、图形处理单元和可编程DSP单元中的一个或更多个。处理系统还可包括存储子系统，所述存储子系统包含存储器子系统，所述存储器子系统包含主RAM和/或静态RAM和/或ROM。存储子系统还可包含一个或更多个其它的存储设备。为了在部件之间通信，可以包含总线子系统。处理系统可进一步为具有通过网络耦合的处理器的分布式处理系统。如果处理系统需要显示器，那么可以包括例如液晶显示器(LCD)或阴极射线管(CRT)显示器的显示器。如果需要手动数据输入，那么处理系统还包含输入设备，例如诸如键盘之类的字母数字输入单元和诸如鼠标之类的指点控制设备等中的一个或更多个。对于这里使用的术语存储设备、存储子系统等单元，如果上下文清楚，并且，除非另外明确声明，还包含诸如盘驱动单元之类的存储设备。一些配置中的处理系统可包含声音输出设备和网络接口设备。存储子系统由此包含计算机可读介质，所述计算机可读介质承载程序逻辑(例如，软件)，所述程序逻辑包含当被一个或更多个处理器执行时使得执行这里描述的方法的一个或更多个的一组指令。程序逻辑可驻留于硬盘中，或者也可以完全或至少部分地在处理系统对其执行过程中驻留于RAM内和/或处理器内。因此，存储器和处理器也构成其上编码有例如指令形式的程序逻辑的计算机可读介质。
此外，计算机可读介质可形成计算机程序产品或包含于其中。
在替代性的实施例中，一个或更多个处理器作为独立的设备操作，或者可在联网的部署中连接(例如，通过网络连接)到其它的(一个或多个)处理器，所述一个或更多个处理器可在服务器-客户机网络环境中在服务器或客户机的容量中操作，或者在对等或分布式网络环境中作为对等机器而操作。所述一个或更多个处理器可形成个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝式电话、网络设施、网络路由器、开关或桥，或者能够执行规定要由该机器采取的动作的一组指令(顺序的或非顺序的)的任何机器。
注意，虽然某个(某些)图仅示出承载包含指令的逻辑的单个处理器和单个存储器，但是，本领域技术人员应理解，包含以上描述的部件中的许多部件，但是，为了不混淆本发明的方面，没有被明确示出或描述。例如，虽然仅示出单个机器，但是，术语“机器”也应理解为包含单独或共同运行执行这里讨论的方法中的任一个或更多个的一组(或多组)指令的机器的任何集合。
因此，这里描述的方法中的每一个的一个实施例采取计算机可读介质的形式，所述计算机可读介质配置有一组指令，所述一组指令例如为用于在一个或更多个处理器上执行的计算机程序，所述一个或更多个处理器例如是作为信号处理装置的一部分的一个或更多个处理器。因此，本领域技术人员将理解，本发明的实施例可体现为方法、诸如专用装置之类的装置、诸如数据处理系统之类的装置或例如为计算机程序产品的计算机可读介质。计算机可读介质承载包含一组指令的逻辑，当在一个或更多个处理器上被执行时所述一组指令使得实施方法步骤。因此，本发明的方面可采取方法、完全硬件实施例、完全软件实施例或组合软件和硬件方面的实施例的形式。此外，本发明可采取程序逻辑的形式，例如处于计算机可读介质中，例如，计算机可读存储介质上的计算机程序，或者配置有计算机可读程序代码的计算机可读介质，例如，计算机程序产品。
虽然计算机可读介质在示例实施例中被示为单个介质，但是，术语“介质”应被视为包含存储一组或更多组指令的单一介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“计算机可读介质”也应被视为包含能够存储、编码或另外被配置有一组指令的任何计算机可读介质，所述一组指令用于通过处理器中的一个或更多个执行并且使得实施本发明的方法中的任意一个或更多个。计算机可读介质可采取许多的形式，包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光学盘、磁盘和磁光盘。易失性介质包括诸如主存储器之类的动态存储器。
应当理解，在一个实施例中，通过执行存储于存储设备中的指令的处理系统(例如，计算机系统)的适当处理器(或多个处理器)执行所讨论的方法的步骤。还应理解，本发明的实施例不限于任何特定的实现或编程技术，并且，可使用用于实现这里描述的功能的任何适当技术实现本发明。此外，实施例不限于任何特定的编程语言或操作系统。
贯穿本说明书中提到的“一个实施例”或“实施例”意味着结合该实施例描述的特定的特征、结构或特性被包含在本发明的至少一个实施例中。因此，贯穿本说明书在各处出现的短语“在一个实施例中”或“在实施例中”未必均指的是同一实施例，而可以是。此外，在一个或更多个实施例中，特定的特征、结构或特性可以以任何适当的方式被组合，本领域技术人员从本公开可以清楚看出这一点。
类似地，应当理解，在本发明的示例实施例的以上的描述中，出于使公开流畅并帮助理解各发明方面中的一个或更多个的目的，本发明的各特征有时被一起聚合在单个实施例、附图或其描述中。但是，本公开的此方法不应被解释为反映要求权利的发明需要比在各权利要求中明确记载的特征更多的特征的意图。而是，如以下的权利要求反映的那样，发明的各方面在于比单个以上公开的实施例的所有特征少的特征。因此，“具体实施方式”后面的权利要求在这里被明确加入“具体实施方式”中，使得各权利要求作为本发明的单独的实施例而自成一体。
此外，本领域技术人员会理解，虽然这里描述的一些实施例包括一些特征但不包含包含于其它的实施例中的其它特征，但是，不同的实施例的特征的组合意味着在本发明的范围内并且形成不同的实施例。例如，在以下的权利要求中，可以以任意的组合使用要求权利的实施例中的任何实施例。
此外，实施例中的一些在这里被描述为可通过计算机系统的处理器或通过实施功能的其它手段实现的方法或方法的要素的组合。因此，具有用于实施这种方法或方法的要素的必要指令的处理器形成用于实施方法或方法的要素的手段。此外，装置实施例的这里描述的要素是用于实施由出于实施本发明的目的的要素执行的功能的手段的例子。
在这里提供的描述中，阐述大量的特定的细节。但是，应理解，可以在没有这些特定的细节的情况下实践本发明的实施例。在其它的情况中，为了不混淆对描述的理解，没有详细地示出公知的方法、结构和技术。
如这里使用的那样，除非另外规定，否则描述一般对象的序数形容词“第一”、“第二”、“第三”等的使用仅表示提到类似的对象的不同实例，并且，不意图意味着这样描述的对象必须在时间上、在空间上、在排序上或以任何其它的方式按给定的次序。
本说明书中的现有技术的任何讨论决不应被视为承认这些现有技术是广泛公知的、众所周知的，或者形成本领域中的一般常识的一部分。
在以下的权利要求和这里的描述中，术语“包含”或“其包含”中的任何一个都是意味着至少包括跟随的要素/特征但不排除其它的要素/特征的开放式术语。因此，在权利要求中使用时，术语“包含”不应被解释为限于在后面列出的手段或要素或步骤。例如，表述“设备包含A和B”的范围不应限于仅由要素A和B构成的设备。这里使用的术语“包括”或“其包括”也是意味着至少包括跟随该术语的要素/特征但不排除其它的要素/特征的开放式术语。因此，“包括”与“包含”同义并且意味着“包含”。
类似地，应当注意，在权利要求中使用时，术语“耦合”不应被解释为限于仅直接连接。可以使用术语“耦合”和“连接”连同它们的衍生语。应当理解，这些术语不意图相互同义。因而，表述“与设备B耦合的设备A”的范围不应限于其中设备A的输出与设备B的输入直接连接的设备或系统。它意味着在A的输出和B的输入之间存在路径，该路径可以是包含其它的设备或手段的路径。“耦合”可意味着两个或更多个要素处于直接的物理接触或电气接触中，或者，两个或更多要素不相互直接接触，但仍然相互协作或交互作用。
因此，虽然描述了被认为是本发明的优选实施例，但是，本领域技术人员将认可，不背离本发明的本质，可以对它们进行其它和进一步的变型，并且，意图要求落入本发明的范围内的所有这些变化和变型的权利。例如，以上给出的任何式子仅是可使用的过程的代表。可以从框图添加或删除功能，并且，可在功能块之间交换操作。可以向在本发明的范围内描述的方法添加步骤或者从中删除步骤。

Claims (12)

1.一种使用处理硬件(111，143)处理媒体数据以用于质量增强处理的方法，该媒体数据包括音频数据和/或视频数据，该媒体数据用于由无线的资源受限设备(121)呈现，该资源受限设备具有有限的处理能力、有限的存储器资源和/或有限的电池功率，该方法包含：
在网络节点(103)处接收所述媒体数据；
在网络节点(103)处接受从一个或更多个传感器(109)确定的一个或更多个所感测的环境量，所述传感器处于某位置处，该位置远离资源受限设备但与该资源受限设备接近得足以使得所感测的环境量与处于该资源受限设备附近或包括在该资源受限设备中的传感器指示相同的相应一个或更多个环境量，所述环境量与所述资源受限设备(121)的环境相关，所述资源受限设备(121)无线耦合到所述网络节点(103)；
在所述网络节点(103)处，使用所述环境量对所述媒体数据进行数据处理，以产生经处理的数据，以及
向所述资源受限设备(121)无线发送经处理的数据以供呈现，
其中：
对于所述媒体数据中所包括的任何音频数据，所述一个或更多个环境量包括至少一个指示环境中的噪声的声学分布的量，所述至少一个指示环境中的噪声的声学分布的量包含噪声谱估计，并且，所述数据处理包括噪声补偿，和/或
对于向所述资源受限设备以流方式被传送的媒体数据中包括的任何视频数据，所述一个或更多个环境量包括一个或更多个指示环境中的照明的参数，其中，所述资源受限设备包括平板显示设备，该平板显示设备具有依赖于位置的背光照明元件，各背光照明元件根据随视频数据被发送到所述资源受限设备的依赖于图像的调制数据而被调制，其中，所述质量增强包括修正所述视频数据的对比度和/或明度，以及所述网络节点处的数据处理包括根据指示照明的所述一个或更多个参数中的至少一个来产生所述依赖于图像的调制数据。
2.如任何在前的权利要求所述的方法，其中，所述网络节点包括无线网络的基站。
3.如权利要求1所述的方法，其中，所述经处理的数据包括用于由所述资源受限设备呈现的经处理的媒体数据。
4.如权利要求1所述的方法，其中，在所述资源受限设备处发生一些媒体数据处理，并且，所述经处理的数据包括供所述资源受限设备对于该资源受限设备处的媒体数据处理所使用的助手数据。
5.如权利要求1-4中的任一项所述的方法，其中，所述媒体数据包括以下中的一个或更多个：
向所述资源受限设备以流方式被传送的媒体数据；或
作为涉及所述资源受限设备的双向通信的一部分，跨无线网络交互地向所述资源受限设备以流方式被传送的媒体数据。
6.如权利要求5所述的方法，
其中，所述媒体数据包括音频数据，
所述一个或更多个环境量包括至少一个指示环境中的噪声的声学分布的量，以及
所述质量增强处理包括噪声补偿。
7.如权利要求5所述的方法，
其中，所述媒体数据包括音频数据，
所述一个或更多个环境量包括至少一个指示环境中的噪声的声学分布的量，所述至少一个指示环境中的噪声的声学分布的量包含噪声谱估计，
所述媒体数据的质量增强处理包括噪声补偿，所述噪声补偿包含：
使用一个或更多个响度水平参数和声学噪声分布的一个或更多个参数，从音频数据产生修正参数，其中，通过在感知响度域中对信息实施操作，产生所述修正参数，以及
基于所述修正参数修正所述音频数据，以产生经处理的音频数据，以及
其中，所述一个或更多个响度水平参数包括：
是否接通音频噪声补偿、用于所述资源受限设备的基准水平、希望的再现水平、和/或噪声补偿量中的一个或更多个。
8.如权利要求7所述的方法，其中，所述媒体数据的质量增强处理包括向音频数据施加的自动增益控制、动态范围压缩、和/或均衡中的一个或更多个。
9.如权利要求5所述的方法，
其中，所述媒体数据包括向所述资源受限设备以流方式被传送的媒体数据，
所述媒体数据包括视频数据，
所述一个或更多个环境量包括一个或更多个指示环境中的照明的参数，以及
所述质量增强处理包括根据指示照明的所述一个或更多个参数中的至少一个来修正视频数据的对比度和/或明度。
10.如权利要求5所述的方法，
其中，所述媒体数据包括向所述资源受限设备以流方式被传送的媒体数据，
所述媒体数据包括视频数据，
所述一个或更多个环境量包括指示环境中的照明的至少一个参数，以及
所述资源受限设备包括平板显示设备，该平板显示设备具有依赖于位置的背光照明元件，各背光照明元件根据随视频数据被发送到所述资源受限设备的依赖于图像的调制数据而被调制，
所述质量增强处理包括修正所述视频数据的对比度和/或明度，以及
所述网络节点处的数据处理包括根据所述一个或更多个参数中的至少一个来产生所述依赖于图像的调制数据。
11.一种用于实施媒体数据的质量增强处理的至少一部分的系统，所述媒体数据包括音频数据和视频数据中的至少之一，该系统包含：
网络节点(103)，与无线的资源受限设备(121)无线连接，该资源受限设备具有有限的处理能力、有限的存储器资源和/或有限的电池功率，
处于某位置处的一个或更多个传感器(109)，该位置远离资源受限设备但与该资源受限设备接近得足以使得环境量与处于该资源受限设备(121)附近或包括在该资源受限设备(121)中的传感器指示相同的相应一个或更多个环境量，所述传感器与所述网络节点连接或处于所述网络节点中，所述传感器确定与所述资源受限设备(121)的环境相关的一个或更多个环境量；
与所述网络节点连接或处于所述网络节点中的处理硬件(111，143)，在操作中，所述处理硬件接收媒体数据，接受所述一个或更多个环境量，对媒体数据进行数据处理，以使用所接受的环境量中的至少一些来产生经处理的输出，以实现质量增强，以及向所述资源受限设备无线发送所述经处理的输出，以由所述资源受限设备呈现，其中：
对于所述媒体数据中所包括的任何音频数据，所述一个或更多个环境量包括至少一个指示环境中的噪声的声学分布的量，所述至少一个指示环境中的噪声的声学分布的量包含噪声谱估计，并且，所述数据处理包括噪声补偿，和/或
对于向所述资源受限设备以流方式被传送的媒体数据中包括的任何视频数据，所述一个或更多个环境量包括一个或更多个指示环境中的照明的参数，其中，所述资源受限设备包括平板显示设备，该平板显示设备具有依赖于位置的背光照明元件，各背光照明元件根据随视频数据被发送到所述资源受限设备的依赖于图像的调制数据而被调制，其中，所述质量增强处理包括修正所述视频数据的对比度和/或明度，以及所述网络节点处的数据处理包括根据指示照明的所述一个或更多个参数中的至少一个来产生所述依赖于图像的调制数据。
12.如权利要求11所述的系统，所述系统被配置为实施如在前的方法权利要求中的任一项所述的方法。
CN200980136482.0A 2008-09-19 2009-09-03 小蜂窝无线网络中的客户设备的上游信号处理 Expired - Fee Related CN102160358B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US9856608P 2008-09-19 2008-09-19
US61/098,566 2008-09-19
PCT/US2009/055835 WO2010033387A2 (en) 2008-09-19 2009-09-03 Upstream signal processing for client devices in a small-cell wireless network

Publications (2)

Publication Number Publication Date
CN102160358A CN102160358A (zh) 2011-08-17
CN102160358B true CN102160358B (zh) 2015-03-11

Family

ID=41818867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980136482.0A Expired - Fee Related CN102160358B (zh) 2008-09-19 2009-09-03 小蜂窝无线网络中的客户设备的上游信号处理

Country Status (8)

Country Link
US (1) US9300714B2 (zh)
EP (1) EP2347556B1 (zh)
JP (1) JP5273688B2 (zh)
CN (1) CN102160358B (zh)
AT (1) ATE552690T1 (zh)
ES (1) ES2385293T3 (zh)
TW (1) TWI458311B (zh)
WO (1) WO2010033387A2 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5134508B2 (ja) * 2008-11-19 2013-01-30 株式会社日立製作所 テレビジョン装置
US9692946B2 (en) * 2009-06-29 2017-06-27 Dolby Laboratories Licensing Corporation System and method for backlight and LCD adjustment
US8473287B2 (en) 2010-04-19 2013-06-25 Audience, Inc. Method for jointly optimizing noise reduction and voice quality in a mono or multi-microphone system
US8538035B2 (en) 2010-04-29 2013-09-17 Audience, Inc. Multi-microphone robust noise suppression
US8781137B1 (en) 2010-04-27 2014-07-15 Audience, Inc. Wind noise detection and suppression
WO2011148860A1 (ja) * 2010-05-24 2011-12-01 日本電気株式会社 信号処理方法、情報処理装置、及び信号処理プログラム
US8447596B2 (en) 2010-07-12 2013-05-21 Audience, Inc. Monaural noise suppression based on computational auditory scene analysis
US9413322B2 (en) * 2012-11-19 2016-08-09 Harman International Industries, Incorporated Audio loudness control system
EP2946469B1 (en) 2013-01-21 2017-03-15 Dolby Laboratories Licensing Corporation System and method for optimizing loudness and dynamic range across different playback devices
EP2787746A1 (en) * 2013-04-05 2014-10-08 Koninklijke Philips N.V. Apparatus and method for improving the audibility of specific sounds to a user
WO2014148848A2 (ko) * 2013-03-21 2014-09-25 인텔렉추얼디스커버리 주식회사 오디오 신호 크기 제어 방법 및 장치
CN107093991B (zh) 2013-03-26 2020-10-09 杜比实验室特许公司 基于目标响度的响度归一化方法和设备
JP6204681B2 (ja) * 2013-04-05 2017-09-27 日本放送協会 音響信号再生装置
JP6216553B2 (ja) * 2013-06-27 2017-10-18 クラリオン株式会社 伝搬遅延補正装置及び伝搬遅延補正方法
WO2015068404A1 (ja) * 2013-11-11 2015-05-14 日本電気株式会社 Ｐｏｓ端末装置、商品認識方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US10720091B2 (en) 2017-02-16 2020-07-21 Microsoft Technology Licensing, Llc Content mastering with an energy-preserving bloom operator during playback of high dynamic range video
US10833886B2 (en) * 2018-11-07 2020-11-10 International Business Machines Corporation Optimal device selection for streaming content
WO2021072558A1 (en) * 2019-10-17 2021-04-22 D-Box Technologies Inc. Method and system for synchronizing a viewer-effect signal of a media content with a media signal of the media content
CN113395551A (zh) * 2021-07-20 2021-09-14 珠海极海半导体有限公司 处理器、npu芯片和电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5802467A (en) * 1995-09-28 1998-09-01 Innovative Intelcom Industries Wireless and wired communications, command, control and sensing system for sound and/or data transmission and reception

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8801014D0 (en) * 1988-01-18 1988-02-17 British Telecomm Noise reduction
FR2640839B1 (fr) 1988-12-20 1991-03-15 Portenseigne Radiotechnique Appareil de reproduction d'image video muni d'un reglage de contraste, et procede de reglage du contraste d'un tel appareil de reproduction
JP3416469B2 (ja) * 1997-06-06 2003-06-16 三洋電機株式会社 基地局
DK1025743T3 (da) 1997-09-16 2013-08-05 Dolby Lab Licensing Corp Anvendelse af filtereffekter i stereohovedtelefoner for at forbedre den rumlige opfattelse af en kilde rundt om en lytter
EP1072089B1 (en) 1998-03-25 2011-03-09 Dolby Laboratories Licensing Corp. Audio signal processing method and apparatus
US6813777B1 (en) * 1998-05-26 2004-11-02 Rockwell Collins Transaction dispatcher for a passenger entertainment system, method and article of manufacture
US6249913B1 (en) * 1998-10-09 2001-06-19 General Dynamics Ots (Aerospace), Inc. Aircraft data management system
US7035897B1 (en) * 1999-01-15 2006-04-25 California Institute Of Technology Wireless augmented reality communication system
US20030154055A1 (en) * 2000-11-07 2003-08-14 Kazuyoshi Yoshimura System for measurement and display of environmental data
KR100476855B1 (ko) 2000-09-22 2005-03-17 세이코 엡슨 가부시키가이샤 화상처리방법
WO2002027985A2 (en) 2000-09-29 2002-04-04 Matsushita Mobile Communications Development Corp. Of U.S.A. Adjustable automatic volume control
JP2005508098A (ja) * 2000-10-18 2005-03-24 ハネウェル・インターナショナル・インコーポレーテッド モジュール式の娯楽及びデータ・システム
JP2002223268A (ja) * 2001-01-29 2002-08-09 Mitsubishi Electric Corp 音声制御装置およびこれを用いた携帯電話機
ATE479129T1 (de) 2001-02-27 2010-09-15 Dolby Lab Licensing Corp Bildanzeigevorrichtungen mit grossem dynamikbereich
US7711123B2 (en) 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
US7610602B2 (en) * 2001-05-23 2009-10-27 The Directv Group, Inc. Method, system and computer program product for aircraft multimedia distribution
WO2002101728A1 (es) * 2001-06-11 2002-12-19 Lear Automotive (Eeds) Spain, S.L. Metodo y sistema para cancelacion de exos y ruidos en entornos con condiciones acusticas variables y altamente realimentados
CA2354755A1 (en) * 2001-08-07 2003-02-07 Dspfactory Ltd. Sound intelligibilty enhancement using a psychoacoustic model and an oversampled filterbank
US6944474B2 (en) * 2001-09-20 2005-09-13 Sound Id Sound enhancement for mobile phones and other products producing personalized audio for users
US7454331B2 (en) 2002-08-30 2008-11-18 Dolby Laboratories Licensing Corporation Controlling loudness of speech in signals that contain speech and other types of audio material
JP2004104245A (ja) * 2002-09-05 2004-04-02 Matsushita Electric Ind Co Ltd 携帯端末装置
JP2004173173A (ja) * 2002-11-22 2004-06-17 Matsushita Electric Ind Co Ltd 音声処理装置
US20040165732A1 (en) * 2003-02-20 2004-08-26 Edwards Systems Technology, Inc. Speaker system and method for selectively activating speakers
JP2004350214A (ja) * 2003-05-26 2004-12-09 Hitachi Ltd コンテンツ配信サーバ及び端末並びにプログラム
BRPI0410740A (pt) 2003-05-28 2006-06-27 Dolby Lab Licensing Corp método, aparelho e programa de computador para calcular e ajustar o volume percebido de um sinal de áudio
CN1926850A (zh) 2004-03-02 2007-03-07 皇家飞利浦电子股份有限公司 信号处理系统
US20050278754A1 (en) * 2004-05-27 2005-12-15 Thales Avionics, Inc. System for delivering multimedia content to airline passengers
FR2872317A1 (fr) 2004-06-08 2005-12-30 Do Labs Sa Procede pour ameliorer la qualite d'utilisation d'un service relatif a au moins une donnee multimedia
US7945934B2 (en) * 2004-06-15 2011-05-17 Panasonic Avionics Corporation Portable media device and method for presenting viewing content during travel
US7617109B2 (en) 2004-07-01 2009-11-10 Dolby Laboratories Licensing Corporation Method for correcting metadata affecting the playback loudness and dynamic range of audio information
MX2007005027A (es) 2004-10-26 2007-06-19 Dolby Lab Licensing Corp Calculo y ajuste de la sonoridad percibida y/o el balance espectral percibido de una senal de audio.
US20060176169A1 (en) * 2004-12-17 2006-08-10 The Regents Of The University Of California System for sensing environmental conditions
AU2006255662B2 (en) 2005-06-03 2012-08-23 Dolby Laboratories Licensing Corporation Apparatus and method for encoding audio signals with decoding instructions
TWI269565B (en) * 2005-07-20 2006-12-21 Cheng-Yan Kao Human body sensor network gateway (HBG) and the method using the same to perform human body network detecting
TWI396188B (zh) 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
US20070044126A1 (en) * 2005-08-18 2007-02-22 Rockwell Collins, Inc. Wireless video entertainment system
US7936885B2 (en) * 2005-12-06 2011-05-03 At&T Intellectual Property I, Lp Audio/video reproducing systems, methods and computer program products that modify audio/video electrical signals in response to specific sounds/images
US8504181B2 (en) 2006-04-04 2013-08-06 Dolby Laboratories Licensing Corporation Audio signal loudness measurement and modification in the MDCT domain
TWI517562B (zh) 2006-04-04 2016-01-11 杜比實驗室特許公司 用於將多聲道音訊信號之全面感知響度縮放一期望量的方法、裝置及電腦程式
CN101421781A (zh) * 2006-04-04 2009-04-29 杜比实验室特许公司 音频信号的感知响度和/或感知频谱平衡的计算和调整
RU2417514C2 (ru) 2006-04-27 2011-04-27 Долби Лэборетериз Лайсенсинг Корпорейшн Регулировка усиления звука с использованием основанного на конкретной громкости обнаружения акустических событий
US7459962B2 (en) * 2006-07-26 2008-12-02 The Boeing Company Transient signal detection algorithm using order statistic filters applied to the power spectral estimate
US7675414B2 (en) * 2006-08-10 2010-03-09 Qualcomm Incorporated Methods and apparatus for an environmental and behavioral adaptive wireless communication device
WO2008058327A1 (en) 2006-11-13 2008-05-22 Dynamic Hearing Pty Ltd Headset distributed processing
US7873114B2 (en) * 2007-03-29 2011-01-18 Motorola Mobility, Inc. Method and apparatus for quickly detecting a presence of abrupt noise and updating a noise estimate
US8635654B2 (en) * 2007-04-30 2014-01-21 Thales Avionics, Inc. Wireless audio distribution system and method for an in-flight entertainment system
US8489396B2 (en) * 2007-07-25 2013-07-16 Qnx Software Systems Limited Noise reduction with integrated tonal noise reduction
US8138930B1 (en) * 2008-01-22 2012-03-20 Google Inc. Advertising based on environmental conditions
CN102160115A (zh) * 2008-09-19 2011-08-17 杜比实验室特许公司 对于资源受限客户机设备的上游质量增强信号处理
US20100088736A1 (en) * 2008-10-07 2010-04-08 Besen Peter D Enhanced video processing functionality in auxiliary system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5802467A (en) * 1995-09-28 1998-09-01 Innovative Intelcom Industries Wireless and wired communications, command, control and sensing system for sound and/or data transmission and reception

Also Published As

Publication number Publication date
ES2385293T3 (es) 2012-07-20
WO2010033387A2 (en) 2010-03-25
TWI458311B (zh) 2014-10-21
CN102160358A (zh) 2011-08-17
TW201025969A (en) 2010-07-01
JP5273688B2 (ja) 2013-08-28
EP2347556A2 (en) 2011-07-27
WO2010033387A3 (en) 2010-05-27
EP2347556B1 (en) 2012-04-04
ATE552690T1 (de) 2012-04-15
US9300714B2 (en) 2016-03-29
JP2012503426A (ja) 2012-02-02
US20110169721A1 (en) 2011-07-14

Similar Documents

Publication Publication Date Title
CN102160358B (zh) 小蜂窝无线网络中的客户设备的上游信号处理
US9251802B2 (en) Upstream quality enhancement signal processing for resource constrained client devices
CN103888103B (zh) 用于数字信号处理的系统和方法
US9949053B2 (en) Method and mobile device for processing an audio signal
US8295498B2 (en) Apparatus and method for producing 3D audio in systems with closely spaced speakers
US8929567B2 (en) Equalization profiles for dynamic equalization of audio data
KR101445075B1 (ko) 어레이 스피커를 통한 음장 제어 방법 및 장치
US20190007016A1 (en) Facilitation of headphone audio enhancement
KR101251626B1 (ko) 스마트 기기를 이용한 음향기기의 특성에 대한 보상 서비스 제공 방법
KR101673232B1 (ko) 수직 방향 가상 채널을 생성하는 장치 및 그 방법
KR20100081300A (ko) 오디오 신호의 디코딩 방법 및 장치
CN109791771A (zh) 降低声学设备中的编解码器噪声
US11172290B2 (en) Processing audio signals
WO2024027315A1 (zh) 音频处理方法、装置、电子设备、存储介质和程序产品
EP1275269A2 (en) A method of audio signal processing for a loudspeaker located close to an ear
Abildgaard Pedersen Loudspeaker-room adaptation for a specific listening position using information about the complete sound field
Lopatka et al. Personal adaptive tuning of mobile computer audio
Rumsey Let the Games Be Mobile

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150311

Termination date: 20170903

CF01 Termination of patent right due to non-payment of annual fee