CN107077859B - 针对音频处理的基于环境的复杂度减小 - Google Patents

Abstract

音频处理复杂度基于环境而减小。在一个示例中，确定移动设备的当前环境。基于所述当前环境选择简档。基于所述选择的简档来配置音频处理流水线，并且通过所述配置的音频处理流水线对在所述移动设备处接收的音频进行处理。

Description

针对音频处理的基于环境的复杂度减小

技术领域

本说明书涉及基于环境减小音频处理的复杂度。

背景技术

便携式电话结合了各种不同的音频、反馈、和语音处理技术来提高播放至 扬声器中的声音的质量和从话筒接收的声音的质量。电话通话中或所录视频中 的明显声音质量直接影响电话的可用性和用户对电话质量的印象。语音质量是 维持来源于目的地之间的可理解会话的因素。随着便携式电话并且由其是蜂窝 电话变得更加强大，使用精细的语音增强技术来进行复杂处理。许多蜂窝电话 还包括专用硬件，包括话筒、模拟电路、和数字语音处理电路，用来提高传入 和传出的语音质量。一些蜂窝电话配备有先进的DSP(数字信号处理器)，所 述DSP能够实现在不利条件下提高语音质量的精细语音和音频增强模块。

语音质量改进中的许多消耗电池电力或中央处理单元计算资源。语音增强 模块中的许多在每次会话过程中主动地运行于后台。用户几乎不或不控制这些 模块。在许多情况下，这些模块在不考虑需要的情况下运行于每次会话过程中。 这增加了便携式电话处的功耗。

在一些便携式电话中，在存储器中维持若干简档(profile)。当语音通话 被激活时，每个简档启动特定的预定模块组。这些具体模块是由被激活的具体 简档确定的。这些简档一般仅对应于便携式电话可以简单且快速地确定的几种 不同配置。这些简档与便携式电话的使用模式相关，此便携式电话进而激活并 配置针对相关使用模式调谐的一组模块。例如，可以存在语音处理简档，用于 使用手持至耳朵的听筒、使用扬声器模式的听筒、使用附接有有线耳机的听筒、 以及通过蓝牙免提模式使用听筒。

附图说明

以示例性而非限制性方式在附图中展示本发明的实施方式，在附图中，类 似号码指示类似元件。

图1是根据实施例的可以用于选择音频环境的用户界面图。

图2是根据实施例的设置音频处理配置的过程流程图。

图3是根据实施例的检测模块中的伪像从而为所述模块确定音频处理配 置的过程流程图。

图4是根据实施例的用于使用传感器选择环境并设置音频处理配置的过 程流程图。

图5是根据实施例的基于环境选择数据设置音频处理配置的过程流程图。

图6是根据实施例的音频流水线的框图。

图7是根据实施例的结合了音频处理的计算设备的框图。

具体实施方式

可以基于需要和有用性来选择用于录音设备、音频传输、或音频接收设备 的音频处理模块。在便携式设备如便携式或蜂窝电话或相机中，音频处理模块 消耗电池电力。因此，电池将通过限制音频处理来持续更长时间。越精确地控 制音频处理，电池寿命会越好。音频处理所导致的电池耗用随着更高分辨率音 频信号而提高。音频可以是例如记录音乐会、表演、或噪声的一般形式，或它 可以专门是语音。可以通过不同速率来对音频进行采样。还可以通过不同速率 来对语音进行采样。采样率越高，处理器牵引越多的电力用于音频处理。随着 高保真语音通信标准像支持比如24/32KHz的采样率的超宽频带和支持48KHz的采样率的全频带的出现，提高了功耗。

一般用于便携式电话的语音处理模块特征可以在于要求的操作。处理要求 的一种度量是与模块的功耗直接相关的MCPS(百万周期每秒)。虽然MCPS 测量和相关的耗电取决于模块的特定操作以及它怎样被实施，可以获得相对数 字。

回声抵消器广泛地用于减小线性回声。最佳情况的MCPS配置将是针对 露天环境调谐的配置。最差情况的MCPS配置将是针对封闭环境调谐的配置。 当采样率加倍时，处理负荷不止两倍高。另外，通过调谐AEC模块的运行， 可以极大地提高或减小处理负荷。

噪声消减技术的复杂度还可以影响处理负荷。当使用先进的噪声消减技术 时，MCPS消耗可能是正常噪声消减消耗的许多倍。作为示例，双话筒噪声消 减可以极大地增大处理负荷。伴随不只两个话筒，MCPS存在进一步的提高。 通过取决于环境关闭噪声消减或将其限制为仅一个或两个话筒，可以实现显著 功率节省。在安静的房间环境下，比如封闭的房间或起居室，可能不需要先进 的噪声消除技术。

以同样的方式，针对封闭的房间或安静的环境，可以完全地关闭先进的噪 声消减技术比如交通噪声消减(TNR)和风噪声消减(WNR)。在露天环境 下或礼堂，回声消减可以关闭或者可以将回声消减配置为具有减小的MCPS的 最小配置并满足具体环境的降低的性能需求。

与仅依赖于用于选择不同音频处理配置的设备的使用模式相反，还可以或 可替代地使用基于环境的配置。可以基于仅激活所需的语音增强模块而非全部 的用户周围环境来识别何时的简档或配置。

结果是，当前环境所不需要的语音增强模块被关闭，从而减小功耗。例如， 如果用户处于安静或听觉上干净的环境，可以禁用包含多个话筒的先进噪声消 减模块。即使对于所需的模块，可以基于用户的环境来修改模块的配置。伴随 着处理需求的足够减少，可以甚至降低处理器的时钟设置，从而进一步减小功 耗。低电量场景还可以与环境选择结合。可以将一些模块最小化或关闭，从而 提供甚至更节能的简档。当电池电力较低而不能在仍然提高电池寿命的同时维 持合理性能时，可以使用这些。

例如在通过移动设备(比如智能手机)进行语音通话的过程中，设备内的 语音增强模块通过抑制不同类型的背景噪音并通过消减回声来增强用户体验。 这提高了信噪比和信号回声比例，从而使得通话两端的主体经历更好的可理解 性。通常，执行这种语音增强的增强模块运行于处于可以称为同质设计的专用 处理器上。在同质设计中，可以跨若干不同处理器分离这些增强模块的处理。 在两种情况下，附加的处理都提高了电力需求。

在许多移动设备架构中，可以通过命令来激活和配置音频增强和处理模 块。这些模块特定的参数是存储在NVM(非易失性存储器)中的模块命令的 一部分。许多移动设备包括基于设备的使用模式驻留在NVM内的若干用例简 档。每个简档映射至特定的模块组并因此映射至这些模块中的每一个的特定命 令配置。每种配置对应于十分具体的使用模式，比如听筒模式、耳机模式、蓝 牙模式、免提模式等。

在基于模式的简档中，不管对具体增强的需要，将针对此模式一直激活增 强模块中的大部分。作为示例，如果用户在没有任何背景噪音的干净环境中， 可能不需要先进噪音消减算法。然而，环境的本质与使用模式并不相关。虽然 此类简档对选择语音处理模块的选择提供了一些引导，此类简档并不十分精 确。例如，如果所选择的使用模式简档是“听筒模式”，将激活所有的噪声消 减模块，即使移动设备在干净环境下。任何用于噪声消减模块的电力都是浪费 的电力并影响电池寿命。

通过仅仅或除了使用模式之外考虑周围环境，音频增强模块的运行被更好 地控制。可以使用节能的方法基于用户周围环境仅激活所需的增强模块。另外， 可以针对不同环境修改音频增强模块的配置。模块的不同配置可以导致不同的 功耗量。这种基于环境的模块激活不仅适用于语音通话而且适用于录音的情 况。

可以通过各种不同的方式来选择或确定所述环境。在一个实施例中，用户 手动地选择环境。这可以通过语音命令、通过触摸屏上的选择、通过按键、或 使用被呈现为具有菜单的各种其他界面中的任意一种来完成，从所述菜单可以 选择所述环境。图1是可以用于选择环境的用户界面(UI)图。

在图1中，UI 102向用户呈现有来电的警告104。所述警告可以呈现与呼 叫者或任何其他视觉和音频线索相关联的图像。这种警告通常与铃声、振动和 其他警告相关联，从而使得用户知道有来电。UI呈现可以被使用触摸屏、按 钮或以任何其他方式激活的正常选项。这包括用于应答通话106、用于拒绝通 话108、或用于拒接通话并发送文本消息110或其他类型消息给呼叫者的按钮。

另外，UI呈现用于选择环境的选项。在这种情况下，所述环境被作为列 表112呈现。用户通过触摸所述列表上的选项之一来手动地选择环境。所述列 表可以通过音频或视觉提醒项目114来完成，比如“从菜单选择一个或多个说 话环境”。在所展示的示例中，这些环境是：起居室；周围有交通；嘈杂的人 群；寂静的室外；有风的室外；体育场；电池耗用；以及当用户拒绝选择环境 时“不，谢谢”。在本示例中，周围的交通和电池耗用是已选的。用户可以什 么也不做地接受这些选择或可以改为不同的选择。这些选择可以由移动设备使 用之前的选择或使用移动设备上的传感器通过下文中更详细描述的各种不同 方式作出。

所述移动设备包括这些附加的基于环境的节能简档，从而使得它可以具体 针对特定环境启用和配置音频处理模块。将这些简档显示给用户，从而使得用 户可以基于当前周围环境选择相关简档。例如，当用户处于露天环境时，可以 选择室外简档之一。此简档将具有回声抵消器(AEC)，此回声抵消器与用于 封闭周围环境的AEC相比配置有更少的FIR过滤阀。作为另一示例，当用户 选择封闭房间环境简档比如起居室时，此简档将不会具有先进噪声消减算法。 因而，用户可以灵活地选择每个说话环境所需的算法。

如果用户忘记选择环境，尤其是在低电池电量时，可以通过用户界面提示 用户选择一个。来自所述用户界面的所述提示可以与图1中所示的来电通知一 起以弹出菜单的形式发生。它还可以独立于通话而发生。这对于维持一定的音 频质量非常重要，尤其在电池到达临界低水平的情形下。与关闭所有音频处理 以节省电池寿命相反，可以维持对具体环境最重要的、针对这个具体环境精细 调谐的语音处理模块。例如，如果用户从弹出菜单选择“周围交通”作为环境， 则可以调用交通噪声消减(TNR)模块，反之可以将其去激活。

在另一实施例中，可以使用NFC(近场通信)标签来选择基于环境的简 档。还可以通过类似的方式使用其他类型的无线系统，比如蓝牙、WiFi、RFID (无线射频识别)、和蜂窝电话定位信息。这些NFC标签可以是针对特定环 境预先配置的。一旦所述设备与具体的NFC标签配对，可以激活具有针对这 种具体环境的节能简档。这还可以用于节省电池电力。正如NFC配对可以用 于激活具体简档，蓝牙配对或连接至具体基站或接入点或任何其他类型的配对 可以通过类似的方式用于激活基于具体环境的简档。

在一个示例中，在用户的车辆中可以存在NFC标签。当用户进入车辆时， 移动设备与所述标签配对并且然后选择具体为了车内使用而调谐的简档。这些 可以包括回声抵消、交通噪声消减、和环境噪声适应。在另一示例中，用户在 办公室的台式机充电器上可以具有NFC标签。当用户将移动设备与所述充电 器连接然后它与此NFC标签配对并选择最佳适用于办公司的模块时，这些可 以包括单通道噪声消减和最低回声抵消。另一NFC标签可以在购物中心。用 户可以与购物中心标签配对并且然后移动设备可以选择具体适用于购物中心 环境的模块。

图2呈现了上文所述操作的过程流程。第一输入202来自用于选择环境的 UI提示。由用户响应于所述提示而选择的所述环境适用于配置框206。此框基 于输入的环境激活并配置移动设备的音频处理模块。第二输入204是来自移动 设备的设置菜单或来自NFC的环境选择。移动设备可以将设置菜单提供给用 户，所述用户可以在任何时间访问所述设置菜单以选择当前说话或录音环境。 然后，可以将这些环境与标准音频处理简档相关。所述设置菜单还可以允许对 每个NFC标签的每个响应被配置。这些选择也被提供给配置框。取决于具体 实现方式，可以存在环境选择数据的附加资源。

响应于这些输入，配置框206针对所述具体环境配置移动设备。然后将这 种配置应用于语音通话208。所述配置还可以应用于其他事件，比如录音和录 视频。所述配置框可以通过以下方式工作：首先基于所接收环境选择数据选择 简档，并且然拍应用于所述选择的简档相关联的配置。

与依赖用户准确地选择环境相反，移动设备还可以用于基于来自其自身的 音频处理模块的反馈或基于来自其自身的内部传感器的信息自动地选择环境。 以这种方式，可以在没有用户操作的情况下自动地检查环境。在下行链路方向， 当通过扬声器产生远程接收的音频时，可以使用对合适环境的自动选择，甚至 当接收设备不具有关于发射设备的话筒处环境的任何信息时。基于对环境的自 动选择，当环境随着时间在接收器和发射器处独立地变化时，在整个语音通话 或录音会话中可以自动地打开和关闭上行链路和下行链路方向两者中的增强 模块。

许多音频增强模块具有可以用于判定是否应用任何音频增强的伪像检测 阶段。可以添加其他模块来增加检测阶段。使用所述检测阶段，可以确定检测 到了多少伪像(如果存在的话)。如果所述模块只检查一些伪像，则它仅对音 频进行非常小的增强。结果是，可以将其去激活或去电源。

图3是用于使用模块的伪像检测阶段来判定是否应该激活模块的过程流 程图。模块306具有伪像检测阶段308和伪像减少阶段310。伪像的本质以及 怎样将其减少将取决于具体模块。在检测阶段接收输入音频302，并且产生经 增强的输出音频作为输出304。音频输入和输出是音频处理流水线(未示出) 的一部分，所述音频处理流水线具有附加模块并最终将音频传递至录音器、发 生器、或扬声器。可以通过接收器(比如远程便携电话)从话筒、存储位置、 或远程设备接收输入音频。

在启动阶段318开启所述模块。所述启动阶段可以是针对便携设备整体的或者它可以是针对这个具体音频增强模块的启动阶段。当检测到此模块期望或默认用于的模式或环境时，可以启动所述模块。启动阶段之后，模块306的检测阶段308继续检测伪像，以便供给伪像减小310的操作。来自所述检测的结果312还被提供给决策框314。如果模块针对选定个数“N”个帧连续地检测环境为干净的，则在320，针对另外选定个数“M”个帧关闭此模块。在“M”个帧之后，将所述模块开启。这重新开始伪像监测器针对“N”个帧运行以检测任何伪像的周期。如果在这个周期中检测到伪像，则这表示环境存在改变。在决策框，如果在这“N”个帧内检测到伪像，则不关闭所述模块并且决策框314等待另外“N”个连续或序列帧，如框316处所示。

这个过程的结果是，在“未检测到伪像”的这“N”个帧之后，此模块将 被自动去激活。通过分析输入音频的伪像，所述模块实际上在监测环境。如果 所述模块是回声抵消，则它在监测308输入音频302中能够抵消的回声。如果 所述模块是噪声消减，则它在监测输入音频中能够消减的噪声。这些伪像均是 由正产生音频的环境(不管在上行链路方向来自本地话筒还是下行链路方向在 远程话筒)所造成的，从而使得它是伪像检测正监测的环境。

将每隔一段时间触发来自环境监测的结果，来看是否存在任何环境变化。 如果检测到环境变化，则将进行自动增强，直到接下来“未检测到伪像”的 “N”个连续帧。可以凭经验从实验和验证来确定“M”和“N”的值。虽然 “未检测到伪像”在一些情况下可以是适当的标准，对于其他模块，可以设定 阈值。即使存在一些伪像，这些伪像可能太少，使得模块几乎对音频的感知质 量没有影响。与轮询一段时间内没有伪像相反，可以使用阈值从而使得如果伪 像数量在所述阈值以下，则关闭模块。还可以通过各种不同方式中的任意一种 (包括凭经验)来确定所述阈值的选择。

可以根据电池电量来更改监测的周期性，即“M”和“N”的值。例如， 如果电池电量在20％，可以每2秒发生一次开关决策。如果电池电量更低，例 如在5％，则可以不那么频繁地发生开关决策，例如每10秒。这减少了监测和 决策过程所消耗的电力。用于确定开启还是关闭模块的伪像阈值也可以随着电 池电量而改变。结果是，当电池电量低时，可以允许更多的伪像，以便关闭模 块。

作为替代方案，可以使用基于传感器的环境检测过程激活音频增强模块。 这些传感器可以用于检测用户在有风环境下、在封闭环境下、在交通中、在移 动、还是在静止。基于传感器输入，可以针对此具体环境激活仅具有适当增强 模块的节能简档。

图4是展示使用传感器进行的环境选择的过程流程图。使用第一传感器 402和第二传感器405检测所述环境。将此传感器信息应用于选择框408来确 定使用哪个环境。然后应用所选择的环境来基于所确定的环境激活和配置适当 的模块410。在一些实施例中，配置410包括使用环境来选择简档。简档选择 可以包括比如使用模式和用户选择的信息。这些因素全部可以应用于决策树或 查找表，从而确定合适的简档。然后将被激活和配置的模块应用于语音通话412 或录音或移动设备的任何其他适当操作。

可以使用各种不同传感器。这可以包括话筒、压力传感器、速度传感器、 加速度计、温度计、光电探测器等。话筒或独立于或耦合至话筒的压力传感器 可以用于判定是否存在风或回声。然后，可以激活风噪声消减模块或回声抵消 模块。话筒还可以用于判定是否存在表明汽车(低隆隆声)、室内移动环境比 如汽车或火车内部、拥挤的环境、购物中心(扩展的回声)、或各种其他环境 中的任何一种的声音。温度计可以用于确定移动设备在室内(中等温度)还是 室外(低温或炎热气温)。还可以使用光传感器来确定设备在室内还是室外。 作为示例，可以测量环境光水平并且然后将其与阈值光水平进行对比。如果光 水平高于光阈值，则当前环境被确定为室外。以类似的方式，用于风、温度、 和其他参数的其他传感器可以是手持式的。

各种其他传感器中的任何一个可以单独或组合使用，从而确定不同音频环 境。速度传感器可以与压力传感器一起使用从而确定例如室内移动环境(比如 在汽车内)或室外移动环境(比如骑在摩托车上)。如果在室内并且正在移动， 可以激活单通道噪声减少技术。在室外且正在移动的情况下，还可以激活先进 的噪声减少技术，像WNR、MCNR、和TNR。

除了周围环境传感器之外，还可以使用电池传感器。将电池传感器406 应用于环境选择408，从而判定是否应该选择更低的时钟速率、或减少的音频 增强套件。

图5是用于应用上文所述原理和技术的过程流程图。在502，接收音频环 境选择数据。如在此所描述的，这可以来自用户选择、NFC或其他无线电识别、 模块操作、伪像检测、或环境传感器。在504还可以接收电力数据。这可以包 括电池的状况以及还有移动设备是否耦连至外部电源。在506使用环境和电力 数据来选择简档。所述简档可以包括完整音频增强配置，或者选择所述简档还 可以包括取决于具体系统配置和操作选择或者已命名环境或音频配置模块配 置的组合。

在确定或选择了基于环境的简档之后，在508应用所述选择来排至音频处 理。对于每个音频增强模块，所述简档选择可以用于激活或去激活模块，并使 用命令设置从最大到最小范围的适当模块配置。这些命令可以来自处理器，不 管是中央处理器、DSP、还是音频处理器。这些命令可以改变运行速率(比如 处理器、DSP)或运行内核时钟频率和运行的复杂度(比如过滤阀)。在对音 频处理进行配置之后，在510则将其应用于传入的音频。

在许多情况下，这种初始配置结束并且移动设备作为被配置运行，直到通 话或录音会话结束。然而，在一些实施例中，音频增强模块继续运行以确定是 否应该如图3的上下文所描述的那样修改移动设备配置。这些继续的配置更新 可以用于在良好语音或音频增强与良好功率效率之间提供平衡。在512，可选 地通过监测模块的运行来检测环境。如果模块的运行表明环境应该有任何改 变，则在514可选地选择经修改的配置。然后在508将所选择的修改应用于音 频处理。在510，移动设备继续以新的配置处理音频，并且在通话或录音会话 过程中可以继续精细调节所述配置。

如上所述，除了环境之外，可以使用电池传感器来确定移动设备的电源状 态。然后可以对模块配置和激活进行适配，从而适应电源状态。在一些实施例 中，可以取决于模块针对所要求环境的所需处理负载将用于模块的时钟(例如 到达DSP的时钟频率)按比例缩小。在其他实施例中，可以通过所描述的基 于环境的模块激活来减少过滤阀的数量。通常，音频DSP能够支持不同时钟 设置。作为示例，音频DSP可以具有对应于108、174和274MHz的低、中等 和高时钟设置。基于在此所述的基于环境的模块激活，可以确定环境是针对音频伪像的干净环境。结果是，可以将音频DSP的时钟设置减小至低或中等。 通过降低时钟频率，减少了功耗并保存了电池电力。

针对具有更高采样率的音频，比如宽频带(16KHz)、超宽频带(24/32 Khz)、和全频带48KHz)语音，基于环境的模块激活或时钟规模缩小将对功 耗具有甚至更大的影响。对于更高的采样率，甚至在运行于高时钟以处理所有 样本时，通过关闭这些模块中的一部分可以节约电力。通过关闭不需要的模块 并充分地配置所需模块，可以维持良好音频质量。

表格是怎样可以将不同环境应用于各不同音频增强模块的示例。在这种情 况下，每个模块具有四种模式，表示为分别与关闭、最小配置、中等配置、和 最大配置相对应的关闭、1、2、和3。每个模块的模式可以基于环境来选择并 且还可以与使用模式(比如耳机模式、扬声器模式、蓝牙模式等)联系。最左 列上的模块和跨顶部一行列出的环境作为示例提供。可以存在具有更多或更少 模式的更多或更少模块。可以使用更多或更少环境并且可以改变这些参数中的 任何一个以适应移动设备的具体应用和使用。

如所示的，对于每种环境，存在不同种可能的音频配置。对于例如“安静 的起居室”，可以将回声抵消器设置为级别2或3，并且在低电池电量时，可 以将其设置为1或关。结合其他模块对这四种状态之一进行的选择在此可以被 称为对简档的选择。所述简档选择506可以考虑在此所述的因素中的一种或多 种，包括用户选择，所感测的环境，通过NFC、WiFi等的无线电通信，模块 进行的伪像检测以及用户模式。然后在通话或会话过程中通过用户选择、所感 测的环境、无线电通信、伪像检测、和电池状况的改变可以修改简档。

结合说话环境，最右列被表示为低功率场景。当从电力数据504接收到低 电池电量状况时，则用基本最小配置激活针对所选环境所需的模块。当电池上 的耗用减小时，这允许维持音频处理的可接受水平。作为替代方案或当电池达 到非常低的状态时，则可以允许第电量状况不顾全部或大部分环境，并且通过 调整时钟速度、减少过滤阀、减少参数等将所有或大部分模块设置为关闭。当 电池上的耗用进一步减小时，这允许维持音频处理的甚至更低的水平。可以结 合环境可替代地使用低电池电量状况，从而使得只有这些模块中的一部分被使 用并且这些用于非常低的功率状态。作为示例，如果环境是“安静的户外”，则将只有AEC模块被使用，并且它将被设置为水平1或最小。

可以向用户提供用于配置如何处理低电池电量状态的设置。作为示例，用 户可以从(如上所述的)手动选择或设置选择低电池电量连同环境。然后，可 以向所述环境赋予第一偏好，并且然后由于电池正在耗用，将运行具体列中适 当模块的最小配置以延长电池寿命。可替代地，用户可以选择完全地忽略电池 状况。设置还可以被确立为使得电池状况被忽略，直到它达到20％、10％、5％ 或某个其他值。

表

表4的不同音频增强模块被缩减如下：

AEC-回声抵消器

SCNR-单通道/话筒噪声消减

MCNR-多通道/话筒通道噪声消减

TNR-交通噪声消减

WNR-风噪声消减

图6是音频流水线602的框图。存在流水线604的上行链路(UL)部分 和流水线606的下行链路(DL)部分。这种音频流水线对于移动设备(比如 智能电话)是来说是典型的，但可以存在于发送和接收语音或其他音频的各种 不同便携式和固定设备中的任何一种中。类似的流水线还可以存在于录音器和 相机中。

在流水线的上行链路部分，语音数据在一个或多个话筒612被接收，在 ADC(模数转换器)614被数字化，并且然后被馈送至上行链路处理路径中。 所接收的音频可以来自人声、移动设备的扬声器、或各种其他来源。上行链路 处理路径具有框616中的基于样本的处理，接着是基于帧的处理620。经处理 的样本被馈送至缓冲器以聚集，直到对于帧存在足够的样本。这些帧被发送至 语音编码器622并且然后被发送至通信DSP 624(还称为调制解调器DSP)， 所述通信DSP对这些帧进行处理以便通过无线电通道传输。发射器的本质以 及怎样对其进行控制取决于用于传输格式的具体接口和协议。图6的图解不是 完整的，并且流水线中可以存在许多其他部件并用于组成设备的AFE(音频前 端)。

下行链路语音数据在DL路径606中被处理并且最终被馈送至扬声器642 中。所述语音数据被从接收器630(比如蜂窝无线电接收器、WiFi接收器或存 储器)接收并且然后被解码632。帧处理框634将被解码的语音划分成样本， 所述样本被缓存636以便在样本处理框638中进行处理。这些样本被馈送至 DAC 640，以由扬声器642输出。

样本级处理框616、618、638、636基于采样率运行，同时帧级处理框620、 634根据帧速率运行。取决于音频处理的本质，在此所讨论的各音频增强模块 可以实现于样本级或帧级。

微控制器652生成并设置所有的配置参数，将不同的模块打开或关闭并发 送中断来驱动AFE。取决于实现方式，微控制器可以是用于整个系统、SoC(片 上系统)的一部分、或专用音频控制器的中央处理器。微控制器以采样率发送 中断给ADC、DAC(数模转换器)和基于样本的处理模块。微控制器以帧速 率发送中断至基于帧的处理模块。取决于具体实现方式，微控制器还可以生成 中断来驱动用于设备的所有其他过程。

图6的这些部件的结构可以采取许多不同形式。话筒612是用于转换通过 周围环境传播的模拟声波并将其转换成模拟电信号的换能器。这些声波可以对 应于语音、音乐、噪音、机械或其他类型的音频。话筒可以包括ADC 614作 为单个部件，或者ADC可以是单独的部件。ADC 614对模拟电波形进行采样 从而以设定的采样率生成样本序列。可以在可能或可能不包括ADC和DAC的 DSP(数字信号处理器)中进行基于样本的处理616、638。这种音频DSP还 可以包括基于帧的处理620、634，或者基于帧的处理可以由不同部件执行。这 些中断可以由音频DSP中所包括的AFE生成，或者AFE可以是包括通用处理 器的单独部件，所述通用处理器管理除了音频流水线之外的不同类型过程。

AFE(音频前端)是由硬件逻辑形成的并且还可以具有包括对等驱动器的 软件部件。在ADC 614开始采样模拟信号之后，数字样本被存储在缓冲器616 中。在基于样本的处理之后，经处理的样本被存储在帧缓冲器618中。

图7展示了根据本发明的一种实现方式的计算设备100。计算设备100容 纳系统板2。所述板2可以包括多个组件，包括但不限于处理器4和至少一个 通信封装体6。通信封装体耦合到一个或多个天线16。处理器4物理地和电学 地耦合到板2。

根据其应用，计算设备100可以包括可以或可以不物理地和电学地耦合到 板2的其他组件。这些其他组件包括但不限于易失性存储器(例如DRAM)8、 非易失性存储器(例如ROM)9，闪存(未示出)、图形处理器12、数字信号 处理器(未示出)、密码处理器(未示出)、芯片组14、天线16、诸如触摸 屏显示器的显示器18、触摸屏控制器20、电池22、音频编解码器(未示出)、 视频编解码器(未示出)、功率放大器24、全球定位系统(GPS)设备26、 罗盘28、加速度计(未示出)、陀螺仪(未示出)、扬声器30、相机32、话 筒阵列34、和大容量存储设备(诸如硬盘驱动)10，光盘(CD)(未示出)、 数字通用盘(DVD)(未示出)等等)。这些组件可以连接到系统板2、安装 到系统板或与任何其他组件组合。

通信封装体6使得向和从计算设备100传递数据的无线和/或有线通信成 为可能。术语“无线”及其派生词可以用于描述可以通过使用通过非固体介质 的经调制的电磁辐射来传达数据的电路、设备、系统、方法、技术、通信信道 等。该术语并不意味着相关联的设备不包含任何导线，尽管在一些实施例中它 们可能不包括。通信封装体6可以实现多种无线或有线标准或协议中的任何一 种，包括但不限于Wi-Fi(IEEE 802.11家族)、WiMAX(IEEE802.16家族)、 IEEE 802.20、长期演进(LTE)、Ev-DO、HSPA+、HSDPA+、HSUPA+、EDGE、 GSM、GPRS、CDMA、TDMA、DECT、蓝牙、其以太网衍生物以及被指定为 3G、4G、5G及以上的任何其它无线和有线协议。计算设备100可以包括多个 通信封装体6。例如，第一通信封装体6可以专用于诸如Wi-Fi和蓝牙的较短 程无线通信，并且第二通信封装体6可以专用于较长程无线通信，诸如GPS、 EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DO、以及其他。

话筒34和扬声器30耦合到一个或多个音频芯片36以执行如本文所描述 的数字转换、编码和解码、以及音频增强处理。处理器4通过音频前端耦合到 音频芯片，用于例如驱动过程、设置参数、并控制音频芯片的操作。可以在音 频芯片或通信封装体6中执行基于帧的处理。电力管理功能可以由耦合至电池 22的处理器执行，或者可以使用单独的电力管理芯片。

在各种实现中，计算设备100可以是膝上型计算机、上网本、笔记本、超 极本、智能电话、可穿戴设备、平板计算机、个人数字助理(PDA)、超移动 PC、移动电话、台式计算机、服务器、打印机、扫描仪、监视器、机顶盒、娱 乐控制单元、数字相机、便携式音乐播放器、或数字视频记录器。所述计算设 备可以是固定的、便携式的、或可穿戴的。在进一步实现方式中，计算设备100 可以是对数据进行处理的任何其他电子设备。

实施例可以实现为使用母板、专用集成电路(ASIC)、和/或现场可编程 门阵列(FPGA)互连的一个或多个存储器芯片、控制器、CPU(中央处理单 元)、微芯片或集成电路的一部分。

对“一个实施例”、“实施例”、“示例实施例”、“各实施例”等的引 用表明这样描述的本发明的这个或这些个实施例可以包括具体特征、结构、或 特性，但并不是每个实施例必定包括这些具体特征、结构、或特性。进一步， 某些实施例可具有针对其他实施例所描述的特征的一部分、全部、或不具有任 何这些特征。

在以下说明书和权利要求书中，可以使用术语“耦合”及其衍生词。“耦 合”用于指示两个或更多个元件彼此协作或相互作用，但是它们之间可以具有 或不具有中间物理或电学组件。

如权利要求书中所使用的，除非另有说明，使用序数形容词“第一”、“第 二”、“第三”等来描述公共元素仅仅指示相同元素的不同实例被提及，并且 不旨在暗示如此描述的元件必须在或者时间上、空间上、排名上、或以任何其 它方式处于给定序列中。

附图和前述描述给出了实施例的示例。本领域技术人员将理解，所描述的 元件中的一个或多个可以被良好地组合成单个功能元件。可替代地，某些元件 可以分成多个功能元件。来自一个实施例的元件可以被添加到另一个实施例。 例如，本文描述的过程的顺序可以改变并且不限于本文所述的方式。而且，任 何流程图的所述动作无需以示出的顺序被实现；也不一定必须执行所述动作的 全部。并且，不依赖于其他动作的那些动作可以与其他动作并行地执行。实施 例的范围决不限于这些特定示例。无论是否在说明书中明确给出，如材料的结 构、尺寸和使用上的差异的许多变化都是可能的。实施例的范围至少与所附权 利要求给出的一样宽。

下面的示例涉及进一步的实施例。不同实施例的各种特征可以与包括的一 些特征和排除的其他特征进行各种组合以适应各种不同的应用。一些实施例涉 及一种方法，所述方法包括：确定移动设备的当前环境；基于所述当前环境来 选择简档；基于所选择的简档来配置音频处理流水线；以及通过所配置的音频 处理流水线处理所接收的移动设备的音频。

在进一步实施例中，确定当前环境包括：向用户呈现环境列表；从所述用 户处接收对列出的环境中的一个环境的选择；应用所述用户选择作为所述当前 环境。

在进一步实施例中，确定当前环境包括：使用所述移动设备的传感器测量 所述环境的特征。在进一步实施例中，测量包括使用温度计测量环境温度，并 且其中，如果所述温度高于第一温度阈值或低于第二温度阈值，则所述当前环 境被确定为户外。在进一步实施例中，测量包括使用话筒或压力传感器测量风 速，并且其中，如果所述风速高于风阈值，则将当前环境确定为室外。在进一 步实施例中，测量包括测量环境光水平，并且其中，如果所述光水平高于光阈 值，则所述当前环境被确定为户外。在进一步实施例中，速度传感器可以与压 力传感器一起使用，从而确定是室内移动环境还是室外移动环境。

在进一步实施例中，配置音频处理流水线包括禁用语音处理模块。在进一 步实施例中，禁用包括从所述模块断开电力。在进一步实施例中，配置音频处 理流水线包括设置音频处理器的时钟速率。在进一步实施例中，配置音频处理 流水线包括通过命令或通过其他音频调度程序的手段修改模块的参数。

进一步实施例包括：对从所述移动设备的语音解码器接收并通过移动设备 的扬声器回放的音频进行处理。进一步实施例包括：在所述音频处理流水线的 音频增强模块处检测接收的音频中的伪像，并且基于所述检测来调整所述音频 增强模块的操作。

在进一步实施例中，调整所述操作包括：判定是否在接收的数字信号的预 定数量的帧内检测到伪像；以及如果未检测到伪像，则关闭所述模块达预定数 量的帧。在进一步实施例中，选择简档包括：接收来自传感器的环境检测并接 收来自用户的环境选择，并在此基础上选择所述简档。在进一步实施例中，选 择简档包括：接收电池传感器信息；以及基于所述当前环境和所述电池传感器 信息来选择所述简档。

一些实施例涉及一种具有指令的机器可读介质，当被机器操作时，这些指 令使得所述机器执行包括以下各项的操作：确定移动设备的当前环境；基于所 述当前环境来选择简档；基于所选择的简档来配置音频处理流水线；以及通过 所述配置的音频处理流水线来处理所接收的移动设备的音频。

在进一步实施例中，确定当前环境包括：从所述移动设备的多个传感器接 收所述环境的特征。在进一步实施例中，配置音频处理流水线包括：为音频处 理流水线的多个音频增强模块设置配置模式。在进一步实施例中，所述配置模 式包括多个有源(active)模式以及关闭(OFF)模式。

一些实施例涉及一种设备，所述设备包括：用于确定移动设备的当前环境 的装置；用于基于所述当前环境来选择简档的装置；用于基于所选择的简档来 配置音频处理流水线的装置；以及所述音频处理流水线，所述音频处理流水线 用于对移动设备的话筒处接收的音频进行处理。

进一步实施例包括用户界面，所述用户界面用于：向用户呈现环境列表， 以及从所述用户处接收对列出的环境中的一个环境的选择，其中，所述用于选 择的装置应用所述用户选择作为所述当前环境。进一步实施例包括：移动设备 的传感器，用于测量环境的特征，以供所述用于确定当前环境的装置使用。在 进一步实施例中，所述音频处理流水线包括多个音频增强模块，并且其中，所 述用于配置的装置基于所选择的简档来启用和禁用所述音频增强模块。

一些实施例涉及一种装置，所述装置包括：话筒，所述话筒用于接收音频； 音频处理流水线，具有多个音频增强模块，用于处理在话筒处接收到的音频； 移动设备的传感器，所述传感器用于确定移动设备的当前环境；以及控制器， 所述控制器用于：接收所确定的环境；基于所接收的当前环境来选择简档；以 及基于所选择的简档来配置音频处理流水线。

一些实施例涉及一种装置，所述装置包括：接收器，用于接收在远程话筒 处产生的音频；音频处理流水线，具有多个音频增强模块，用于处理远程话筒 处环境的下行链路音频伪像检测；以及控制器，所述控制器用于：接收所确定 的环境；基于下行链路中的所检测的环境来选择简档；以及基于所选择的简档 来配置所述音频处理流水线。

进一步实施例包括所述移动设备的用户界面，所述用户界面耦合至控制 器，所述用户界面用于：向用户呈现环境列表；从所述用户处接收列出环境中 的一个环境的选择；以及将用户选择提供给控制器作为当前环境。

在进一步实施例中，所述传感器包括用于测量环境温度的温度计，并且其 中，如果所述温度高于第一温度阈值或低于第二温度阈值，则所述控制器将所 述当前环境确定为户外。在进一步实施例中，传感器包括用于测量风速的压力 传感器，并且其中，如果所述风速高于风阈值，则所述控制器将所述当前环境 确定为户外。在进一步实施例中，传感器包括用于测量环境光水平的测光计， 并且其中，如果所述光水平高于光阈值，则所述控制器将所述当前环境确定为 户外。

在进一步实施例中，控制器通过启用和禁用语音处理流水线的音频增强模 块来配置音频处理流水线。在进一步实施例中，控制器通过从至少一个增强模 块断开电力来配置音频处理流水线。在进一步实施例中，控制器通过设置音频 处理器的时钟速率来配置音频处理流水线。在进一步实施例中，音频增强模块 检测所接收的音频中的伪像，并基于所述检测来调整音频增强模块的操作。在 进一步实施例中，调整所述操作包括：判定是否在接收的数字信号的预定数量 的帧内检测到伪影；以及如果未检测到伪影，则关闭所述模块达预定数量的帧。

Claims (34)

1.一种用于移动设备的方法，包括：

确定所述移动设备的当前音频环境；

将所确定的音频环境关联至音频处理简档，所述简档具有用于所述移动设备的音频处理流水线配置；

预先配置到所述音频处理简档的外部接入点；

将所述移动设备与所预先配置的外部接入点配对；

使用所配对的预先配置的外部接入点的标识来选择所预先配置的音频处理简档；

响应于所述配对而激活所预先配置的音频处理简档；

基于所选择的简档来配置所述移动设备的音频处理流水线；以及

通过所配置的音频处理流水线对在所述移动设备处接收的音频进行处理。

2.如权利要求1所述的方法，其中，确定当前环境包括：

向用户呈现环境列表；

从所述用户处接收对列出环境中的一个环境的选择；

应用所述用户选择作为所述当前环境。

3.如权利要求1所述的方法，其中，确定当前环境包括：使用所述移动设备的传感器来测量所述环境的特征。

4.如权利要求3所述的方法，其中，测量包括使用温度计测量环境温度，并且其中，如果所述温度高于第一温度阈值或低于第二温度阈值，则所述当前环境被确定为户外。

5.如权利要求3所述的方法，其中，测量包括使用话筒测量风速，并且其中，如果所述风速高于风阈值，则所述当前环境被确定为户外。

6.如权利要求3所述的方法，其中，测量包括测量环境光水平，并且其中，如果所述光水平高于光阈值，则所述当前环境被确定为户外。

7.如权利要求1所述的方法，其中，配置音频处理流水线包括禁用语音处理模块。

8.如权利要求7所述的方法，其中，禁用包括从所述模块断开电力。

9.如权利要求1所述的方法，其中，配置音频处理流水线包括设置音频处理器的时钟速率。

10.如权利要求1所述的方法，进一步包括：对从所述移动设备的语音解码器接收并通过扬声器回放的音频进行处理。

11.如权利要求1所述的方法，进一步包括：在所述音频处理流水线的音频增强模块处检测接收的音频中的伪像；以及基于所述检测来调整所述音频增强模块的操作。

12.如权利要求11所述的方法，其中，调整所述操作包括：判定是否在数字接收音频的预定数量的帧内检测到伪像；以及如果未检测到伪像，则关闭所述模块达预定数量的帧。

13.如权利要求1所述的方法，其中，选择简档包括：接收来自传感器的环境检测并接收来自用户的环境选择，并在此基础上选择所述简档。

14.如权利要求1所述的方法，其中，选择简档包括：接收电池传感器信息；以及基于所述当前环境和所述电池传感器信息来选择所述简档。

15.一种用于移动设备的设备，包括：

用于确定所述移动设备的当前音频环境并且用于将所确定的音频环境关联至音频处理简档的装置，所述简档具有用于所述移动设备的音频处理流水线配置；

用于预先配置到所述音频处理简档的外部接入点、用于将所述移动设备与所预先配置的外部接入点配对、并且用于使用所配对的预先配置的外部接入点的标识来选择所预先配置的音频处理简档的装置；

用于响应于所述配对而激活所预先配置的音频处理简档的装置；

用于基于所选择的简档来配置所述移动设备的音频处理流水线的装置；以及

所述音频处理流水线，所述音频处理流水线用于对在所述移动设备的话筒处接收的音频进行处理。

16.如权利要求15所述的设备，其中，所述音频处理流水线包括多个音频增强模块，并且其中，所述用于配置的装置基于所选择的简档来启用和禁用所述音频增强模块。

17.一种用于移动设备的装置，包括：

话筒，所述话筒用于接收音频；

音频处理流水线，具有多个音频增强模块，用于对在所述话筒处接收的所述音频进行处理；

所述移动设备的传感器，所述传感器用于确定所述移动设备的当前音频环境；

通信封装，所述通信封装用于将所述移动设备与预先配置的外部接入点进行配对；以及

控制器，所述控制器用于：将所确定的音频环境关联至音频处理简档，所述简档具有用于所述移动设备的音频处理流水线配置；预先配置到所述音频处理简档的所述外部接入点；使用所配对的预先配置的外部接入点的标识来选择所预先配置的音频处理简档；响应于所述配对而激活所预先配置的音频处理简档；以及基于所选择的简档来配置所述移动设备的音频处理流水线。

18.如权利要求17所述的装置，进一步包括所述移动设备的用户界面，所述用户界面耦合至所述控制器，所述用户界面用于：

向用户呈现环境列表；

从所述用户处接收对列出环境中的一个环境的选择；

将所述用户选择提供给所述控制器作为所述当前环境。

19.如权利要求17所述的装置，其中，所述传感器包括用于测量环境温度的温度计，并且其中，如果所述温度高于第一温度阈值或低于第二温度阈值，则所述控制器将所述当前环境确定为户外。

20.一种机器可读介质，具有指令，所述指令当由机器操作时使所述机器执行如权利要求1-14中的任一项所述的方法。

21.一种用于移动设备的设备，包括：

用于确定所述移动设备的当前音频环境并且用于将所确定的音频环境关联至音频处理简档的装置，所述简档具有用于所述移动设备的音频处理流水线配置；

用于预先配置到所述音频处理简档的外部接入点、用于将所述移动设备与所预先配置的外部接入点配对、并且用于使用所配对的预先配置的外部接入点的标识来选择所预先配置的音频处理简档的装置；

用于响应于所述配对而激活所预先配置的音频处理简档的装置；

用于基于所选择的简档来配置所述移动设备的音频处理流水线的装置；以及

用于通过所配置的音频处理流水线对在所述移动设备处接收的音频进行处理的装置。

22.如权利要求21所述的设备，其中，用于确定当前环境的装置包括：

用于向用户呈现环境列表的装置；

用于从所述用户处接收对列出环境中的一个环境的选择的装置；

用于应用所述用户选择作为所述当前环境的装置。

23.如权利要求21所述的设备，其中，用于确定当前环境的装置包括：用于使用所述移动设备的传感器来测量所述环境的特征的装置。

24.如权利要求23所述的设备，其中，用于测量的装置包括用于使用温度计测量环境温度的装置，并且其中，如果所述温度高于第一温度阈值或低于第二温度阈值，则所述当前环境被确定为户外。

25.如权利要求23所述的设备，其中，用于测量的装置包括用于使用话筒测量风速的装置，并且其中，如果所述风速高于风阈值，则所述当前环境被确定为户外。

26.如权利要求23所述的设备，其中，用于测量的装置包括用于测量环境光水平的装置，并且其中，如果所述光水平高于光阈值，则所述当前环境被确定为户外。

27.如权利要求21所述的设备，其中，用于配置音频处理流水线的装置包括用于禁用语音处理模块的装置。

28.如权利要求27所述的设备，其中，用于禁用的装置包括用于从所述模块断开电力的装置。

29.如权利要求21所述的设备，其中，用于配置音频处理流水线的装置包括用于设置音频处理器的时钟速率的装置。

30.如权利要求21所述的设备，进一步包括：用于对从所述移动设备的语音解码器接收并通过扬声器回放的音频进行处理的装置。

31.如权利要求21所述的设备，进一步包括：用于在所述音频处理流水线的音频增强模块处检测接收的音频中的伪像的装置；以及用于基于所述检测来调整所述音频增强模块的操作的装置。

32.如权利要求31所述的设备，其中，用于调整所述操作的装置包括：用于判定是否在数字接收音频的预定数量的帧内检测到伪像的装置；以及用于如果未检测到伪像则关闭所述模块达预定数量的帧的装置。

33.如权利要求21所述的设备，其中，用于选择简档的装置包括：用于接收来自传感器的环境检测并接收来自用户的环境选择的装置；以及用于在此基础上选择所述简档的装置。

34.如权利要求21所述的设备，其中，用于选择简档的装置包括：用于接收电池传感器信息的装置；以及用于基于所述当前环境和所述电池传感器信息来选择所述简档的装置。

Images