CN106028369A - 处理音频数据的设备和方法 - Google Patents

处理音频数据的设备和方法 Download PDF

Info

Publication number
CN106028369A
CN106028369A CN201610108403.7A CN201610108403A CN106028369A CN 106028369 A CN106028369 A CN 106028369A CN 201610108403 A CN201610108403 A CN 201610108403A CN 106028369 A CN106028369 A CN 106028369A
Authority
CN
China
Prior art keywords
audio
wakeup schedule
equipment
voice
audio process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610108403.7A
Other languages
English (en)
Other versions
CN106028369B (zh
Inventor
P·温格特纳
J·帕龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106028369A publication Critical patent/CN106028369A/zh
Application granted granted Critical
Publication of CN106028369B publication Critical patent/CN106028369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/02Arrangements for optimising operational condition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/20Manipulation of established connections
    • H04W76/27Transitions between radio resource control [RRC] states
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M7/00Arrangements for interconnection between switching centres
    • H04M7/006Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W52/00Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02Power saving arrangements
    • H04W52/0209Power saving arrangements in terminal devices
    • H04W52/0212Power saving arrangements in terminal devices managed by the network, e.g. network or access point is master and terminal is slave
    • H04W52/0216Power saving arrangements in terminal devices managed by the network, e.g. network or access point is master and terminal is slave using a pre-established activity schedule, e.g. traffic indication frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W52/00Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02Power saving arrangements
    • H04W52/0209Power saving arrangements in terminal devices
    • H04W52/0251Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W72/00Local resource management
    • H04W72/12Wireless traffic scheduling
    • H04W72/1263Mapping of traffic onto schedule, e.g. scheduled allocation or multiplexing of flows
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及处理音频数据的设备和方法。该设备包括:音频处理器,被配置为在通信设备和第二通信设备之间的音频通信连接期间执行音频处理;存储器,被配置为根据第一预定义音频通信连接事件存储至少第一音频处理器唤醒调度;控制器,被配置为:根据第二预定义音频通信连接事件,设置与所述第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度,以及响应于第一或第二预定义音频通信连接事件中的至少一个的发生,根据第一音频处理器唤醒调度或第二音频处理器唤醒调度中的至少一个唤醒音频处理器,其中音频处理器还被配置为:在音频处理完成之后进入睡眠模式,并且响应于从控制器接收到的唤醒信号,从睡眠模式进入处理模式。

Description

处理音频数据的设备和方法
技术领域
本文所描述的实施例总体涉及处理音频数据的设备和方法。
背景技术
移动电话通常用于它们的用户之间的呼叫。这种呼叫涉及音频处理,例如由某些音频处理部件执行的对音频数据的编码和解码。通常,这种音频处理部件具有足够的计算能力,能够在短时间间隔内执行音频处理,并且在这些间隔之间可以进入睡眠模式。在功耗方面,期望保持自睡眠模式的唤醒次数和长度尽可能低。
附图说明
在附图中,相似的参考标记在所有不同视图中通常指代相同的部件。附图未必按比例绘制,相反,重点一般放在说明本发明的原理上。在以下描述中,参考以下附图描述各个方面,其中:
图1示出通信系统。
图2示出在图1的通信系统中使用的示例性帧结构的帧。
图3示出从VoLTE角度来看的移动终端架构的示例。
图4示出设备。
图5示出说明处理音频数据方法的流程图。
图6示出将UL/TX音频处理活动与DL/RX音频处理活动对准的过程/处理。
图7示出UL唤醒调度与DL唤醒调度的对准。
图8和8A-8D示出在20ms DRX无线电配置情况下的RX-TX同步。
图9和9A-9D示出在40ms DRX无线电配置情况下的RX-TX同步。
具体实施方式
以下详细描述参考附图,这些附图通过说明的方式示出了本公开的可以实施本发明的具体细节和方面。可以利用其它方面,并且可以进行结构、逻辑和电气的改变而不背离本发明的范围。本公开的各个方面不必然互相排斥,正如本公开的一些方面可以与本公开的一个或更多其它方面结合从而形成新的方面。
图1示出例如根据3GPP(第三代合作项目)的通信系统100。
通信系统100可以是蜂窝移动通信系统(在下文中也称为蜂窝无线电通信网络),包括无线接入网络(例如E-UTRAN,根据LTE(长期演进)或LTE-Advanced的演进型UMTS(通用移动通信系统)地面无线接入网络)101和核心网络(例如EPC,根据LTE或LTE-Advanced的演进型分组核心)102。无线接入网络101可以包括基站(例如基站收发台、eNodeB、eNB、家用基站、家用eNodeB、根据LTE或LTE-Advanced的HeNB)103。每个基站103可以为无线接入网络101的一个或多个移动无线小区104提供无线覆盖。换句话说:无线接入网络101的基站103可以跨越不同类型的小区104(例如,根据LTE或LTE-Advanced的例如宏小区、毫微微小区、微微小区、小小区、开放小区、封闭用户组小区、混合小区)。应该注意,在下文中描述的示例也可以应用于除了LTE通信网络之外的其它通信网络,例如根据UMTS、GSM(全球移动通信系统)、WIFI等的通信网络。
位于移动无线小区104中的移动终端(例如,UE)105经由在移动无线小区104中提供覆盖(换句话说,操作)的基站103,可以与核心网络102和其它移动终端105进行通信。换句话说,操作移动终端105所位于的移动无线小区104的基站103可以提供包括PDCP(分组数据会聚协议)层、RLC(无线线路控制)层和MAC(介质访问控制)层的E-UTRA用户平面终端,并控制包括朝向移动终端105的RRC(无线资源控制)层的平面终端。除了其它典型的诸如扬声器、麦克风和存储器的部件之外,移动终端105还包括应用处理器111和调制解调器112。
可以基于多址方法,经由空中接口106,在基站103与位于由基站103操作的移动无线小区104中的移动终端105之间传输控制数据和用户数据。可以在移动通信标准空中接口(例如,LTE空中接口106)上部署不同的双工方法,例如FDD(频分双工)或TDD(时分双工)。
基站103通过第一接口107(例如,X2接口)彼此互连。基站103还通过第二接口108(例如,S1接口)连接到核心网络102,例如经由S1-MME接口108连接到MME(移动管理实体)并且通过S1-U接口108连接到服务网关(S-GW)110。S1接口108支持MME/S-GW 109、110与基站103之间的多对多关系,即基站103可以连接到不止一个MME/S-GW 109、110,并且MME/S-GW109、110可以连接到不止一个基站103。这可以使得能够在LTE中实现网络共享。
例如,MME 109可以负责控制位于E-UTRAN覆盖区域中的移动终端的移动性,而S-GW 110可以负责处理移动终端105与核心网络102之间的用户数据的传输。
在例如LTE的移动通信标准的情况下,无线接入网络101(即,在LTE情况下的E-UTRAN)可以看成由基站103(即,在LTE情况下的eNB 103)组成,从而提供E-UTRA用户平面(PDCP/RLC/MAC)和朝向UE 105的控制平面(RRC)的协议终端。
通信系统100的每个基站103可以控制在其地理覆盖区域(即由六边形理想表示的移动无线小区104)内的通信。当移动终端105位于移动无线小区104内并预占(camp on)移动无线小区104(换句话说,向分配给移动无线小区104的跟踪区域(TA)注册)时,它与控制移动无线小区104的基站103进行通信。当呼叫由移动终端105的用户发起(源于移动的呼叫)或者呼叫被定址到移动终端105(止于移动的呼叫)时,在移动终端105与控制移动台所位于的移动无线小区104的基站103之间建立无线信道。如果移动终端105移动离开建立呼叫的原始移动无线小区104并且建立在原始移动无线小区104中的无线信道的信号强度减弱,则通信系统可以发起呼叫转移至移动终端105移动到的另一个移动无线小区104的无线信道。
使用移动终端105到E-UTRAN101和核心网络102的连接,移动终端105可以与位于其它网络中的其它设备进行通信,例如互联网中的服务器,以便例如根据FTP(文件传输协议)使用TCP(传输控制协议)连接下载数据。
根据(无线)帧结构,执行在移动终端105和对应基站103(即,操作移动终端105所位于的无线小区的基站)之间的数据传输。图2中示出了帧结构的示例。
图2示出示例性帧结构的帧200。
帧200可以用于全双工和半双工FDD两者。帧200长10ms并由编号从0至19的20个0.5ms长的时隙201组成。子帧202被定义为两个相继的时隙201。在每个10ms间隔中,十个子帧202可用于下行链路传输或上行链路传输。然而,应该注意,根据其它无线接入技术,例如WIFI,帧可以具有不同于十的子帧数目,并且子帧可以包括不止两个时隙。
上行链路传输和下行链路传输在频域中分开。根据时隙格式,子帧202可以分别在DL(下行链路)中和UL(上行链路)中包括12或14OFDM(正交频分多址)符号和12或14SC-FDMA符号。
移动终端105的用户可以经由VoIP(基于IP的语音,例如在本示例中是VoLTE(基于LTE的语音))与另一个移动终端105的用户进行通信。
图3示出从VoLTE角度来看的移动终端300(例如,对应于移动终端105)的架构的示例。
关于音频的发送,移动终端300包括音频源301,例如移动终端300的用户对着讲话的麦克风连同音频抽样电路。音频数据,例如音频采样(例如,PCM(脉冲编码调制)采样)被存储在音频输入缓冲器302中。VoIP引擎303从音频输入缓冲器302中读出音频数据,并且通过例如根据编码解码器304对音频数进行编码并根据传输协议(例如,根据RTP(实时传输协议))生成分组,从而为传输准备这些数据。VoIP引擎303将处理后的音频数据(例如,RTP分组)提供到移动终端300的收发器306,收发器306将处理后的音频数据发送到无线接入网络,例如发送到服务移动终端300的基站103。
关于音频数据的接收,收发器306接收音频数据,例如已编码且为分组(例如,RTP分组)形式的音频数据,并且将它们供给到VoIP引擎303。VoIP引擎303通过例如从分组中提取音频数据并对其解码,从而提取音频数据,并且将所提取的音频数据存储在音频输出缓冲器303中,待由移动终端300的音频输出电路308(例如,包括数模转换器和扬声器)输出。
在下文中,描述了一种通信设备,其例如通过将关于图3所描述的音频通信中的发送和接收活动对齐/对准,以此允许减小移动终端300的功耗。
图4示出设备400。
设备400包括:音频处理器401,被配置为在第一通信设备(例如,对应于设备400或包括设备400)和第二通信设备之间的音频通信连接期间执行音频处理;以及存储器402,被配置为根据第一预定义音频通信连接事件,存储至少第一音频处理器唤醒调度。
此外,通信设备400包括控制器403,其被配置为基于(例如,根据)第二预定义音频通信连接事件,设置与(例如,将与)第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度,并且响应于第一或第二预定义音频通信连接事件中的至少一个,基于(例如,根据)第一音频处理器唤醒调度或第二音频处理器唤醒调度中的至少一个,将唤醒信号发送到音频处理器以唤醒音频处理器。
音频处理器401还被配置为在音频处理完成之后进入睡眠模式(或空闲模式),并且响应于唤醒信号,从睡眠模式进入处理模式。
换句话说,通信设备(例如,对应于移动电话300)的部件(例如,应用处理器或调制解调器)的、针对音频通信中的不同事件(以及例如,任务)的唤醒调度被对齐了。
例如,通过使得能够动态地对齐音频发送(TX)活动和接收(RX)活动,可以减小VoLTE功耗(或一般来说,任何VoIP呼叫功耗)。这可以例如包括以下项中的一个或多个:
减少用于执行VoLTE(或VoIP)通信(即,呼叫)的唤醒次数。
可以在呼叫期间(例如,在呼叫期间的任何时间点处)执行音频TX/RX活动的对齐。例如,不必然在呼叫启动时或切换时执行。
音频TX/RX活动的对齐可以以平稳/平滑的方式发生。例如,在静音时段期间执行对齐,或者使用时间缩放执行对齐,例如通过在上行链路(UL)中使用话音帧时间缩放来将上行链路传输活动与下行链路接收活动对齐。
为了最小化对整体端到端延迟和话音质量的影响,对于VoLTE,例如UL/TX音频活动与DL/RX音频活动对齐,而不是反过来(使得该对齐过程不改变DL抖动缓冲管理处理和关联活动,统计及触发)。这意味着例如,用于UL/TX音频活动的触发跟踪用于DL/RX音频活动的触发。换句话说,例如,从哪个活动定义其它活动被调整(例如,偏移)到的调度来说,下行链路为主(链路),上行链路为从(链路)。
音频发送(即,上行链路)活动可以理解为包括UL/TX音频处理活动,即上行链路中的音频处理,例如编码和分组生成,和UL/TX音频无线传输活动,即上行链路无线发送,例如包括星座映射和经由空中接口的实际RF(无线频率)发送。
类似地,音频接收(即,下行链路)活动可以理解为包括DL/RX音频处理活动,即下行链路中的音频处理,例如从分组中的数据提取和解码,和DL/RX音频无线传输活动,即无线接收,例如包括经由空中接口的实际RF(无线频率)接收和星座解映射。
通信设备的部件(例如,音频处理器、存储器和控制器)可以例如由一个或多个电路实施。“电路”可以理解为任何类型的逻辑实现实体,其可以是专用电路或执行存储在存储器中的软件、固件或其任何组合的处理器。因此“电路”可以是硬接线的逻辑电路或可编程逻辑电路,例如可编程处理器,例如微处理器。“电路”也可以是执行软件的处理器,例如任何类型的计算机程序。以下将更详细描述的各个功能的任何其它类型的实施方式也可以理解为“电路”。
通信设备400例如执行如图5所示的方法。
图5示出流程图500。
流程图500示出用于处理音频数据的方法,该方法例如由通信设备执行。
在501中,通信设备基于(例如,根据)第一预定义音频通信连接事件,存储至少第一音频处理器唤醒调度。
在502中,通信设备基于(例如,根据)第二预定义音频通信连接事件,设置与第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度。
在503中,响应于第一或第二预定义音频通信连接事件中的至少一个,基于(例如,根据)第一音频处理器唤醒调度或第二音频处理器唤醒调度中的至少一个,通信设备发送唤醒信号以唤醒音频处理器,从而在第一通信设备与第二通信设备之间的音频通信连接期间执行音频处理。音频处理器在音频处理完成之后进入睡眠模式,并且响应于接收到唤醒信号而从睡眠模式进入处理模式。以下示例涉及进一步的实施例。
示例1是如图4所示的设备。
在示例2中,示例1的主题可以可选地包括,第一预定义音频通信连接事件是对要被发送到第二通信设备的音频数据的处理的开始,并且第二预定义音频通信连接是对从第二通信设备接收到的音频数据的处理的开始。
在示例3中,示例2的主题可以可选地包括,音频处理器被配置为与对要被发送到第二通信设备的音频数据的处理相比,以更短的时间执行对从第二通信设备接收到的音频数据的处理,并且设置与第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度包括,将对从第二通信设备接收到的音频数据的处理调度为,在对要被发送到第二通信设备的音频数据的处理期间由应用处理器执行。
在示例4中,示例1-3中任一项的主题可以可选地包括,第一预定义音频通信连接事件是音频数据至第二通信设备的无线发送,并且第二预定义音频通信连接是对要被发送到第二通信设备的音频数据的处理的开始。
在示例5中,示例1-4中任一项的主题可以可选地包括,第一预定义音频通信连接事件是音频数据自第二通信设备的无线接收,并且第二预定义音频通信连接是对从第二通信设备接收到的音频数据的处理的开始。
在示例6中,示例1-5中任一项的主题可以可选地包括,音频处理是对要被发送到第二通信设备的音频数据的音频处理,并且包括对来自音频源的音频数据进行编码和形成已编码音频数据的分组中的至少一个。
在示例7中,示例1-6中任一项的主题可以可选地包括,音频处理是对从第二通信设备接收到的音频数据的音频处理,并且包括从已编码的音频数据的分组提取已编码的音频数据和对已编码的音频数据进行解码中的至少一个。
在示例8中,示例1-7中任一项的主题可以可选地包括,设置与第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度包括,将基于至少一个第二音频处理器唤醒调度的唤醒设置在第一音频处理器唤醒调度的预定容差内。
在示例9中,示例8的主题可以可选地包括,预定容差是相邻的基于第一音频处理器唤醒调度的唤醒之间的时间的2%、5%、10%或15%。
在示例10中,示例1-9中任一项的主题可以可选地包括,作为音频处理是对语音呼叫数据的处理。
在示例11中,示例1-10中任一项的主题可以可选地包括,音频通信连接是基于IP的语音的音频通信连接。
在示例12中,示例1-11中任一项的主题可以可选地包括,音频通信连接是基于LTE的语音的音频通信连接。
在示例13中,示例1-12中任一项的主题可以可选地包括,设置与第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度包括,将至少一个第二音频处理器唤醒调度从之前在音频通信连接期间音频处理器被唤醒所依据的位置偏移到与第一音频处理器唤醒调度类似的位置。
在示例14中,示例13的主题可以可选地包括,控制器被配置为在音频通信连接期间搜索静音时段,并且在找到的静音时段期间执行偏移。
在示例15中,示例13-14中任一项的主题可以可选地包括,控制器被配置为通过缩放或丢弃音频数据执行偏移。
在示例16中,示例1-15中任一项的主题可以可选地包括,控制器被配置为确定至少一个第二音频处理器唤醒调度的唤醒定时与第一音频处理器的唤醒定时之间的差值,并且设置与第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度包括,偏移至少一个第二音频处理器唤醒调度,以减小至少一个第二音频处理器唤醒调度的唤醒定时与第一音频处理器唤醒调度的唤醒定时之间的差值。
在示例17中,示例16的主题可以可选地包括,控制器被配置为在音频通信连接期间确定该差值。
在示例18中,示例16-17中任一项的主题可以可选地包括,控制器被配置为检测该差值是否大于预定阈值,并且如果该差值大于预定阈值,则偏移至少一个第二音频处理器唤醒调度以减小至少一个第二音频处理器唤醒调度的唤醒定时与第一音频处理器唤醒调度的唤醒定时之间的差值。
在示例19中,示例18的主题可以可选地包括,预定阈值是相邻的基于第一音频处理器唤醒调度的唤醒之间的时间的2%、5%、10%或15%。
在示例20中,示例1-19中任一项的主题可以可选地包括,音频处理器是由第一通信设备的应用处理器或第一通信设备的调制解调器实现的。
在示例21中,示例1-20中任一项的主题可以可选地包括,第一通信设备是移动通信设备。
示例22是如图5所示的处理音频数据的方法。
在示例23中,示例22的主题可以可选地包括,第一预定义音频通信连接事件是对要被发送到第二通信设备的音频数据的处理的开始,并且第二预定义音频通信连接是对从第二通信设备接收到的音频数据的处理的开始。
在示例24中,示例23的主题可以可选地包括,与对要被发送到第二通信设备的音频数据的处理相比,音频处理器以更短时间执行对从第二通信设备接收到的音频数据的处理,并且设置与第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度包括,将对从第二通信设备接收到的音频数据的处理调度为,在对要被发送到第二通信设备的音频数据的处理期间由应用处理器执行。
在示例25中,示例24的主题可以可选地包括,第一预定义音频通信连接事件是音频数据至第二通信设备的无线发送,并且第二预定义音频通信连接是对要被发送到第二通信设备的音频数据的处理的开始。
在示例26中,示例22-25中任一项的主题可以可选地包括,第一预定义音频通信连接事件是音频数据自第二通信设备的无线接收,并且第二预定义音频通信连接是对从第二通信设备接收到的音频数据的处理的开始。
在示例27中,示例22-26中任一项的主题可以可选地包括,音频处理是对要被发送到第二通信设备的音频数据的音频处理,并且包括对来自音频源的音频数据进行编码和形成已编码音频数据的分组中的至少一个。
在示例28中,示例22-27中任一项的主题可以可选地包括,音频处理是对从第二通信设备接收到的音频数据的音频处理,并且包括从已编码音频数据的分组提取已编码音频数据和对已编码音频数据进行解码中的至少一个。
在示例29中,示例22-28中任一项的主题可以可选地包括,设置与第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度包括,将基于至少一个第二音频处理器唤醒调度的唤醒设置在第一音频处理器唤醒调度的预定容差内。
在示例30中,示例29的主题可以可选地包括,预定容差是相邻的基于第一音频处理器唤醒调度的唤醒之间的时间的2%、5%、10%或15%。
在示例31中,示例22-30中任一项的主题可以可选地包括,音频处理是对语音呼叫数据的处理。
在示例32中,示例22-31中任一项的主题可以可选地包括,音频通信连接是基于IP的语音的音频通信连接。
在示例33中,示例22-32中任一项的主题可以可选地包括,音频通信连接是基于LTE的语音的音频通信连接。
在示例34中,示例22-23中任一项的主题可以可选地包括,设置与第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度包括,将至少一个第二音频处理器唤醒调度从之前在音频通信连接期间音频处理器被唤醒所依据的位置偏移到与第一音频处理器唤醒调度类似的位置。
在示例35中,示例34的主题可以可选地包括,在音频通信连接期间搜索静音时段,并且在找到的静音时段期间执行偏移。
在示例36中,示例34-35中任一项的主题可以可选地包括,通过缩放或丢弃音频数据执行偏移。
在示例37中,示例22-36中任一项的主题可以可选地包括,确定至少一个第二音频处理器唤醒调度的唤醒定时与第一音频处理器唤醒调度的唤醒定时之间的差值,并且设置与第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度包括,偏移至少一个第二音频处理器唤醒调度,以减小至少一个第二音频处理器唤醒调度的唤醒定时与第一音频处理器唤醒调度的唤醒定时之间的差值。
在示例38中,示例37的主题可以可选地包括,在音频通信连接期间确定该差值。
在示例39中,示例37-38中任一项的主题可以可选地包括,检测该差值是否大于预定阈值,并且如果该差值大于预定阈值,则偏移至少一个第二音频处理器唤醒调度,以减小至少一个第二音频处理器唤醒调度的唤醒定时与第一音频处理器唤醒调度的唤醒定时之间的差值。
在示例40中,示例39的主题可以可选地包括,预定阈值是相邻的基于第一音频处理器唤醒调度的唤醒之间的时间的2%、5%、10%或15%。
在示例41中,示例22-40中任一项的主题可以可选地包括,音频处理器是由第一通信设备的应用处理器或第一通信设备的调制解调器实现的。
在示例42中,示例22-41中任一项的主题可以可选地包括,第一通信设备是移动通信设备。
示例43是一种用于在移动通信设备中对应用处理器功耗和应用处理器处理延迟、调制解调器功耗和调制解调器处理延迟进行折中(trade-off)的方法,使得从全局上来说,在平台层次上,对音频应用处理器上行链路和下行链路活动相对无线调制解调器发送和接收活动的最优且自适应的调度能够用于根据预定义的、可配置的或两者均有的策略,就功耗和延迟方面优化性能,而不会在调度变更期间产生音频伪声(artifact)。
在示例44中,示例43的主题可以可选地包括,对齐上行链路活动和下行链路活动,以减小功耗。
示例45是计算机可读介质,在其上记录有指令,当指令由处理器执行时使处理器根据示例22-44中任一项所述的用于处理音频数据的方法。
示例46是一种设备,包括:音频处理装置,用于在第一通信设备与第二通信设备之间的音频通信连接期间执行音频处理;存储器,用于基于第一预定义音频通信连接事件,存储至少第一音频处理装置唤醒调度;控制装置,用于根据第二预定义音频通信连接事件,设置与第一音频处理装置唤醒调度类似的至少一个第二音频处理装置唤醒调度,并且响应于第一或第二预定义音频通信连接事件中的至少一个,基于第一音频处理装置唤醒调度或第二音频处理装置唤醒调度中的至少一个,将唤醒信号发送到音频处理装置,以便唤醒音频处理装置;其中音频处理装置进一步在音频处理完成之后进入睡眠模式,并且响应于接收到的唤醒信号而从睡眠模式进入处理模式。
在示例47中,示例46的主题可以可选地包括,第一预定义音频通信连接事件是对要被发送到第二通信设备的音频数据的处理的开始,并且第二预定义音频通信连接是对从第二通信设备接收到的音频数据的处理的开始。
在示例48中,示例47的主题可以可选地包括,音频处理装置用于与对要被发送到第二通信设备的音频数据的处理相比,以更短的时间执行对从第二通信设备接收到的音频数据的处理,并且设置与第一音频处理装置唤醒调度类似的至少一个第二音频处理装置唤醒调度包括,将对从第二通信设备接收到的音频数据的处理调度为,在对要被发送到第二通信设备的音频数据的处理期间由应用处理器执行。
在示例49中,示例46-48中任一项的主题可以可选地包括,第一预定义音频通信连接事件是音频数据至第二通信设备的无线发送,并且第二预定义音频通信连接是对要被发送到第二通信设备的音频数据的处理的开始。
在示例50中,示例46-49中任一项的主题可以可选地包括,第一预定义音频通信连接事件是音频数据自第二通信设备的无线接收,并且第二预定义音频通信连接是对从第二通信设备接收到的音频数据的处理的开始。
在示例51中,示例46-50中任一项的主题可以可选地包括,音频处理是对要被发送到第二通信设备的音频数据的音频处理,并且包括对来自音频源的音频数据进行编码和形成已编码音频数据的分组中的至少一个。
在示例52中,示例46-51中任一项的主题可以可选地包括,音频处理是对从第二通信设备接收到的音频数据的音频处理,并且包括从已编码音频数据的分组提取已编码音频数据和对已编码音频数据进行解码中的至少一个。
在示例53中,示例46-52中任一项的主题可以可选地包括,设置与第一音频处理装置唤醒调度类似的至少一个第二音频处理装置唤醒调度包括,将基于至少一个第二音频处理装置唤醒调度的唤醒设置在第一音频处理装置唤醒调度的预定容差内。
在示例54中,示例53的主题可以可选地包括,预定容差是相邻的基于第一音频处理装置唤醒调度的唤醒之间的时间的2%、5%、10%或15%。
在示例55中,示例46-54中任一项的主题可以可选地包括,音频处理是对语音呼叫数据的处理。
在示例56中,示例46-55中任一项的主题可以可选地包括,音频通信连接是基于IP的语音的音频通信连接。
在示例57中,示例46-56中任一项的主题可以可选地包括,音频通信连接是基于LTE的语音的音频通信连接。
在示例58中,示例46-57中任一项的主题可以可选地包括,设置与第一音频处理装置唤醒调度类似的至少一个第二处理装置唤醒调度包括,将至少一个第二音频处理装置唤醒调度从之前在音频通信连接期间音频处理装置被唤醒所依据的位置偏移到与第一音频处理装置唤醒调度类似的位置。
在示例59中,示例58的主题可以可选地包括,控制装置用于在音频通信连接期间搜索静音时段,并且在找到的静音时段期间执行偏移。
在示例60中,示例58-59中任一项的主题可以可选地包括,控制装置用于通过缩放或丢弃音频数据执行偏移。
在示例61中,示例46-60中任一项的主题可以可选地包括,控制装置用于确定至少一个第二音频处理装置唤醒调度的唤醒定时与第一音频处理装置唤醒调度的唤醒定时之间的差值,并且设置与第一音频处理装置唤醒调度类似的至少一个第二音频处理装置唤醒调度包括,偏移至少一个音频处理装置唤醒调度,以减小至少一个第二处理装置唤醒调度的唤醒定时与第一音频处理装置唤醒调度的唤醒定时之间的差值。
在示例62中,示例61的主题可以可选地包括,控制装置用于在音频通信连接期间确定该差值。
在示例63中,示例61-62中任一项的主题可以可选地包括,控制装置用于检测该差值是否大于预定阈值,并且如果该差值大于预定阈值,则偏移至少一个第二音频处理装置唤醒调度,以减小至少一个第二音频处理装置唤醒调度的唤醒定时与第一音频处理装置唤醒调度的唤醒定时之间的差值。
在示例64中,示例63的主题可以可选地包括,预定阈值是相邻的基于第一音频处理装置唤醒调度的唤醒之间的时间的2%、5%、10%或15%。
在示例65中,示例46-64中任一项的主题可以可选地包括,音频处理装置是由第一通信设备的应用处理器或第一通信设备的调制解调器实现的。
在示例66中,示例46-65中任一项的主题可以可选地包括,第一通信设备是移动通信设备。
应该注意,以上任何示例的一个或多个特征可以与任何一个其它示例相结合。
在下文中,参考上面关于图3所描述的结构更详细地描述实施例。
应该注意,VoIP引擎303可以例如通过移动终端300的应用处理器111和通过移动终端300的调制解调器112来实现,调制解调器112例如也(至少部分地)实现收发器306。
可以预期的是,可以用VoIP引擎位于应用处理器111上(即,由应用处理器111实现)的架构,来实现通过关于图4所描述的音频通信活动的对齐,在功耗方面得到的最大改善。
其原因在于,借助VoIP 303引擎在调制解调器112上的架构,即使减少了与音频VoLTE处理活动有关的唤醒次数,调制解调器112也仍然可以被频繁地激活,因为它并行执行其它频发的活动(例如,邻小区监测、寻呼请求监测等)。特别地,例如,调制解调器112的MAC层必须每1ms执行LTE处理。为了解决这个问题,音频(上行链路/下行链路)处理活动可以与无线发送和无线接收活动对齐。因此,可以实现调制解调器唤醒次数被减少。这在下文中进一步更详细地解释。
在以下描述的示例中,假设VoIP引擎303由移动终端的应用处理器111实现,例如以应用处理器111执行的应用的形式实现,并且音频上行链路处理和音频下行链路处理被对齐。
在VoIP引擎303位于应用处理器侧上并且音频上行链路和下行链路处理被对齐的情况下,一旦在典型的VoIP使用情况下(不包括例如视频并行的并发情形)针对话音帧已经执行了VoIP音频处理活动,应用处理器111(以及例如移动终端的300SoC(片上系统))就可以接着进入低功耗模式,等待下一个将要处理的话音帧。所以,借助音频上行链路处理和音频下行链路处理的对齐,在VoLTE呼叫期间,将典型地每20ms或40ms发生一次应用处理器侧上的唤醒,而在不用这种方法的情况下,每20ms或40ms两次唤醒将是必需的(例如,取决于网络DRX(不连续接收)/SPS(半永久调度)/ptime配置)。
代替使用随机时间点进行UL/TX音频和DL/TX音频活动的对齐,在例如如下的一个示例中,执行对齐以能够实现低功耗,且对端到端延迟影响低(以及潜在地,不存在任何影响)。事实上,例如,通常相对/矛盾的两个事物,即功耗和延迟,被优化。
首先,控制器403测量UL/TX音频活动和DL/TX音频活动之间的未对齐。它可以例如收集统计数据以确定未对齐是否稳定或移动:在VoIP情形下,由于网络抖动和在接收侧上使用基于采样的抖动缓冲管理,DL/RX音频活动的时刻可能是移动的。控制器403例如避免干扰这个事情,因为JBM(抖动缓冲管理)正在工作以最小化DL延迟同时使得能够进行保护免受网络抖动。所以,控制器403例如不偏移DL/RX活动,而是将UL音频活动与DL音频活动对齐。
在VoLTE系统中,对于VoLTE呼叫,可以使用两种类型的调度:
1)动态调度:当移动终端(即,在LTE情况下是UE)具有要发送的数据时,UE将调度请求发送到网络(例如,发送到E-UTRAN 101)以获取准许用于UL无线发送的资源。所以,借助动态调度,UL无线发送的时刻可以经由该机制来改变。
2)半永久调度(SPS):在这种情况下,由网络(例如,E-UTRAN101)为UL发送分配预定义的时刻。这允许避免在每个话音帧处,针对授予UE用于无线发送的资源使用协商机制。在这种情况下,UE不能改变用于UL无线发送的无线UL时刻。
对于动态调度,UL音频TX处理活动的偏移对端到端延迟具有有限的影响(大多数时间甚至没有影响),而在SPS端到端延迟的情况下,通常将被改变。
关于SPS,出现两种情况:
UL音频处理活动的偏移减小整体端到端延迟,或
UL音频处理活动的偏移增加整体端到端延迟。
通过测量UL/TX音频处理活动的完成和无线UL发送的开始之间逝去的时间,控制器403可以推断出UL/TX音频处理活动偏移将增加还是降低整体端到端延迟。
所以,基于该信息,控制器403可以采取有把握(educated)的决策,该决策可能使得:
1.减小功耗并且减小端到端延迟,
2.减小功耗并且对端到端延迟具有有限的影响或无影响,
3.减小功耗但增加端到端延迟,
其中通过偏移UL/TX音频处理活动,使其与DL/RX音频处理活动对齐,使得对于UL/TX音频处理和DL/RX音频处理存在单个唤醒源,或者换句话说,共同唤醒调度,以此实现功率减小。这可以借助VoIP引擎位于应用处理器上,即与调制解调器活动去相关,以此允许显著减小功耗。
在情况1和2中,控制器403可以例如一直执行偏移/对齐。在情况3中,控制器403可以基于设备策略决定是否执行偏移/对齐。
控制器403可以在整个呼叫持续时间期间,动态且自适应地对齐VoIP呼叫期间的UL/TX音频处理活动,其中以平滑的方式(不会产生可听见的失真)执行音频处理活动的偏移,并且其中考虑到通常是相对/矛盾的两个音频KPI(关键性能指标),功耗和端到端延迟。
因此,为了低功耗和低延迟,在本示例中由应用处理器111实现的整个音频系统在唤醒方面被动态调整。
例如,基于IMS(互联网协议多媒体子系统)APE(应用处理器)中心架构的移动终端可以关于功耗被优化。
IMS APE中心架构通常非常具有吸引力,因为它们能够容易地支持IMS特征(IR.94,基于WiFi的IMS,RCSe等…),能够容易地升级,并且与VoIP引擎位于调制解调器上的调制解调器中心架构相比,更易于以成本有效的方式支持。调制解调器中心架构通常是针对一种使用情况(即,在LTE情况下是低功耗VoLTE呼叫)优化的,但是与IMS APE中心架构相比,通常使得对其它IMS使用情况和特征的支持变得更加复杂。
尽管如此,一些移动电话厂商正在推荐调制解调器中心架构,而其它厂商正在支持(并且在内部推进)APE中心架构。所以,可能期望的是,具有一种方法用于两种架构。
应该注意,在VoLTE背景中描述的示例可以适于其它VoIP应用。现今,在VoIP功耗方面最大的压力是在VoLTE呼叫的背景中。
图6示出UL/TX音频处理活动与DL/RX音频处理活动的对齐的处理。
该过程例如由通信设备400的控制器403执行,通信设备400例如对应于移动终端105和移动终端300。
第一图示601示出下行链路唤醒的下行链路唤醒调度,下行链路唤醒以20ms的时间间隔均匀隔开。此外,上行链路唤醒的上行链路唤醒调度包括上行链路唤醒603,上行链路唤醒603也以20ms的时间间隔均匀隔开。然而,可以看到,上行链路唤醒调度被向左偏移11ms,即每个上行链路603比下行链路唤醒602提前11ms。
控制器403例如在滑动窗口上测量该未对齐,即上行链路唤醒调度相对于下行链路唤醒调度的偏移。例如,控制器403可以进行测量持续一段预定时间,或者等待直到偏移在整个滑动窗口上稳定。
换句话说,控制器403收集关于音频UL唤醒和音频DL唤醒未对齐的测量。由于DLSJBM(基于采样的抖动缓冲管理)活动,DL唤醒可能是移动的,使得在对齐的情况下可以看到,UL唤醒跟踪DL唤醒。
所以,在考虑将UL音频处理活动与DL音频处理活动对齐之前,控制器403可以等待一段时间,直到DL唤醒稳定。一旦DL唤醒调度稳定,例如满足稳定标准,控制器403就基于测量结果(以及例如DL唤醒统计)来确定用于对齐的值。在本示例中,控制器403确定对齐值ALIGN=11ms。
控制器403可以评估对端到端延迟的影响:
在VoLTE动态调度的情况下,控制器403可以被配置为执行将UL唤醒调度偏移所确定的值。
在VoLTE半永久调度的情况下,控制器403可以被配置为评估对VoLTE连接的延迟的影响,即确定当UL唤醒调度被偏移所确定的值时,连接延迟是增加、降低,还是保持不变。基于例如可配置的策略,控制器403接着决定是否执行UL音频处理活动的偏移。
应该注意,可能不需要精确对齐:由于多核架构现在是移动电话应用处理器的典型特征,DL处理活动配合在UL处理活动内,使得它们能够在不同核(物理线程或超线程)上并行执行,通常就足够了。另外,VoLTE的UL处理活动比DL处理活动花费更多时间:这是使用像AMR(自适应多速率)或EVS(增强的语音服务)、Opus等编码解码器的结果,其中编码比解码耗费更多时间。事实上,AMR编码通常花费约四倍AMR解码的时间。
假设控制器403决定执行对齐,则它偏移UL唤醒调度,使包括偏移的UL唤醒604在内的UL唤醒调度与DL唤醒调度的DL唤醒602对齐,如在第二图示605中所示。因此,UL处理活动与DL处理活动对齐或重叠。
控制器403可以在VoLTE(或一般地说,VoIP)呼叫期间执行多次这种对齐。这可以在不产生音频伪声的情况下实现,使得UL处理活动可以平稳地跟上DL处理活动的演进,并且整个音频系统是动态的。
图7示出控制器403可以如何执行(即,实现)UL唤醒调度与DL唤醒调度的对齐。
在对齐之前,如第一图示701所示,假设移动终端的音频输入缓冲器702(例如,对应于音频输入缓冲器302)被对应于22ms的音频采样填充,对应于22ms的音频采样如音频输入缓冲器702的区段703所示,该区段703在左侧(假设缓冲器702是从右到左填充的)由指针cp_ptr划界并且在右侧由指针dsp_ptr划界,指针cp_ptr指示从缓冲器702读取新采样,指针dsp_ptr指示VoIP引擎303的部件(例如,DSP(数字信号处理器)704)将采样写入到缓冲器702,以(例如,在由DSP 704进行某些处理之前)由编解码器705(在读取采样之后)进行编码。DSP 704和编解码器705可以例如至少部分地实现VoIP引擎303。应该注意,在上行链路中,DSP 704向缓冲器702写入并且应用处理器从缓冲器702中读取,而在下行链路中,应用处理器向缓冲器写入并且DSP 704从缓冲器702中读取。
在默认情况下,在VoLTE呼叫期间的音频UL处理活动的唤醒通常每20ms(或40ms)发生。理论上,网络配置使用较高的值(20ms的倍数)是可能的,但是20ms和40ms是针对VoLTE呼叫的典型值。在其它编解码器例如opus、ilbc或isac的情况下,可以使用不同值:5ms、10ms、30ms。
当执行音频UL处理活动的偏移时,控制器403可以使用以下两种方法中的一种:
丢弃音频(例如,pcm(脉冲编码调制))采样。控制器403可以例如在静音时段期间触发该动作。
对音频进行时间缩放,即音频信号(例如,一个或多个话音帧)的压缩或扩展。
控制器403也可以使用这两种方法的组合。例如,它可以等待一静音时段并且在没有出现静音时段的情况下,例如在一定超时之后,它可以触发话音帧时间缩放。然而,在话音呼叫期间,在统计学上存在接近50%的静音时段,并且即使当用户连续讲话时,也存在定期的小静音时段。
对于对齐来说,在本示例中,需要少于20ms的静音时段,所以在静音时段期间丢弃音频采样可以被预期为是合适的,允许覆盖多数(如果不是所有)的情况。在极端情况下,为了允许处理所有情形,控制器可以将话音帧时间缩放视为附加的改善(refinement)。
在图7的示例中,一旦控制器403已经决定偏移音频UL处理活动,并且一旦它已经确定了指明UL音频处理活动应当被偏移多少ms的对齐值(ALIGN=11ms),控制器403就每20ms(或每40ms)执行对捕获的采样的(例如,pcm)分析,以检测适合于采样丢弃但不产生可听见的音频伪声的帧。
当控制器403已经检测到这种帧时,控制器403例如通过读取并丢掉一些音频采样或,如图7所示,通过倒回(rewind)计数器或指针,使得忽略要被丢弃的音频采样并且随后将被改写,以此丢弃与对齐值(即,在本示例中是11ms的样本)给定的ms那样多的音频采样。
具体地,在图7的示例中,指针cp_ptr被倒回(向右偏移)11ms,如第二图示706所示,使得等效地丢弃了11ms的音频采样,另外11ms的音频采样必须输入到缓冲器中,直到唤醒被触发。例如,如果在22ms的缓冲水平下触发了唤醒,则在倒回计数器cp_ptr之后,11ms仍然丢失,并且仅在另一个11ms之后,用于对完整的话音帧进行UL编码的丢失采样是可用的并且UL唤醒被触发,使得音频UL处理活动和关联的UL唤醒被延迟11ms。
在偏移之后,UL唤醒调度再次继续周期性唤醒,每20ms(或40ms),使得音频UL处理活动与音频DL处理活动的对齐已经被执行。
控制器403在整个呼叫期间可以再三地重复该过程。因此,音频系统在VoLTE/VoIP呼叫期间是动态的,其中DL(回放)为主,UL以自适应且平滑的方式执行与DL的定期对齐。它是针对低功耗优化的,并且能够应对致力于达到最小下行链路延迟和最大网络抖动保护的系统,而在大多数情况下不对UL延迟产生影响,并且在其余情况下能够采取一些折中决策(功率对UL延迟)。
上面关于图6和图7描述的示例基于VoIP引擎303实现在应用处理器111上的架构。然而,类似的方法也可以用于VoIP引擎303实现在调制解调器(例如,LTE调制解调器112)上的架构中。
在下文中,描述了基于调制解调器中心架构的示例,即VoIP引擎303实现在调制解调器112上,其中考虑了在上行链路无线传输和下行链路无线传输方面被优化了的网络设置和没有被优化的网络设置两者的情况。
在以下示例中,为了减小在呼叫(例如,IMS或IR92呼叫)期间的VoLTE平台(例如,移动终端300)的整体功耗,核心唤醒(在本示例中是调制解调器唤醒)的次数被减少。为此目的,在呼叫期间所需的活动被同步和调度,以增加核心睡眠机会。
具体地,在本示例中,将上行链路音频处理和音频下行链路处理被对齐至上行链路无线(例如,LTE)传输和下行链路无线(例如,LTE)传输调度,如在图8和图9中所示。
图8和图9示出说明上行链路活动和下行链路活动的时间的时间图800、900。
在图800、900中,相应部件/功能的活动状态由阴影格子指示,而部件/功能的非活动状态由空白格子指示。
在图8和图9所示的示例中,UL和DL音频处理被对齐至UL和DL无线传输。
在针对VoLTE呼叫优化的网络配置中,UL TX和DL RX LTE时隙彼此靠近(理想地,在四个TTI(时间传输间隔)内),以便在与TX相同的时隙中发送RX ACK(确认),或者反之亦然。SR(调度请求)的位置801、901靠近持续时间开始(onDurationStart)。在小于DRX循环的SR周期的情况下,移动终端300选择最靠近持续时间开始的SR。
利用与音频处理(编码/解码(如果可用的话)、RTP组帧、IP组帧)有关的某个偏移和传播时间,相对于TX传输804、904和RX传输805、905调度来自音频子系统的、用于触发音频数据的发送或接收到的数据的播放的UL中断802、902和DL中断803、903。从调制解调器中心的角度并且还从AP中心的角度来看,这允许具有低延迟和功耗的配置。实际上,当由于音频数据的接收而产生音频播放的中断时,应用处理器和调制解调器已经被唤醒,如调制解调器状态806、906以及应用处理器状态807、907所示。
在LTE无线接收和无线发送彼此不靠近的非优化网络配置的情况下,控制器403可以确定要减小功耗还是延迟。为了减小AP中心解决方案中的功耗,UL处理中断和DL处理中断可以被定位于同一唤醒循环/周期中。在无线电条件差的情况下,实际的成功的RX时隙会被偏移(即,实际的RX将由于网络而更迟)。控制器403可以使用该信息来定位UL处理中断和DL音频处理中断,以减小功耗和延迟两者。
VoIP引擎303实现在LTE调制解调器112顶部的应用处理器上的架构的情况下,在减小应用处理器的功耗与减小调制解调器的功耗之间潜在地存在折中。
由于编解码器编码(例如,AMR编码)通常比解码长得多,因此对于与应用处理器上的上行链路编码并行地调度应用处理器上的DL解码,存在某些灵活性,而不需要两次唤醒应用处理器。
例如,调制解调器112基于它对TX/RX无线传输时隙调度的了解向应用处理器报告,或者从调制解调器角度限制UL/DL活动的最优偏移,以优化调制解调器功耗。如果该偏移仍然使得应用处理器111上的DL处理能够发生在UL处理结束之前,则控制器执行该配置并可以因此实现应用处理器和调制解调器两者的单次唤醒。
否则,控制器403可以做出决策,使得:
两次唤醒应用处理器并且一次唤醒调制解调器,或
一次唤醒应用处理器并且两次唤醒调制解调器。
在两次唤醒的情况下,根据两个活动之间的时间间隔(使得能够有或多或少的睡眠时间),调制解调器和应用处理器可以提供功耗影响评估,这使控制器能够做出有把握的决策。
虽然已经描述了具体方面,但是本领域技术人员应该理解,可以进行各种形式和细节上的改变而不背离如由所附权利要求限定的本公开的各方面的精神和范围。该范围因此由所附权利要求指示并且因此意图涵盖落在权利要求等效物的含义和范围内的所有改变。

Claims (25)

1.一种设备,包括:
音频处理器,被配置为在第一通信设备和第二通信设备之间的音频通信连接期间执行音频处理;
存储器,被配置为根据第一预定义音频通信连接事件存储至少第一音频处理器唤醒调度;
控制器,被配置为:
基于第二预定义音频通信连接事件,设置与所述第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度,以及
响应于所述第一预定义音频通信连接事件或所述第二预定义音频通信连接事件中的至少一个,基于所述第一音频处理器唤醒调度或所述第二音频处理器唤醒调度中的至少一个,将唤醒信号发送到所述音频处理器,以唤醒所述音频处理器;
其中,所述音频处理器还被配置为:在音频处理完成之后进入睡眠模式,并且响应于所述唤醒信号,从所述睡眠模式进入处理模式。
2.根据权利要求1所述的设备,其中,所述第一预定义音频通信连接事件是对要被发送到所述第二通信设备的音频数据的处理的开始,并且所述第二预定义音频通信连接是对从所述第二通信设备接收到的音频数据的处理的开始。
3.根据权利要求2所述的设备,其中,所述音频处理器被配置为:与要被发送到所述第二通信设备的音频数据的处理相比,以更短的时间执行对从所述第二通信设备接收到的音频数据的处理,并且其中,设置与所述第一音频处理器唤醒调度类似的所述至少一个第二音频处理器唤醒调度包括,将对从所述第二通信设备接收到的音频数据的处理调度为,在对要被发送到所述第二通信设备的音频数据的处理期间由所述应用处理器执行。
4.根据权利要求1所述的设备,其中,所述第一预定义音频通信连接事件是音频数据至所述第二通信设备的无线发送,并且所述第二预定义音频通信连接是对要被发送到所述第二通信设备的音频数据的处理的开始。
5.根据权利要求1所述的设备,其中,所述第一预定义音频通信连接事件是音频数据自所述第二通信设备的无线接收,并且所述第二预定义音频通信连接是对从所述第二通信设备接收到的音频数据的处理的开始。
6.根据权利要求1所述的设备,其中,所述音频处理是对要被发送到所述第二通信设备的音频数据的音频处理,并且包括对来自音频源的音频数据进行编码和形成已编码音频数据的分组中的至少一个。
7.根据权利要求1所述的设备,其中,所述音频处理是对从所述第二通信设备接收到的音频数据的音频处理,并且包括从已编码音频数据的分组中提取已编码音频数据和对已编码音频数据进行解码中的至少一个。
8.根据权利要求1所述的设备,其中,设置与所述第一音频处理器唤醒调度类似的所述至少一个第二音频处理器唤醒调度包括,将基于所述至少一个第二音频处理器唤醒调度的唤醒设置在所述第一音频处理器唤醒调度的预定容差内。
9.根据权利要求8所述的设备,其中,所述预定容差是相邻的基于所述第一音频处理器唤醒调度的唤醒之间的时间的2%、5%、10%或15%。
10.根据权利要求1所述的设备,其中,所述音频处理是对语音呼叫数据的处理。
11.根据权利要求1所述的设备,其中,所述音频通信连接是基于IP的语音的音频通信连接。
12.根据权利要求1所述的设备,其中,所述音频通信连接是基于LTE的语音的音频通信连接。
13.根据权利要求1所述的设备,其中,设置与所述第一音频处理器唤醒调度类似的所述至少一个第二音频处理器唤醒调度包括,将所述至少一个第二音频处理器唤醒调度从之前在音频通信连接期间所述音频处理器被唤醒所依据的位置偏移到与所述第一音频处理器唤醒调度类似的位置。
14.根据权利要求13所述的设备,其中,所述控制器被配置为:在所述音频通信连接期间搜索静音时段,并且在找到的静音时段期间执行所述偏移。
15.根据权利要求13所述的设备,其中,所述控制器被配置为:通过缩放或丢弃音频数据来执行所述偏移。
16.根据权利要求1所述的设备,其中,所述控制器被配置为:确定所述至少一个第二音频处理器唤醒调度的唤醒定时与所述第一音频处理器唤醒调度的唤醒定时之间的差值,并且其中,设置与所述第一音频处理器唤醒调度类似的所述至少一个第二音频处理器唤醒调度包括,偏移所述至少一个第二音频处理器唤醒调度,以减小所述至少一个第二音频处理器唤醒调度的唤醒定时与所述第一音频处理器唤醒调度的唤醒定时之间的所述差值。
17.根据权利要求16所述的设备,其中,所述控制器被配置为:在所述音频通信连接期间确定所述差值。
18.根据权利要求16所述的设备,其中,所述控制器被配置为检测所述差值是否大于预定阈值,并且如果所述差值大于所述预定阈值,则偏移所述至少一个第二音频处理器唤醒调度,以减小所述至少一个第二音频处理器唤醒调度的唤醒定时与所述第一音频处理器唤醒调度的唤醒定时之间的所述差值。
19.根据权利要求18所述的设备,其中,所述预定阈值是相邻的基于所述第一音频处理器唤醒调度的唤醒之间的时间的2%、5%、10%或15%。
20.根据权利要求1所述的设备,其中,所述音频处理器是由所述第一通信设备的应用处理器或所述第一通信设备的调制解调器实现的。
21.根据权利要求1所述的设备,其中,所述第一通信设备是移动通信设备。
22.一种用于处理音频数据的方法,包括:
基于第一预定义音频通信连接事件,存储至少第一音频处理器唤醒调度;
基于第二预定义音频通信连接事件,设置与所述第一音频处理器唤醒调度类似的至少一个第二音频处理器唤醒调度;
响应于所述第一预定义音频通信连接事件或所述第二预定义音频通信连接事件中的至少一个,基于所述第一音频处理器唤醒调度或所述第二音频处理器唤醒调度中的至少一个,将唤醒信号发送到音频处理器,以唤醒所述音频处理器并且在第一通信设备和第二通信设备之间的音频通信连接期间执行音频处理;
其中,所述音频处理器在音频处理完成之后进入睡眠模式,并且响应于接收到所述唤醒信号而从所述睡眠模式进入处理模式。
23.一种用于在移动通信设备中对应用处理器功耗和应用处理器处理延迟、调制解调器功耗和调制解调器处理延迟进行折中的方法,使得从全局上来说,在平台层次上,对音频应用处理器上行链路和下行链路活动相对无线调制解调器发送和接收活动的最优且自适应的调度能够用于根据预定义的、可配置的或两者均有的策略,在功耗和延迟方面优化性能,而不会在调度变更期间产生音频伪声。
24.根据权利要求23所述的方法,包括对齐上行链路活动和下行链路活动,以便减小功耗。
25.一种计算机可读介质,在其上记录有指令,所述指令当由处理器执行时使所述处理器执行根据权利要求22至24中任一项所述的方法。
CN201610108403.7A 2015-03-27 2016-02-26 处理音频数据的设备和方法 Active CN106028369B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/670,441 US9713192B2 (en) 2015-03-27 2015-03-27 Device and method for processing audio data
US14/670,441 2015-03-27

Publications (2)

Publication Number Publication Date
CN106028369A true CN106028369A (zh) 2016-10-12
CN106028369B CN106028369B (zh) 2019-08-20

Family

ID=55521415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610108403.7A Active CN106028369B (zh) 2015-03-27 2016-02-26 处理音频数据的设备和方法

Country Status (4)

Country Link
US (1) US9713192B2 (zh)
EP (1) EP3073791B1 (zh)
CN (1) CN106028369B (zh)
TW (1) TWI593297B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774798A (zh) * 2016-12-06 2017-05-31 宇龙计算机通信科技(深圳)有限公司 音乐切换的方法及装置
CN109147822A (zh) * 2018-10-26 2019-01-04 上海创远仪器技术股份有限公司 用于volte语音录制及语音质量评估的系统及其方法
CN109699074A (zh) * 2017-10-20 2019-04-30 上海朗帛通信技术有限公司 一种被用于无线通信的用户设备、基站中的方法和装置
KR20190104386A (ko) * 2017-02-13 2019-09-09 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 주파수 정보를 갖는 웨이크업 신호
WO2021036913A1 (zh) * 2019-08-28 2021-03-04 展讯通信(上海)有限公司 传输资源的调整方法与设备
CN112825488A (zh) * 2019-11-21 2021-05-21 成都鼎桥通信技术有限公司 音频数据传输方法、装置及终端

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102398970B1 (ko) * 2015-09-03 2022-05-17 삼성전자주식회사 패킷 기반 음성 통화에서 데이터 전송을 제어하는 방법 및 장치
WO2018018475A1 (zh) * 2016-07-27 2018-02-01 华为技术有限公司 一种最大打包间隔的协商方法、装置以及存储介质
US10206124B1 (en) 2016-09-14 2019-02-12 Mbit Wireless, Inc. Method and apparatus for bidirectional modem
US10182368B1 (en) * 2016-09-20 2019-01-15 Mbit Wireless, Inc. Method and apparatus for bidirectional applications
WO2018187969A1 (en) * 2017-04-12 2018-10-18 Qualcomm Incorporated Dynamic low latency configuration
CN109032554B (zh) * 2018-06-29 2021-11-16 联想(北京)有限公司 一种音频处理方法和电子设备
CN112732340B (zh) 2019-10-14 2022-03-15 思必驰科技股份有限公司 人机对话处理方法及装置
CN111601297B (zh) * 2020-05-14 2023-06-09 中国联合网络通信集团有限公司 拥塞解决方法、业务开通方法、服务器和终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1311565A (zh) * 2000-02-29 2001-09-05 数码太平洋国际控股有限公司 通信装置和方法
CN1671127A (zh) * 2004-03-16 2005-09-21 日本电气株式会社 用于无线电通信的装置、系统和方法
CN1780289A (zh) * 2004-11-18 2006-05-31 英保达股份有限公司 网络语音电话系统中建立通讯进行数据传送与接收的方法
CN101056328A (zh) * 2007-05-25 2007-10-17 深圳市飞扬无限科技有限公司 基于无绳电话的应用方法和系统
CN101236770A (zh) * 2007-01-05 2008-08-06 索尼株式会社 再现装置和再现控制方法
CN101371467A (zh) * 2006-01-11 2009-02-18 高通股份有限公司 涉及无线终端信标信号生成、传送、和/或使用的方法和装置
US8014816B2 (en) * 2007-04-20 2011-09-06 Hon Hai Precision Industry Co., Ltd. Mobile communication device and power saving method thereof
US20140355526A1 (en) * 2013-05-30 2014-12-04 Broadcom Corporation Low cost and robust receiver architecture for down link carrier aggregation

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6987947B2 (en) * 2001-10-30 2006-01-17 Unwired Technology Llc Multiple channel wireless communication system
JP3886795B2 (ja) * 2001-12-10 2007-02-28 株式会社エヌ・ティ・ティ・ドコモ 移動通信システム、移動通信方法、移動端末及び通信基地局
CN100525114C (zh) 2005-12-29 2009-08-05 北京中星微电子有限公司 一种音频处理系统
US7797555B2 (en) * 2006-05-12 2010-09-14 Intel Corporation Method and apparatus for managing power from a sequestered partition of a processing system
US8588054B2 (en) * 2006-10-26 2013-11-19 Qualcomm Incorporated Silence intervals in wireless communications
US8504120B2 (en) * 2007-08-31 2013-08-06 Palm, Inc. Techniques for controlling a radio processor in a mobile computing device
ES2378267T3 (es) 2007-09-14 2012-04-10 Research In Motion Limited Sistema y método para el tiempo de inicio de control de recepción discontinua
US8111642B2 (en) 2008-02-13 2012-02-07 Sony Ericsson Mobile Communications Ab Using traffic patterns to improve sleep mode efficiency in a radio handset
US8095610B2 (en) * 2008-03-28 2012-01-10 Time Warner Cable Inc. Methods and apparatus for centralized and decentralized emergency alert messaging
US20100141400A1 (en) * 2008-11-19 2010-06-10 Qualcomm Incorporated Lower power discovery and wake up using service set identifier probabilistic scanning synchronization verification and optional sensor
ES2763165T3 (es) * 2008-12-15 2020-05-27 Blackberry Ltd Alineamiento de planificación semipersistente y recepción discontinua
US20100299455A1 (en) * 2009-05-21 2010-11-25 Motorola, Inc. Mobile Computing Device and Method with Enhanced Poling Management
US8843129B2 (en) * 2009-12-21 2014-09-23 Samsung Electronics Co., Ltd. Methods and apparatus to support base station detection and selection in multi-tier wireless networks
WO2011093901A1 (en) * 2010-02-01 2011-08-04 Hewlett-Packard Development Company, L.P. Deep sleep mode management for a network switch
US8391918B2 (en) * 2010-06-28 2013-03-05 Research In Motion Limited Method and system for radio access technology selection
US9098261B2 (en) * 2011-12-15 2015-08-04 Intel Corporation User level control of power management policies
US9348594B2 (en) * 2011-12-29 2016-05-24 Intel Corporation Core switching acceleration in asymmetric multiprocessor system
US8831632B2 (en) * 2012-05-25 2014-09-09 Kevin Laws Efficient resource usage for location sharing in computer networks
US9288720B2 (en) * 2012-10-08 2016-03-15 Apple Inc. Dynamic network cell reselection after a failed handover
CN103841493B (zh) 2012-11-21 2017-04-12 宏碁股份有限公司 音频处理装置
US9136973B2 (en) * 2013-06-15 2015-09-15 Olympus Corporation Flexible reservation-based MAC for wireless body area networks
US9244516B2 (en) * 2013-09-30 2016-01-26 Sonos, Inc. Media playback system using standby mode in a mesh network
US9736771B2 (en) * 2015-01-20 2017-08-15 Mitsubishi Electric Research Laboratories, Inc. Energy efficient management of heterogeneous multi-hop wireless networks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1311565A (zh) * 2000-02-29 2001-09-05 数码太平洋国际控股有限公司 通信装置和方法
CN1671127A (zh) * 2004-03-16 2005-09-21 日本电气株式会社 用于无线电通信的装置、系统和方法
CN1780289A (zh) * 2004-11-18 2006-05-31 英保达股份有限公司 网络语音电话系统中建立通讯进行数据传送与接收的方法
CN101371467A (zh) * 2006-01-11 2009-02-18 高通股份有限公司 涉及无线终端信标信号生成、传送、和/或使用的方法和装置
CN101236770A (zh) * 2007-01-05 2008-08-06 索尼株式会社 再现装置和再现控制方法
US8014816B2 (en) * 2007-04-20 2011-09-06 Hon Hai Precision Industry Co., Ltd. Mobile communication device and power saving method thereof
CN101056328A (zh) * 2007-05-25 2007-10-17 深圳市飞扬无限科技有限公司 基于无绳电话的应用方法和系统
US20140355526A1 (en) * 2013-05-30 2014-12-04 Broadcom Corporation Low cost and robust receiver architecture for down link carrier aggregation

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106774798A (zh) * 2016-12-06 2017-05-31 宇龙计算机通信科技(深圳)有限公司 音乐切换的方法及装置
KR20190104386A (ko) * 2017-02-13 2019-09-09 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 주파수 정보를 갖는 웨이크업 신호
KR102192979B1 (ko) * 2017-02-13 2020-12-21 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 주파수 정보를 갖는 웨이크업 신호
US10966150B2 (en) 2017-02-13 2021-03-30 Telefonaktiebolaget Lm Ericsson (Publ) Wake-up signal with frequency information
CN109699074A (zh) * 2017-10-20 2019-04-30 上海朗帛通信技术有限公司 一种被用于无线通信的用户设备、基站中的方法和装置
CN109699074B (zh) * 2017-10-20 2021-11-23 上海朗帛通信技术有限公司 一种被用于无线通信的用户设备、基站中的方法和装置
CN109147822A (zh) * 2018-10-26 2019-01-04 上海创远仪器技术股份有限公司 用于volte语音录制及语音质量评估的系统及其方法
CN109147822B (zh) * 2018-10-26 2023-05-09 上海创远仪器技术股份有限公司 用于volte语音录制及语音质量评估的系统及其方法
WO2021036913A1 (zh) * 2019-08-28 2021-03-04 展讯通信(上海)有限公司 传输资源的调整方法与设备
CN112825488A (zh) * 2019-11-21 2021-05-21 成都鼎桥通信技术有限公司 音频数据传输方法、装置及终端
CN112825488B (zh) * 2019-11-21 2022-07-22 成都鼎桥通信技术有限公司 音频数据传输方法、装置及终端

Also Published As

Publication number Publication date
TWI593297B (zh) 2017-07-21
TW201644299A (zh) 2016-12-16
EP3073791A1 (en) 2016-09-28
US20160286599A1 (en) 2016-09-29
US9713192B2 (en) 2017-07-18
EP3073791B1 (en) 2017-09-20
CN106028369B (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN106028369A (zh) 处理音频数据的设备和方法
CN108702706B (zh) 用于控制连接模式drx操作的方法
US20210392658A1 (en) Method for reducing serving cell interruption due to prose operation
CN104718782B (zh) 不连续接收方法和使用不连续接收方法的用户设备
RU2541863C2 (ru) Способ и устройство контроля каналов предоставления в беспроводной связи
KR20190055102A (ko) 2-스테이지 웨이크 업을 갖는 불연속 수신 모드
EP4005258A1 (en) Data service and voice over long term evolution support in a multi-subscriber identity module system using a single transceiver
EP3410787B1 (en) Low power low latency protocol for data exchange
WO2015023463A1 (en) Clock synchronization for multi-processor/multi-chipset solution
JP6342484B2 (ja) 無線レベルのフィードバックによるジッタバッファ性能向上
KR101541096B1 (ko) 간섭을 감소시키기 위한 방법들 및 장치
CN106027480B (zh) 用于控制话音质量的方法和设备
CN109644193A (zh) 针对减小的带宽的无线设备的报头压缩
CN110337830A (zh) 监听方法、信令下发方法及装置、通信设备及存储
CN110521275A (zh) 监听处理、策略下发方法及装置、通信设备及存储
WO2012003618A1 (zh) 数字移动无线电中转系统的终端及其发射功率调整方法、系统
EP2701442B1 (en) Service scheduling method and base station
JP5733423B2 (ja) 基地局、無線端末、無線通信システム、および無線通信方法
US20240214929A1 (en) Adjustment of an encoding timing or a decoding timing
US20220030115A1 (en) Audio coding re-synchronization with radio access transmission / reception timeline for cdrx enabled voip service
RU2414102C2 (ru) Способ и устройство контроля каналов предоставления в беспроводной связи
WO2023078682A1 (en) Dynamic adjustment of discontinuous reception operation for downlink video traffic
Ozturk et al. Circuit-Switched Voice Services Over HSPA

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200311

Address after: California, USA

Patentee after: Apple Inc.

Address before: California, USA

Patentee before: INTEL Corp.