CN108605162A - 音频数据的处理方法和装置 - Google Patents

音频数据的处理方法和装置 Download PDF

Info

Publication number
CN108605162A
CN108605162A CN201780009194.3A CN201780009194A CN108605162A CN 108605162 A CN108605162 A CN 108605162A CN 201780009194 A CN201780009194 A CN 201780009194A CN 108605162 A CN108605162 A CN 108605162A
Authority
CN
China
Prior art keywords
audio signal
audio
playing
signal frame
average power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780009194.3A
Other languages
English (en)
Other versions
CN108605162B (zh
Inventor
谭利文
李玉龙
孙伟
曹海恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108605162A publication Critical patent/CN108605162A/zh
Application granted granted Critical
Publication of CN108605162B publication Critical patent/CN108605162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/007Protection circuits for transducers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

本申请实施例提供一种音频数据的处理方法和装置。本申请音频数据的处理方法,可以实现有效识别静音播放,并对音频播放程序进行相应处理,从而可以有效减少电量消耗。

Description

音频数据的处理方法和装置
本申请要求于2016年12月30日提交中国专利局、申请号为201611259388.2、发明名称为“一种降低移动设备音频播放功耗的方法和设备”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及多媒体技术,尤其涉及一种音频数据的处理方法和装置。
背景技术
用户设备的音频播放通常包括两种模式,一种是正常模式,在中央处理器(Central Processing Unit,CPU)侧通过音频软解码器解码,然后再通过混音器(Audio Mixer)进行多路音轨的合成,进行播放;另一种是Offload模式,在数字信号处理(Digital Signal Processing,DSP)侧通过DSP解码器解码,然后通过混音等处理,进行播放。
其中,Offload模式的处理方式通常功耗较低,而正常模式的处理方式通常功耗较大。所以需要降低正常模式的处理方式的功耗。
发明内容
本申请实施例提供一种音频数据的处理方法和装置,以降低用户设备采用正常模式的处理方式时在静音播放场景下的功耗。
第一方面,本申请实施例提供一种音频数据的处理方法,包括:
接收来解码后的至少一个音频信号帧,获取所述至少一个音频信号帧的平均功率;
判断是否满足冷冻播放条件,若满足所述冷冻播放条件,则触发所述音频播放程序暂停播放;
其中,所述冷冻播放条件包括:所述至少一个音频信号帧的平均功率低于第一预设阈值,且所述音频播放程序处于后台运行模式。
本实现方式,可以实现有效识别静音播放,并对音频播放程序进行相应处理,从而可以有效减少采用正常模式的处理方式时的电量消耗。
结合第一方面,在第一方面的一种可能的实现方式中,所述至少一个音频信号帧包括M个音频信号帧,所述获取所述至少一个音频信号帧的平均功率,包括:分别获取每个音频信号帧的平均功率;
其中,所述冷冻播放条件包括:所述M个音频信号帧中平均功率低于第一预设阈值的音频信号帧在所述M个音频信号帧中占比超过第二预设阈值,且所述音频播放程序处于后台运行模式;
M为大于1的任意正整数。
本实现方式,可以实现有效识别静音播放,并对音频播放程序进行相应处理,从而可以有效减少采用正常模式的处理方式时的电量消耗。并且,根据M个音频信号帧的平 均功率判断是否满足冷冻播放条件,可以进一步提升静音播放场景的识别的准确率。
结合第一方面或第一方面的一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述接收解码后的至少一个音频信号帧,包括:每隔预设时间间隔接收解码后的至少一个音频信号帧;所述方法还包括:
若连续多次满足冷冻播放条件,则增加所述预设时间间隔的时间长度。
本实现方式,通过每个预设时间间隔及时获取更新的音频信号帧,并判断更新的音频信号帧是否满足冷冻播放条件,根据判断结果动态调整对音频播放程序的处理方式。
结合第一方面或第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述方法还包括:若不满足所述冷冻播放条件,则触发所述音频播放程序播放音频信号帧。
结合第一方面或第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述分别获取每个音频信号帧的平均功率,包括:
获取每个音频信号帧的多个采样信号的采样值x;
根据公式计算每个音频信号帧的平均功率px(m);
其中,m为所述音频信号帧的编号,S0为所述音频信号帧的采样点个数。
结合第一方面或第一方面的任一种可能的实现方式,在第一方面的另一种可能的实现方式中,所述方法还包括:
若所述音频播放程序从暂停播放转换为播放,则对音频信号帧进行平滑处理,获取平滑后的输出信号;
控制所述音频播放程序播放所述平滑后的输出信号。
本实现方式,通过在暂停播放到播放进行切换时,进行平滑处理,可以有效提升音频体验。
第二方面,本申请实施例提供一种音频数据的处理装置,该音频数据的处理装置具有实现上述方法实施例中音频数据的处理装置行为的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第三方面,本申请实施例提供一种用户设备,包括:处理器、存储器、通信总线和通信接口;该存储器用于存储计算机执行指令,该处理器与该存储器通过该通信总线连接,当该用户设备运行时,该处理器执行该存储器存储的该计算机执行指令,以使该用户设备执行如上述第一方面任意一项的音频数据的处理方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,用于储存为上述用户设备所用的计算机软件指令,当其在计算机上运行时,使得计算机可以执行上述第一方面中任意一项或者第二方面任意一项的音频数据的处理方法。
第五方面,本申请实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机可以执行上述第一方面中任意一项的音频数据的处理方法。
本申请实施例音频数据的处理方法和装置,通过接收来解码后的至少一个音频信号帧,获取所述至少一个音频信号帧的平均功率,判断是否满足冷冻播放条件,若满足所述冷冻播放条件,则触发所述音频播放程序进入冷冻播放状态,在冷冻播放状态下所述音频 播放程序暂停播放,从而实现有效识别静音播放,并对音频播放程序进行相应处理,从而可以有效减少采用正常模式的处理方式时的电量消耗。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。
图1为本申请实施例的音频数据的处理方法的应用场景示意图;
图2为本申请实施例的一种音频数据的处理方法的流程图;
图3为本申请实施例的另一种音频数据的处理方法的流程图;
图4A为本申请实施例的一种静音帧功耗引擎14的结构示意图;
图4B为本申请实施例的另一种音频数据的处理方法的流程图;
图4C为本申请实施例的冷冻播放机制的示意性说明图;
图5为本申请实施例的一种音频数据的处理装置的结构示意图;
图6为本申请实施例提供的用户设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
本文所涉及的用户设备(User Equipment,UE)可以表示任意适用的端用户设备,可以包括(或可以表示)诸如无线发送/接收单元(Wireless Transmit/Receive Unit,WTRU)、移动站、移动节点、移动设备、固定或移动签约单元、寻呼机、移动电话、掌上电脑(Personal Digital Assistant,PDA)、智能手机、笔记本型电脑、计算机、触摸屏设备、无线传感器或消费电子设备等设备。此处的“移动”站/节点/设备表示与无线(或移动)网络连接的站/节点/设备,而并不一定与该站/节点/设备的实际移动性有关。
本文所涉及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本文所涉及的“静音播放”具体指用户设备持续一定时间长度或者一直播放音频能量低的音频信号帧。其中,该时间长度可以根据需求进行灵活设置,例如,10min、30min、1h等。“音频能量低”具体指音频信号帧的能量小于预设阈值,该预设阈值的具体解释说明可以参见下述实施例。
为了清楚的理解本申请实施例的音频数据的处理方法可以应用于用户设备中,以本申请实施例的音频数据的处理方法的一种示例性应用场景作解释说明,具体如下面图1所示,本申请实施例的音频数据的处理方法也可以应用于其他可实施的应用场景中。
图1为本申请实施例的音频数据的处理方法的应用场景示意图,如图1所示,该应用场景具体可以包括应用程序11、解析器12、解码器13、静音帧功耗引擎14、音频混音器15和扬声器16。其中,应用程序11具体可以为媒体播放应用程序、游戏应 用程序以及其他功能类型的应用程序。解析器12具体可以用于接收应用程序11发送的音频文件,该音频文件具体可以是MP3格式、OGG(oggVorbis)格式、或者高级音频编码(Advanced Audio Coding,AAC)格式等。解码器13(decoder)用于对音频文件进行解码,获取音频信号流,该音频信号流具体可以是脉冲编码调制(Pulse Code Modulation,PCM)码流。静音帧功耗引擎14用于执行本申请实施例的音频数据的处理方法,通过识别音频播放程序在后台运行且处于静音播放场景,并对音频播放程序进行相应处理,从而减少采用正常模式的处理方式时的电量的消耗。音频混音器15用于将所输入的音频信号混合起来输出。扬声器16将音频混音器15输出的音频信号转化为声信号。
以安卓(Android)系统的层次结构为例,这种结构包括内核(kernel)层、框架(application framework)层以及应用(applications)层等,可以理解的,分层的好处是使用下层提供的内容为上层提供统一的服务,屏蔽本层及以下层的差异,当本层及以下层发生了变化不会影响到上层。也就是说各层各司其职,各层提供固定的服务接入点SAP(Service Access Point)。上述应用程序11即位于应用(applications)层,静音帧功耗引擎14即位于应用层与硬件驱动(kernel)层之间,例如,其具体可以位于Libraries层,当然也可以是其他层,具体与系统的层次结构有关。
具体的,应用程序11中可以设置有音频播放程序,即音频播放程序可以为应用程序11中的一个子功能,用于处理音频文件,该音频播放程序可以将音频文件发送给解析器12,由该解析器12和解码器13对音频文件进行解码,获取音频信号流,该音频信号流具体可以是脉冲编码调制(Pulse Code Modulation,PCM)码流,该音频播放程序还可以自行对音频文件进行解码,获取音频信号流。静音帧降功耗引擎14接收来自于该音频播放程序的音频信号流,对音频信号流进行处理,从而实现音频播放程序在后台运行,且长时间或者一直在播放音频能量较低的音频的场景中,减少采用正常模式的处理方式时的电量的消耗。其具体实现方式可以参见下述实施例的解释说明。
本文涉及的音频信号流,或者PCM码流,具体包括多个PCM信号。本文所涉及的音频信号帧具体指单位时间内的PCM信号,其中,单位时间可以是1ms、10ms、或者20ms等,其可以根据需求进行灵活设置,单位时间内的PCM信号的个数与采样率有关,采样率越高,单位时间内的PCM信号越多。PCM信号也可以称之为采样信号。
图2为本申请实施例的一种音频数据的处理方法的流程图,如图2所示,本实施例的方法可以包括:
步骤101、接收解码后的至少一个音频信号帧,获取所述至少一个音频信号帧的平均功率。
其中,该解码后的音频信号帧,可以是由解码器13对音频播放程序的音频信号帧进行解码获取的解码后的音频信号帧,也可以是由音频播放程序进行解码获取的解码后的音频信号帧。
具体的,静音帧功耗引擎14接收解码后的一个或者多个音频信号帧。静音帧功耗引擎14获取接收到的一个或多个音频信号帧的平均功率。其中获取音频信号帧的平均 功率的具体实施方式有很多种,可以根据需求进行灵活选取,例如可以获取音频信号帧的采样信号的能量值,根据能量值确定音频信号帧的平均功率。
步骤102、判断是否满足冷冻播放条件,若是则执行步骤103,若否则执行步骤104。
其中,所述冷冻播放条件包括:所述至少一个音频信号帧的平均功率低于第一预设阈值,且所述音频播放程序处于后台运行模式。即,当一个或多个音频信号帧的平均功率低于该第一预设阈值时,即可以确定该一个或多个音频信号帧为静音音频信号帧,如果音频播放程序处于后台运行模式,则可以触发该音频播放程序进入冷冻播放状态。
步骤103、若满足所述冷冻播放条件,则触发音频播放程序暂停播放。
具体的,在满足冷冻播放条件时,静音帧功耗引擎14触发所述音频播放程序进入冷冻播放状态,在冷冻播放状态下所述音频播放程序暂停播放。所述音频播放程序暂停播放的实现方式可以为:(1)Pull模式下,暂停音频子系统向该音频播放程序请求音频信号帧;(2)Push模式下,阻塞音频播放程序向音频子系统推送音频信号帧。
其中,音频子系统具体包括解析器、解码器、软解码器、以及混音器。即在冷冻播放状态下,音频子系统的各项音频处理活动均处于停止状态。音频播放程序暂停播放后,与音频相关的网络访问活动也随之停止,例如,该音频播放程序向网络中的服务器请求数据等,从而可以有效减少电量消耗。
步骤104、若不满足所述冷冻播放条件,则该音频播放程序播放音频信号帧。
具体的,若不满足所述冷冻播放条件,则可以获取该音频播放程序的当前播放状态,如果当前播放状态为冷冻播放,则可以触发该音频播放程序解除冷冻播放状态,在解除冷冻播放状态下所述音频播放程序播放相应时间点的音频信号帧。如果当前播放状态为非冷冻播放,则对该音频播放程序不作处理,以使其正常播放相应时间点的音频信号帧。
本实施例,通过接收来自于音频播放程序的解码后的至少一个音频信号帧,获取所述至少一个音频信号帧的平均功率,判断是否满足冷冻播放条件,若满足所述冷冻播放条件,则触发所述音频播放程序进入冷冻播放状态,在冷冻播放状态下所述音频播放程序暂停播放,从而实现有效识别静音播放,并对音频播放程序进行相应处理,从而可以有效减少采用正常模式的处理方式时的电量消耗。
下面采用几个具体的实施例,对图2所示方法实施例的技术方案进行详细说明。
图3为本申请实施例的另一种音频数据的处理方法的流程图,如图3所示,本实施例连续对多个音频信号帧的能量进行计算,根据连续多个音频信号帧的平均功率确定是否触发音频播放程序进入冷冻播放状态,从而可以进一步提升静音播放场景的识别的准确率,本实施例的方法可以包括:
步骤201、连续接收来自于音频播放程序的解码后的M个音频信号帧。
其中,M为大于1的任意正整数,其具体取值可以根据需求进行灵活设置。
具体的,静音帧功耗引擎14连续接收来自于音频播放程序的解码后的M个音频信号帧。
步骤202、分别获取每个音频信号帧的多个采样信号的能量值,根据每个音频信号帧的多个采样信号的能量值确定每个音频信号帧的平均功率。
具体的,静音帧功耗引擎14分别计算各个音频信号帧的平均功率。
步骤203、判断是否满足冷冻播放条件,若是则执行步骤204,若否则执行步骤205。
其中,所述冷冻播放条件包括:所述M个音频信号帧中平均功率低于第一预设阈值的音频信号帧在所述M个音频信号帧中占比超过第二预设阈值,且所述音频播放程序处于后台运行模式。即本实施例的冷冻播放条件需要M个音频信号帧中平均功率低于第一预设阈值的音频信号帧,在所述M个音频信号帧中占比超过第二预设阈值。
步骤204、若满足所述冷冻播放条件,则触发所述音频播放程序进入冷冻播放状态,在冷冻播放状态下所述音频播放程序暂停播放。
步骤205、若不满足所述冷冻播放条件,则该音频播放程序播放相应时间点的音频信号帧。
其中,步骤204和步骤205的具体解释说明,可以参见图2所示实施例的步骤103和步骤104,此处不再赘述。
可选的,步骤202的一种具体的可实施方式为:分别获取每个音频信号帧的多个采样信号的采样值x,根据公式(1)计算每个音频信号帧的平均功率px(m)。
其中,m为所述音频信号帧的编号,S0为所述音频信号帧的采样点个数。
在步骤203之前,还可以获取该M个音频信号帧中平均功率低于第一预设阈值的音频信号帧在该M个音频信号帧中占比,具体的获取方式可以为,根据公式(2)计算该占比。
γ=Cfe(m)/M*100%               (2)
其中,Cfe(m)为平均功率低于第一预设阈值的音频信号帧的个数,γ为该占比,如果该γ大于第二预设阈值,则确定满足冷冻播放条件。
本实施例,通过连续接收解码后的M个音频信号帧,分别获取每个音频信号帧的多个采样信号的能量值,根据每个音频信号帧的多个采样信号的能量值确定每个音频信号帧的平均功率,判断是否满足冷冻播放条件,若满足所述冷冻播放条件,则触发所述音频播放程序进入冷冻播放状态,在冷冻播放状态下所述音频播放程序暂停播放,从而实现有效识别静音播放,并对音频播放程序进行相应处理,从而可以有效减少采用正常模式的处理方式时的电量消耗。
并且,根据M个音频信号帧的平均功率判断是否满足冷冻播放条件,可以进一步提升静音播放场景的识别的准确率。
图4A为本申请实施例的一种静音帧功耗引擎14的结构示意图,如图4A所示,该静音帧功耗引擎14具体可以包括:静音帧判断模块141、冷冻播放策略模块142和播放控制模块143。可选的,该静音帧功耗引擎14还可以包括延时缓冲模块144和底噪平滑模块145。
需要说明的是,上述对静音帧功耗引擎14的各个模块的划分为逻辑划分,其也可以是其他划分模式,本申请实施例以上述结构做示意性解释说明。
图4B为本申请实施例的另一种音频数据的处理方法的流程图,图4C为本申请实施例的冷冻播放机制的示意性说明图,如图4B所示,本申请实施例的方法可以包括:
S301、应用程序向静音帧判断模块141发送音频信号帧。
静音帧判断模块141接收应用程序发送的音频信号帧。
S302、静音帧判断模块141接收音频信号帧,获取音频信号帧的多个采样信号的能量值,根据音频信号帧的多个采样信号的能量值确定音频信号帧的平均功率。
具体可以通过公式(1)计算音频信号帧的平均功率。
S303、静音帧判断模块141判断音频信号帧的平均功率是否小于第一预设阈值。若是,则执行S304,若否,则执行S302。
S304、静音帧判断模块141触发播放控制模块143进行播放控制。
具体的,静音帧判断模块141可以将S303的判断结果发送给播放控制模块143。
S305、播放控制模块143计算M个音频信号帧中平均功率低于第一预设阈值的音频信号帧在所述M个音频信号帧中占比,判断是否满足冷冻播放条件,若是,则执行S306,若否则执行S307。
具体的,播放控制模块143连续接收静音帧判断模块141发送的静音帧判断结果,即有连续多个音频信号帧的平均功率小于第一预设阈值,则播放控制模块143可以计算上述占比。具体的判断是否满足冷冻播放条件的实施方式可以为,判断上述占比是否超过第二预设阈值,且应用程序是否处于后台运行模式,若均为是,则满足冷冻播放条件。播放控制模块143可以将满足冷冻播放条件的判定结果发送给冷冻播放策略模块142,由冷冻播放策略模块142向播放控制模块143返回一个具体的播放控制策略,例如,控制应用程序进入冷冻播放状态。
S306、播放控制模块143触发所述应用程序进入冷冻播放状态。
以图4C为例进行示意性举例说明,图4C的横轴为时间轴,纵轴用于指示采样信号的能量值,如图4C左侧所示,未进入冷冻播放状态前,应用程序处于前台运行,当应用程序处于后台运行,且静音帧判断模块141识别到一个音频信号帧的平均功率低于第一预设阈值,则播放控制模块143可以标记该应用程序进入待冷冻播放状态,在待冷冻播放状态下,应用程序正常播放音频信号帧,当播放控制模块143从静音帧判断模块141连续获取多个音频信号帧的平均功率低于第一预设阈值,且功率低于第一预设阈值的音频信号帧所占比例超过第二预设阈值,则播放控制模块143可以标记该应用程序进入冷冻播放状态,并触发所述音频播放程序进入冷冻播放状态。如图4C所示,在冷冻播放状态下,暂停播放音频信号帧。
可选的,还可以换设置冷冻播放维护窗,所述冷冻播放维护窗用于在触发所述音频播放程序进入冷冻播放状态后,每隔预设时间间隔从音频播放程序获取相应时间点的解码后的音频信号帧,并判断是否满足冷冻播放条件,若满足冷冻播放条件,则增加所述预设时间间隔的时间长度。如图4C所示,随着每次维护窗判断的结果维持冷冻播放状态,逐渐增大维护窗的时间间隔如t1=30ms,t2=2s,t3=5min,…….,tn=6h等。
S307、播放控制模块143控制该应用程序播放相应时间点的音频信号帧。
可选的,若所述应用程序从冷冻播放状态转换为非冷冻播放状态,即所述应用程序从暂停播放转换为播放,则底噪平滑模块145对相应时间点的音频信号帧进行平滑处理,获取平滑后的输出信号,控制所述应用程序播放所述平滑后的输出信号,其中,延时缓冲模块144用于缓冲音频信号帧,提供进行平滑处理时所需的音频信号帧,即提供公式(3)所需的静音信号s(n)。即如图4C所示,在冷冻播放状态和解除冷冻播放状态之间进行平滑处理。从而可以确保切换过程中的良好的音频体验。
具体的平滑处理方式可以为:使用如下内插函数:
其中,原始音频信号与静音信号分别为m(n)和s(n),平滑处理后的输出为Sout(n)。M是平滑过渡的长度;ramp是过渡时间变量,它的变化范围是0~M。显然,切换平滑程度是由ramp和M共同决定的,并且ramp=0时,Sout(n)=s(n);ramp=M时,Sout(n)=m(n)。
通过上述公式(3)在解冻侧,随着样点值n的递增,平滑后的输出信号成分所包含的原始音频信号逐渐占主导、静音成分逐渐变弱,最终过渡到完全原始音频成分。
本实施例,通过连续接收解码后的M个音频信号帧,分别获取每个音频信号帧的多个采样信号的能量值,根据每个音频信号帧的多个采样信号的能量值确定每个音频信号帧的平均功率,判断是否满足冷冻播放条件,若满足所述冷冻播放条件,则触发所述音频播放程序进入冷冻播放状态,在冷冻播放状态下所述音频播放程序暂停播放,从而实现有效识别静音播放,并对音频播放程序进行相应处理,从而可以有效减少采用正常模式的处理方式时的电量消耗。
并且,根据M个音频信号帧的平均功率判断是否满足冷冻播放条件,可以进一步提升静音播放场景的识别的准确率。
并且,通过在冷冻播放状态到解除冷冻播放状态进行切换时,进行平滑处理,可以有效提升音频体验。
本申请实施例的音频数据的处理装置即为图1所示的静音帧功耗引擎。
图5为本申请实施例的一种音频数据的处理装置的结构示意图,如图5所示,本实施例的装置可以包括:接收模块11和处理模块12,其中,接收模块11用于接收解码后的至少一个音频信号帧,处理模块12用于获取所述至少一个音频信号帧的平均功率。处理模块12还用于判断是否满足冷冻播放条件,若满足所述冷冻播放条件,则触发所述音频播放程序暂停播放;其中,所述冷冻播放条件包括:所述至少一个音频信号帧的平均功率低于第一预设阈值,且所述音频播放程序处于后台运行模式。
可选的,所述至少一个音频信号帧包括M个音频信号帧,所述处理模块12获取所述至少一个音频信号帧的平均功率:分别获取每个音频信号帧的平均功率;其中,所述冷冻播放条件包括:所述M个音频信号帧中平均功率低于第一预设阈值的音频信号帧在所述M个音频信号帧中占比超过第二预设阈值,且所述音频播放程序处于后台运行模式;M为大于1的任意正整数。
可选的,所述接收模块11用于接收解码后的至少一个音频信号帧,包括:每隔预设时间间隔接收解码后的至少一个音频信号帧;所述处理模块12还用于:若连续多次满足冷冻播放条件,则增加所述预设时间间隔的时间长度。
可选的,所述处理模块12还用于:若不满足所述冷冻播放条件,则触发所述音频播放程序播放音频信号帧。
可选的,所述处理模块12用于分别获取每个音频信号帧的平均功率,包括:分别获取每个音频信号帧的多个采样信号的采样值x;根据公式计算每 个音频信号帧的平均功率px(m);其中,m为所述音频信号帧的编号,S0为所述音频信号帧的采样点个数。
可选的,所述处理模块12还用于:若所述音频播放程序从暂停播放转换为播放,则对音频信号帧进行平滑处理,获取平滑后的输出信号;控制所述音频播放程序播放所述平滑后的输出信号。
可选的,本申请实施例的装置还可以包括存储模块,该存储模块用于存储音频数据的处理装置的程序代码和数据。
本实施例的装置,可以用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图6为本申请实施例提供的用户设备的结构示意图,如图6所示,本实施例的用户设备可以包括,通信总线601,以及连接到通信总线601的至少一个处理器602和存储器603。其中,通信总线601用于实现各装置之间的连接通信。处理器602可以是一个中央处理器(Central Processing Unit,CPU),或者是特定集成电路(Application Specific Integrated Circuit,ASIC),或者完成实施本申请实施例的一个或多个集成电路,或者是一个片上系统(System on Chip,简称,SoC)。存储器603中存储一个或多个程序,所述一个或多个程序包括指令,所述指令当被用户设备执行时所述用户设备执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。可选的,本实施例的用户设备还可以包括收发器604,处理器602可以调用存储器603的指令代码,控制本申请实施例中的收发器604执行上述方法实施例的操作,其实现原理和技术效果类似,此处不再赘述。
作为一种实现方式,本申请实施例中的接收模块11可以与用户设备的收发器604对应。处理模块12可以与用户设备的处理器602对应。
作为一种实现方式,本申请实施例中的收发器604也可以为通信接口。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述该作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备 (可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

  1. 一种音频数据的处理方法,其特征在于,包括:
    接收解码后的至少一个音频信号帧,获取所述至少一个音频信号帧的平均功率;
    判断是否满足冷冻播放条件,若满足所述冷冻播放条件,则触发音频播放程序暂停播放;
    其中,所述冷冻播放条件包括:所述至少一个音频信号帧的平均功率低于第一预设阈值,且所述音频播放程序处于后台运行模式。
  2. 根据权利要求1所述的方法,其特征在于,所述至少一个音频信号帧包括M个音频信号帧,所述获取所述至少一个音频信号帧的平均功率,包括:
    分别获取每个音频信号帧的平均功率;
    其中,所述冷冻播放条件包括:所述M个音频信号帧中平均功率低于第一预设阈值的音频信号帧在所述M个音频信号帧中占比超过第二预设阈值,且所述音频播放程序处于后台运行模式;
    M为大于1的任意正整数。
  3. 根据权利要求1或2所述的方法,其特征在于,所述接收解码后的至少一个音频信号帧,包括:
    每隔预设时间间隔接收解码后的至少一个音频信号帧;
    所述方法还包括:
    若连续多次满足冷冻播放条件,则增加所述预设时间间隔的时间长度。
  4. 根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:若不满足所述冷冻播放条件,则触发所述音频播放程序播放音频信号帧。
  5. 根据权利要求2至4任一项所述的方法,其特征在于,所述分别获取每个音频信号帧的平均功率,包括:
    获取每个音频信号帧的多个采样信号的采样值x;
    根据公式计算每个音频信号帧的平均功率px(m);
    其中,m为所述音频信号帧的编号,S0为所述音频信号帧的采样点个数。
  6. 根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
    若所述音频播放程序从暂停播放转换为播放,则对音频信号帧进行平滑处理,获取平滑后的输出信号;
    控制所述音频播放程序播放所述平滑后的输出信号。
  7. 一种音频数据的处理装置,其特征在于,包括:
    接收模块,用于接收解码后的至少一个音频信号帧;
    处理模块,用于获取所述至少一个音频信号帧的平均功率;
    所述处理模块还用于,判断是否满足冷冻播放条件,若满足所述冷冻播放条件,则触发所述音频播放程序暂停播放;
    其中,所述冷冻播放条件包括:所述至少一个音频信号帧的平均功率低于第一预设阈值,且所述音频播放程序处于后台运行模式。
  8. 根据权利要求7所述的装置,其特征在于,所述至少一个音频信号帧包括M个音 频信号帧,所述处理模块用于获取所述至少一个音频信号帧的平均功率:
    分别获取每个音频信号帧的平均功率;
    其中,所述冷冻播放条件包括:所述M个音频信号帧中平均功率低于第一预设阈值的音频信号帧在所述M个音频信号帧中占比超过第二预设阈值,且所述音频播放程序处于后台运行模式;M为大于1的任意正整数。
  9. 根据权利要求8所述的装置,其特征在于,所述接收模块用于接收解码后的至少一个音频信号帧,包括:
    每隔预设时间间隔接收解码后的至少一个音频信号帧;
    所述处理模块还用于:
    若连续多次满足冷冻播放条件,则增加所述预设时间间隔的时间长度。
  10. 根据权利要求7至9任一项所述的装置,其特征在于,所述处理模块还用于:若不满足所述冷冻播放条件,则触发所述音频播放程序播放音频信号帧。
  11. 根据权利要求8至10任一项所述的装置,其特征在于,所述处理模块用于分别获取每个音频信号帧的平均功率,包括:
    分别获取每个音频信号帧的多个采样信号的采样值x;
    根据公式计算每个音频信号帧的平均功率px(m);
    其中,m为所述音频信号帧的编号,S0为所述音频信号帧的采样点个数。
  12. 根据权利要求7至11任一项所述的装置,其特征在于,所述处理模块还用于:
    若所述音频播放程序从暂停播放转换为播放,则对音频信号帧进行平滑处理,获取平滑后的输出信号;
    控制所述音频播放程序播放所述平滑后的输出信号。
  13. 一种用户设备,其特征在于,所述用户设备包括存储器、总线系统和至少一个处理器,所述存储器和至少一个处理器所述通过所述总线系统相连;
    所述存储器中存储一个或多个程序,所述一个或多个程序包括指令,所述指令当被所述用户设备执行时使所述用户设备执行如权利要求1至6任一项所述的方法。
  14. 一种存储一个或多个程序的计算机可读存储介质,其特征在于,所述一个或多个程序包括指令,所述指令当被用户设备执行时使所述用户设备执行根据权利要求1至6任一项所述方法。
CN201780009194.3A 2016-12-30 2017-05-27 音频数据的处理方法和装置,以及用户设备和存储介质 Active CN108605162B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201611259388 2016-12-30
CN2016112593882 2016-12-30
PCT/CN2017/086238 WO2018120627A1 (zh) 2016-12-30 2017-05-27 音频数据的处理方法和装置

Publications (2)

Publication Number Publication Date
CN108605162A true CN108605162A (zh) 2018-09-28
CN108605162B CN108605162B (zh) 2020-11-06

Family

ID=62706903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780009194.3A Active CN108605162B (zh) 2016-12-30 2017-05-27 音频数据的处理方法和装置,以及用户设备和存储介质

Country Status (3)

Country Link
US (1) US10979469B2 (zh)
CN (1) CN108605162B (zh)
WO (1) WO2018120627A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787268A (zh) * 2020-07-01 2020-10-16 广州视源电子科技股份有限公司 音频信号的处理方法、装置、电子设备及存储介质
CN114005469A (zh) * 2021-10-20 2022-02-01 广州市网星信息技术有限公司 一种自动跳过静音片段的音频播放方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111459759A (zh) * 2020-03-31 2020-07-28 Oppo广东移动通信有限公司 电子设备及其应用程序的管理方法、计算机存储介质
CN113986190A (zh) * 2021-11-02 2022-01-28 维沃移动通信有限公司 应用的处理方法、装置和电子设备
CN117193697A (zh) * 2022-05-30 2023-12-08 华为技术有限公司 音频播放方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992535A (zh) * 2005-12-31 2007-07-04 英华达(南京)科技有限公司 收音机自动静音的方法及装置
CN102098606A (zh) * 2009-12-10 2011-06-15 腾讯科技(深圳)有限公司 一种音量动态调节的方法及装置
US20150331658A1 (en) * 2009-06-26 2015-11-19 Intel Corporation Controlling Audio Players Using Environmental Audio Analysis
CN105404654A (zh) * 2015-10-30 2016-03-16 魅族科技(中国)有限公司 一种音频文件播放方法及装置
CN105429984A (zh) * 2015-11-27 2016-03-23 刘军 媒体播放方法、设备及音乐教学系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8868023B2 (en) * 2008-01-04 2014-10-21 3D Radio Llc Digital radio systems and methods
KR100820905B1 (ko) * 2006-11-20 2008-04-11 (주)한우리아이티 오디오신호 출력 제어장치 및 그 제어방법
CN101848280A (zh) 2009-03-25 2010-09-29 深圳富泰宏精密工业有限公司 静音播放音乐的省电系统及方法
US10244102B2 (en) * 2015-08-20 2019-03-26 Samsung Electronics Co., Ltd. Method and apparatus for managing application data usage
CN105704609B (zh) * 2016-01-25 2020-07-28 广州视源电子科技股份有限公司 音响设备模式调节方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992535A (zh) * 2005-12-31 2007-07-04 英华达(南京)科技有限公司 收音机自动静音的方法及装置
US20150331658A1 (en) * 2009-06-26 2015-11-19 Intel Corporation Controlling Audio Players Using Environmental Audio Analysis
CN102098606A (zh) * 2009-12-10 2011-06-15 腾讯科技(深圳)有限公司 一种音量动态调节的方法及装置
CN105404654A (zh) * 2015-10-30 2016-03-16 魅族科技(中国)有限公司 一种音频文件播放方法及装置
CN105429984A (zh) * 2015-11-27 2016-03-23 刘军 媒体播放方法、设备及音乐教学系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787268A (zh) * 2020-07-01 2020-10-16 广州视源电子科技股份有限公司 音频信号的处理方法、装置、电子设备及存储介质
CN114005469A (zh) * 2021-10-20 2022-02-01 广州市网星信息技术有限公司 一种自动跳过静音片段的音频播放方法及系统

Also Published As

Publication number Publication date
WO2018120627A1 (zh) 2018-07-05
CN108605162B (zh) 2020-11-06
US20190327284A1 (en) 2019-10-24
US10979469B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
CN108605162B (zh) 音频数据的处理方法和装置,以及用户设备和存储介质
CN107992282B (zh) 音频数据处理方法及装置、计算机装置及可读存储装置
US9357080B2 (en) Spatial quiescence protection for multi-channel acoustic echo cancellation
US9917876B2 (en) Video information playing system and method
CN112437345B (zh) 视频倍速播放方法、装置、电子设备及存储介质
EP3286899B1 (en) Transmission device, transmission method, and program
CN107977185A (zh) 音频输出控制方法和装置
CN114222194A (zh) 一种视频码流调整方法、装置及系统
US20210272598A1 (en) Video processing method and apparatus, terminal, and storage medium
US20170171497A1 (en) Method and Device for Automatically Adjusting Volume
CN112165623A (zh) 软硬结合的音视频编解码装置
US20240105188A1 (en) Downmixed signal calculation method and apparatus
CN104869466B (zh) 一种视频播出控制方法及装置
US11908481B2 (en) Method for encoding live-streaming data and encoding device
CN109151784B (zh) 网络连接方法、装置及电子设备
US10388298B1 (en) Methods for detecting double talk
CN114710804A (zh) 数据传输调节方法、装置、电子设备及可读存储介质
CN112866859B (zh) 音频播放方法、装置和无线耳机
CN115396990A (zh) 功耗控制方法和装置
CN109327598A (zh) 一种音频数据播放的方法、装置和移动终端
JP2022095689A (ja) 音声データノイズ低減方法、装置、機器、記憶媒体及びプログラム
CN112669859B (zh) 一种通信模式控制方法及装置
US20170171376A1 (en) Method and electronic device for displaying information
CN112468679B (zh) 一种同步播放音视频课件的方法、装置及电子设备
CN117812053A (zh) 语音数据处理方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant