CN115696170A - 音效处理方法、音效处理装置、终端和存储介质 - Google Patents

音效处理方法、音效处理装置、终端和存储介质 Download PDF

Info

Publication number
CN115696170A
CN115696170A CN202110830353.4A CN202110830353A CN115696170A CN 115696170 A CN115696170 A CN 115696170A CN 202110830353 A CN202110830353 A CN 202110830353A CN 115696170 A CN115696170 A CN 115696170A
Authority
CN
China
Prior art keywords
audio
scene
sound
users
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110830353.4A
Other languages
English (en)
Inventor
梁俊斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110830353.4A priority Critical patent/CN115696170A/zh
Publication of CN115696170A publication Critical patent/CN115696170A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereophonic System (AREA)

Abstract

本申请实施例公开了一种音效处理方法、音效处理装置、终端和存储介质;本申请实施例包括获取其他用户的待处理音频,其他用户为除目标用户以外的用户;确定目标用户的当前所处情景的情景类型;获取映射关系信息,映射关系信息包括情景类型与预设的音频特效之间的映射关系;基于映射关系信息,确定情景类型对应的情景音频特效;采用情景音频特效对其他用户的待处理音频进行音效情景处理,得到其他用户的情景音频,播放其他用户的情景音频,以便目标用户收听的情景音频与目标用户当前所处的情景匹配。在本申请实施例中新的音效处理方式,使目标用户收听的情景音频与目标用户当前所处的情景匹配,有利于目标用户可以直接获取到清晰且舒适的声音。

Description

音效处理方法、音效处理装置、终端和存储介质
技术领域
本申请涉及音效处理领域,具体涉及一种音效处理方法、音效处理装置、终端和存储介质。
背景技术
近年来,随着科技的进步,人们对终端播放声音的音效要求越来越高,市面上出现了各种各样有关音效处理的装置或软件来提高播放声音的立体感和空间层次感。
然而,现有终端播放声音的音效并不能满足用户的需求,因此,目前的音效处理方式依旧存在难以满足用户的需求的问题。
发明内容
本申请实施例提供一种音效处理方法、音效处理装置、终端和存储介质,可以使将要播放的音频可以与用户的当前环境相适应。
本申请实施例提供一种音效处理方法,包括:
获取其他用户的待处理音频,其他用户为除目标用户以外的用户;
确定目标用户的当前所处情景的情景类型;
获取映射关系信息,映射关系信息包括情景类型与预设的音频特效之间的映射关系;
基于映射关系信息,确定所述情景类型对应的情景音频特效;
采用情景音频特效对其他用户的待处理音频进行音效情景处理,得到其他用户的情景音频;
播放其他用户的情景音频,以便目标用户收听的情景音频与目标用户当前所处的情景匹配。
本申请实施例还提供一种音效处理装置,包括:
音频获取单元,用于获取其他用户的待处理音频,其他用户为除目标用户以外的用户;
情景类型确定单元,用于确定目标用户的当前所处情景的情景类型;
映射关系获取单元,用于获取映射关系信息,映射关系信息包括情景类型与预设的音频特效之间的映射关系;
目标音效特效确定单元,用于基于映射关系信息,确定情景类型对应的情景音频特效;
音效处理单元,用于采用情景音频特效对其他用户的待处理音频进行音效情景处理,得到其他用户的情景音频;
音效播放单元,用于播放其他用户的情景音频,以便目标用户收听的情景音频与目标用户当前所处的情景匹配。
在一些实施例中,情景类型确定单元,用于:
获取目标用户的当前地理位置信息;
获取目标用户处在当前地理位置的当前时间;
根据当前地理位置信息以及当前时间确定情景类型。
在一些实施例中,情景音频特效具有对应的第一声道音调算子和第二声道音调算子,第一声道音调算子和第二声道音调算子用于计算左右声道之间的声音的音调差异,其他用户的情景音频包括第一声道音频和第二声道音频,音效处理单元,用于:
采用第一声道音调子算子对其他用户的待处理音频进行卷积处理,得到第一声道音频;
采用第二声道音调子算子对其他用户的待处理音频进行卷积处理,得到第二声道音频。
在一些实施例中,得到其他用户的情景音频之后,情景音频特效还具有对应的第一声道音频强度和第二声道音频强度,该装置还用于:
根据第一声道音频强度调节第一声道音频的幅值,得到处理后的第一声道强度音频;
根据第二声道音频强度调节第二声道音频的幅值,得到处理后的第二声道强度音频。
在一些实施例中,情景音频特效还具有混响信息,得到其他用户的情景音频之后,该装置还用于:
根据混响信息对其他用户的情景音频进行混响处理,得到其他用户的混响音频。
在一些实施例中,混响信息具有对应的直达声子信息、早期反射声子信息以及后期反射声子信息,根据混响信息对其他用户的情景音频进行混响处理,得到其他用户的混响音频,该装置还拥有:
根据直达声子信息对其他用户的情景音频进行直达声处理,得到直达声音频;
根据早期反射声子信息对其他用户的情景音频进行早期反射声处理,得到早期反射声音频;
根据后期反射声子信息对其他用户的情景音频进行后期反射声处理,得到后期反射声音频;
将直达声音频、早期反射声音频以及后期反射声音频叠加,得到其他用户的混响音频。
在一些实施例中,根据直达声子信息对其他用户的情景音频进行直达声处理,得到直达声音频,直达声子信息包括直达声算子,该装置还用于:
采用直达声算子对其他用户的情景音频进行直达声处理,得到直达声音频。
在一些实施例中,根据早期反射声子信息对其他用户的情景音频进行早期反射声处理,得到早期反射声音频,早期反射声子信息包括频率延迟滤波器类型和早期反射声算子,该装置还用于:
根据频率延迟滤波器类型对其他用户的情景音频进行延迟处理,得到频率延迟音频;
采用早期反射声算子对频率延迟音频进行早期反射声处理,得到早期反射声音频。
在一些实施例中,根据后期反射声子信息对其他用户的情景音频进行后期反射声处理,得到后期反射声音频,后期反射声子信息包括频率延迟滤波器类型、频率滤波器类型、相位延迟滤波器类型和后期反射声算子,包括:
根据频率延迟滤波器类型对其他用户的情景音频进行音频延迟处理,得到频率延迟音频;
根据频率滤波器类型对频率延迟音频进行频率滤波,得到频率过滤后音频;
根据相位延迟滤波器类型对频率过滤后音频进行相位滤波,得到相位延迟后音频;
采用后期反射声算子对相位延迟后音频进行后期反射声处理,得到后期反射声音频。
本申请实施例还提供一种终端,包括存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本申请实施例所提供的任一种音效处理方法中的步骤。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例所提供的任一种音效处理方法中的步骤。
本申请实施例可以获取其他用户的待处理音频,其他用户为除目标用户以外的用户;确定目标用户的当前所处情景的情景类型;获取映射关系信息,映射关系信息包括情景类型与预设的音频特效之间的映射关系;基于映射关系信息,确定情景类型对应的情景音频特效;采用情景音频特效对其他用户的待处理音频进行音效情景处理,得到其他用户的情景音频,播放其他用户的情景音频,以便目标用户收听的情景音频与目标用户当前所处的情景匹配。
在本申请中,可以先确定目标用户所处的当前所处情景的情景类型,通过情景类型从预设的音频特效中找到与其映射的情景音频特效,如此,终端可以将其他用户的待处理音频依据情景音频特效进行音效处理,得到其他用户的情景音频,再通过电子设备对该其他用户的情景音频进行播放,如此,本方案可以提出了一种新的音效处理方式,使目标用户收听的情景音频与目标用户当前所处的情景匹配,有利于目标用户可以直接获取到清晰且舒适的声音。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的音效处理方法的场景示意图;
图1b是本申请实施例提供的音效处理方法的流程示意图;
图1c是本申请实施例提供的立体声生成示意图;
图1d是本申请实施例提供的音效处理示意图;
图1e是本申请实施例提供的双声道生成示意图;
图1f是本身亲实施例提供的混响处理对应的混响器结果示意图;
图2是本申请实施例提供的音效处理方法应用在服务器场景中的示意图;
图3是本申请实施例提供的音效处理装置的结构示意图;
图4是本申请实施例提供的移动终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种音效处理方法、音效处理装置、终端和存储介质。
其中,该音效处理装置具体可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer,PC)等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
在一些实施例中,该音效处理装置还可以集成在多个电子设备中,比如,音效处理装置可以集成在多个服务器中,由多个服务器来实现本申请的音效处理方法。
在一些实施例中,服务器也可以以终端的形式来实现。
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
例如,参见图1a,以音效处理装置集成在电子设备中为例,电子设备在获取其他用户的待处理音频,其他用户为除目标用户以外的用户,确定目标用户的当前所处情景的情景类型,获取映射关系信息,映射关系信息包括情景类型与预设的音频特效之间的映射关系,基于映射关系信息,根据情景类型对应的情景音频特效,采用情景音频特效对其他用户的待处理音频进行音情景效处理,得到其他用户的情景音频,播放其他用户的情景音频,以便目标用户收听的情景音频与目标用户当前所处的情景匹配。
其中,在对其他用户的待处理音频进行音效处理前,获取了目标用户的当前所处情景的情景类型,并基于映射关系信息确定出该情景类型对应的情景音频特效,根据情景音频特效对其他用户的待处理音频进行音效情景处理,电子设备对该其他用户的情景音频进行播放,如此,目标用户收听到的情景音频可以与目标用户当前所处的情景匹配,有利于目标用户可以直接获取到清晰且舒适的声音。
在本实施例中,提供了一种音效处理方法,如图1b和图1c所示,该音效处理方法的具体流程可以如下:
101、获取其他用户的待处理音频,其他用户为除目标用户以外的用户。
其中,其他用户的待处理音频为其他用户通过收音终端传输至目标用户收听终端的待进行音效处理的音频,其他用户的待处理音频可以是未被音效处理过的音频,还可以是虽然经过音效处理,但仍然需要二次音效处理的音频。其他用户的待处理音频可以来源于视频通话、语音通话、录入音频、视频会议等。
例如,在一些实施例中,音效处理算法或音效处理装置可以实时获取其他用户的待处理音频,比如,实时语音通话时,音效处理装置可以直接获取语音通话中的其他用户的待处理音频。
例如,在一些实施例中,音效处理算法或音效处理装置可以从本地获取其他用户的待处理音频,比如,其他用户的待处理音频存储在目标用户自持终端的本地存储上,终端上的音效处理软件或音效处理装置可以从而本地存储上获取其他用户的待处理音频。
例如,在一些实施例中,音效处理算法或音效处理装置可以从异地获取其他用户的待处理音频,比如,其他用户的待处理音频存储在服务器上,或是其他用户的待处理音频需要经过服务器在传输到目标用户的终端时,目标用户的终端上的音效处理算法或音效处理装置可以从服务器上获取其他用户的待处理音频。
102、确定目标用户的当前所处情景的情景类型。
其中,目标用户为收听音频的用户,当前情景为目标用户在收听音频时所处的地理位置和当前时间,情景类型可以以特定时间段内的地理位置进行分类,具体的情景类型可以包括晚上8点~次日凌晨2点的酒吧、晚上5到8点的树林等,还可以以环境噪音分类,具体可以包括低噪音情景、较低噪音情景、中噪音情景、较高噪音情景和高噪音情景等,低噪音情景对应的具体情景可以是森林、晚上12点~次日8点的卧室等,较低噪音情景对应的具体情景可以是早上9点~晚上10点的音乐厅、早上9点~下午6点的演讲厅等,中噪音情景对应的具体情景可以是早上7点~晚上10点的车内、饭点时的餐厅等,较高噪音情景对应的具体情景可以是早上7点~晚上10点的马路边、早上7点~晚上10点的地铁内、早上7点~晚上10点的机场等,高噪音情景可以是晚上8点~次日凌晨2点的酒吧、晚上8点~晚上12点的演唱会等,还可以是具体地理位置和环境噪音结合。
例如,在一些实施例中,可以本地确定目标用户的当前所处情景的情景类型,比如,音效处理算法或音效处理装置可以在获取目标用户的当前所处情景后,判定当前所处情景的情景类型。
例如,在一些实施例中,可以异地确定目标用户的当前所处情景的情景类型,比如,确定目标用户的当前所处情景的情景类型的计算过程在服务器上进行,即音效处理算法加载在服务器内,音效处理装置从服务器上获取该计算结果。
在一些实施例中,步骤102可以包括如下步骤:
在一些实施例中,获取目标用户的当前地理位置信息。
其中,当前地理位置信息可以是目标用户在地图上的位置区域,位置区域可以是XX超市、XX影院、XX酒吧等区域。当前地理位置信息还可以是目标用户选取设置在音效处理装置或服务器内的位置信息,地理位置信息可以是具体空间位置信息,具体空间位置信息可以是超市、影院、酒吧等。地理位置信息还可以是输入位置信息,输入位置信息具体可以是目标用户文字输入的位置信息,或是目标用户语音输入的位置信息。
例如,在一些实施例中,目标用户的当前地理位置信息可以通过定位软件或者定位设备生成,当地理位置信息生成后,音效处理装置从定位软件或定位设备中该调取地理位置信息。
例如,在一些实施例中,地理位置信息可以预先存在音效处理装置或服务器内,目标用户在本地选取所处位置对应的地理位置信息,或是异地选择所处位置对应的地理位置信息,例如,目标用户在酒吧时,目标用户选择的地理位置信息可以为酒吧。
例如,在一些实施例中,目标用户通过文字或语音向音效处理装置输入地理位置信息。
在一些实施例中,获取目标用户处在当前地理位置的当前时间。
其中,当前时间为目标用户处在当前地理位置时的时间,当前时间可以从互联网中读取,还可以从目标用户的终端的计时系统上读取。
在一些实施例中,根据当前地理位置信息以及当前时间确定情景类型。
其中,情景类型可以以特定时间段内的地理位置进行分类,具体的情景类型可以包括晚上8点~次日凌晨2点的酒吧、晚上5点到8点的树林等。
例如,在一些实施例中,特定时间段内的地理位置,对应的噪音环境也会有所不同,地理位置信息晚上8点~次日凌晨2点的酒吧,此时酒吧处于营业状态,因此,酒吧对应的当前噪音环境为高噪音环境。
103、获取映射关系信息,映射关系信息包括情景类型与预设的音频特效之间的映射关系。
其中,预设的音频特效可以预先记载在音效处理算法,还可以是存储在本地或异地内,音频特效为用于修改其他用户的待处理音频的声音效果,音频特效的参数具体可以包括声道数量、音调、音频强度、混响等。
其中,情景类型与预设的音频特效之间的映射关系,可以是预先根据实际需求调研自主设置的映射关系,还可以是通过收集音频特效和情景类型方面的大数据计算得到的映射关系,映射关系信息可以预先记载在音效处理算法,或是预先存储在音效处理装置以及服务器等电子设备内。在获取映射关系时,可以从本地内存中获取,也可以通过网络从其他电子设备中获取。
例如,在一些实施例中,映射关系信息可以记录在音效处理算法内,具体可以是映射关系逻辑语言的方式记录在音效处理算法内,该音效处理算法可以对应于常规的音乐播放器,还可以加载在社交软件或线上视频软件对应的算法上。
例如,在一些实施例中,映射关系信息还可以存储在本地,具体可以是映射关系信息存储在本地的存储单元上,当音效处理装置要对其他用户的待处理音频进行音效处理时,本地直接调取存储单元内的映射关系信息。
例如,在一些实施例中,映射关系信息还可以存储在异地内,当本地对其他用户的待处理音频进行音效处理时,可以从异地内调取映射关系信息,或是本地接收用户的请求,本地在服务器内对待处理音效进行音效处理,并从异地内直接调取映射关系信息。
104、基于映射关系信息,确定情景类型对应的情景音频特效。
其中,情景音频特效可以是当前所处情景的情景类型关联的预设的音频特效。
例如,在一些实施例中,当在本地对其他用户的待处理音频进行音效处理时,调取存储在本地或异地的映射关系信息,由于映射关系信息包括情景类型与预设的音频特效之间的映射关系,从而可以通过情景类型确定与其对应的预设的音频特征,该对应的预设的音频特征为情景音频特效。
105、采用情景音频特效对其他用户的待处理音频进行音效情景处理,得到其他用户的情景音频。
其中,参考图1d,情景音频特效的参数具体可以包括声道数量、音调、音频强度、混响等,将其他用户的待处理音频对依照情景音频特效进行音效处理,得到其他用户的情景音频,该其他用户的情景音频可以包括声道数量、音调大小、音频强度(音量大小)、混响等的变化,如此,其他用户的待处理音频的音效处理依据了目标用户当前所处情景的情景类型,有利于用户在当前情景下可以获取清晰且舒适的声音。
在一些实施例中,音效处理的步骤可以在本地进行。
在一些实施例中,音效处理的步骤可以在异地进行。
在一些实施例中,音效处理的步骤可以在社交软件上进行,社交软件上关音效处理的算法可以存储在终端上,还可以存储在该社交软件对应的服务器上。
在一些实施例中,步骤105可以包括如下步骤:
情景音频特效具有对应的第一声道音调算子和第二声道音调算子,第一声道音调算子和第二声道音调算子用于计算左右声道之间的声音的音调差异,其他用户的情景音频包括第一声道音频和第二声道音频,音效处理单元,用于:
采用第一声道音调子算子对其他用户的待处理音频进行卷积处理,得到第一声道音频;
采用第二声道音调子算子对其他用户的待处理音频进行卷积处理,得到第二声道音频。
其中,参考图1e,第一声道音调算子和第二声道音调算子可以通过头部关联传递函数(Head-Related Transfer Function,HRTF)获得,HRTF是综合了时延差(ITD)、声压差(IID)和躯体声学反射频谱特性的声源位置函数,也就是声音传输路径的响应。HRTF传输函数对应的激励响应数据为HRIR,最常用的HRIR数据有CIPIC和MIT的数据集,例如CIPIC实验数据收集了45个测量对象,每个测量对象在25个不同的水平方位、50个不同的垂直方位,共1250个方位上双耳收听信号的时域测量数据。
在一些实施例中,情景音频特效携带有左声道的音调参数和右声道的音调参数,第一声道音调算子和第二声道音调算子通过情景音频特效携带的音调参数依据头部关联传递函数得到。
在一些实施例中,第一声道音调算子为其他用户的待处理音频与相应方位的左声道时域测量数据卷积,公式如下:
Figure BDA0003175298960000101
其中,n为对音频量化的标号,
Figure BDA0003175298960000102
是卷积,u(n)为标号为n的单声道音频,h(n)为标号为n的左声道时域测量数据,y(n)为第一声道音频(左声道音频)。
在一些实施例中,第一声道音调算子为其他用户的待处理音频与相应方位的右声道时域测量数据卷积,公式如下:
Figure BDA0003175298960000111
其中,n为对音频量化的标号,
Figure BDA0003175298960000112
是卷积,u(n)为标号为n的单声道音频,h(n)为标号为n的右声道时域测量数据,y(n)为第二声道音频(右声道音频)。
由上式可知,单声道音频通过第一声道音调算子和第二声道音调算子进行音效处理,得到第一声道音频和第二声道音频。
由于头部关联传递函数(Head-Related Transfer Function,HRTF)主要频率有关,音频的频率影响的是声音的音调,从而单声道音频经过第一声道音调算子和第二声道音调算子后,其左右声道之间的声音具有音调差异,使单声道音频在经过音效处理后,生成双声道音频,从而获得立体声。
在一些实施例中,得到其他用户的情景音频之后,情景音频特效还具有对应的第一声道音频强度和第二声道音频强度,该装置还用于:
根据第一声道音频强度调节第一声道音频的幅值,得到处理后的第一声道强度音频;
根据第二声道音频强度调节第二声道音频的幅值,得到处理后的第二声道强度音频。
其中,由于声源与听者距离越近,听到声音的声压越高,相反,声源与听者距离越远,听到的声音的声压越低,从而实现不同距离,其对应于不同的听觉感知效果,并将其映射到对应的音频中。例如,可以通过调节音频的幅值来调节声压,音频幅值影响声音的强度,声音的强度在实际使用场景中反馈在声音的音量上。
声压与距离的关系公式为:
lp2=lp1-20lg(r2/r1)
其中,r1是与声源之间的特定距离,r2是与声源之间的目标距离,lp1是在特定距离下的声压值,lp2是在目标距离下的声压值。
其中,例如,r1/r2等于2时,声压衰减6分贝(db)。
声压与音频的关系公式为:
Figure BDA0003175298960000121
其中,lp为声压,n为对音频量化的标号,N是不为零的自然数,LPC是偏移量,LPC用于对音频幅值进行修正。
在一些实施例中,情景音频特效携带有左声道和声道分别对应的声音强度参数,其中,左声道的声音强度参数为第一声道音频强度,右声道的声音强度参数为第二声道音频强度。第一声道音频强度对应有第一声道的音频幅值,根据该音频幅值参数调节第一声道音频的音频幅值。第二声道音频强度对应有第二声道的音频幅值,根据该音频幅值参数调节第二声道音频的音频幅值。综上所示,实现了对左右声道的声音强度调节。
在一些实施例中,情景音频特效还具有混响信息,得到其他用户的情景音频之后,该装置还用于:根据混响信息对其他用户的情景音频进行混响处理,得到混响其他用户的情景音频。
其中,参见图1f,混响是声音在空间内经过无数次反射后形成的一种无序的状态。声音的直达声、早期反射声和后期反射声是形成声场的三要素。混响通常在人耳听觉感知中,用来产生一种混沌的空间感或者是用来判断所处空间大小,有利于使播放的音频更加立体。
在一些实施例中,根据情景音频特效携带有混响信息的具体参数,该其他用户的情景音频可以是第一声道音频和第二声道音频,还可以是第一声道强度音频和第二声道强度音频,增加了音频的空间感,使播放的音频更加立体。
在一些实施例中,混响信息具有对应的直达声子信息、早期反射声子信息以及后期反射声子信息,根据混响信息对其他用户的情景音频进行混响处理,得到混响其他用户的情景音频,该装置还用于:
在一些实施例中,根据直达声子信息对其他用户的情景音频进行直达声处理,得到直达声音频,直达声子信息包括直达声算子,采用直达声算子对其他用户的情景音频进行直达声处理,得到直达声音频。
直达声音频=X(n)×Gain
其中,X(n)可以是第一声道音频,还可以是第二声道音频、还可以是第一声道强度音频,以及还可以是第二声道强度音频选取,Gain为衰减因子,直达声音频为原音频。
其中,混响衰减时间的专业术语叫做混响时间或是混响衰减,其混响时间计算方式为:从声音停止发声开始计算,混响电平相比原始电平衰减60db所需要的时间。
因此,此处的衰减因子Gain可以代表为混响时间。
在一些实施例中,根据早期反射声子信息对其他用户的情景音频进行早期反射声处理,得到早期反射声音频,早期反射声子信息包括频率延迟滤波器类型和早期反射声算子,该装置还用于:
根据频率延迟滤波器类型对其他用户的情景音频进行延迟处理,得到频率延迟音频;
采用早期反射声算子对频率延迟音频进行早期反射声处理,得到早期反射音频。
其中,频率延迟滤波器类型可以是有限长单位冲激响应(Finite ImpulseResponse,FIR)滤波器,具体可以是18点限长单位冲激响应滤波器,用于对音频的频率进行延迟处理。
早起反射声音频=X(n)×ER·Gain
其中,X(n)可以是第一声道音频经过频率延迟后的频率延迟音频,还可以是第二声道音频经过频率延迟后的频率延迟音频,还可以是第一声道强度音频经过频率延迟后的频率延迟音频,以及还可以是第二声道强度音频选出其他用户的待处理音频,ER·Gain为早期反射衰减因子,早起反射声音频为只经过几次反射就到达了的声音,早期反射声音频的具体反应是声音比较大。
由上述可知,早期反射衰减因子也可以称作早期反射衰减时间。
在一些实施例中,根据后期反射声子信息对其他用户的情景音频进行后期反射声处理,得到后期反射声音频,后期反射声子信息包括频率延迟滤波器类型、频率滤波器类型、相位延迟滤波器类型和后期反射声算子,该装置还用于:
根据频率延迟滤波器类型对其他用户的情景音频进行音频延迟处理,得到频率延迟音频;
根据频率滤波器类型对频率延迟音频进行频率滤波,得到频率过滤后音频;
根据相位延迟滤波器类型对频率过滤后音频进行相位滤波,得到相位延迟后音频;
采用后期反射声算子对相位延迟后音频进行后期反射声处理,得到后期反射声音频。
其中,频率延迟滤波器类型可以是有限长单位冲激响应(Finite ImpulseResponse,FIR)滤波器,具体可以是18点限长单位冲激响应滤波器,用于对音频的频率进行延迟处理。频率滤波器用于过滤低频、中频或高频的音频,频率滤波器具体可以是低通梳状滤波器。相位延迟滤波器可以是全通滤波器,用于修订音频的相位。
后期反射声音频=X(n)×Reverb·Gain
其中,X(n)可以是第一声道音频依次经过频率延迟、频率过滤、相位延迟后的相位延迟后的频率延迟音频,还可以是第二声道音频依次经过频率延迟、频率过滤、相位延迟后的相位延迟后的频率延迟音频,还可以是第一声道强度音频依次经过频率延迟、频率过滤、相位延迟后的相位延迟后的频率延迟音频,以及还可以是第二声道强度音频依次经过频率延迟、频率过滤、相位延迟后的相位延迟后的频率延迟音频,Reverb·Gain为早期反射衰减因子,后期反射声音频为只经过多次次反射到达了的声音,后期发射声音频具体反应为连绵不绝的声音。
由上述可知,后期反射衰减因子也可以称作后期反射衰减时间。
在一些实施例中,将直达声音频、早期反射声音频以及后期反射声音频叠加,得到混响其他用户的情景音频,从而使混响其他用户的情景音频具有多种反射声,有利于使混响其他用户的情景音频在播放时更加具有空间感和立体感。
在一些实施例中,步骤105还可以包括:
其他用户的情景音频可以包括将其他用户的待处理音频(单声道音频)音效处理后生成立体声(双声道),再对该立体声在通过声压和距离的关系对音频幅值进行调节,音频幅值和声音强度有关,因此实现了对立体声的强度调节,在对强度调节后的立体声进行混响处理,得到混响后的音频,该音频为其他用户的情景音频。
106、播放其他用户的情景音频,以便目标用户收听的情景音频与目标用户当前所处的情景匹配。
在一些实施例中,目标用户的终端对其他用户的情景音频进行播放,由于其他用户的情景音频的生成基于了目标用户的当前所处情景,从而使其他用户的情景音频在播放时可以与目标用户当前所处的情景匹配。
本申请实施例提供的音效处理方案可以应用在各种音频播放场景中。比如,以语音通话为例,用户在接听语音通话时受周围环境因素的影响,会根据环境场所自主调节语音通话的音量。采用本申请实施例提供的方案能够更方便的使终端播放出的音频适合用户当前所处的情景,使用户可以直接获取到清晰且舒适的声音,进一步减少了用户自主对音量的调节,从而使用户对该音频的听觉感知像是和通话对方面对面交流。
通过本申请实施例提供的方法可以使将要播放的音频适合用户当前所处的情景,比如,本申请实施例可以根据用户所处的情景类型来获知情景音频特效,根据情景音频特效对其他用户的待处理音频进行音效情景处理,从而使其他用户的情景音频在播放时可以适合用户当前所处情景。
由上可知,本申请实施例可以减小用户所处情景对将要播放音频的影响。由此本方案可以在不同情景中满足用户对音频音效的需求,使将要播放的音频可以与用户的当前环境相适应。
根据上述实施例所描述的方法,以下将作进一步详细说明。
本申请实施例提供的音效处理方法可以应用在各种时语音通话、语音消息以及语音类交互等应用中。本申请提出了一种匹配当前时间、地理位置坐标的空间音效语音交互方式。本申请是一种实际环境与虚拟空间声学相结合的技术,通过这种技术手段,能解决用户在不同声学场景下不同的听觉需求以及全新的听觉体验。同时有别于现有技术基于检测设备跟踪用户方位及运动轨迹,并通过空间音效方式呈现出实际现场听觉体验,也有别于完全根据设计脚本的虚拟立体声运动轨迹的空间音效方式。
本申请是基于获取目标用户的当前时间和当前地理位置信息。例如手机、平板等移动设备都具有这种检测能力,获取的当前时间和当前地理位置信息将映射出一个情景音频特效,这个映射关系表可以保持在本地也可以保存在云端,映射关系表如下表1所示。如果保存在云端方式,则目标用户的本地设备将查询到的当前时间和当前地理位置信息上传云端,云端通过映射关系表搜索出情景音频特效,并下发到本地设备。
如下表1所示:
映射关系表
地理位置信息 时间 情景音频特效
酒吧 凌晨2:00~晚上20:00 默认音效
酒吧 晚上20:00~次日凌晨2:00 贴耳式音效
树林 晚上5点到8点 漫步移动音效
树林 其它时段 默认音效
会议大厅 早上9点到下午5点 讲演式音效
会议大厅 其它时段 默认音效
住宿 晚上6点到10点 环绕式音效
住宿 其它时段 默认音效
游乐场 全天 飞入飞出式音效
魔幻小屋 全天 出奇式交流音效
情景音频特效如下:
1)默认音效模板:说话人距离1米正面交流;
2)贴耳音效模板:说话人近距离,靠近听者耳朵进行交流;
3)漫步移动音效模板:说话人处在一定距离范围内,按照随机或设定的运动轨迹,慢速运动中跟听者进行交流;
4)讲演式音效模板:说话人处在中远距离,声音洪亮且伴有一定混响效果;
5)出奇式音效模板:说话人所处位置不固定且运动轨迹是随机的,例如:前一句话时出现在听者左前方,后一句话时出现听者后方,下一句话时贴近听者耳边,给人惊奇的听觉体验;
6)环绕式音效模板:说话人保持与听者一定的距离,在水平方位上围绕听者360度旋转着交流;
7)飞入飞出式音效模板:说话人从远方以较高速度往听者位置靠近,或者从接近听者的位置往远处以较高速度移走;
每个情景音频特效包含了一系列的声像方位、距离、混响参数等,根据这些参数通过相关的技术实现虚拟立体声生成,生成的立体声通过耳机或多扬声器进行播放。
在实际生活中,目标用户身处不同的环境下应该具有不同的听觉体验需求。如下举例:目标用户身处很嘈杂的环境下,例如酒吧,目标用户更期望的语音交流方式是贴耳式的交流或者非常近距离的交流,避免环境噪声对收听过程的干扰;目标用户身处一个清幽的环境下,例如小树林,目标用户需要的语音交流方式应该是比较自然随意的交流方式,希望与其通话的对方也是比较自然无拘束的随意走动;目标用户身处一个开阔的环境,例如大球场,目标用户希望听到的声音应该是有一点混响的效果,跟现场的声学环境比较匹配。
根据上述实施例所描述的方法,以下将作进一步详细说明。
在本实施例中,将以服务器为例,对本申请实施例的方法进行详细说明。
如图2所示,一种音效处理方法具体流程如下:
201、服务器获取其他用户的待处理音频,其他用户为除目标用户以外的用户。
例如,目标用户可以直接将其他用户的待处理音频上传到服务器,服务器直接获取到其他用户的待处理音频,获知其他用户的待处理音频已经存储在服务器内,服务器在目标用户的指定中获取。如果其他用户的待处理音频为实时通话,目标用户可以先和服务器建立通信,实时通话直接从目标用户的终端传入至服务器中。如果其他用户的待处理音频为目标用户终端预先存储在服务器内的音频,目标用户通过终端指定服务器内的音频。还可以是其他用户的待处理音频存储在目标用户的终端中,当目标用户需要对该其他用户的待处理音频进行音效处理时,目标用户通过终端将该其他用户的待处理音频上传到服务器内。
202、服务器确定目标用户的当前所处情景的情景类型。
在一些实施例中,步骤202可以包括如下步骤:
在一些实施例中,服务器获取目标用户的当前地理位置信息。
例如,目标用户的终端通过定位软件或定位装置获取目标用户的地理位置信息,目标用户的终端将地理位置信息上传到服务器。当在对其他用户的待处理音频进行音效处理时,地理位置信息的上传可以是目标用户手动上传,也可以终端自动上传。
在一些实施例中,服务器获取目标用户处在当前地理位置的当前时间。
例如,目标用户的终端在对目标用户进行位置定位后,目标用户的终端通过互联网获取生成当前位置定位的互联网时间,目标用户的终端将该互联网时间上传到服务器,或者是服务器在接收到当前地理位置信息后,服务器生成接收当前地理位置信息的时间为当前时间,当前时间还可以是目标用户手动上传,又或是终端自动上传。
在一些实施例中,服务器根据当前地理位置信息以及当前时间确定情景类型。
例如,服务器在接收到当前地理位置信息后,当前地理位置信息可以携带有目标用户所在位置在地图上的位置名称,同时,服务器还接收了目标用户处在当前地理位置的当前时间,服务器可以根据当前时间对应的位置名称来确定目标用户所处的当前所处情景的情景类型。
203、服务器获取映射关系信息,映射关系信息包括情景类型与预设的音频特效之间的映射关系。
例如,映射关系信息可以保存在服务器内,当服务器获取到其他用户的待处理音频、目标用户的当前地理位置信息以及在当前地理位置的当前时间后,服务器根据地理位置信息确定情景类型后,服务器可以调取存储在服务器内的映射关系信息。
204、基于映射关系信息,确定情景类型对应的情景音频特效。
例如,根据映射关系信息,可以找到与该情景类型对应的音频特效。
205、服务器采用情景音频特效对其他用户的待处理音频进行音效处理,得到其他用户的情景音频。
例如,服务器依据情景音频特效中的参数对其他用户的待处理音频进行音效处理,得到其他用户的情景音频上传到目标用户终端。
在一些实施例中,步骤205可以包括如下步骤:
情景音频特效具有对应的第一声道音调算子和第二声道音调算子,第一声道音调算子和第二声道音调算子用于计算左右声道之间的声音的音调差异,其他用户的情景音频包括第一声道音频和第二声道音频,音效处理单元,用于:
采用第一声道音调子算子对其他用户的待处理音频进行卷积处理,得到第一声道音频;
采用第二声道音调子算子对其他用户的待处理音频进行卷积处理,得到第二声道音频。
例如,其他用户的待处理音频为单声道音频时,服务器调取情景音频特效携带的第一声道算子和第二声道算子,服务器根据第一声道算子和第二伸到算子对其他用户的待处理音频进行音效处理,从而得到双声道音频,使其他用户的情景音频在播放时为立体声。
在一些实施例中,得到其他用户的情景音频之后,情景音频特效还具有对应的第一声道音频强度和第二声道音频强度,该装置还用于:
根据第一声道音频强度调节第一声道音频的幅值,得到处理后的第一声道强度音频;
根据第二声道音频强度调节第二声道音频的幅值,得到处理后的第二声道强度音频。
例如,服务器调取情景音频特效携带的第一声道音频强度和第二声道音频强度,服务器根据第一声道音频强度调节第一声道音频的幅值,根据第二声道音频强度调节第二声道音频的幅值,从而使第一声道强度音频和第二声道强度音频的声音强度不同,提高了其他用户的情景音频的立体感,也可以使其他用户的情景音频播放时,目标用户可以感受到声源距离变化的效果。
在一些实施例中,情景音频特效还具有混响信息,得到其他用户的情景音频之后,该装置还用于:根据混响信息对其他用户的情景音频进行混响处理,得到混响其他用户的情景音频。
在一些实施例中,混响信息具有对应的直达声子信息、早期反射声子信息以及后期反射声子信息,根据混响信息对其他用户的情景音频进行混响处理,得到混响其他用户的情景音频,该装置还用于:
在一些实施例中,根据直达声子信息对其他用户的情景音频进行直达声处理,得到直达声音频,直达声子信息包括直达声算子,采用直达声算子对其他用户的情景音频进行直达声处理,得到直达声音频。
在一些实施例中,根据早期反射声子信息对其他用户的情景音频进行早期反射声处理,得到早期反射声音频,早期反射声子信息包括频率延迟滤波器类型和早期反射声算子,该装置还用于:
根据频率延迟滤波器类型对其他用户的情景音频进行延迟处理,得到频率延迟音频;
采用早期反射声算子对频率延迟音频进行早期反射声处理,得到早期反射声音频。
在一些实施例中,根据后期反射声子信息对其他用户的情景音频进行后期反射声处理,得到后期反射声音频,后期反射声子信息包括频率延迟滤波器类型、频率滤波器类型、相位延迟滤波器类型和后期反射声算子,该装置还用于:
根据频率延迟滤波器类型对其他用户的情景音频进行音频延迟处理,得到频率延迟音频;
根据频率滤波器类型对频率延迟音频进行频率滤波,得到频率过滤后音频;
根据相位延迟滤波器类型对频率过滤后音频进行相位滤波,得到相位延迟后音频;
采用后期反射声算子对相位延迟后音频进行后期反射声处理,得到后期反射声音频。
例如,服务器调取情景音频特效携带的混响信息,对其他用户的情景音频进行混响处理,而混响信息携带有直达声子信息、早期反射声子信息以及后期反射声子信息,服务器根据直达声子信息对其他用户的情景音频进行音效处理生成直达声音频,服务器根据早期反射声子信息对其他用户的情景音频进行音效处理生成早期反射声音频,服务器根据后期反射声子信息对其他用户的情景音频进行音效处理生成后期反射声音频,再将直达声音频、早期反射声音频和后期反射声音频重叠,服务器使其他用户的情景音频具有混响效果。
206、服务器将其他用户的情景音频传输至目标用户的终端,目标用户的终端播放其他用户的情景音频,以便目标用户收听的情景音频与目标用户当前所处的情景匹配。
例如,服务器将其他用户的待处理音频进行音效情景处理后,得到其他用户的情景音频,将该其他用户的情景音频传输至目标用户的终端,由于其他用户的情景音频是基于目标用户的当前所处情景的情景类型得到的,所以目标用户收听到的情景音频可以与目标用户当前所处的情景匹配。
由上可知,在本实施例中,服务器获取其他用户的待处理音频,并获取目标用户的当前地理位置信息和在当前地理位置的当前时间,根据该当前地理位置信息和当前时间确定出目标用户的当前所处情景的情景类型,从而从预设的音频特效中获取与该情景类型对应的情景音频特效,根据该情景音频特效对其他用户的待处理音频进行音效情景处理,从而使其他用户的情景音频在播放时适合目标用户的当前所处情景,避免了目标用户可能存在听不清音频而需要自主调节音量的情况发生,同时还避免了该音频在播放时的声音强度不够,有利于目标用户可以直接获取到清晰且舒适的声音,使将要播放的音频可以与用户的当前所处情景相适应。
为了更好地实施以上方法,本申请实施例还提供一种音效处理装置,该音效处理装置具体可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
比如,在本实施例中,将以音效处理装置具体集成在一种终端为例,对本申请实施例的方法进行详细说明。
例如,如图3所示,该音效处理装置可以包括:
(一)音频获取单元301;
音频获取单元301,用于获取其他用户的待处理音频,其他用户为除目标用户以外的用户。
例如,音频获取单元301,具体可以用于本地获取其他用户的待处理音频,或者是异地获取其他用户端的待处理音频,或是实时获取其他用户的待处理音频。
(二)情景类型确定单元302;
情景类型确定单元302,用于确定目标用户的当前所处情景的情景类型。
在一些实施例中,情景类型确定单元302,用于:
获取目标用户的当前地理位置信息;
获取目标用户处在当前地理位置的当前时间;
根据地理位置信息以及当前时间确定情景类型。
例如,情景类型确定单元302,用于获取目标用户的终端上传的当前地理位置信息,并在获取到当前地理位置时,生成与其对应的当前时间,地理位置信息携带有目标用户所处环境的位置名称,根据该位置名称和当前时间,确定目标用户当前所处情景的情景类型。
(三)映射关系获取单元303;
映射关系获取单元303,用于获取映射关系信息,映射关系信息包括情景类型与预设的音频特效之间的映射关系。
例如,映射关系获取单元303,用于将情景类型和预设的音频特征之间建立联系,从而根据情景类型可以确定出其他用户的待处理音频该以哪种预设的音频特效进行处理。
(四)目标音效特效确定单元304;
目标音效特效确定单元304,用于基于映射关系信息,确定当情景类型确定对应的情景音频特效。
例如,目标音效特效确定单元304,用于接收已确定的情景类型,根据该情景类型在映射关系信息中找到与该情景类型对应的情景音频特效。
在一些实施例中,目标音效特效确定单元304,该装置还用于:
确定其他用户的待处理音频的获取时间;
根据获取时间和当前所处情景的情景类型确定目标用户所需的情景音频特效。
例如,目标音效特效确定单元304,接收确定好的情景类型,情景类型包括目标用户的当前地理位置信息和在处在该当前地理位置的当前时间,根据目标用户在当前时间所处的地理位置,确定目标用户的情景音频特效,有利于在对其他用户的待处理音频进行音效情景处理时,其对应的情景音频特效选取更加准确,有利于目标用户可以直接获取到清晰且舒适的声音,提升了音效处理的人性化服务。
(五)音效处理单元305;
音效处理单元305,用于采用情景音频特效对其他用户的待处理音频进行音效情景处理,得到其他用户的情景音频。
在一些实施例中,情景音频特效具有对应的第一声道音调算子和第二声道音调算子,第一声道音调算子和第二声道音调算子用于计算左右声道之间的声音的音调差异,其他用户的情景音频包括第一声道音频和第二声道音频,音效处理单元,用于:
采用第一声道音调子算子对其他用户的待处理音频进行卷积处理,得到第一声道音频;
采用第二声道音调子算子对其他用户的待处理音频进行卷积处理,得到第二声道音频。
例如,音效处理单元305,具体可以用于将其他用户的待处理音频(单声道音频)分别与第一声道音调算子和第二声道音调算子进行卷积处理,得到第一声道音频和第二声道音频,使其他用户的情景音频变为双声道音频,使其他用户的情景音频在播放时,目标用户可以获知到有立体感的声音。
在一些实施例中,音效处理单元305,该装置还用于:
在一些实施例中,得到其他用户的情景音频之后,情景音频特效还具有对应的第一声道音频强度和第二声道音频强度,该装置还用于:
根据第一声道音频强度调节第一声道音频的幅值,得到处理后的第一声道强度音频;
根据第二声道音频强度调节第二声道音频的幅值,得到处理后的第二声道强度音频。
例如,音效处理单元305,还可以从情景音频特效中获取第一声道音频强度和第二声道音频强度,音频强度可以使听者感知声源的距离,根据第一声道音频强度对第一声道音频的幅值进行调整,根据第二声道音频强度对第二声道音频的幅值进行调整,使经过音频强度调整后的声音更加立体,有利于目标用户可以获取到清晰且舒适的声音。
在一些实施例中,情景音频特效还具有混响信息,得到其他用户的情景音频之后,该装置还用于:
根据混响信息对其他用户的情景音频进行混响处理,得到混响其他用户的情景音频。
在一些实施例中,混响信息具有对应的直达声子信息、早期反射声子信息以及后期反射声子信息,根据混响信息对其他用户的情景音频进行混响处理,得到混响其他用户的情景音频,该装置还拥有:
根据直达声子信息对其他用户的情景音频进行直达声处理,得到直达声音频;
根据早期反射声子信息对其他用户的情景音频进行早期反射声处理,得到早期反射声音频;
根据后期反射声子信息对其他用户的情景音频进行后期反射声处理,得到后期反射声音频;
将直达声音频、早期反射音频以及后期反射声音频叠加,得到混响其他用户的情景音频。
在一些实施例中,根据直达声子信息对其他用户的情景音频进行直达声处理,得到直达声音频,直达声子信息包括直达声算子,该装置还用于:
采用直达声算子对其他用户的情景音频进行直达声处理,得到直达声音频。
在一些实施例中,根据早期反射声子信息对其他用户的情景音频进行早期反射声处理,得到早期反射声音频,早期反射声子信息包括频率延迟滤波器类型和早期反射声算子,该装置还用于:
根据频率延迟滤波器类型对其他用户的情景音频进行延迟处理,得到频率延迟音频;
采用早期反射声算子对频率延迟音频进行早期反射声处理,得到早期反射声音频。
在一些实施例中,根据后期反射声子信息对其他用户的情景音频进行后期反射声处理,得到后期反射声音频,后期反射声子信息包括频率延迟滤波器类型、频率滤波器类型、相位延迟滤波器类型和后期反射声算子,包括:
根据频率延迟滤波器类型对其他用户的情景音频进行音频延迟处理,得到频率延迟音频;
根据频率滤波器类型对频率延迟音频进行频率滤波,得到频率过滤后音频;
根据相位延迟滤波器类型对频率过滤后音频进行相位滤波,得到相位延迟后音频;
采用后期反射声算子对相位延迟后音频进行后期反射声处理,得到后期反射声音频。
例如,音效处理单元305,还可以从情景音频特效中调取混响信息,音效处理单元根据该混响信息对其他用户的情景音频进行混响处理,还可以对第一声道强度音频和第二声道强度音频进行混响处理,使混响处理后的音频具有空间感。
(六)音效播放单元306;
例如,音效播放单元306,用于播放其他用户的情景音频,以便目标用户收听的情景音频与目标用户当前所处的情景匹配。
在一些实施例中,目标用户方的终端对其他用户的情景音频进行播放,器播放的请他用户的情景音频是根据目标用户的当前所处情景决定的,因此,目标用户收听的情景音频可以与目标用户当前所处的情景匹配,有利于目标用户可以直接获取到清晰且舒适的声音。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的音效处理装置由音频获取单元获取其他用户的待处理音频,其他用户为除目标用户以外的用户;由情景类型确定单元确定目标用户的当前所处情景的情景类型;由映射关系获取单元获取映射关系信息,映射关系信息包括情景类型与预设的音频特效之间的映射关系;由目标音效特效确定单元基于映射关系信息,确定情景类型对应的情景音频特效;由音效处理单元采用情景音频特效对其他用户的待处理音频进行音效情景处理,得到其他用户的情景音频;由音效播放单元播放其他用户的情景音频,以便目标用户收听的情景音频与目标用户当前所处的情景匹配。
由此,本申请实施例提升了音效处理的人性化服务。本申请实施例还提供一种电子设备,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑,等等;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,等等。
在一些实施例中,该音效处理装置还可以集成在多个电子设备中,比如,音效处理装置可以集成在多个服务器中,由多个服务器来实现本申请的音效处理方法。
在本实施例中,将以本实施例的电子设备是移动终端为例进行详细描述,比如,如图4所示,其示出了本申请实施例所涉及的移动终端的结构示意图,具体来讲:
该移动终端可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解,图4中示出的SSS结构并不构成对移动终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。在一些实施例中,处理器401可包括一个或多个处理核心;在一些实施例中,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据移动终端的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
移动终端还包括给各个部件供电的电源403,在一些实施例中,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该移动终端还可包括输入模块404,该输入模块404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、话筒、光学或者轨迹球信号输入。
该移动终端还可包括通信模块405,在一些实施例中通信模块405可以包括无线模块,移动终端可以通过该通信模块405的无线模块进行短距离无线传输,从而为用户提供了无线的宽带互联网访问。比如,该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出,移动终端还可以包括显示单元等,在此不再赘述。具体在本实施例中,移动终端中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取其他用户的待处理音频,其他用户为除目标用户以外的用户;
确定目标用户的当前所处情景的情景类型;
获取映射关系信息,映射关系信息包括情景类型与预设的音频特效之间的映射关系;
基于映射关系信息,确定情景类型对应的情景音频特效;
采用情景音频特效对其他用户的待处理音频进行音效情景处理,得到其他用户的情景音频;
播放其他用户的情景音频,以便目标用户收听的情景音频与目标用户当前所处的情景匹配。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本申请实施例可以减小用户所处环境对将要播放音频的影响。由此本方案可以在不同环境中满足用户对音频音效的要求,使将要播放的音频可以与用户的当前环境相适应。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种音效处理方法中的步骤。例如,该指令可以执行如下步骤:
获取其他用户的待处理音频,其他用户为除目标用户以外的用户;
确定目标用户的当前所处情景的情景类型;
获取映射关系信息,映射关系信息包括情景类型与预设的音频特效之间的映射关系;
基于映射关系信息,确定情景类型对应的情景音频特效;
采用情景音频特效对其他用户的待处理音频进行音效处理,得到其他用户的情景音频;
播放其他用户的情景音频,以便目标用户收听的情景音频与目标用户当前所处的情景匹配。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中提供根据用户所处环境对其他用户的待处理音频进行音效处理的各种可选实现方式中提供的方法。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种音效处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种音效处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种音效处理方法、音效处理装置、终端和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种音效处理方法,其特征在于,包括:
获取其他用户的待处理音频,所述其他用户为除目标用户以外的用户;
确定所述目标用户的当前所处情景的情景类型;
获取映射关系信息,所述映射关系信息包括情景类型与预设的音频特效之间的映射关系;
基于所述映射关系信息,确定所述情景类型对应的情景音频特效;
采用所述情景音频特效对所述其他用户的待处理音频进行音效情景处理,得到所述其他用户的情景音频;
播放所述其他用户的情景音频,以便所述目标用户收听的情景音频与所述目标用户当前所处的情景匹配。
2.如权利要求1所述的音效处理方法,其特征在于,所述确定所述目标用户的当前所处情景的情景类型,包括:
获取所述目标用户的当前地理位置信息;
获取所述目标用户处在当前地理位置的当前时间;
根据所述当前地理位置信息以及所述当前时间确定所述情景类型。
3.如权利要求1所述的音效处理方法,其特征在于,所述情景音频特效具有对应的第一声道音调算子和第二声道音调算子,所述第一声道音调算子和第二声道音调算子用于计算左右声道之间的声音的音调差异,所述其他用户的情景音频包括第一声道音频和第二声道音频,所述采用所述情景音频特效对所述其他用户的待处理音频进行音效处理,得到所处其他用户的情景音频,包括:
采用所述第一声道音调子算子对所述其他用户的待处理音频进行卷积处理,得到所述第一声道音频;
采用所述第二声道音调子算子对所述其他用户的待处理音频进行卷积处理,得到所述第二声道音频。
4.如权利要求3所述的音效处理方法,其特征在于,所述得到所述其他用户的情景之后,所述情景音频特效还具有对应的第一声道音频强度和第二声道音频强度,还包括:
根据所述第一声道音频强度调节所述第一声道音频的幅值,得到处理后的第一声道强度音频;
根据所述第二声道音频强度调节所述第二声道音频的幅值,得到处理后的第二声道强度音频。
5.如权利要求1所述的音效处理方法,其特征在于,所述情景音频特效还具有混响信息,所述得到所述其他用户的情景音频之后,还包括:
根据所述混响信息对所述其他用户的情景音频进行混响处理,得到其他用户的混响音频。
6.如权利要求5所述的音效处理方法,其特征在于,所述混响信息具有对应的直达声子信息、早期反射声子信息以及后期反射声子信息,根据所述混响信息对所述其他用户的情景音频进行混响处理,得到混响其他用户的混响音频,包括:
根据所述直达声子信息对所述其他用户的情景音频进行直达声处理,得到直达声音频;
根据所述早期反射声子信息对所述其他用户的情景音频进行早期反射声处理,得到早期反射声音频;
根据所述后期反射声子信息对所述其他用户的情景音频进行后期反射声处理,得到后期反射声音频;
将所述直达声音频、所述早期反射声音频以及所述后期反射声音频叠加,得到其他用户的混响音频。
7.如权利要求6所述的音效处理方法,其特征在于,所述根据所述直达声子信息对所述其他用户的情景音频进行直达声处理,得到直达声音频,所述直达声子信息包括直达声算子,包括:
采用所述直达声算子对所述其他用户的情景音频进行直达声处理,得到所述直达声音频。
8.如权利要求6所述的音效处理方法,其特征在于,根据所述早期反射声子信息对所述其他用户的情景音频进行早期反射声处理,得到早期反射声音频,所述早期反射声子信息包括频率延迟滤波器类型和早期反射声算子,包括:
根据所述频率延迟滤波器类型对所述其他用户的情景音频进行延迟处理,得到频率延迟音频;
采用所述早期反射声算子对所述频率延迟音频进行早期反射声处理,得到所述早期反射声音频。
9.如权利要求6所述的音效处理方法,其特征在于,所述根据所述后期反射声子信息对所述其他用户的情景音频进行后期反射声处理,得到后期反射声音频,所述后期反射声子信息包括频率延迟滤波器类型、频率滤波器类型、相位延迟滤波器类型和后期反射声算子,包括:
根据所述频率延迟滤波器类型对所述其他用户的情景音频进行音频延迟处理,得到频率延迟音频;
根据所述频率滤波器类型对所述频率延迟音频进行频率滤波,得到频率过滤后音频;
根据所述相位延迟滤波器类型对所述频率过滤后音频进行相位滤波,得到相位延迟后音频;
采用所述后期反射声算子对所述相位延迟后音频进行后期反射声处理,得到所述后期反射声音频。
10.一种音效处理装置,其特征在于,包括:
音频获取单元,用于获取其他用户的待处理音频,所述其他用户为除目标用户以外的用户;
情景类型确定单元,用于确定所述目标用户的当前所处情景的情景类型;
映射关系获取单元,用于获取映射关系信息,所述映射关系信息包括情景类型与预设的音频特效之间的映射关系;
目标音效特效确定单元,用于基于所述映射关系信息,确定所述情景类型对应的情景音频特效;
音效处理单元,采用所述情景音频特效对所述其他用户的待处理音频进行音效情景处理,得到所述其他用户的情景音频;
音效播放单元,用于播放所述其他用户的情景音频,以便所述目标用户收听的情景音频与所述目标用户当前所处的情景匹配。
11.一种终端,其特征在于,包括处理器和存储器,所述存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行如权利要求1~9任一项所述的音效处理方法中的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1~9任一项所述的音效处理方法中的步骤。
CN202110830353.4A 2021-07-22 2021-07-22 音效处理方法、音效处理装置、终端和存储介质 Pending CN115696170A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110830353.4A CN115696170A (zh) 2021-07-22 2021-07-22 音效处理方法、音效处理装置、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110830353.4A CN115696170A (zh) 2021-07-22 2021-07-22 音效处理方法、音效处理装置、终端和存储介质

Publications (1)

Publication Number Publication Date
CN115696170A true CN115696170A (zh) 2023-02-03

Family

ID=85043881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110830353.4A Pending CN115696170A (zh) 2021-07-22 2021-07-22 音效处理方法、音效处理装置、终端和存储介质

Country Status (1)

Country Link
CN (1) CN115696170A (zh)

Similar Documents

Publication Publication Date Title
US11688385B2 (en) Encoding reverberator parameters from virtual or physical scene geometry and desired reverberation characteristics and rendering using these
KR20200015662A (ko) 빔 형성 라우드스피커 어레이를 통해 생성된 오디오의 공간적 더킹
CN104871566B (zh) 协作式声音系统
JP4921470B2 (ja) 頭部伝達関数を表すパラメータを生成及び処理する方法及び装置
US7889872B2 (en) Device and method for integrating sound effect processing and active noise control
EP3618466B1 (en) Scalable binaural audio stream generation
US10531216B2 (en) Synthesis of signals for immersive audio playback
JP2019512952A (ja) 音響再生システム
US20230239642A1 (en) Three-dimensional audio systems
CN113170271A (zh) 用于处理立体声信号的方法和装置
CN107301028B (zh) 一种基于多人远程通话的音频数据处理方法及装置
CN106792365B (zh) 一种音频播放方法及装置
US20190394596A1 (en) Transaural synthesis method for sound spatialization
WO2018193163A1 (en) Enhancing loudspeaker playback using a spatial extent processed audio signal
CN113784274A (zh) 三维音频系统
EP2009891B1 (fr) Transmission de signal audio dans un système de conférence audio immersive
US8737648B2 (en) Spatialized audio over headphones
CN114424583A (zh) 混合近场/远场扬声器虚拟化
CN115696170A (zh) 音效处理方法、音效处理装置、终端和存储介质
CN115705839A (zh) 语音播放方法、装置、计算机设备和存储介质
Pörschmann et al. 3-D audio in mobile communication devices: effects of self-created and external sounds on presence in auditory virtual environments
EP4254983A1 (en) Live data delivering method, live data delivering system, live data delivering device, live data reproducing device, and live data reproducing method
EP4254982A1 (en) Live data delivery method, live data delivery system, live data delivery device, live data reproduction device, and live data reproduction method
US20230319492A1 (en) Adaptive binaural filtering for listening system using remote signal sources and on-ear microphones
Chen et al. Highly realistic audio spatialization for multiparty conferencing using headphones

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40081515

Country of ref document: HK