CN109104687B - 音效处理方法及相关产品 - Google Patents
音效处理方法及相关产品 Download PDFInfo
- Publication number
- CN109104687B CN109104687B CN201811114982.1A CN201811114982A CN109104687B CN 109104687 B CN109104687 B CN 109104687B CN 201811114982 A CN201811114982 A CN 201811114982A CN 109104687 B CN109104687 B CN 109104687B
- Authority
- CN
- China
- Prior art keywords
- data
- reverberation
- sound source
- sound
- physical environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000694 effects Effects 0.000 title claims abstract description 138
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000004891 communication Methods 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
Abstract
本申请实施例公开了一种音效处理方法及相关产品,该方法包括:通过确定单声道声源所处的物理环境,以及获取单声道声源产生的单声道数据,根据所述物理环境确定所述单声道数据的混响效果参数,根据混响效果参数对单声道数据进行处理,得到混响音频数据,如此,可根据用户周围物理环境的不同,设定对应的混响效果参数,产生不同的混响效果。
Description
技术领域
本申请涉及音频技术领域,具体涉及一种音效处理方法及相关产品。
背景技术
随着电子设备(如手机、平板电脑等)的大量普及应用,电子设备能够支持的应用越来越多,功能越来越强大,电子设备向着多样化、个性化的方向发展,成为用户生活中不可缺少的电子用品,现有技术中电子设备获取的音频数据往往是2D音频数据,因此,无法给用户带来声音的真实感,降低了用户体验。
发明内容
本申请实施例提供了一种音效处理方法及相关产品,能够合成3D音效,提升用户体验。
第一方面,本申请实施例提供一种音效处理方法,所述方法包括:
确定单声道声源所处的物理环境,以及获取所述单声道声源产生的单声道数据;
根据所述物理环境确定所述单声道数据的混响效果参数;
根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据。
第二方面,本申请实施例提供了一种音效处理装置,所述音效处理装置包括:
获取单元,用于确定单声道声源所处的物理环境,以及获取所述单声道声源产生的单声道数据;
确定单元,用于根据所述物理环境确定所述单声道数据的混响效果参数;
处理单元,用于根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口,以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中所描述的音效处理方法及相关产品,通过确定单声道声源所处的物理环境,以及获取单声道声源产生的单声道数据,根据所述物理环境确定所述单声道数据的混响效果参数,根据混响效果参数对单声道数据进行处理,得到混响音频数据,如此,可根据用户周围物理环境的不同,设定对应的混响效果参数,产生不同的混响效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备的结构示意图;
图1B是本申请实施例公开的一种音效处理方法的流程示意图;
图1C是本申请实施例提供的一种对单声道数据进行混响效果处理的演示示意图;
图1D是本申请实施例提供的另一种对单声道数据进行混响效果处理的演示示意图;
图2A是本申请实施例公开的另一种音效处理方法的流程示意图;
图2B是本申请实施例提供的一种根据单声道数据生成目标双声道混响数据的演示示意图;
图2C是本申请实施例提供的一种根据单声道数据生成目标双声道混响数据的演示示意图;
图3是本申请实施例公开的另一种音效处理方法的流程示意图;
图4是本申请实施例公开的另一种电子设备的结构示意图;
图5是本申请实施例公开的一种音效处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(如智能手机)、车载设备、虚拟现实(virtual reality,VR)/增强现实(augmentedreality,AR)设备,可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobile station,MS),终端设备(terminal device)、研发/测试平台、服务器等等。为方便描述,上面提到的设备统称为电子设备。
具体实现中,本申请实施例中,电子设备可对音频数据(声源发出的声音)使用HRTF(Head Related Transfer Function,头相关变换函数)滤波器进行滤波,得到虚拟环绕声,也称之为环绕声,或者全景声,实现一种三维立体音效。HRTF在时间域所对应的名称是HRIR(Head Related Impulse Response)。或者将音频数据与双耳房间脉冲响应(Binaural Room Impulse Response,BRIR)做卷积,双耳房间脉冲响应由三个部分组成:直达声,早期反射声和混响。
请参阅图1A,图1A是本申请实施例提供的一种电子设备的结构示意图,电子设备包括控制电路和输入-输出电路,输入输出电路与控制电路连接。
其中,控制电路可以包括存储和处理电路。该存储和处理电路中的存储电路可以是存储器,例如硬盘驱动存储器,非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等),易失性存储器(例如静态或动态随机存取存储器等)等,本申请实施例不作限制。存储和处理电路中的处理电路可以用于控制电子设备的运转。该处理电路可以基于一个或多个微处理器,微控制器,数字信号处理器,基带处理器,功率管理单元,音频编解码器芯片,专用集成电路,显示驱动器集成电路等来实现。
存储和处理电路可用于运行电子设备中的软件,例如播放来电提示响铃应用程序、播放短消息提示响铃应用程序、播放闹钟提示响铃应用程序、播放媒体文件应用程序、互联网协议语音(voice over internet protocol,VOIP)电话呼叫应用程序、操作系统功能等。这些软件可以用于执行一些控制操作,例如,播放来电提示响铃、播放短消息提示响铃、播放闹钟提示响铃、播放媒体文件、进行语音电话呼叫以及电子设备中的其它功能等,本申请实施例不作限制。
其中,输入-输出电路可用于使电子设备实现数据的输入和输出,即允许电子设备从外部设备接收数据和允许电子设备将数据从电子设备输出至外部设备。
输入-输出电路可以进一步包括传感器。传感器可以包括环境光传感器,基于光和电容的红外接近传感器,超声波传感器,触摸传感器(例如,基于光触摸传感器和/或电容式触摸传感器,其中,触摸传感器可以是触控显示屏的一部分,也可以作为一个触摸传感器结构独立使用),加速度传感器,重力传感器,和其它传感器等。输入-输出电路还可以进一步包括音频组件,音频组件可以用于为电子设备提供音频输入和输出功能。音频组件还可以包括音调发生器以及其它用于产生和检测声音的组件。
输入-输出电路还可以包括一个或多个显示屏。显示屏可以包括液晶显示屏,有机发光二极管显示屏,电子墨水显示屏,等离子显示屏,使用其它显示技术的显示屏中一种或者几种的组合。显示屏可以包括触摸传感器阵列(即,显示屏可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器,或者可以是使用其它触摸技术形成的触摸传感器,例如音波触控,压敏触摸,电阻触摸,光学触摸等,本申请实施例不作限制。
输入-输出电路还可以进一步包括通信电路可以用于为电子设备提供与外部设备通信的能力。通信电路可以包括模拟和数字输入-输出接口电路,和基于射频信号和/或光信号的无线通信电路。通信电路中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说,通信电路中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(near field communication,NFC)的电路。例如,通信电路可以包括近场通信天线和近场通信收发器。通信电路还可以包括蜂窝电话收发器和天线,无线局域网收发器电路和天线等。
输入-输出电路还可以进一步包括其它输入-输出单元。输入-输出单元可以包括按钮,操纵杆,点击轮,滚动轮,触摸板,小键盘,键盘,照相机,发光二极管和其它状态指示器等。
其中,电子设备还可以进一步包括电池(未图示),电池用于给电子设备提供电能。
下面对本申请实施例进行详细介绍。
请参阅图1B,图1B是本申请实施例公开的一种音效处理方法的流程示意图,应用于上述图1A所描述的电子设备,该音效处理方法包括如下步骤:
101、确定单声道声源所处的物理环境,以及获取所述单声道声源产生的单声道数据。
其中,上述物理环境是指研究对象周围的设施、建筑物等物质系统,本申请实施例中,物理环境可以是现实场景中的物理环境,还可以是虚拟场景中的物理环境,例如可包括虚拟现实/增强现实场景、游戏场景中的物理环境等等,物理环境可包括地面环境和水下环境,其中,地面环境还可包括室内环境、户外环境,例如森林,确定物理环境的过程中,还可包括获取物理环境下的天气信息,例如晴天、雨天或雪天等等,天气信息还可包括环境温度、环境湿度等等,此处不作限制。
本申请实施例中,确定上述物理环境中的户外环境,可通过电子设备中的定位装置进行确定,例如,电子设备可通过安装的导航应用确定当前所处的位置的位置信息,根据该位置信息可确定处于森林还是其他户外环境;确定上述物理环境中的室内环境,可根据摄像头判断物理环境是否为室内环境,还可通过距离传感器确定室内环境中电子设备与多面墙壁之间的多个距离,进而根据多个距离确定室内的空间大小;确定获取物理环境下的天气信息,可通过电子设备中的天气应用确定所处物理环境的天气;还可通过电子设备中的温度传感器对环境温度进行检测,通过电子设备中的湿度传感器对环境湿度进行检测。
其中,上述单声道声源可以为上述物理环境中的发声体,例如,游戏场景中的一个飞机,声源可以为固定声源,或者,移动声源,在声源发出声音时,可获取声源产生的单声道数据。
102、根据所述物理环境确定所述单声道数据的混响效果参数。
其中,上述混响效果参数可包括以下至少一种:混响强度、混响时间,衰减曲线等等,此处不再赘述。
本申请实施例中,针对不同的物理环境,可将声源产生的单声道数据处理成物理环境对应的混响效果,从而使用户能够更加逼真地感受到当前物理环境下的声音效果,其中,不同的物理环境对声音效果的影响不一样,例如,在地面环境中,空气对声音传播效果的影响与水下环境中声音传播效果的影响不同,又例如,在森林中,由于有很多树木存在,因此对声音传播效果与在较为空旷的环境中的声音传播效果也不同,不同的物理环境下,空间大小、环境温度和环境湿度所需要的混响效果也不一样,因此,可预先设定不同的物理环境对应的混响效果参数,具体地,在室内环境下,可确定当前物理环境的目标空间大小,然后根据预设的空间大小与混响效果参数的对应关系,确定与目标空间大小对应的目标混响效果参数,可选地,还可确定不同环境温度与环境湿度对应的混响效果参数。
可选地,上述步骤102中,根据所述物理环境确定所述单声道数据的混响效果参数,可包括如下步骤:
21、获取所述单声道声源与目标对象之间的位置关系,所述位置关系包括所述单声道声源与目标对象之间的方位关系和距离目标;
22、若所述物理环境为地面环境,确定所述单声道数据在空气中传输所述目标距离的第一衰减曲线,根据所述第一衰减曲线和所述方位关系确定第一混响效果参数;
23、若所述物理环境为水下环境,确定所述单声道数据在水中传输所述目标距离的第二衰减曲线,根据所述第二衰减曲线和所述方位关系确定第二混响效果参数。
其中,上述位置关系可包括单声道声源与目标对象之间的距离以及方位关系,方位关系可包括目标道具在目标道具的前方、后方、左边、右边,左前方、右前方、左后方、右后方、上方、下方等等,此处不作限制。
本申请实施例中,考虑到针对每一种物理环境下,若单声道声源与目标对象之间的位置关系不同,从目标对象的角度听到声源发出的声音的效果也不一样,因此,针对上述每一种物理环境,可设定该物理环境对应的目标映射关系,该目标映射关系为位置关系与混响效果参数之间的映射关系,如此,电子设备可确定物理环境对应的目标映射关系,在获取到单声道声源与目标对象之间的位置关系后,根据该目标映射关系确定与位置关系对应的混响效果参数。
其中,获取所述单声道声源与目标对象之间的位置关系,可分别获取单声道声源的第一位置和目标对象的第二位置,然后根据第一位置和第二位置确定单声道声源与目标对象之间的位置关系。
其中,在现实场景中,目标对象可为用户,可预先创建三维坐标,然后获取单声道声源的第一坐标和目标对象的第二坐标,具体地,电子设备可以电子设备自身为参照物,获取单声道声源与电子设备之间的第一位置关系,以及目标对象与电子设备之间的第二位置关系,然后根据第一位置关系确定单声道声源的第一坐标,以及根据第二位置关系确定目标对象的第二坐标;在虚拟场景中,目标对象可为用户的游戏角色,可分别获取单声道声源在虚拟空间中的第一位置和目标对象在虚拟空间中的第二位置。
可选地,当目标对象处于游戏场景时,获取目标对象的第二位置,可包括如下步骤:
A1、获取所述游戏场景对应的地图;
A2、在所述地图中确定所述目标对象对应的坐标位置,得到所述第二位置。
其中,在目标对象处于游戏场景时,目标对象可视为游戏中的游戏角色,当然,具体实现中,游戏场景可对应一个三维地图,因此,电子设备可以获取游戏场景对应的地图,并在地图中确定目标对象对应的坐标位置,得到第二位置,如此,针对不同的游戏,可实时知晓角色位置,在本申请实施例中,针对角色具体位置对音频进行混响处理,让用户在游戏时,能够身临其境,提高游戏体验。
其中,若物理环境为地面环境,声音从声源所在的第一位置传播至目标对象所在的第二位置,在空气中经过目标距离会产生衰减,因此,可确定单声道数据在空气中传输目标距离的第一衰减曲线,然后确定在该第一衰减曲线下与方位关系对应的第一混响效果参数。
其中,若物理环境为水下环境,声音从声源所在的第一位置传播至目标对象所在的第二位置,在水中经过目标距离会产生衰减,因此,可确定单声道数据在水中传输目标距离的第二衰减曲线,然后确定在该第二衰减曲线下与方位关系对应的第二混响效果参数。
可选地,若物理环境为森林,考虑到树木会对声音进行反射,导致声音传播效果与在空旷的环境中不同,电子设备可确定预设范围内树木的分布密度,以及预设范围内的树木与声源、目标对象之间的目标位置关系,进而根据目标位置关系确定混响效果参数。
可选地,上述步骤102中,根据所述物理环境确定所述单声道数据的混响效果参数,具体可包括如下步骤:
24、获取所述物理环境下的天气信息;
25、所述天气信息确定所述单声道数据的第三混响效果参数。
其中,上述天气信息可包括以下任意一种:晴天、雨天、雪天、阴天等等,天气信息还可包括环境温度、环境湿度等等,当然,天气信息还可以包括其他形式的信息,此处不作限制。
本申请实施例中,不同的天气下,环境中的环境温度、环境湿度不同,因此,可预先设定不同环境温度以及环境湿度下的多个混响效果参数,然后设定天气与混响效果参数之间的对应关系,然后在获取天气信息后,根据该对应关系确定天气信息对应的第三混响效果参数。
可选地,声音从第一位置传输到第二位置对应的声音效果不同,因此,可预先设定不同天气对应的混响效果参数,获取物理环境下的天气信息还可包括获取当前的环境温度、环境湿度,然后根据环境温度或环境湿度确定声源产生的单声道数据从第一位置传输到第二位置对应的混响效果参数,本申请实施例中,还可同时根据环境温度和环境湿度确定声源产生的单声道数据从第一位置传输到第二位置对应的混响效果参数,如此,可在获取物理环境下的天气信息后,确定声源产生的单声道数据从第一位置传输到第二位置对应的混响效果参数。
可选地,本申请实施例中,若物理环境为室内环境,则可确定物理环境的空间大小,例如体积大小或面积大小,并预先设定空间大小与混响效果参数之间的对应关系,然后确定当前空间大小下,声源产生的单声道数据从第一位置传输到第二位置对应的混响效果参数。
103、根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据。
本申请实施例中,在确定物理环境对应的混响效果参数后,可根据该混响效果参数对单声道数据进行混响处理,得到混响音频数据。
可选地,上述步骤103中,根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据,可包括如下步骤:
31、将不同传播方向的多个单声道数据进行合成,得到目标单声道数据;
32、根据所述混响效果参数对所述目标单声道数据进行处理,得到所述混响音频数据。
请参阅图1C,图1C为本申请实施例提供的一种对单声道数据进行混响效果处理的演示示意图,如图1C所示,由于在现实环境中,声音是沿着各个方向进行传播,在传播过程中,也会出现反射、折射、干涉、衍射等现象,因此,可先将多个传播方向的多个单声道数据进行合成,得到目标单声道数据,然后对目标单声道数据进行混响效果处理。
可选地,根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据,可包括如下步骤:
33、根据所述混响效果参数对不同传播方向的多个单声道数据分别进行处理,得到多个目标混响数据,每一单声道数据对应一个目标混响数据;
34、将所述多个目标混响数据进行合成,得到所述混响音频数据。
请参阅图1D,图1D为本申请实施例提供的一种对单声道数据进行混响效果处理的演示示意图,如图1D所示,可分别先对不同传播方向对应的多个单声道数据分别进行混响效果处理,得到各个传播方向上的多个目标混响数据,然后将多个目标混响数据进行合成,得到混响音频数据。
可选地,本申请实施例中,还可以包括如下步骤:
B1、根据所述位置关系将不同传播方向的多个单声道数据分别进行处理,得到多个双声道数据;
B2、将所述多个双声道数据与所述混响音频数据进行合成,得到目标双声道混响数据。
本申请实施例中,考虑到目标对象的左耳和右耳与声源听到声源产生的声音效果会存在时间差以及相位差,还可对单声道数据进行处理,得到双声道数据,使用户听到的声音效果更为立体。
其中,根据位置关系将不同传播方向的多个单声道数据分别进行处理,得到多个双声道数据,针对多个传播方向上的多个单声道数据中每一单声道数据,可根据第一位置到第二位置的距离将每一单声道数据进行处理,得到双声道数据。
可以看出,本申请实施例中所描述的音效处理方法,通过确定单声道声源所处的物理环境,以及获取单声道声源产生的单声道数据,根据所述物理环境确定所述单声道数据的混响效果参数,根据混响效果参数对单声道数据进行处理,得到混响音频数据,如此,可根据用户周围物理环境的不同,设定对应的混响效果参数,产生不同的混响效果。
与上述一致地,图2A是本申请实施例公开的一种音效处理方法的流程示意图。应用于如图1A所示的电子设备,该音效处理方法包括如下步骤:
201、确定单声道声源所处的物理环境,以及所述单声道声源产生的单声道数据。
202、根据所述物理环境确定所述单声道数据的混响效果参数。
203、根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据。
204、根据所述位置关系将不同传播方向的多个单声道数据分别进行处理,得到多个双声道数据。
205、将所述多个双声道数据与所述混响音频数据进行合成,得到目标双声道混响数据。
其中,上述步骤201-步骤205的具体描述可以参照图1B所描述的音效处理方法的相应描述,在此不再赘述。
请参阅图2B,图2B为本申请实施例提供的一种根据单声道数据生成目标双声道混响数据的演示示意图,如图2B所示,可将多个传播方向上的多个单声道数据分别进行处理,得到多个双声道数据,以及,将多个单声道数据进行合成,得到目标单声道数据,然后根据混响效果参数对目标单声道数据进行混响效果处理,得到混响音频数据,最后,将多个双声道数据与混响音频数据进行合成,得到目标双声道混响数据。
请参阅图2C,图2C为本申请实施例提供的另一种根据单声道数据生成目标双声道混响数据的演示示意图,如图2C所示,可将多个传播方向上的多个单声道数据分别进行处理,得到多个双声道数据,以及,根据混响效果参数对不同传播方向的多个单声道数据分别进行处理,得到多个目标混响数据,然后,将多个目标混响数据进行合成,得到混响音频数据,最后,将多个双声道数据与混响音频数据进行合成,得到目标双声道混响数据。
可以看出,本申请实施例中所描述的音效处理方法,通过确定单声道声源所处的物理环境,以及获取单声道声源产生的单声道数据,根据物理环境确定单声道数据的混响效果参数,根据混响效果参数对单声道数据进行处理,得到混响音频数据,根据位置关系将不同传播方向的多个单声道数据分别进行处理,得到多个双声道数据,将多个双声道数据与混响音频数据进行合成,得到目标双声道混响数据,如此,可根据用户周围物理环境的不同,设定对应的混响效果参数,并依据声源产生的单声道数据生成产生双声道数据,从而使用户听到更加逼真、立体的混响效果。
与上述一致地,图3是本申请实施例公开的一种音效处理方法的流程示意图。应用于图1A所示的电子设备,该音效处理方法包括如下步骤:
301、确定单声道声源所处的物理环境,以及获取所述单声道声源产生的单声道数据。
302、获取所述物理环境下的天气信息。
303、根据所述天气信息确定所述单声道数据的混响效果参数。
304、根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据;
305、根据所述位置关系将不同传播方向的多个单声道数据分别进行处理,得到多个双声道数据。
306、将所述多个双声道数据与所述混响音频数据进行合成,得到目标双声道混响数据。
其中,上述步骤301-步骤306的具体描述可以参照图1B所描述的音效处理方法的相应描述,在此不再赘述。
可以看出,本申请实施例中所描述的音效处理方法,通过确定单声道声源所处的物理环境,以及获取单声道声源产生的单声道数据,根据物理环境确定单声道数据的混响效果参数,获取物理环境下的天气信息,根据天气信息确定单声道数据的混响效果参数,根据混响效果参数对单声道数据进行处理,得到混响音频数据,根据位置关系将不同传播方向的多个单声道数据分别进行处理,得到多个双声道数据,将多个双声道数据与混响音频数据进行合成,得到目标双声道混响数据,如此,可根据用户周围物理环境的不同,设定对应的混响效果参数,并依据声源产生的单声道数据生成产生双声道数据,从而使用户听到更加逼真、立体的混响效果。
请参阅图4,图4是本申请实施例公开的另一种电子设备的结构示意图,如图所示,该电子设备包括处理器、存储器、通信接口,以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令:
确定单声道声源所处的物理环境,以及获取所述单声道声源产生的单声道数据;
根据所述物理环境确定所述单声道数据的混响效果参数;
根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据。
在一个可能的示例中,在所述基于所述位置关系确定所述物理环境对应的混响效果参数方面,上述程序包括用于执行以下步骤的指令:
获取所述单声道声源与目标对象之间的位置关系,所述位置关系包括所述单声道声源与目标对象之间的方位关系和距离目标;
若所述物理环境为地面环境,确定所述单声道数据在空气中传输所述目标距离的第一衰减曲线,根据所述第一衰减曲线和所述方位关系确定第一混响效果参数;
若所述物理环境为水下环境,确定所述单声道数据在水中传输所述目标距离的第二衰减曲线,根据所述第二衰减曲线和所述方位关系确定第二混响效果参数。
在一个可能的示例中,在所述基于所述位置关系确定所述物理环境对应的混响效果参数方面,上述程序包括用于执行以下步骤的指令:
获取所述物理环境下的天气信息;
根据所述天气信息确定所述单声道数据的第三混响效果参数。
在一个可能的示例中,在所述根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据方面,上述程序包括用于执行以下步骤的指令:
将不同传播方向的多个单声道数据进行合成,得到目标单声道数据;
根据所述混响效果参数对所述目标单声道数据进行处理,得到所述混响音频数据。
在一个可能的示例中,在所述根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据方面,上述程序包括用于执行以下步骤的指令:
根据所述混响效果参数对不同传播方向的多个单声道数据分别进行处理,得到多个目标混响数据,每一单声道数据对应一个目标混响数据;
将所述多个目标混响数据进行合成,得到所述混响音频数据。
在一个可能的示例中,上述程序还包括用于执行以下步骤的指令:
根据所述位置关系将不同传播方向的多个单声道数据分别进行处理,得到多个双声道数据;
将所述多个双声道数据与所述混响音频数据进行合成,得到目标双声道混响数据。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
请参阅图5,图5是本申请实施例公开的一种音效处理装置的结构示意图,应用于图1A所示的电子设备,所述音效处理装置包括获取单元501、确定单元502和处理单元503,其中,
所述获取单元501,用于确定单声道声源所处的物理环境,以及获取所述单声道声源产生的单声道数据;
所述确定单元502,用于根据所述物理环境确定所述单声道数据的混响效果参数;
所述处理单元503,用于根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据。
在一个可能的示例中,所述确定单元502具体用于:
获取所述单声道声源与目标对象之间的位置关系,所述位置关系包括所述单声道声源与目标对象之间的方位关系和距离目标;
若所述物理环境为地面环境,确定所述单声道数据在空气中传输所述目标距离的第一衰减曲线,根据所述第一衰减曲线和所述方位关系确定第一混响效果参数;
若所述物理环境为水下环境,确定所述单声道数据在水中传输所述目标距离的第二衰减曲线,根据所述第二衰减曲线和所述方位关系确定第二混响效果参数。
在一个可能的实施例中,所述确定单元502具体用于:
获取所述物理环境下的天气信息;
根据所述天气信息确定所述单声道数据的第三混响效果参数。
在一个可能的示例中,所述处理单元503具体用于:
将不同传播方向的多个单声道数据进行合成,得到目标单声道数据;
根据所述混响效果参数对所述目标单声道数据进行处理,得到所述混响音频数据。
在一个可能的示例中,所述处理单元503具体用于:
根据所述混响效果参数对不同传播方向的多个单声道数据分别进行处理,得到多个目标混响数据,每一单声道数据对应一个目标混响数据;
将所述多个目标混响数据进行合成,得到所述混响音频数据。
在一个可能的示例中,在一个可能的示例中,所述处理单元503还用于:
根据所述位置关系将不同传播方向的多个单声道数据分别进行处理,得到多个双声道数据;
将所述多个双声道数据与所述混响音频数据进行合成,得到目标双声道混响数据。
可以看出,本申请实施例中所描述的音效处理装置,通过确定单声道声源所处的物理环境,以及获取单声道声源产生的单声道数据,根据所述天气信息确定所述单声道数据的混响效果参数,根据混响效果参数对单声道数据进行处理,得到混响音频数据,如此,可根据用户周围物理环境的不同,设定对应的混响效果参数,产生不同的混响效果。
需要注意的是,本申请实施例所描述的电子设备是以功能单元的形式呈现。这里所使用的术语“单元”应当理解为尽可能最宽的含义,用于实现各个“单元”所描述功能的对象例如可以是集成电路ASIC,单个电路,用于执行一个或多个软件或固件程序的处理器(共享的、专用的或芯片组)和存储器,组合逻辑电路,和/或提供实现上述功能的其他合适的组件。
其中,获取单元501、确定单元502和处理单元503可以是控制电路或处理器。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种音效处理方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种音效处理方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (8)
1.一种音效处理方法,其特征在于,所述方法包括:
电子设备确定单声道声源所处的物理环境,以及获取所述单声道声源产生的单声道数据,其中,所述物理环境为虚拟场景中的物理环境,所述单声道声源为所述虚拟场景中的发声体,所述发声体包括移动声源,且在所述声源发出声音时获取声源产生的单声道数据,确定所述物理环境包括:所述电子设备以自身为参照物确定所述电子设备、所述单声道声源以及目标对象三者之间的位置关系,其中,所述目标对象为游戏角色,在所述虚拟场景中分别获取单声道声源在虚拟场景中的第一位置和目标对象在虚拟场景中的第二位置,所述电子设备获取所述单声道声源与电子设备之间的第一位置关系,以及获取所述目标对象与所述电子设备之间的第二位置关系,然后根据第一位置关系与所述第二位置关系确定所述单声道声源与目标对象之间的位置关系;
根据所述物理环境确定所述单声道数据的混响效果参数;
所述根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据,包括:将多个传播方向的多个单声道数据进行合成,得到目标单声道数据,并根据所述混响效果参数对所述目标单声道数据进行处理,得到所述混响音频数据;
根据所述目标对象与所述单声道声源的位置关系,以及所述目标对象的左耳和右耳听到声源产生的声音效果存在的时间差以及相位差,将不同传播方向的多个单声道数据分别进行处理得到多个双声道数据,并将所述多个双声道数据与所述混响音频数据进行合成获得目标双声道混响数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述物理环境确定所述单声道数据的混响效果参数,包括:
获取所述单声道声源与目标对象之间的位置关系,所述位置关系包括所述单声道声源与目标对象之间的方位关系和目标距离;若所述物理环境为地面环境,确定所述单声道数据在空气中传输所述目标距离的第一衰减曲线,根据所述第一衰减曲线和所述方位关系确定第一混响效果参数;
若所述物理环境为水下环境,确定所述单声道数据在水中传输所述目标距离的第二衰减曲线,根据所述第二衰减曲线和所述方位关系确定第二混响效果参数。
3.根据权利要求1所述的方法,其特征在于,所述根据所述物理环境确定所述单声道数据的混响效果参数,进一步包括:
获取所述物理环境下的天气信息;
根据所述天气信息确定所述单声道数据的第三混响效果参数。
4.根据权利要求1至3任一项所述的方法,其特征在于,替换性地,所述根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据,包括:
根据所述混响效果参数对不同传播方向的多个单声道数据分别进行处理,得到多个目标混响数据,每一单声道数据对应一个目标混响数据;
将所述多个目标混响数据进行合成,得到所述混响音频数据。
5.一种音效处理装置,其特征在于,所述音效处理装置包括:
获取单元,用于确定单声道声源所处的物理环境,以及获取所述单声道声源产生的单声道数据,其中,所述物理环境为虚拟场景中的物理环境,所述单声道声源为所述虚拟场景中的发声体,所述发声体包括移动声源,且在所述声源发出声音时获取声源产生的单声道数据,确定所述物理环境包括:电子设备以自身为参照物确定所述电子设备、所述单声道声源以及目标对象三者之间的位置关系,其中,所述目标对象为游戏角色,在所述虚拟场景中分别获取单声道声源在虚拟场景中的第一位置和目标对象在虚拟场景中的第二位置,所述电子设备获取所述单声道声源与电子设备之间的第一位置关系,以及获取所述目标对象与所述电子设备之间的第二位置关系,然后根据第一位置关系与所述第二位置关系确定所述单声道声源与目标对象之间的位置关系;
确定单元,用于根据所述物理环境确定所述单声道数据的混响效果参数;
处理单元,用于所述根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据,包括:将多个传播方向的多个单声道数据进行合成,得到目标单声道数据,并根据所述混响效果参数对所述目标单声道数据进行处理,得到所述混响音频数据;
根据所述目标对象与所述单声道声源的位置关系,以及所述目标对象的左耳和右耳听到声源产生的声音效果存在的时间差以及相位差,将不同传播方向的多个单声道数据分别进行处理得到多个双声道数据,并将所述多个双声道数据与所述混响音频数据进行合成获得目标双声道混响数据。
6.根据权利要求5所述的音效处理装置,其特征在于,所述确定单元具体用于:
获取所述单声道声源与目标对象之间的位置关系,所述位置关系包括所述单声道声源与目标对象之间的方位关系和目标距离;
若所述物理环境为地面环境,确定所述单声道数据在空气中传输所述目标距离的第一衰减曲线,根据所述第一衰减曲线和所述方位关系确定第一混响效果参数;
若所述物理环境为水下环境,确定所述单声道数据在水中传输所述目标距离的第二衰减曲线,根据所述第二衰减曲线和所述方位关系确定第二混响效果参数。
7.一种电子设备,其特征在于,包括处理器、存储器以及通信接口,所述存储器存储有一个或多个程序,所述一个或多个程序被配置由所述处理器执行,所述程序包括用于执行如权利要求1-4任一项所述的方法中的步骤的指令。
8.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811114982.1A CN109104687B (zh) | 2018-09-25 | 2018-09-25 | 音效处理方法及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811114982.1A CN109104687B (zh) | 2018-09-25 | 2018-09-25 | 音效处理方法及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109104687A CN109104687A (zh) | 2018-12-28 |
CN109104687B true CN109104687B (zh) | 2021-04-13 |
Family
ID=64867416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811114982.1A Expired - Fee Related CN109104687B (zh) | 2018-09-25 | 2018-09-25 | 音效处理方法及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109104687B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113115175B (zh) * | 2018-09-25 | 2022-05-10 | Oppo广东移动通信有限公司 | 3d音效处理方法及相关产品 |
CN112927701B (zh) * | 2021-02-05 | 2024-07-16 | 商汤集团有限公司 | 样本生成、神经网络生成、音频信号生成方法及装置 |
CN114040318A (zh) * | 2021-11-02 | 2022-02-11 | 海信视像科技股份有限公司 | 一种空间音频的播放方法及设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104703111B (zh) * | 2013-12-09 | 2016-09-28 | 中国科学院声学研究所 | 一种房间混响合成方法 |
CN105792090B (zh) * | 2016-04-27 | 2018-06-26 | 华为技术有限公司 | 一种增加混响的方法与装置 |
CN107231599A (zh) * | 2017-06-08 | 2017-10-03 | 北京奇艺世纪科技有限公司 | 一种3d声场构建方法和vr装置 |
CN107281753B (zh) * | 2017-06-21 | 2020-10-23 | 网易(杭州)网络有限公司 | 场景音效混响控制方法及装置、存储介质及电子设备 |
CN107193386B (zh) * | 2017-06-29 | 2020-10-27 | 联想(北京)有限公司 | 音频信号处理方法及电子设备 |
CN107749925B (zh) * | 2017-10-31 | 2020-12-04 | 北京小米移动软件有限公司 | 音频播放方法及装置 |
CN108055403A (zh) * | 2017-12-21 | 2018-05-18 | 努比亚技术有限公司 | 一种音效调整方法、终端及计算机可读存储介质 |
CN108379842B (zh) * | 2018-02-08 | 2021-09-03 | 网易(杭州)网络有限公司 | 游戏音频处理方法、装置、电子设备及存储介质 |
CN108465241B (zh) * | 2018-02-12 | 2021-05-04 | 网易(杭州)网络有限公司 | 游戏声音混响的处理方法、装置、存储介质及电子设备 |
-
2018
- 2018-09-25 CN CN201811114982.1A patent/CN109104687B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN109104687A (zh) | 2018-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109327795B (zh) | 音效处理方法及相关产品 | |
US10993063B2 (en) | Method for processing 3D audio effect and related products | |
CN109246580B (zh) | 3d音效处理方法及相关产品 | |
CN109104687B (zh) | 音效处理方法及相关产品 | |
CN109254752B (zh) | 3d音效处理方法及相关产品 | |
CN111311757B (zh) | 一种场景合成方法、装置、存储介质及移动终端 | |
CN109597481A (zh) | Ar虚拟人物绘制方法、装置、移动终端及存储介质 | |
CN109121069B (zh) | 3d音效处理方法及相关产品 | |
CN111757241B (zh) | 音效控制方法、装置、音箱阵列及可穿戴设备 | |
CN108924705B (zh) | 3d音效处理方法及相关产品 | |
CN106911956B (zh) | 一种音频数据播放方法、装置及移动终端 | |
CN110401898B (zh) | 输出音频数据的方法、装置、设备和存储介质 | |
CN112882568A (zh) | 音频播放方法及装置、电子设备和存储介质 | |
CN109327766B (zh) | 3d音效处理方法及相关产品 | |
CN112133319B (zh) | 音频生成的方法、装置、设备及存储介质 | |
CN109327794B (zh) | 3d音效处理方法及相关产品 | |
CN112927718B (zh) | 感知周围环境的方法、装置、终端和存储介质 | |
CN109286841B (zh) | 电影音效处理方法及相关产品 | |
CN113099373B (zh) | 声场宽度扩展的方法、装置、终端及存储介质 | |
CN110428802B (zh) | 声音混响方法、装置、计算机设备及计算机存储介质 | |
CN109243413B (zh) | 3d音效处理方法及相关产品 | |
CN114630240B (zh) | 方向滤波器的生成方法、音频处理方法、装置及存储介质 | |
WO2023197646A1 (zh) | 一种音频信号处理方法及电子设备 | |
CN117676002A (zh) | 音频处理方法及电子设备 | |
CN118301534A (zh) | 音频播放方法、装置、设备、存储介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210413 |