CN109327795B - 音效处理方法及相关产品 - Google Patents
音效处理方法及相关产品 Download PDFInfo
- Publication number
- CN109327795B CN109327795B CN201811347942.1A CN201811347942A CN109327795B CN 109327795 B CN109327795 B CN 109327795B CN 201811347942 A CN201811347942 A CN 201811347942A CN 109327795 B CN109327795 B CN 109327795B
- Authority
- CN
- China
- Prior art keywords
- target
- data
- reverberation
- image information
- channel data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
Abstract
本申请实施例公开了一种音效处理方法及相关产品,该方法包括:通过获取声源产生的单声道数据,获取目标图像信息,按照预设的图像信息与混响效果参数之间的映射关系,确定与所述目标图像信息对应的目标混响效果参数,根据目标混响效果参数对单声道数据进行处理,得到混响音频数据,如此,可根据用户看到的图像信息的不同,设定对应的混响效果参数,产生不同的混响效果。
Description
技术领域
本申请涉及音频技术领域,具体涉及一种音效处理方法及相关产品。
背景技术
随着电子设备(如手机、平板电脑等)的大量普及应用,电子设备能够支持的应用越来越多,功能越来越强大,电子设备向着多样化、个性化的方向发展,成为用户生活中不可缺少的电子用品,现有技术中电子设备获取的音频数据往往是2D音频数据,因此,无法给用户带来声音的真实感,降低了用户体验。
发明内容
本申请实施例提供了一种音效处理方法及相关产品,能够根据图像信息对音频进行混响效果处理,实现混响效果,提升用户体验。
第一方面,本申请实施例提供一种音效处理方法,应用于电子设备,所述方法包括:
在所述电子设备处于视频场景时,获取声源产生的单声道数据;
获取目标图像信息;
按照预设的图像信息与混响效果参数之间的映射关系,确定与所述目标图像信息对应的目标混响效果参数,其中,所述目标图像信息包括以下至少一种:图像内容元素、图像色调、图像对应的场景类型;
根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据。
第二方面,本申请实施例提供了一种音效处理装置,应用于电子设备,所述音效处理装置包括:
获取单元,用于在所述电子设备处于视频场景时,获取声源产生的单声道数据;
以及,用于获取目标图像信息;
确定单元,用于按照预设的图像信息与混响效果参数之间的映射关系,确定与所述目标图像信息对应的目标混响效果参数,其中,所述目标图像信息包括以下至少一种:图像内容元素、图像色调、图像对应的场景类型;
处理单元,用于根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口,以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,本申请实施例中所描述的音效处理方法及相关产品,通过在所述电子设备处于视频场景时,获取声源产生的单声道数据,获取目标图像信息,按照预设的图像信息与混响效果参数之间的映射关系,确定与目标图像信息对应的目标混响效果参数,根据目标混响效果参数对单声道数据进行处理,得到混响音频数据,如此,可根据用户看到的图像信息的不同,设定对应的混响效果参数,产生不同的混响效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备的结构示意图;
图1B是本申请实施例公开的一种音效处理方法的流程示意图;
图1C是本申请实施例提供的一种对单声道数据进行混响效果处理的演示示意图;
图1D是本申请实施例提供的另一种对单声道数据进行混响效果处理的演示示意图;
图2A是本申请实施例公开的另一种音效处理方法的流程示意图;
图2B是本申请实施例提供的一种根据单声道数据生成目标双声道混响数据的演示示意图;
图2C是本申请实施例提供的一种根据单声道数据生成目标双声道混响数据的演示示意图;
图3是本申请实施例公开的另一种音效处理方法的流程示意图;
图4是本申请实施例公开的另一种电子设备的结构示意图;
图5是本申请实施例公开的一种音效处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(如智能手机)、车载设备、虚拟现实(virtual reality,VR)/增强现实(augmentedreality,AR)设备,可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobile station,MS),终端设备(terminal device)、研发/测试平台、服务器等等。为方便描述,上面提到的设备统称为电子设备。
具体实现中,本申请实施例中,电子设备可对音频数据(声源发出的声音)使用HRTF(Head Related Transfer Function,头相关变换函数)滤波器进行滤波,得到虚拟环绕声,也称之为环绕声,或者全景声,实现一种三维立体音效。HRTF在时间域所对应的名称是HRIR(Head Related Impulse Response)。或者将音频数据与双耳房间脉冲响应(Binaural Room Impulse Response,BRIR)做卷积,双耳房间脉冲响应由三个部分组成:直达声,早期反射声和混响。
请参阅图1A,图1A是本申请实施例提供的一种电子设备的结构示意图,电子设备包括控制电路和输入-输出电路,输入输出电路与控制电路连接。
其中,控制电路可以包括存储和处理电路。该存储和处理电路中的存储电路可以是存储器,例如硬盘驱动存储器,非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等),易失性存储器(例如静态或动态随机存取存储器等)等,本申请实施例不作限制。存储和处理电路中的处理电路可以用于控制电子设备的运转。该处理电路可以基于一个或多个微处理器,微控制器,数字信号处理器,基带处理器,功率管理单元,音频编解码器芯片,专用集成电路,显示驱动器集成电路等来实现。
存储和处理电路可用于运行电子设备中的软件,例如播放来电提示响铃应用程序、播放短消息提示响铃应用程序、播放闹钟提示响铃应用程序、播放媒体文件应用程序、互联网协议语音(voice over internet protocol,VOIP)电话呼叫应用程序、操作系统功能等。这些软件可以用于执行一些控制操作,例如,播放来电提示响铃、播放短消息提示响铃、播放闹钟提示响铃、播放媒体文件、进行语音电话呼叫以及电子设备中的其它功能等,本申请实施例不作限制。
其中,输入-输出电路可用于使电子设备实现数据的输入和输出,即允许电子设备从外部设备接收数据和允许电子设备将数据从电子设备输出至外部设备。
输入-输出电路可以进一步包括传感器。传感器可以包括环境光传感器,基于光和电容的红外接近传感器,超声波传感器,触摸传感器(例如,基于光触摸传感器和/或电容式触摸传感器,其中,触摸传感器可以是触控显示屏的一部分,也可以作为一个触摸传感器结构独立使用),加速度传感器,重力传感器,和其它传感器等。输入-输出电路还可以进一步包括音频组件,音频组件可以用于为电子设备提供音频输入和输出功能。音频组件还可以包括音调发生器以及其它用于产生和检测声音的组件。
输入-输出电路还可以包括一个或多个显示屏。显示屏可以包括液晶显示屏,有机发光二极管显示屏,电子墨水显示屏,等离子显示屏,使用其它显示技术的显示屏中一种或者几种的组合。显示屏可以包括触摸传感器阵列(即,显示屏可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器,或者可以是使用其它触摸技术形成的触摸传感器,例如音波触控,压敏触摸,电阻触摸,光学触摸等,本申请实施例不作限制。
输入-输出电路还可以进一步包括通信电路可以用于为电子设备提供与外部设备通信的能力。通信电路可以包括模拟和数字输入-输出接口电路,和基于射频信号和/或光信号的无线通信电路。通信电路中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说,通信电路中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(near field communication,NFC)的电路。例如,通信电路可以包括近场通信天线和近场通信收发器。通信电路还可以包括蜂窝电话收发器和天线,无线局域网收发器电路和天线等。
输入-输出电路还可以进一步包括其它输入-输出单元。输入-输出单元可以包括按钮,操纵杆,点击轮,滚动轮,触摸板,小键盘,键盘,照相机,发光二极管和其它状态指示器等。
其中,电子设备还可以进一步包括电池(未图示),电池用于给电子设备提供电能。
下面对本申请实施例进行详细介绍。
请参阅图1B,图1B是本申请实施例公开的一种音效处理方法的流程示意图,应用于上述图1A所描述的电子设备,该音效处理方法包括如下步骤:
101、在所述电子设备处于视频场景时,获取声源产生的单声道数据,以及,获取目标图像信息。
本申请实施例可应用于视频场景,其中视频场景可包括视频直播场景,或者视频聊天场景,其中,声源可以为视频直播场景或者视频聊天场景中的发声体,声源可以为固定声源,还可包括移动声源,例如用户。
可选地,上述步骤101中,获取目标图像信息,可包括如下步骤:
11、通过所述电子设备的摄像头针对目标壁纸进行拍摄,得到第一目标图像,所述目标壁纸为置于所述电子设备附近的壁纸;
12、对所述第一目标图像进行图像解析,得到第一目标图像信息。
本申请实施例中,在视频直播场景或者视频聊天场景中,用户可通过电子设备的摄像头拍摄视频,在拍摄视频的过程中,可针对电子设备附近的目标壁纸拍摄第一目标图像,例如,在用户进行直播时,可在室内布置不同风格的壁纸,使观看直播的人感受不同风格的画面,从而提高直播画面的丰富性,使直播画面更加美观和逼真,因此,可通过摄像头针对声源所处室内环境的目标壁纸进行拍摄,得到第一目标图像。
其中,上述目标图像信息可包括以下至少一种:图像内容元素、图像色调、图像对应的场景类型,图像内容元素是指目标图像中包含的图像内容对应的元素,例如,图像内容元素可包括山、草、花、水、树、云等不同的风景内容元素,具体地,山可包括山峰、山谷、山腰、雪山等图像内容元素,草、花、水、树、云也可包括不同类型的图像内容元素,例如,草可包括草原、草坪、青草、枯草等,花可包括各种颜色、形状的花,水可包括海洋、河流、池塘、湖泊的水,树可包括不同形态、不同科目的树,例如松树、柏树,云可包括白云、乌云等,考虑不同的壁纸对应的图像内容不同,因此,可对第一目标图像进行图像解析,从而确定壁纸中包含的至少一种图像内容元素,图像色调是指目标图像中色彩的总体倾向,例如,色调可分为暖色和冷色,暖色可包括红色、橙色、黄色,冷色可包括绿色、蓝色、黑色,图像对应的场景类型可包括以下至少一种:雪天、雨天、街道、海边,白天、夜晚等等。
可选地,上述步骤101中,获取目标图像信息,可包括如下步骤:
13、获取目标显示屏正在播放的第二目标图像;
14、对所述第二目标图像进行图像解析,得到第二目标图像信息。
其中,上述目标显示屏可以是电子设备的显示屏,还可以是与电子设备连接的其他终端设备的显示屏,其他终端设备例如可以是显示器、投影仪等等,在视频直播场景或者视频聊天场景中,可通过目标显示屏展示第二目标图像,若目标显示屏为电子设备的显示屏,可通过电子设备控制目标显示屏的显示第二目标图像;若目标显示屏为与电子设备连接的其他终端设备的显示屏,目标显示屏对应的终端设备可将当前展示的第二目标图像发送至电子设备,从而,电子设备可获取目标显示屏展示的第二目标图像,进而,在拍摄视频的过程中,观看视频的观众可观看到目标显示屏上播放的第二目标图像,因此,可对第二目标图像进行图像解析,得到第二目标图像信息。
102、按照预设的图像信息与混响效果参数之间的映射关系,确定与所述目标图像信息对应的目标混响效果参数,其中,所述目标图像信息包括以下至少一种:图像内容元素、图像色调、图像对应的场景类型。
其中,上述混响效果参数可包括以下至少一种:混响强度、混响时间,衰减曲线等等,此处不再赘述。
本申请实施例中,针对不同的目标图像信息,可将声源产生的单声道数据处理成目标图像信息对应的混响效果,从而使用户在观看视频或视频直播的过程中,能够更加逼真地感受到当前室内环境的壁纸或者显示屏显示的图像内容对应的声音效果,针对不同目标图像中的目标图像信息,可确定不同的目标混响效果参数,例如,若室内环境的壁纸对应的场景为雨天,包含的图像内容元素为洞穴,且色调较为昏暗,可确定针对该壁纸确定第一目标混响效果参数,若室内环境的壁纸对应的场景为晴天,包含的图像内容元素为洞穴,且色调较为明亮,可确定针对该壁纸确定第二目标混响效果参数。
其中,可预先获取多个不同图像信息下的多个混响效果参数,并设定图像信息与混响效果参数之间的映射关系,从而,可根据该映射关系确定目标图像信息对应的目标混响效果参数。
103、根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据。
本申请实施例中,在根据目标图像信息确定目标混响效果参数后,可根据该混响效果参数对单声道数据进行混响处理,得到混响音频数据。
可选地,上述步骤103中,根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据,可包括如下步骤:
31、通过预设算法将所述单声道数据模拟成多个方向传播的单声道数据;
32、将多个方向传播的单声道数据进行合成,得到目标单声道数据;
33、根据所述目标混响效果参数对所述目标单声道数据进行处理,得到所述混响音频数据。
其中,上述预设算法可包括头部反应传送函数(Head Related TransferFunction,HRTF)算法,单声道数据为电子设备获取的声源产生的未经处理的数据,多个方向传播的单声道数据,为将未经处理的单声道数据进行模拟,得到的多个方向传播的单声道数据,目标单声道数据为将多个方向传播的单声道数据进行合成以后,具有立体声音效果的单声道数据,请参阅图1C,图1C为本申请实施例提供的一种对单声道数据进行混响效果处理的演示示意图,如图1C所示,考虑到声音是沿着各个方向进行传播,在传播过程中,也会出现反射、折射、干涉、衍射等现象,因此,可将单声道数据模拟成多个方向传播的单声道数据,然后将多个方向传播的单声道数据进行合成,得到目标单声道数据,再根据目标混响效果参数对所述目标单声道数据进行处理,得到所述混响音频数据。
可选地,上述步骤103中,根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据,可包括如下步骤:
34、通过预设算法将所述单声道数据模拟成多个方向传播的单声道数据;
35、根据所述混响效果参数对多个方向传播的单声道数据中每一方向的单声道数据分别进行处理,得到多个目标混响数据,每一单声道数据对应一个目标混响数据;
36、将所述多个目标混响数据进行合成,得到所述混响音频数据。
请参阅图1D,图1D为本申请实施例提供的一种对单声道数据进行混响效果处理的演示示意图,如图1D所示,在将单声道数据模拟成多个方向传播的单声道数据后,可先将多个方向传播的单声道数据中每一方向的单声道数据分别进行混响效果处理,得到多个目标混响数据,然后将多个目标混响数据进行合成,得到混响音频数据。
可选地,本申请实施例中,还可以包括如下步骤:
A1、根据声源与用户之间的位置关系将不同传播方向的单声道数据分别进行处理,得到多个双声道数据;
A2、将所述多个双声道数据与所述混响音频数据进行合成,得到目标双声道混响数据。
本申请实施例中,考虑到目标对象的左耳和右耳与声源听到声源产生的声音效果会存在时间差以及相位差,还可对单声道数据进行处理,得到双声道数据,使用户听到的声音效果更为立体。
其中,上述位置关系是指声源与目标对象之间的位置关系,所述位置关系包括所述单声道声源与目标对象之间的方位关系和距离目标,目标对象可包括室内环境的壁纸,还可包括电子设备的显示屏,上述方位关系可包括目标道具在目标道具的前方、后方、左边、右边,左前方、右前方、左后方、右后方、上方、下方等等,此处不作限制。
本申请实施例中,可获取上述位置关系,具体地,可预先创建三维坐标,然后获取声源的第一坐标和目标对象的第二坐标,具体地,电子设备可以电子设备自身为参照物,获取单声道声源与电子设备之间的第一位置关系,以及目标对象与电子设备之间的第二位置关系,然后根据第一位置关系确定单声道声源的第一坐标,以及根据第二位置关系确定目标对象的第二坐标,根据位置关系将不同传播方向的多个单声道数据分别进行处理,得到多个双声道数据,针对多个传播方向上的多个单声道数据中每一单声道数据,可根据第一位置到第二位置的距离将每一单声道数据进行处理,得到双声道数据。
可以看出,本申请实施例中所描述的音效处理方法,通过在所述电子设备处于视频场景时,获取声源产生的单声道数据,获取目标图像信息,按照预设的图像信息与混响效果参数之间的映射关系,确定与目标图像信息对应的目标混响效果参数,根据目标混响效果参数对单声道数据进行处理,得到混响音频数据,如此,可根据用户看到的图像信息的不同,设定对应的混响效果参数,产生不同的混响效果。
与上述一致地,图2A是本申请实施例公开的一种音效处理方法的流程示意图。应用于如图1A所示的电子设备,该音效处理方法包括如下步骤:
201、在所述电子设备处于视频场景时,获取声源产生的单声道数据,以及,获取目标图像信息。
202、按照预设的图像信息与混响效果参数之间的映射关系,确定所述目标图像信息对应的目标混响效果参数,其中,所述目标图像信息包括以下至少一种:图像内容元素、图像色调、图像对应的场景类型。
203、根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据。
204、根据声源与用户之间的位置关系将不同传播方向的单声道数据分别进行处理,得到多个双声道数据。
205、将所述多个双声道数据与所述混响音频数据进行合成,得到目标双声道混响数据。
其中,上述步骤201-步骤205的具体描述可以参照图1B所描述的音效处理方法的相应描述,在此不再赘述。
请参阅图2B,图2B为本申请实施例提供的一种根据单声道数据生成目标双声道混响数据的演示示意图,如图2B所示,可通过预设算法将单声道数据模拟成多个方向传播的单声道数据,然后将多个传播方向上的多个单声道数据分别进行处理,得到多个双声道数据,以及,将多个单声道数据进行合成,得到目标单声道数据,然后根据混响效果参数对目标单声道数据进行混响效果处理,得到混响音频数据,最后,将多个双声道数据与混响音频数据进行合成,得到目标双声道混响数据。
请参阅图2C,图2C为本申请实施例提供的另一种根据单声道数据生成目标双声道混响数据的演示示意图,如图2C所示,可通过预设算法将单声道数据模拟成多个方向传播的单声道数据,然后将多个传播方向上的多个单声道数据分别进行处理,得到多个双声道数据,以及,根据混响效果参数对不同传播方向的多个单声道数据分别进行处理,得到多个目标混响数据,然后,将多个目标混响数据与多个双声道数据进行合成,得到目标双声道混响数据。
可以看出,本申请实施例中所描述的音效处理方法,通过在所述电子设备处于视频场景时,获取声源产生的单声道数据,获取目标图像信息,按照预设的图像信息与混响效果参数之间的映射关系,确定目标图像信息对应的目标混响效果参数,根据目标混响效果参数对单声道数据进行处理,得到混响音频数据,根据声源与用户之间的位置关系将不同传播方向的单声道数据分别进行处理,得到多个双声道数据,将多个双声道数据与混响音频数据进行合成,得到目标双声道混响数据,如此,可根据用户看到的图像信息的不同,设定对应的混响效果参数,产生不同的混响效果。
与上述一致地,图3是本申请实施例公开的一种音效处理方法的流程示意图。应用于图1A所示的电子设备,该音效处理方法包括如下步骤:
301、在所述电子设备处于视频场景时,获取声源产生的单声道数据,以及,获取目标图像信息。
302、按照预设的图像信息与混响效果参数之间的映射关系,确定所述目标图像信息对应的目标混响效果参数,其中,所述目标图像信息包括以下至少一种:图像内容元素、图像色调、图像对应的场景类型。
303、通过预设算法将所述单声道数据模拟成多个方向传播的单声道数据。
304、将多个方向传播的单声道数据进行合成,得到目标单声道数据。
305、根据所述目标混响效果参数对所述目标单声道数据进行处理,得到所述混响音频数据。
306、根据声源与用户之间的位置关系将不同传播方向的单声道数据分别进行处理,得到多个双声道数据。
307、将所述多个双声道数据与所述混响音频数据进行合成,得到目标双声道混响数据。
其中,上述步骤301-步骤307的具体描述可以参照图1B所描述的音效处理方法的相应描述,在此不再赘述。
可以看出,本申请实施例中所描述的音效处理方法,通过在所述电子设备处于视频场景时,获取声源产生的单声道数据,获取目标图像信息,按照预设的图像信息与混响效果参数之间的映射关系,确定目标图像信息对应的目标混响效果参数,通过预设算法将所述单声道数据模拟成多个方向传播的单声道数据,将多个方向传播的单声道数据进行合成,得到目标单声道数据,根据目标混响效果参数对目标单声道数据进行处理,得到混响音频数据,根据声源与用户之间的位置关系将不同传播方向的单声道数据分别进行处理,得到多个双声道数据,将多个双声道数据与混响音频数据进行合成,得到目标双声道混响数据,如此,可根据用户看到的图像信息的不同,设定对应的混响效果参数,产生不同的混响效果。
请参阅图4,图4是本申请实施例公开的另一种电子设备的结构示意图,如图所示,该电子设备包括处理器、存储器、通信接口,以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令:
在所述电子设备处于视频场景时,获取声源产生的单声道数据;
获取目标图像信息;
按照预设的图像信息与混响效果参数之间的映射关系,确定与所述目标图像信息对应的目标混响效果参数,其中,所述目标图像信息包括以下至少一种:图像内容元素、图像色调、图像对应的场景类型;
根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据
在一个可能的示例中,在所述获取目标图像信息方面,上述程序包括用于执行以下步骤的指令:
通过所述电子设备的摄像头针对目标壁纸进行拍摄,得到第一目标图像,所述目标壁纸为置于所述电子设备附近的壁纸;
对所述第一目标图像进行图像解析,得到第一目标图像信息。
在一个可能的示例中,在所述获取目标图像信息方面,上述程序包括用于执行以下步骤的指令:
获取目标显示屏正在播放的第二目标图像;
对所述第二目标图像进行图像解析,得到第二目标图像信息。
在一个可能的示例中,在所述根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据方面,上述程序包括用于执行以下步骤的指令:
通过预设算法将所述单声道数据模拟成多个方向传播的单声道数据;
将多个方向传播的单声道数据进行合成,得到目标单声道数据;
根据所述目标混响效果参数对所述目标单声道数据进行处理,得到所述混响音频数据。
在一个可能的示例中,在所述根据所述混响效果参数对所述单声道数据进行处理,得到混响音频数据,上述程序包括用于执行以下步骤的指令:
通过预设算法将所述单声道数据模拟成多个方向传播的单声道数据;
根据所述混响效果参数对多个方向传播的单声道数据中每一方向的单声道数据分别进行处理,得到多个目标混响数据,每一单声道数据对应一个目标混响数据;
将所述多个目标混响数据进行合成,得到所述混响音频数据。
在一个可能的示例中,上述程序还包括用于执行以下步骤的指令:
根据声源与用户之间的位置关系将不同传播方向的单声道数据分别进行处理,得到多个双声道数据;
将所述多个双声道数据与所述混响音频数据进行合成,得到目标双声道混响数据。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
请参阅图5,图5是本申请实施例公开的一种音效处理装置的结构示意图,应用于图1A所示的电子设备,所述音效处理装置包括获取单元501、确定单元502和处理单元503,其中,
所述获取单元501,用于在所述电子设备处于视频场景时,获取声源产生的单声道数据;
以及,用于获取目标图像信息;
所述确定单元502,用于按照预设的图像信息与混响效果参数之间的映射关系,确定与所述目标图像信息对应的目标混响效果参数,其中,所述目标图像信息包括以下至少一种:图像内容元素、图像色调、图像对应的场景类型;
所述处理单元503,用于根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据。
可选地,在所述获取目标图像信息方面,所述获取单元501具体用于:
通过所述电子设备的摄像头针对目标壁纸进行拍摄,得到第一目标图像,所述目标壁纸为置于所述电子设备附近的壁纸;
对所述第一目标图像进行图像解析,得到第一目标图像信息。
可选地,在所述获取目标图像信息方面,所述获取单元501具体用于:
获取目标显示屏正在播放的第二目标图像;
对所述第二目标图像进行图像解析,得到第二目标图像信息。
可选地,所述处理单元503具体用于:
通过预设算法将所述单声道数据模拟成多个方向传播的单声道数据;
将多个方向传播的单声道数据进行合成,得到目标单声道数据;
根据所述目标混响效果参数对所述目标单声道数据进行处理,得到所述混响音频数据。
可选地,所述处理单元503具体用于:
通过预设算法将所述单声道数据模拟成多个方向传播的单声道数据;
根据所述混响效果参数对多个方向传播的单声道数据中每一方向的单声道数据分别进行处理,得到多个目标混响数据,每一单声道数据对应一个目标混响数据;
将所述多个目标混响数据进行合成,得到所述混响音频数据。
可选地,所述处理单元503还用于:
根据声源与用户之间的位置关系将不同传播方向的单声道数据分别进行处理,得到多个双声道数据;
将所述多个双声道数据与所述混响音频数据进行合成,得到目标双声道混响数据。
可以看出,本申请实施例中所描述的音效处理装置,通过在所述电子设备处于视频场景时,获取声源产生的单声道数据,获取目标图像信息,按照预设的图像信息与混响效果参数之间的映射关系,确定与目标图像信息对应的目标混响效果参数,根据目标混响效果参数对单声道数据进行处理,得到混响音频数据,如此,可根据用户看到的图像信息的不同,设定对应的混响效果参数,产生不同的混响效果。
需要注意的是,本申请实施例所描述的电子设备是以功能单元的形式呈现。这里所使用的术语“单元”应当理解为尽可能最宽的含义,用于实现各个“单元”所描述功能的对象例如可以是集成电路ASIC,单个电路,用于执行一个或多个软件或固件程序的处理器(共享的、专用的或芯片组)和存储器,组合逻辑电路,和/或提供实现上述功能的其他合适的组件。
其中,获取单元501、确定单元502和处理单元503可以是控制电路或处理器。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种音效处理方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种音效处理方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、ROM、RAM、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (7)
1.一种音频处理方法,其特征在于,应用于电子设备,所述方法包括:
在所述电子设备处于视频场景时,获取声源产生的单声道数据,所述视频场景包括视频直播场景或者视频聊天场景;
获取目标图像信息,包括:通过所述电子设备的摄像头针对目标壁纸进行拍摄,得到目标图像,所述目标壁纸为置于所述电子设备附近的壁纸;对所述目标图像进行图像解析,得到目标图像信息;
按照预设的图像信息与混响效果参数之间的映射关系,确定与所述目标图像信息对应的目标混响效果参数,其中,所述目标图像信息包括图像内容元素和/或图像色调,所述图像色调是指目标图像中色彩的总体倾向;
根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据;
以所述电子设备自身为参照物,获取声源与所述电子设备之间的第一位置关系,以及目标对象与所述电子设备之间的第二位置关系;
根据所述第一位置关系确定所述声源的第一坐标,以及根据所述第二位置关系确定所述目标对象的第二坐标,根据所述第一坐标和所述第二坐标确定所述声源与所述目标对象之间的位置关系;
根据所述声源与所述目标对象之间的位置关系将不同传播方向的单声道数据分别进行处理,得到多个双声道数据,所述目标对象包括所述目标壁纸;
将所述多个双声道数据与所述混响音频数据进行合成,得到目标双声道混响数据。
2.根据权利要求1所述的方法,其特征在于,所述获取目标图像信息,包括:
获取目标显示屏正在播放的第二目标图像;
对所述第二目标图像进行图像解析,得到第二目标图像信息。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据,包括:
通过预设算法将所述单声道数据模拟成多个方向传播的单声道数据;
将多个方向传播的单声道数据进行合成,得到目标单声道数据;
根据所述目标混响效果参数对所述目标单声道数据进行处理,得到所述混响音频数据。
4.根据权利要求1或2所述的方法,其特征在于,所述根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据,包括:
通过预设算法将所述单声道数据模拟成多个方向传播的单声道数据;
根据所述目标混响效果参数对多个方向传播的单声道数据中每一方向的单声道数据分别进行处理,得到多个目标混响数据,每一单声道数据对应一个目标混响数据;
将所述多个目标混响数据进行合成,得到所述混响音频数据。
5.一种音效处理装置,其特征在于,应用于电子设备,所述音效处理装置包括:
获取单元,用于在所述电子设备处于视频场景时,获取声源产生的单声道数据;以及,用于获取目标图像信息,所述视频场景包括视频直播场景或者视频聊天场景;
确定单元,用于按照预设的图像信息与混响效果参数之间的映射关系,确定与所述目标图像信息对应的目标混响效果参数,其中,所述目标图像信息包括图像内容元素和/或图像色调,所述图像色调是指目标图像中色彩的总体倾向;
处理单元,用于根据所述目标混响效果参数对所述单声道数据进行处理,得到混响音频数据;
在所述获取目标图像信息方面,所述获取单元具体用于:通过所述电子设备的摄像头针对目标壁纸进行拍摄,得到第一目标图像,所述目标壁纸为置于所述电子设备附近的壁纸;对所述第一目标图像进行图像解析,得到第一目标图像信息;
所述处理单元还用于:以所述电子设备自身为参照物,获取声源与所述电子设备之间的第一位置关系,以及目标对象与所述电子设备之间的第二位置关系;根据所述第一位置关系确定所述声源的第一坐标,以及根据所述第二位置关系确定所述目标对象的第二坐标,根据所述第一坐标和所述第二坐标确定所述声源与所述目标对象之间的位置关系;根据所述声源与所述目标对象之间的位置关系将不同传播方向的单声道数据分别进行处理,得到多个双声道数据,所述目标对象包括所述目标壁纸;将所述多个双声道数据与所述混响音频数据进行合成,得到目标双声道混响数据。
6.一种电子设备,其特征在于,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-4任一项所述的方法中的步骤的指令。
7.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811347942.1A CN109327795B (zh) | 2018-11-13 | 2018-11-13 | 音效处理方法及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811347942.1A CN109327795B (zh) | 2018-11-13 | 2018-11-13 | 音效处理方法及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109327795A CN109327795A (zh) | 2019-02-12 |
CN109327795B true CN109327795B (zh) | 2021-09-14 |
Family
ID=65260115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811347942.1A Active CN109327795B (zh) | 2018-11-13 | 2018-11-13 | 音效处理方法及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109327795B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110460863A (zh) * | 2019-07-15 | 2019-11-15 | 北京字节跳动网络技术有限公司 | 基于显示位置的音视频处理方法、装置、介质和电子设备 |
CN112788350B (zh) * | 2019-11-01 | 2023-01-20 | 上海哔哩哔哩科技有限公司 | 直播控制方法、装置及系统 |
CN114390425A (zh) * | 2020-10-20 | 2022-04-22 | 深圳海翼智新科技有限公司 | 会议音频处理方法、设备、系统及存储装置 |
CN112492380B (zh) * | 2020-11-18 | 2023-06-30 | 腾讯科技(深圳)有限公司 | 音效调整方法、装置、设备及存储介质 |
CN114040319B (zh) * | 2021-11-17 | 2023-11-14 | 青岛海信移动通信技术有限公司 | 一种终端设备外放音质优化方法、装置、设备和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107193386A (zh) * | 2017-06-29 | 2017-09-22 | 联想(北京)有限公司 | 音频信号处理方法及电子设备 |
CN107258091A (zh) * | 2015-02-12 | 2017-10-17 | 杜比实验室特许公司 | 用于耳机虚拟化的混响生成 |
CN108141693A (zh) * | 2015-10-09 | 2018-06-08 | 索尼公司 | 信号处理设备、信号处理方法和计算机程序 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3976360B2 (ja) * | 1996-08-29 | 2007-09-19 | 富士通株式会社 | 立体音響処理装置 |
US6140565A (en) * | 1998-06-08 | 2000-10-31 | Yamaha Corporation | Method of visualizing music system by combination of scenery picture and player icons |
US7107110B2 (en) * | 2001-03-05 | 2006-09-12 | Microsoft Corporation | Audio buffers with audio effects |
CN101511047B (zh) * | 2009-03-16 | 2010-10-27 | 东南大学 | 双声道立体声分别基于音箱与耳机的三维音效处理方法 |
CN102480671B (zh) * | 2010-11-26 | 2014-10-08 | 华为终端有限公司 | 视频通信中的音频处理方法和装置 |
US10032447B1 (en) * | 2014-11-06 | 2018-07-24 | John Mitchell Kochanczyk | System and method for manipulating audio data in view of corresponding visual data |
US10575112B2 (en) * | 2015-09-04 | 2020-02-25 | Koninklijke Philips N.V. | Method and apparatus for processing an audio signal associated with a video image |
FR3046489B1 (fr) * | 2016-01-05 | 2018-01-12 | Mimi Hearing Technologies GmbH | Encodeur ambisonique ameliore d'une source sonore a pluralite de reflexions |
CN107281753B (zh) * | 2017-06-21 | 2020-10-23 | 网易(杭州)网络有限公司 | 场景音效混响控制方法及装置、存储介质及电子设备 |
CN107360494A (zh) * | 2017-08-03 | 2017-11-17 | 北京微视酷科技有限责任公司 | 一种3d音效处理方法、装置、系统及音响系统 |
-
2018
- 2018-11-13 CN CN201811347942.1A patent/CN109327795B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107258091A (zh) * | 2015-02-12 | 2017-10-17 | 杜比实验室特许公司 | 用于耳机虚拟化的混响生成 |
CN108141693A (zh) * | 2015-10-09 | 2018-06-08 | 索尼公司 | 信号处理设备、信号处理方法和计算机程序 |
CN107193386A (zh) * | 2017-06-29 | 2017-09-22 | 联想(北京)有限公司 | 音频信号处理方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109327795A (zh) | 2019-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109327795B (zh) | 音效处理方法及相关产品 | |
CN111476911B (zh) | 虚拟影像实现方法、装置、存储介质与终端设备 | |
EP3629145B1 (en) | Method for processing 3d audio effect and related products | |
CN109597481A (zh) | Ar虚拟人物绘制方法、装置、移动终端及存储介质 | |
CN109254752B (zh) | 3d音效处理方法及相关产品 | |
CN114143696B (zh) | 音箱位置调节方法、音频渲染方法和装置 | |
CN109246580B (zh) | 3d音效处理方法及相关产品 | |
CN111311757B (zh) | 一种场景合成方法、装置、存储介质及移动终端 | |
CN109104687B (zh) | 音效处理方法及相关产品 | |
CN110401898B (zh) | 输出音频数据的方法、装置、设备和存储介质 | |
CN110880204A (zh) | 虚拟植被显示方法、装置、计算机设备及存储介质 | |
CN109121069B (zh) | 3d音效处理方法及相关产品 | |
CN108924705B (zh) | 3d音效处理方法及相关产品 | |
KR20150079387A (ko) | 카메라 광 데이터로 가상 환경을 조명하는 방법 | |
CN109327766B (zh) | 3d音效处理方法及相关产品 | |
CN109413274B (zh) | 显示屏mipi工作频率调整方法及相关产品 | |
CN109286841B (zh) | 电影音效处理方法及相关产品 | |
CN110888710A (zh) | 添加字幕的方法、装置、计算机设备以及存储介质 | |
CN115334353B (zh) | 信息显示的方法、装置、电子设备以及存储介质 | |
CN109243413B (zh) | 3d音效处理方法及相关产品 | |
CN110428802B (zh) | 声音混响方法、装置、计算机设备及计算机存储介质 | |
WO2023197646A1 (zh) | 一种音频信号处理方法及电子设备 | |
CN115888090A (zh) | 虚拟地图生成方法、装置、电子设备及存储介质 | |
CN118301534A (zh) | 音频播放方法、装置、设备、存储介质及产品 | |
CN114972011A (zh) | 图像编辑方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |