CN110808060A - 音频处理方法、装置、设备及计算机可读存储介质 - Google Patents

音频处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110808060A
CN110808060A CN201910981799.XA CN201910981799A CN110808060A CN 110808060 A CN110808060 A CN 110808060A CN 201910981799 A CN201910981799 A CN 201910981799A CN 110808060 A CN110808060 A CN 110808060A
Authority
CN
China
Prior art keywords
audio
sound card
player
virtual sound
mixing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910981799.XA
Other languages
English (en)
Inventor
梁耀威
郑琳琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou National Acoustic Intelligent Technology Co Ltd
Original Assignee
Guangzhou National Acoustic Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou National Acoustic Intelligent Technology Co Ltd filed Critical Guangzhou National Acoustic Intelligent Technology Co Ltd
Priority to CN201910981799.XA priority Critical patent/CN110808060A/zh
Publication of CN110808060A publication Critical patent/CN110808060A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003Changing voice quality, e.g. pitch or formants
    • G10L21/007Changing voice quality, e.g. pitch or formants characterised by the process used
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开了一种音频处理方法、装置、设备及计算机可读存储介质,该方法包括步骤:若检测到播放器应用触发用于获取播放器音频的第一指令和麦克风应用触发用于获取麦克风音频的第二指令,则在驱动层分别为播放器应用配置第一虚拟声卡和为麦克风应用配置第二虚拟声卡;通过第一混音装置将第一虚拟声卡获取的播放器音频和远端设备发送的远端音频混音,得到第一合成音频,并将第一合成音频通过与第一混音装置连接的扬声器播放;通过第二混音装置将第二虚拟声卡获取的麦克风音频与播放器音频混音,得到第二合成音频,并将第二合成音频发送给远端设备,以避免远端设备产生回声现象。本发明用于解决回声现象引起的远端设备的音频播放效果变差问题。

Description

音频处理方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及音频处理技术领域,尤其涉及一种音频处理方法、装置、设备及计算机可读存储介质。
背景技术
目前视频会议系统中房间A中的人说话的声音,被麦克风采集经传输线路送到房间B,通过房间B的扩声系统放音,该声音又被房间B中的麦克风采集经传输线路又传回房间A,也就是说房间A中的人从音箱里又听到了自己的声音,这就是回声,回声会严重干扰视频会议的音频质量,甚至使会议无法正常举行。
发明内容
本发明的主要目的在于提出一种音频处理方法、装置、设备及计算机可读存储介质,旨在解决回声现象引起的视频会议中音频质量差的问题。
为实现上述目的,本发明提供了一种音频处理方法,所述音频处理方法包括:
若检测到播放器应用触发用于获取播放器音频的第一指令和麦克风应用触发用于获取麦克风音频的第二指令,则在驱动层分别为所述播放器应用配置第一虚拟声卡和为所述麦克风应用配置第二虚拟声卡;
通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频,并将所述第一合成音频通过与所述第一混音装置连接的扬声器播放;
通过第二混音装置将所述第二虚拟声卡获取的所述麦克风音频与所述播放器音频混音,得到第二合成音频,并将所述第二合成音频发送给所述远端设备,以避免所述远端设备产生回声现象。
进一步地,所述通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频的步骤包括:
通过第一混音装置,求取所述播放器音频的能量波形包络线强度和所述远端设备音频的能量波形包络线强度;
根据所述播放器音频和所述远端设备音频的能量波形包络线强度比例为所述播放器音频和所述远端设备音频分配混音权重;
根据所述混音权重进行混音,得到第一合成音频。
进一步地,所述第一混音装置分别与所述第一虚拟声卡和所述远端设备相连,所述第二混音装置分别与所述第一虚拟声卡和所述第二虚拟声卡相连。
进一步地,所述通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音的步骤之前,还包括:
通过所述第一虚拟声卡获取所述播放器音频;
将所述播放器音频通过所述第一虚拟声卡的虚拟输出接口发送至所述第一混音装置。
进一步地,所述通过所述第一虚拟声卡获取所述播放器音频的步骤包括:
通过所述第一虚拟声卡对应的设备节点文件访问第一实体声卡,获取所述第一实体声卡采集到的所述播放器音频。
进一步地,所述通过第二混音装置将所述第二虚拟声卡获取的所述麦克风音频与所述播放器音频混音的步骤之前,还包括:
通过所述第二虚拟声卡获取所述麦克风音频;
将所述麦克风音频通过所述第二虚拟声卡的虚拟输出接口发送至所述第二混音装置。
进一步地,所述通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频,并将所述第一合成音频通过与所述第一混音装置连接的扬声器播放的步骤之后,还包括:
若检测到所述播放器应用触发用于表示停止获取所述播放器音频的第三指令,则释放所述第一虚拟声卡。
此外,为实现上述目的,本发明还提供一种音频处理装置,所述音频处理装置包括:
检测模块,用于检测播放器应用触发用于获取播放器音频的第一指令和麦克风应用触发用于获取麦克风音频的第二指令;
配置模块,用于在驱动层分别为所述播放器应用配置第一虚拟声卡和为所述麦克风应用配置第二虚拟声卡;
混音模块,用于通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频,还用于通过第二混音装置将所述第二虚拟声卡获取的所述麦克风音频与所述播放器音频混音,得到第二合成音频;
播放模块,用于将所述第一合成音频通过与所述第一混音装置连接的扬声器播放;
发送模块,用于将所述第二合成音频发送给所述远端设备。
此外,为实现上述目的,本发明还提供一种音频处理设备,所述音频处理设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频处理程序,所述音频处理程序被所述处理器执行时实现如上所述的音频处理方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有所述音频处理程序,所述音频处理程序被处理器执行时实现如上所述的音频处理方法的步骤。
本发明通过若检测到播放器应用触发用于获取播放器音频的第一指令和麦克风应用触发用于获取麦克风音频的第二指令,则在驱动层分别为播放器应用配置第一虚拟声卡和为麦克风应用配置第二虚拟声卡;通过第一混音装置将第一虚拟声卡获取的播放器音频和远端设备发送的远端音频混音,得到第一合成音频,并将第一合成音频通过与第一混音装置连接的扬声器播放;通过第二混音装置将第二虚拟声卡获取的麦克风音频与播放器音频混音,得到第二合成音频,并将第二合成音频发送给远端设备,以避免远端设备产生回声现象。本发明用于解决回声现象引起的远端设备的音频播放效果变差问题。
附图说明
图1为实现本发明各个实施例一种设备的硬件结构示意图;
图2为本发明音频处理方法第一实施例的流程示意图;
图3为本发明音频处理方法应用的混音系统。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供了一种音频处理设备,参照图1,图1是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是,图1即可为音频处理设备的硬件运行环境的结构示意图。本发明实施例音频处理设备可以是PC,便携计算机,服务器等设备。
如图1所示,该音频处理设备可以包括:处理器1001,例如CPU,存储器1005,用户接口1003,网络接口1004,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,音频处理设备还可以包括RF(Radio Frequency,射频)电路,传感器、WiFi模块等等。
本领域技术人员可以理解,图1中示出的音频处理设备结构并不构成音频处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及音频处理程序。其中,操作系统是管理和控制音频处理设备硬件和软件资源的程序,支持音频处理程序以及其它软件或程序的运行。
图1所示的音频处理设备,可用于回声的消除,用户接口1003主要用于侦测或者输出各种信息,如侦测第一指令和输出第一合成音频等;网络接口1004主要用于与后台服务器交互,进行通信;处理器1001可以用于调用存储器1005中存储的音频处理程序,并执行以下操作:
若检测到播放器应用触发用于获取播放器音频的第一指令和麦克风应用触发用于获取麦克风音频的第二指令,则在驱动层分别为所述播放器应用配置第一虚拟声卡和为所述麦克风应用配置第二虚拟声卡;
通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频,并将所述第一合成音频通过与所述第一混音装置连接的扬声器播放;
通过第二混音装置将所述第二虚拟声卡获取的所述麦克风音频与所述播放器音频混音,得到第二合成音频,并将所述第二合成音频发送给所述远端设备,以避免所述远端设备产生回声现象。
进一步地,所述通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频的步骤包括:
通过第一混音装置,求取所述播放器音频的能量波形包络线强度和所述远端设备音频的能量波形包络线强度;
根据所述播放器音频和所述远端设备音频的能量波形包络线强度比例为所述播放器音频和所述远端设备音频分配混音权重;
根据所述混音权重进行混音,得到第一合成音频。
进一步地,所述第一混音装置分别与所述第一虚拟声卡和所述远端设备相连,所述第二混音装置分别与所述第一虚拟声卡和所述第二虚拟声卡相连。
进一步地,所述通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音的步骤之前,处理器1001还用于调用存储器1005中存储的音频处理程序,并执行以下操作:
通过所述第一虚拟声卡获取所述播放器音频;
将所述播放器音频通过所述第一虚拟声卡的虚拟输出接口发送至所述第一混音装置。
进一步地,所述通过所述第一虚拟声卡获取所述播放器音频的步骤包括:
通过所述第一虚拟声卡对应的设备节点文件访问第一实体声卡,获取所述第一实体声卡采集到的所述播放器音频。
进一步地,所述通过第二混音装置将所述第二虚拟声卡获取的所述麦克风音频与所述播放器音频混音的步骤之前,处理器1001还用于调用存储器1005中存储的音频处理程序,并执行以下操作:
通过所述第二虚拟声卡获取所述麦克风音频;
将所述麦克风音频通过所述第二虚拟声卡的虚拟输出接口发送至所述第二混音装置。
进一步地,所述通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频,并将所述第一合成音频通过与所述第一混音装置连接的扬声器播放的步骤之后,处理器1001还用于调用存储器1005中存储的音频处理程序,并执行以下操作:
若检测到所述播放器应用触发用于表示停止获取所述播放器音频的第三指令,则释放所述第一虚拟声卡。
本发明通过若检测到播放器应用触发用于获取播放器音频的第一指令和麦克风应用触发用于获取麦克风音频的第二指令,则在驱动层分别为播放器应用配置第一虚拟声卡和为麦克风应用配置第二虚拟声卡;通过第一混音装置将第一虚拟声卡获取的播放器音频和远端设备发送的远端音频混音,得到第一合成音频,并将第一合成音频通过与第一混音装置连接的扬声器播放;通过第二混音装置将第二虚拟声卡获取的麦克风音频与播放器音频混音,得到第二合成音频,并将第二合成音频发送给远端设备,以避免远端设备产生回声现象。本发明通过不同的虚拟声卡获取不同的音频数据,并且采用不同组合的音频数据之间的混音分开执行的方式,避免了对三种音频数据一起进行混音引起的回声现象,让使用远端设备的客户不会听到自己发出的声音,进而提高了远端设备的音频播放效果。
基于上述结构,提出本发明音频处理方法的各个实施例。
本发明提供一种音频处理方法。
参照图1,图1为本发明音频处理方法第一实施例的流程示意图。
在本实施例中,提供了音频处理方法的实施例,需要说明的是,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中,音频处理方法包括:
步骤S10,若检测到播放器应用触发用于获取播放器音频的第一指令和麦克风应用触发用于获取麦克风音频的第二指令,则在驱动层分别为所述播放器应用配置第一虚拟声卡和为所述麦克风应用配置第二虚拟声卡。
获取音频的设备在检测到用于启动需要获取音频的应用的指令时,识别为该应用触发了用于请求获取音频的指令。需要获取音频数据的应用可以包括但不限于麦克风应用、播放器应用、语音识别应用、具有视频监控功能的应用或网络电话应用等。
或者,获取音频的设备在检测到应用调用内置的用于管理音频数据的应用的应用程序编程接口(Application Programming Interface,API)时,识别为该应用程序触发了用于请求获取音频数据的指令。
本实施例中为了实现麦克风应用和播放器应用同时获取音频,获取音频的设备在检测到播放器应用触发用于获取播放器音频的第一指令和麦克风应用触发用于获取麦克风音频的第二指令时,在驱动层为每个应用分别配置虚拟声卡。
虚拟声卡与触发指令的应用一一对应,不同的应用程序配置的虚拟声卡各不相同,例如,为播放器应用配置第一虚拟声卡和为麦克风应用配置第二虚拟声卡。被分配的虚拟声卡的状态可以设置为被占用状态,同一时间内一个虚拟声卡只能向与其对应的应用输出实体声卡采集音频信息。
步骤S20,通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频,并将所述第一合成音频通过与所述第一混音装置连接的扬声器播放。
步骤S30,通过第二混音装置将所述第二虚拟声卡获取的所述麦克风音频与所述播放器音频混音,得到第二合成音频,并将所述第二合成音频发送给所述远端设备,以避免所述远端设备产生回声现象。
第一混音装置可以通过第一虚拟声卡的虚拟输出接口获取播放器音频;较佳地,第二混音装置可以通过上述第二虚拟声卡的虚拟输出接口获取麦克风音频。
实际应用中,上述第一混音装置还可以通过网络数据处理装置获取上述远端设备通过网络发送的远端音频。上述第二混音装置也可以通过网络数据处理装置将第二合成音频通过网络发送给上述远端设备。
较佳地,上述第一混音装置可以将上述第一合成音频输出至上述第二虚拟声卡的虚拟输入接口,并通过上述第二虚拟声卡的扬声器输出接口输出至上述扬声器,通过上述扬声器播放上述第一合成音频。
进一步地,所述通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频的步骤包括:
步骤a,通过第一混音装置,求取所述播放器音频的能量波形包络线强度和所述远端设备音频的能量波形包络线强度;
步骤b,根据所述播放器音频和所述远端设备音频的能量波形包络线强度比例为所述播放器音频和所述远端设备音频分配混音权重;
步骤c,根据所述混音权重进行混音,得到第一合成音频。
音频的幅值越大,其能量波形包络线强度越大,因此本实施例通过能量波形包络线强度来描述音频流的走势。
幅值较大的音频因具有较大的能量波形包络线强度而能够分配到较大的混音权重,因而有利于使音量较大,也就是音频幅值较大的声音在混音中突出。
求取每个音频与每个音频对应的混音权重的乘积,然后求取所有乘积之和,作为混音后的音频,及第一合成音频。
通过第二混音装置将所述第二虚拟声卡获取的所述麦克风音频与所述播放器音频混音,得到第二合成音频的方法与上述相同,在此不再赘述。
进一步地,步骤S20之前,还包括:
步骤d,通过所述第一虚拟声卡获取所述播放器音频。
第一虚拟声卡从播放器应用对应的实体声卡中获取播放器音频,同样的第二虚拟声卡从麦克风应用对应的实体声卡中获取麦克风音频。
进一步地,步骤d还包括:
步骤d1,通过所述第一虚拟声卡对应的设备节点文件访问第一实体声卡,获取所述第一实体声卡采集到的所述播放器音频。
获取音频的设备每创建一个虚拟声卡,生成一个该虚拟声卡对应的设备节点文件。获取音频数据的设备可以通过每个虚拟声卡对应的设备节点文件访问实体声卡,获取实体声卡采集到的音频信息。
步骤e,将所述播放器音频通过所述第一虚拟声卡的虚拟输出接口发送至所述第一混音装置。
第一混音装置可以通过第一虚拟声卡的虚拟输出接口获取播放器音频。
同样的,第二混音装置可以通过第二虚拟声卡的虚拟输出接口获取麦克风音频。
进一步地,步骤S30之前还包括:
步骤f,通过所述第二虚拟声卡获取所述麦克风音频。
第二虚拟声卡从麦克风应用对应的实体声卡中获取麦克风音频。获取音频数据的设备可以通过第二虚拟声卡对应的设备节点文件访问第二实体声卡,获取第二实体声卡采集到的音频信息。
步骤g,将所述麦克风音频通过所述第二虚拟声卡的虚拟输出接口发送至所述第二混音装置。
第二混音装置可以通过第二虚拟声卡的虚拟输出接口获取麦克风音频。
本实施例通过若检测到播放器应用触发用于获取播放器音频的第一指令和麦克风应用触发用于获取麦克风音频的第二指令,则在驱动层分别为播放器应用配置第一虚拟声卡和为麦克风应用配置第二虚拟声卡;通过第一混音装置将第一虚拟声卡获取的播放器音频和远端设备发送的远端音频混音,得到第一合成音频,并将第一合成音频通过与第一混音装置连接的扬声器播放;通过第二混音装置将第二虚拟声卡获取的麦克风音频与播放器音频混音,得到第二合成音频,并将第二合成音频发送给远端设备,以避免远端设备产生回声现象。通过不同的虚拟声卡获取不同的音频,并且采用不同组合的音频之间的混音分开执行的方式,避免了对三种音频一起进行混音引起的回声现象,让使用远端设备的客户不会听到自己发出的声音,进而提高了远端设备的音频播放效果。
进一步地,提出本发明音频处理方法的第二实施例。音频处理方法的第二实施例与音频处理方法的第一实施例的区别在于,本发明涉及一种混音系统,如图3所示,该混音系统包括:
第一虚拟声卡301、第一混音装置303、第二虚拟声卡302和第二混音装置304,其中:
第一虚拟声卡301,分别与第一混音装置303和第二混音装置304相连,用于接收上述播放器音频,并将上述播放器音频传输至第一混音装置303和第二混音装置304;
第一混音装置303,与第一虚拟声卡301相连,用于接收第一虚拟声卡301传输的上述播放器音频,和接收远端设备306发送的远端音频,将上述播放器音频和上述远端音频混音,得到第一合成音频,并将上述第一合成音频通过扬声器305播放,所述扬声器305与第一混音装置303相连;
第二虚拟声卡302,与第二混音装置304相连,用于获取麦克风音频,并将上述麦克风音频传输至第二混音装置304;
第二混音装置304,分别与第一虚拟声卡301和第二虚拟声卡302相连,用于接收第一虚拟声卡301传输的上述播放器音频,和接收第二虚拟声卡302传输的麦克风音频,以及将上述播放器音频和上述麦克风音频混音,得到第二合成音频,并将上述第二合成音频发送给远端设备306。
上述混音系统还可以包括,音频播放装置,分别与第一虚拟声卡301和第二混音装置304相连,用于将播放器音频数据分别输出至第一虚拟声卡301和第二混音装置304。根据实际情况的不同,音频播放装置可以是混音系统的一部分,也可以是位于混音系统之外的独立装置。
较佳地,第一虚拟声卡301具体用于,通过虚拟输入接口接收音频播放装置输出的播放器音频,并将该播放器音频通过虚拟输出接口输出至第一混音装置303。
实际应用中,音频播放装置输出的播放器音频一般为数字信号数据,音频播放装置将数字信号数据输入实体卡,实体卡将该数字信号输入第一虚拟声卡301的虚拟输入接口。此时,第一虚拟声卡301内部的混音器处于有效状态,通过该混音器将播放器音频和输入第一虚拟声卡301接口的音频数据混音,由于本发明实施例中第一虚拟声卡301的接口置空,因此,该混音器将播放器音频和空的音频数据混音,混音后得到的数据仍然是播放器音频。这样,就可以将播放器音频通过第一虚拟声卡的虚拟输出接口输出至第一混音装置303。
较佳地,第二虚拟声卡302具体用于,通过麦克风输入接口获取麦克风采集的麦克风音频,并通过虚拟输出接口将该麦克风音频传输至第二混音装置304。
较佳地,第一混音装置303,具体用于,将第一合成音频输出至第二虚拟声卡302的虚拟输入接口,并通过第二虚拟声卡302的扬声器305输出接口输出至上述扬声器305,通过扬声器播放该第一合成音频。
上述混音系统还可以包括,网络数据处理装置,分别与第一混音装置303和第二混音装置304相连,用于接收远端设备306通过网络发送的与远端音频,并将上述远端音频传输至第一混音装置303,以及接收第二混音装置304输出的第二合成音频,并将上述第二合成音频通过网络发送给远端设备306。根据实际情况的不同,网络数据处理装置可以是混音系统的一部分,也可以是混音系统之外的独立装置。
使用采用虚拟声卡作为第一虚拟声卡和第二虚拟声卡的混音系统,可以使用远端设备306的客户听到播放器声音和麦克风声音,不会听到远端设备发送的客户自己发出的语音,从而避免回声现象的发生,提高了音频传输质量,而且,由于采用了虚拟声卡,通过虚拟声卡实现避免回声的功能,因此,能够避免成本的增加。
进一步地,提出本发明音频处理方法的第三实施例。音频处理方法的第三实施例与音频处理方法的第一或第二实施例的区别在于,所述通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频,并将所述第一合成音频通过与所述第一混音装置连接的扬声器播放的步骤之后,还包括:
步骤h,若检测到所述播放器应用触发用于表示停止获取所述播放器音频的第三指令,则释放所述第一虚拟声卡。
由于获取音频的设备在播放器应用和麦克风应用分别配置虚拟声卡时,建立了虚拟声卡与应用之间的绑定关系,在检测到播放器应用程序触发用于表示停止获取音频的第三指令时,可以解除播放器应用与第一虚拟声卡之间的绑定关系,以释放播放器应用对应的虚拟声卡。播放器应用对应的虚拟声卡被释放后,可以将该虚拟声卡设置为未被占用的状态。对于麦克风应用对应的第二虚拟声卡的释放与此相同。
解除播放器应用与播放器应用对应的虚拟声卡之间的绑定关系之后,该虚拟声卡可以重新与其他的应用重新建立绑定关系,以使得该虚拟声卡可以被重新配置给其他的应用,其他的应用是指除上述播放器应用之外的其他触发第一指令的应用。
为了节省存储资源,在解除播放器应用与播放器应用对应的虚拟声卡之间的绑定关系之后,还可以删除播放器应用对应的虚拟声卡。在检测到触发用于请求获取音频的第一指令时,再为触发该第一指令的应用创建一个虚拟声卡。
上述方案,通过在驱动层为每个需要获取音频的应用程序分别配置虚拟声卡,控制每个虚拟声卡获取同一个实体声卡实时采集到的音频,并将每个虚拟声卡获取到的音频发送给每个虚拟声卡对应的应用,从而在不增加用于拾取和传递声音的部件以及实体声卡的数量的前提下,能够使得至少两个应用程序可以同时获取实时的音频或录音数据。
在检测到每个应用触发用于请求获取音频数据的指令时,动态创建每个应用各自对应的虚拟声卡,可以节省系统资源。对麦克风应用对应的虚拟声卡的释放和在分配与播放器应用的相同,在此不再赘述。
本实施例通过在检测到播放器应用程序触发用于表示停止获取音频的第三指令时,释放播放器应用对应的虚拟声卡,以便将该虚拟声卡重新分配给其他需要的应用,能够灵活配置虚拟声卡,避免不需要获取音频的虚拟声卡占用系统资源,造成资源浪费。
此外,本发明实施例还提出一种音频处理装置,所述音频处理装置包括:
检测模块,用于检测播放器应用触发用于获取播放器音频的第一指令和麦克风应用触发用于获取麦克风音频的第二指令;
配置模块,用于在驱动层分别为所述播放器应用配置第一虚拟声卡和为所述麦克风应用配置第二虚拟声卡;
混音模块,用于通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频,还用于通过第二混音装置将所述第二虚拟声卡获取的所述麦克风音频与所述播放器音频混音,得到第二合成音频;
播放模块,用于将所述第一合成音频通过与所述第一混音装置连接的扬声器播放;
发送模块,用于将所述第二合成音频发送给所述远端设备。
进一步地,所述混音模块还包括:
求取单元,用于通过第一混音装置,求取所述播放器音频的能量波形包络线强度和所述远端设备音频的能量波形包络线强度;
分配单元,用于根据所述播放器音频和所述远端设备音频的能量波形包络线强度比例为所述播放器音频和所述远端设备音频分配混音权重;
混音单元,用于根据所述混音权重进行混音,得到第一合成音频。
进一步地,所述音频处理装置还包括:
获取模块,通过所述第一虚拟声卡获取所述播放器音频;
所述发送模块还用于将所述播放器音频通过所述第一虚拟声卡的虚拟输出接口发送至所述第一混音装置。
进一步地,所述获取模块还包括:
访问单元,用于通过所述第一虚拟声卡对应的设备节点文件访问第一实体声卡;
获取单元,用于获取所述第一实体声卡采集到的所述播放器音频。
进一步地,所述获取模块还用于通过所述第二虚拟声卡获取所述麦克风音频;
所述发送模块还用于将所述麦克风音频通过所述第二虚拟声卡的虚拟输出接口发送至所述第二混音装置。
进一步地,所述音频处理装置还包括:
释放模块,用于若检测到所述播放器应用触发用于表示停止获取所述播放器音频的第三指令,则释放所述第一虚拟声卡。
本发明所述音频处理装置实施方式与上述音频处理方法各实施例基本相同,在此不再赘述。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有音频处理程序,所述音频处理程序被处理器执行时实现如上所述的音频处理方法的各个步骤。
需要说明的是,计算机可读存储介质可设置在音频处理设备中。
本发明计算机可读存储介质具体实施方式与上述音频处理方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种音频处理的方法,其特征在于,所述音频处理方法包括以下步骤:
若检测到播放器应用触发用于获取播放器音频的第一指令和麦克风应用触发用于获取麦克风音频的第二指令,则在驱动层分别为所述播放器应用配置第一虚拟声卡和为所述麦克风应用配置第二虚拟声卡;
通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频,并将所述第一合成音频通过与所述第一混音装置连接的扬声器播放;
通过第二混音装置将所述第二虚拟声卡获取的所述麦克风音频与所述播放器音频混音,得到第二合成音频,并将所述第二合成音频发送给所述远端设备。
2.如权利要求1所述的音频处理方法,其特征在于,所述通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频的步骤包括:
通过第一混音装置,求取所述播放器音频的能量波形包络线强度和所述远端设备音频的能量波形包络线强度;
根据所述播放器音频和所述远端设备音频的能量波形包络线强度比例为所述播放器音频和所述远端设备音频分配混音权重;
根据所述混音权重进行混音,得到第一合成音频。
3.如权利要求1所述的音频处理方法,其特征在于,第一混音装置分别与所述第一虚拟声卡和所述远端设备相连,所述第二混音装置分别与所述第一虚拟声卡和所述第二虚拟声卡相连。
4.如权利要求1所述的音频处理方法,其特征在于,所述通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音的步骤之前,还包括:
通过所述第一虚拟声卡获取所述播放器音频;
将所述播放器音频通过所述第一虚拟声卡的虚拟输出接口发送至所述第一混音装置。
5.如权利要求4所述的音频处理方法,其特征在于,所述通过所述第一虚拟声卡获取所述播放器音频的步骤包括:
通过所述第一虚拟声卡对应的设备节点文件访问第一实体声卡,获取所述第一实体声卡采集到的所述播放器音频。
6.如权利要求1所述的音频处理方法,其特征在于,所述通过第二混音装置将所述第二虚拟声卡获取的所述麦克风音频与所述播放器音频混音的步骤之前,还包括:
通过所述第二虚拟声卡获取所述麦克风音频;
将所述麦克风音频通过所述第二虚拟声卡的虚拟输出接口发送至所述第二混音装置。
7.如权利要求1至6任一项所述的音频处理方法,其特征在于,所述通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频,并将所述第一合成音频通过与所述第一混音装置连接的扬声器播放的步骤之后,还包括:
若检测到所述播放器应用触发用于表示停止获取所述播放器音频的第三指令,则释放所述第一虚拟声卡。
8.一种音频处理装置,其特征在于,所述音频处理装置包括:
检测模块,用于检测播放器应用触发用于获取播放器音频的第一指令和麦克风应用触发用于获取麦克风音频的第二指令;
配置模块,用于在驱动层分别为所述播放器应用配置第一虚拟声卡和为所述麦克风应用配置第二虚拟声卡;
混音模块,用于通过第一混音装置将所述第一虚拟声卡获取的所述播放器音频和远端设备发送的远端音频混音,得到第一合成音频,还用于通过第二混音装置将所述第二虚拟声卡获取的所述麦克风音频与所述播放器音频混音,得到第二合成音频;
播放模块,用于将所述第一合成音频通过与所述第一混音装置连接的扬声器播放;
发送模块,用于将所述第二合成音频发送给所述远端设备。
9.一种音频处理设备,其特征在于,所述音频处理设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的音频处理程序,所述音频处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的音频处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有音频处理程序,所述音频处理程序被处理器执行时实现如权利要求1至7中任一项所述的音频处理方法的步骤。
CN201910981799.XA 2019-10-15 2019-10-15 音频处理方法、装置、设备及计算机可读存储介质 Pending CN110808060A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910981799.XA CN110808060A (zh) 2019-10-15 2019-10-15 音频处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910981799.XA CN110808060A (zh) 2019-10-15 2019-10-15 音频处理方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110808060A true CN110808060A (zh) 2020-02-18

Family

ID=69488704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910981799.XA Pending CN110808060A (zh) 2019-10-15 2019-10-15 音频处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110808060A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192526A (zh) * 2021-04-28 2021-07-30 北京达佳互联信息技术有限公司 音频处理方法和音频处理装置
CN113220262A (zh) * 2021-03-26 2021-08-06 西安神鸟软件科技有限公司 一种多应用程序的音频数据分发方法及终端设备
CN113220260A (zh) * 2021-03-26 2021-08-06 西安神鸟软件科技有限公司 一种多应用程序的音频数据处理方法及终端设备
CN113220261A (zh) * 2021-03-26 2021-08-06 西安神鸟软件科技有限公司 一种基于虚拟麦克风的音频数据获取方法及终端设备
CN113542977A (zh) * 2021-07-15 2021-10-22 深圳软牛科技有限公司 合成声卡和麦克风声音的方法、装置和相关组件

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312912A (zh) * 2013-05-03 2013-09-18 华为软件技术有限公司 一种混音系统及方法
CN109327633A (zh) * 2017-07-31 2019-02-12 上海谦问万答吧云计算科技有限公司 混音方法、装置、设备及存储介质
CN109389989A (zh) * 2017-08-07 2019-02-26 上海谦问万答吧云计算科技有限公司 混音方法、装置、设备及存储介质
CN109976697A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 获取音频数据的方法及装置、设备、计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312912A (zh) * 2013-05-03 2013-09-18 华为软件技术有限公司 一种混音系统及方法
CN109327633A (zh) * 2017-07-31 2019-02-12 上海谦问万答吧云计算科技有限公司 混音方法、装置、设备及存储介质
CN109389989A (zh) * 2017-08-07 2019-02-26 上海谦问万答吧云计算科技有限公司 混音方法、装置、设备及存储介质
CN109976697A (zh) * 2017-12-28 2019-07-05 深圳市优必选科技有限公司 获取音频数据的方法及装置、设备、计算机可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220262A (zh) * 2021-03-26 2021-08-06 西安神鸟软件科技有限公司 一种多应用程序的音频数据分发方法及终端设备
CN113220260A (zh) * 2021-03-26 2021-08-06 西安神鸟软件科技有限公司 一种多应用程序的音频数据处理方法及终端设备
CN113220261A (zh) * 2021-03-26 2021-08-06 西安神鸟软件科技有限公司 一种基于虚拟麦克风的音频数据获取方法及终端设备
CN113192526A (zh) * 2021-04-28 2021-07-30 北京达佳互联信息技术有限公司 音频处理方法和音频处理装置
CN113192526B (zh) * 2021-04-28 2023-10-31 北京达佳互联信息技术有限公司 音频处理方法和音频处理装置
CN113542977A (zh) * 2021-07-15 2021-10-22 深圳软牛科技有限公司 合成声卡和麦克风声音的方法、装置和相关组件

Similar Documents

Publication Publication Date Title
CN110808060A (zh) 音频处理方法、装置、设备及计算机可读存储介质
US10085102B2 (en) Detection of device configuration
CN103414982B (zh) 一种提供声音的方法和装置
CN106973330B (zh) 一种屏幕直播方法、装置和系统
CN105100141B (zh) 多媒体内容网络分享方法、装置及系统
WO2017181796A1 (zh) 节目互动系统、方法、客户端及后台服务器
US20170208391A1 (en) Acoustic echo cancellation reference signal
CN109862475A (zh) 音频播放设备及方法、存储介质、通信终端
CN103596292A (zh) 一种通过声音来实现蓝牙快速配对连接的方法
CN107785027B (zh) 一种音频处理方法及电子设备
CN110856086A (zh) 音响系统的控制方法及装置、可读存储介质
CN110809226A (zh) 一种音频播放方法及电子设备
CN107230273A (zh) 一种排队取号方法、装置、系统及存储介质
CN108536415A (zh) 应用音量控制方法、装置、移动终端及计算机可读介质
CN109901836A (zh) 信息流的显示方法、装置及客户端设备
CN105704106B (zh) 一种可视化ivr实现方法及移动终端
CN110784844A (zh) 信号传输方法和通信设备
CN107910012B (zh) 音频数据处理方法、装置及系统
JP2023547821A (ja) 制御方法及び装置、及び電子デバイス
CN112584497B (zh) 先听后发lbt子带划分方法、装置、设备及介质
CN112086081A (zh) 合唱方法、终端及计算机存储介质
CN108195386A (zh) 导航方法、服务器及导航系统
CN114265714A (zh) 一种基于云手机的驱动控制方法及装置、存储介质
CN104954538B (zh) 一种信息处理方法及电子设备
KR20160095665A (ko) 양방향 스트리밍 방송 서비스를 제공하는 방송 서비스 서버 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200218

RJ01 Rejection of invention patent application after publication