CN109166589A - 应用声音抑制方法、装置、介质以及设备 - Google Patents
应用声音抑制方法、装置、介质以及设备 Download PDFInfo
- Publication number
- CN109166589A CN109166589A CN201810916294.0A CN201810916294A CN109166589A CN 109166589 A CN109166589 A CN 109166589A CN 201810916294 A CN201810916294 A CN 201810916294A CN 109166589 A CN109166589 A CN 109166589A
- Authority
- CN
- China
- Prior art keywords
- data
- voice data
- sound
- echo cancellation
- echo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 150
- 230000008569 process Effects 0.000 claims abstract description 77
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 54
- 238000004088 simulation Methods 0.000 claims description 19
- 230000005764 inhibitory process Effects 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 7
- 238000003786 synthesis reaction Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 230000002401 inhibitory effect Effects 0.000 abstract description 5
- 230000006854 communication Effects 0.000 description 42
- 238000004891 communication Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 14
- 230000009467 reduction Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 102000017177 Fibromodulin Human genes 0.000 description 2
- 108010013996 Fibromodulin Proteins 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02087—Noise filtering the noise being separate speech, e.g. cocktail party
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Abstract
本申请公开了一种应用声音抑制方法，包括获取应用声音数据；获取麦克风采集的环境声音数据；根据回声消除算法和所述应用声音数据，对所述环境声音数据进行回声消除处理。应用声音数据及其回声是高度相关的，因此，采用回声消除算法和应用声音数据对环境声音数据进行回声消除处理，可以消除环境声音数据中应用声音数据的回声，该方法对于应用声音抑制效果显著，语音信噪比得到明显提升，接收端能够接收到纯净的语音信号，提升了用户体验。本申请还公开了一种应用声音抑制装置、设备以及存储介质。
Description
技术领域
本申请涉及应用开发技术领域，尤其涉及一种应用声音抑制方法、装 置、计算机存储介质以及设备。
背景技术
目前，许多应用都具有音频播放功能和语音通信功能，用户在语音通信 时，常会受到应用本地播放音频信号的干扰，影响正常的语音通信。
以游戏应用为例，游戏玩家在游戏中会通过语音通信与其他玩家沟通， 以提高沟通效率，但语音通信过程中，玩家输入的语音常常会与游戏应用播 放的应用声音如游戏背景音乐，一同被麦克风采集，从而导致语音信噪比下 降，严重时使得接收端难以区分出发送端正常人声。
为了减少语音通信过程中，应用本地声音的干扰，目前常用的解决方案 是，通过经典的降噪算法抑制麦克风采集的信号中的应用声音，以提高语音 信噪比。但由于经典的降噪算法主要是基于噪声是平稳的假设为前提，然 而，许多应用中的应用声音通常都不符合这个假设，导致经典的降噪算法的 抑制效果不好。
发明内容
本申请实施例提供了一种应用声音抑制方法，使得能够利用回声消除算 法消除麦克风采集的环境声音数据中的应用声音的回声，实现应用声音抑 制，其抑制效果显著，语音信噪比得到明显提升。基于此，本申请实施例还 提供了对应的装置、设备以及计算机存储介质。
有鉴于此，本申请一方面提供了一种应用声音抑制方法，所述方法包 括：
获取应用声音数据；
获取麦克风采集的环境声音数据，所述环境声音数据包括语音输入数据 以及来自扬声器的播放数据；
根据回声消除算法和所述应用声音数据，对所述环境声音数据进行回声 消除处理。
本申请一方面提供一种应用声音抑制装置，所述装置包括：
第一获取模块，用于获取应用声音数据；
第二获取模块，用于获取麦克风采集的环境声音数据，所述环境声音数 据包括语音输入数据以及来自扬声器的播放数据；
回声消除模块，用于根据回声消除算法和所述应用声音数据，对所述环 境声音数据进行回声消除处理。
本申请一方面提供一种应用声音抑制设备，所述设备包括处理器以及存 储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令，执行如上述应用声音抑制 方法的步骤。
本申请一方面提供一种计算机可读存储介质，所述计算机可读存储介质 用于存储程序代码，所述程序代码用于执行上述应用声音抑制方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中提供了一种应用声音抑制方法，该方法是基于回声消除 算法实现应用声音抑制的，具体地，将麦克风采集的环境声音数据作为待处 理信号，获取的应用声音数据作为参考信号，由于参考信号在通过扬声器播 放后，会在传播过程中形成回声被麦克风采集，而参考信号及其回声是高度 相关的，因此，采用回声消除算法和参考信号对待处理信号进行回声消除处 理，可以消除环境声音数据中应用声音的回声，从而实现应用声音抑制。
附图说明
图1为本申请实施例中一种应用声音抑制方法的场景架构图；
图2为本申请实施例中一种应用声音抑制方法的流程图；
图3为本申请实施例中一种对环境声音数据进行回声消除处理的流程 图；
图4为本申请实施例中一种应用声音抑制方法的流程图；
图5为本申请实施例中一种对环境声音数据进行回声消除处理的流程 图；
图6为本申请实施例中一种对环境声音数据进行回声消除处理的流程 图；
图7A为本申请实施例中一种应用声音抑制方法的应用场景示意图；
图7B为本申请实施例中一种游戏界面示意图；
图8为本申请实施例中一种应用声音抑制装置的结构示意图；
图9为本申请实施例中一种应用声音抑制装置的结构示意图；
图10为本申请实施例中一种应用声音抑制装置的结构示意图；
图11为本申请实施例中一种应用声音抑制装置的结构示意图；
图12为本申请实施例中一种应用声音抑制装置的结构示意图；
图13为本申请实施例中一种应用声音抑制装置的结构示意图；
图14为本申请实施例中一种应用声音抑制装置的结构示意图；
图15为本申请实施例中一种应用声音抑制装置的结构示意图；
图16为本申请实施例中一种应用声音抑制设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实 施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显 然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于 本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获 得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第 二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必 用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可 以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述 的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变 形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、 方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包 括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或 单元。
针对经典的降噪算法对应用声音抑制效果不显著，语音信噪比无法得到 明显提升的技术问题，本申请基于回声消除思想，提出了一种与经典降噪算 法完全不同的应用声音抑制方法，具体地，将麦克风采集的环境声音数据作 为待处理信号，获取的应用声音数据作为参考信号，由于参考信号经过扬声 器播放，在传播过程中形成回声被麦克风采集，该回声可以分为直接回声和 间接回声，所谓直接回声是指扬声器的声音未经任何反射直接进入麦克风， 这种回声延迟最短。间接回声是指扬声器播放的声音经不同的路径一次或者 多次反射后进入麦克风所产生的回声集合。在本申请中主要采用回声消除算 法，以应用声音数据作为参考信号，得到该应用声音数据对应的模拟回声信 号，进而从环境声音数据中消除该模拟回声信号，以达到抑制应用声音的目 的。与通过经典降噪算法实现应用声音抑制的方法相比，该方法对应用声音 抑制效果显著，语音信噪比得到明显提升，接收端能够接收到纯净的语音信 号，从而能够提升用户体验。
可以理解，本申请提供的应用声音抑制方法可以应用于终端设备。终端 设备是具有数据处理能力的计算设备，包括但不限于台式机、笔记本电脑或 智能手机。在一些可能的实现方式中，该方法也可以由服务器执行，或者由 终端设备与服务器协同执行。
在实际应用中，许多应用对会存在应用声音干扰语音通信的问题，而本 申请提供的应用声音抑制方法能够兼容解决任一应用存在的该问题。例如， 游戏应用、直播应用、即时通信应用等应用都可以利用本申请提供的应用声 音抑制方法以解决语音通信受应用声音干扰的问题。例如，在游戏应用中， 利用本申请的应用声音抑制方法可以抑制语音通信过程中被麦克风采集的游 戏本地播放的背景音乐，以提升语音信噪比。又例如，在直播场景中，主播 在通过直播应用进行直播时，主播的人声和直播应用本地播放的声音一同被麦克风采集，为了使得直播间的观众能够获得清楚地听到主播的人声，可以 利用上述应用声音抑制方法，抑制直播应用的应用声音。当然，该应用声音 抑制方法还可以应用于其他场景中，在此不再一一列举，为了便于理解本申 请的技术方案，下文描述的实施例是以游戏应用场景作为示例进行说明，但 其并不限制本申请的实现。
图1为本申请实施例中一种应用声音抑制方法的场景架构图，参见图1， 该场景中包括终端设备10和终端设备20，游戏玩家可以通过各自的终端设 备，如终端设备10和终端设备20进行游戏语音通信。游戏语音通信过程包 括终端设备10向终端设备20发送语音数据，以及终端设备20向终端设备10 发送语音数据，其具体实现过程是相同的，本实施例以终端设备10向终端设 备20发送语音数据作为示例进行说明。
终端设备10获取游戏背景音乐数据，并获取麦克风采集的环境声音数 据，其中，环境声音数据包括语音输入数据以及来自扬声器的播放数据，然 后终端设备10根据回声消除算法和游戏背景音乐数据，对环境声音数据进行 回声消除处理，并将处理后的数据发送给终端设备20。
其中，终端设备10可以通过服务器将处理后的数据发送给终端设备20， 图1中并未示出服务器，并不构成对本申请技术方案的限定。
在该应用场景中，终端设备利用游戏背景音乐数据作为参考信号，根据 该参考信号和回声消除算法对麦克风采集的环境声音数据进行回声消除处 理，有效抑制了环境声音数据中的背景声音，提高了语音信噪比，提升了游 戏语音通信的用户体验。
接下来，将从终端设备的角度，结合附图对本申请实施例提供的应用声 音抑制方法进行详细说明。
图2为本申请实施例中一种应用声音抑制方法的流程图，参见图2，该方 法包括：
S201：获取应用声音数据。
其中，应用声音数据为应用本地产生的声音数据，其在播放过程会与语 音数据一并被麦克风所采集，从而会对语音信号产生干扰，降低语音信噪比。
在本实施例中，获取该应用声音数据的目的是，为后续基于回声消除算法 实现应用声音抑制打好数据基础。在具体实现时，用户通过终端设备使用应 用进行语音通信时，应用还为用户播放本地产生的声音数据，而声音数据播 放过程是将需要播放的数据放入缓存区进而基于依次播放缓存区中的数据， 基于此，终端设备可以从缓存区中获取待播放的应用声音数据，以为后续的 应用声音抑制打好数据基础。
以游戏应用为例，游戏玩家在进行语音通信时，游戏应用常常还会播放 背景音乐，则背景音乐数据就是游戏应用中的应用声音数据，为了降低该背 景音乐数据对语音信号的干扰，则在游戏应用播放游戏背景音乐数据时，获 取待播放的游戏背景音乐数据，以用于后续的应用声音抑制处理。由于在声 音传播过程中应用声音会形成回声而被采集，然而应用声音的回声是难以直 接获得的，因此，在本实施例中需要获取待播放的应用声音，将其作为参考 信号，以便后续利用回声消除算法从麦克风采集的信号中消除该应用声音。
在游戏应用场景下，终端设备可以通过游戏引擎中的音频插件获取游戏 应用的应用声音数据，该应用声音数据具体为游戏背景音乐数据。为了便于 理解，以游戏引擎Unity为例进行说明。例如，终端设备可以利用Unity中的 音频插件Unity Native AudioPlugin SDK获取背景音乐数据，其中，Unity Native Audio Plugin SDK可以通过播放回调函数获取待播放的背景音乐数据。 另外，终端设备具体可以响应于麦克风开启指令，获取应用声音数据。如此， 可以保证环境声音数据与应用声音数据的同步。
需要说明的是，在游戏应用中，游戏语音往往是基于内嵌于游戏中的实 现玩家间语音通信的软件开发工具包(Software Development Kit，SDK)实现 的，为了方便表述，将该软件开发工具包记作游戏语音SDK。基于此，可以 由游戏语音SDK监听麦克风是否开启，当游戏语音SDK接收到麦克风开启 指令时，可以向游戏引擎发送麦克风开启指令，以通知游戏引擎根据该指令， 获取待播放的游戏背景音乐数据。
在具体实现时，终端设备获取到待播放的应用声音之后，将其存储在参 考队列中，以便为后续的回声消除处理提供基础数据。以游戏应用为例，终 端设备获取到待播放的游戏背景音乐数据之后，将其存储在背景音乐参考队 列中，以便在在执行回声消除处理时，直接从背景音乐参考队列中获取该游 戏背景音乐数据作为参考信号。
S202：获取麦克风采集的环境声音数据。
其中，所述环境声音数据包括语音输入数据以及来自扬声器的播放数据。 语音输入数据是指发送端的用户以语音方式输入的数据，也称近端语音输入 数据。播放数据是指发送端的扬声器所播放的声音数据。
在具体实现时，该近端语音输入数据以及来自扬声器的播放数据均会被 麦克风采集，因而麦克风采集的环境声音数据实际为近端语音输入数据以及 来自扬声器的播放数据形成的混合数据。而终端设备获取麦克风采集的环境 声音数据，主要是为了对其进行应用声音抑制处理后再发送给接收端，以提 高语音通信双方的语言通信质量。如在游戏应用中，播放数据可以是发送端 的扬声器所播放的游戏背景音乐数据。在具体实现时，终端设备可以通过游 戏语音SDK，获取麦克风采集的环境声音数据，以便对其进行游戏背景音乐 处理后再发送给接收端，以提高游戏玩家双方的语音通信质量。
考虑到在实际应用中，应用声音数据的音频属性可能会与环境声音数据 的音频属性不一致，基于此，终端设备还可以将环境声音数据的音频属性作 为目标音频属性，按照目标音频属性调整应用声音数据，得到符合目标音频 属性的应用声音数据。其中，声音数据的音频属性包括该声音数据的采样率、 通道数目等属性中的至少一种。所谓采样率也称采样频率，是指录音设备在 一秒钟内采集声音信号的次数，采样率越高，采集的声音数据越接近真实数 据；通道数目是指声音数据的通道数，例如单声道的声音数据的通道数为一， 立体声的声音数据的通道数可以为二，当然通道数目不限于以上数值。
在游戏应用中，背景音乐数据是通过游戏引擎获取的，环境声音数据是 通过游戏语音SDK获取的，游戏引擎和游戏语音SDK在进行数据采集时， 所采用的采样率和采样通道数目可能存在不一致的情况，因此，待播放的游 戏背景音乐数据的音频属性与环境声音数据的音频属性可能存在不一致的情 况。基于此，终端设备还可以对待播放的背景音乐数据的音频属性以及环境 声音数据的音频属性进行同步，具体为将环境声音数据的采样率和通道数目 作为目标音频属性，按照该目标音频属性调整游戏背景音乐数据的采样率和 通道数目。
上述步骤S201和S202的执行顺序并不局限于图2所示，在具体实现时， 这两个步骤也可以并行执行，或者先执行202再执行S201，对此本实施例不 作具体限定。
S203：根据回声消除算法和所述应用声音数据，对所述环境声音数据进 行回声消除处理。
终端设备内置有回声消除算法，在获取到应用声音数据和环境声音数据 后，根据回声消除算法模拟应用声音数据的回声数据，从环境声音数据减去 该回声数据，从而实现环境声音数据的回声消除处理，如此，环境声音数据 中的应用声音数据被抑制，可以得到纯净的语音输入数据。
若如上文所示，对应用声音数据还进行了音频属性同步处理，则S203在 具体实现时是根据回声消除算法和符合目标音频属性的应用声音数据，对环 境声音数据进行回声消除处理，以得到纯净的语音输入数据。
在本实施例一些可能的实现方式中，为了实现便于通信对方及时获得同 通信数据，终端设备可以将经过回声消除处理后的环境声音数据，发送给接 收端。具体地，终端设备可以将经过回声消除处理后的环境声音数据，通过 服务器发送至接收端，以使接收端接收经过回声消除处理后的环境声音数 据。如此，即使接收端用户不在线，也可以在后续上线后，从服务器下载上 述回声消除处理后的环境声音数据，实现语音通信。
由上可知，本申请实施例中提供了一种应用声音抑制方法，该方法是基 于回声消除算法实现应用声音抑制的，将麦克风采集的环境声音数据作为待 处理信号，获取的应用声音数据作为参考信号，由于参考信号在通过扬声器 播放后，会在传播过程中形成回声被麦克风采集，而远端参考信号及其回声 是高度相关的，因此，采用回声消除算法和远端参考信号对待处理信号进行 回声消除处理，可以消除环境声音数据中应用声音的回声，从而实现应用声 音抑制。
可以理解，回声消除算法可以通过自适应滤波来完成。以游戏应用为 例，通过对待播放的背景音乐数据进行滤波，滤波后的数据可以模拟背景音 乐数据在传播过程中形成的回声数据，如此，在环境声音数据中减去滤波后 的数据，相当于从环境声音数据中消除背景音乐的回声数据，从而实现回声 消除处理。也即，针对图2所示实施例中的S203，本申请还提供了一种基于 滤波的回声消除处理的实现方式，下面将结合附图，对S203的一种具体实现 方式进行介绍。
图3为本申请实施例中根据回声消除算法和应用声音数据，对所述环境 声音数据进行回声消除处理的一种实现方式的流程图，参见图3，包括：
S301：将所述应用声音数据输入第一滤波器，获取所述第一滤波器输出 的数据，作为第一模拟回声数据。
由于本实施例中终端设备获取的数据为应用声音数据，而麦克风采集的 环境声音数据所混合的数据为应用声音数据在通过扬声器播放，传播至麦克 风所形成的回声数据，基于此，终端设备需要对应用声音数据进行回声模 拟，得到与该应用声音数据对应的第一模拟回声数据。在具体实现时，终端 设备可以将应用声音数据输入第一滤波器，通过第一滤波器对应用声音数据 进行滤波，获取第一滤波器输出的数据，作为第一模拟回声数据。
在游戏应用中，应用声音数据为待播放的游戏背景音乐数据，而需要进 行回声消除处理的环境声音数据所混合的数据包括播放的游戏背景音乐数据 对应的回声数据，为了得到玩家的语音输入数据，需要从环境声音数据中消 除播放的游戏背景音乐数据对应的回声数据。
背景音乐数据在经过扬声器播放后，在传播过程中形成回声，然后被麦 克风采集，可以理解麦克风采集到的背景音乐数据与最初获取的待播放的背 景音乐数据是不同的，若从麦克风采集的环境声音数据中直接减去待播放的 背景音乐数据难以得到近端语音输入数据，因此，需要对待播放的背景声音 数据进行模拟，得到经扬声器播放后在传播过程中形成的回声数据。其中， 回声数据表达的语义与待播放的背景音乐数据所表达的语义是相同的，二者 之间存在函数关系，具体可以参见如下公式：
echo＝F(fe) (1)
其中，fe表征待播放的背景音乐数据，echo表征背景音乐数据的回声数 据，函数F表征回声路径。
在本实施例一些可能的实现方式中，可以通过自适应滤波器原理求解函 数F。自适应滤波器是以输入和输出信号的统计特性的估计为依据，采取特 定算法自动地调整滤波器系数，使其达到最佳滤波特性的一种算法或装置。 以最小均方误差为准则设计的自适应滤波器的系数可以通过维纳-霍甫夫方程 解得。在本申请实施例其他可能的实现方式中，还可以通过最小均方算法， 实时求解自适应滤波器系数；具体地，该算法利用最陡下降法，根据均方误 差的梯度估计，从现时刻滤波器系数向量迭代计算下一时刻的系数向量，收 敛后的滤波器系数向量即为最佳滤波器系数。根据求解的最佳滤波器系数可 以确定函数F。
在本实施例中，终端设备可以将用于模拟背景音乐数据的回声数据的滤 波器作为第一滤波器，第一滤波器的系数可以通过维纳-霍甫夫方程或者最小 均方算法求解得到。基于此，终端设备将游戏背景音乐数据输入第一滤波 器，获取第一滤波器输出的数据，作为第一模拟回声数据。该第一模拟回声 数据能够模拟真实场景中背景音乐数据对应的回声数据。
S302：从所述环境声音数据中消除所述第一模拟回声数据以实现回声消 除处理。
由于第一模拟回声数据能够模拟真实环境中应用声音数据的回声数据， 因此，从混合了语音输入数据和播放数据的环境声音数据中消除应用声音数 据的回声数据，可以实现回声消除处理，提高语音信噪比。
由上可知，本申请实施例提供了一种基于滤波的回声消除处理的实现方 式，通过将应用声音数据输入第一滤波器，获取第一滤波器的输出数据，该 输出数据能够模拟该游戏背景音乐数据在播放后的传播过程中形成的回声数 据，接着从环境声音数据中减去该输出数据能够实现回声消除处理，提高语 音信噪比，将处理后的数据发送给接收端时，其接收到的数据是应用声音数 据被抑制的语音输入数据，提高了语音信噪比，因而提高了用户体验。
在通信过程中，发送端的麦克风采集到的来自扬声器的播放数据不仅可 以包括扬声器播放的应用声音数据，在有些情况下，还可以包括扬声器播放 的人声数据。播放的人声数据也存在回声数据，基于此，在进行回声消除处 理时，还可以在图2所示示例的基础上，根据人身数据对环境声音数据进行 回声消除处理。为了便于理解，下面将结合具体实施例进行详细地说明。
图4为本申请实施例中一种背景声音抑制方法的流程图，参见图4，该方 法包括：
S401：获取应用声音数据。
S401的具体实现与S201相同，其具体实现可以参见图2所示实施例相关 内容描述，本申请实施例在此不再赘述。
S402：获取人声数据。
在语音通信过程中，发送端的扬声器还可能会播放人声数据，也称远端 人声数据，其是与所述发送端通信的对端用户生成的人声数据；则发送端的 麦克风采集的环境声音数据中就会融合有该远端人声数据，基于此，为了进 一步提高语言信噪比，则还需要从该环境声音数据中消除该远端人声数据， 终端设备需要先获取该远端人声数据作为参考信号，后续基于回声消除算法 以从环境声音数据中消除该远端人声数据，提高语言信噪比。与应用声音数 据类似，终端设备难以直接获得该远端人声数据的回声，因此，需要先获取 待播放的远端人声数据，以为后续的回声消除处理打好数据基础。
在具体实现时，终端设备会接收到远端人声数据，并将其放入缓存区， 同时将其存储至远端人声参考队列，以便后续直接从该远端人声参考对象中 直接获取数据用于回声消除。
S403：获取麦克风采集的环境声音数据。
可以理解的是，在本实施例中麦克风所采集的环境声音数据包括近端语 音输入数据以及来自扬声器的播放数据，而该播放数据既包括已播放的应用 声音数据，又包括已播放的远端人声数据。
上述步骤S401和S402的执行顺序并不局限于图2所示，在具体实现时， 这两个步骤也可以并行执行，或者先执行402再执行S401，对此本实施例不 作具体限定。
S404：根据回声消除算法、所述应用声音数据以及所述人声数据，对所 述环境声音数据进行回声消除处理。
由于，环境声音数据中不仅包含有经扬声器播放的应用声音数据，还包 含有经扬声器播放的远端人声数据，因此，终端设备根据回声消除算法，以 应用声音和远端人声数据作为参考信号，能够实现对环境声音数据进行回声 消除处理，以得到纯净的语音数据。
由上可知，本申请实施例提供了一种应用声音抑制方法，该方法通过获 取应用声音数据，以及人声数据，通过利用回声消除算法模拟播放的应用声 音数据对应的回声数据，以及播放的远端人声数据对应的回声数据，并基于 回声消除算法将模拟得到的应用声音数据的回声数据以及远端人声数据的回 声数据从环境声音数据中消除，如此显著抑制了应用声音数据以及远端人声 数据，提升了语音信噪比，接收端能够接收到纯净的语音信号，提升了用户 体验。
针对上述图4所示实施例中的S404，本申请实施例还提供了几种具体实 现方式，下面结合图5和图6分别对两种实现方式进行说明。
参见图5，图5示出了回声消除处理的一种实现方式，该实现方式包括：
S501：将所述应用声音数据和所述人声数据合成的数据，作为联合数据。
在进行回声消除处理时，终端设备可以将应用声音数据和人声数据进行 合成处理，并将合成处理的数据即联合数据，作为一个整体进行回声消除。
以游戏应用为例，终端设备根据待播放的游戏背景音乐数据和远端人声 数据合成得到联合数据。具体的，可以将游戏背景音乐数据和远端人声数据 两路信号可以按照一定比例合成一路信号，作为一个示例，可以将其按照1:1 的比例进行合成，当然在具体实现时，也可以按照其他比例进行合成。
进一步地，应用声音数据和远端人声数据由扬声器播放，然后经过麦克 风采集的，而语音输入数据是由麦克风直接采集的，由于信号传播路径不同 引起时间延迟，因此在一些可能的实现方式中，终端设备还可以对应用声音 数据和人声数据作延迟估计，以便根据延迟估计后的应用声音数据和延迟估 计后的人声数据进行回声消除处理。例如在游戏应用中，终端设备可以对待 播放的游戏背景音乐数据以及远端人声数据分别进行延迟估计。在具体实现 时，终端设备还可以通过将游戏语音SDK接收的麦克风开启信号实时同步给 游戏引擎，以实现状态同步，该状态同步操作能够抵消开关麦克风产生的延 迟，提高回声消除处理的准确度。
S502：将所述联合数据输入联合滤波器，获取所述联合滤波器输出的数 据，作为联合模拟回声数据。
联合滤波器是指用于对联合数据进行回声模拟的滤波器。其中，联合滤 波器的系数可以通过上文所述的维纳-霍甫夫方程或者最小均方算法求解得 到。
终端设备将联合数据输入联合滤波器，获取所述联合滤波器输出的数据， 作为联合模拟回声数据，该联合模拟回声数据能够模拟联合数据在通过扬声 器播放后形成的回声数据。
S503：从所述环境声音数据中消除所述联合模拟回声数据以实现回声消 除处理。
由于环境声音数据中包括语音输入数据以及来自扬声器播放的数据，而 来自扬声器的播放数据包括应用声音数据和远端人声数据，联合模拟回声数 据能够模拟联合数据在通过扬声器播放后的信号，也即应用声音数据和远端 人声数据在通过扬声器播放后形成的回声数据，因而，终端设备从环境声音 数据中减去联合模拟回声数据，相当于消除来自扬声器播放的数据，如此可 以实现回声消除处理。
由上可知，本申请实施例提供了一种根据回声消除算法、应用声音数据 数据以及人声数据，对环境声音数据进行回声消除处理的实现方式，通过将 应用声音数据和人声数据合成得到联合数据，然后通过联合滤波器，模拟联 合数据在通过扬声器播放后形成的回声数据，并从环境声音数据减去该模拟 数据实现回声消除处理，该方法实现简单，而且能够复用已有的单通道回声 消除技术，回声消除成本相对较低。
接下来参见图6，图6示出了回声消除处理的另一种实现方式，该实现方 式包括：
S601：将所述应用声音数据输入第一滤波器，获取所述第一滤波器输出 的数据，作为第一模拟回声数据。
本步骤的具体实现与S301相同，其具体实现可以参见图3所示实施例相 关内容描述，本申请实施例在此不再赘述。
S602：将所述人声数据输入第二滤波器，获取所述第二滤波器输出的数 据，作为第二模拟回声数据。
第二滤波器是用于对人声数据进行模拟的滤波器，第二滤波器的系数可 以通过维纳-霍甫夫方程或者最小均方算法求解得到。
终端设备将人声输入数据输入该第二滤波器，获取第二滤波器输出的数 据，作为第二模拟回声数据。该第二模拟回声数据能够模拟远端人声数据在 通过扬声器播放后形成的回声数据。
上述步骤S601和S602的执行顺序并不局限于图6所示，在具体实现时， 这两个步骤也可以并行执行，或者先执行S602再执行S601，对此本实施例不 作具体限定。。
S603：从所述环境声音数据中减去所述第一模拟回声数据和所述第二模 拟回声数据以实现回声消除处理。
由于环境声音数据中包括语音输入数据以及来自扬声器播放的数据，其 中，来自扬声器的播放数据包括播放的应用声音数据和播放的远端人声数据， 而第一模拟回声数据能够模拟播放的应用数据对应的回声数据，第二模拟回 声数据能够模拟播放的远端人声数据对应的回声数据，终端设备从环境声音 数据中减去第一模拟回声数据和第二模拟回声数据，相当于从环境声音数据 中消除播放的背景音乐数据的回声数据和播放的远端人声数据的回声数据， 得到语音输入数据，如此可以实现回声消除处理。
由上可知，本申请实施例提供了一种根据回声消除算法、应用声音数据 以及远端人声数据，对环境声音数据进行回声消除处理的实现方式，通过将 应用声音数据和远端人声数据分别输入各自对应的滤波器，模拟其通过扬声 器播放后形成的回声数据，然后从环境声音数据中减去应用声音数据的模拟 回声数据以及远端人声数据的模拟回声数据，从而实现回声消除处理。在该 实现方式中，每路通道滤波器互相独立，能各自逼近最佳的滤波器值，因此， 能够取得更好的回声抵消性能。
可以理解，本申请实施例提供的上述应用声音抑制方法能够被封装成应 用程序编程接口，作为应用声音抑制使能接口，该应用声音抑制使能接口用 于为应用提供服务接口，以便应用通过调用接口的方式实现应用声音的抑 制。在具体实现时，终端设备可以为应用设置可视化的控件或功能模块，以 便触发该控件或功能模块，调用该应用声音抑制使能接口实现应用声音抑制 方法。
为了更清楚地理解本申请提供的应用声音抑制方法的具体实现，下文将 结合图7A所示的游戏应用场景为例进行详细说明。图7A所示场景为，游戏 应用玩家双方在进行语音通信时，发送端利用本申请提供的应用声音抑制方 法抑制掉游戏背景音乐数据和远端人声数据，从而提高发送端的语音信噪 比，以使接收端接收到纯净的语音数据，提高双方通信质量。
在图7中，发送端内置有游戏引擎Unity和游戏语音SDK，游戏引擎中 集成有音频引擎FMOD，Unity可以通过FMOD从背景音源数据库中获取游 戏背景音乐数据，以通过扬声器播放游戏背景音乐。游戏语音SDK则可以获 取麦克风采集的环境声音数据，具体的，该环境声音数据包括游戏背景音乐 数据、发送端的语音输入数据以及接收端的人声数据即远端人声数据。而发 送端在向接收端发送该环境声音数据时，需要先利用上述应用声音抑制方法 抑制掉游戏背景音乐数据和远端人声数据，得到纯净的语音输入数据，以提 高游戏语音通信质量。
接下来，参见图7B所示的游戏界面示意图，结合用户交互界面对上述 应用声音抑制方法的具体实现进行说明，如图7B所示，游戏玩家可以通过 游戏界面上的语音输入控件和语音收听控件实现语音通信，具体地，游戏玩 家通过触控语音输入控件触发语音输入操作，终端设备响应于该语音输入操 作，发出麦克风开启指令，语音SDK接收到麦克风开启指令，将麦克风开启 信号同步给游戏引擎Unity，游戏引擎Unity调用音频插件Unity NativeAudio Plugin SDK，获取待播放的背景音乐，并将其存储到背景音乐参考队列，同 时获取远端人声数据，存储到远端人声参考队列，游戏语音SDK获取麦克风 采集信号，麦克风采集的环境声音信号混合了背景音乐回声、远端人声回声 以及近端玩家语音输入数据等3路信号，然后游戏语音SDK可以通过双通道 回声消除算法，将远端人声参考队列和背景音乐参考队列中的数据分别输入 对应的滤波器，以模拟远端人声回声和背景音乐回声，并从麦克风采集的环 境声音信号中消除模拟的远端人声回声和背景音乐回声，得到双通道回声消除输出信号，进而发送端将该双通道回声消除输出信号发送给接收端，以实 现语音通信，其中，接收端可以为一个，也可以为多个，例如可以为游戏玩 家战队中的其余玩家的终端设备。
以上为本申请实施例提供的一种应用声音抑制方法的一些具体实现方 式，基于此，本申请实施例还提供了一种应用声音抑制装置。接下来将从功 能模块化的角度对本申请实施例提供的应用声音抑制装置进行介绍。
图8为本申请实施例中应用声音抑制装置的结构示意图，参见图8，该装 置800包括：
第一获取模块810，用于获取应用声音数据；
第二获取模块820，用于获取麦克风采集的环境声音数据，所述环境声音 数据包括语音输入数据以及来自扬声器的播放数据；
回声消除模块830，用于根据回声消除算法和所述应用声音数据，对所述 环境声音数据进行回声消除处理。
可选的，所述第一获取模块810具体用于：
响应于麦克风开启指令，获取应用声音数据。
可选的，参见图9，图9为本申请实施例中应用声音抑制装置的一个结构 示意图，在图8所示结构的基础上，所述回声消除模块830包括:
第一输入子模块831，用于将所述应用声音数据输入第一滤波器，获取所 述第一滤波器输出的数据，作为第一模拟回声数据；
第一消除子模块832，用于从所述环境声音数据中消除所述第一模拟回声 数据以实现回声消除处理。
可选的，参见图10，图10为本申请实施例中应用声音抑制装置的一个结 构示意图，在图8所示结构的基础上，所述装置还包括第三获取模块840，具 体用于：
获取人声数据；
则回声消除模块830具体用于：
根据回声消除算法、所述应用声音数据以及所述人声数据，对所述环境 声音数据进行回声消除处理。
可选的，参见图11，图11为本申请实施例中应用声音抑制装置的一个结 构示意图，在图10所示结构的基础上，所述回声消除模块830包括：
合成子模块833，用于将所述应用声音数据和所述远端人声数据合成的数 据，作为联合数据；
第二输入子模块834，用于将所述联合数据输入联合滤波器，获取所述联 合滤波器输出的数据，作为联合模拟回声数据；
第二消除子模块835，用于从所述环境声音数据中消除所述联合模拟回声 数据以实现回声消除处理。
可选的，参见图12，图12为本申请实施例中应用声音抑制装置的一个结 构示意图，在图10所示结构的基础上，所述回声消除模块830包括：
第三输入子模块836，用于将所述应用声音数据输入第一滤波器，获取所 述第一滤波器输出的数据，作为第一模拟回声数据；
第四输入子模块837，用于将所述人声数据输入第二滤波器，获取所述第 二滤波器输出的数据，作为第二模拟回声数据；
第三消除子模块838，用于从所述环境声音数据中消除所述第一模拟回声 数据和所述第二模拟回声数据以实现回声消除处理。
可选的，参见图13，图13为本申请实施例中应用声音抑制装置的一个结 构示意图，在图10所示结构的基础上，所述装置还包括延迟估计模块850， 具体用于：
在对所述环境声音数据进行回声消除处理之前，对所述应用声音数据和 所述人声数据作延迟估计，以便根据延迟估计后的应用声音数据和延迟估计 后的人声数据进行回声消除处理。
可选的，参见图14，图14为本申请实施例中应用声音抑制装置的一个结 构示意图，在图8所示结构的基础上，所述装置还包括调整模块860，具体用 于：
若所述应用声音数据的音频属性与所述环境声音数据的音频属性不一致 时，则将所述环境声音数据的音频属性作为目标音频属性，按照所述目标音 频属性调整所述应用声音数据，得到符合目标音频属性的应用声音数据，所 述音频属性包括采样率和/或通道数目；
则回声消除模块830具体用于：
根据回声消除算法和所述符合目标音频属性的应用声音数据，对所述环 境声音数据进行回声消除处理。
可选的，第一获取模块810具体用于：
通过游戏引擎中的音频插件获取游戏应用的应用声音数据，所述应用声 音数据为游戏背景音乐数据。
可选的，参见图15，图15为本申请实施例中应用声音抑制装置的一个结 构示意图，在图8所示结构的基础上，所述装置还包括发送模块870，具体用 于：
将经过回声消除处理后的环境声音数据，通过应用服务器发送至接收 端，以使所述接收端接收所述经过回声消除处理后的环境声音数据。
由上可知，本申请实施例提供了一种应用声音抑制装置，该装置通过回 声消除算法实现应用声音抑制，具体地，将麦克风采集的环境声音数据作为 待处理信号，获取的应用声音数据作为参考信号，由于参考信号在通过扬声 器播放后，会在传播过程中形成回声被麦克风采集，而参考信号及其回声是 高度相关的，因此，采用回声消除算法和参考信号对待处理信号进行回声消 除处理，可以消除环境声音数据中应用声音的回声，从而实现应用声音抑 制。
图8至图15所示实施例从功能模块化的角度，对本申请实施例提供的应 用声音抑制装置进行了介绍，本申请实施例还提供了一种应用声音抑制设 备，接下来将从硬件实体化的角度对本申请实施例提供的应用声音抑制设备 进行介绍。
本申请实施例提供了一种应用声音抑制设备，该应用声音抑制设备可以 是终端设备，如图16所示，为了便于说明，仅示出了与本申请实施例相关的 部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以 为包括手机、平板电脑、个人数字助理(英文全称：Personal Digital Assistant， 英文缩写：PDA)、销售终端(英文全称：Pointof Sales，英文缩写：POS)、 车载电脑等任意终端设备，以终端为手机为例：
图16示出的是与本申请实施例提供的终端相关的手机的部分结构的框 图。参考图16，手机包括：射频(英文全称：Radio Frequency，英文缩写： RF)电路1610、存储器1620、输入单元1630、显示单元1640、传感器1650、 音频电路1660、无线保真(英文全称：wirelessfidelity，英文缩写：WiFi)模 块1670、处理器1680、以及电源1690等部件。本领域技术人员可以理解， 图16中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图16对手机的各个构成部件进行具体的介绍：
RF电路1610可用于收发信息或通话过程中，信号的接收和发送，特别 地，将基站的下行信息接收后，给处理器1680处理；另外，将设计上行的数 据发送给基站。通常，RF电路1610包括但不限于天线、至少一个放大器、 收发信机、耦合器、低噪声放大器(英文全称：Low Noise Amplifier，英文缩 写：LNA)、双工器等。此外，RF电路1610还可以通过无线通信与网络和其 他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(英文全称：Global System of Mobile communication，英文 缩写：GSM)、通用分组无线服务(英文全称：General Packet Radio Service， GPRS)、码分多址(英文全称：Code Division Multiple Access，英文缩写： CDMA)、宽带码分多址(英文全称：Wideband Code Division Multiple Access, 英文缩写：WCDMA)、长期演进(英文全称：Long Term Evolution，英文缩 写：LTE)、电子邮件、短消息服务(英文全称：ShortMessaging Service，SMS) 等。
存储器1620可用于存储软件程序以及模块，处理器1680通过运行存储 在存储器1620的软件程序以及模块，从而执行手机的各种功能应用以及数据 处理。存储器1620可主要包括存储程序区和存储数据区，其中，存储程序区 可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像 播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音 频数据、电话本等)等。此外，存储器1620可以包括高速随机存取存储器， 还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其 他易失性固态存储器件。
输入单元1630可用于接收输入的数字或字符信息，以及产生与手机的用 户设置以及功能控制有关的键信号输入。具体地，输入单元1630可包括触控 面板1631以及其他输入设备1632。触控面板1631，也称为触摸屏，可收集 用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体 或附件在触控面板1631上或在触控面板1631附近的操作)，并根据预先设定 的程式驱动相应的连接装置。可选的，触控面板1631可包括触摸检测装置和 触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触 摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置 上接收触摸信息，并将它转换成触点坐标，再送给处理器1680，并能接收处 理器1680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线 以及表面声波等多种类型实现触控面板1631。除了触控面板1631，输入单元 1630还可以包括其他输入设备1632。具体地，其他输入设备1632可以包括 但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1640可用于显示由用户输入的信息或提供给用户的信息以及手 机的各种菜单。显示单元1640可包括显示面板1641，可选的，可以采用液晶 显示器(英文全称：Liquid Crystal Display，英文缩写：LCD)、有机发光二极 管(英文全称：Organic Light-Emitting Diode，英文缩写：OLED)等形式来配 置显示面板1641。进一步的，触控面板1631可覆盖显示面板1641，当触控 面板1631检测到在其上或附近的触摸操作后，传送给处理器1680以确定触 摸事件的类型，随后处理器1680根据触摸事件的类型在显示面板1641上提供相应的视觉输出。虽然在图16中，触控面板1631与显示面板1641是作为 两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以 将触控面板1631与显示面板1641集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1650，比如光传感器、运动传感器以及其 他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环 境光传感器可根据环境光线的明暗来调节显示面板1641的亮度，接近传感器 可在手机移动到耳边时，关闭显示面板1641和/或背光。作为运动传感器的一 种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时 可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、 相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他 传感器，在此不再赘述。
音频电路1660、扬声器1661，传声器1662可提供用户与手机之间的音 频接口。音频电路1660可将接收到的音频数据转换后的电信号，传输到扬声 器1661，由扬声器1661转换为声音信号输出；另一方面，传声器1662将收 集的声音信号转换为电信号，由音频电路1660接收后转换为音频数据，再将 音频数据输出处理器1680处理后，经RF电路1610以发送给比如另一手机， 或者将音频数据输出至存储器1620以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1670可以帮助用户 收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互 联网访问。虽然图16示出了WiFi模块1670，但是可以理解的是，其并不属 于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1680是手机的控制中心，利用各种接口和线路连接整个手机的各 个部分，通过运行或执行存储在存储器1620内的软件程序和/或模块，以及调 用存储在存储器1620内的数据，执行手机的各种功能和处理数据，从而对手 机进行整体监控。可选的，处理器1680可包括一个或多个处理单元；优选的， 处理器1680可集成应用处理器和调制解调处理器，其中，应用处理器主要处 理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。 可以理解的是，上述调制解调处理器也可以不集成到处理器1680中。
手机还包括给各个部件供电的电源1690(比如电池)，优选的，电源可以 通过电源管理系统与处理器1680逻辑相连，从而通过电源管理系统实现管理 充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该终端所包括的处理器1680还具有以下功能：
获取应用声音数据；
获取麦克风采集的环境声音数据，所述环境声音数据包括语音输入数据 以及来自扬声器的播放数据；
根据回声消除算法和所述应用声音数据，对所述环境声音数据进行回声 消除处理。
可选的，处理器1680还可以用于执行本申请实施例中一种应用声音抑制 方法的任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该 程序代码用于执行前述各个实施例所述的一种应用声音抑制方法中的任意一 种实施方式。
本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上 运行时，使得计算机执行前述各个实施例所述的一种应用声音抑制方法中的 任意一种实施方式。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描 述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应 过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和 方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示 意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可 以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个 系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合 或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作 为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方， 或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或 者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元 中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一 个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功 能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售 或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本 申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的 全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个 存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机， 服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步 骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称： Read-Only Memory，英文缩写：ROM)、随机存取存储器(英文全称： Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储 程序代码的介质。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多 个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示 可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以 及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一 般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似 表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组 合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”， “a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可 以是多个。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制； 尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应 当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案 的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种应用声音抑制方法，其特征在于，包括：
获取应用声音数据；
获取麦克风采集的环境声音数据，所述环境声音数据包括语音输入数据以及来自扬声器的播放数据；
根据回声消除算法和所述应用声音数据，对所述环境声音数据进行回声消除处理。
2.根据权利要求1所述的方法，其特征在于，所述获取应用声音数据，包括：
响应于麦克风开启指令，获取应用声音数据。
3.根据权利要求1所述的方法，其特征在于，所述根据回声消除算法和所述应用声音数据，对所述环境声音数据进行回声消除处理，包括：
将所述应用声音数据输入第一滤波器，获取所述第一滤波器输出的数据，作为第一模拟回声数据；
从所述环境声音数据中消除所述第一模拟回声数据以实现回声消除处理。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取人声数据；
则所述根据回声消除算法和所述应用声音数据，对所述环境声音数据进行回声消除处理，具体包括：
根据回声消除算法、所述应用声音数据以及所述人声数据，对所述环境声音数据进行回声消除处理。
5.根据权利要求4所述的方法，其特征在于，所述根据回声消除算法、所述应用声音数据以及所述人声数据，对所述环境声音数据进行回声消除处理，包括：
将所述应用声音数据和所述远端人声数据合成的数据，作为联合数据；
将所述联合数据输入联合滤波器，获取所述联合滤波器输出的数据，作为联合模拟回声数据；
从所述环境声音数据中消除所述联合模拟回声数据以实现回声消除处理。
6.根据权利要求4所述的方法，其特征在于，所述根据回声消除算法、所述应用声音数据以及所述人声数据，对所述环境声音数据进行回声消除处理，包括：
将所述应用声音数据输入第一滤波器，获取所述第一滤波器输出的数据，作为第一模拟回声数据；
将所述人声数据输入第二滤波器，获取所述第二滤波器输出的数据，作为第二模拟回声数据；
从所述环境声音数据中消除所述第一模拟回声数据和所述第二模拟回声数据以实现回声消除处理。
7.根据权利要求所述的方法4至6中任一项所述的方法，其特征在于，在对所述环境声音数据进行回声消除处理之前，所述方法还包括：
对所述应用声音数据和所述人声数据作延迟估计，以便根据延迟估计后的应用声音数据和延迟估计后的人声数据进行回声消除处理。
8.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
若所述应用声音数据的音频属性与所述环境声音数据的音频属性不一致时，则将所述环境声音数据的音频属性作为目标音频属性，按照所述目标音频属性调整所述应用声音数据，得到符合目标音频属性的应用声音数据，所述音频属性包括采样率和/或通道数目；
则所述根据回声消除算法和所述应用声音数据，对所述环境声音数据进行回声消除处理，包括：
根据回声消除算法和所述符合目标音频属性的应用声音数据，对所述环境声音数据进行回声消除处理。
9.根据权利要求1至6中任一项所述的方法，其特征在于，所述获取应用声音数据，包括：
通过游戏引擎中的音频插件获取游戏应用的应用声音数据，所述应用声音数据为游戏背景音乐数据。
10.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：
将经过回声消除处理后的环境声音数据，通过应用服务器发送至接收端，以使所述接收端接收所述经过回声消除处理后的环境声音数据。
11.根据权利要求1至6任一项所述的方法，其特征在于，所述方法能够封装成声音抑制使能接口，所述应用声音抑制使能接口用于为应用提供服务接口，以便应用通过调用接口的方式实现应用声音的抑制。
12.一种应用声音抑制装置，其特征在于，包括：
第一获取模块，用于获取应用声音数据；
第二获取模块，用于获取麦克风采集的环境声音数据，所述环境声音数据包括语音输入数据以及来自扬声器的播放数据；
回声消除模块，用于根据回声消除算法和所述应用声音数据，对所述环境声音数据进行回声消除处理。
13.一种应用声音抑制设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1至9任一项所述的应用声音抑制方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1至9任一项所述的应用声音抑制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810916294.0A CN109166589A (zh) | 2018-08-13 | 2018-08-13 | 应用声音抑制方法、装置、介质以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810916294.0A CN109166589A (zh) | 2018-08-13 | 2018-08-13 | 应用声音抑制方法、装置、介质以及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109166589A true CN109166589A (zh) | 2019-01-08 |
Family
ID=64895610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810916294.0A Pending CN109166589A (zh) | 2018-08-13 | 2018-08-13 | 应用声音抑制方法、装置、介质以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109166589A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111210833A (zh) * | 2019-12-30 | 2020-05-29 | 联想(北京)有限公司 | 音频处理方法、电子设备和介质 |
| CN111696569A (zh) * | 2020-06-29 | 2020-09-22 | 美的集团武汉制冷设备有限公司 | 家电设备的回声消除方法、家电设备、终端和存储介质 |
| CN112509595A (zh) * | 2020-11-06 | 2021-03-16 | 广州小鹏汽车科技有限公司 | 音频数据处理方法、系统及存储介质 |
| CN112581993A (zh) * | 2020-12-22 | 2021-03-30 | 北京字节跳动网络技术有限公司 | 音频的录制方法、装置、可读介质和电子设备 |
| CN113079419A (zh) * | 2021-03-30 | 2021-07-06 | 北京字跳网络技术有限公司 | 应用程序的视频处理方法和电子设备 |
| CN113345394A (zh) * | 2020-02-17 | 2021-09-03 | 北京字节跳动网络技术有限公司 | 音频数据的处理方法、装置、电子设备及存储介质 |
| CN113345456A (zh) * | 2021-05-31 | 2021-09-03 | 北京小米移动软件有限公司 | 回声分离方法、装置及存储介质 |
| CN113470673A (zh) * | 2020-03-30 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、设备和存储介质 |
| WO2021212905A1 (zh) * | 2020-04-21 | 2021-10-28 | 珠海格力电器股份有限公司 | 一种音频处理方法、装置、电子设备及存储介质 |
| CN115119007A (zh) * | 2022-06-23 | 2022-09-27 | 恩平市新盈科电声科技有限公司 | 基于大数据的线上直播录制的音频采集处理系统及方法 |
| WO2022227625A1 (zh) * | 2021-04-28 | 2022-11-03 | 北京达佳互联信息技术有限公司 | 信号处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1737905A (zh) * | 2004-08-18 | 2006-02-22 | 华为技术有限公司 | 一种语音通信终端背景噪声的消除装置及方法 |
| WO2007130766A2 (en) * | 2006-05-04 | 2007-11-15 | Sony Computer Entertainment Inc. | Narrow band noise reduction for speech enhancement |
| GB201411875D0 (en) * | 2013-12-20 | 2014-08-20 | Csr Technology Inc | Acoustic echo cancellation (aec) for a close-coupled speaker and microphone system |
| CN204836533U (zh) * | 2015-08-18 | 2015-12-02 | 聚熵信息技术（上海）有限公司 | 一种具有回声消除功能的声控智能音箱 |
| CN107886965A (zh) * | 2017-11-28 | 2018-04-06 | 游密科技(深圳)有限公司 | 游戏背景音的回声消除方法 |
-
2018
- 2018-08-13 CN CN201810916294.0A patent/CN109166589A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1737905A (zh) * | 2004-08-18 | 2006-02-22 | 华为技术有限公司 | 一种语音通信终端背景噪声的消除装置及方法 |
| WO2007130766A2 (en) * | 2006-05-04 | 2007-11-15 | Sony Computer Entertainment Inc. | Narrow band noise reduction for speech enhancement |
| GB201411875D0 (en) * | 2013-12-20 | 2014-08-20 | Csr Technology Inc | Acoustic echo cancellation (aec) for a close-coupled speaker and microphone system |
| CN204836533U (zh) * | 2015-08-18 | 2015-12-02 | 聚熵信息技术（上海）有限公司 | 一种具有回声消除功能的声控智能音箱 |
| CN107886965A (zh) * | 2017-11-28 | 2018-04-06 | 游密科技(深圳)有限公司 | 游戏背景音的回声消除方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111210833A (zh) * | 2019-12-30 | 2020-05-29 | 联想(北京)有限公司 | 音频处理方法、电子设备和介质 |
| CN113345394A (zh) * | 2020-02-17 | 2021-09-03 | 北京字节跳动网络技术有限公司 | 音频数据的处理方法、装置、电子设备及存储介质 |
| CN113345394B (zh) * | 2020-02-17 | 2023-12-22 | 抖音视界有限公司 | 音频数据的处理方法、装置、电子设备及存储介质 |
| CN113470673A (zh) * | 2020-03-30 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、设备和存储介质 |
| WO2021212905A1 (zh) * | 2020-04-21 | 2021-10-28 | 珠海格力电器股份有限公司 | 一种音频处理方法、装置、电子设备及存储介质 |
| CN111696569B (zh) * | 2020-06-29 | 2023-12-15 | 美的集团武汉制冷设备有限公司 | 家电设备的回声消除方法、家电设备、终端和存储介质 |
| CN111696569A (zh) * | 2020-06-29 | 2020-09-22 | 美的集团武汉制冷设备有限公司 | 家电设备的回声消除方法、家电设备、终端和存储介质 |
| CN112509595A (zh) * | 2020-11-06 | 2021-03-16 | 广州小鹏汽车科技有限公司 | 音频数据处理方法、系统及存储介质 |
| CN112581993A (zh) * | 2020-12-22 | 2021-03-30 | 北京字节跳动网络技术有限公司 | 音频的录制方法、装置、可读介质和电子设备 |
| CN113079419A (zh) * | 2021-03-30 | 2021-07-06 | 北京字跳网络技术有限公司 | 应用程序的视频处理方法和电子设备 |
| WO2022227625A1 (zh) * | 2021-04-28 | 2022-11-03 | 北京达佳互联信息技术有限公司 | 信号处理方法及装置 |
| CN113345456A (zh) * | 2021-05-31 | 2021-09-03 | 北京小米移动软件有限公司 | 回声分离方法、装置及存储介质 |
| CN115119007B (zh) * | 2022-06-23 | 2023-03-03 | 恩平市新盈科电声科技有限公司 | 基于大数据的线上直播录制的音频采集处理系统及方法 |
| CN115119007A (zh) * | 2022-06-23 | 2022-09-27 | 恩平市新盈科电声科技有限公司 | 基于大数据的线上直播录制的音频采集处理系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109166589A (zh) | 应用声音抑制方法、装置、介质以及设备 | |
| CN104902116B (zh) | 一种音频数据与参考信号的时间对齐方法及装置 | |
| US10891938B2 (en) | Processing method for sound effect of recording and mobile terminal | |
| CN104581602B (zh) | 录音数据训练方法、多轨音频环绕方法及装置 | |
| CN108769784A (zh) | 屏幕录制方法、移动终端及存储介质 | |
| US20220076688A1 (en) | Method and apparatus for optimizing sound quality for instant messaging | |
| CN108762876A (zh) | 一种输入法切换方法、移动终端以及计算机存储介质 | |
| CN108093142A (zh) | 音量调节方法、移动终端及计算机可读存储介质 | |
| CN108737151A (zh) | 语音中继线路接入的方法、装置、移动终端和存储介质 | |
| CN108781236A (zh) | 音频播放方法及电子设备 | |
| CN111179957A (zh) | 一种语音通话的处理方法以及相关装置 | |
| CN107734426A (zh) | 音频信号处理方法、终端及计算机可读存储介质 | |
| CN107135308A (zh) | 多媒体文件播放声音控制方法、移动终端及可读存储介质 | |
| CN108055366A (zh) | 终端通话界面处理方法、移动终端及计算机可读存储介质 | |
| CN109348306A (zh) | 视频播放方法、终端及计算机可读存储介质 | |
| CN107786714B (zh) | 基于车载多媒体设备的语音控制方法、装置及系统 | |
| CN108833665A (zh) | 通信方法、可穿戴设备及计算机可读存储介质 | |
| CN109582817A (zh) | 一种歌曲推荐方法、终端及计算机可读存储介质 | |
| CN109088997A (zh) | 一种游戏音频控制方法、终端及计算机可读存储介质 | |
| CN109992183A (zh) | 图片预览与选取的方法、终端及存储介质 | |
| CN108055483A (zh) | 一种照片合成方法、移动终端及计算机可读存储介质 | |
| CN110187808A (zh) | 动态壁纸设置方法、装置及计算机可读存储介质 | |
| CN105786439B (zh) | 一种终端中声音的控制方法和装置 | |
| CN109375894A (zh) | 耳机音量提醒方法、装置、移动终端及可读存储介质 | |
| CN106506834B (zh) | 通话中添加背景音的方法、终端及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |