CN110995950B - 基于pc端和移动端回音消除自适应的方法 - Google Patents

基于pc端和移动端回音消除自适应的方法 Download PDF

Info

Publication number
CN110995950B
CN110995950B CN201911086296.2A CN201911086296A CN110995950B CN 110995950 B CN110995950 B CN 110995950B CN 201911086296 A CN201911086296 A CN 201911086296A CN 110995950 B CN110995950 B CN 110995950B
Authority
CN
China
Prior art keywords
equipment
echo cancellation
voice data
parameters
sending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911086296.2A
Other languages
English (en)
Other versions
CN110995950A (zh
Inventor
陈杭峰
金伟
应红力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Mirui Technology Co ltd
Original Assignee
Hangzhou Mirui Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Mirui Technology Co ltd filed Critical Hangzhou Mirui Technology Co ltd
Priority to CN201911086296.2A priority Critical patent/CN110995950B/zh
Publication of CN110995950A publication Critical patent/CN110995950A/zh
Application granted granted Critical
Publication of CN110995950B publication Critical patent/CN110995950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/006—Networks other than PSTN/ISDN providing telephone service, e.g. Voice over Internet Protocol (VoIP), including next generation networks with a packet-switched transport layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及语音技术领域，公开了基于PC端和移动端回音消除自适应的方法，该方法的设备包括发送设备、接收设备、云端消除服务器；发送设备、接收设备均为自带回声消除服务的设备，如：手机设备，嵌入式设备和PC机设备。云端消除服务器已经处理的设备不采集语音数据，没有处理过的设备会采集语音数据，对于用户使用设备过程中反馈回声消除效果有问题的设备，会进行自适应调整回声消除参数。通过本发明的设计实现了在回音消除主流技术的整合，增加了云端服务的支持，可以模拟并还原真实对讲环境，来实现云端动态计算回音消除参数，可以很好地满足各种设备的回声消除，达到回声消除最佳的效果。

Description

基于PC端和移动端回音消除自适应的方法
技术领域
本发明涉及语音技术领域，尤其涉及了基于PC端和移动端回音消除自适应的方法。
背景技术
在智能通话设备上，回音消除技术已经十分成熟。但是，这些设备的回音消除方案均是固定在嵌入式软件中，不便于修改，而且缺少云端的支持。目前市场上，安卓的机型太多，在对嵌入式设备对接的时候不能很好地做好回声的消除，需要借助云端强大的计算功能，才能达到最好的回声消除效果。
专利标题：回音消除系统，申请号：CN201210562446.4，申请日：2012-12-21 的发明专利中记载，回音消除系统包括：一远端装置，提取一远端提取声音；一服务器，耦接至该远端装置；以及一近端装置，耦接至该服务器。该服务器将该远端装置所传来的该远端提取声音传送至该近端装置。该近端装置接收、存储并播放该远端提取声音为一近端播放声音，该近端播放声音经过反射后而产生一回音，该近端装置提取该回音与一近端声音成为一近端提取声音。该近端装置将该远端提取声音与该近端提取声音传给该服务器，以由该服务器进行回音消除后送至该远端装置。
发明内容
本发明针对现有技术中存在回声消除固定在嵌入式软件中，不支持云端的问题，提出了基于PC端和移动端回音消除自适应的方法。
为了解决上述技术问题，本发明通过下述技术方案得以解决：
基于PC端和移动端回音消除自适应的方法，包括以下步骤：
步骤1：发送设备发送请求语音聊天信号，接收设备接收到请求语音聊天信号，反馈接受语音聊天信号给发送设备；
步骤2：发送设备将设备参数传输给云服务器，接收设备将设备参数传输给云服务器；云服务器将接收设备的配置参数反馈给接收设备，将发送设备的配置参数反馈给发送设备；
步骤3：发送设备初始化发送设备的回声消除参数，接收设备初始化接收设备的回声消除参数；
步骤4：发送设备将采集语音数据信号传输给云服务器，云服务器将语音数据信号传输给接收设备；
步骤5：接收设备播放接收的语音数据信号，并同时录制接收设备的语音数据信号，再将语音数据信号发送给回声消除库进行处理；
步骤6：接收设备将语音数据信号传输给云服务器，云服务器将语音数据信号传输给发送设备；
步骤7：发送设备播放接收的语音数据信号，并同时录制发送设备的语音数据信号，再将语音数据信号发送给回声消除库进行处理；
步骤8：发送设备将语音数据信号传输给云服务器，云服务器将语音数据信号传输给接收设备；
步骤9：发送设备将结束对讲信号传输给云服务器，云服务器将结束对讲信号传输给接收设备；
步骤10：发送设备将录音文件传输给云服务器，接收设备将录音文件传输给云服务器；
步骤11：云服务器对接收的录音文件进行脚本处理。
步骤1中发送设备和接收设备为自带回声消除的设备；该设备可以是手机设备，嵌入式设备和PC机设备。
步骤2中接收设备和发送设备的配置参数包括型号和厂家；
云服务器包括https服务器、socket服务器和自动计算回声消除服务器；https 服务器对云服务器接收到发送设备的语音数据进行云端回声消除配置服务，并返回发送设备的型号及该发送设备云端回声消除配置的参数；同时也可以对云服务器接收到接收设备的语音数据进行云端回声消除配置服务，并返回接收设备的型号及该接收设备云端回声消除配置的参数。
socket服务器用于云服务器接收到发送设备语音数据的录制，同时也用于云服务器接收到接收设备语音数据的录制。
自动计算回声消除服务器可以还原接收设备和发送设备的对讲场景，并自动计算接收设备和发送设备对应的回声消除参数，并使的接收设备和发送设备回声消除达到最佳的效果。
步骤3中回声消除参数包括aecm参数、ns参数和agc参数，aecm参数、ns参数和agc参数安照Json格式进行配置；Json格式包括手机型号参数、回声消除delayms参数、agc参数、aecm参数、ns参数、高斯滤波、drift组件、上传文件。
回声消除delayms参数决定了回声消除效果。agc参数配置中，enable参数大于98用在扬声器放大，表示放大enable参数对应的倍数，sendenable参数大于98用在Mic采集数据，speakoutvolume参数配置0-100扬声器音量大小， aecm参数配置回声消除开启和关闭，ns参数配置降噪开启与关闭。
步骤6和步骤8中语音数据的传输速率为25帧每秒，单通道PCM的数据格式进行传输；录制语音数据的保存时间保存时间的格式为4字节时间戳+320 字节数据的形式。
云端消除服务器平台可以通过脚本配置相应的agc参数、aecm参数、ns参数，传输到云端消除服务器平台进行保存。输入相应的参数后回声处理后的数据，远端的声音数据，MIC端的未降燥数据，MIC端降燥的数据，通过解密得到每帧数据的时间戳，按照时间戳进行回声消除处理，还原用户的场景。同时直接播放回声消除后的语音数据。
云端消除服务器平台已经处理的设备不采集语音数据，没有处理过的设备会采集语音数据，对于用户使用设备过程中反馈回声消除效果有问题的设备，会进行自适应调整回声消除参数。
本发明由于采用了以上技术方案，具有显著的技术效果：本发明采用云端消除服务器平台可以自动计算发送设备和接收设备的回音消除参数，可以根据云端消除服务器平台识别接收设备和发送设备的回音消除参数，由于采用了云端消除服务器平台可以整合更多的设备，包括PC端、手机端、嵌入式端等各种可用于传输语音的设备。在使用过程中，针对云端消除服务器已经处理的设备不采集语音数据，没有处理过的设备会采集语音数据，对于用户使用设备过程中反馈回声消除效果有问题的设备，会进行自适应调整回声消除参数，达到回声消除最佳的效果。
附图说明
图1是本发明的整体步骤流程图。
图2是本发明的回声消除流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步详细描述。
实施例1
基于PC端和移动端回音消除自适应的方法，包括以下步骤：
步骤1：发送设备发送请求语音聊天信号，接收设备接收到请求语音聊天信号，反馈接受语音聊天信号给发送设备；
步骤2：发送设备将设备参数传输给云服务器，接收设备将设备参数传输给云服务器；云服务器将接收设备的配置参数反馈给接收设备，将发送设备的配置参数反馈给发送设备；
步骤3：发送设备初始化发送设备的回声消除参数，接收设备初始化接收设备的回声消除参数；
步骤4：发送设备将采集语音数据信号传输给云服务器，云服务器将语音数据信号传输给接收设备；
步骤5：接收设备播放接收的语音数据信号，并同时录制接收设备的语音数据信号，再将语音数据信号发送给回声消除库进行处理；
步骤6：接收设备将语音数据信号传输给云服务器，云服务器将语音数据信号传输给发送设备；
步骤7：发送设备播放接收的语音数据信号，并同时录制发送设备的语音数据信号，再将语音数据信号发送给回声消除库进行处理；
步骤8：发送设备将语音数据信号传输给云服务器，云服务器将语音数据信号传输给接收设备；
步骤9：发送设备将结束对讲信号传输给云服务器，云服务器将结束对讲信号传输给接收设备；
步骤10：发送设备将录音文件传输给云服务器，接收设备将录音文件传输给云服务器；
步骤11：云服务器对接收的录音文件进行脚本处理。
步骤1中发送设备和接收设备为自带回声消除的设备；该设备可以是手机设备，嵌入式设备和PC机设备。
步骤2中接收设备和发送设备的配置参数包括型号和厂家；
云服务器包括https服务器、socket服务器和自动计算回声消除服务器；https 服务器对云服务器接收到发送设备的语音数据进行云端回声消除配置服务，并返回发送设备的型号及该发送设备云端回声消除配置的参数；同时也可以对云服务器接收到接收设备的语音数据进行云端回声消除配置服务，并返回接收设备的型号及该接收设备云端回声消除配置的参数。
socket服务器用于云服务器接收到发送设备语音数据的录制，同时也用于云服务器接收到接收设备语音数据的录制。
自动计算回声消除服务器可以还原接收设备和发送设备的对讲场景，并自动计算接收设备和发送设备对应的回声消除参数，并使的接收设备和发送设备回声消除达到最佳的效果。
步骤6和步骤8中语音数据的传输速率为25帧每秒，单通道PCM的数据格式进行传输；录制语音数据的保存时间保存时间的格式为4字节时间戳+320 字节数据的形式。
云端消除服务器平台可以通过脚本配置相应的agc参数、aecm参数、ns参数，传输到云端消除服务器平台进行保存。输入相应的参数后回声处理后的数据，远端的声音数据，MIC端的未降燥数据，MIC端降燥的数据，通过解密得到每帧数据的时间戳，按照时间戳进行回声消除处理，还原用户的场景。同时直接播放回声消除后的语音数据。
云端消除服务器平台已经处理的设备不采集语音数据，没有处理过的设备会采集语音数据，对于用户使用设备过程中反馈回声消除效果有问题的设备，会进行自适应调整回声消除参数。
依据附图2所示，一端网络流接收网络流传送的语音数据，经过speaker线程对语音数据进行处理，一方面可以将放大的数据传送给NS、AGC调优/云端配置模块进行回声消除参数的配置，然后再将语音数据传送给麦克风/放大电路进行处理，最后将经过处理后的语音数据传送至远端设备；另一方面speaker线程处理后的数据通过队列等待，再传送给NS、AGC调优/云端配置模块，再将经过处理的数据传送给网络流。另一端远端设备和近端设备将语音数据传送至MIC 线程模块，MIC线程模块对语音数据进行降噪处理，再将处理后的语音数据传送给NS调优模块，NS调优模块开启降噪模式，并将经过降噪的语音数据传送至NS、AGC调优/云端配置模块，NS、AGC调优/云端配置模块对接收的语音数据进行相关的配置及优化，再将经过处理的语音数据传送给网络流。
实施例2
步骤3中回声消除参数包括aecm参数、ns参数和agc参数，aecm参数、 ns参数和agc参数安照Json格式进行配置；Json格式包括手机型号参数、回声消除delayms参数、agc参数、aecm参数、ns参数、高斯滤波、drift组件、上传文件。
回声消除delayms参数决定了回声消除效果。agc参数配置中，enable参数大于98用在扬声器放大，表示放大enable参数对应的倍数，sendenable参数大于98用在Mic采集数据，speakoutvolume参数配置0-100扬声器音量大小， aecm参数配置回声消除开启和关闭，ns参数配置降噪开启与关闭。
总之，以上所述仅为本发明的较佳实施例，凡依本本发明申请专利范围所作的均等变化与修饰，皆应属本本发明专利的涵盖范围。

Claims (3)

1.基于PC端和移动端回音消除自适应的方法，其特征在于，云服务器包括https服务器、socket服务器和自动计算回声消除服务器；
https服务器对云服务器接收到发送设备的语音数据进行云端回声消除配置服务，并返回发送设备的型号及该发送设备云端回声消除的配置参数；同时对云服务器接收到接收设备的语音数据进行云端回声消除配置服务，并返回接收设备的型号及该接收设备云端回声消除的配置参数；
socket 服务器用于云服务器接收到发送设备语音数据的录制，同时用于云服务器接收到接收设备语音数据的录制；自动计算回声消除服务器还原接收设备和发送设备的对讲场景，并自动计算接收设备和发送设备对应的回声消除参数，并对接收设备和发送设备进行回声消除；
所述方法包括以下步骤：
步骤1：发送设备发送请求语音聊天信号，接收设备接收到请求语音聊天信号，反馈接受语音聊天信号给发送设备；
步骤2：发送设备将设备参数传输给云服务器，接收设备将设备参数传输给云服务器；云服务器将接收设备的配置参数反馈给接收设备，将发送设备的配置参数反馈给发送设备；
步骤3：发送设备初始化发送设备的回声消除参数，接收设备初始化接收设备的回声消除参数；回声消除参数包括aecm参数、ns参数和agc参数，aecm参数、ns参数和agc参数安照Json格式进行配置；Json格式包括手机型号参数、回声消除delayms参数、agc参数、aecm参数、ns参数、高斯滤波、drift组件、上传文件；
步骤4：发送设备将采集语音数据信号传输给云服务器，云服务器将语音数据信号传输给接收设备；
步骤5：接收设备播放接收的语音数据信号，并同时录制接收设备的语音数据信号，再将语音数据信号发送给回声消除库进行处理；
步骤6：接收设备将语音数据信号传输给云服务器，云服务器将语音数据信号传输给发送设备；
步骤7：发送设备播放接收的语音数据信号，并同时录制发送设备的语音数据信号，再将语音数据信号发送给回声消除库进行处理；
步骤8：发送设备将语音数据信号传输给云服务器，云服务器将语音数据信号传输给接收设备；
步骤9：发送设备将结束对讲信号传输给云服务器，云服务器将结束对讲信号传输给接收设备；
步骤10：发送设备将录音文件传输给云服务器，接收设备将录音文件传输给云服务器；
步骤11：云服务器对接收的录音文件进行脚本处理。
2.根据权利要求1所述的基于PC端和移动端回音消除自适应的方法，其特征在于：步骤1中发送设备和接收设备为自带回声消除的设备。
3.根据权利要求1所述的基于PC端和移动端回音消除自适应的方法，其特征在于：步骤2中的接收设备和发送设备的配置参数包括型号和厂家。
CN201911086296.2A 2019-11-08 2019-11-08 基于pc端和移动端回音消除自适应的方法 Active CN110995950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911086296.2A CN110995950B (zh) 2019-11-08 2019-11-08 基于pc端和移动端回音消除自适应的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911086296.2A CN110995950B (zh) 2019-11-08 2019-11-08 基于pc端和移动端回音消除自适应的方法

Publications (2)

Publication Number Publication Date
CN110995950A CN110995950A (zh) 2020-04-10
CN110995950B true CN110995950B (zh) 2022-02-01

Family

ID=70083548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911086296.2A Active CN110995950B (zh) 2019-11-08 2019-11-08 基于pc端和移动端回音消除自适应的方法

Country Status (1)

Country Link
CN (1) CN110995950B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09172485A (ja) * 1995-09-21 1997-06-30 Rockwell Internatl Corp スピーカホンシステム、およびそこにおける送信および受信信号振幅を調節し、制御するための方法
CN102299962A (zh) * 2011-08-24 2011-12-28 中兴通讯股份有限公司 一种基于云服务的VoIP系统、装置和方法
CN102857650A (zh) * 2012-08-29 2013-01-02 苏州佳世达电通有限公司 动态调整语音的方法
CN107958671A (zh) * 2017-11-22 2018-04-24 广州市六体智能科技有限公司 一种执法记录仪的回声消除装置
CN109087662A (zh) * 2018-10-25 2018-12-25 科大讯飞股份有限公司 一种回声消除方法及装置
CN109087660A (zh) * 2018-09-29 2018-12-25 百度在线网络技术（北京）有限公司 用于回声消除的方法、装置、设备以及计算机可读存储介质
CN109285554A (zh) * 2017-07-20 2019-01-29 阿里巴巴集团控股有限公司 一种回声消除方法、服务器、终端及系统
CN110085223A (zh) * 2019-04-02 2019-08-02 北京云知声信息技术有限公司 一种云端互动的语音交互方法
CN110136736A (zh) * 2019-05-27 2019-08-16 广州视源电子科技股份有限公司 一种回音消除系统、方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020279B2 (en) * 2001-10-19 2006-03-28 Quartics, Inc. Method and system for filtering a signal and for providing echo cancellation
US9881630B2 (en) * 2015-12-30 2018-01-30 Google Llc Acoustic keystroke transient canceler for speech communication terminals using a semi-blind adaptive filter model
US10439673B2 (en) * 2017-12-11 2019-10-08 Mitel Cloud Services, Inc. Cloud-based acoustic echo canceller
CN110310653A (zh) * 2019-07-09 2019-10-08 杭州国芯科技股份有限公司 一种回声消除方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09172485A (ja) * 1995-09-21 1997-06-30 Rockwell Internatl Corp スピーカホンシステム、およびそこにおける送信および受信信号振幅を調節し、制御するための方法
CN102299962A (zh) * 2011-08-24 2011-12-28 中兴通讯股份有限公司 一种基于云服务的VoIP系统、装置和方法
CN102857650A (zh) * 2012-08-29 2013-01-02 苏州佳世达电通有限公司 动态调整语音的方法
CN109285554A (zh) * 2017-07-20 2019-01-29 阿里巴巴集团控股有限公司 一种回声消除方法、服务器、终端及系统
CN107958671A (zh) * 2017-11-22 2018-04-24 广州市六体智能科技有限公司 一种执法记录仪的回声消除装置
CN109087660A (zh) * 2018-09-29 2018-12-25 百度在线网络技术（北京）有限公司 用于回声消除的方法、装置、设备以及计算机可读存储介质
CN109087662A (zh) * 2018-10-25 2018-12-25 科大讯飞股份有限公司 一种回声消除方法及装置
CN110085223A (zh) * 2019-04-02 2019-08-02 北京云知声信息技术有限公司 一种云端互动的语音交互方法
CN110136736A (zh) * 2019-05-27 2019-08-16 广州视源电子科技股份有限公司 一种回音消除系统、方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110995950A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
US9412378B2 (en) Device and method for supplying a reference audio signal to an acoustic processing unit
CN101668085B (zh) 一种调节移动终端语音输出的方法及移动终端
US10891938B2 (en) Processing method for sound effect of recording and mobile terminal
CN107636758A (zh) 声学回声消除系统和方法
CN104243732A (zh) 振动传感器在回声消除中的使用
CN107360530B (zh) 一种回声消除的测试方法和装置
CN101370323A (zh) 执行声学回音消除的装置及其方法
EP2982101A1 (en) Noise reduction
US9491545B2 (en) Methods and devices for reverberation suppression
CN109195090B (zh) 用于产品内麦克风电声参数的测试方法及系统
CN105260159B (zh) 一种音频播放方法和装置
US20090174761A1 (en) Device, Method and Computer Program Product for Responding to Media Conference Deficiencies
CN113542960B (zh) 音频信号处理方法、系统、装置、电子设备和存储介质
US20190221226A1 (en) Electronic apparatus and echo cancellation method applied to electronic apparatus
CN112770212A (zh) 一种无线耳机、视频录制系统及方法、存储介质
CN114845144A (zh) 一种投屏方法、辅助投屏装置及存储介质
CN110995950B (zh) 基于pc端和移动端回音消除自适应的方法
CN107958671B (zh) 一种执法记录仪的回声消除装置
CN111933168B (zh) 基于binder的软回路动态消回声方法及移动终端
CN104427287B (zh) 数据处理方法及设备
US11804237B2 (en) Conference terminal and echo cancellation method for conference
CN107197403B (zh) 一种终端音频参数管理方法、装置及系统
CN111081238A (zh) 一种蓝牙音箱语音交互控制方法、装置及系统
CN112925500A (zh) 一种会议设备
CN113225574A (zh) 信号处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310000 rooms 604 and 605, building 1, 768 Jianghong Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province (self declaration)

Applicant after: Hangzhou Mirui Technology Co.,Ltd.

Address before: 310051 rooms 604 and 605, building 1, 768 Jianghong Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province (self declaration)

Applicant before: HANGZHOU MEARI TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant