CN110933557B - 麦克风回音消除方法、装置、设备和计算机存储介质 - Google Patents
麦克风回音消除方法、装置、设备和计算机存储介质 Download PDFInfo
- Publication number
- CN110933557B CN110933557B CN201911307457.6A CN201911307457A CN110933557B CN 110933557 B CN110933557 B CN 110933557B CN 201911307457 A CN201911307457 A CN 201911307457A CN 110933557 B CN110933557 B CN 110933557B
- Authority
- CN
- China
- Prior art keywords
- signal
- echo
- microphone
- eliminating
- vibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000005236 sound signal Effects 0.000 claims abstract description 11
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims abstract description 10
- 230000008030 elimination Effects 0.000 claims description 14
- 238000003379 elimination reaction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only
- H04R1/28—Transducer mountings or enclosures modified by provision of mechanical or acoustic impedances, e.g. resonator, damping means
- H04R1/2807—Enclosures comprising vibrating or resonating arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Otolaryngology (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Telephone Function (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开了一种麦克风回音消除方法，所述方法应用于终端，所述终端中包括通信连接的扬声器和麦克风，所述麦克风包括主麦克风和副麦克风；包括以下步骤：扬声器接收音频信号产生振动，所述扬声器振动产生声波并引起机壳振动；主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号；根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声；将回声消除后的第一信号和回声消除后的第二信号合成并输出。本发明还公开了一种麦克风回音消除装置、设备和计算机存储介质。本发明提高了麦克风回音消除的准确率。
Description
技术领域
本发明涉及声音信号处理领域，尤其涉及麦克风回音消除方法、装置、设备和计算机存储介质。
背景技术
随着科技的发展和社会的不断进步，终端设备的应用越来越多。终端设备通过麦克风和扬声器进行声音的采集和播放，在麦克风和扬声器协同工作的时候经常出现回音，回音是由于扬声器的声音多次反馈到麦克风引起的。
传统消除回音是在终端的电路中设置一块集成芯片，将信号传输至集成芯片中，采用统一算法机制调试，将语音信号中与播出声音的信号进行对比进行消除，这样的回音消除算法还是会出现回声处理效果不彻底的情况。
发明内容
本发明的主要目的在于提供一种麦克风回音消除方法、装置、设备和计算机存储介质，旨在解决当前麦克风回音消除不彻底的技术问题。
为实现上述目的，本发明提供麦克风回音消除方法，所述麦克风回音消除方法应用于终端，所述终端中包括通信连接的扬声器和麦克风，所述麦克风包括主麦克风和副麦克风；
所述麦克风回音消除方法包括以下步骤：
扬声器接收音频信号产生振动，所述扬声器振动产生声波并引起机壳振动；
主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号；
根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声；
将回声消除后的第一信号和回声消除后的第二信号合成并输出。
在一实施例中，所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤，包括：
通过预设算法分离出所述第一信号中的回声参考信号，根据所述回声参考信号消除所述第一信号中的回声；
将所述第三信号反向处理得到反向振动信号，将所述反向振动信号和所述第二信号进行叠加，消除所述第二信号中的回声。
在一实施例中，所述通过预设算法分离出所述第一信号中的回声参考信号，根据所述回声参考信号消除所述第一信号中的回声的步骤，包括：
提取所述第一信号中的下行信号，通过分离所述下行信号得到回声参考信号；
按照所述回声参考信号调整所述第一信号，并消除所述第一信号中的回声。
在一实施例中，所述主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号的步骤之后，包括：
判断所述第三信号的信号强度是否大于预设信号强度；
若所述第三信号的信号强度小于或等于预设信号强度，则根据预设算法消除所述第一信号中的回声和所述第二信号中的回声，并将回声消除后的第一信号和回声消除后的第二信号合成并输出；
若所述第三信号的信号强度大于预设信号强度，则执行所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤。
在一实施例中，所述主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号的步骤之后，包括：
判断所述第三信号的拾取时间和所述第二信号的拾取时间是否存在时间差；
若所述第三信号的拾取时间和所述第二信号的拾取时间存在时间差，则根据预设算法消除所述第一信号中的回声，根据所述时间差调整所述第三信号，并根据调整后的第三信号处理所述第二信号，消除所述第二信号中的回声；
若所述第三信号的拾取时间和所述第二信号的拾取时间不存在时间差，则执行所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤。
在一实施例中，所述主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号的步骤之后，包括：
计算所述第三信号与所述第二信号的相似度；
若所述第三信号与所述第二信号的相似度小于或等于预设阈值，则调整所述副麦克风与所述主麦克风之间的相对位置，直至所述第三信号与所述第二信号的相似度大于预设相似度阈值；
若所述第三信号与所述第二信号的相似度大于预设相似度阈值，则执行所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤。
在一实施例中，所述将回声消除后的第一信号和回声消除后的第二信号合成并输出的步骤包括：
将回声消除后的第一信号和回声消除后的第二信号按照时间进行叠加，得到合并信号；
在所述合并信号的清晰度高于预设清晰度时，输出所述合并信号。
此外，为实现上述目的，本发明还提供一种麦克风回音消除装置，所述麦克风回音消除装置包括通信连接的扬声器和麦克风，所述麦克风包括主麦克风和副麦克风：
所述麦克风回音消除装置包括：
振动产生模块，用于扬声器接收音频信号产生振动，所述扬声器振动产生声波并引起机壳振动；
信号拾取模块，用于主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号；
回音消除模块，用于根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声；
信号合成模块，用于将回声消除后的第一信号和回声消除后的第二信号合成并输出。
此外，为实现上述目的，本发明还提供一种麦克风回音消除设备；
所述麦克风回音消除设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中：
所述计算机程序被所述处理器执行时实现如上所述的麦克风回音消除方法的步骤。
此外，为实现上述目的，本发明还提供计算机存储介质；
所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的麦克风回音消除方法的步骤。
本发明实施例提出的一种麦克风回音消除方法、装置、设备和计算机存储介质，本发明实施例终端的扬声器接收音频信号产生振动，所述扬声器振动产生声波并引起机壳振动；主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号；根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声；将回声消除后的第一信号和回声消除后的第二信号合成并输出；本发明实施例在终端中增设副麦克风，副麦克风装配方式设计与主麦克风一致，通过副麦克风拾取的机壳振动信号，并利用副麦克风采集的信号处理主麦克风采集的信号，以彻底去除机壳振动产生的回声。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图；
图2为本发明麦克风回音消除方法第一实施例的流程示意图；
图3为本发明麦克风回音消除方法第一实施例中麦克风结构示意图；
图4为本发明麦克风回音消除方法第一实施例中具体场景示意图；
图5为本发明麦克风回音消除装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端(又叫麦克风回音消除设备，其中，麦克风回音消除设备可以是由单独的麦克风回音消除装置构成，也可以是由其他装置与麦克风回音消除装置组合形成)结构示意图。
本发明实施例终端可以固定终端，也可以是移动终端，如，带联网功能的智能空调、智能电灯、智能电源、智能音箱、自动驾驶汽车、PC(personal computer)个人计算机、智能手机、平板电脑、电子书阅读器、便携计算机等。
如图1所示，该终端可以包括：处理器1001，例如，中央处理器Central ProcessingUnit，CPU)，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WIFI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如，磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块；输入单元，比显示屏，触摸屏；网络接口可选除无线接口中除WiFi外，蓝牙、探针等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，该计算机软件产品存储在一个存储介质(存储介质：又叫计算机存储介质、计算机介质、可读介质、可读存储介质、计算机可读存储介质或者直接叫介质等，存储介质可以是非易失性可读存储介质，如RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的计算机程序，并执行本发明以下实施例提供的麦克风回音消除方法中的步骤。
目前产品麦克风与扬声器的设计方案，容易出现扬声器带动机壳振动引起麦克风收到信号的问题。而消除振动干扰的设计需要牺牲较多的空间(如上下都是泡棉结构)。有些产品受限于空间及保证防水及密封性能的要求，一些麦克风的设计方案(如热熔固定或打胶密封等)，无法完全消除机壳振动引起麦克风接收回声信号问题。使得麦克风可能收到的回声信号有两个路径，一个是扬声器发声外部声波被麦克风拾取；另一个为扬声器振动带动机壳振动，进一步被麦克风拾取到信号。而回声消除算法处理机制大多是基于第一种路径。因为机壳振动传播与空气振动传播，麦克风拾取信号的规律不一致。采用统一算法机制调试，会导致回声处理效果不彻底。
当前已有方案多为通过振动传感器或加速度计等器件来收集振动信号来生成反向信号进行消除振动噪声，但事实上通过振动传感器(或加速度计)进行信号采集，与通过麦克风进行信号采集，这两者由于本身器件特性差异，对于拾取的振动信号必然存在差异性，这样就导致振动传感器(或加速度计)接收到的信号作为振动参考信号时不够精确，生成反向信号进行回声消除不够彻底。
结合图3，本发明实施例提供一种解决方案，使用一颗与主麦克风相同的副麦克风代替振动传感器或加速度计等传感器，且副麦克风装配方式设计与主麦克风一致，位置靠近主麦克风，这样副麦克风拾取的机壳振动信号更接近于主麦克风拾取的机壳振动信号。
需要补充说明的是，结合图4，本实施例中副麦克风装配的结构件上不设计音孔，副麦克风不能拾取外部的声波信号，只拾取终端机壳振动信号。这样扬声器与麦克风同时工作时，主麦克风拾取的回声信号为外部声波信号①+机壳振动信号②；副麦克风拾取的信号为机壳振动信号②。这样在进行回声消除时分为两路：一路是在针对外部声波信号进行反向消除；另一路为副麦克风拾取的振动参考信号，进行反向消除，以提高回声消除准确度。
基于上述的硬件结构提出了本发明麦克风回音消除方法的实施例。
参照图2，在本发明麦克风回音消除方法的第一实施例中，所述麦克风回音消除方法包括：
步骤S10，扬声器接收音频信号产生振动，所述扬声器振动产生声波并引起机壳振动。
本发明实施例中的麦克风回音消除方法应用在麦克风回音消除设备(又叫终端)，终端上设置通信连接的扬声器和麦克风，麦克风包括主麦克风和副麦克风，副麦克风装配方式设计与主麦克风一致，位置靠近主麦克风。这样使得副麦克风拾取的机壳振动信号更接近于主麦克风拾取的机壳振动信号。副麦克风装配的结构件上不设计音孔，副麦克风不能拾取外部的声波信号，只拾取终端机壳振动信号。。
结合图3在原有主麦克风的基础上，增加一个相同的辅助副麦克风。副麦克风位置尽量靠近主麦克风，且组装方式保持一致，以此保证主麦克风与副麦克风收到的振动噪声最大可能一致，终端根据副麦克风采集的到语音信号对主麦克风采集到的声音进行处理，以消除机壳振动产生的回声。
本实施例中扬声器接收音频信号(音频信号可以是数字信号也可以是模拟信号)产生振动，扬声器振动产生声波并引起机壳振动。
步骤S20，主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号。
主麦克风上设置有拾音通道，主麦克风通过拾音通道拾取声波获得第一信号，主麦克风拾取机壳振动获得第二信号；副麦克风中不设置拾音通道，副麦克风不可拾取声波，副麦克风拾取机壳振动获得第三信号。
步骤S30，根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声。
终端中预设有回音分析的算法，终端根据该算法处理第一信号，消除第一信号中的回声，终端根据第三信号处理第二信号，消除第二信号中的回声，具体地，包括：
步骤a1，通过预设算法分离出所述第一信号中的回声参考信号，根据所述回声参考信号消除所述第一信号中的回声；
步骤a2，将所述第三信号反向处理得到反向振动信号，将所述反向振动信号和所述第二信号进行叠加，消除所述第二信号中的回声。
即，终端提取第一信号中的下行信号，通过分离下行信号得到回声参考信号；终端按照回声参考信号调整第一信号，并消除所述第一信号中的回声；终端将第三信号反向处理得到反向振动信号，终端将反向振动信号和第二信号进行叠加，消除第二信号中的回声。
本实施例中主麦克风与副麦克风收到的振动噪声信号基本一致，这样回声消除可以分两路进行处理：一路通过下行分离出回声参考信号进行回声消除，此路处理的是通过路径①声波传播的回声信号；另一路为副麦克风拾取的信号进行反向处理后再进行信号消除，此路处理的是通过机壳振动导致主麦克风拾取的通过路径②的振动噪声，本实施例中采用不同的回音消除方式，就可以实现主麦克风最大程度的消除掉扬声器发声引起的回声信号。
步骤S40，将回声消除后的第一信号和回声消除后的第二信号合成并输出。
终端将回声消除后的第一信号和回声消除后的第二信号合成并输出，即，终端将回声消除后的第一信号和回声消除后的第二信号按照时间进行叠加，得到合并信号；终端得到合并信号之后，终端判断合并信号是否清晰，即，终端将合并信号的清晰度与预设的清晰度进行比较，在合并信号的清晰度小于或等于预设清晰度时，终端输出提示信息，在合并信号的清晰度高于预设清晰度(预设清晰度可以根据具体场景设置，例如设置为采样率44.1kHz)时，终端输出合并信号。
本发明实施例在终端中增设副麦克风，副麦克风装配方式设计与主麦克风一致，通过副麦克风拾取的机壳振动信号，并利用副麦克风采集的信号处理主麦克风采集的信号，以彻底去除机壳振动产生的回声。
进一步地，在本发明第一实施例的基础上，提出了本发明麦克风回音消除方法的第二实施例。
本实施例是第一实施例中步骤S20之后的步骤，本实施例与本发明第一实施例的区别在于：
判断所述第三信号的信号强度是否大于预设信号强度；
若所述第三信号的信号强度小于或等于预设信号强度，则根据预设算法消除所述第一信号中的回声和所述第二信号中的回声，并将回声消除后的第一信号和回声消除后的第二信号合成并输出；
若所述第三信号的信号强度大于预设信号强度，则执行所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤。
本实施例中，终端判断第三信号的信号强度是否大于预设信号强度(预设信号强度可以根据具体场景设置)；若第三信号的信号强度小于或等于预设信号强度，终端判定扬声器振动引起的机壳振动较小，终端可以忽略机壳振动产生的回声，终端将第一信号和第二信号按照同样的方式进行处理，即，终端根据预设算法消除第一信号中的回声和第二信号中的回声，并将回声消除后的第一信号和回声消除后的第二信号合成并输出。
若第三信号的信号强度大于预设信号强度，则执行第一实施例中步骤S30的步骤所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声。
在本实施例中终端根据第三信号的信号强度，确定扬声器引起的机壳振动大小，若扬声器引起的机壳振动较小，则终端将第一信号和第二信号都按照预设的算法进行处理，提高了信号的处理效率；若扬声器引起的机壳振动较大，则终端按照第三信号对第二信号进行处理，有效地去除第二信号中的回声，提高了回音去除的准确性。
进一步地，在本发明上述实施例的基础上，提出了本发明麦克风回音消除方法的第三实施例。
本实施例是第一实施例中步骤S20之后的步骤，本实施例与本发明上述实施例的区别在于：
判断所述第三信号的拾取时间和所述第二信号的拾取时间是否存在时间差；
若所述第三信号的拾取时间和所述第二信号的拾取时间存在时间差，则根据预设算法消除所述第一信号中的回声，根据所述时间差调整所述第三信号，并根据调整后的第三信号处理所述第二信号，消除所述第二信号中的回声；
若所述第三信号的拾取时间和所述第二信号的拾取时间不存在时间差，则执行所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤。
终端获取第三信号的拾取时间和第二信号的拾取时间，终端判断第三信号的拾取时间和第二信号的拾取时间是否存在时间差；若第三信号的拾取时间和第二信号的拾取时间存在时间差，则终端判定主麦克风与副麦克风信号传输之间存在时间差，终端根据预设算法消除所述第一信号中的回声，终端根据时间差调整第三信号，即，终端将第三信号中多余的信号进行剪切，或者终端将第三信号中增加一段空余信号，完成第三信号的调整，终端根据调整后的第三信号处理第二信号，消除第二信号中的回声。
若第三信号的拾取时间和第二信号的拾取时间不存在时间差，终端执行第一实施例中步骤S30所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声。
本实施例中终端根据信号时间差调整第三信号，并利用调整后的第三信号处理第二信号，避免了因为信号时间差导致的回声去除不彻底的情况，使得第二信号回声去除更加准确。
进一步地，在本发明上述实施例的基础上，提出了本发明麦克风回音消除方法的第四实施例。
本实施例是第一实施例中步骤S20之后的步骤，本实施例与本发明上述实施例的区别在于：
计算所述第三信号与所述第二信号的相似度；
若所述第三信号与所述第二信号的相似度小于或等于预设阈值，则调整所述副麦克风与所述主麦克风之间的相对位置，直至所述第三信号与所述第二信号的相似度大于预设相似度阈值；
若所述第三信号与所述第二信号的相似度大于预设相似度阈值，则执行所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤。
终端计算第三信号与第二信号的相似度；若第三信号与第二信号的相似度小于或等于预设相似度阈值(预设相似度阈值根据具体场景灵活设置，例如设置为95％)，即，主麦克风与副麦克风信号采集存在差异，终端则调整副麦克风与主麦克风之间的相对位置，直至第三信号与述第二信号的相似度大于预设相似度阈值；再执行第一实施例中步骤S30所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声。
若所述第三信号与所述第二信号的相似度大于预设相似度阈值，则终端执行第一实施例中步骤S30所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声。
本实施例中为了防止第三信号采集误差，终端先比较第三信号与第二信号之间的相似度，在第三信号与第二信号相似度大于预设相似度阈值时，终端根据第三信号对第二信号进行处理，使得回声去除更加彻底。
此外，参照图5，本发明实施例还提出一种麦克风回音消除装置，所述麦克风回音消除装置包括通信连接的扬声器和麦克风，所述麦克风包括主麦克风和副麦克风：
所述麦克风回音消除装置包括：
振动产生模块10，用于扬声器接收音频信号产生振动，所述扬声器振动产生声波并引起机壳振动；
信号拾取模块20，用于主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号；
回音消除模块30，用于根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声；
信号合成模块40，用于将回声消除后的第一信号和回声消除后的第二信号合成并输出。
在一实施例中，所述回音消除模块30，包括：
第一分析子模块，用于通过预设算法分离出所述第一信号中的回声参考信号，根据所述回声参考信号消除所述第一信号中的回声；
第二分析子模块，用于将所述第三信号反向处理得到反向振动信号，将所述反向振动信号和所述第二信号进行叠加，消除所述第二信号中的回声。
在一实施例中，所述第一分析子模块，包括：
提取分离单元，用于提取所述第一信号中的下行信号，通过分离所述下行信号得到回声参考信号；
信号调整单元，用于按照所述回声参考信号调整所述第一信号，并消除所述第一信号中的回声。
在一实施例中，所述的麦克风回音消除装置，包括：
强度判断模块，用于判断所述第三信号的信号强度是否大于预设信号强度；
消除合并模块，用于若所述第三信号的信号强度小于或等于预设信号强度，则根据预设算法消除所述第一信号中的回声和所述第二信号中的回声，并将回声消除后的第一信号和回声消除后的第二信号合成并输出；
回音消除模块30，用于若所述第三信号的信号强度大于预设信号强度，则执行所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤。
在一实施例中，所述的麦克风回音消除装置，包括：
时间判断模块，用于判断所述第三信号的拾取时间和所述第二信号的拾取时间是否存在时间差；
调整消除模块，用于若所述第三信号的拾取时间和所述第二信号的拾取时间存在时间差，则根据预设算法消除所述第一信号中的回声，根据所述时间差调整所述第三信号，并根据调整后的第三信号处理所述第二信号，消除所述第二信号中的回声；
回音消除模块30，用于若所述第三信号的拾取时间和所述第二信号的拾取时间不存在时间差，则执行所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤。
在一实施例中，所述的麦克风回音消除装置，包括：
相似度计算模块，用于计算所述第三信号与所述第二信号的相似度；
位置调整模块，用于若所述第三信号与所述第二信号的相似度小于或等于预设阈值，则调整所述副麦克风与所述主麦克风之间的相对位置，直至所述第三信号与所述第二信号的相似度大于预设相似度阈值；
回音消除模块30，用于若所述第三信号与所述第二信号的相似度大于预设相似度阈值，则执行所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤。
在一实施例中，所述信号合成模块，包括：
信号叠加单元，用于将回声消除后的第一信号和回声消除后的第二信号按照时间进行叠加，得到合并信号；
合并输出单元，用于在所述合并信号的清晰度高于预设清晰度时，输出所述合并信号。
其中，麦克风回音消除装置的各个功能模块实现的步骤可参照本发明麦克风回音消除方法的各个实施例，此处不再赘述。
此外，本发明实施例还提出一种计算机存储介质。
所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例提供的麦克风回音消除方法中的操作。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序；术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种麦克风回音消除方法，其特征在于，所述麦克风回音消除方法应用于终端，所述终端中包括通信连接的扬声器和麦克风，所述麦克风包括主麦克风和副麦克风；
所述麦克风回音消除方法包括以下步骤：
扬声器接收音频信号产生振动，所述扬声器振动产生声波并引起机壳振动；
主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号；
根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声；
将回声消除后的第一信号和回声消除后的第二信号合成并输出；
所述主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号的步骤之后，包括：
判断所述第三信号的拾取时间和所述第二信号的拾取时间是否存在时间差；
若所述第三信号的拾取时间和所述第二信号的拾取时间存在时间差，则根据预设算法消除所述第一信号中的回声，根据所述时间差调整所述第三信号，并根据调整后的第三信号处理所述第二信号，消除所述第二信号中的回声；
若所述第三信号的拾取时间和所述第二信号的拾取时间不存在时间差，则执行所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤。
2.如权利要求1所述的麦克风回音消除方法，其特征在于，所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤，包括：
通过预设算法分离出所述第一信号中的回声参考信号，根据所述回声参考信号消除所述第一信号中的回声；
将所述第三信号反向处理得到反向振动信号，将所述反向振动信号和所述第二信号进行叠加，消除所述第二信号中的回声。
3.如权利要求2所述的麦克风回音消除方法，其特征在于，所述通过预设算法分离出所述第一信号中的回声参考信号，根据所述回声参考信号消除所述第一信号中的回声的步骤，包括：
提取所述第一信号中的下行信号，通过分离所述下行信号得到回声参考信号；
按照所述回声参考信号调整所述第一信号，并消除所述第一信号中的回声。
4.如权利要求1所述的麦克风回音消除方法，其特征在于，所述主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号的步骤之后，包括：
判断所述第三信号的信号强度是否大于预设信号强度；
若所述第三信号的信号强度小于或等于预设信号强度，则根据预设算法消除所述第一信号中的回声和所述第二信号中的回声，并将回声消除后的第一信号和回声消除后的第二信号合成并输出；
若所述第三信号的信号强度大于预设信号强度，则执行所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤。
5.如权利要求1所述的麦克风回音消除方法，其特征在于，所述主麦克风拾取所述声波获得第一信号，主麦克风拾取所述机壳振动获得第二信号，副麦克风拾取所述机壳振动获得第三信号的步骤之后，包括：
计算所述第三信号与所述第二信号的相似度；
若所述第三信号与所述第二信号的相似度小于或等于预设阈值，则调整所述副麦克风与所述主麦克风之间的相对位置，直至所述第三信号与所述第二信号的相似度大于预设相似度阈值；
若所述第三信号与所述第二信号的相似度大于预设相似度阈值，则执行所述根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声的步骤。
6.如权利要求1所述的麦克风回音消除方法，其特征在于，所述将回声消除后的第一信号和回声消除后的第二信号合成并输出的步骤包括：
将回声消除后的第一信号和回声消除后的第二信号按照时间进行叠加，得到合并信号；
在所述合并信号的清晰度高于预设清晰度时，输出所述合并信号。
7.一种麦克风回音消除装置，其特征在于，所述麦克风回音消除装置包括通信连接的扬声器和麦克风，其中，所述麦克风包括主麦克风和副麦克风：
所述麦克风回音消除装置包括：
扬声器，用于接收音频信号产生振动，振动产生声波并引机壳振动；
主麦克风，用于拾取所述声波获得第一信号，拾取所述机壳振动获得第二信号；
副麦克风，用于拾取所述机壳振动获得第三信号；
回音消除模块，用于根据预设算法消除所述第一信号中的回声，根据所述第三信号处理所述第二信号，消除所述第二信号中的回声；
信号合成模块，用于将回声消除后的第一信号和回声消除后的第二信号合成并输出；
所述麦克风回音消除装置还包括：
时间判断模块，用于判断所述第三信号的拾取时间和所述第二信号的拾取时间是否存在时间差；
调整消除模块，用于若所述第三信号的拾取时间和所述第二信号的拾取时间存在时间差，则根据预设算法消除所述第一信号中的回声，根据所述时间差调整所述第三信号，并根据调整后的第三信号处理所述第二信号，消除所述第二信号中的回声。
8.一种麦克风回音消除设备，其特征在于，所述麦克风回音消除设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中：
所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的麦克风回音消除方法的步骤。
9.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的麦克风回音消除方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911307457.6A CN110933557B (zh) | 2019-12-16 | 2019-12-16 | 麦克风回音消除方法、装置、设备和计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911307457.6A CN110933557B (zh) | 2019-12-16 | 2019-12-16 | 麦克风回音消除方法、装置、设备和计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110933557A CN110933557A (zh) | 2020-03-27 |
| CN110933557B true CN110933557B (zh) | 2021-02-23 |
Family
ID=69863116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911307457.6A Active CN110933557B (zh) | 2019-12-16 | 2019-12-16 | 麦克风回音消除方法、装置、设备和计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110933557B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113840041A (zh) * | 2020-06-24 | 2021-12-24 | 中兴通讯股份有限公司 | 回声消除装置及方法、拾音装置及方法、终端 |
| CN112433371A (zh) * | 2020-10-22 | 2021-03-02 | 歌尔光学科技有限公司 | 头戴设备 |
| CN113362819B (zh) * | 2021-05-14 | 2022-06-14 | 歌尔股份有限公司 | 语音提取方法、装置、设备、系统及存储介质 |
| CN113345458A (zh) * | 2021-06-16 | 2021-09-03 | 歌尔股份有限公司 | 回声消除方法、装置、设备及存储介质 |
| CN113793607A (zh) * | 2021-08-31 | 2021-12-14 | Oppo广东移动通信有限公司 | 通信设备的控制方法、通信设备、电子设备以及可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204231608U (zh) * | 2014-09-28 | 2015-03-25 | 苏州佑克骨传导科技有限公司 | 一种降噪耳机 |
| CN108024184A (zh) * | 2016-11-03 | 2018-05-11 | 现代自动车株式会社 | 麦克风系统及其制造方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000014731A1 (en) * | 1998-09-09 | 2000-03-16 | Ericsson Inc. | Apparatus and method for transmitting an improved voice signal over a communications device located in a vehicle with adaptive vibration noise cancellation |
| CN102314871B (zh) * | 2010-07-09 | 2014-08-06 | 深圳市宇恒互动科技开发有限公司 | 一种传声器本身的机械噪声的消噪方法和装置 |
| US9100466B2 (en) * | 2013-05-13 | 2015-08-04 | Intel IP Corporation | Method for processing an audio signal and audio receiving circuit |
| CN208273185U (zh) * | 2018-04-26 | 2018-12-21 | 深圳市韶音科技有限公司 | 一种麦克风装置 |
-
2019
- 2019-12-16 CN CN201911307457.6A patent/CN110933557B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204231608U (zh) * | 2014-09-28 | 2015-03-25 | 苏州佑克骨传导科技有限公司 | 一种降噪耳机 |
| CN108024184A (zh) * | 2016-11-03 | 2018-05-11 | 现代自动车株式会社 | 麦克风系统及其制造方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110933557A (zh) | 2020-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110933557B (zh) | 麦克风回音消除方法、装置、设备和计算机存储介质 | |
| US11308977B2 (en) | Processing method of audio signal using spectral envelope signal and excitation signal and electronic device including a plurality of microphones supporting the same | |
| CN106782589B (zh) | 移动终端及其语音输入方法和装置 | |
| US20140363008A1 (en) | Use of vibration sensor in acoustic echo cancellation | |
| CN105264911A (zh) | 音频设备 | |
| US8498429B2 (en) | Acoustic correction apparatus, audio output apparatus, and acoustic correction method | |
| CN107479854A (zh) | 一种投影仪及投影方法 | |
| CN107068164B (zh) | 音频信号处理方法、装置和电子设备 | |
| KR102478393B1 (ko) | 노이즈가 정제된 음성 신호를 획득하는 방법 및 이를 수행하는 전자 장치 | |
| US11227619B2 (en) | Microphone, electronic apparatus including microphone and method for controlling electronic apparatus | |
| US10388301B2 (en) | Method for processing audio signal and electronic device for supporting the same | |
| CN112399302B (zh) | 一种穿戴式音频播放设备的音频播放方法、装置 | |
| KR102524931B1 (ko) | 정보 처리 장치 | |
| CN112243182B (zh) | 拾音电路、方法及装置 | |
| US20160119460A1 (en) | Reduced Acoustic Coupling | |
| CN114286258B (zh) | 电流音消除方法、装置、耳机及计算机可读存储介质 | |
| CN113766385B (zh) | 耳机降噪方法及装置 | |
| CN114095833A (zh) | 基于压感反馈的降噪方法、tws耳机及存储介质 | |
| US10997984B2 (en) | Sounding device, audio transmission system, and audio analysis method thereof | |
| US20230379623A1 (en) | Method for processing audio data and electronic device supporting same | |
| CN107544769A (zh) | 基于振动电机采集语音命令的方法及音频组件、音频终端 | |
| US20140003612A1 (en) | Information terminal and computer program product | |
| CN104796830A (zh) | 麦克风模块与电子装置 | |
| CN115550775A (zh) | 从来自麦克风的声音信号中去除噪声的方法和设备 | |
| KR20230099580A (ko) | 영상 통화 중 영역 별로 노이즈를 처리하는 전자 장치 및 이의 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |