CN113556652B - 语音处理方法、装置、设备及系统 - Google Patents
语音处理方法、装置、设备及系统 Download PDFInfo
- Publication number
- CN113556652B CN113556652B CN202010334735.3A CN202010334735A CN113556652B CN 113556652 B CN113556652 B CN 113556652B CN 202010334735 A CN202010334735 A CN 202010334735A CN 113556652 B CN113556652 B CN 113556652B
- Authority
- CN
- China
- Prior art keywords
- microphone
- signal
- sound
- target
- loudspeaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Circuit For Audible Band Transducer (AREA)
- Telephone Function (AREA)
Abstract
本申请实施例提供一种语音处理方法、装置、设备及系统。其中,所述方法包括:确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。本申请实施例提供的技术方案实现了干扰消除,提高了通信质量。
Description
技术领域
本申请实施例涉及语音处理技术领域,尤其涉及一种语音处理方法、装置、设备及系统。
背景技术
在一些语音通信或视频会议等通信场景中,往往会存在回声现象,导致影响通信质量。回声现象是指通信双方中,远端的声音被采集,经过无线或有线方式传输至近端,并通过近端的扬声器播放,而近端的扬声器播放的声音又可能会被近端的麦克风采集从而回传至远端,导致出现回声干扰,使得远端的用户又听到了自己讲话的声音,特别是通信双方都在讲话的情况下,回声现象会更加严重。
因此,如何进行干扰声音消除成为本领域技术人员迫切需要解决的技术问题。
发明内容
本申请实施例提供一种语音处理方法、装置、设备及系统,用以解决现有技术影响通信质量的技术问题。
第一方面,本申请实施例中提供了一种语音处理方法,包括:
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
第二方面,本申请实施例中提供了一种通信处理方法,包括:
获取第二通信端发送的远程语音信号,并通过扬声器播放所述远程语音信号;
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号;
基于所述第一语音信号,确定目标传输信号;
将所述目标传输信号发送至所述第二通信端。
第三方面,本申请实施例中提供了一种语音处理方法,应用于会议室系统中,所述会议室系统包括第一麦克风、第二麦克风、控制设备及扬声器;所述方法包括:
所述控制设备确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
第四方面,本申请实施例中提供了一种通信处理方法,应用于会议室系统中,所述会议室系统包括第一麦克风、第二麦克风、控制设备及扬声器;所述方法包括:
所述控制设备获取第二通信端发送的远程语音信号,并通过扬声器播放所述远程语音信号;
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号;
基于所述第一语音信号,确定目标传输信号;
将所述目标传输信号发送至所述第二通信端。
第五方面,本申请实施例中提供了一种语音处理方法,包括:
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于噪声源位置与目标声源位置进行部署,使得所述噪声源的干扰声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一干扰信号;
利用所述第一干扰信号,滤除所述第二麦克风信号中的第二干扰信号,获得第一语音信号。
第六方面,本申请实施例中提供了一种语音处理系统,包括部署在室内空间中的第一麦克风、第二麦克风、控制设备及扬声器;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
所述控制设备,用于获取第二通信端发送的远程语音信号,并通过扬声器播放所述远程语音信号;
所述第一麦克风,用于采集获得第一麦克风信号,所述第二麦克风,用于采集获得第二麦克风信号;
所述控制设备,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
第七方面,本申请实施例中提供了一种会议室系统,包括部署在会议室中的第一麦克风、第二麦克风、控制设备及扬声器;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
所述控制设备,用于获取第二通信端发送的远程语音信号,并通过扬声器播放所述远程语音信号;
所述第一麦克风,用于采集获得第一麦克风信号,所述第二麦克风,用于采集获得第二麦克风信号;
所述控制设备,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
第八方面,本申请实施例中提供了一种语音处理系统,包括部署在室内空间中的第一麦克风、第二麦克风及通信设备;其中,所述第一麦克风与第二麦克风基于所述室内空间中的噪声源位置与目标声源位置进行部署,使得所述噪声源的干扰声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
所述第一麦克风,用于采集获得第一麦克风信号,所述第二麦克风采集获得第二麦克风信号;
所述控制设备,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一干扰信号;利用所述第一干扰信号,滤除所述第二麦克风信号中的第二干扰信号,获得第一语音信号。
第九方面,本申请实施例中提供了一种语音处理装置,包括:
信号获取模块,用于确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
信号检测模块,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
回声消除模块,用于利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
第十方面,本申请实施例中提供了一种语音处理装置,包括:
语音播放模块,用于获取第二通信端发送的远程语音信号,并通过扬声器播放所述远程语音信号;
信号获取模块,用于确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
信号检测模块,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
回声消除模块,用于利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号;
语音传输模块,用于基于所述第一语音信号,确定目标传输信号;将所述目标传输信号发送至所述第二通信端。
第十一方面,本申请实施例中提供了一种语音处理装置,包括:
第一获取模块,用于确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于噪声源位置与目标声源位置进行部署,使得所述噪声源的干扰声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
第一检测模块,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一干扰信号;
第一消除模块,用于利用所述第一回干扰信号,滤除所述第二麦克风信号中的第二干扰信号,获得第一语音信号。
第十二方面,本申请实施例中提供了一种控制设备,包括处理组件以及存储组件;
所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件调用执行;
所述处理组件用于:
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
第十三方面,本申请实施例中提供了一种通信设备,包括处理组件以及存储组件;
所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件调用执行;
所述处理组件用于:
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于噪声源位置与目标声源位置进行部署,使得所述噪声源的干扰声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一干扰信号;
利用所述第一干扰信号,滤除所述第二麦克风信号中的第二干扰信号,获得第一语音信号。
本申请实施例中,部署有第一麦克风及第二麦克风,第一麦克风与第二麦克风基于噪声源位置与目标声源位置进行部署,使得噪声源的干扰声音到达第一麦克风及到达第二麦克风存在先后顺序,从而获取第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号,基于第一麦克风信号及第二麦克风信号,可以检测获得第一麦克风信号中的第一干扰信号,利用第一回声信号,可以滤除第二麦克风信号中的第二干扰信号,从而获得第一语音信号,通过结合噪声源位置与目标声源位置部署第一麦克风以及第二麦克风,使得第一麦克风信号以及第二麦克风信号之间存在传输时延,利用第一麦克风信号中的第一干扰信号实现了对第二麦克风信号中的干扰消除,保证了通信质量。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请提供的一种通信处理系统一个实施例的结构示意图;
图2示出了本申请提供的一种语音处理方法一个实施例的流程图;
图3示出了本申请实施例在一个实际应用中的声音传播示意图;
图4示出了本申请提供的一种语音处理方法又一个实施例的流程图;
图5示出了本申请提供的一种通信处理方法一个实施例的流程图;
图6示出了本申请提供的一种语音处理系统一个实施例的结构示意图;
图7示出了本申请提供的一种会议室系统一个实施例的结构示意图;
图8示出了本申请提供的一种语音处理方法又一个实施例的流程图;
图9示出了本申请提供的一种语音处理系统又一个实施例的结构示意图;
图10示出了本申请提供的一种语音处理装置一个实施例的结构示意图;
图11示出了本申请提供的一种通信处理装置一个实施例的结构示意图;
图12示出了本申请提供的一种控制设备一个实施例的结构示意图;
图13示出了本申请提供的一种语音处理装置又一个实施例的结构示意图;
图14示出了本申请提供的一种通信设备一个实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本申请实施例的技术方案可以应用于涉及通信双方进行语音通信的通信场景中,如会议室场景中等,用以解决干扰声音影响,消除麦克风信号中的干扰信号,以提高通信质量,如在双方远程通信场景下,由扬声器发出的远程语音信号会造成回声现象,造成回声干扰,采用本申请实施例中的技术放方案可以解决回声现象造成的干扰。
回声现象是指通信双方中,远端的用户讲话的声音被采集,可以经由无线或有线方式传输至近端,并通过近端的扬声器播放,而近端的扬声器播放的声音又可能会被近端的麦克风采集从而回传至远端,导致出现回声,使得远端的用户又听到了自己讲话的声音,特别是通信双方都在讲话的情况下,回声现象会更加严重。为了方便理解,参见图1所示的一种通信处理系统中,假设通信双方包括第一通信端和第二通信端,第一通信端假设为近端,第二通信端为相较于第一通信端的远端,第二通信端的用户A讲话的声音被第二通信端的扬声器A采集,经由第二通信端的通信设备A传输至第一通信端的通信设备B,并通过扬声器B播放,如果此时第二通信端的用户B也在讲话,第二通信端的麦克风B采集用户B讲话声音的同时,也会采集到扬声器B发出的声音,麦克风B采集的声音经由通信设备B回传至通信设备A,通信设备A通过扬声器A播放之后,用户A就会听到了自己讲话的声音,出现回声现象,影响通信质量。当然,第二通信端作为近端,第一通信端作为第二通信端的远端时,也可能存在同样的回声现象。
且在实际应用中,近端通信场所通常是室内空间,如会议室场景中的会议室,回声现象对通信质量影响更加严重,特别是对于一些小型会议室,由于回声现象更加严重,从而就会影响会议效果。
而发明人发现,在通信双方进行语音通信的通信场景中,即便没有回现象,也有可能存在其它噪声源干扰,例如近端通信场所中可能存在的其它声源,如语音通信时,同时利用音箱播放音乐或者电视机播放声音等,这些干扰声音也可能被麦克风采集而传输至远端,导致远端用户听到这些干扰声音,影响通信质量。
为了提高通信质量,发明人经过一系列研究提出了本申请的技术方案,在本申请实施例中,近端通信场所中部署有第一麦克风及第二麦克风,第一麦克风与第二麦克风基于噪声源位置与目标声源位置进行部署,使得噪声源的干扰声音到达第一麦克风及到达第二麦克风存在先后顺序,从而获取第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号,基于第一麦克风信号及第二麦克风信号,可以检测获得第一麦克风信号中的第一干扰信号,利用第一回声信号,可以滤除第二麦克风信号中的第二干扰信号,从而获得第一语音信号,本申请实施例通过结合噪声源位置与目标声源位置部署第一麦克风以及第二麦克风,使得第一麦克风信号以及第二麦克风信号之间存在传输时延,利用第一麦克风信号中的第一干扰信号实现了对第二麦克风信号中的干扰消除,基于获得的第一语音信号即可以进行通信传输,从而可以保证通信质量,在回声现象场景下,噪声源也即是指近端通信场所中部署的扬声器,干扰声音也即为扬声器声音,干扰信号也即扬声器声音产生的回声信号,采用本申请实施例技术方案可以实现麦克风信号中的回声消除,从而保证通信质量。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在下面一个或多个实施例中,主要以噪声源为扬声器为例对本申请技术方案进行详细说明。
图2为本申请实施例提供的一种语音处理方法一个实施例的流程图,该方法可以包括以下几个步骤:
201:确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号。
本实施例的技术方案可以由第一通信端中的通信设备执行,该通信设备例如可以是电话机或者配置有视频显示组件的控制设备等等。
第一麦克风信号以及第二麦克风信号中即可能包括扬声器发出的声音信号,也即回声信号。
第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达第一麦克风及到达第二麦克风存在先后顺序,也即扬声器声音到达第一麦克风以及第二麦克风存在时延。
该目标声源位置可以是指第一通信端的用户发声位置。
另外,为了有效区分回声信号,第一麦克风与第二麦克风的部署位置关系,可以使得目标声源声音到达第一麦克风及到达第二麦克风也存在先后顺序,只是与扬声器声音到达第一麦克风及到达第二麦克风的先后顺序不同。
在一个可选实现方式,扬声器声音可以优先到达第一麦克风,之后再到达第二麦克风,目标声源声音可以优先到达第二麦克风,之后再到达第一麦克风。
其中,扬声器位置与目标声源位置可以有多种部署方式,在下文会进行介绍,满足扬声器声音到达第一麦克风及到达第二麦克风存在先后顺序,目标声源声音到达第一麦克风及到达第二麦克风也可以存在先后顺序,只是扬声器声音与目标声源声音优先到达不同麦克风的顺序不同即可以。
102:基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号。
由于扬声器声音到达第一麦克风以及第二麦克风存在先后顺序,第一麦克风信号及第二麦克风信号存在时延,第一麦克风与第二麦克风固定部署,且位置关系已知,而回声信号是由扬声器声音造成的,因此,基于第一麦克风信号及第二麦克风信号,可以从第一麦克风信号中分离出第一回声信号。
具体的,根据第一麦克风与第二麦克风的位置关系,可以确定第一麦克风信号与第二麦克风信号的时延关系,而基于时延关系,可以从第一麦克风信号中分离出第一回声信号。
其中,该时延关系可以通过信号到达相位差、信号到达时延差或者信号到达距离差来表示。
可选地,扬声器声音可以优先到达第一麦克风,第一麦克风信号中的回声强度高于第二麦克风信号中的回声强度,可以从第一麦克风信号中检测获得第一回声信号。
103:利用第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号。
由于第二麦克风中也会存在回声信号,为了方便与第一麦克风中的第一回声信号区分,命名为第二回声信号。
扬声器声音到达第一麦克风以及第二麦克风存在先后顺序,例如扬声器声音优先到达第一麦克风,在经过一定传输路径之后再到达第二麦克风,第一回声信号与第二回声信号不同,但是存在一定的数值关系。据此,可以利用第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号,第一语音信号即为经过回声消除之后的语音信号,基于该第一语音信号即可以进行通信传输。
可选地,目标声源声音可以优先到达第二麦克风,第二麦克风信号中的目标声源声音强度高于第一麦克风中的目标声源声音强度,可以利用第一回声信号,滤除第二麦克风信号中的第二回声信号,以获得更加纯净的语音信号。
可选地,若从第一麦克风信号中未检测获得第一回声信号,表明扬声器声音未造成回声现象,此时可以基于第二麦克风信号进行通信传输。
本实施例的技术方案,有效实现了回声消除,提高了语音质量,保证了通信质量。
其中,对第一麦克风信号以及第二麦克风信号的处理可以在时域进行也可以在频域进行。
另外,第一麦克风与第二麦克风可以为指向性麦克风,在实际部署第一麦克风与第二麦克风时,第一麦克风的声音接收方向可以朝向扬声器位置,第二麦克风的声音接收方向可以朝向目标声源位置。从而扬声器声音可以优先到达第一麦克风,而目标声源声音可以优先到达第二麦克风。
此外,在某些实施例中,可以按照预期相位差部署第一麦克风以及第二麦克风,第一麦克风与第二麦克风的部署位置关系可以使得扬声器声音到达第一麦克风与第二麦克风存在预期相位差。
为了避免目标声源声音对扬声器声音产生的干扰,被认为是回声,该预期相位差例如可以小于或等于90度,使得目标声源声音未处于第一麦克风的声音采集范围内。可选地,在某些实施例中,扬声器可以部署在室内空间中的第一位置;目标声源位置可以位于扬声器声音方向的垂直方向上的第二位置。该第一位置例如可以是指室内空间的天花板位置。
实际部署第一麦克风与第二麦克风时,第一麦克风可以尽量靠近扬声器位置,而第二麦克风尽量靠近目标声源位置。
由于可以按照预期相位差部署第一麦克风与第二麦克风,在某些实施例中,基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号可以包括:
基于第一麦克风信号以及第二麦克风信号,检测第一麦克风信号中与第二麦克风信号的相位差大于或等于预期相位差、时延差大于或等于预期时延差、或者距离差大于或等于预期距离差的频点信号,并将该频点信号作为第一回声信号。
为了便于理解相位差、时延差及距离差,参见图3所示的声音传播示意图,远场声音(距离麦克风有一定距离)的声波通常平面波,声波到达第一麦克风301以及第二麦克风302存在时延,如图3中可知,声波到达两个麦克风的相位差为θ,时延差为t,距离差为d*cosθ(d乘以cosθ),d表示第一麦克风与第二麦克风之间的距离,其中,d*cosθ=c*t(c乘以t),c表示声速。
结合图3可知,在第一麦克风与第二麦克风位置关系已知情况下,相位差、时延差以及距离差可以互相转换,因此本申请实施例中,可以结合第一麦克风信号中与第二麦克风信号的相位差、时延差或者距离差,来检测获得第一回声信号。
第一麦克风与第二麦克风由于可以按照预期相位差进行部署,第一麦克风与第二麦克风之间的距离可以结合实际情况进行设定,第一麦克风与第二麦克风之间的距离确定之后,基于预期相位差也可以确定预期时延差以及预期距离差。又由于第一麦克风与第二麦克风可以按照预期相位差进行部署,若存在回声信号,第一麦克风信号中,会存在与第二麦克风信号中相位差大于或等于预期相位差、时延差大于或等于预期时延差、或者距离差大于或等于预期距离差的频点信号,该频点信号即作为第一麦克风信号中的第一回声信号。
本领域技术人员可以理解的,检测频点信号时,麦克风信号需要从时域转换为频域处理,例如可以进行STFT(short-time Fourier transform,短时傅里叶变换)处理,将麦克风信号转换为频域信号,以获得多个频点信号等,本申请对此不进行具体限制。
在某些实施例中,利用第一麦克风信号中的第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号可以包括:
利用第一麦克风信号中的第一回声信号,采用自适应滤波器滤除第二麦克风信号中的第二回声信号,获得第一语音信号。
也即获得第一回声信号之后,可以采用自适应滤波器来滤除第二麦克风信号中的第二回声信号。其中,自适应滤波器是一种使用自适应算法来改变滤波器的参数和结构的滤波器。
由于第一回声信号与第二回声信号之间存在函数关系,因此可以利用滤波器系数来表示该函数关系,采用自适应滤波算法学习获得目标系数。具体地,利用第一麦克风信号中的第一回声信号,采用自适应滤波器滤除第二麦克风信号中的第二回声信号,获得第一语音信号可以包括:
利用第一回声信号,调整滤波器系数直至基于第一回声信号与滤波器系数获得的估计信号与期望信号满足误差要求时,获得目标系数;
基于第一回声信号与目标系数,获得第二回声信号;
从第二语音信号中滤除该第二回声信号。
其中,自适应滤波器的实现原理与现有技术不同,本申请将不再进行赘述。
由于基于第一语音信号即可以进行通信传输,在某些实施例中,获得第一语音信号之后,该方法还可以包括:
基于第一语音信号,获得目标传输信号;
将目标传输信号传输至第二通信端。
第二通信端即为远程通信端,目标传输信号到达第二通信端之后,可以通过第二通信端的扬声器播放,该目标传输信号由于消除了回声信号,因此可以提高语音质量,从而保证通信质量。
实际应用中,本申请实施例的技术方案可以实现麦克风信号中的线性回声消除,线性回声可以是指扬声器声音未经过任何反射直接被麦克风采集获得的直接回声。而由于受环境影响,扬声器声音可能还会经过复杂多变的墙面等多次反射,扬声器声音经过多次反射再由麦克风拾取获得的间接回声即为非线性回声。
对于存在非线性回声的场景中,为了进一步提高语音质量,基于第一语音信号,获得目标传输信号可以包括:
将第一语音信号进行非线性回声消除,获得目标传输信号;
其中,非线性回声消除方式可以采用现有技术方案实现,本申请对此不再赘述。
图4为本申请提供的一种语音处理方法又一个实施例的流程图,该方法可以包括以下几个步骤:
401:确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号。
其中,第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达第一麦克风及到达第二麦克风存在先后顺序。
402:基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号。
403:利用第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号。
步骤401~步骤403的操作可以详见上文各个实施例中所述,在此将不再赘述。
404:利用参考信号滤除第二麦克风信号中的第二回声信号,获得第二语音信号。
其中,利用参考信号进行回声消除为现有的一种回声消除方式。参考信号为理想信号,其可以从扬声器中采样获得,当然也可以采用其它方式获得,与现有技术相同,在此不再赘述。
其中,利用参考信号可以采用自适应滤波器来滤除第二麦克风信号中的第二回声信号,从而获得第二语音信号。
405:融合第一语音信号与第二语音信号,获得目标语音信号。
本实施例中,将第一语音信号与第二语音信号进行融合,获得目标语音信号,可以基于目标语音信号进行通信传输,通过融合采用两种回声消除方式分别获得的第一语音信号与第二语音信号,可以进一步提高语音质量,从而进一步提高了通信质量。
作为一种可选方式,融合第一语音信号与第二语音信号,获得目标语音信号可以包括:
比较第一语音信号与第二语音信号中同一频点对应的频点信号;
将第一语音信号与第二语音信号中,同一频点上能量值小的频点信号组合得到目标语音信号。
能量值小的频点信号组合得到目标语音信号更加纯净,回声信号更少,质量更好,从而可以进一步提高回声消除效果。
可以理解的是,第一语音信号与第二语音信号是在频域中进行处理,转换获得在频域中的多个频点信号之后,再对同一频点上的频点信号进行比较。
同一频点上能量值小的频点信号组合之后,再转换为时域信号,即得到目标语音信号。
作为另一种可选方式,融合第一语音信号与第二语音信号,获得目标语音信号可以包括:
将第一语音信号与第二语音信号中,同一频点上频点信号进行加权求和,获得融合信号;
由不同频点上的融合信号组合获得目标语音信号。
其中,第一语音信号与第二语音信号分别对应的权重系数可以结合实际情况进行设定,权重系数可以小于1。不同频点对应的权重系数可以相同,当然也可以结合实际情况设定为不同数值。
可以理解的是,第一语音信号与第二语音信号是在频域中进行处理,转换获得在频域中的多个频点信号之后,再对同一频点上的频点信号进行比较。
不同频点上的融合信号组合之后,再转换为时域信号,即得到目标语音信号。
在某些实施例中,获得目标语音信号之后,该方法还可以包括:
基于目标语音信号,获得目标传输信号;
将目标传输信号发送至第二通信端。
可选地,在存在非线性回声场景中,基于目标语音信号,获得目标传输信号可以包括:
将目标语音信号进行非线性回声消除,获得目标传输信号。
此外,本申请实施例中,为了避免麦克风发生故障而导致通信无法正常进行的问题,实际应用中,室内空间中可以部署至少一个第一麦克风及至少一个第二麦克风;该至少一个第一麦克风中的一个第一麦克风处于运行状态,剩余第一麦克风可以处于备用状态;至少一个第二麦克风中的一个第二麦克风处于运行状态,剩余第二麦克风可以处于备用状态。其中,在某些实施例中,确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号可以包括:
确定处于运行状态的第一麦克风采集获得的第一麦克风信号及处于运行状态的第二麦克风采集获得的第二麦克风信号。
可选地,该方法还可以包括:
检测处于运行状态的第一麦克风发生故障,切换处于备用状态的一个第一麦克风至运行状态;
检测处于运行状态的第二麦克风发生故障,切换处于备用状态的一个第二麦克风至运行状态。
此外,室内空间中部署至少一个第一麦克风及至少一个第二麦克风时,每个麦克风也可以处于运行状态,用以采集语音信号,因此,作为又一个实施例,基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号可以包括:
选择任一个第一麦克风采集获得的第一麦克风信号,以及与其对应的第二麦克风采集获得的第二麦克风信号。
基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号。
作为又一个实施例,室内空间中可以部署至少一个第一麦克风及至少一个第二麦克风;基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号可以包括:
针对每个第一麦克风采集获得的第一麦克风信号,利用任一个第二麦克风采集获得的第二麦克风信号,检测第一麦克风信号中的第一回声信号;
将多个第一回声信号进行融合,获得目标回声信号;
利用目标回声信号,滤除任一个第二麦克风信号中的第二回声信号,获得第一语音信号。
其中,多个第一回声信号进行融合可以采用将多个第一回声信号中,同一频点对应的频点信号进行加权求和,获得候选回声信号,再由不同频点的候选回声信号组合获得目标回声信号。
作为又一个实施例,室内空间中可以部署至少一个第一麦克风及至少一个第二麦克风时,基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号可以包括:
针对每个第一麦克风采集获得的第一麦克风信号,利用任一个第二麦克风采集获得的第二麦克风信号,检测第一麦克风信号中的第一回声信号;
利用第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号可以包括:
利用每个第一回声信号,分别滤除每个第二麦克风信号中的第二回声信号,获得多个候选语音信号;
将多个候选语音信号进行融合,获得第一语音信号。
其中,多个候选语音信号进行融合可以采用将多个候选语音信号中,同一频点对应的频点信号进行加权求和,获得目标候选信号,再由不同频点的目标候选信号组合获得该第一语音信号。
由前文描述可知,扬声器、第一麦克风及第二麦克风可以部署在室内空间中,如在会议室场景中,室内空间即为会议室;室内空间,特别是比较小型的室内空间,回声现象比较严重,同时也会存在混响现象,混响是指声波在室内空间传播时,会被墙体、地板等障碍物反射,每反射一次都要被障碍物吸收一些。这样,当声源停止发声后,声波在室内要经过多次反射和吸收,最后才消失,我们就感觉到声源停止发声后还有若干个声波混合持续一段时间(室内声源停止发声后仍然存在的声延续现象),这种现象即为混响,这段时间叫做混响时间。
为了进一步提高回声消除效果,以及减少室内空间的混响问题,减少环境噪声影响等,在某些实施例中,室内空间的不同墙体之间、及门体与门框之间、及窗体与窗框之间可以采用密封处理,从而可以避免外界声音穿透进入室内空间,也可以避免室内空间的声音穿透进入外界环境中,提高隐私性。
可选地,门体可以采用侧边合页,门缝全橡胶弹性密封处理,门体关闭之后,门体与门框紧贴,贴合宽度可以不低于3cm(厘米),使得不存在漏缝。
此外,室内空间中的进风口与出风口可以设置转角结构部件,以调整风向不朝向扬声器位置,降低风向对扬声器声音的影响;
此外,室内空间中的墙体以及地板上可以部署吸声材料,以可以减少声音反射。
此外,扬声器可以安装于吸声材料下方,从而可以避免扬声器声音穿透墙体。
可选地,扬声器可以具体安装在天花板墙体的吸声材料下方。
而为了解决混响问题,墙体使用的吸声材料中可以包括用以吸收高频信号的第一吸声材料及用以吸收低频信号的第二吸声材料。
可选地,室内空间中三分之一的墙体可以使用第一吸声材料,三分之二的墙体可以使用第二吸声材料,以使得混响时间可以到达0.3s(秒)。
其中,第一吸声材料例如可以采用具有吸音效果的棉质砧板。
第二吸声材料可以采用具有亥姆霍兹共振结构的材料实现,例如具有亥姆霍兹共振结构的低频共振板等。
其中,天花板墙体的吸声材料可以采用具有亥姆霍兹共振结构的材料实现,例如可以采用带有穿孔的吸声板实现,该吸声板可以由穿孔板及腔体结构组成,形成亥姆霍兹共振结构,其中,腔体结构位于穿孔板上方,具有一定厚度,该厚度可以结合天花板墙体的吸声材料所需要吸收的频带宽度进行设定等。
本申请实施例的技术方案可以应用于涉及通信双方进行语音通信的通信场景中,参见图5,示出了本申请提供的一种通信处理方法一个实施例的流程图,该方法可以包括以下几个步骤:
501:获取第二通信端发送的远程语音信号,并通过扬声器播放远程语音信号。
本实施例的技术方案可以应用于第一通信端中,第二通信端的远程语音信号可以由第二通信端对应麦克风采集获得。
第一通信端和第二通信端可以通过无线或有线方式进行语音信号的传输。
502:确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号。
其中,第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达第一麦克风及到达第二麦克风存在先后顺序;
503:基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号。
504:利用第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号。
其中,步骤502~步骤504的操作可以详见前文语音处理方法相应实施例中所述,在此不再赘述。
505:基于第一语音信号,确定目标传输信号。
506:将目标传输信号发送至第二通信端。
第一语音信号为消除回声信号的语音信号,基于第一语音信号可以获得目标传输信号,将目标传输信号发送至的第二通信端,并通过第二通信端的扬声器播放,即可以实现语音通信,且保证了语音质量,提高了通信质量。
在某些实施例中,基于第一语音信号,确定目标传输信号可以包括:
将目标语音信号进行非线性回声消除,获得目标传输信号。
在某些实施例中,基于第一语音信号,确定目标传输信号可以包括:
利用参考信号滤除第二麦克风信号中的第二回声信号,获得第二语音信号;
融合第一语音信号与第二语音信号,获得目标语音信号;
基于目标语音信号,确定目标传输信号。
在某些实施例中,基于目标语音信号,确定目标传输信号可以包括:
将目标语音信号进行非线性回声消除,获得目标传输信号。
其中,第一语音信号与第二语音信号的融合方式可以详见上文所述,在此不再赘述。
图5所示的通信处理方法可以适用于图1所示的通信处理系统所描绘的通信处理场景中,其中,对于第二通信端,扬声器A以及麦克风A可以集成在通信设备A中,例如通信设备A例如可以为手机等移动通信设备等。对于第一通信端,可以由通信设备B采用图5所示的技术方案进行回声消除以及语音信号传输,以提高语音通信质量。
其中,本申请的技术方案在一个实际应用中可以应用于会议室场景中,因此,作为又一个实施例,本申请还提供了一种语音处理方法,应用于会议室系统中,会议室系统包括第一麦克风、第二麦克风及扬声器;其中,该会议室系统可以部署在会议室中,该方法可以包括:
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达第一麦克风及到达第二麦克风存在先后顺序;
基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号;
利用第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号。
作为又一个实施例,本申请还提供了一种通信处理方法,应用于会议室系统中,会议室系统包括第一麦克风、第二麦克风及扬声器;其中,该会议室系统可以部署在会议室中,该方法可以包括:
获取第二通信端发送的远程语音信号,并通过扬声器播放远程语音信号;
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达第一麦克风及到达第二麦克风存在先后顺序;
基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号;
利用第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号;
基于第一语音信号,确定目标传输信号;
将目标传输信号发送至第二通信端。
参见图6中所示,本申请实施例还提供了一种语音处理系统,包括部署在室内空间中的第一麦克风601、第二麦克风602、控制设备603及扬声器604。其中,第一麦克风601与第二麦克风602基于扬声器604位置与目标声源位置进行部署,使得扬声器604声音到达第一麦克风601及到达第二麦克风602存在先后顺序;
控制设备603获取第二通信端发送的远程语音信号,并通过扬声器播放远程语音信号;
第一麦克风601采集获得第一麦克风信号,第二麦克风602采集获得第二麦克风信号;
控制设备603基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号;利用第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号。
此外,控制设备603还可以基于第一语音信号,确定目标传输信号;将目标传输信号发送至第二通信端。
其中,该语音处理系统即可以作为前文所述的第一通信端,由控制设备执行前文实施例中所述的语音处理方法或通信处理方法,具体执行操作可以详见前文实施例中所述在此不再赘述。
其中,第一麦克风的声音接收方向可以朝向扬声器位置,第二麦克风的声音接收方向可以朝向目标声源位置。
其中,扬声器部署在室内空间的第一位置;目标声源位置位于扬声器声音方向的垂直方向上的第二位置。
该第一位置可以是指室内空间的天花板中的位置。
其中,第一麦克风与第二麦克风的部署位置关系使得扬声器声音优先到达第一麦克风及目标声源声音优先到达第二麦克风,且使得扬声器声音到达第一麦克风与第二麦克风存在预期相位差。该预期相位差例如可以小于或等于90度。第一麦克风、第二麦克风及扬声器的部署位置可以详见前文所述。
此外,本申请还提供了一种会议室系统,该会议室系统部署在会议室中,参见图7中所示的会议室700以及部署在会议室700中的会议室系统,该会议室系统可以包括部署在会议室700中的第一麦克风701、第二麦克风702、控制设备703及扬声器704;
其中,控制设备703可以具有显示屏,以可以实现视频会议等。
其中,第一麦克风701与第二麦克风702基于扬声器704位置与目标声源705位置进行部署,使得扬声器704声音到达第一麦克风701及到达第二麦克风702存在先后顺序;
控制设备703获取第二通信端发送的远程语音信号,并通过扬声器704播放远程语音信号;
第一麦克风701采集获得第一麦克风信号,第二麦克风702采集获得第二麦克风信号;
控制设备703基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号;利用第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号;
此外,控制设备703还可以基于第一语音信号,确定目标传输信号;将目标传输信号发送至第二通信端。
其中,第二通信端也可以为扬声器以及麦克风集成到一体的话机设备,当然也可以是一种会议室系统,可以采用本申请提供的技术方案进行回声消除等,此时图7所示会议室系统也即作为其对应的第二通信端。
其中,扬声器声音可以优先到达第一麦克风701,而目标声源声音可以优先到达第二麦克风702。
其中,第一麦克风701的声音接收方向可以朝向扬声器位置,第二麦克风702的声音接收方向可以朝向目标声源705位置。
其中,扬声器704可以具体部署在会议室中的第一位置,如会议室的天花板中的位置;目标声源705位置可以位于扬声器声音方向的垂直方向上的第二位置。
第一麦克风与第二麦克风的部署位置关系使得扬声器声音到达第一麦克风与第二麦克风存在预期相位差。例如,该预期相位差可以小于或等于90度。
为了进一步提升语音质量,会议室的不同墙体之间、门体与门框之间可以进行密封处理、以及窗体与窗框之间密封处理;
会议室中的墙体以及地板上可以部署吸声材料;也即会议室中可以除去门窗等位置均部署吸声材料。
会议室中的进风口与出风口设置转角结构部件,以调整风向不朝向扬声器位置。
其中,吸声材料包括用以吸收高频信号的第一吸声材料以及用以吸收低频信号的第二吸声材料。
其中,扬声器位置部署在会议室的天花板墙体上,并位于天花板墙体的吸声材料下方。
其中,第一吸声材料可以包括棉质砧板;第二吸声材料包括具有亥姆霍兹共振结构的材料。
其中,扬声器部署在天花板墙体中时,天花板墙体的吸声材料可以包括由穿孔板及连接穿孔板的腔体结构组成的吸声板。
需要说明的是,控制设备执行语音处理或通信处理的具体方式已在前文进行了详细描述,此处将不做详细阐述说明。
此外,噪声源除了可以为扬声器,干扰声音为扬声器发出的远程语音信号之后,实际应用中,噪声源也可以是指通信场所中除目标声源之外的其它声源,例如在家庭环境或者会议环境等中,一些通常固定输出的发声设备,如音箱、电视机等,在通信双方进行语音通信时,特别是存在噪声源一端使用外置麦克风进行讲话时,噪声源发出的干扰声音也可能被麦克风采集而对语音信号造成干扰,影响通信质量,如图8所示,为本申请实施例提供一种语音处理方法又一个实施例的流程图,该方法可以包括以下几个步骤:
801:确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号。
其中,所述第一麦克风与第二麦克风基于噪声源位置与目标声源位置进行部署,使得所述噪声源的干扰声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序。
在存在回声现的通信场景中,噪声源也即为扬声器,干扰声音即为扬声器播放的远程语音信号,该远程语音信号由远端的第二通信端发送。
802:基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一干扰信号。
803:利用所述第一干扰信号,滤除所述第二麦克风信号中的第二干扰信号,获得第一语音信号。
图8与图2所示实施例不同之处在于,图2所示实施例中噪声源具体为扬声器,其余相同或相似步骤可以详见前文实施例所述,在下述描述中将不会重复赘述。
在某些实施例中,第一麦克风的声音接收方向朝向噪声源位置,第二麦克风的声音接收方向朝向目标声源位置。
在某些实施例中,该噪声源位于室内空间中的第一位置;目标声源位置位于噪声源声音方向的垂直方向上的第二位置。
在某些实施例中,所第一麦克风与第二麦克风的部署位置关系使得干扰声音优先到达第一麦克风及目标声源声音优先到达第二麦克风,且使得干扰声音到达第一麦克风与第二麦克风存在预期相位差。
在某些实施例中,该预期相位差小于或等于90度。
在某些实施例中,基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一干扰信号包括:
基于第一麦克风信号以及第二麦克风信号,检测第一麦克风信号中与第二麦克风信号的相位差大于或等于预期相位差、时延差大于或等于预期时延差、或者距离差大于或等于预期距离差的频点信号,将频点信号作为第一干扰信号。
在某些实施例中,利用第一麦克风信号中的第一干扰信号,滤除第二麦克风信号中的第二干扰信号,获得第一语音信号包括:
利用第一麦克风信号中的第一干扰信号,采用自适应滤波器滤除第二麦克风信号中的第二干扰信号,获得第一语音信号。
在某些实施例中,该方法还可以包括:
将第一语音信号发送至第二通信端。
在某些实施例中,噪声源、第一麦克风及第二麦克风部署在室内空间中;
室内空间的不同墙体之间、门体与门框之间密封处理、以及窗体与窗框之间密封处理;
室内空间中的墙体以及地板上部署吸声材料;
室内空间中的进风口与出风口设置转角结构部件,以调整风向不朝向噪声源位置。
在某些实施例中,吸声材料包括用以吸收高频信号的第一吸声材料以及用以吸收低频信号的第二吸声材料。
在某些实施例中,第一吸声材料包括棉质砧板;第二吸声材料包括具有亥姆霍兹共振结构的材料。
在某些实施例中,天花板墙体的吸声材料包括由穿孔板及连接穿孔板的腔体结构组成的吸声板。
在某些实施例中,室内空间部署至少一个第一麦克风及至少一个第二麦克风;则确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号可以包括:
确定处于运行状态的第一麦克风采集获得的第一麦克风信号及处于运行状态的第二麦克风采集获得的第二麦克风信号。
在某些实施例中,该方法还可以包括:
检测处于运行状态的第一麦克风发生故障,切换处于备用状态的一个第一麦克风至运行状态;
检测处于运行状态的第二麦克风发生故障,切换处于备用状态的一个第二麦克风至运行状态。
在某些实施例中,室内空间部署至少一个第一麦克风及至少一个第二麦克风;则基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一干扰信号可以包括:
选择任一个第一麦克风采集获得的第一麦克风信号,以及与其对应的第二麦克风采集获得的第二麦克风信号;
基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一干扰信号。
在某些实施例中,室内空间部署至少一个第一麦克风及至少一个第二麦克风;则基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一干扰信号可以包括:
针对每一个第一麦克风采集获得的第一麦克风信号,利用任一个第二麦克风采集获得的第二麦克风信号,检测第一麦克风信号中的第一干扰信号;
将多个第一干扰信号进行融合,获得目标干扰信号;
则利用第一干扰信号,滤除第二麦克风信号中的第二干扰信号,获得第一语音信号可以包括:
利用目标干扰信号,滤除任一个第二麦克风信号中的第二干扰信号,获得第一语音信号。
在某些实施例中,室内空间部署至少一个第一麦克风及至少一个第二麦克风;
则基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一干扰信号可以包括:
针对每个第一麦克风采集获得的第一麦克风信号,利用任一个第二麦克风采集获得的第二麦克风信号,检测第一麦克风信号中的第一干扰信号;
则利用第一干扰信号,滤除第二麦克风信号中的第二干扰信号,获得第一语音信号可以包括:
利用每个第一干扰信号,分别滤除每个第二麦克风信号中的第二干扰信号,获得多个候选语音信号;
将多个候选语音信号进行融合,获得第一语音信号。
此外,本申请实施例还提供了一种语音处理系统,如图9中所示,可以包括部署在室内空间中的第一麦克风901、第二麦克风902及通信设备903;其中,第一麦克风901与第二麦克风902基于所述室内空间中的噪声源位置与目标声源位置进行部署,使得所述噪声源的干扰声音到达所述第一麦克风901及到达所述第二麦克风902存在先后顺序;
第一麦克风901用于采集获得第一麦克风信号,所述第二麦克风902用于采集获得第二麦克风信号;
通信设备903,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一干扰信号;利用所述第一干扰信号,滤除所述第二麦克风信号中的第二干扰信号,获得第一语音信号。
其中,通信设备903还可以将第一语音信号作为目标传输信号,将目标传输信号发送至第二通信端。
实际应用中,通信设备903可以作为前文所述的第一通信端,可以是指如手机、电话等可以外接麦克风的通信终端。
当然该语音处理系统可以整体作为前文所述的第一通信端,通信设备需要连接麦克风进行声音采集,例如其可以部署在会议室中,作为可以与远程的第二通信端进行语音通信的会议室系统。
由前文描述可知,第二通信端可以为扬声器以及麦克风集成到一体的话机设备,当然也可以是一种语音处理系统,可以采用本申请提供的技术方案进行干扰消除等。
图10为本申请实施例提供的一种语音处理装置一个实施例的结构示意图,该装置可以包括:
信号获取模块1001,用于确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达第一麦克风及到达第二麦克风存在先后顺序;
信号检测模块1002,用于基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号;
回声消除模块1003,用于利用第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号。
图11为本申请实施例提供的一种通信处理装置一个实施例的结构示意图,该装置可以包括:
语音播放模块1101,用于获取第二通信端发送的远程语音信号,并通过扬声器播放远程语音信号;
信号获取模块1102,用于确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达第一麦克风及到达第二麦克风存在先后顺序;
信号检测模块1103,用于基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号;
回声消除模块1104,用于利用第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号;
语音传输模块1105,用于基于第一语音信号,确定目标传输信号;将目标传输信号发送至第二通信端。
在某些实施例中,第一麦克风的声音接收方向朝向扬声器位置,第二麦克风的声音接收方向朝向目标声源位置。
其中,扬声器可以部署在室内空间的第一位置;目标声源位置位于扬声器声音方向的垂直方向上的第二位置。
其中,第一麦克风与第二麦克风的部署位置关系使得扬声器声音优先到达第一麦克风及目标声源声音优先到达第二麦克风,且使得扬声器声音到达第一麦克风与第二麦克风存在预期相位差。
可选地,预期相位差可以小于或等于90度。
在某些实施例中,信号检测模块可以具体用于基于第一麦克风信号以及第二麦克风信号,检测第一麦克风信号中与第二麦克风信号的相位差大于或等于预期相位差、时延差大于或等于预期时延差、或者距离差大于或等于预期距离差的频点信号,将频点信号作为第一回声信号。
在某些实施例中,该回声消除模块可以具体用于利用第一麦克风信号中的第一回声信号,采用自适应滤波器滤除第二麦克风信号中的第二回声信号,获得第一语音信号。
在某些实施例中,该回声消除模块还用于利用参考信号滤除第二麦克风信号中的第二回声信号,获得第二语音信号;融合第一语音信号与第二语音信号,获得目标语音信号。
在某些实施例中,该回声消除模块融合第一语音信号与第二语音信号,获得目标语音信号可以包括:比较第一语音信号与第二语音信号中同一频点对应的频点信号;将第一语音信号与第二语音信号中,同一频点上能量值小的频点信号组合得到目标语音信号。
在某些实施例中,该回声消除模块融合第一语音信号与第二语音信号,获得目标语音信号可以包括:将第一语音信号与第二语音信号中,同一频点上频点信号进行加权求和,获得融合信号;由不同频点上的融合信号组合获得目标语音信号。
在某些实施例中,语音传输模块可以具体用于将第一语音信号进行非线性回声消除,获得目标传输信号;将目标传输信号传输至第二通信端。
在某些实施例中,扬声器、第一麦克风及第二麦克风部署在室内空间中;
室内空间的不同墙体之间、门体与门框之间密封处理、以及窗体与窗框之间密封处理;
室内空间中的墙体以及地板上部署吸声材料;
室内空间中的进风口与出风口设置转角结构部件,以调整风向不朝向扬声器位置。
可选地,吸声材料包括用以吸收高频信号的第一吸声材料以及用以吸收低频信号的第二吸声材料。
可选地,扬声器位置部署在室内空间的天花板墙体上,并位于天花板墙体的吸声材料下方。
可选地,第一吸声材料包括棉质砧板;第二吸声材料包括具有亥姆霍兹共振结构的材料。
可选地,天花板墙体的吸声材料包括由穿孔板及连接穿孔板的腔体结构组成的吸声板。
在某些实施例中,室内空间部署至少一个第一麦克风及至少一个第二麦克风;该信号确定模块可以具体用于确定处于运行状态的第一麦克风采集获得的第一麦克风信号及处于运行状态的第二麦克风采集获得的第二麦克风信号。
在某些实施例中,该装置还可以包括:
故障检测模块,用于检测处于运行状态的第一麦克风发生故障,切换处于备用状态的一个第一麦克风至运行状态;检测处于运行状态的第二麦克风发生故障,切换处于备用状态的一个第二麦克风至运行状态。
在某些实施例中、室内空间中可以部署至少一个第一麦克风及至少一个第二麦克风;
该信号检测模块可以具体用于选择任一个第一麦克风采集获得的第一麦克风信号,以及与其对应的第二麦克风采集获得的第二麦克风信号;基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号。
在某些实施例中,室内空间中可以部署至少一个第一麦克风及至少一个第二麦克风;
该信号检测模块可以具体用于针对每一个第一麦克风采集获得的第一麦克风信号,利用任一个第二麦克风采集获得的第二麦克风信号,检测第一麦克风信号中的第一回声信号;将多个第一回声信号进行融合,获得目标回声信号;
该回声消除模块可以具体用于利用目标回声信号,滤除任一个第二麦克风信号中的第二回声信号,获得第一语音信号。
在某些实施例中,室内空间中可以部署至少一个第一麦克风及至少一个第二麦克风;
该信号检测模块可以具体用于针对每个第一麦克风采集获得的第一麦克风信号,利用任一个第二麦克风采集获得的第二麦克风信号,检测第一麦克风信号中的第一回声信号;
该回声消除模块可以具体用于利用每个第一回声信号,分别滤除每个第二麦克风信号中的第二回声信号,获得多个候选语音信号;将多个候选语音信号进行融合,获得第一语音信号。
图10所述的语音处理装置可以执行图2所示实施例所述的语音处理方法,其实现原理和技术效果不再赘述。对于上述实施例中的语音处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图11所述的通信处理装置可以执行图5所示实施例所述的通信处理方法,其实现原理和技术效果不再赘述。对于上述实施例中的语音处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
此外,本申请实施例还提供了一种控制设备,如图12所示,该控制设备可以包括存储组件1201以及处理组件1202;
存储组件1201存储一条或多条计算机指令,其中,该一条或多条计算机指令供处理组件1202调用执行。
处理组件1202用于:
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达第一麦克风及到达第二麦克风存在先后顺序;
基于第一麦克风信号及第二麦克风信号,检测第一麦克风信号中的第一回声信号;
利用第一回声信号,滤除第二麦克风信号中的第二回声信号,获得第一语音信号。
可选地,处理组件1202还可以用于基于第一语音信号,确定目标传输信号;将目标传输信号发送至第二通信端。
其中,处理组件1202可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
存储组件1201被配置为存储各种类型的数据以支持在设备上的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当然,控制设备必然还可以包括其他部件,例如输入/输出接口、通信组件、显示组件等。
输入/输出接口为处理组件和外围接口模块之间提供接口,上述外围接口模块可以是输出设备、输入设备等。
通信组件被配置为便于计算设备和其他设备之间有线或无线方式的通信等。
显示组件用于显示控制设备输出的显示内容等。显示组件可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时可以实现上述图2所示实施例的语音处理方法。
本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时可以实现上述图5所示实施例的通信处理方法。
图13为本申请实施例提供的一种语音处理装置又一个实施例的结构示意图,该装置可以包括:
第一获取模块1301,用于确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于噪声源位置与目标声源位置进行部署,使得所述噪声源的干扰声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
第一检测模块1302,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一干扰信号;
第一消除模块1303,用于利用所述第一回干扰信号,滤除所述第二麦克风信号中的第二干扰信号,获得第一语音信号。
图13所述的通信处理装置可以执行图8所示实施例所述的语音处理方法,其实现原理和技术效果不再赘述。对于上述实施例中的语音处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
此外,本申请实施例还提供了一种通信设备,如图14所示,该通信设备可以包括存储组件1401以及处理组件1402;
存储组件1401存储一条或多条计算机指令,其中,该一条或多条计算机指令供处理组件1402调用执行。
处理组件1402用于:
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于噪声源位置与目标声源位置进行部署,使得所述噪声源的干扰声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一干扰信号;
利用所述第一干扰信号,滤除所述第二麦克风信号中的第二干扰信号,获得第一语音信号。
其中,处理组件1202可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
存储组件1201被配置为存储各种类型的数据以支持在设备上的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当然,通信设备必然还可以包括其他部件,例如输入/输出接口、通信组件、显示组件等。
输入/输出接口为处理组件和外围接口模块之间提供接口,上述外围接口模块可以是输出设备、输入设备等。
通信组件被配置为便于计算设备和其他设备之间有线或无线方式的通信等。
显示组件用于显示控制设备输出的显示内容等。显示组件可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时可以实现上述图8所示实施例的语音处理方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (39)
1.一种语音处理方法,其特征在于,包括:
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述扬声器位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述扬声器声音与所述目标声源声音优先到达不同麦克风的顺序不同;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
2.根据权利要求1所述的方法,其特征在于,所述扬声器部署在室内空间的第一位置;所述目标声源位置位于所述扬声器声音方向的垂直方向上的第二位置。
3.根据权利要求1所述的方法,其特征在于,所述第一麦克风与所述第二麦克风的部署位置关系使得所述扬声器声音优先到达所述第一麦克风及所述目标声源声音优先到达所述第二麦克风,且使得所述扬声器声音到达所述第一麦克风与所述第二麦克风存在预期相位差。
4.根据权利要求3所述的方法,其特征在于,所述预期相位差小于或等于90度。
5.根据权利要求1所述的方法,其特征在于,所述基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号包括:
基于所述第一麦克风信号以及所述第二麦克风信号,检测所述第一麦克风信号中与第二麦克风信号的相位差大于或等于预期相位差、时延差大于或等于预期时延差、或者距离差大于或等于预期距离差的频点信号,将所述频点信号作为第一回声信号。
6.根据权利要求1所述的方法,其特征在于,利用所述第一麦克风信号中的第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号包括:
利用所述第一麦克风信号中的第一回声信号,采用自适应滤波器滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
7.根据权利要求1所述的方法,其特征在于,还包括:
利用参考信号滤除所述第二麦克风信号中的所述第二回声信号,获得第二语音信号;
融合所述第一语音信号与所述第二语音信号,获得目标语音信号。
8.根据权利要求7所述的方法,其特征在于,所述融合所述第一语音信号与所述第二语音信号,获得目标语音信号包括:
比较所述第一语音信号与所述第二语音信号中同一频点对应的频点信号;
将所述第一语音信号与所述第二语音信号中,同一频点上能量值小的频点信号组合得到目标语音信号。
9.根据权利要求7所述的方法,其特征在于,所述融合所述第一语音信号与所述第二语音信号,获得目标语音信号包括:
将所述第一语音信号与所述第二语音信号中,同一频点上频点信号进行加权求和,获得融合信号;
由不同频点上的融合信号组合获得目标语音信号。
10.根据权利要求7所述的方法,其特征在于,还包括:
将所述目标语音信号进行非线性回声消除,获得目标传输信号;
将所述目标传输信号发送至第二通信端。
11.根据权利要求1所述的方法,其特征在于,还包括:
将所述第一语音信号进行非线性回声消除,获得目标传输信号;
将所述目标传输信号传输至第二通信端。
12.根据权利要求1所述的方法,其特征在于,所述扬声器、所述第一麦克风及所述第二麦克风部署在室内空间中;
所述室内空间的不同墙体之间、门体与门框之间密封处理、以及窗体与窗框之间密封处理;
所述室内空间中的墙体以及地板上部署吸声材料;
所述室内空间中的进风口与出风口设置转角结构部件,以调整风向不朝向扬声器位置。
13.根据权利要求12所述的方法,其特征在于,所述吸声材料包括用以吸收高频信号的第一吸声材料以及用以吸收低频信号的第二吸声材料。
14.根据权利要求12所述的方法,其特征在于,所述扬声器位置部署在室内空间的天花板墙体上,并位于所述天花板墙体的吸声材料下方。
15.根据权利要求13所述的方法,其特征在于,所述第一吸声材料包括棉质砧板;所述第二吸声材料包括具有亥姆霍兹共振结构的材料。
16.根据权利要求14所述的方法,其特征在于,所述天花板墙体的吸声材料包括由穿孔板及连接所述穿孔板的腔体结构组成的吸声板。
17.根据权利要求1所述的方法,其特征在于,室内空间部署至少一个第一麦克风及至少一个第二麦克风;
所述确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号包括:
确定处于运行状态的第一麦克风采集获得的第一麦克风信号及处于运行状态的第二麦克风采集获得的第二麦克风信号。
18.根据权利要求17所述的方法,其特征在于,还包括:
检测处于运行状态的第一麦克风发生故障,切换处于备用状态的一个第一麦克风至运行状态;
检测处于运行状态的第二麦克风发生故障,切换处于备用状态的一个第二麦克风至运行状态。
19.根据权利要求1所述的方法,其特征在于,室内空间部署至少一个第一麦克风及至少一个第二麦克风;
所述基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号包括:
选择任一个第一麦克风采集获得的第一麦克风信号,以及与其对应的第二麦克风采集获得的第二麦克风信号;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号。
20.根据权利要求1所述的方法,其特征在于,室内空间部署至少一个第一麦克风及至少一个第二麦克风;
所述基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号包括:
针对每一个第一麦克风采集获得的第一麦克风信号,利用任一个第二麦克风采集获得的第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
将多个第一回声信号进行融合,获得目标回声信号;
所述利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号包括:
利用所述目标回声信号,滤除任一个第二麦克风信号中的第二回声信号,获得第一语音信号。
21.根据权利要求1所述的方法,其特征在于,室内空间部署至少一个第一麦克风及至少一个第二麦克风;
所述基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号包括:
针对每个第一麦克风采集获得的第一麦克风信号,利用任一个第二麦克风采集获得的第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
所述利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号包括:
利用每个第一回声信号,分别滤除每个第二麦克风信号中的第二回声信号,获得多个候选语音信号;
将所述多个候选语音信号进行融合,获得第一语音信号。
22.一种通信处理方法,其特征在于,应用于第一通信端,包括:
获取第二通信端发送的远程语音信号,并通过扬声器播放所述远程语音信号;
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述扬声器位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述扬声器声音与所述目标声源声音优先到达不同麦克风的顺序不同;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号;
基于所述第一语音信号,确定目标传输信号;
将所述目标传输信号发送至所述第二通信端。
23.一种语音处理方法,其特征在于,应用于会议室系统中,所述会议室系统包括第一麦克风、第二麦克风、控制设备及扬声器;所述方法包括:
所述控制设备确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部 署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述扬声器位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述扬声器声音与所述目标声源声音优先到达不同麦克风的顺序不同;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
24.一种通信处理方法,其特在于,应用于会议室系统中,所述会议室系统包括第一麦克风、第二麦克风、控制设备及扬声器;所述方法包括:
所述控制设备获取第二通信端发送的远程语音信号,并通过扬声器播放所述远程语音信号;
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述扬声器位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述扬声器声音与所述目标声源声音优先到达不同麦克风的顺序不同;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号;
基于所述第一语音信号,确定目标传输信号;
将所述目标传输信号发送至所述第二通信端。
25.一种语音处理方法,其特征在于,包括:
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于噪声源位置与目标声源位置进行部署,使得所述噪声源的干扰声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述噪声源位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述噪声源声音与所述目标声源声音优先到达不同麦克风的顺序不同;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一干扰信号;
利用所述第一干扰信号,滤除所述第二麦克风信号中的第二干扰信号,获得第一语音信号。
26.一种语音处理系统,其特征在于,包括部署在室内空间中的第一麦克风、第二麦克风、控制设备及扬声器;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述扬声器位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述扬声器声音与所述目标声源声音优先到达不同麦克风的顺序不同;
所述控制设备,用于获取第二通信端发送的远程语音信号,并通过扬声器播放所述远程语音信号;
所述第一麦克风,用于采集获得第一麦克风信号,所述第二麦克风,用于采集获得第二麦克风信号;
所述控制设备,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
27.一种会议室系统,其特征在于,包括部署在会议室中的第一麦克风、第二麦克风、控制设备及扬声器;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述扬声器位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述扬声器声音与所述目标声源声音优先到达不同麦克风的顺序不同;
所述控制设备,用于获取第二通信端发送的远程语音信号,并通过扬声器播放所述远程语音信号;
所述第一麦克风,用于采集获得第一麦克风信号,所述第二麦克风,用于采集获得第二麦克风信号;
所述控制设备,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
28.根据权利要求27所述的会议室系统,其特征在于,所述会议室的不同墙体之间、门体与门框之间密封处理、以及窗体与窗框之间密封处理;
所述会议室中的墙体以及地板上部署吸声材料;
所述会议室中的进风口与出风口设置转角结构部件,以调整风向不朝向扬声器位置。
29.根据权利要求28所述的会议室系统,其特征在于,所述吸声材料包括用以吸收高频信号的第一吸声材料以及用以吸收低频信号的第二吸声材料。
30.根据权利要求28所述的会议室系统,其特征在于,所述扬声器位置部署在会议室的天花板墙体上,并位于所述天花板墙体的吸声材料下方。
31.根据权利要求29所述的会议室系统,其特征在于,所述第一吸声材料包括棉质砧板;所述第二吸声材料包括具有亥姆霍兹共振结构的材料。
32.根据权利要求30所述的会议室系统,其特征在于,所述天花板墙体的吸声材料包括由穿孔板及连接所述穿孔板的腔体结构组成的吸声板。
33.一种语音处理系统,其特征在于,包括部署在室内空间中的第一麦克风、第二麦克风及通信设备;其中,所述第一麦克风与第二麦克风基于所述室内空间中的噪声源位置与目标声源位置进行部署,使得所述噪声源的干扰声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述噪声源位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述噪声源声音与所述目标声源声音优先到达不同麦克风的顺序不同;
所述第一麦克风,用于采集获得第一麦克风信号,所述第二麦克风采集获得第二麦克风信号;
所述通信设备,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一干扰信号;利用所述第一干扰信号,滤除所述第二麦克风信号中的第二干扰信号,获得第一语音信号。
34.一种语音处理装置,其特征在于,包括:
信号获取模块,用于确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部 署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述扬声器位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述扬声器声音与所述目标声源声音优先到达不同麦克风的顺序不同;
信号检测模块,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
回声消除模块,用于利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
35.一种语音处理装置,其特征在于,包括:
语音播放模块,用于获取第二通信端发送的远程语音信号,并通过扬声器播放所述远程语音信号;
信号获取模块,用于确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部 署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述扬声器位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述扬声器声音与所述目标声源声音优先到达不同麦克风的顺序不同;
信号检测模块,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
回声消除模块,用于利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号;
语音传输模块,用于基于所述第一语音信号,确定目标传输信号;将所述目标传输信号发送至所述第二通信端。
36.一种语音处理装置,其特征在于,包括:
第一获取模块,用于确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于噪声源位置与目标声源位置进行部 署,使得所述噪声源的干扰声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述噪声源位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述噪声源声音与所述目标声源声音优先到达不同麦克风的顺序不同;
第一检测模块,用于基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一干扰信号;
第一消除模块,用于利用所述第一干扰信号,滤除所述第二麦克风信号中的第二干扰信号,获得第一语音信号。
37.一种控制设备,其特征在于,包括处理组件以及存储组件;
所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件调用执行;
所述处理组件用于:
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于扬声器位置与目标声源位置进行部 署,使得扬声器声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述扬声器位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述扬声器声音与所述目标声源声音优先到达不同麦克风的顺序不同;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一回声信号;
利用所述第一回声信号,滤除所述第二麦克风信号中的第二回声信号,获得第一语音信号。
38.根据权利要求37所述的控制设备,其特征在于,所述处理组件还用于:
基于所述第一语音信号,确定目标传输信号;
将所述目标传输信号发送至第二通信端。
39.一种通信设备,其特征在于,包括处理组件以及存储组件;
所述存储组件存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件调用执行;
所述处理组件用于:
确定第一麦克风采集获得的第一麦克风信号及第二麦克风采集获得的第二麦克风信号;其中,所述第一麦克风与第二麦克风基于噪声源位置与目标声源位置进行部署,使得所述噪声源的干扰声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序;所述第一麦克风的声音接收方向朝向所述噪声源位置,所述第二麦克风的声音接收方向朝向所述目标声源位置,所述目标声源声音到达所述第一麦克风及到达所述第二麦克风存在先后顺序,所述噪声源声音与所述目标声源声音优先到达不同麦克风的顺序不同;
基于所述第一麦克风信号及所述第二麦克风信号,检测所述第一麦克风信号中的第一干扰信号;
利用所述第一干扰信号,滤除所述第二麦克风信号中的第二干扰信号,获得第一语音信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010334735.3A CN113556652B (zh) | 2020-04-24 | 2020-04-24 | 语音处理方法、装置、设备及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010334735.3A CN113556652B (zh) | 2020-04-24 | 2020-04-24 | 语音处理方法、装置、设备及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113556652A CN113556652A (zh) | 2021-10-26 |
CN113556652B true CN113556652B (zh) | 2022-08-09 |
Family
ID=78101382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010334735.3A Active CN113556652B (zh) | 2020-04-24 | 2020-04-24 | 语音处理方法、装置、设备及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113556652B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115615624B (zh) * | 2022-12-13 | 2023-03-31 | 杭州兆华电子股份有限公司 | 一种基于无人巡检装置的设备泄漏检测方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104519212A (zh) * | 2013-09-27 | 2015-04-15 | 华为技术有限公司 | 一种消除回声的方法及装置 |
CN105810202A (zh) * | 2014-12-31 | 2016-07-27 | 展讯通信(上海)有限公司 | 一种降低回声的方法、装置及通讯设备 |
CN107426391A (zh) * | 2016-05-24 | 2017-12-01 | 展讯通信(上海)有限公司 | 免提通话终端及其语音信号处理方法、装置 |
CN108702424A (zh) * | 2016-06-30 | 2018-10-23 | 谷歌有限责任公司 | 用于移动装置中的非线性回声消除的双幅度处理框架 |
CN110956975A (zh) * | 2019-12-06 | 2020-04-03 | 展讯通信(上海)有限公司 | 回声消除方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5130895B2 (ja) * | 2007-12-13 | 2013-01-30 | ソニー株式会社 | 音声処理装置、音声処理システム、音声処理プログラム及び音声処理方法 |
-
2020
- 2020-04-24 CN CN202010334735.3A patent/CN113556652B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104519212A (zh) * | 2013-09-27 | 2015-04-15 | 华为技术有限公司 | 一种消除回声的方法及装置 |
CN105810202A (zh) * | 2014-12-31 | 2016-07-27 | 展讯通信(上海)有限公司 | 一种降低回声的方法、装置及通讯设备 |
CN107426391A (zh) * | 2016-05-24 | 2017-12-01 | 展讯通信(上海)有限公司 | 免提通话终端及其语音信号处理方法、装置 |
CN108702424A (zh) * | 2016-06-30 | 2018-10-23 | 谷歌有限责任公司 | 用于移动装置中的非线性回声消除的双幅度处理框架 |
CN110956975A (zh) * | 2019-12-06 | 2020-04-03 | 展讯通信(上海)有限公司 | 回声消除方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113556652A (zh) | 2021-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9111543B2 (en) | Processing signals | |
Van Waterschoot et al. | Fifty years of acoustic feedback control: State of the art and future challenges | |
US9264807B2 (en) | Multichannel acoustic echo reduction | |
US8644517B2 (en) | System and method for automatic disabling and enabling of an acoustic beamformer | |
US9210504B2 (en) | Processing audio signals | |
US11297178B2 (en) | Method, apparatus, and computer-readable media utilizing residual echo estimate information to derive secondary echo reduction parameters | |
US9818424B2 (en) | Method and apparatus for suppression of unwanted audio signals | |
JP4286637B2 (ja) | マイクロホン装置および再生装置 | |
KR100735557B1 (ko) | 음성 신호를 감쇄하고 마스킹하여 음성 신호를 교란시키는방법 및 장치 | |
US10455326B2 (en) | Audio feedback reduction utilizing adaptive filters and nonlinear processing | |
US20220301577A1 (en) | Echo cancellation method and apparatus | |
CN113556652B (zh) | 语音处理方法、装置、设备及系统 | |
CN112997249B (zh) | 语音处理方法、装置、存储介质及电子设备 | |
WO2011033924A1 (ja) | エコー除去装置、エコー除去方法、およびエコー除去装置のプログラム | |
US11386911B1 (en) | Dereverberation and noise reduction | |
Rombouts et al. | Generalized sidelobe canceller based combined acoustic feedback-and noise cancellation | |
CN102970638B (zh) | 处理信号 | |
US11170798B2 (en) | Remote audio pickup and noise cancellation system and method | |
Li et al. | A two-microphone noise reduction method in highly non-stationary multiple-noise-source environments | |
WO2017171864A1 (en) | Acoustic environment understanding in machine-human speech communication | |
CN110246516A (zh) | 一种语音通信中小空间回声信号的处理方法 | |
US20230421952A1 (en) | Subband domain acoustic echo canceller based acoustic state estimator | |
Lombard et al. | Improved wideband blind adaptive system identification using decorrelation filters for the localization of multiple speakers | |
JPS6163195A (ja) | ハウリング抑圧装置 | |
Chen et al. | An improved phase-error based dual-microphone noise reduction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |