CN103544959A - 一种基于无线定位麦克风阵列语音增强的通话系统及方法 - Google Patents

一种基于无线定位麦克风阵列语音增强的通话系统及方法 Download PDF

Info

Publication number
CN103544959A
CN103544959A CN201310513373.4A CN201310513373A CN103544959A CN 103544959 A CN103544959 A CN 103544959A CN 201310513373 A CN201310513373 A CN 201310513373A CN 103544959 A CN103544959 A CN 103544959A
Authority
CN
China
Prior art keywords
module
wireless location
wireless
voice
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310513373.4A
Other languages
English (en)
Inventor
张军
陈典铖
冯义志
宁更新
季飞
余华
陈芳炯
韦岗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201310513373.4A priority Critical patent/CN103544959A/zh
Publication of CN103544959A publication Critical patent/CN103544959A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明公开了一种基于无线定位麦克风阵列语音增强的通话系统及方法,系统包括无线定位发射模块、无线定位接收模块、麦克风阵列语音接收模块、语音增强模块、远端语音播放模块和通信模块,其中无线定位发射模块与无线定位接收模块采用无线的方式连接,无线定位接收模块和麦克风阵列语音接收模块分别与语音增强模块连接,语音增强模块与通信模块连接,远端语音播放模块与通信模块连接。通话方法首先采用无线定位技术来对目标声源进行定位,再对目标说话人的语音采用麦克风阵列进行语音增强处理及通信。本发明具有定位快速准确、增强效果好、鲁棒性高等优点,能有效提高现有通话系统的语音质量。

Description

一种基于无线定位麦克风阵列语音增强的通话系统及方法
技术领域
本发明涉及语音信号处理领域,特别是一种基于无线定位的麦克风阵列语音增强的通话系统及方法。
背景技术
如何有效地提高噪声环境下语音的通信质量是语音处理中的一个难题。在实际应用环境中,麦克风在拾取语音信号时,会受到背景噪音、混响、其他说话人话音等信号的干扰。这些干扰和噪声会显著降低拾取语音信号的质量和可懂度,从而导致语音通信系统性能的退化。因此,在许多通话应用中都需要进行有效的语音增强处理,以抑制噪声、改善语音质量、提高语音清晰度、可懂度和舒适度。
目前语音增强方法主要包括两类,一类是基于单麦克风的语音增强方法,包括谱减法、维纳滤波、MMSE、卡尔曼滤波、小波变换等,这类方法利用单麦克风接收语音信号,通过时域、频域、小波变换域等滤波和处理来抑制噪声,但由于只利用了一维的语音信号,因此其降噪效果具有较大的局限。另一类是基于麦克风阵列的语音增强方法,这类方法将阵列信号处理技术应用到语音增强中,利用多个麦克风接收到的语音信号里包含的空间相位信息对输入语音进行空间滤波,形成具有指向性的空间波束对指定方向上的语音信号进行增强,同时抑制其他方向上的干扰,具有灵活的波束控制、较高的空间分辨率、较高的信号增益与较强的抗干扰能力等优点,可提供比单麦克风语音增强方法更好的噪声抑制效果,在实际中得到越来越广泛的使用。
通常情况下,使用麦克风阵列进行波束形成之前需要确定波束的指向,即信号的来波方向,现有的来波方向估计主要依赖阵列中的各个麦克风接收到的语音信号来进行,这种方法在一些声学环境较为复杂的通话应用中,特别是在多音源并发、音源快速移动、噪音干扰大等场景时,例如可视通话手机、车载免提电话、多媒体教室、视频会议、智能电视等,存在着以下不足:
(1)现有的麦克风阵列语音增强方法大多是假设单一音源,当多音源并发时,容易引起来波方向角估计误判,令语音增强性能显著下降;
(2)现有的麦克风阵列语音增强方法对来波方向估计通常需要采用迭代的方法,实时调整速度有限,当期望音源快速移动时,来波方向估计可能会滞后或模糊,导致波束形成效果下降;
(3)当采用近场波束形成对语音信号进行幅度补偿时,现有技术较难获知音源与阵元间的准确距离,因而影响近场波束的效果和语音增强性能。
随着无线定位技术的发展,近年来出现了多种无线定位新技术,使得近距离三维高精度无线定位成为可能。例如,目前的超宽带(Ultra Wide Band,UWB)无线定位技术能提供最高达10-6米的定位精度。与基于音频的定位相比,超宽带无线定位具有精度高、不受声学噪声影响、速度快等优点,为解决目前语音通话系统中麦克风阵列语音增强的来波方向估计的不足提供良好的技术基础。
发明内容
针对现有麦克风阵列语音增强中来波方向估计技术在实际通话系统中应用时存在的局限,本发明提供了一种基于无线定位麦克风阵列语音增强的通话系统及方法,首先采用无线定位技术来对目标声源进行定位,再对目标说话人的语音采用麦克风阵列进行语音增强处理及通信,具有定位快速准确、增强效果好、鲁棒性高等优点,能有效提高现有通话系统的语音质量。本发明还提供了实现上述无线定位麦克风阵列语音增强通话方法的通话系统,该系统使用方便、抗干扰性能强。本发明可以广泛应用于可视通话手机、车载免提电话、多媒体教室、视频会议、智能电视等多种场合。
本发明提供的基于无线定位的麦克风阵列语音增强的通话系统,由无线定位发射模块、无线定位接收模块、麦克风阵列语音接收模块、语音增强模块、远端语音播放模块、通信模块共同构成,其中无线定位发射模块与无线定位接收模块采用无线的方式连接,无线定位接收模块和麦克风阵列语音接收模块分别与语音增强模块连接,语音增强模块与通信模块连接,远端语音播放模块与通信模块连接。无线定位发射模块的安装位置与说话人口的位置具有固定的坐标关系,用于发射无线定位信号;无线定位接收模块用于接收无线定位发射模块的定位信号,完成对无线定位发射模块的坐标定位;麦克风阵列语音接收模块中各阵元的位置与无线定位接收模块的位置具有固定的坐标关系,用于完成多路语音信号的接收;语音增强模块完成无线坐标和声学坐标的转换,并采用波束形成技术来完成目标说话人语音的增强;远端语音播放模块用于播放远端通话方的语音;通信模块将语音增强模块输出的语音编码调制后发送给远端通话方,接收远端通话方的语音数据并送至远端语音播放模块进行播放。
上述远端语音播放模块,由远端语音无线发送模块、远端语音无线接收模块、音频放大播放模块构成,其中远端语音无线发送模块、远端语音无线接收模块采用无线的方式连接,远端语音无线接收模块与音频放大播放模块连接。远端语音无线发送模块完成远端语音的无线发送;远端语音无线接收模块完成远端语音的无线接收;音频放大播放模块完成远端语音的放大和播放。
上述远端语音无线发送模块、远端语音无线接收模块,采用超宽带无线传输技术进行无线数据的传输。
上述无线定位发射模块、无线定位接收模块,采用超宽带无线定位技术来完成无线定位。
上述远端语音无线接收模块、音频放大播放模块、无线定位发射模块,集成为无线耳机端,上述无线定位接收模块、麦克风阵列语音接收模块、语音增强模块、通信模块、远端语音无线发送模块集成为主机端。
本发明提供的基于无线定位麦克风阵列语音增强的通话方法,其步骤包括:
步骤1:确定无线定位发射模块与目标说话人口之间的相对坐标,确定麦克风阵列语音接收模块中各阵元与无线定位接收模块的相对坐标;
步骤2:初始化无线定位发射模块、无线定位接收模块、语音增强模块;
步骤3:无线定位发射模块发射无线定位信号,无线定位接收模块接收到定位信号后对无线定位发射模块进行定位,确定无线定位发射模块与无线定位接收模块的相对坐标;根据无线定位发射模块与目标说话人口之间的相对坐标、无线定位发射模块与无线定位接收模块的相对坐标、以及麦克风阵列语音接收模块中各阵元与无线定位接收模块的相对坐标,计算目标说话人口到麦克风阵列语音接收模块中各阵元的相对坐标;
步骤4:根据目标说话人口到麦克风阵列语音接收模块中各阵元的相对坐标调整语音增强模块中波束形成器的时延补偿权值,使其增强目标说话人口方向的声音,得到语音增强后的信号;
步骤5:步骤4得到的增强后语音通过通信模块发送给远端通话方,并通过通信模块接收远端通话方的语音数据,并送至远端语音播放模块进行播放。
上述步骤2中,无线定位发射模块、无线定位接收模块、语音增强模块的初始化,具体包括以下步骤:
步骤2.1:无线定位接收模块中的接收天线完成时间同步,无线定位发射模块进入准备发射定位信号状态;
步骤2.2:语音增强模块中的波束形成器权值矩阵置零,所述权值矩阵包括时延补偿矩阵、固定波束形成权值矩阵、阻塞权值矩阵和自适应波束形成权值矩阵;
上述步骤3中,无线定位发射模块与无线定位接收模块的相对坐标采用以下步骤进行确定:
步骤3.1:无线定位发射模块周期性发射定位脉冲序列,其中,脉冲序列带有该无线定位发射模块的设备号和脉冲序列的发射时间戳;
步骤3.2:无线定位接收模块的接收天线接收定位脉冲序列,并计算定位脉冲序列到达不同UWB定位芯片的传播时延TOA;
步骤3.3:无线定位接收模块根据各UWB定位芯片的传播时延TOA,计算无线定位发射模块到各UWB定位芯片的距离;
步骤3.4:无线定位接收模块根据步骤3.3所得距离的方程组计算无线定位发射模块与无线定位接收模块的相对坐标;
上述步骤4中,语音增强模块波束形成器的时延补偿权值矩阵,采用以下方式计算:
步骤4.1a:根据目标说话人口到麦克风阵列语音接收模块中各阵元的相对坐标计算目标说话人口到麦克风阵列语音接收模块中各阵元的空间距离;
步骤4.2a:目标说话人口到麦克风阵列语音接收模块中各阵元的空间距离除以声音速度,得到目标说话人口到麦克风阵列语音接收模块中各阵元的传播时间;
步骤4.3a:根据传播时间计算时延补偿权值矩阵,使得麦克风阵列语音接收模块中各阵元接收的目标说话人语音经过时延补偿权值矩阵后同步。
上述步骤4中,语音增强模块波束形成器的自适应滤波器系数,采用以下方式计算:
步骤4.1b:假定目标说话人的语音共有Q个信源存在,将第q个信号(其中q=1,2,…,Q)的阵列输出与该信号在时刻k的期望形式之间的代价函数表示为自适应滤波器系数矩阵的函数;
步骤4.2b:计算代价函数对于自适应滤波器系数矩阵的梯度函数;
步骤4.3b:采用梯度下降法调整自适应滤波器系数矩阵,并计算相应的代价函数值。
步骤4.4b:采用新的自适应滤波器系数矩阵对输入语音信号进行语音增强,并计算语音增强后阵列输出信号与该信号期望形式之间的代价函数值,如果当前代价函数值与前一次迭代的代价函数值变化量小于给定值,或迭代次数超出预设次数,则输出自适应滤波器系数矩阵并结束,否则转步骤4.3b。
上述步骤4中,语音增强模块波束形成器的自适应滤波器系数矩阵,还可以采用以下方式计算:
步骤4.1c:将波束形成器输出信号的平均功率表示为自适应滤波器系数矩阵的函数;
步骤4.2c:在满足约束条件wHα(θd)=1条件下,将平均功率函数对自适应滤波器系数矩阵中的每个元素求偏导,并令偏导等于0;
步骤4.3c:将得到的方程组成方程组并求解,得到当前最优的自适应滤波器系数矩阵。
与现有技术相比,本发明的有益之处在于:
(1)准确快速对准说话人,语音增强性能好。本发明采用无线定位技术对音源进行定位,与传统的音频定位方法相比定位更精确,有效提高了语言增强的降噪性能;同时不需要复杂的迭代运算,提高了系统对移动音源的实时跟踪速度和准确度;
(2)适用于各种应用场景,鲁棒性好。由于无线定位不受声学环境噪声的影响,因此语音增强系统可以实时精确地锁定目标说话人,即使当通话系统处于多人同时说话而形成多音源并发场景或噪音干扰大的环境时,波束形成语言增强系统仍可对准期望音源,获得好的语音增强效果;
(3)使用方便。本发明可以方便地集成到现有的各种通话系统中,例如,可以将远端语音无线接收模块、音频放大播放模块、无线定位发射模块集成为无线耳机端,无线定位接收模块、麦克风阵列语音接收模块、语音增强模块、通信模块、远端语音无线发送模块集成为主机端,使用起来非常方便。
附图说明
图1为本发明提供的基于无线定位麦克风阵列语音增强的通话系统结构框图;
图2为本发明实施例1硬件结构框图;
图3为本发明实施例1中采用无线超宽带技术进行定位的流程图;
图4为本发明实施例1中系统进行语音增强的流程图;
图5为本发明实施例2主机端、无线耳机端系统结构框图;
图6为本发明实施例2主机端、无线耳机端硬件结构框图;
具体实施方式
下面结合附图和实施例对本发明的具体实施作进一步说明,但本发明的实施和保护范围不限于此。
本发明的硬件结构如图1所示,由通信模块101、语音增强模块102、无线定位接收模块103、麦克风阵列语音接收模块104、无线定位发射模块105、远端语音播放模块106共同构成,其中无线定位发射模块105与无线定位接收模块103采用无线的方式连接,无线定位接收模块103和麦克风阵列语音接收模块104分别与语音增强模块102连接,语音增强模块102与通信模块101连接,远端语音播放模块106与通信模块101连接。无线定位发射模块105的安装位置与说话人口的位置具有固定的坐标关系,用于发射无线定位信号;无线定位接收模块103用于接收无线定位发射模块105的定位信号,完成对无线定位发射模块的坐标定位;麦克风阵列语音接收模块104中各阵元的位置与无线定位接收模块的位置具有固定的坐标关系,用于完成多路语音信号的接收;语音增强模块102完成无线坐标和声学坐标的转换,并采用波束形成技术来完成目标说话人语音的增强;远端语音播放模块106用于播放远端通话方的语音;通信模块101将语音增强模块输出的语音编码调制后发送给远端通话方,接收远端通话方的语音数据并送至远端语音播放模块进行播放。
本发明的第一个实施例中,其硬件结构如图2所示,由通信模块201、嵌入式处理器202、UWB定位芯片a203、UWB定位芯片b204、UWB定位芯片c205、UWB定位芯片d206、UWB发射芯片207、多路模/数转换芯片208、麦克风阵列209、远端语音无线发送模块210共同构成,其中UWB发射芯片207用以实现无线定位发射模块105,完成周期性发射无线定位信号,可以选用DecaWave公司的ScenSor芯片来实现;UWB定位芯片a203、UWB定位芯片b204、UWB定位芯片c205、UWB定位芯片d206用以实现无线定位接收模块103,完成接收无线定位信号,确定无线定位发射芯片207的坐标,可以选用DecaWave公司的ScenSor芯片来实现;麦克风阵列209和多路模/数转换芯片208链接,用以实现麦克风阵列语音接收模块104,完成多路语音信号的接收。麦克风阵列209的功能是将声信号转换为电信号,可根据应用的需要选取现有的多种麦克风来实现麦克风阵列;多路模/数转换芯片208的功能是将麦克风阵列209输出的模拟信号转换为数字信号,可根据需要的音频质量要求选用不同精度和采样率的多路模/数转换芯片来实现;嵌入式处理器202用以实现语音增强模块102,主要完成以下功能:1、控制UWB定位芯片a203、UWB定位芯片b204、UWB定位芯片c205、UWB定位芯片d206接收UWB发射芯片207的无线定位信号,并完成对UWB发射芯片207的坐标定位;2、控制多路模/数转换芯片208的工作,并完成接收信号的语音增强;3、控制通信模块201,将语音增强后输出语音编码调制后发送给远端通话方。嵌入式处理器202可以采用MCU、DSP等来实现。
本发明实施例1中,采用以下步骤实现无线定位发射模块定位并进行语音信号的增强:
步骤1:确定无线定位发射模块与目标说话人口之间的相对坐标,例如,将无线定位发射模块佩戴在目标说话人右耳时,坐标关系相对关系如下:设人正前方为Y坐标轴正方向,建立右手直角坐标系,设无线定位发射模块的坐标为(x0,y0,z0),则目标说话人口的坐标为(x0-7,y0+7,z0-5),单位为厘米。确定麦克风阵列语音接收模块中各阵元与无线定位接收模块的相对坐标,以垂直正向目标说话人放置的情况为例,以系统装置的中心为坐标原点,设人正前方为Y坐标轴正方向,建立右手直角坐标系,则无线定位接收模块的四个UWB定位芯片的相对坐标为UWB定位芯片a(15,0,10)、UWB定位芯片b(-15,0,10)、UWB定位芯片c(-15,0,-10)、UWB定位芯片d(15,0,-10),单位为厘米。设麦克风阵列阵元数为4个,相对坐标为麦克风阵元1(-6,0,-12)、麦克风阵元2(-2,0,-12)、麦克风阵元3(2,0,-12)、麦克风阵元4(6,0,-12),单位为厘米。
步骤2:初始化无线定位发射模块、无线定位接收模块、语音增强模块,其中包括定位天线的安装,考虑到本系统定位采用的是三维TOA定位算法,需4个定位芯片进行定位;UWB定位芯片受到嵌入式处理器控制,嵌入式处理器能够接收到各个UWB定位芯片发送过来的信号传播时延TOA;在嵌入式处理器上进行软件的安装,确定待无线定位发射模块的定位周期、各UWB定位芯片的时钟偏移、语音信号传播速度C等,并无线发送给无线定位发射模块,完成初始化设置。
步骤3:无线定位发射模块发射无线定位信号,无线定位接收模块接收到定位信号后对无线定位发射模块进行定位,确定无线定位发射模块与无线定位接收模块的相对坐标;无线定位发射模块进行周期性定位,根据预先的设置进行周期性发射带有时间戳的脉冲信号,每个脉冲完成一次测距。当各UWB定位芯片接收到脉冲信号时,将接收到的脉冲信号与导频序列进行互相关,其相关器输出的信号幅度会随着接收信号与导频序列的相似性而改变,相似程度越高,相关器输出越大,相关器的峰值对应的时移即本次信号的传播时延TOA。
各UWB定位芯片将测量得到的信号传播时延TOA嵌入式处理器,由嵌入式处理器计算各UWB定位芯片到无线定位发射模块的测距结果。将每一个UWB定位芯片求得的时延TOA减去因为发送和接收所造成的时钟偏移再乘以信号传播速度,即为该UWB定位芯片到无线定位发射模块的测距结果。根据各UWB定位芯片的测距结果,可得如下方程组:
( X 1 - x 0 ) 2 + ( Y 1 - y 0 ) 2 + ( Z 1 - z 0 ) 2 = D 1 2 ( X 2 - x 0 ) 2 + ( Y 2 - y 0 ) 2 + ( Z 2 - z 0 ) 2 = D 2 2 ( X 3 - x 0 ) 2 + ( Y 3 - y 0 ) 2 + ( Z 3 - z 0 ) 2 = D 3 2 ( X 4 - x 0 ) 2 + ( Y 4 - y 0 ) 2 + ( Z 4 - z 0 ) 2 = D 4 2
其中,Di为第i个UWB定位芯片到无线定位发射模块的测距距离。解算方程组,计算得出在该次定位中无线定位发射模块的相对坐标(x0,y0,z0)。根据无线定位发射模块与目标说话人口之间的相对坐标、无线定位发射模块与无线定位接收模块的相对坐标、以及麦克风阵列语音接收模块中各阵元与无线定位接收模块的相对坐标,计算目标说话人口到麦克风阵列语音接收模块中各阵元的相对坐标。接着无线定位接收模块进入等待下一次定位周期来到,进行下一轮定位计算。
步骤4:根据目标说话人口到麦克风阵列语音接收模块中各阵元的相对坐标调整语音增强模块中波束形成器的时延补偿权值:已知声源坐标(x0,y0,z0),经直角坐标系与球坐标系转换公式
Figure BDA0000402492680000082
得到在球坐标下的表示方法为
Figure BDA0000402492680000083
其中θ与
Figure BDA0000402492680000084
分别别为声源的方位角和仰角。考虑到在多数情况下,近场声源的声场表现为各向同性,即在θ,方向上没有变化,则声波的波动方程可以表示为
Figure BDA0000402492680000086
式中,c为声速c=343米/秒。
于是,得到波动方程的解为 s ( r , ω , t ) = A r exp { j ( ωt - kr ) } , 式中k为声波波数,其中ω为声波角频率。麦克风阵列接收到近场语音声源
Figure BDA0000402492680000088
时,其接收的声源方向矢量可以表示为 α sp ( r ω ) = r ω e - jkr ω [ e - jkr 1 ω r 1 ω , . . . , e - jkr iω r iω , . . . , e - jkr Mω r Mω ] T , 式中(·)T表示转置矩阵,M为麦克风数目。假设在二维投影平面内,xω=(rωω)为声源位置,xi=(rii)为麦克风位置,r为声源与第i只麦克风之间的距离,即 r iω = r ω 2 + r i 2 - 2 r ω r i cos cos ( θ i - θ ω ) .
考虑到语音信号是宽带信号,故阵列信号的时间补偿权值矢量为αt(rω)=αt=[1,...,e-jk(L-1)cT]T。经过时间补偿权值调整,麦克风阵列电子对准目标说话人口,接收信号的方向矢量可以进一步表示为空时二维信号矢量形式:
α ( r ω ) = α sp ( r ω ) ⊗ α t ( r ω ) = r ω e - jkr ω [ e - jkr 1 ω r 1 ω , . . . , e - jkr Mω r Mω , e - jkr ( ηω + cT ) r 1 ω , . . . , e - jk ( r Mω + ( L - 1 ) cT ) r Mω ] T , 式中,
Figure BDA0000402492680000093
为Kronecker积。
增强目标说话人口方向的声音方法如下:语音信号为s(n),麦克风阵列接收的语音信号矢量方向矢量为α(rω),则麦克风阵列接收信号可以表示为x(n)=α(rω)s(n)。然后对接收信号x(n)进行固定FIR滤波,输出为
Figure BDA0000402492680000094
在阻塞矩阵部分选取矩阵B,目的是去除下支路上的语音信号,使该支路的输出是仅包括干扰和噪声的组合。由于经过时间延迟补偿后,各麦克风中所含注视方向上的语音信号完全相同,故只要阻塞矩阵中每一行上的元素之和为零,则可保证输出中不含注视方向上的语音信号。经过阻塞矩阵处理后的信号为:N(n)=Bx(n)。设
Figure BDA0000402492680000098
为阻塞矩阵B中第m行元素向量,对于所有m,需满足
Figure BDA0000402492680000095
常用的Griffiths-Jim阻塞矩阵可表示为:
Figure BDA0000402492680000096
经过阻塞矩阵的信号通过自适应FIR滤波器,设wl为L阶滤波器系数,则下路部分输出信号为。
Figure BDA0000402492680000097
这样,语音增强系统的最终输出信号为:y(n)=y1(n)-y2(n)。
通过寻找最优的自适应FIR滤波器系数wk(n),使得系统的噪音输出功率最小,可以用无约束的最小均方算法解决,自适应滤波器系数矩阵的自适应调整方法如下:初始化自适应滤波器系数权值矩阵,令自适应滤波器系数权值矩阵w0=[1,0,…,0,]T。接着,假定目标说话人的语音共有Q个信源存在,将第q个信号(其中q=1,2,…,Q)的阵列输出与该信号在时刻k的期望形式之间的平方误差的数学期望值定义为代价函数,其中代价函数为与自适应滤波器系数矩阵相关的函数:令e(n)=g[y(k)]-y(k)。其中,g[y(k)]是一个非线性的估计因子,对解调器输出的信号y(k)作用,用g[y(k)]代替期望信号d(k),然后产生误差函数e(n)=d(k)-y(k)。设代价函数为
Figure BDA0000402492680000101
式中,x(k)=[x0(k),x1(k),...,xM-1(k)]T
计算代价函数对于自适应滤波器系数矩阵的梯度函数,即对J(wq)求偏导:
▿ = ∂ ∂ w q ( k ) J [ w q ( k ) ] = R x w q ( k ) - r xd = E [ x ( k ) x H ( k ) ] w q ( k ) - E [ x ( k ) d q * ( k ) ] .
当上式中的数学期望用各自的瞬时值代替,即得k时刻的梯度估计值如下:
▿ ^ ( k ) = x ( k ) [ x H ( k ) w q ( k ) - d q * ( k ) ] = x ( k ) e q ( k ) . 上式中:
Figure BDA0000402492680000104
代表阵列输出与第q个用户期望响应dq(k)之间的瞬时误差。容易证明,梯度估计
Figure BDA0000402492680000105
是真实梯度▽的无偏估计。
采用梯度下降法调整自适应滤波器系数矩阵,并计算相应的代价函数值:考虑随机梯度算法,其更新权值矩阵公式为
Figure BDA0000402492680000106
其中μ为收敛因子。将得到最新的wq(k+1),对语音信号进行语音增强,并计算代价函数值
Figure BDA0000402492680000107
当代价函数值与前一次迭代的代价函数值变化量小于给定值,或迭代次数超出预设次数,则输出自适应滤波器系数矩阵并结束,否则转步骤4.3b。将得到的期望语音参考信号与得到的噪声参考信号进行差运算,得到语音增强信号。
步骤5:步骤4得到的增强后语音通过通信模块发送给远端通话方,并通过通信模块接收远端通话方的语音数据,并送至远端语音播放模块进行播放。
本发明的第二个实施例中,远端语音无线接收模块、音频放大播放模块、无线定位发射模块,集成为无线耳机端;无线定位接收模块、麦克风阵列语音接收模块、语音增强模块、通信模块、远端语音无线发送模块集成为主机端。主机端、无线耳机端系统结构框图如图5所示,主机端、无线耳机端硬件结构如图6所示。主机端的硬件结构与实施例1相同,UWB数据传输芯片610用以实现远端语音播放模块106的语音无线发送;耳机端由UWB发射芯片207、UWB数据传输芯片611、数/模转换电路612、功率放大电路613、扬声器614共同构成,UWB数据传输芯片611、数/模转换电路612、功率放大电路613、扬声器614顺次连接,用以实现远端语音播放模块106的语音无线接收及播放。本实施例中,图5里的远端语音无线发送模块505为UWB数据传输芯片,可以选用Staccato公司的SC4503芯片来实现;图5中的远端语音无线接收模块507为UWB数据传输芯片,可以选用Staccato公司的SC4503芯片来实现。解码后的音频信号经过模/数转换电路612进行数字信号到模拟信号的转换,经过功率放大电路613后传送给扬声器614进行播放。

Claims (10)

1.一种基于无线定位麦克风阵列语音增强的通话系统,其特征在于包括无线定位发射模块、无线定位接收模块、麦克风阵列语音接收模块、语音增强模块、远端语音播放模块和通信模块,其中无线定位发射模块与无线定位接收模块采用无线的方式连接,无线定位接收模块和麦克风阵列语音接收模块分别与语音增强模块连接,语音增强模块与通信模块连接,远端语音播放模块与通信模块连接。
2.根据权利要求1所述的一种基于无线定位麦克风阵列语音增强的通话系统,其特征在于,无线定位发射模块的安装位置与说话人口的位置具有固定的坐标关系,用于发射无线定位信号;无线定位接收模块用于接收无线定位发射模块的定位信号,完成对无线定位发射模块的坐标定位;麦克风阵列语音接收模块中各阵元的位置与无线定位接收模块的位置具有固定的坐标关系,用于完成多路语音信号的接收;语音增强模块完成无线坐标和声学坐标的转换,并采用波束形成技术来完成目标说话人语音的增强;远端语音播放模块用于播放远端通话方的语音;通信模块将语音增强模块输出的语音编码调制后发送给远端通话方,接收远端通话方的语音数据并送至远端语音播放模块进行播放。
3.根据权利要求1所述的一种基于无线定位麦克风阵列语音增强的通话系统,其特征在于,所述远端语音播放模块包括远端语音无线发送模块、远端语音无线接收模块、音频放大播放模块,其中远端语音无线发送模块、远端语音无线接收模块采用无线的方式连接,远端语音无线接收模块与音频放大播放模块连接;远端语音无线发送模块完成远端语音的无线发送;远端语音无线接收模块完成远端语音的无线接收;音频放大播放模块完成远端语音的放大和播放。
4.根据权利要求1所述的一种基于无线定位麦克风阵列语音增强的通话系统,其特征在于,所述远端语音无线发送模块和远端语音无线接收模块采用超宽带无线传输技术进行无线数据的传输;所述无线定位发射模块和无线定位接收模块采用超宽带无线定位技术来完成无线定位。
5.根据权利要求3所述的一种基于无线定位麦克风阵列语音增强的通话系统,其特征在于,所述远端语音无线接收模块、音频放大播放模块和无线定位发射模块集成为无线耳机端,所述无线定位接收模块、麦克风阵列语音接收模块、语音增强模块、通信模块和远端语音无线发送模块集成为主机端。
6.用于权利要求1~5任一项述的一种基于无线定位麦克风阵列语音增强的通话系统的通话方法,其特征在于包括如下步骤:
步骤1:确定无线定位发射模块与目标说话人口之间的相对坐标,确定麦克风阵列语音接收模块中各阵元与无线定位接收模块的相对坐标;
步骤2:初始化无线定位发射模块、无线定位接收模块、语音增强模块;
步骤3:无线定位发射模块发射无线定位信号,无线定位接收模块接收到定位信号后对无线定位发射模块进行定位,确定无线定位发射模块与无线定位接收模块的相对坐标;根据无线定位发射模块与目标说话人口之间的相对坐标、无线定位发射模块与无线定位接收模块的相对坐标、以及麦克风阵列语音接收模块中各阵元与无线定位接收模块的相对坐标,获得目标说话人口到麦克风阵列语音接收模块中各阵元的相对坐标;
步骤4:根据目标说话人口到麦克风阵列语音接收模块中各阵元的相对坐标调整语音增强模块中波束形成器的时延补偿权值,使其增强目标说话人口方向的声音,得到语音增强后的信号;
步骤5:步骤4得到的增强后语音通过通信模块发送给远端通话方,并通过通信模块接收远端通话方的语音数据,并送至远端语音播放模块进行播放。
7.根据权利要求6所述的通话方法,其特征在于所述步骤2中,无线定位发射模块、无线定位接收模块、语音增强模块的初始化具体包括以下步骤:
步骤2.1:无线定位接收模块中的接收天线完成时间同步,无线定位发射模块进入准备发射定位信号状态;
步骤2.2:语音增强模块中的波束形成器权值矩阵置零,所述权值矩阵包括时延补偿矩阵、固定波束形成权值矩阵、阻塞权值矩阵和自适应波束形成权值矩阵。
8.根据权利要求6所述的通话方法,其特征在于步骤3中,无线定位发射模块与无线定位接收模块的相对坐标采用以下步骤进行确定:
步骤3.1:无线定位发射模块周期性发射定位脉冲序列,其中,脉冲序列带有该无线定位发射模块的设备号和脉冲序列的发射时间戳;
步骤3.2:无线定位接收模块的接收天线接收定位脉冲序列,并计算定位脉冲序列到达无线定位接收模块中不同UWB定位芯片的传播时延TOA;
步骤3.3:无线定位接收模块根据各UWB定位芯片的传播时延TOA,获得无线定位发射模块到各UWB定位芯片的距离;
步骤3.4:无线定位接收模块根据步骤3.3所得距离的方程组计算无线定位发射模块与无线定位接收模块的相对坐标。
9.根据权利要求6所述的通话方法,其特征在于步骤4中,语音增强模块波束形成器的时延补偿权值矩阵,采用以下方式计算:
步骤4.1a:根据目标说话人口到麦克风阵列语音接收模块中各阵元的相对坐标计算目标说话人口到麦克风阵列语音接收模块中各阵元的空间距离;
步骤4.2a:目标说话人口到麦克风阵列语音接收模块中各阵元的空间距离除以声音速度,得到目标说话人口到麦克风阵列语音接收模块中各阵元的传播时间;
步骤4.3a:根据传播时间计算时延补偿权值矩阵,使得麦克风阵列语音接收模块中各阵元接收的目标说话人语音经过时延补偿权值矩阵后同步;
所述语音增强模块的波束形成器的自适应滤波器系数,采用以下方式计算:
步骤4.1b:目标说话人的语音共有Q个信源存在,将第q个信号的阵列输出与该信号在时刻k的期望形式之间的代价函数表示为自适应滤波器系数矩阵的函数;其中q=1,2,…,Q;
步骤4.2b:计算代价函数对于自适应滤波器系数矩阵的梯度函数;
步骤4.3b:采用梯度下降法调整自适应滤波器系数矩阵,并计算相应的代价函数值;
步骤4.4b:采用调整后的自适应滤波器系数矩阵对输入语音信号进行语音增强,并计算语音增强后阵列输出信号与该信号期望形式之间的代价函数值,如果当前代价函数值与前一次迭代的代价函数值变化量小于给定值,或迭代次数超出预设次数,则输出自适应滤波器系数矩阵并结束,否则转步骤4.3b。
10.根据权利要求6所述的通话方法,其特征在于步骤4中,语音增强模块波束形成器的自适应滤波器系数矩阵,还采用以下方式计算:
步骤4.1c:将波束形成器输出信号的平均功率表示为自适应滤波器系数矩阵的函数;
步骤4.2c:在满足约束条件条件下,将平均功率函数对自适应滤波器系数矩阵中的每个元素求偏导,并令偏导等于0;
步骤4.3c:将得到的方程组成方程组并求解,得到当前最优的自适应滤波器系数矩阵。
CN201310513373.4A 2013-10-25 2013-10-25 一种基于无线定位麦克风阵列语音增强的通话系统及方法 Pending CN103544959A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310513373.4A CN103544959A (zh) 2013-10-25 2013-10-25 一种基于无线定位麦克风阵列语音增强的通话系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310513373.4A CN103544959A (zh) 2013-10-25 2013-10-25 一种基于无线定位麦克风阵列语音增强的通话系统及方法

Publications (1)

Publication Number Publication Date
CN103544959A true CN103544959A (zh) 2014-01-29

Family

ID=49968353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310513373.4A Pending CN103544959A (zh) 2013-10-25 2013-10-25 一种基于无线定位麦克风阵列语音增强的通话系统及方法

Country Status (1)

Country Link
CN (1) CN103544959A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590624A (zh) * 2014-11-10 2016-05-18 现代自动车株式会社 车辆中的语音识别系统及其方法
CN105702261A (zh) * 2016-02-04 2016-06-22 厦门大学 带相位自校正功能的声聚焦麦克风阵列长距离拾音装置
CN106302974A (zh) * 2015-06-12 2017-01-04 联想(北京)有限公司 一种信息处理的方法及电子设备
CN106409306A (zh) * 2016-09-19 2017-02-15 宁波高新区敦和科技有限公司 一种获取人声的智能系统及基于该系统的获取方法
CN106531156A (zh) * 2016-10-19 2017-03-22 兰州交通大学 一种基于室内多移动源实时处理的语音信号增强技术方法
CN106603878A (zh) * 2016-12-09 2017-04-26 奇酷互联网络科技(深圳)有限公司 语音定位方法、装置和系统
CN106717024A (zh) * 2014-11-05 2017-05-24 日立汽车系统株式会社 车载用声音处理装置
CN106817652A (zh) * 2017-02-15 2017-06-09 深圳壹秘科技有限公司 移动会议便携装置
CN107452397A (zh) * 2017-09-13 2017-12-08 安徽硕威智能科技有限公司 基于麦克风阵列的语音增强装置及方法
CN107742522A (zh) * 2017-10-23 2018-02-27 科大讯飞股份有限公司 基于麦克风阵列的目标语音获取方法及装置
CN108399916A (zh) * 2018-01-08 2018-08-14 蔚来汽车有限公司 车载智能语音交互系统和方法、处理装置和存储装置
CN108520754A (zh) * 2018-04-09 2018-09-11 广东思派康电子科技有限公司 一种降噪会议机
CN108551625A (zh) * 2018-05-22 2018-09-18 出门问问信息科技有限公司 波束成形的方法、装置及电子设备
CN108597508A (zh) * 2018-03-28 2018-09-28 京东方科技集团股份有限公司 用户识别方法、用户识别装置和电子设备
CN108986795A (zh) * 2018-05-28 2018-12-11 马鞍山观点信息科技有限公司 一种室内广告展示方法
CN109495800A (zh) * 2018-10-26 2019-03-19 成都佳发安泰教育科技股份有限公司 一种音频动态采集系统及方法
CN110121129A (zh) * 2019-06-20 2019-08-13 歌尔股份有限公司 耳机的麦克风阵列降噪方法、装置、耳机及tws耳机
CN110495185A (zh) * 2018-03-09 2019-11-22 深圳市汇顶科技股份有限公司 语音信号处理方法及装置
CN114596848A (zh) * 2020-12-07 2022-06-07 北京小米移动软件有限公司 用于机器人的语音识别方法、装置及机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157403A (en) * 1996-08-05 2000-12-05 Kabushiki Kaisha Toshiba Apparatus for detecting position of object capable of simultaneously detecting plural objects and detection method therefor
CN1645971A (zh) * 2004-01-19 2005-07-27 宏碁股份有限公司 结合定位技术的麦克风阵列收音方法及其系统
CN101427154A (zh) * 2005-09-21 2009-05-06 皇家飞利浦电子股份有限公司 使用远程位置麦克风进行语音激活控制的超声成像系统
CN102800325A (zh) * 2012-08-31 2012-11-28 厦门大学 一种超声波辅助麦克风阵列语音增强装置
CN103218198A (zh) * 2011-08-12 2013-07-24 索尼电脑娱乐公司 运动用户的声音定位

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157403A (en) * 1996-08-05 2000-12-05 Kabushiki Kaisha Toshiba Apparatus for detecting position of object capable of simultaneously detecting plural objects and detection method therefor
CN1645971A (zh) * 2004-01-19 2005-07-27 宏碁股份有限公司 结合定位技术的麦克风阵列收音方法及其系统
CN101427154A (zh) * 2005-09-21 2009-05-06 皇家飞利浦电子股份有限公司 使用远程位置麦克风进行语音激活控制的超声成像系统
CN103218198A (zh) * 2011-08-12 2013-07-24 索尼电脑娱乐公司 运动用户的声音定位
CN102800325A (zh) * 2012-08-31 2012-11-28 厦门大学 一种超声波辅助麦克风阵列语音增强装置

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106717024A (zh) * 2014-11-05 2017-05-24 日立汽车系统株式会社 车载用声音处理装置
CN105590624A (zh) * 2014-11-10 2016-05-18 现代自动车株式会社 车辆中的语音识别系统及其方法
CN106302974A (zh) * 2015-06-12 2017-01-04 联想(北京)有限公司 一种信息处理的方法及电子设备
CN106302974B (zh) * 2015-06-12 2020-01-31 联想(北京)有限公司 一种信息处理的方法及电子设备
CN105702261A (zh) * 2016-02-04 2016-06-22 厦门大学 带相位自校正功能的声聚焦麦克风阵列长距离拾音装置
CN105702261B (zh) * 2016-02-04 2019-08-27 厦门大学 带相位自校正功能的声聚焦麦克风阵列长距离拾音装置
CN106409306A (zh) * 2016-09-19 2017-02-15 宁波高新区敦和科技有限公司 一种获取人声的智能系统及基于该系统的获取方法
CN106531156A (zh) * 2016-10-19 2017-03-22 兰州交通大学 一种基于室内多移动源实时处理的语音信号增强技术方法
CN106603878A (zh) * 2016-12-09 2017-04-26 奇酷互联网络科技(深圳)有限公司 语音定位方法、装置和系统
CN106817652A (zh) * 2017-02-15 2017-06-09 深圳壹秘科技有限公司 移动会议便携装置
CN107452397A (zh) * 2017-09-13 2017-12-08 安徽硕威智能科技有限公司 基于麦克风阵列的语音增强装置及方法
CN107742522A (zh) * 2017-10-23 2018-02-27 科大讯飞股份有限公司 基于麦克风阵列的目标语音获取方法及装置
US11081123B2 (en) 2017-10-23 2021-08-03 Iflytek Co., Ltd. Microphone array-based target voice acquisition method and device
CN108399916A (zh) * 2018-01-08 2018-08-14 蔚来汽车有限公司 车载智能语音交互系统和方法、处理装置和存储装置
CN110495185A (zh) * 2018-03-09 2019-11-22 深圳市汇顶科技股份有限公司 语音信号处理方法及装置
CN108597508A (zh) * 2018-03-28 2018-09-28 京东方科技集团股份有限公司 用户识别方法、用户识别装置和电子设备
CN108520754A (zh) * 2018-04-09 2018-09-11 广东思派康电子科技有限公司 一种降噪会议机
CN108551625A (zh) * 2018-05-22 2018-09-18 出门问问信息科技有限公司 波束成形的方法、装置及电子设备
CN108986795A (zh) * 2018-05-28 2018-12-11 马鞍山观点信息科技有限公司 一种室内广告展示方法
CN109495800A (zh) * 2018-10-26 2019-03-19 成都佳发安泰教育科技股份有限公司 一种音频动态采集系统及方法
CN110121129A (zh) * 2019-06-20 2019-08-13 歌尔股份有限公司 耳机的麦克风阵列降噪方法、装置、耳机及tws耳机
CN114596848A (zh) * 2020-12-07 2022-06-07 北京小米移动软件有限公司 用于机器人的语音识别方法、装置及机器人

Similar Documents

Publication Publication Date Title
CN103544959A (zh) 一种基于无线定位麦克风阵列语音增强的通话系统及方法
CN102831898B (zh) 带声源方向跟踪功能的麦克风阵列语音增强装置及其方法
DiBiase et al. Robust localization in reverberant rooms
EP2749042B1 (en) Processing signals
CN102324237B (zh) 麦克风阵列语音波束形成方法、语音信号处理装置及系统
CN102969002B (zh) 一种可抑制移动噪声的麦克风阵列语音增强装置
US20040013038A1 (en) System and method for processing a signal being emitted from a target signal source into a noisy environment
US7366662B2 (en) Separation of target acoustic signals in a multi-transducer arrangement
US20140044274A1 (en) Estimating Direction of Arrival From Plural Microphones
CN108694957A (zh) 基于圆形麦克风阵列波束形成的回声抵消设计方法
CN101533091B (zh) 空时二维阻塞窄带干扰方法
EP2449798B2 (en) A system and method for estimating the direction of arrival of a sound
CN102387273B (zh) 一种抑制残留回声的方法和装置
CN101394679B (zh) 声源定位系统及方法
RU2759715C2 (ru) Звукозапись с использованием формирования диаграммы направленности
CN102800325A (zh) 一种超声波辅助麦克风阵列语音增强装置
CN104244143A (zh) 位置引导声学阵列和波束形成方法
JP2002062348A (ja) 信号処理装置及び信号処理方法
CN105869651A (zh) 基于噪声混合相干性的双通道波束形成语音增强方法
CN110850445B (zh) 一种基于空时采样协方差求逆的脉冲干扰抑制方法
CN101964934A (zh) 二元麦克风微阵列语音波束形成方法
CN102204281A (zh) 用于产生定向输出信号的系统和方法
CN106992010A (zh) 无直达声条件下的麦克风阵列语音增强装置
CN202197344U (zh) 送话器阵列回声消除系统
Lombard et al. Multidimensional localization of multiple sound sources using averaged directivity patterns of blind source separation systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140129