CN107018470A - 一种基于环形麦克风阵列的语音记录方法及系统 - Google Patents
一种基于环形麦克风阵列的语音记录方法及系统 Download PDFInfo
- Publication number
- CN107018470A CN107018470A CN201610070954.9A CN201610070954A CN107018470A CN 107018470 A CN107018470 A CN 107018470A CN 201610070954 A CN201610070954 A CN 201610070954A CN 107018470 A CN107018470 A CN 107018470A
- Authority
- CN
- China
- Prior art keywords
- wave beam
- adaptive
- adjusted
- reference wave
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/23—Direction finding using a sum-delay beam-former
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明提供了一种基于环形麦克风阵列的语音记录方法及系统,该方法包括:通过环形麦克风阵列实时采集语音信号,所述环形麦克风阵列包括多个麦克风;将所述语音信号转换为频域信号;对所述环形麦克风阵列所处的空间进行扇形划分,形成多个包含至少一个麦克风的扇形区域;生成各扇形区域的固定波束;对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号;记录各固定波束方向的语音信号。由于减小了其余方向信号泄漏过多的问题,提高了用户体验效果。
Description
技术领域
本发明涉及语音信号处理领域,具体涉及一种基于环形麦克风阵列的语音记录方法及系统。
背景技术
随着语音处理技术的不断发展,会议记录工作逐渐由传统的纯人工记录转变为由智能化的会议记录设备进行记录处理,大大降低了工作量,减少了人力投入。然而现实的会议环境中的声学现象比较复杂,会议记录的质量受较多因素的影响,如外界噪声、远场录音、各说话人相互干扰等,使得整个记录系统难以准确地获取各说话人数据,进而实现后续的数据分析工作,如回听、转写等。
传统的语音降噪系统多是基于多个麦克风采用谱减法或维纳滤波等技术来抑制噪声,例如:分布式近讲话筒录音系统在每个说话人面前均有一个麦克风话筒,此麦克风话筒不但具备扩音的功能,还可以将说话人的声音录下来,多个发音人的声音会通过混音器保存成一个文件;或基于环形麦克风阵列利用麦克风空间位置差异提取期望方向信号,抑制其余方向信号,从而实现降噪;还可以使用具备录音模式的录音笔,该录音笔一般放置在会议室的一角,对会议全程中的语音进行录制。
然而,对于分布式近讲话筒录音系统,如果需要保证较高的记录质量,则每个说话人都需要配置一个近讲话筒,因而该系统成本高,并且布置复杂,需要专业的施工团队才能完成安装调试,因此这种系统一般只在高端会议室中采用;对于环形麦克风阵列得到的信号对非期望方向干扰抑制能力有限,导致其余方向信号泄漏过多,波束指向性较差;对于采用录音笔的记录方式,由于录音设备离大部分发音人都比较远,容易受环境噪声以及房间混响的影响,从而导致录音清晰度和可懂度不高,整体质量较差。
发明内容
本发明实施例提供一种基于环形麦克风阵列的语音记录方法及系统,以解决现有环形麦克风阵列得到的信号对非期望方向干扰抑制能力有限,导致其余方向信号泄漏过多,并且波束指向性较差的问题。
为此,本发明实施例提供如下技术方案:
一种基于环形麦克风阵列的语音记录方法,包括:
通过环形麦克风阵列实时采集语音信号,所述环形麦克风阵列包括多个麦克风;
将所述语音信号转换为频域信号;
对所述环形麦克风阵列所处的空间进行扇形划分,形成多个包含至少一个麦克风的扇形区域;
生成各扇形区域的固定波束;
对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号;
记录各固定波束方向的语音信号。
优选地,所述生成各扇形区域的固定波束包括:
根据所述环形麦克风阵列的各麦克风权重系数生成各扇形区域的固定波束,确定所述环形麦克风阵列的各麦克风权重系数的准则包括:
保证语音信号入射方向的固定波束的响应为1,并且所述环形麦克风阵列总体输出功率最小化。
优选地,所述对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号包括:
对于每一个固定波束,将该固定波束作为待调整波束,将该固定波束之外的其它固定波束作为参考波束,逐帧对所述待调整波束进行自适应调整,直至所述语音信号结束;每帧所述待调整帧的自适应调整过程包括:
获取当前帧各参考波束的自适应权重系数;
在当前帧各参考波束的自适应权重系数下,计算当前帧待调整波束的自适应波束;
根据当前帧各自适应波束的二阶统计特征确定其中用于权重系数调整的波束;
利用所述用于权重系数调整的波束更新当前帧各参考波束的自适应权重系数,并将更新后的各参考波束的自适应权重系数作为当前帧或下一帧各参考波束的自适应权重系数。
优选地,所述利用所述用于权重系数调整的波束更新当前帧各参考波束的自适应权重系数包括:
采用自适应滤波算法更新当前帧各参考波束的自适应权重系数,使得自适应波束输出的能量均值最小。
优选地,所述语音记录方法还包括:获取更新后的各参考波束的自适应权重系数之后,判断语音信号是否结束,如果是,则结束计算所述待调整波束的自适应波束;如果否,则根据预设的权重系数更新步长确定各参考波束的自适应权重系数的更新幅度,逐帧更新自适应权重系数,并在更新后的自适应权重系数下计算所述待调整波束的自适应波束。
优选地,所述计算当前帧待调整波束的自适应波束包括:
计算当前帧待调整波束中含有参考波束的泄露成分,该泄露成分为当前帧各参考波束的自适应权重系数与参考波束的乘积;
将去除泄露成分的待调整波束输出作为当前帧待调整波束的自适应波束。
优选地,所述语音记录方法还包括:
在计算当前帧待调整波束的自适应波束之前,从所述待调整波束的参考波束中选择至少一个对所述待调整波束影响大的参考波束作为优选参考波束,以便于从所述待调整波束中剔除优选参考波束的泄露成分,其中,影响大的参考波束包括以下任意一种或多种:能量值、功率值、信噪比、直达混响比最大的指定个数/大于设定阈值的参考波束。
一种基于环形麦克风阵列的语音记录系统,包括:
信号采集模块,用于通过环形麦克风阵列实时采集语音信号,所述环形麦克风阵列包括多个麦克风;
频域转换模块,用于将所述语音信号转换为频域信号;
区域划分模块,用于对所述环形麦克风阵列所处的空间进行扇形划分,形成多个包含至少一个麦克风的扇形区域;
固定波束形成模块,用于生成各扇形区域的固定波束;
自适应调整模块,用于对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号;
记录模块,用于记录各固定波束方向的语音信号。
优选地,所述自适应调整模块包括:
参考波束获取单元,用于对于每一个固定波束,将该固定波束作为待调整波束,将该固定波束之外的其它固定波束作为参考波束;
系数获取单元,用于获取当前帧各参考波束的自适应权重系数;
自适应计算单元,用于在当前帧各参考波束的自适应权重系数下,计算当前帧待调整波束的自适应波束;
调整波束确定单元,用于根据当前帧各自适应波束的二阶统计特征确定其中用于权重系数调整的波束;
更新系数获取单元,用于利用所述用于权重系数调整的波束更新当前帧各参考波束的自适应权重系数,并将更新后的各参考波束的自适应权重系数作为当前帧或下一帧各参考波束的自适应权重系数。
优选地,所述语音记录系统还包括:
判断模块,用于判断所述语音信号是否结束,如果是,则执行记录模块;如果否,则执行自适应模块。
优选地,所述自适应计算单元包括:
泄露成分获取子单元,用于计算当前帧待调整波束中含有参考波束的泄露成分,该泄露成分为当前帧各参考波束的自适应权重系数与参考波束的乘积;
自适应波束获取子单元,用于将去除泄露成分的待调整波束输出作为当前帧待调整波束的自适应波束。
优选地,所述语音记录系统还包括:
选择模块,用于从所述待调整波束的参考波束中选择至少一个对所述待调整波束影响大的参考波束作为优选参考波束,以便于从所述待调整波束中剔除优选参考波束的泄露成分,其中,影响大的参考波束包括以下任意一种或多种:能量值、功率值、信噪比、直达混响比最大的指定个数/大于设定阈值的参考波束。
优选地,所述环形麦克风阵列中的多个麦克风为均匀分布或非均匀分布。
优选地,所述环形麦克风阵列为多环形麦克风阵列。
本发明提供的一种基于环形麦克风阵列的语音记录方法及系统,该方法通过对环形麦克风阵列进行扇形划分,并生成各扇形区域的固定波束,然后对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号,并记录各固定波束方向的语音信号。由于通过对各固定波束进行自适应调整,使其它固定波束对当前固定波束的影响最小,有效地提高了环形麦克风阵列得到的信号对非期望方向干扰抑制能力,进而减小了其余方向信号泄漏过多的问题,提高了语音记录效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其它的附图。
图1是本发明实施例基于环形麦克风阵列的语音记录方法的一种流程图;
图2至图3是本发明实施例提供的单环麦克风阵列的结构示意图;
图4至图6是本发明实施例提供的多环麦克风阵列的结构示意图;
图7是本发明实施例基于环形麦克风阵列接收语音信号的示意图;
图8是本发明实施例基于环形麦克风阵列的固定波束空间示意图;
图9是本发明实施例基于环形麦克风阵列的当前波束的自适应波束形成示意图;
图10是本发明实施例基于环形麦克风阵列的语音记录系统的一种结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例的方案,下面结合附图和实施方式对本发明实施例作进一步的详细说明。
需要强调的是,本发明提供的记录方法不仅仅适用于会议记录,还适用于任何需要记录语音的场景中,本发明提供的记录方法能解决其余方向信号泄漏过多的问题,以提高语音记录效果。此外,还可以应用于其他使用环形麦克阵列采集语音信号的场景中,例如,使用环形麦克风阵列的说话人识别场景、智能交互场景等,以提高环形麦克风阵列输出的语音信号的质量,进而提升语音识别率等,在此不作限定。
如图1所示,是本发明实施例基于环形麦克风阵列的语音记录方法的一种流程图,包括以下步骤:
步骤101,通过环形麦克风阵列实时采集语音信号,所述环形麦克风阵列包括多个麦克风。
在本实施例中,通过环形麦克风阵列可以采集全方位的用户语音信号。本发明采用的环形麦克风阵列可以是单环环形麦克风阵列,其中麦克风可以是均匀分布,也可以根据实际应用情况非均匀分布,如预先得知在某些方位目标说话人出现的概率较大,则可在其对应方向多布局麦克风,在其它位置麦克风布置稀疏一些,以增强特定方向上的语音信号采集能力。具体地,为了能够实现空间360度拾音,所述麦克风阵列为含M(通常M≥4)个麦克风的环形麦克风阵列,本实施例以拓扑结构为含M个麦克风的环形麦克风阵列为例进行说明,如图2、图3所示,为麦克风个数为4个和8个的环形麦克风阵列的示意图。当然所述麦克风阵列也可以是椭圆、不规则环形等其它环形结构,对此本案不做限定。
此外,所述环形麦克风阵列还可以为多环形麦克风阵列,如图4至图6所示。对于麦克风阵列,麦克风个数越多,主瓣越窄,旁瓣越低,麦克风阵列采集语音信号的能力越强,其中旁瓣的高低主要由零点个数决定,在实际使用中,麦克风越多,自由度越多,可形成的零点个数越多,故多环形麦克风阵列,可以得到更好的旁瓣效果,以增强麦克风阵列采集语音信号的能力。
步骤S02,将所述语音信号转换为频域信号。
在实际应用中,将所述语音信号转换为频域信号可以包括:对所述语音信号进行分帧处理;对分帧后的每帧语音信号作加窗处理;对加窗处理后的每帧语音信号进行离散傅里叶变换,得到每帧语音信号的频域信号。
在一个具体实施例中,以单环形麦克风阵列采集语音信号为例,假设语音信号Sd(t)的入射方向角为θ,麦克风阵列接收语音信号的示意图如图7所示,麦克风的个数为M,第m个麦克风相对于声音信号Sd(t)的时延为τm,则可以得到麦克风阵列导向矢量如式(1)所示:
其中,a(θ)是导向矢量,表示不同麦克风对于期望方向的空间响应,τm与入射方向角度θ、麦克风固定波束以及麦克风阵列结构有关。
第m个麦克风采集到的声音信号如式(2)所示:
xm(t)=Sd(t-τm) (2)
特别地,当τm=0时,表示参考麦克风相对于期望方向的时延为0。
将接收的语音信号从时域变换到频率域,可以包括:首先,对声音信号进行分帧处理;然后,将分帧后的每帧信号作加窗处理,其中,所述加窗可以为:哈明(Hamming)窗、汉宁(Hanning)窗等;最后,在加窗后的信号作离散傅里叶(DFT)变换,得到入射的原始语音信号的频域表示Sd(k,l),同时可以得到M个麦克风的频率信号X1(k,l)~XM(k,l),其中,k表示信号的频率,l表示帧序号,以下符号代表相同意义。第m个麦克风接收到的频率信号的公式如式(3)所示:
步骤S03,对所述环形麦克风阵列所处的空间进行扇形划分,形成多个包含至少一个麦克风的扇形区域。
在本实施例中,基于麦克风阵列对所述环形麦克风阵列所处的空间进行扇形划分,形成N个扇形区域,其中,每个扇形区域包含至少一个所述环形麦克风阵列的麦克风,每个扇形区域在后续步骤形成各固定波束。需要说明的是,每个扇形区域包含一个或多个麦克风,因此区域个数N和麦克风个数M的关系为N≤M。
步骤S04,生成各扇形区域的固定波束。
具体地,基于步骤S03划分形成的N个扇形区域,在每个扇形区域中形成各固定波束,扇形区域个数为N时,固定波束个数也为N。固定波束形成的思想是确定环形麦克风阵列的各麦克风的一组权重系数,对各麦克风采集到的语音信号进行加权滤波,从而得到各方向的固定波束,固定波束空间示意图如图8所示。其中,确定所述环形麦克风阵列的各麦克风的一组权重系数的准则可以包括:保证当前语音信号所在扇形区域的波束的响应为1,即从该入射方向的入射语音信号无失真;在保证当前语音信号所在扇形区域的波束的响应为1的基础上,麦克风阵列总体输出功率最小化。
在一个具体实施例中,设每个区域的中心角度分别为θ1,θ2,…,θn,…,θN。假定环形麦克风阵列的各麦克风的权重系数如式(4)所示:
w(k,l)=[w1(k,l),w2(k,l),……,wM(k,l)] (4)
则环形麦克风阵列的输出可表示为式(5)所示:
Y(k,l)=X(k,l)wH(k,l)=Sd(k,l)a(θ)wH(k,l) (5)
其中X(k,l)=[X1(k,l),X2(k,l),……,XM(k,l)]表示环形麦克风阵列的各麦克风的语音信号向量。上标H表示向量的共轭转置。每个固定波束有一个输出,当一个固定波束对应区域包括两个或更多个麦克风时,通过加权求和等方式获取该固定波束的输出。
此时的环形麦克风阵列输出的功率如式(6)所示:
P(k,l)=[X(k,l)wH(k,l)]HX(k,l)wH(k,l)=w(k,l)R(k,l)wH(k,l) (6)
其中,R(k,l)=XH(k,l)X(k,l)表示麦克风阵列采集声音信号的功率谱密度矩阵。w(k,l)的计算公式如式(7)所示:
且a(θn)wH(k,l)=1 (7)
式(7)意味着在期望方向,即想要获得语音信号的方向的入射语音信号无失真的状态下,使输出功率最小化;a(θn)是在期望方向的导向矢量(steering vector)。然后,利用利用拉格朗日乘数法,很容易求得满足此条件的权重向量w(k,l),如式(8)所示。
其中,a(θn)是在角度θn方向的导向矢量。通过使用该最佳权重向量w(k,l),可以在沿期望的方向的灵敏度被设定为1的状态下使输出功率最小化,即最大限度的抑制噪声。
同理,我们可以得到在角度θ1,θ2,…,θn,…,θN上形成波束的麦克风权重系数,分别为:w1(k,l),w2(k,l),……,wM(k,l)。通过将麦克风信号分别乘上这些系数,相当于在环形麦克风阵列所处空间的N个角度形成N个固定波束,即将空间划分成了N份。
步骤S05,对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号,参考图9所示。
在本实施例中,所述对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号包括:对于每一个固定波束,将该固定波束作为待调整波束,将该固定波束之外的其它固定波束作为参考波束,逐帧对所述待调整波束进行自适应调整,直至所述语音信号结束;每帧所述待调整帧的自适应调整过程包括:获取当前帧各参考波束的自适应权重系数;在当前帧各参考波束的自适应权重系数下,计算当前帧待调整波束的自适应波束;根据当前帧各自适应波束的二阶统计特征确定其中用于权重系数调整的波束;利用所述用于权重系数调整的波束更新当前帧各参考波束的自适应权重系数,并将更新后的各参考波束的自适应权重系数作为当前帧或下一帧各参考波束的自适应权重系数。其中,所述利用所述用于权重系数调整的波束更新当前帧各参考波束的自适应权重系数包括:采用自适应滤波算法更新当前帧各参考波束的自适应权重系数,使得自适应波束输出的能量均值最小;所述计算当前帧待调整波束的自适应波束包括:计算当前帧待调整波束中含有参考波束的泄露成分,该泄露成分为当前帧各参考波束的自适应权重系数与参考波束的乘积;将去除泄露成分的待调整波束输出作为当前帧待调整波束的自适应波束。
所述自适应滤波算法可以为最小均方误差算法(Least Mean Square,LMS)、递归最小二乘算法(Recursive Least Squares,RLS)、自仿射投影算法(Affine ProjectionAlgorithm,APA)等,在此不作限定,在本实施例中以LMS算法为例进行说明。
在实际应用中,所述二阶统计特征可以包括以下任意一种或多种:能量值、功率值、信噪比、直达混响比,通常采用能量值作为二阶统计特征。
进一步地,所述记录方法还包括:获取更新后的各参考波束的自适应权重系数之后,判断语音信号是否结束,如果是,则结束计算所述待调整波束的自适应波束;如果否,则根据预设的权重系数更新步长确定各参考波束的自适应权重系数的更新幅度,逐帧更新自适应权重系数,并在更新后的自适应权重系数下计算所述待调整波束的自适应波束。
优选地,所述记录方法还包括:在计算当前帧待调整波束的自适应波束之前,从所述待调整波束的参考波束中选择至少一个对所述待调整波束影响大的参考波束作为优选参考波束,以便于从所述待调整波束中剔除优选参考波束的泄露成分,其中,影响大的参考波束包括以下任意一种或多种:能量值、功率值、信噪比、直达混响比最大的指定个数/大于设定阈值的参考波束。
在一个具体实施例中,首先,初始化参考波束的自适应权重系数,将当前固定波束作为待调整波束,则其余方向的波束都称为参考波束。本案中将参考波束的自适应权重系数初始化为一个全零的向量,每一个当前波束的参考波束权重系数是一个N-1维的向量,则当前波束n的参考波束权重系数向量此时l=0;然后,选取能量值小于设定阈值的固定波束作为基准,例如,对于当前帧各固定波束,计算各固定波束的能量值,如果能量值小于能量阈值(一般设为一个接近于零的较小值),则以该固定波束的输出作为基准进行权重系数更新调整;然后,对当前波束进行自适应调整使得作为基准的固定波束输出的能量值趋于零,获取其它固定波束的自适应权重系数;接着,根据当前帧的其它固定波束的自适应权重系数计算权重系数更新值;根据当前帧的权重系数更新值获取下一帧的其它固定波束的自适应权重系数。例如,可以采用自适应输出信号的最小均方误差算法(LMS)来进行自适应权重系数更新,即当前波束输出的能量均值最小,具体可以采用计算偏导等于0,最后计算出权重系数更新值为接着,根据其计算下一帧自适应权重系数,如式(9)所示:
其中,μ表示各参考波束的自适应权重系数的更新幅度(即更新步长),其值可以根据经验或实际应用情况确定;然后根据自适应权重系数计算当前波束的自适应波束输出,需要说明的是,可以根据当前帧或下一帧的其它固定波束的自适应权重系数计算当前波束的自适应波束输出。
其中,计算当前波束的自适应波束输出的过程可以如下所示:假设当前波束为其它方向的波束向量即参考波束向量Ynref(k,l)包括:则当前波束n中含有其它波束的泄露成分可表示成式(10)所示:
式(10)还可以写成向量的形式,如式(11)所示:
其中,为参考波束向量,为其它固定波束的自适应权重系数,即参考波束向量的自适应权重系数,当然,也可以采用下一帧参考波束向量的自适应权重系数
当前波束的自适应波束的输出如式(12)所示:
在实际应用中,在计算当前波束的其它固定波束的泄露成分时,可以只在其它的n-1个固定波束中选择P个影响较大的固定波束,其选择依据可以是根据以下任意一种或多种:功率值、能量值、直达混响比、信噪比等进行选择,以能量值为例:即可以选能量值最大的P个固定波束,P值一般由实际应用情况或经验确定的,也可以是能量值大于一定阈值的P个固定波束。
获取当前帧的当前波束的自适应波束输出后,可以判断所述语音信号是否结束,如果未结束,则根据预设的权重系数更新步长确定各参考波束的自适应权重系数的更新幅度,逐帧更新自适应权重系数,并在更新后的自适应权重系数下计算所述待调整波束的自适应波束。
步骤S06,记录各固定波束方向的语音信号。
在本发明实施例中,首先形成各固定波束,然后对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号,最终记录各固定波束方向的语音信号。由于对当前波束进行自适应调整,消除了当前波束中含有的其它固定波束的泄露成分,提高语音记录的准确性。
相应地,本发明还实施例提供了一种基于环形麦克风阵列的语音记录系统,如图10所示,是该系统的一种结构示意图。
在本实施例中,所述语音记录系统可以包括:
信号采集模块111,用于通过环形麦克风阵列实时采集语音信号,所述环形麦克风阵列包括多个麦克风;
频域转换模块112,用于将所述语音信号转换为频域信号;
区域划分模块113,用于对所述环形麦克风阵列所处的空间进行扇形划分,形成多个包含至少一个麦克风的扇形区域;
固定波束形成模块114,用于生成各扇形区域的固定波束;
自适应调整模块115,用于对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号;
记录模块116,用于记录各固定波束方向的语音信号。
具体地,所述自适应调整模块115包括:
参考波束获取单元,用于对于每一个固定波束,将该固定波束作为待调整波束,将该固定波束之外的其它固定波束作为参考波束;
系数获取单元,用于获取当前帧各参考波束的自适应权重系数;
自适应计算单元,用于在当前帧各参考波束的自适应权重系数下,计算当前帧待调整波束的自适应波束;
调整波束确定单元,用于根据当前帧各自适应波束的二阶统计特征确定其中用于权重系数调整的波束;
更新系数获取单元,用于利用所述用于权重系数调整的波束更新当前帧各参考波束的自适应权重系数,并将更新后的各参考波束的自适应权重系数作为当前帧或下一帧各参考波束的自适应权重系数。
当然,所述语音记录系统还可以包括:
判断模块138,用于判断所述语音信号是否结束,如果是,则执行记录模块116;如果否,则执行自适应调整模块115。
在实际应用中,所述自适应计算单元包括:
泄露成分获取子单元,用于计算当前帧待调整波束中含有参考波束的泄露成分,该泄露成分为当前帧各参考波束的自适应权重系数与参考波束的乘积;
自适应波束获取子单元,用于将去除泄露成分的待调整波束输出作为当前帧待调整波束的自适应波束。
进一步地,所述语音记录系统还包括:
选择模块127,用于从所述待调整波束的参考波束中选择至少一个对所述待调整波束影响大的参考波束作为优选参考波束,以便于从所述待调整波束中剔除优选参考波束的泄露成分,其中,影响大的参考波束包括以下任意一种或多种:能量值、功率值、信噪比、直达混响比最大的指定个数/大于设定阈值的参考波束。
需要说明的是,为了改善波束形成性能,所述环形麦克风阵列中的多个麦克风为均匀分布或非均匀分布。例如,当已知某个方向的说话人数目明显多于其它方向的说话人数目时,可以在该方向设置的麦克风数量多一些,以提高记录效果。此外,所述环形麦克风阵列可以为单环麦克风阵列或多环形麦克风阵列,优选地,所述环形麦克风阵列为多环形麦克风阵列。麦克风越多,自由度越多,可形成的零点个数越多,故多环形麦克风阵列,可以得到更好的旁瓣效果,以增强麦克风阵列采集语音信号的能力。
当然,该系统还可以进一步包括存储模块(未图示),用于保存各扇形区域的麦克风的权重系数、其它固定波束的自适应权重系数等参数。这样,以方便对接收的语音信号进行自动降噪处理,并存储记录等相关信息。
本发明实施例提供的基于环形麦克风阵列的语音记录系统,通过频域转换模块112将信号采集模块111获取的语音信号转换为频域信号,然后,通过区域划分模块113将所述环形麦克风阵列所处的空间进行扇形划分,形成包含至少一个所述环形麦克风阵列的麦克风的各扇形区域,并由固定波束形成模块114生成各扇形区域的固定波束,接着,通过自适应调整模块115对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号,最终通过记录模块116记录各固定波束方向的语音信号。由于自适应调整模块115对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,减小了其余方向信号泄漏过多的问题,提高了用户体验效果。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其它实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的语音记录系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本发明实施例进行了详细介绍,本文中应用了具体实施方式对本发明进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及系统;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (14)
1.一种基于环形麦克风阵列的语音记录方法,其特征在于,包括:
通过环形麦克风阵列实时采集语音信号,所述环形麦克风阵列包括多个麦克风;
将所述语音信号转换为频域信号;
对所述环形麦克风阵列所处的空间进行扇形划分,形成多个包含至少一个麦克风的扇形区域;
生成各扇形区域的固定波束;
对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号;
记录各固定波束方向的语音信号。
2.根据权利要求1所述的语音记录方法,其特征在于,所述生成各扇形区域的固定波束包括:
根据所述环形麦克风阵列的各麦克风权重系数生成各扇形区域的固定波束,确定所述环形麦克风阵列的各麦克风权重系数的准则包括:
保证语音信号入射方向的固定波束的响应为1,并且所述环形麦克风阵列总体输出功率最小化。
3.根据权利要求1所述的语音记录方法,其特征在于,所述对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号包括:
对于每一个固定波束,将该固定波束作为待调整波束,将该固定波束之外的其它固定波束作为参考波束,逐帧对所述待调整波束进行自适应调整,直至所述语音信号结束;每帧所述待调整帧的自适应调整过程包括:
获取当前帧各参考波束的自适应权重系数;
在当前帧各参考波束的自适应权重系数下,计算当前帧待调整波束的自适应波束;
根据当前帧各自适应波束的二阶统计特征确定其中用于权重系数调整的波束;
利用所述用于权重系数调整的波束更新当前帧各参考波束的自适应权重系数,并将更新后的各参考波束的自适应权重系数作为当前帧或下一帧各参考波束的自适应权重系数。
4.根据权利要求3所述的语音记录方法,其特征在于,所述利用所述用于权重系数调整的波束更新当前帧各参考波束的自适应权重系数包括:
采用自适应滤波算法更新当前帧各参考波束的自适应权重系数,使得自适应波束输出的能量均值最小。
5.根据权利要求3或4所述的语音记录方法,其特征在于,所述记录方法还包括:获取更新后的各参考波束的自适应权重系数之后,判断语音信号是否结束,如果是,则结束计算所述待调整波束的自适应波束;如果否,则根据预设的权重系数更新步长确定各参考波束的自适应权重系数的更新幅度,逐帧更新自适应权重系数,并在更新后的自适应权重系数下计算所述待调整波束的自适应波束。
6.根据权利要求3所述的语音记录方法,其特征在于,所述计算当前帧待调整波束的自适应波束包括:
计算当前帧待调整波束中含有参考波束的泄露成分,该泄露成分为当前帧各参考波束的自适应权重系数与参考波束的乘积;
将去除泄露成分的待调整波束输出作为当前帧待调整波束的自适应波束。
7.根据权利要求6所述的语音记录方法,其特征在于,所述记录方法还包括:
在计算当前帧待调整波束的自适应波束之前,从所述待调整波束的参考波束中选择至少一个对所述待调整波束影响大的参考波束作为优选参考波束,以便于从所述待调整波束中剔除优选参考波束的泄露成分,其中,影响大的参考波束包括以下任意一种或多种:能量值、功率值、信噪比、直达混响比最大的指定个数/大于设定阈值的参考波束。
8.一种基于环形麦克风阵列的语音记录系统,其特征在于,包括:
信号采集模块,用于通过环形麦克风阵列实时采集语音信号,所述环形麦克风阵列包括多个麦克风;
频域转换模块,用于将所述语音信号转换为频域信号;
区域划分模块,用于对所述环形麦克风阵列所处的空间进行扇形划分,形成多个包含至少一个麦克风的扇形区域;
固定波束形成模块,用于生成各扇形区域的固定波束;
自适应调整模块,用于对各固定波束逐帧进行自适应调整,以使其它固定波束对当前固定波束的影响最小,得到各固定波束方向的语音信号;
记录模块,用于记录各固定波束方向的语音信号。
9.根据权利要求8所述的语音记录系统,其特征在于,所述自适应调整模块包括:
参考波束获取单元,用于对于每一个固定波束,将该固定波束作为待调整波束,将该固定波束之外的其它固定波束作为参考波束;
系数获取单元,用于获取当前帧各参考波束的自适应权重系数;
自适应计算单元,用于在当前帧各参考波束的自适应权重系数下,计算当前帧待调整波束的自适应波束;
调整波束确定单元,用于根据当前帧各自适应波束的二阶统计特征确定其中用于权重系数调整的波束;
更新系数获取单元,用于利用所述用于权重系数调整的波束更新当前帧各参考波束的自适应权重系数,并将更新后的各参考波束的自适应权重系数作为当前帧或下一帧各参考波束的自适应权重系数。
10.根据权利要求9所述的语音记录系统,其特征在于,所述语音记录系统还包括:
判断模块,用于判断所述语音信号是否结束,如果是,则执行记录模块;如果否,则执行自适应模块。
11.根据权利要求9或10所述的语音记录系统,其特征在于,所述自适应计算单元包括:
泄露成分获取子单元,用于计算当前帧待调整波束中含有参考波束的泄露成分,该泄露成分为当前帧各参考波束的自适应权重系数与参考波束的乘积;
自适应波束获取子单元,用于将去除泄露成分的待调整波束输出作为当前帧待调整波束的自适应波束。
12.根据权利要求11所述的语音记录系统,其特征在于,所述语音记录系统还包括:
选择模块,用于从所述待调整波束的参考波束中选择至少一个对所述待调整波束影响大的参考波束作为优选参考波束,以便于从所述待调整波束中剔除优选参考波束的泄露成分,其中,影响大的参考波束包括以下任意一种或多种:能量值、功率值、信噪比、直达混响比最大的指定个数/大于设定阈值的参考波束。
13.根据权利要求8至10任一项所述的语音记录系统,其特征在于,所述环形麦克风阵列中的多个麦克风为均匀分布或非均匀分布。
14.根据权利要求8至10任一项所述的语音记录系统,其特征在于,所述环形麦克风阵列为多环形麦克风阵列。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610070954.9A CN107018470B (zh) | 2016-01-28 | 2016-01-28 | 一种基于环形麦克风阵列的语音记录方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610070954.9A CN107018470B (zh) | 2016-01-28 | 2016-01-28 | 一种基于环形麦克风阵列的语音记录方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107018470A true CN107018470A (zh) | 2017-08-04 |
CN107018470B CN107018470B (zh) | 2019-02-26 |
Family
ID=59438689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610070954.9A Active CN107018470B (zh) | 2016-01-28 | 2016-01-28 | 一种基于环形麦克风阵列的语音记录方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107018470B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108449691A (zh) * | 2018-05-04 | 2018-08-24 | 科大讯飞股份有限公司 | 一种拾音装置及声源距离确定方法 |
CN108447496A (zh) * | 2018-06-22 | 2018-08-24 | 成都瑞可利信息科技有限公司 | 一种基于麦克风阵列的语音增强方法及装置 |
CN108445450A (zh) * | 2018-04-13 | 2018-08-24 | 上海其高电子科技有限公司 | 超大规模声源定位方法 |
CN108447499A (zh) * | 2018-04-18 | 2018-08-24 | 佛山市顺德区中山大学研究院 | 一种双层圆环麦克风阵列语音增强方法 |
CN108449687A (zh) * | 2018-03-13 | 2018-08-24 | 江苏华腾智能科技有限公司 | 一种多麦克风阵列降噪的会议系统 |
CN110797042A (zh) * | 2018-08-03 | 2020-02-14 | 杭州海康威视数字技术股份有限公司 | 音频处理方法、装置及存储介质 |
CN110931036A (zh) * | 2019-12-07 | 2020-03-27 | 杭州国芯科技股份有限公司 | 一种麦克风阵列波束形成方法 |
CN111105811A (zh) * | 2019-12-31 | 2020-05-05 | 西安讯飞超脑信息科技有限公司 | 声音信号的处理方法、相关设备及可读存储介质 |
CN111161750A (zh) * | 2019-12-13 | 2020-05-15 | 西安讯飞超脑信息科技有限公司 | 语音处理方法及相关装置 |
CN111583927A (zh) * | 2020-05-08 | 2020-08-25 | 安创生态科技(深圳)有限公司 | 多通道i2s语音唤醒低功耗电路数据处理方法及装置 |
WO2020192721A1 (zh) * | 2019-03-28 | 2020-10-01 | 华为技术有限公司 | 一种语音唤醒方法、装置、设备及介质 |
CN111866439A (zh) * | 2020-07-21 | 2020-10-30 | 厦门亿联网络技术股份有限公司 | 一种优化音视频体验的会议装置、系统及其运行方法 |
CN112770208A (zh) * | 2021-01-18 | 2021-05-07 | 塔里木大学 | 一种基于自控分级的智能语音降噪采集装置 |
CN113782024A (zh) * | 2021-09-27 | 2021-12-10 | 上海互问信息科技有限公司 | 一种针对语音唤醒后提升自动语音识别准确率的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100534221C (zh) * | 2001-08-08 | 2009-08-26 | 艾玛复合信号公司 | 用于使用过采样滤波器组处理定向音频信号的方法和系统 |
CN102932040A (zh) * | 2012-11-16 | 2013-02-13 | 上海电机学院 | 一种微蜂窝系统中利用扇区化天线消除干扰的方法及装置 |
WO2013166091A1 (en) * | 2012-05-02 | 2013-11-07 | Gentex Corporation | Non-spatial speech detection system and method of using same |
CN104810021A (zh) * | 2015-05-11 | 2015-07-29 | 百度在线网络技术(北京)有限公司 | 应用于远场识别的前处理方法和装置 |
CN105244036A (zh) * | 2014-06-27 | 2016-01-13 | 中兴通讯股份有限公司 | 一种麦克风语音增强方法及装置 |
-
2016
- 2016-01-28 CN CN201610070954.9A patent/CN107018470B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100534221C (zh) * | 2001-08-08 | 2009-08-26 | 艾玛复合信号公司 | 用于使用过采样滤波器组处理定向音频信号的方法和系统 |
WO2013166091A1 (en) * | 2012-05-02 | 2013-11-07 | Gentex Corporation | Non-spatial speech detection system and method of using same |
CN102932040A (zh) * | 2012-11-16 | 2013-02-13 | 上海电机学院 | 一种微蜂窝系统中利用扇区化天线消除干扰的方法及装置 |
CN105244036A (zh) * | 2014-06-27 | 2016-01-13 | 中兴通讯股份有限公司 | 一种麦克风语音增强方法及装置 |
CN104810021A (zh) * | 2015-05-11 | 2015-07-29 | 百度在线网络技术(北京)有限公司 | 应用于远场识别的前处理方法和装置 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108449687A (zh) * | 2018-03-13 | 2018-08-24 | 江苏华腾智能科技有限公司 | 一种多麦克风阵列降噪的会议系统 |
CN108445450A (zh) * | 2018-04-13 | 2018-08-24 | 上海其高电子科技有限公司 | 超大规模声源定位方法 |
CN108445450B (zh) * | 2018-04-13 | 2024-03-12 | 上海其高电子科技有限公司 | 超大规模声源定位方法 |
CN108447499A (zh) * | 2018-04-18 | 2018-08-24 | 佛山市顺德区中山大学研究院 | 一种双层圆环麦克风阵列语音增强方法 |
CN108447499B (zh) * | 2018-04-18 | 2020-08-04 | 佛山市顺德区中山大学研究院 | 一种双层圆环麦克风阵列语音增强方法 |
CN108449691A (zh) * | 2018-05-04 | 2018-08-24 | 科大讯飞股份有限公司 | 一种拾音装置及声源距离确定方法 |
CN108449691B (zh) * | 2018-05-04 | 2021-05-04 | 科大讯飞股份有限公司 | 一种拾音装置及声源距离确定方法 |
CN108447496B (zh) * | 2018-06-22 | 2020-07-21 | 重庆瑞可利科技有限公司 | 一种基于麦克风阵列的语音增强方法及装置 |
CN108447496A (zh) * | 2018-06-22 | 2018-08-24 | 成都瑞可利信息科技有限公司 | 一种基于麦克风阵列的语音增强方法及装置 |
CN110797042A (zh) * | 2018-08-03 | 2020-02-14 | 杭州海康威视数字技术股份有限公司 | 音频处理方法、装置及存储介质 |
CN110797042B (zh) * | 2018-08-03 | 2022-04-15 | 杭州海康威视数字技术股份有限公司 | 音频处理方法、装置及存储介质 |
WO2020192721A1 (zh) * | 2019-03-28 | 2020-10-01 | 华为技术有限公司 | 一种语音唤醒方法、装置、设备及介质 |
CN110931036A (zh) * | 2019-12-07 | 2020-03-27 | 杭州国芯科技股份有限公司 | 一种麦克风阵列波束形成方法 |
CN111161750B (zh) * | 2019-12-13 | 2022-09-06 | 西安讯飞超脑信息科技有限公司 | 语音处理方法及相关装置 |
CN111161750A (zh) * | 2019-12-13 | 2020-05-15 | 西安讯飞超脑信息科技有限公司 | 语音处理方法及相关装置 |
CN111105811A (zh) * | 2019-12-31 | 2020-05-05 | 西安讯飞超脑信息科技有限公司 | 声音信号的处理方法、相关设备及可读存储介质 |
CN111105811B (zh) * | 2019-12-31 | 2023-04-07 | 西安讯飞超脑信息科技有限公司 | 声音信号的处理方法、相关设备及可读存储介质 |
CN111583927A (zh) * | 2020-05-08 | 2020-08-25 | 安创生态科技(深圳)有限公司 | 多通道i2s语音唤醒低功耗电路数据处理方法及装置 |
CN111866439A (zh) * | 2020-07-21 | 2020-10-30 | 厦门亿联网络技术股份有限公司 | 一种优化音视频体验的会议装置、系统及其运行方法 |
CN111866439B (zh) * | 2020-07-21 | 2022-07-05 | 厦门亿联网络技术股份有限公司 | 一种优化音视频体验的会议装置、系统及其运行方法 |
CN112770208A (zh) * | 2021-01-18 | 2021-05-07 | 塔里木大学 | 一种基于自控分级的智能语音降噪采集装置 |
CN113782024A (zh) * | 2021-09-27 | 2021-12-10 | 上海互问信息科技有限公司 | 一种针对语音唤醒后提升自动语音识别准确率的方法 |
CN113782024B (zh) * | 2021-09-27 | 2024-03-12 | 上海互问信息科技有限公司 | 一种针对语音唤醒后提升自动语音识别准确率的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107018470B (zh) | 2019-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107018470B (zh) | 一种基于环形麦克风阵列的语音记录方法及系统 | |
CN107742522B (zh) | 基于麦克风阵列的目标语音获取方法及装置 | |
US10657981B1 (en) | Acoustic echo cancellation with loudspeaker canceling beamformer | |
US9472180B2 (en) | Headset and a method for audio signal processing | |
US8363850B2 (en) | Audio signal processing method and apparatus for the same | |
CN110085248B (zh) | 个人通信中降噪和回波消除时的噪声估计 | |
JP4896449B2 (ja) | 音響信号処理方法、装置及びプログラム | |
CN107919133A (zh) | 针对目标对象的语音增强系统及语音增强方法 | |
EP2562752A1 (en) | Sound source separator device, sound source separator method, and program | |
CN104936091A (zh) | 基于圆形麦克风阵列的智能交互方法及系统 | |
CN101460999B (zh) | 盲信号提取 | |
CN106887239A (zh) | 用于高度相关的混合物的增强型盲源分离算法 | |
CN102164328A (zh) | 一种用于家庭环境的基于传声器阵列的音频输入系统 | |
CN108091344A (zh) | 一种降噪方法、装置及系统 | |
US11277685B1 (en) | Cascaded adaptive interference cancellation algorithms | |
GB2510329A (en) | Adaptive microphone beamforming | |
CN108766456A (zh) | 一种语音处理方法及装置 | |
CN114245266B (zh) | 小型麦克风阵列设备的区域拾音方法及系统 | |
CN114339539A (zh) | 一种采用麦克风阵列拾音的多通道语音增强方法 | |
US20230319469A1 (en) | Suppressing Spatial Noise in Multi-Microphone Devices | |
CN112420068B (zh) | 一种基于Mel频率尺度分频的快速自适应波束形成方法 | |
Zhao et al. | Closely coupled array processing and model-based compensation for microphone array speech recognition | |
Jiang et al. | A Robust GSC for Microphone Array Using Coherence and Signal-to-Interference Ratio | |
Kawase et al. | Automatic parameter switching of noise reduction for speech recognition | |
CN110136732A (zh) | 双通道智能音频信号处理方法、系统及音频设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |