CN110261816A - 语音波达方向估计方法及装置 - Google Patents
语音波达方向估计方法及装置 Download PDFInfo
- Publication number
- CN110261816A CN110261816A CN201910619190.8A CN201910619190A CN110261816A CN 110261816 A CN110261816 A CN 110261816A CN 201910619190 A CN201910619190 A CN 201910619190A CN 110261816 A CN110261816 A CN 110261816A
- Authority
- CN
- China
- Prior art keywords
- arrival
- signal
- angle
- enhancing
- alternative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000002708 enhancing effect Effects 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 230000003595 spectral effect Effects 0.000 claims abstract description 13
- 238000003062 neural network model Methods 0.000 claims abstract description 5
- 230000015654 memory Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001737 promoting effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请公开一种语音波达方向估计方法及装置,所述方法包括:对麦克风阵列采集到的多路语音信号进行谱峰最大值搜索,以确定多个备选波达方向;对多个备选波达方向的信号进行信号增强处理,得到多个方向的增强信号;将多个方向的增强信号输入至预先训练的神经网络模型,以得到对应于多个方向的增强信号的多个后验概率值;确定多个后验概率值中大于设定阈值的至少一个后验概率值所对应的至少一个备选波达方向;根据在至少一个备选波达方向上的至少一路增强信号确定语音波达方向。将基于神经网络的波达角估计方法与传统基于信号处理的方法相结合,较好的解决了设备在靠墙和较强干扰场景下估计不准的问题。
Description
技术领域
本申请涉及语音信息号处理技术领域,尤其涉及一种语音波达方向估计方法及装置。
背景技术
目前语音类消费电子产品市场越来越火热,这类产品往往需要对语音的来波方向,特别是唤醒说话的方向进行估计,并增强此方向的信号,以达到提高唤醒或者识别准确率的目的;市面上存在一些语音波达方向估计的方法,比如muisc,esprit和GCC-phat等传统的方法。
波达角估计的技术根据其实现方法可以分为基于传统信号处理的方法和基于神经网络的方法;语音信号为典型的宽带信号,通常会将语音信号分成特定的独立子带信号,在每个子带中应用经典的窄带算法,这些算法主要包括以空间谱分解为主要技术特征的MUSIC,ESPRIT等和以互相关为主要技术特征的GCC-PHAT等;MUSIC等算法是指通过对麦克风阵列采集的数据作空间谱分解,利用信号子空间与噪声子空间的正交性,搜索与噪声子空间正交性最好的方向。GCC-PHAT等算法估计语音信号到达各个麦克风之间的信号时间差,利用时间差可以估算出语音的来波方向。
在有语音唤醒功能的音箱等产品中,往往会将空间分为若干方向,对这若干方向作波束成形并分别送入唤醒算法,根据唤醒所属方向判断来波的方向,这个方法扛干扰能力强,但是精度很低。
这些技术的最大问题就是对于折射或干扰的实际应用场景,比如在产品靠墙或靠墙角放置的场景,在有较强干扰的场景,错误率很高,特别是当干扰信号与折射信号并存的时候,极容易判断错误。
在靠墙或者靠墙角等场景中,折射信号与干扰信号往往互相干扰,而传统信号处理方法无法处理干扰信号,而折射过来的信号包含大量语音信息,基于神经网络的方法也很容易选择错误,因此这些方法均不适用。
来波方向估计作为语音增强的前置条件,非常重要,折射和干扰会极大的影响波达方向估计的准确率,由于解决难度较高,行业中往往忽略这个问题或者不测试这个场景。
发明人在实现本申请的过程中发现,基于传统信号处理的空间谱检索方法,往往会将干扰方向判断为信号方向,基于神经网络的方法往往会将折射方向判断为信号方向。面对折射问题,也有采用多通道盲辨识的方法,得到冲激响应最强的延时估计,这种方法得到的延时估计必须为采样时间的整数倍,因此精度很低。
发明内容
本申请实施例提供一种语音波达方向估计方法,用于至少解决上述技术问题之一。
第一方面,本申请实施例提供一种语音波达方向估计方法,包括:
对麦克风阵列采集到的多路语音信号进行谱峰最大值搜索,以确定多个备选波达方向;
对所述多个备选波达方向的信号进行信号增强处理,得到多个方向的增强信号;
将所述多个方向的增强信号输入至预先训练的神经网络模型,以得到对应于所述多个方向的增强信号的多个后验概率值;
确定所述多个后验概率值中大于设定阈值的至少一个后验概率值所对应的至少一个备选波达方向;
根据在所述至少一个备选波达方向上的至少一路增强信号确定语音波达方向。
第二方面,本申请实施例提供一种语音波达方向估计装置,包括:
备选方向确定程序模块,用于对麦克风阵列采集到的多路语音信号进行谱峰最大值搜索,以确定多个备选波达方向;
信号增强程序模块,用于对所述多个备选波达方向的信号进行信号增强处理,得到多个方向的增强信号;
后验概率确定程序模块,用于将所述多个方向的增强信号输入至预先训练的神经网络模型,以得到对应于所述多个方向的增强信号的多个后验概率值;
筛选程序模块,用于确定所述多个后验概率值中大于设定阈值的至少一个后验概率值所对应的至少一个备选波达方向;
波达方向确定程序模块,用于根据在所述至少一个备选波达方向上的至少一路增强信号确定语音波达方向。
第三方面,本申请实施例提供一种存储介质,所述存储介质中存储有一个或多个包括执行指令的程序,所述执行指令能够被电子设备(包括但不限于计算机,服务器,或者网络设备等)读取并执行,以用于执行本申请上述任一项语音波达方向估计方法。
第四方面,提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请上述任一项语音波达方向估计方法。
第五方面,本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任一项语音波达方向估计方法。
本申请实施例的有益效果在于:将基于神经网络的波达角估计方法与传统基于信号处理的方法相结合,较好的解决了设备在靠墙和较强干扰场景下估计不准的问题。解决这个问题,可以有效提高波达角估计的准度和精度,特别是在家居场景,家居场景往往不可避免的面对各样的折射信号和干扰信号。提升波达角估计的准确率对于增强语音信号具有十分重要的意义。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请的语音波达方向估计方法的一实施例的流程图;
图2为本申请的语音波达方向估计方法的另一实施例的流程图;
图3为本申请的语音波达方向估计装置的一实施例的原理框图;
图4为本申请的电子设备的一实施例的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本申请中,“模块”、“装置”、“系统”等指应用于计算机的相关实体,如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说,例如,元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有,运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中,并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间,并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号,例如,来自一个与本地系统、分布式系统中另一元件交互的,和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”,不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请的语音波达方向估计方法的实施例中,先利用music谱峰搜索的方法,可以获得D个(可设置)备选的语音来波方向,对这D个方向作波束增强,送入神经网络得到后验概率,只保留后验概率大于阈值(可设置)的N(N<D)个方向,再用延时估计的方法判断N个方向中哪个是直达声,即得到最后的波达角;利用传统波达角的判断方法,可以得到备选的角度,而神经网络可以有效区分波束中的信息内容,从而可以排除干扰方向。如果此时得到的角度仍然不唯一,那么N个备选方向中应存在折射信号,利用GCC-phat的方法,得到直达声所在的方向,即得到最终的波达角方向。本申请实施例中所用神经网络为深度神经网络(DNN),亦包含卷积神经网络与GRU,或者其它形式,本申请对此不作限定。
本申请的语音波达方向估计方法应用于电子设备,该电子设备可以是能够进行语音控制的智能终端,示例性地,可以是智能音箱、故事机、车载终端、带有音箱功能的智能电视、空调、洗衣机、抽油烟机等等,本申请对此不作限定。
如图1所示,本申请的实施例提供一种语音波达方向估计方法,,应用于电子设备,该方法包括:
S10、对麦克风阵列采集到的多路语音信号进行谱峰最大值搜索,以确定多个备选波达方向。
示例性地,首先,对麦克风阵列采集到的多路语音信号进行预处理,得到多路子带信号数据;
其次,采用music算法对所述多路子带信号数据进行谱峰最大值搜索,得到每路子带信号数据对应的角度;
最后,根据所述多路子带信号数据和每路子带信号数据对应的角度确定多个备选波达方向。
其中,根据所述多路子带信号数据和每路子带信号数据对应的角度确定多个备选波达方向包括:
S11,统计每个角度包含的子带信号数据个数;
S12,对所述每路子带信号数据对应的角度中的相邻角度作平滑处理;
S13,用平滑后的结果构造以角度做横坐标,以每个角度包含的子带信号数据个数为纵坐标的直方图;
S14,搜索包含子带信号数据个数最多的角度,然后以这个角度为中心,将相邻预设范围内的角度所包含的子带信号数据个数设置为0;
重复多次上述步骤S11至S14,可得到多个备选波达方向。
S20、对所述多个备选波达方向的信号进行信号增强处理,得到多个方向的增强信号;
S30、将所述多个方向的增强信号输入至预先训练的神经网络模型,以得到对应于所述多个方向的增强信号的多个后验概率值。
示例性地,每路增强信号分为多帧信号,并且逐帧输入至预先训练好的神经网络模型,以得到对应于每路增强信号的多个后验概率值;
从对应于每路增强信号的多个后验概率值中选出最大值,以得到对应于所述多个方向的增强信号的多个后验概率值。
S40、确定所述多个后验概率值中大于设定阈值的至少一个后验概率值所对应的至少一个备选波达方向。
S50、根据在所述至少一个备选波达方向上的至少一路增强信号确定语音波达方向。
示例性地,当所述至少一个备选波达方向为一个备选波达方向时,确定此时的备选波达方向为语音波达方向;
当所述至少一个备选波达方向为多个备选波达方向时,将对应的多个方向的增强信号两两经过广义互相关算法处理,得到任意两路增强信号的延时时间,选择延时时间最小的方向作为波达方向。
本申请实施例将基于神经网络的波达角估计方法与传统基于信号处理的方法相结合,较好的解决了设备在靠墙和较强干扰场景下估计不准的问题。解决这个问题,可以有效提高波达角估计的准度和精度,特别是在家居场景,家居场景往往不可避免的面对各样的折射信号和干扰信号。提升波达角估计的准确率对于增强语音信号具有十分重要的意义。
如图2所示,本申请的语音波达方向估计方法的一实施例包括以下步:
步骤1,将空间平均分为U个方向,相邻两个方向要有一定程度的重叠,对于每个空间进行宽带波束成形设计,得到加权系数Wd(m,n),
d∈{1,2…U},n∈{1,2…L},m∈{1,2…M},L是滤波器长度,M是语音通道数。
步骤2,利用麦克风阵列采样,得到多路语音数据。对数据作分帧,加窗和fft处理,分别对U个方向作波束增强,即将多路语音数据乘以加权系数W,公式如下:
步骤3,将增强后的语音数据{Yd(t)|d∈{1,2,..,U}}分别送入神经网络,得到每帧数据的后验概率,分别计算每个方向前T帧(包含当前帧)后验概率的最大值,表达式如下:
式中,d表示方向,其实范围为{1,2…L},n表示帧时刻,P表示后验概率的值。
本申请实施例中采用前T帧来确定后验概率最大值,目的是确定哪些方向是包含语音信息的方向,选取前T帧的最大后验概率是为了得到稳定的后验概率。
步骤4,将多路语音作分帧,加窗和短时傅里叶变换处理,得到K个多路子带数据。分别对于每个子带数据,用music算法作谱峰最大值搜索,可以得到每个子带对应的角度。
步骤5,统计每个角度包含的子带个数{hist(d)|d∈全角度},d表示特定角度;对相邻角度作平滑处理,τ为相邻角度的间隔。用平滑后的结果构造以角度做横坐标,以每个角度包含的子带数为纵坐标的直方图。搜索包含子带数最多的角度,然后以这个角度为中心,将相邻±α(可设置)范围内的角度所包含的子带数设置为0,重复D次上述步骤,可得到D个备选波达角。
示例性地,每次重复,得到一个备选角度,都会将它以及相邻范围内的角度子带统计个数清零,则下一次它不会再被重复统计。重复这一步骤,直到得到D个备选角度。
示例性地,α的选取由阵列的结构和空间的具体划分决定,例如,对于环形阵列,将360度划分为6个空间,那么每个空间实际对应60度,α应该略大于60度,可以选择70度。
步骤6,根据步骤2,可依次确定这D个备选波达角所属方向增强后的后验概率PSd(n),并分别与事先设定的阈值P_s做比较,只保留大于阈值的N个方向。
步骤7,根据步骤2和步骤5,可以得到N个波达方向增强后的语音数据{Yd(t)|d∈{1,2,..,N}}。将这N个增强后的语音数据两两经过广义互相关算法模块(PHAT-GCC)的处理,得到任意两路增强后数据的延时时间,选择延时时间最小的方向作为波达角方向。比如当N为3是,3个方向所对应的增强数据为据{Yd(t)|d∈{1,2,3}},对这3路数据作FFT变换可得到{Yd(k)|d∈{1,2,3},k∈{1,2,..K-1}},此时求出第一路和第二路延时的最大值,公式如下所示:
当τ小于0的时候,第一路为直达声,否则第二路为直达声。同理将是直达声的一路与第三路进行比较,从而得到延时时间最小的方向,并将其作为输出的波达角方向。
MUSIC:Multiple Signal classification多重信号分类;
ESPRIT:Estimating signal parameters viarotational invariancetechniques旋转因子不变法
GCC-PHAT:Generalized Cross Correlation-Phase Transform广义互相关;
FFT:Fast Fourier Transform Algorithm快速傅里叶变换
PHAT-GCC:广义互相关延时法
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作合并,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
如图3所示,本申请的实施例还提供一种语音波达方向估计装置300,包括:
备选方向确定程序模块310,用于对麦克风阵列采集到的多路语音信号进行谱峰最大值搜索,以确定多个备选波达方向。
示例性地,所述备选方向确定程序模块包括:
预处理程序单元,用于对麦克风阵列采集到的多路语音信号进行预处理,得到多路子带信号数据;
角度确定程序模块,用于采用music算法对所述多路子带信号数据进行谱峰最大值搜索,得到每路子带信号数据对应的角度;
备选方向确定程序单元,用于根据所述多路子带信号数据和每路子带信号数据对应的角度确定多个备选波达方向。
信号增强程序模块320,用于对所述多个备选波达方向的信号进行信号增强处理,得到多个方向的增强信号。
后验概率确定程序模块330,用于将所述多个方向的增强信号输入至预先训练的神经网络模型,以得到对应于所述多个方向的增强信号的多个后验概率值。
示例性地,每路增强信号分为多帧信号,并且逐帧输入至预先训练好的神经网络模型,以得到对应于每路增强信号的多个后验概率值;
从对应于每路增强信号的多个后验概率值中选出最大值,以得到对应于所述多个方向的增强信号的多个后验概率值。
筛选程序模块340,用于确定所述多个后验概率值中大于设定阈值的至少一个后验概率值所对应的至少一个备选波达方向。
波达方向确定程序模块350,用于根据在所述至少一个备选波达方向上的至少一路增强信号确定语音波达方向。
本申请实施例将基于神经网络的波达角估计方法与传统基于信号处理的方法相结合,较好的解决了设备在靠墙和较强干扰场景下估计不准的问题。解决这个问题,可以有效提高波达角估计的准度和精度,特别是在家居场景,家居场景往往不可避免的面对各样的折射信号和干扰信号。提升波达角估计的准确率对于增强语音信号具有十分重要的意义。
在一些实施例中,所述备选方向确定程序单元313包括:统计程序单元、图表建立程序单元、备选方向确定程序单元和重复执行程序单元。其中:统计程序单元,用于统计每个角度包含的子带信号数据个数;
平滑处理程序单元,用于对所述每路子带信号数据对应的角度中的相邻角度作平滑处理;
图表建立程序单元,用于用平滑后的结果构造以角度做横坐标,以每个角度包含的子带信号数据个数为纵坐标的直方图;
备选方向确定程序单元,用于搜索包含子带信号数据个数最多的角度确定为一个备选波达方向,然后以这个角度为中心,将相邻预设范围内的角度所包含的子带信号数据个数设置为0;
重复执行程序单元,用于多次重复顺序调用统计程序单元、平滑处理程序单元、图表建立程序单元和备选方向确定程序单元以执行相应步骤,可得到多个备选波达方向。
在一些实施例中,所述波达方向确定程序模块350包括:
第一波达方向确定程序单元,用于当所述至少一个备选波达方向为一个备选波达方向时,确定此时的备选波达方向为语音波达方向;
第二波达方向确定程序单元,用于当所述至少一个备选波达方向为多个备选波达方向时,将对应的多个方向的增强信号两两经过广义互相关算法处理,得到任意两路增强信号的延时时间,选择延时时间最小的方向作为波达方向。
本申请实施例中,先利用music谱峰搜索的方法,可以获得D个(可设置)备选的语音来波方向,对这D个方向作波束增强,送入神经网络得到后验概率,只保留后验概率大于阈值(可设置)的N(N<D)个方向,再用延时估计的方法判断N个方向中哪个是直达声,即得到最后的波达角;利用传统波达角的判断方法,可以得到备选的角度,而神经网络可以有效区分波束中的信息内容,从而可以排除干扰方向。如果此时得到的角度仍然不唯一,那么N个备选方向中应存在折射信号,利用GCC-phat的方法,得到直达声所在的方向,即得到最终的波达角方向。
在一些实施例中,本申请实施例提供一种非易失性计算机可读存储介质,所述存储介质中存储有一个或多个包括执行指令的程序,所述执行指令能够被电子设备(包括但不限于计算机,服务器,或者网络设备等)读取并执行,以用于执行本申请上述任一项语音波达方向估计方法。
在一些实施例中,本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任一项语音波达方向估计方法。
在一些实施例中,本申请实施例还提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行语音波达方向估计方法。
在一些实施例中,本申请实施例还提供一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现语音波达方向估计方法。
上述本申请实施例的语音波达方向估计方法装置可用于执行本申请实施例的语音波达方向估计方法,并相应的达到上述本申请实施例的实现语音波达方向估计方法所达到的技术效果,这里不再赘述。本申请实施例中可以通过硬件处理器(hardwareprocessor)来实现相关功能模块。
图4是本申请另一实施例提供的执行语音波达方向估计方法的电子设备的硬件结构示意图,如图4所示,该设备包括:
一个或多个处理器410以及存储器420,图4中以一个处理器410为例。
执行语音波达方向估计方法的设备还可以包括:输入装置430和输出装置440。
处理器410、存储器420、输入装置430和输出装置440可以通过总线或者其他方式连接,图4中以通过总线连接为例。
存储器420作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的语音波达方向估计方法对应的程序指令/模块。处理器410通过运行存储在存储器420中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例语音波达方向估计方法。
存储器420可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据语音波达方向估计装置的使用所创建的数据等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器420可选包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至语音波达方向估计装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可接收输入的数字或字符信息,以及产生与语音波达方向估计装置的用户设置以及功能控制有关的信号。输出装置440可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器420中,当被所述一个或者多个处理器410执行时,执行上述任意方法实施例中的语音波达方向估计方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种语音波达方向估计方法,包括:
对麦克风阵列采集到的多路语音信号进行谱峰最大值搜索,以确定多个备选波达方向;
对所述多个备选波达方向的信号进行信号增强处理,得到多个方向的增强信号;
将所述多个方向的增强信号输入至预先训练的神经网络模型,以得到对应于所述多个方向的增强信号的多个后验概率值;
确定所述多个后验概率值中大于设定阈值的至少一个后验概率值所对应的至少一个备选波达方向;
根据在所述至少一个备选波达方向上的至少一路增强信号确定语音波达方向。
2.根据权利要求1所述的方法,其中,所述对麦克风阵列采集到的多路语音信号进行谱峰最大值搜索,以确定多个备选波达方向包括:
对麦克风阵列采集到的多路语音信号进行预处理,得到多路子带信号数据;
采用music算法对所述多路子带信号数据进行谱峰最大值搜索,得到每路子带信号数据对应的角度;
根据所述多路子带信号数据和每路子带信号数据对应的角度确定多个备选波达方向。
3.根据权利要求2所述的方法,其中,所述根据所述多路子带信号数据和每路子带信号数据对应的角度确定多个备选波达方向包括:
统计每个角度包含的子带信号数据个数;
对所述每路子带信号数据对应的角度中的相邻角度作平滑处理;
用平滑后的结果构造以角度做横坐标,以每个角度包含的子带信号数据个数为纵坐标的直方图;
搜索包含子带信号数据个数最多的角度,然后以这个角度为中心,将相邻预设范围内的角度所包含的子带信号数据个数设置为0;
重复多次上述步骤,可得到多个备选波达方向。
4.根据权利要求1所述的方法,其中,根据在所述至少一个备选波达方向上的至少一路增强信号确定语音波达方向包括:
当所述至少一个备选波达方向为一个备选波达方向时,确定此时的备选波达方向为语音波达方向;
当所述至少一个备选波达方向为多个备选波达方向时,将对应的多个方向的增强信号两两经过广义互相关算法处理,得到任意两路增强信号的延时时间,选择延时时间最小的方向作为波达方向。
5.一种语音波达方向估计装置,包括:
备选方向确定程序模块,用于对麦克风阵列采集到的多路语音信号进行谱峰最大值搜索,以确定多个备选波达方向;
信号增强程序模块,用于对所述多个备选波达方向的信号进行信号增强处理,得到多个方向的增强信号;
后验概率确定程序模块,用于将所述多个方向的增强信号输入至预先训练的神经网络模型,以得到对应于所述多个方向的增强信号的多个后验概率值;
筛选程序模块,用于确定所述多个后验概率值中大于设定阈值的至少一个后验概率值所对应的至少一个备选波达方向;
波达方向确定程序模块,用于根据在所述至少一个备选波达方向上的至少一路增强信号确定语音波达方向。
6.根据权利要求5所述的装置,其中,所述备选方向确定程序模块包括:
预处理程序单元,用于对麦克风阵列采集到的多路语音信号进行预处理,得到多路子带信号数据;
角度确定程序模块,用于采用music算法对所述多路子带信号数据进行谱峰最大值搜索,得到每路子带信号数据对应的角度;
备选方向确定程序单元,用于根据所述多路子带信号数据和每路子带信号数据对应的角度确定多个备选波达方向。
7.根据权利要求6所述的装置,其中,所述备选方向确定程序单元包括:
统计程序单元,用于统计每个角度包含的子带信号数据个数;
平滑处理程序单元,用于对所述每路子带信号数据对应的角度中的相邻角度作平滑处理;
图表建立程序单元,用于用平滑后的结果构造以角度做横坐标,以每个角度包含的子带信号数据个数为纵坐标的直方图;
备选方向确定程序单元,用于搜索包含子带信号数据个数最多的角度确定为一个备选波达方向,然后以这个角度为中心,将相邻预设范围内的角度所包含的子带信号数据个数设置为0;
重复执行程序单元,用于多次重复顺序调用统计程序单元、平滑处理程序单元、图表建立程序单元和备选方向确定程序单元以执行相应步骤,可得到多个备选波达方向。
8.根据权利要求5所述的装置,其中,所述波达方向确定程序模块包括:
第一波达方向确定程序单元,用于当所述至少一个备选波达方向为一个备选波达方向时,确定此时的备选波达方向为语音波达方向;
第二波达方向确定程序单元,用于当所述至少一个备选波达方向为多个备选波达方向时,将对应的多个方向的增强信号两两经过广义互相关算法处理,得到任意两路增强信号的延时时间,选择延时时间最小的方向作为波达方向。
9.一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4中任意一项所述方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-4中任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910619190.8A CN110261816B (zh) | 2019-07-10 | 2019-07-10 | 语音波达方向估计方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910619190.8A CN110261816B (zh) | 2019-07-10 | 2019-07-10 | 语音波达方向估计方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110261816A true CN110261816A (zh) | 2019-09-20 |
CN110261816B CN110261816B (zh) | 2020-12-15 |
Family
ID=67925427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910619190.8A Active CN110261816B (zh) | 2019-07-10 | 2019-07-10 | 语音波达方向估计方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110261816B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111489753A (zh) * | 2020-06-24 | 2020-08-04 | 深圳市友杰智新科技有限公司 | 抗噪声的声源定位方法、装置和计算机设备 |
CN111696570A (zh) * | 2020-08-17 | 2020-09-22 | 北京声智科技有限公司 | 语音信号处理方法、装置、设备及存储介质 |
CN112180318A (zh) * | 2020-09-28 | 2021-01-05 | 深圳大学 | 声源波达方向估计模型训练和声源波达方向估计方法 |
CN112198474A (zh) * | 2020-09-18 | 2021-01-08 | 北京声智科技有限公司 | 一种声源定位方法、装置、介质和设备 |
CN112485761A (zh) * | 2021-02-03 | 2021-03-12 | 成都启英泰伦科技有限公司 | 一种基于双麦克风的声源定位方法 |
CN112599126A (zh) * | 2020-12-03 | 2021-04-02 | 海信视像科技股份有限公司 | 一种智能设备的唤醒方法、智能设备及计算设备 |
CN112863525A (zh) * | 2019-11-26 | 2021-05-28 | 北京声智科技有限公司 | 一种语音波达方向的估计方法、装置及电子设备 |
WO2022135130A1 (zh) * | 2020-12-24 | 2022-06-30 | 北京有竹居网络技术有限公司 | 语音提取方法、装置和电子设备 |
CN114694638A (zh) * | 2022-04-19 | 2022-07-01 | 深圳市未艾智能有限公司 | 一种语音唤醒方法、终端及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0901267A2 (en) * | 1997-09-04 | 1999-03-10 | Nokia Mobile Phones Ltd. | The detection of the speech activity of a source |
CN103308889A (zh) * | 2013-05-13 | 2013-09-18 | 辽宁工业大学 | 复杂环境下被动声源二维doa估计方法 |
CN104459615A (zh) * | 2014-12-05 | 2015-03-25 | 天津大学 | 一种相干分布式宽带线性调频信源定位方法 |
CN104995679A (zh) * | 2013-02-13 | 2015-10-21 | 美国亚德诺半导体公司 | 信号源分离 |
US20150379990A1 (en) * | 2014-06-30 | 2015-12-31 | Rajeev Conrad Nongpiur | Detection and enhancement of multiple speech sources |
CN106251877A (zh) * | 2016-08-11 | 2016-12-21 | 珠海全志科技股份有限公司 | 语音声源方向估计方法及装置 |
KR101720514B1 (ko) * | 2016-02-26 | 2017-04-11 | 서강대학교산학협력단 | Dcica를 이용한 dnn 기반 특징향상을 수행하는 음성인식장치 및 방법 |
CN108549051A (zh) * | 2018-04-17 | 2018-09-18 | 哈尔滨工程大学 | 一种基于麦克风阵列的近场声源实时定位系统 |
CN109255308A (zh) * | 2018-11-02 | 2019-01-22 | 陕西理工大学 | 存在阵列误差的神经网络到达角估计方法 |
CN109273003A (zh) * | 2018-11-20 | 2019-01-25 | 苏州思必驰信息科技有限公司 | 用于行车记录仪的语音控制方法及系统 |
CN109490822A (zh) * | 2018-10-16 | 2019-03-19 | 南京信息工程大学 | 基于ResNet的语音DOA估计方法 |
CN109712611A (zh) * | 2018-12-28 | 2019-05-03 | 苏州思必驰信息科技有限公司 | 联合模型训练方法及系统 |
-
2019
- 2019-07-10 CN CN201910619190.8A patent/CN110261816B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0901267A2 (en) * | 1997-09-04 | 1999-03-10 | Nokia Mobile Phones Ltd. | The detection of the speech activity of a source |
CN104995679A (zh) * | 2013-02-13 | 2015-10-21 | 美国亚德诺半导体公司 | 信号源分离 |
CN103308889A (zh) * | 2013-05-13 | 2013-09-18 | 辽宁工业大学 | 复杂环境下被动声源二维doa估计方法 |
US20150379990A1 (en) * | 2014-06-30 | 2015-12-31 | Rajeev Conrad Nongpiur | Detection and enhancement of multiple speech sources |
CN104459615A (zh) * | 2014-12-05 | 2015-03-25 | 天津大学 | 一种相干分布式宽带线性调频信源定位方法 |
KR101720514B1 (ko) * | 2016-02-26 | 2017-04-11 | 서강대학교산학협력단 | Dcica를 이용한 dnn 기반 특징향상을 수행하는 음성인식장치 및 방법 |
CN106251877A (zh) * | 2016-08-11 | 2016-12-21 | 珠海全志科技股份有限公司 | 语音声源方向估计方法及装置 |
CN108549051A (zh) * | 2018-04-17 | 2018-09-18 | 哈尔滨工程大学 | 一种基于麦克风阵列的近场声源实时定位系统 |
CN109490822A (zh) * | 2018-10-16 | 2019-03-19 | 南京信息工程大学 | 基于ResNet的语音DOA估计方法 |
CN109255308A (zh) * | 2018-11-02 | 2019-01-22 | 陕西理工大学 | 存在阵列误差的神经网络到达角估计方法 |
CN109273003A (zh) * | 2018-11-20 | 2019-01-25 | 苏州思必驰信息科技有限公司 | 用于行车记录仪的语音控制方法及系统 |
CN109712611A (zh) * | 2018-12-28 | 2019-05-03 | 苏州思必驰信息科技有限公司 | 联合模型训练方法及系统 |
Non-Patent Citations (2)
Title |
---|
ZHAOQIONG HUANG ET AL.: "A Regression Approach to Speech Source Localization Exploiting Deep Neural Network", 《2018 IEEE FOURTH INTERNATIONAL CONFERENCE ON MULTIMEDIA BIG DATA (BIGMM)》 * |
周鹤等: "一种改进的虚拟阵列语音信号DOA估计算法", 《四川大学学报(自然科学版)》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112863525B (zh) * | 2019-11-26 | 2023-03-21 | 北京声智科技有限公司 | 一种语音波达方向的估计方法、装置及电子设备 |
CN112863525A (zh) * | 2019-11-26 | 2021-05-28 | 北京声智科技有限公司 | 一种语音波达方向的估计方法、装置及电子设备 |
CN111489753A (zh) * | 2020-06-24 | 2020-08-04 | 深圳市友杰智新科技有限公司 | 抗噪声的声源定位方法、装置和计算机设备 |
CN111696570A (zh) * | 2020-08-17 | 2020-09-22 | 北京声智科技有限公司 | 语音信号处理方法、装置、设备及存储介质 |
CN111696570B (zh) * | 2020-08-17 | 2020-11-24 | 北京声智科技有限公司 | 语音信号处理方法、装置、设备及存储介质 |
CN112198474A (zh) * | 2020-09-18 | 2021-01-08 | 北京声智科技有限公司 | 一种声源定位方法、装置、介质和设备 |
CN112198474B (zh) * | 2020-09-18 | 2022-02-15 | 北京声智科技有限公司 | 一种声源定位方法、装置、介质和设备 |
CN112180318A (zh) * | 2020-09-28 | 2021-01-05 | 深圳大学 | 声源波达方向估计模型训练和声源波达方向估计方法 |
CN112180318B (zh) * | 2020-09-28 | 2023-06-27 | 深圳大学 | 声源波达方向估计模型训练和声源波达方向估计方法 |
CN112599126A (zh) * | 2020-12-03 | 2021-04-02 | 海信视像科技股份有限公司 | 一种智能设备的唤醒方法、智能设备及计算设备 |
CN112599126B (zh) * | 2020-12-03 | 2022-05-27 | 海信视像科技股份有限公司 | 一种智能设备的唤醒方法、智能设备及计算设备 |
WO2022135130A1 (zh) * | 2020-12-24 | 2022-06-30 | 北京有竹居网络技术有限公司 | 语音提取方法、装置和电子设备 |
CN112485761A (zh) * | 2021-02-03 | 2021-03-12 | 成都启英泰伦科技有限公司 | 一种基于双麦克风的声源定位方法 |
CN114694638A (zh) * | 2022-04-19 | 2022-07-01 | 深圳市未艾智能有限公司 | 一种语音唤醒方法、终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110261816B (zh) | 2020-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110261816A (zh) | 语音波达方向估计方法及装置 | |
CN110600017B (zh) | 语音处理模型的训练方法、语音识别方法、系统及装置 | |
CN108899044B (zh) | 语音信号处理方法及装置 | |
CN108922553B (zh) | 用于音箱设备的波达方向估计方法及系统 | |
US10602267B2 (en) | Sound signal processing apparatus and method for enhancing a sound signal | |
CN107924681B (zh) | 用于在具有语音功能的装置之间的仲裁中的方法以及用于仲裁的系统 | |
CN110503971A (zh) | 用于语音处理的基于神经网络的时频掩模估计和波束形成 | |
CN110767223B (zh) | 一种单声道鲁棒性的语音关键词实时检测方法 | |
CN110503970A (zh) | 一种音频数据处理方法、装置及存储介质 | |
Dorfan et al. | Tree-based recursive expectation-maximization algorithm for localization of acoustic sources | |
WO2019080551A1 (zh) | 目标语音检测方法及装置 | |
CN106093864A (zh) | 一种麦克风阵列声源空间实时定位方法 | |
CN102760444B (zh) | 基于支撑向量机的基带时域音频信号分类方法 | |
CN110610718B (zh) | 一种提取期望声源语音信号的方法及装置 | |
Bertrand et al. | Energy-based multi-speaker voice activity detection with an ad hoc microphone array | |
CN109346062A (zh) | 语音端点检测方法及装置 | |
WO2023273747A1 (zh) | 智能设备的唤醒方法和装置、存储介质及电子装置 | |
CN113870893B (zh) | 一种多通道双说话人分离方法及系统 | |
Wang | Multi-band multi-centroid clustering based permutation alignment for frequency-domain blind speech separation | |
CN113628612A (zh) | 语音识别方法、装置、电子设备及计算机可读存储介质 | |
WO2024027246A1 (zh) | 声音信号处理方法、装置、电子设备和存储介质 | |
CN103021405A (zh) | 基于music和调制谱滤波的语音信号动态特征提取方法 | |
CN107393549A (zh) | 时延估计方法及装置 | |
CN109309763B (zh) | 一种基于声纹的外呼检测方法以及系统 | |
CN112948763B (zh) | 件量预测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu. Patentee after: Sipic Technology Co.,Ltd. Address before: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu. Patentee before: AI SPEECH Ltd. |