CN110164446B - 语音信号识别方法和装置、计算机设备和电子设备 - Google Patents

语音信号识别方法和装置、计算机设备和电子设备 Download PDF

Info

Publication number
CN110164446B
CN110164446B CN201810689667.5A CN201810689667A CN110164446B CN 110164446 B CN110164446 B CN 110164446B CN 201810689667 A CN201810689667 A CN 201810689667A CN 110164446 B CN110164446 B CN 110164446B
Authority
CN
China
Prior art keywords
voice recognition
signals
signal
keyword detection
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810689667.5A
Other languages
English (en)
Other versions
CN110164446A (zh
Inventor
高毅
郑脊萌
于蒙
罗敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810689667.5A priority Critical patent/CN110164446B/zh
Priority to CN201910744527.8A priority patent/CN110364166B/zh
Priority to PCT/CN2019/085625 priority patent/WO2020001163A1/zh
Priority to EP19824812.2A priority patent/EP3816995A4/en
Priority to JP2020570624A priority patent/JP7109852B2/ja
Publication of CN110164446A publication Critical patent/CN110164446A/zh
Priority to US16/921,537 priority patent/US11217229B2/en
Application granted granted Critical
Publication of CN110164446B publication Critical patent/CN110164446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

本申请涉及一种语音信号识别方法、装置、计算机设备和电子设备，方法包括：接收麦克风阵列采集的音频信号；将音频信号在设定的多个不同目标方向分别进行波束成形处理，得到对应的多路波束信号；分别对每路波束信号进行语音识别，得到各路波束信号的语音识别结果；根据各路波束信号的语音识别结果，确定音频信号的语音识别结果。该方法无需考虑声源角度，通过在不同目标方向进行波束成形处理，那么至少一个目标方向与语音信号产生方向接近，因而至少一个在目标方向进行增强后的波束信号是清楚地，因而根据各波束信号进行语音识别，能够提高在该方向上对音频信号进行识别的准确度。

Description

语音信号识别方法和装置、计算机设备和电子设备
技术领域
本申请涉及语音技术领域，特别是涉及一种语音信号识别方法和装置、计算机设备和电子设备。
背景技术
智能语音交互技术能够通过语音命令实现人机交互，通过将智能语音交互技术植入传统的电子设备中，从而使电子设备具有人工智能的属性。这种具有智能语音交互功能的电子设备因为其人工智能的属性，越来越受到人们的喜欢。例如，亚马逊的Echo智能音箱在市场获得了巨大成功。
对于植入了语音交互技术的电子设备而言，准确地识别人类的语音命令是语音交互的基础。而人们使用电子设备的环境是不确定的，当处于较大环境噪声的情况下，如何降低环境噪声对语音识别的影响，提高电子设备的语音信号识别的准确率是人们亟待解决的问题。传统的解决这一问题的方法通常为首先通过麦克风阵列中所有麦克风拾取到的语音信号，确定声源的角度，并根据声源角度对语音进行指向性拾取，从而减少不相关噪声的干扰，提高电子设备的语音识别的准确性。
而这种方式受声源角度精确度的影响，当声源角度检测错误时，将导致语音识别的准确率降低。
发明内容
基于此，有必要针对识别准确度低的技术问题，提供一种语音信号识别方法和装置、计算机设备和电子设备。
一种语音信号识别方法，包括：
接收麦克风阵列采集的音频信号；
将所述音频信号在设定的多个不同目标方向分别进行波束成形处理，得到对应的多路波束信号；
分别对每路波束信号进行语音识别，得到各路波束信号的语音识别结果；
根据各路波束信号的语音识别结果，确定音频信号的语音识别结果。
一种语音信号识别装置，包括：
音频信号接收模块，用于接收麦克风阵列采集的音频信号；
波束形成器，用于将所述音频信号在设定的多个不同目标方向分别进行波束成形处理，得到对应的多路波束信号；
语音识别模块，用于分别对每路波束信号进行语音识别，得到各路波束信号的语音识别结果；
处理模块，用于根据各路波束信号的语音识别结果，确定所述音频信号的语音识别结果。
一种计算机设备，包括麦克网阵列、存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述方法的步骤。
一种电子设备，包括：
用于采集音频信号的麦克风阵列，所述麦克风阵列包括至少两层环形结构；
与所述麦克风阵列连接处理器，用于对所述声音信号进行处理；
存储有计算机程序的存储器；
封装所述麦克风阵列和所述处理器的壳体；
所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的语音信号识别方法。
上述的语音信号识别方法和装置、计算机设备和电子设备，通过对麦克风阵列采集的音频信号，在设定的多个不同目标方向进行波束成形处理，得到对应的多路波束信号，能够分别在不同目标方向进行声音增强处理后，清楚地提取各目标方向增强处理后的波束信号，即该方法无需考虑声源角度，通过在不同目标方向进行波束成形处理，那么至少一个目标方向与语音信号产生方向接近，因而至少一个在目标方向进行增强后的波束信号是清楚地，因而根据各波束信号进行语音识别，能够提高在该方向上对音频信号进行识别的准确度。
附图说明
图1为一个实施例中语音信号识别方法的流程示意图；
图2为一个实施例中麦克风阵列的示意图；
图3为一个实施例中在四个目标方向进行波束成形处理得到的波束信号的示意图；
图4为一个实施例中波束形成器与语音识别模型的交互示意图；
图5为一个实施例中语音识别模型的结构示意图；
图6为一个实施例中语音识别模型的神经网络节点检测到唤醒词时的信号示意图；
图7为一个实施例的麦克风阵列的示意图；
图8为另一个实施例的麦克风阵列的示意图；
图9为一个实施例中语音信号识别方法的步骤流程示意图；
图10为一个实施例中语音信号识别装置的结构框图；
图11为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，提供了一种语音信号识别方法。本实施例主要以该方法应用于语音识别设备为例进行说明。语音识别设备可以为植入了语音识别技术的电子设备，电子设备可以是能够实现人机语音交互的智能终端、智能家电或机器人等。如图1所示，该语音信号识别方法包括：
S102，接收麦克风阵列采集的音频信号。
麦克风阵列即麦克风的排列，由一定数量的麦克风组成。各麦克风采集电子设备所处环境声音的模拟信号，经过模数转换器、增益控制器、编解码器等音频采集设备将模拟声音信号转换为数字音频信号。不同排布方式的麦克风阵列，采集音频信号的效果不同。
例如，麦克风阵列可采用一维麦克风阵列，其阵元中心位于同一条直线上。根据相邻阵元间距是否相同，又可分为均匀线性阵列(Uniform Linear Array，ULA)和嵌套线性阵列。均匀线性阵列是最简单的阵列拓扑结构，其阵元之间距离相等、相位及灵敏度一致。嵌套线性阵列则可看成几组均匀线性阵列的叠加，是一类特殊的非均匀阵。线性阵列在水平方向上不能区分整个360度范围内的声源方向，而只能区分180度范围内的声源方向。这种麦克风阵列可适应于180度范围的应用环境，例如，电子设备靠墙或是其它设备，声音的来源为180度范围。
又例如，麦克风阵列可采用二维麦克风阵列，即平面麦克风阵列，其阵元中心分布在一个平面上。根据阵列的几何形状可分为等边三角形阵、T型阵、均匀圆阵、均匀方阵、同轴圆阵、圆形或矩形面阵等。平面阵列可以得到信号的水平方位角和垂直方位角信息。这种麦克风阵列可适应于360度范围的应用环境，例如，电子设备需要接收不同朝向的声音。
再例如，麦克风阵列可采用三维麦克风阵列，即立体麦克风阵列，其阵元中心分布在立体空间中。根据阵列的立体形状可分为四面体阵、正方体阵、长方体阵、球型阵等。立体阵列可以得到信号的水平方位角、垂直方位角和声源与麦克风阵列参考点距离这三维信息。
现以麦克风阵列为环形为例进行说明。一种实施例的环形麦克风阵列的示意图如图2所示，本实施例中用了6个物理麦克风，依次安放在方位角0度、60度、120度、180度、240度、300度，半径为R的圆周上组成一个环形麦克风阵列。每个麦克风采集环境声音的模拟信号，经过模数转换器、增益控制器、编解码器等音频采集设备将模拟声音信号转换为数字声音信号。环形麦克风阵列能够360度采集声音信号。
S104，将音频信号在设定的多个不同目标方向分别进行波束形成处理，得到对应的多个波束信号。
波束形成，是对麦克风阵列中各麦克风输出的音频信号进行时延或相位补偿、幅度加权处理，以形成指向特定方向的波束。例如，对麦克风阵列采集的声音在0度、90度、180度或270度进行波束形成，形成指向0度、90度、180度或270度方向的波束。
具体地，可采用波束形成器将音频信号在设定方向分别进行波束形成处理。波束形成器是基于特定麦克风阵列所设计的算法，它能够对特定的一个或者多个目标方向的声音信号进行增强，对非目标方向的声音信号进行抑制波束形成器可以是任何类型的能设定方向的波束形成器，包括但不限于超方向波束形成器、基于MVDR或者MUSIC算法的波束形成器。
本实施例中，设置有多个波束形成器，每个波束形成器在不同方向进行波束形成处理。具体地，多个麦克风的数字音频信号组成麦克风阵列信号送往多个波束形成器。各波束形成器对不同的设定方式的音频信号进行增强处理，对其它方向的音频信号进行抑制，越偏离设定角度方向的音频信号被抑制的越多，这样就能提取设定方向附近的音频信号。
一个实施例中，设置有四个波束形成器，分别在0度、90度、180度和270度对音频信号进行波束成形处理，对多个方向进行波束成形处理得到的多路波束信号的示意图如图3所示。可以理解的是，对于输入各波束形成器的音频信号，不限于采集该音频信号的麦克风阵列的排布方式。对于多目标方向分别进行波束成形处理而言，能够对目标方向的声音信号进行增强处理，降低其它方向的声音信号的干扰，因此，优选地，采集该音频信号的麦克风阵列至少具有两个不同方向的麦克风。
以利用图2所示的麦克风阵列采集音频信号为例，如图3所示，将多个麦克风的数字音频信号组成麦克风阵列信号，对0度方向的声音维持不变(0dB增益)，对60度和330度方向的声音具有大于9dB的抑制效果(约-9dB增益)，对90度和270度方向的声音则具有超过20dB的抑制。线条越接近圆心则表示对该方向的声音抑制越多，从而实现了对0度方向的声音信号的增强，降低了其它方向的声音信号的干扰。
请继续参阅图3，将多个麦克风的数字音频信号组成麦克风阵列信号，对90度方向的声音维持不变(0dB增益)，对30度和150度方向的声音具有大于9dB的抑制效果(约-9dB增益)，对0度和180度方向的声音则具有超过20dB的抑制。线条越接近圆心则表示对该方向的声音抑制越多，从而实现了对90度方向的声音信号的增强，降低了其它方向的声音信号的干扰。
请继续参阅图3，将多个麦克风的数字音频信号组成麦克风阵列信号，对180度方向的声音维持不变(0dB增益)，对120度和240度方向的声音具有大于9dB的抑制效果(约-9dB增益)，对90度和270度方向的声音则具有超过20dB的抑制。线条越接近圆心则表示对该方向的声音抑制越多，从而实现了对180度方向的声音信号的增强，降低了其它方向的声音信号的干扰。
请继续参阅图3，将多个麦克风的数字音频信号组成麦克风阵列信号，对270度方向的声音维持不变(0dB增益)，对210度和330度方向的声音具有大于9dB的抑制效果(约-9dB增益)，对180度和0度方向的声音则具有超过20dB的抑制。线条越接近圆心则表示对该方向的声音抑制越多，从而实现了对270度方向的声音信号的增强，降低了其它方向的声音信号的干扰。
可以理解的是，为了实现其它目标方向声音信号的增强，在其它的实施例中，还可以设置更多或更少的波束形成器，以提取其它方向的声音增强的波束信号。通过对设定的多个不同目标方向分别进行波束成形处理，对于该波束形成器的波束信号而言，能够实现对目标方向的声音信号的增强，降低了其它方向的声音信号的干扰。而多路目标方向的声音信号中，至少有一路波束信号与发出语音信号的实际声音方向接近，即至少有一路波束信号能够反应语音信号的实际声音，同时降低了其它方向的噪声的干扰。
本实施例中，对于麦克风阵列采集的音频信号，无需鉴别声源方向，均在设定的多个不同方向进行波束成形处理。这样做的优点在于，能够得到多个设定目标方向的声音增强信号，其中必然有至少一个声音增强信号与实际语音信号产生方向接近，即至少一个声音增强信号能够反应实际的语音信号产生方向。对于该方向的波束形成器而言，对语音信号产生方向的音频信号进行了增强处理，对其它方向的音频信号进行抑制处理，能够增强语音信号产生方向对应角度的音频信号，即减少了其它方向音频信号，能够清楚地提取在该方向的音频信号，降低了其它方向的音频信号(包括噪声)的干扰。
S106，分别对每路波束信号进行语音识别，得到各路波束信号的语音识别结果。
本实施例中，对于每一路信号分别进行语音识别，由于对音频信号在设定的多个不同目标方向进行波束成形处理，得到多路波束信号，即对于一路波束信号而言，是对设定目标方向进行增强处理，非设定目标方向进行抑制处理得到，故而每一路波束信号反应不同方向的音频信号的声音增强信号，根据每个方向的音频信号的声音增强信号进行语音识别，对于包含人声的声音增强信号，能够提高语音识别的准确率。S108，根据各路波束信号的语音识别结果，确定音频信号的语音识别结果。
通过对每一路波束信号进行语音识别结果，能够提高在对应方向的声音信号的语音识别的准确率，根据各方向的声音信号的识别结果，能够得到多个方向的声音信号的识别结果，即结合各路声音增强后的语音识别结果，得到音频信号的语音识别结果。上述的语音信号识别方向，通过对麦克风阵列采集的音频信号，在设定的多个不同目标方向进行波束成形处理，得到对应的多路波束信号，能够分别在不同目标方向进行声音增强处理后，清楚地提取各目标方向增强处理后的波束信号，即该方法无需考虑声源角度，通过在不同目标方向进行波束成形处理，那么至少一个目标方向与语音信号产生方向接近，因而至少一个在目标方向进行增强后的波束信号是清楚地，因而根据各波束信号进行语音识别，能够提高在该方向上对音频信号进行识别的准确度。
在另一个实施例中，分别对每路波束信号进行语音识别，得到各路波束信号的语音识别结果，包括：将每路波束信号分别输入对应的语音识别模型，由各语音识别模型并行对对应的波束信号进行语音识别，得到各路波束信号的语音识别结果。
具体地，语音识别模型使用神经网络模型预先训练得到。将每路波束信号对应的特征向量，例如能量和子带特征等，通过预先训练好的神经网络参数逐层计算，进行语音识别。
在另一个实施例中，设置有波束形成器数量对应的语音识别神经网络模型，即一个波束形成器与一个语音识别神经网络模型对应，如图4所示，具体地，将每路波束信号分别输入对应的语音识别模型，由各语音识别模型并行对对应的波束信号进行语音识别，得到各路波束信号的语音识别结果。
本实施例中，通过设置与波束形成器数量对应的语音识别神经网络模型，对于各路波束信号并行进行语音识别，能够提高语音识别的效率。
具体地，一个波束形成器和一个语音识别模型配对运行在一个CPU上，即多对波束形成器和语音识别模型配对运行在多个CPU上，然后将语音识别模型的检测结果综合起来得到最终的检测结果。通过这种并行运算可以极大加快软件执行速度。
本实施例中，由不同的硬件计算单元来处理以分摊计算量，提高系统稳定性，并提高唤醒词检测响应速度。具体而言，N个波束形成器被分成M组，M<＝N,每一组由指定的硬件计算单元(例如DSP或CPU核)来执行计算。同理N个语音识别模型被分成M组，M<＝N,每一组由指定的硬件计算单元(例如DSP或CPU核)来执行计算。
本申请的语音信号识别方法可应用关键词检测。关键词检测(Spokenkeywordspotting或SpokenTermDetection)是语音识别领域的一个子领域，其目的是在语音信号中检测指定词语的所有出现位置。在具体的实施例中，可将关键词检测方法的应用到唤醒词检测领域。具体地，唤醒词是指设定的语音指令。当检测到唤醒词时，处于休眠或锁屏状态下的电子设备进入到等待指令状态。
具体地，语音识别结果包括关键词检测检测结果。根据各路波束信号的语音识别结果，确定音频信号的语音识别结果，包括：根据各路波束信号的关键词检测结果，确定音频信号的关键词检测结果。
具体地，各语音识别模型接收对应的波束形成器方向性的波束信号，并检测其中是否包含关键词信号，并将检测结果输出。以关键词包括4个字为例，如图5所示，将波束信号的特征向量(例如能量和子带特征等)，通过预先训练好的网络参数逐层计算各个节点的输出值，最后在输出层得到关键词检测结果。
在一个实施例中，检测结果可以为二元符号，例如，输出0表示没有检测到关键词，输出1表示检测到关键词。根据各路波束信号的关键词检测结果，确定音频信号的关键词检测结果，包括：当任意一路波束信号的关键词检测结果为检测到关键词时，确定音频信号的关键词检测结果为检测到关键词，即当多各语音识别模型中至少有一个语音识别模型检测到关键词时，确定检测到关键词。
关键词检测结果包括关键词检测概率；根据各路波束信号的关键词检测结果，确定音频信号的关键词检测结果，包括：当至少一路波束信号的关键词检测概率大于预设值时，确定音频信号的关键词检测结果为检测到关键词。
具体地，如图5所示，假设关键词是“你好小听”，该神经网络输出层具有5个节点，分别代表该段语音属于“你”“好”“小”“听”四个关键字以及非关键字的概率。具体地，如果在一段时间窗口Dw内出现了唤醒词，则神经网络的输出节点将出现类似图6所示信号，即可依次观察到“你”“好”“小”“听”四个关键字的概率增大。通过在该时间窗口中累积唤醒词中这四个关键字的概率即可判断是否出现关键词。
在一个实施例中，根据各路波束信号的关键词检测结果，确定音频信号的关键词检测结果，包括：将各路波束信号的关键词检测概率输入预先训练的分类器，根据分类器的输出确定音频信号是否包括关键词。
具体地，各语音识别模型输出各个方向唤醒词出现的概率，由一个分类器模块(包括但不限于神经网络，SVM、决策树等各种分类算法)来作出最终的检测判决。
在另一个实施例中，根据各路波束信号的语音识别结果，确定音频信号的语音识别结果，包括：计算各路波束信号的语音识别结果的语言学和/或声学得分；将最高得分的语音识别结果，确定音频信号的语音识别结果。
具体地，该语音信号识别方法可应用于连续或非连续语音识别领域，将多个波束形成器的输出同时送入多个语音识别模型，最终的识别结果采用具有最佳识别结果(例如最大的声学得分或者语言学得分或者两者的组合)的语音识别模型的输出。
在另一个实施例中，语音信号识别方法还包括：对语音识别设备所输出的音频信号导致的回声进行抑制处理。
具体地，对于包括音频播放功能的语音识别设备而言，例如，智能音箱。为避免自身播放声音对语音识别的干扰，可选的设置有回声消除模块，可以去除语音识别设备自身所播放声音被麦克风采集到的回声。该回声消除模块可以置于波束形成器之前或之后。当多方向波束形成器输出声音的声道数量小于麦克风数量时，将回声消除模块置于多方向波束形成器模块之后可以有效降低运算量。
在一个实施例中，回声消除器模块或者波束成形器的多路输出信号可以经过一个声道选择模块进一步减少输出声道数量，以降低后续多路唤醒词检测模块的运算量和内存消耗。
在一个实施例中，提供一种电子设备，包括：用于采集音频信号的麦克风阵列，所述麦克风阵列包括至少两层环形结构；
与所述麦克风阵列连接处理器，用于对所述声音信号进行处理；
存储有计算机程序的存储器；
封装所述麦克风阵列和所述处理器的壳体；
所述计算机程序被所述处理器执行时，使得所述处理器执行如上述各实施例的语音信号识别方法。
具体地，环形阵列中麦克风可以安放在标准的圆周上，也可以安放在椭圆形的圆周上；麦克风均匀分布在圆周上，也可以非均匀地安放在圆周上。环节结构的麦克风阵列能够360度地拾取声音信号，提高声源检测的方向，适用于远场环境。
在一个实施例中，各环形结构上设置至少三个麦克风。即，各环形结构上安放大于或等于三个麦克风构成多层环形阵列。环形阵列上的麦克风越多，理论上计算声源方向的精度越高，对目标方向的声音的增强质量越好。考虑到麦克风越多成本和计算复杂度越高，各环形结构上分别设置4个至8个麦克风。
在一个实施例中，为了降低声音检测的复杂度，各环形结构上的麦克风均匀设置。
在一个实施例中，各环形结构为同心圆，相相邻两个环形结构的麦克风分别设置在相同方向。即各环形结构上的麦克风分别设置在同一角度。如图7所示，以两个环形结构为例，每个环形结构上设置三个麦克风。内层麦克风和外层麦克风分别在0度，120度和240度设置有麦克风。多层环形结构的麦克风阵列增加了麦克风个数，使得阵列可以获得更好的指向性。
在一个实施例中，任意两个环形结构上的麦克风具有夹角。即，各环形结构上的麦克风错开设置。如图8所示，以两个环形结构为例，每个环形结构上设置三个麦克风。内层环形结构分别在0度，120度和240度设置有麦克风，外层环形结构分别在60度，180度和300度设置有麦克风。这种方式的麦克风阵列，麦克风相对位置获得更多的多样性，比如外层麦克风与内层麦克风之间的不同夹角，从而对某些方向的声源具有更好的检测和增强效果，麦克风分布更密集则增加了空间采样，对一些频率的声音信号具有更好的检测和增强效果。
在另一个实施例中，可以在环形阵列的圆心上安放麦克风设备形成麦克风阵列，在圆心上放置麦克风增加了麦克风个数，可以增强阵列的指向性，比如圆心的麦克风可以与圆周上的任意一个麦克风组合成一个具有两个麦克风的线性阵列，有利于检测声源方向。圆心的麦克风也可以与圆周上的多个麦克风组合成不同形状的麦克风子阵列，有利于检测不同方向/频率的信号。
本申请的语音信息识别方法，可应用于关键词检测，例如唤醒词检测，连续或非连续任意语音信号识别领域。下面，以语音信号识别方法应用于唤醒词检测为例，对语音信号识别方法进行说明。如图9所示，该方法包括以下步骤：
S902，接收麦克风阵列采集的音频信号。
其中，麦克风阵列的排布方式不限，例如，电子设备靠墙或是其它设备，声音的来源为180度范围的环境时，麦克风阵列可以为线性排布。又例如，电子设备需要接收不同朝向的声音，如360度范围的应用环境时，麦克风阵列可采用环形麦克风阵列，一种环形麦克风阵列的排布方式分别如图2、图7和图8所示。各麦克风采集电子设备所处环境声音的模拟信号，经过模数转换器、增益控制器、编解码器等音频采集设备将模拟声音信号转换为数字音频信号。
S904，将音频信号在设定的多个不同目标方向分别进行波束成形处理，得到对应的多路波束信号。
波束形成，是对麦克风阵列中各麦克风输出的音频信号进行时延或相位补偿、幅度加权处理，以形成指向特定方向的波束。例如，对麦克风阵列采集的声音在0度、90度、180度或270度进行波束形成，形成指向0度、90度、180度或270度方向的波束。
一个实施例中，设置有四个波束形成器，分别在0度、90度、180度和270度对音频信号进行波束成形处理，对多个方向进行波束成形处理得到的多路波束信号的示意图如图3所示。
以利用图2所示的麦克风阵列采集音频信号为例，如图3所示，将多个麦克风的数字音频信号组成麦克风阵列信号，对0度方向的声音维持不变(0dB增益)，对60度和330度方向的声音具有大于9dB的抑制效果(约-9dB增益)，对90度和270度方向的声音则具有超过20dB的抑制。线条越接近圆心则表示对该方向的声音抑制越多，从而实现了对0度方向的声音信号的增强，降低了其它方向的声音信号的干扰。
请继续参阅图3，将多个麦克风的数字音频信号组成麦克风阵列信号，对90度方向的声音维持不变(0dB增益)，对30度和150度方向的声音具有大于9dB的抑制效果(约-9dB增益)，对0度和180度方向的声音则具有超过20dB的抑制。线条越接近圆心则表示对该方向的声音抑制越多，从而实现了对90度方向的声音信号的增强，降低了其它方向的声音信号的干扰。
请继续参阅图3，将多个麦克风的数字音频信号组成麦克风阵列信号，对180度方向的声音维持不变(0dB增益)，对120度和240度方向的声音具有大于9dB的抑制效果(约-9dB增益)，对90度和270度方向的声音则具有超过20dB的抑制。线条越接近圆心则表示对该方向的声音抑制越多，从而实现了对180度方向的声音信号的增强，降低了其它方向的声音信号的干扰。
请继续参阅图3，将多个麦克风的数字音频信号组成麦克风阵列信号，对270度方向的声音维持不变(0dB增益)，对210度和330度方向的声音具有大于9dB的抑制效果(约-9dB增益)，对180度和0度方向的声音则具有超过20dB的抑制。线条越接近圆心则表示对该方向的声音抑制越多，从而实现了对270度方向的声音信号的增强，降低了其它方向的声音信号的干扰。
本实施例中，对于麦克风阵列采集的音频信号，无需鉴别声源方向，均在设定的多个不同方向进行波束成形处理。这样做的优点在于，能够得到多个设定目标方向的声音增强信号，其中必然有至少一个声音增强信号与实际语音信号产生方向接近，即至少一个声音增强信号能够反应实际的语音信号产生方向。对于该方向的波束形成器而言，对语音信号产生方向的音频信号进行了增强处理，对其它方向的音频信号进行抑制处理，能够增强语音信号产生方向对应角度的音频信号，即减少了其它方向音频信号，能够清楚地提取在该方向的音频信号，降低了其它方向的音频信号(包括噪声)的干扰。
S906，分别将每路波束信号输入语音识别模型，由语音识别模型并行对对应的波束信号进行语音识别，得到各路波束信号的唤醒词检测结果。
本实施例中，通过设置与波束形成器数量对应的语音识别神经网络模型，对于各路波束信号并行进行语音识别，能够提高唤醒词检测的效率。一个实施例的语音识别模型的结构如图5所示，各语音识别模型接收对应的波束形成器方向性的波束信号，并检测其中是否包含唤醒词信号，并将检测结果输出。以唤醒词包括4个字为例，如图5所示，将波束信号的特征向量(例如能量和子带特征等)，通过预先训练好的网络参数逐层计算各个节点的输出值，最后在输出层得到唤醒词或者唤醒词中的关键字的概率。如图5所示，假设唤醒词是“你好小听”，该神经网络输出层具有5个节点，分别代表该段语音属于“你”“好”“小”“听”四个关键字以及非关键字的概率。
S908，根据各路波束信号的唤醒词检测结果，得到音频信号的唤醒词检测结果。
具体地，根据各路波束信号的语音识别结果，得到唤醒词检测结果，可以是二元符号(例如输出0表示没有检测到唤醒词，输出1表示检测到唤醒词)，也可以是输出概率(例如概率值越大表示检测到唤醒词的概率越大)。具体地，当多各语音识别模型中至少有一个语音识别模型检测到唤醒词时，确定检测到唤醒词。如果语音识别模型的输出为唤醒词出现的概率，当有至少一个唤醒词检测器的输出概率大于预设值时，认为检测到唤醒词。或者，各语音识别模型输出各个方向唤醒词出现的概率，由一个分类器模块(包括但不限于神经网络，SVM、决策树等各种分类算法)来作出最终的检测判决，即将各路波束信号的唤醒词检测概率输入分类器，根据分类器的输出确定音频信号是否包括唤醒词。
上述的方法，采用麦克风阵列进行音频信号采集，通过多方向波束形成器对麦克风阵列信号进行滤波形成多个方向性增强信号，通过多个语音识别模型对方向性增强信号中的唤醒词进行监测，根据对多个语音识别模型输出的唤醒词检测结果进行综合得到最终判别结果。该方法无需考虑声源角度，通过在不同目标方向进行波束成形处理，那么至少一个目标方向与语音信号产生方向接近，因而至少一个在目标方向进行增强后的波束信号是清楚地，因而根据各波束信号进行唤醒词检测，能够提高在该方向上唤醒词检测的准确度。
一种语音信号识别装置，如图10所示，包括：
音频信号接收模块1001，用于接收麦克风阵列采集的音频信号；
波束形成器1002，用于将所述音频信号在设定的多个不同目标方向分别进行波束成形处理，得到对应的多路波束信号；
语音识别模块1003，用于分别对每路波束信号进行语音识别，得到各路波束信号的语音识别结果。
处理模块1004，用于根据各路波束信号的语音识别结果，确定所述音频信号的语音识别结果。
上述的语音信号识别装置，通过对麦克风阵列采集的音频信号，在设定的多个不同目标方向进行波束成形处理，得到对应的多路波束信号，能够分别在不同目标方向进行声音增强处理后，清楚地提取各目标方向增强处理后的波束信号，即该方法无需考虑声源角度，通过在不同目标方向进行波束成形处理，那么至少一个目标方向与语音信号产生方向接近，因而至少一个在目标方向进行增强后的波束信号是清楚地，因而根据各波束信号进行语音识别，能够提高在该方向上对音频信号进行识别的准确度。
在另一个实施例中，所述处理模块，用于根据各路波束信号的关键词检测结果，确定所述音频信号的关键词检测结果。
在另一个实施例中，自理模块，用于当任意一路波束信号的关键词检测结果为检测到关键词时，确定所述音频信号的关键词检测结果为检测到关键词。
在另一个实施例中，所述关键词检测结果包括关键词检测概率；处理模块，用于当至少一路所述波束信号的关键词检测概率大于预设值时，确定所述音频信号的关键词检测结果为检测到关键词。
在另一个实施例中，处理模块，用于将各路所述波束信号的关键词检测概率输入预先训练的分类器，根据所述分类器的输出确定所述音频信号是否包括关键词。
在另一个实施例中，处理模块，用于计算各路波束信号的语音识别结果的语言学和/或声学得分，将最高得分的语音识别结果，确定所述音频信号的语音识别结果。
在另一个实施例中，语音识别模块，用于将每路波束信号分别输入对应的语音识别模型，由各语音识别模型并行对对应的所述波束信号进行语音识别，得到各路波束信号的语音识别结果。
具体地，如图4所示，一个波束形成器与一个语音识别神经网络模型对应。所述声音识别模块，用于将每路波束信号分别输入对应的语音识别模型，由各语音识别模型并行对对应的所述波束信号进行语音识别，得到各路波束信号的语音识别结果。在另一个实施例中，语音信号识别装置回声消除模块，用于对语音识别设备所输出的音频信号导致的回声进行抑制处理。
其中，回声消除模块可置于波束形成器之前扣之后，当多方向波束形成器输出声音的声道数量小于麦克风数量时，将回声消除模块置于多方向波束形成器之后可以有效降低运算量。
在另一个实施例中，语音信号识别装置还包括声道选择模块，回声消除器模块或者波束成形器的多路输出信号可以经过一个声道选择模块进一步减少输出声道数量，以降低后续多路唤醒词检测模块的运算量和内存消耗。
图11示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是语音识别设备。如图11所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置、显示屏和麦克风阵列和音频输出设备。其中，麦克风阵列采集音频信号。存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现语音信号识别方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行语音信号识别方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。音频输出设备包括扬声器，用于播放声音。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的语音信号识别装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该语音信号识别装置的各个程序模块，比如，图10所示的音频信号接收模块、波束形成器和语音识别模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的语音信号识别方法中的步骤。
例如，图11所示的计算机设备可以通过如图10所示的语音信号识别装置中的音频信号接收模块执行接收麦克风阵列采集的音频信号的步骤。计算机设备可通过波束形成器执行将所述音频信号在设定的多个不同目标方向分别进行波束成形处理，得到对应的多路波束信号的步骤。计算机设备可通过语音识别模块执行根据各路所述波束信号进行语音识别的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
接收麦克风阵列采集的音频信号；
分别对每路波束信号进行语音识别，得到各路波束信号的语音识别结果；
根据各路波束信号的语音识别结果，确定所述音频信号的语音识别结果。
在另一个实施例中，所述语音识别结果包括关键词检测结果；所述根据各路波束信号的语音识别结果，确定所述音频信号的语音识别结果，包括：根据各路波束信号的关键词检测结果，确定所述音频信号的关键词检测结果。
在另一个实施例中，所述根据各路波束信号的关键词检测结果，确定所述音频信号的关键词检测结果，包括：当任意一路波束信号的关键词检测结果为检测到关键词时，确定所述音频信号的关键词检测结果为检测到关键词。
在另一个实施例中，所述关键词检测结果包括关键词检测概率；所述根据各路波束信号的关键词检测结果，确定所述音频信号的关键词检测结果，包括：当至少一路所述波束信号的关键词检测概率大于预设值时，确定所述音频信号的关键词检测结果为检测到关键词。
在另一个实施例中，所述根据各路波束信号的关键词检测结果，确定所述音频信号的关键词检测结果，包括：将各路所述波束信号的关键词检测概率输入预先训练的分类器，根据所述分类器的输出确定所述音频信号是否包括关键词。
在另一个实施例中，所述根据各路波束信号的语音识别结果，确定所述音频信号的语音识别结果，包括：计算各路波束信号的语音识别结果的语言学和/或声学得分；将最高得分的语音识别结果，确定所述音频信号的语音识别结果。
在另一个实施例中，所述分别对每路波束信号进行语音识别，得到各路波束信号的语音识别结果，包括：将每路波束信号分别输入对应的语音识别模型，由各语音识别模型并行对对应的所述波束信号进行语音识别，得到各路波束信号的语音识别结果。
在另一个实施例中，语音信号识别方法还包括：对语音识别设备所输出的音频信号导致的回声进行抑制处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种语音信号识别方法，应用于电子设备的处理器，所述电子设备包括与麦克风阵列连接的多个处理器，每个所述处理器分别配对配置有波束形成器、语音识别模型和回声消除模块；其中，所述波束形成器、语音识别模型和回声消除模块的数量分别为4个，4个波束形成器被分成M组，M<=4，每一组波束形成器由指定的CPU核来执行，4个语音识别模型被分成M组，M<=4，每一组语音识别模型由指定CPU核来执行，各波束形成器的波束形成处理的方向不同，所述方法包括：
接收麦克风阵列采集的音频信号，所述麦克风阵列包括至少两层环形结构，任意两个环形结构上的麦克风具有夹角；
各所述处理器上的所述波束形成器并行将所述音频信号在0度、90度、180度和 270度进行波束成形处理，得到指向0度、90度、180度和 270度的波束信号，所述波束形成器的数量小于所述麦克风阵列中的麦克风数量；
所述回声消除模块，置于对应的所述波束形成器之后，各所述处理器上的所述回声消除模块并行对配对的所述波束形成器输出的所述波束信号中的回声进行抑制处理；
各所述处理器上的所述语音识别模型分别并行对配对的所述回声消除模块输出的所述波束信号进行语音识别，得到各路波束信号的语音识别结果；
根据各路波束信号的语音识别结果，确定所述音频信号的语音识别结果。
2.根据权利要求1所述的方法，其特征在于，所述语音识别结果包括关键词检测结果；
所述根据各路波束信号的语音识别结果，确定所述音频信号的语音识别结果，包括：根据各路波束信号的关键词检测结果，确定所述音频信号的关键词检测结果。
3.根据权利要求2所述的方法，其特征在于，所述根据各路波束信号的关键词检测结果，确定所述音频信号的关键词检测结果，包括：当任意一路波束信号的关键词检测结果为检测到关键词时，确定所述音频信号的关键词检测结果为检测到关键词。
4.根据权利要求2所述的方法，其特征在于，所述关键词检测结果包括关键词检测概率；所述根据各路波束信号的关键词检测结果，确定所述音频信号的关键词检测结果，包括：
当至少一路所述波束信号的关键词检测概率大于预设值时，确定所述音频信号的关键词检测结果为检测到关键词。
5.根据权利要求2所述的方法，其特征在于，所述关键词检测结果包括关键词检测概率，所述根据各路波束信号的关键词检测结果，确定所述音频信号的关键词检测结果，包括
将各路所述波束信号的关键词检测概率输入预先训练的分类器，根据所述分类器的输出确定所述音频信号是否包括关键词。
6.根据权利要求1所述的方法，其特征在于，所述根据各路波束信号的语音识别结果，确定所述音频信号的语音识别结果，包括：
计算各路波束信号的语音识别结果的语言学和/或声学得分；
将最高得分的语音识别结果，确定所述音频信号的语音识别结果。
7.根据权利要求1所述的方法，其特征在于，所述各所述处理器上的所述语音识别模型分别并行对配对的所述回声消除模块输出的所述波束信号进行语音识别，得到各路波束信号的语音识别结果，包括：
将所述回声消除模块输出的所述波束信号分别输入所述处理器上对应的语音识别模型，由各语音识别模型并行对对应的所述波束信号进行语音识别，得到各路波束信号的语音识别结果。
8.一种语音信号识别装置，应用于电子设备的处理器，所述电子设备包括与麦克风阵列连接的多个处理器，每个所述处理器分别配对配置有波束形成器、语音识别模型和回声消除模块；其中，所述波束形成器、语音识别模型和回声消除模块的数量分别为4个，4个波束形成器被分成M组，M<=4，每一组波束形成器由指定的CPU核来执行，4个语音识别模型被分成M组，M<=4，每一组语音识别模型由指定CPU核来执行，各波束形成器的波束形成处理的方向不同，所述装置包括：
音频信号接收模块，用于接收麦克风阵列采集的音频信号，所述麦克风阵列包括至少两层环形结构，任意两个环形结构上的麦克风具有夹角；
各所述处理器上的所述波束形成器，用于并行将所述音频信号在0度、90度、180度和270度分别并行进行波束成形处理，得到指向0度、90度、180度和 270度的波束信号，所述波束形成器的数量小于所述麦克风阵列中的麦克风数量；
所述回声消除模块，置于对应的所述波束形成器之后，各所述处理器上的所述回声消除模块并行对配对的所述波束形成器输出的所述波束信号中的回声进行抑制处理；
各所述处理器上的所述语音识别模型，用于分别并行对配对的所述回声消除模块输出的所述波束信号进行语音识别，得到各路波束信号的语音识别结果；
处理模块，用于根据各路波束信号的语音识别结果，确定所述音频信号的语音识别结果。
9.根据权利要求8所述的装置，其特征在于，所述语音识别结果包括关键词检测结果；
所述处理模块，用于根据各路波束信号的关键词检测结果，确定所述音频信号的关键词检测结果。
10.根据权利要求9所述的装置，其特征在于，所述处理模块，用于当任意一路波束信号的关键词检测结果为检测到关键词时，确定所述音频信号的关键词检测结果为检测到关键词。
11.根据权利要求9所述的装置，其特征在于，所述关键词检测结果包括关键词检测概率；所述处理模块，用于当至少一路所述波束信号的关键词检测概率大于预设值时，确定所述音频信号的关键词检测结果为检测到关键词。
12.根据权利要求9所述的装置，其特征在于，所述关键词检测结果包括关键词检测概率，所述处理模块，用于将各路所述波束信号的关键词检测概率输入预先训练的分类器，根据所述分类器的输出确定所述音频信号是否包括关键词。
13.根据权利要求8所述的装置，其特征在于，所述处理模块，用于计算各路波束信号的语音识别结果的语言学和/或声学得分；将最高得分的语音识别结果，确定所述音频信号的语音识别结果。
14.根据权利要求8所述的装置，其特征在于，每路波束信号分别输入对应的语音识别模型，各语音识别模型用于并行对对应的所述波束信号进行语音识别，得到各路波束信号的语音识别结果。
15.一种计算机设备，包括存储器和与麦克风阵列连接的多个处理器，所述麦克风阵列包括至少两层环形结构，任意两个环形结构上的麦克风具有夹角，每个所述处理器分别配对配置有波束形成器、语音识别模型和回声消除模块；所述波束形成器的数量小于所述麦克风阵列中的麦克风数量，其中，所述波束形成器、语音识别模型和回声消除模块的数量分别为4个，所述回声消除模块，置于对应的所述波束形成器之后，4个波束形成器被分成M组，M<=4，每一组波束形成器由指定的CPU核来执行，4个语音识别模型被分成M组，M<=4，每一组语音识别模型由指定CPU核来执行，各波束形成器的波束形成处理的方向不同，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
16.一种电子设备，包括：
用于采集音频信号的麦克风阵列，所述麦克风阵列包括至少两层环形结构，任意两个环形结构上的麦克风具有夹角；
与所述麦克风阵列连接的多个处理器，每个所述处理器分别配对配置有波束形成器、语音识别模型和回声消除模块；其中，所述波束形成器、语音识别模型和回声消除模块的数量分别为4个，4个波束形成器被分成M组，M<=4，每一组波束形成器由指定的CPU核来执行，4个语音识别模型被分成M组，M<=4，每一组语音识别模型由指定CPU核来执行，各波束形成器的波束形成处理的方向不同，所述处理器用于对音频信号进行处理；
存储有计算机程序的存储器；
封装所述麦克风阵列和所述处理器的壳体；
所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7任一项所述的语音信号识别方法。
17.根据权利要求16所述的电子设备，其特征在于，各环形结构上均匀设置有至少三个麦克风。
18.根据权利要求16所述的电子设备，其特征在于，各环形结构为同心圆。
CN201810689667.5A 2018-06-28 2018-06-28 语音信号识别方法和装置、计算机设备和电子设备 Active CN110164446B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201810689667.5A CN110164446B (zh) 2018-06-28 2018-06-28 语音信号识别方法和装置、计算机设备和电子设备
CN201910744527.8A CN110364166B (zh) 2018-06-28 2018-06-28 实现语音信号识别的电子设备
PCT/CN2019/085625 WO2020001163A1 (zh) 2018-06-28 2019-05-06 语音识别方法和装置、计算机设备和电子设备
EP19824812.2A EP3816995A4 (en) 2018-06-28 2019-05-06 VOICE RECOGNITION METHOD AND DEVICE, COMPUTER DEVICE AND ELECTRONIC DEVICE
JP2020570624A JP7109852B2 (ja) 2018-06-28 2019-05-06 音声認識方法、装置、コンピュータデバイス、電子機器及びコンピュータプログラム
US16/921,537 US11217229B2 (en) 2018-06-28 2020-07-06 Method and apparatus for speech recognition, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810689667.5A CN110164446B (zh) 2018-06-28 2018-06-28 语音信号识别方法和装置、计算机设备和电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910744527.8A Division CN110364166B (zh) 2018-06-28 2018-06-28 实现语音信号识别的电子设备

Publications (2)

Publication Number Publication Date
CN110164446A CN110164446A (zh) 2019-08-23
CN110164446B true CN110164446B (zh) 2023-06-30

Family

ID=67645021

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910744527.8A Active CN110364166B (zh) 2018-06-28 2018-06-28 实现语音信号识别的电子设备
CN201810689667.5A Active CN110164446B (zh) 2018-06-28 2018-06-28 语音信号识别方法和装置、计算机设备和电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910744527.8A Active CN110364166B (zh) 2018-06-28 2018-06-28 实现语音信号识别的电子设备

Country Status (5)

Country Link
US (1) US11217229B2 (zh)
EP (1) EP3816995A4 (zh)
JP (1) JP7109852B2 (zh)
CN (2) CN110364166B (zh)
WO (1) WO2020001163A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503970B (zh) * 2018-11-23 2021-11-23 腾讯科技（深圳）有限公司 一种音频数据处理方法、装置及存储介质
CN110517682B (zh) * 2019-09-02 2022-08-30 腾讯科技（深圳）有限公司 语音识别方法、装置、设备及存储介质
US11521599B1 (en) * 2019-09-20 2022-12-06 Amazon Technologies, Inc. Wakeword detection using a neural network
CN110751949A (zh) * 2019-10-18 2020-02-04 北京声智科技有限公司 一种语音识别方法、装置及计算机可读存储介质
CN111276143B (zh) * 2020-01-21 2023-04-25 北京远特科技股份有限公司 声源定位方法、装置、语音识别控制方法和终端设备
CN111429905B (zh) * 2020-03-23 2024-06-07 北京声智科技有限公司 语音信号处理方法、装置、语音智能电梯、介质和设备
US11322160B2 (en) * 2020-04-24 2022-05-03 Darrell Poirier Audio collection system and method for sound capture, broadcast, analysis, and presentation
EP4147230A4 (en) 2020-05-08 2024-04-10 Microsoft Technology Licensing Llc SYSTEM AND METHOD FOR DATA AUGMENTATION FOR MULTIMICROPHONE SIGNAL PROCESSING
CN113645542B (zh) * 2020-05-11 2023-05-02 阿里巴巴集团控股有限公司 语音信号处理方法和系统及音视频通信设备
CN111833867B (zh) * 2020-06-08 2023-12-05 北京嘀嘀无限科技发展有限公司 语音指令识别方法、装置、可读存储介质和电子设备
CN111862987B (zh) 2020-07-20 2021-12-28 北京百度网讯科技有限公司 语音识别方法和装置
CN111883162B (zh) * 2020-07-24 2021-03-23 杨汉丹 唤醒方法、装置和计算机设备
CN112365883B (zh) * 2020-10-29 2023-12-26 安徽江淮汽车集团股份有限公司 座舱系统语音识别测试方法、装置、设备及存储介质
CN112562681B (zh) * 2020-12-02 2021-11-19 腾讯科技（深圳）有限公司 语音识别方法和装置、存储介质
CN112770222A (zh) * 2020-12-25 2021-05-07 苏州思必驰信息科技有限公司 音频处理方法和装置
CN113095258A (zh) * 2021-04-20 2021-07-09 深圳力维智联技术有限公司 定向信号提取方法、系统、装置及存储介质
CN113299307B (zh) * 2021-05-21 2024-02-06 深圳市长丰影像器材有限公司 麦克风阵列信号处理方法、系统、计算机设备及存储介质
CN113539260A (zh) * 2021-06-29 2021-10-22 广州小鹏汽车科技有限公司 一种基于车辆的语音交流方法和装置
CN113555033A (zh) * 2021-07-30 2021-10-26 乐鑫信息科技（上海）股份有限公司 语音交互系统的自动增益控制方法、装置及系统
CN113744752A (zh) * 2021-08-30 2021-12-03 西安声必捷信息科技有限公司 语音处理方法及装置
CN114257684A (zh) * 2021-12-17 2022-03-29 歌尔科技有限公司 一种语音处理方法、系统、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198656A (ja) * 2002-12-17 2004-07-15 Japan Science & Technology Agency ロボット視聴覚システム
US9076450B1 (en) * 2012-09-21 2015-07-07 Amazon Technologies, Inc. Directed audio for speech recognition
CN105556592A (zh) * 2013-06-27 2016-05-04 亚马逊技术股份有限公司 检测自我生成的唤醒声调
CN107123430A (zh) * 2017-04-12 2017-09-01 广州视源电子科技股份有限公司 回声消除方法、装置、会议平板及计算机存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04273298A (ja) * 1991-02-28 1992-09-29 Fujitsu Ltd 音声認識装置
JP2000148185A (ja) * 1998-11-13 2000-05-26 Matsushita Electric Ind Co Ltd 認識装置及び認識方法
AU2003260926A1 (en) * 2002-10-23 2004-05-13 Koninklijke Philips Electronics N.V. Controlling an apparatus based on speech
KR100493172B1 (ko) * 2003-03-06 2005-06-02 삼성전자주식회사 마이크로폰 어레이 구조, 이를 이용한 일정한 지향성을갖는 빔 형성방법 및 장치와 음원방향 추정방법 및 장치
US7415117B2 (en) * 2004-03-02 2008-08-19 Microsoft Corporation System and method for beamforming using a microphone array
US9026444B2 (en) * 2009-09-16 2015-05-05 At&T Intellectual Property I, L.P. System and method for personalization of acoustic models for automatic speech recognition
US10229697B2 (en) * 2013-03-12 2019-03-12 Google Technology Holdings LLC Apparatus and method for beamforming to obtain voice and noise signals
EP2981097B1 (en) * 2013-03-29 2017-06-07 Nissan Motor Co., Ltd Microphone support device for sound source localization
US9640179B1 (en) * 2013-06-27 2017-05-02 Amazon Technologies, Inc. Tailoring beamforming techniques to environments
US9286897B2 (en) * 2013-09-27 2016-03-15 Amazon Technologies, Inc. Speech recognizer with multi-directional decoding
JP6145736B2 (ja) * 2014-03-31 2017-06-14 パナソニックＩｐマネジメント株式会社 指向性制御方法、記憶媒体及び指向性制御システム
US10510343B2 (en) * 2014-06-11 2019-12-17 Ademco Inc. Speech recognition methods, devices, and systems
JP6450139B2 (ja) * 2014-10-10 2019-01-09 株式会社Ｎｔｔドコモ 音声認識装置、音声認識方法、及び音声認識プログラム
CN104810021B (zh) * 2015-05-11 2017-08-18 百度在线网络技术（北京）有限公司 应用于远场识别的前处理方法和装置
CN104936091B (zh) * 2015-05-14 2018-06-15 讯飞智元信息科技有限公司 基于圆形麦克风阵列的智能交互方法及系统
US10013981B2 (en) * 2015-06-06 2018-07-03 Apple Inc. Multi-microphone speech recognition systems and related techniques
CN105206281B (zh) * 2015-09-14 2019-02-15 胡旻波 基于分布式麦克风阵列网络的语音增强方法
US9875081B2 (en) * 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
US9930448B1 (en) * 2016-11-09 2018-03-27 Northwestern Polytechnical University Concentric circular differential microphone arrays and associated beamforming
KR102457667B1 (ko) 2017-02-17 2022-10-20 쇼와덴코머티리얼즈가부시끼가이샤 접착제 필름
CN107316649B (zh) * 2017-05-15 2020-11-20 百度在线网络技术（北京）有限公司 基于人工智能的语音识别方法及装置
US10311872B2 (en) * 2017-07-25 2019-06-04 Google Llc Utterance classifier
CN107680594B (zh) * 2017-10-18 2023-12-15 宁波翼动通讯科技有限公司 一种分布式智能语音采集识别系统及其采集识别方法
CN107785029B (zh) * 2017-10-23 2021-01-29 科大讯飞股份有限公司 目标语音检测方法及装置
CN109272989B (zh) * 2018-08-29 2021-08-10 北京京东尚科信息技术有限公司 语音唤醒方法、装置和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004198656A (ja) * 2002-12-17 2004-07-15 Japan Science & Technology Agency ロボット視聴覚システム
US9076450B1 (en) * 2012-09-21 2015-07-07 Amazon Technologies, Inc. Directed audio for speech recognition
CN105556592A (zh) * 2013-06-27 2016-05-04 亚马逊技术股份有限公司 检测自我生成的唤醒声调
CN107123430A (zh) * 2017-04-12 2017-09-01 广州视源电子科技股份有限公司 回声消除方法、装置、会议平板及计算机存储介质

Also Published As

Publication number Publication date
CN110364166A (zh) 2019-10-22
WO2020001163A1 (zh) 2020-01-02
JP2021515281A (ja) 2021-06-17
EP3816995A4 (en) 2021-08-25
US20200335088A1 (en) 2020-10-22
US11217229B2 (en) 2022-01-04
CN110164446A (zh) 2019-08-23
EP3816995A1 (en) 2021-05-05
CN110364166B (zh) 2022-10-28
JP7109852B2 (ja) 2022-08-01

Similar Documents

Publication Publication Date Title
CN110164446B (zh) 语音信号识别方法和装置、计算机设备和电子设备
CN109712626B (zh) 一种语音数据处理方法及装置
CN104936091B (zh) 基于圆形麦克风阵列的智能交互方法及系统
CN110503970B (zh) 一种音频数据处理方法、装置及存储介质
US10506337B2 (en) Frequency-invariant beamformer for compact multi-ringed circular differential microphone arrays
CN109272989B (zh) 语音唤醒方法、装置和计算机可读存储介质
US9264799B2 (en) Method and apparatus for acoustic area monitoring by exploiting ultra large scale arrays of microphones
Yook et al. Fast sound source localization using two-level search space clustering
CN109254266A (zh) 基于麦克风阵列的声源定位方法、装置及存储介质
He et al. Closed-form DOA estimation using first-order differential microphone arrays via joint temporal-spectral-spatial processing
CN113593596B (zh) 一种基于子阵划分的鲁棒自适应波束形成定向拾音方法
CN110736976A (zh) 一种任意阵形的声纳波束形成器性能估计方法
Bai et al. Audio enhancement and intelligent classification of household sound events using a sparsely deployed array
Frank et al. Constant-beamwidth kronecker product beamforming with nonuniform planar arrays
Liu et al. A multiple sources localization method based on TDOA without association ambiguity for near and far mixed field sources
Zhong et al. Spherical convolutional recurrent neural network for real-time sound source tracking
CN115866483A (zh) 一种音频信号的波束形成方法及设备
Huang et al. Improving decoupled spherical harmonics ESPRIT using structured least squares
Hu et al. A generalized network based on multi-scale densely connection and residual attention for sound source localization and detection
Wu et al. An indoor sound source localization dataset for machine learning
CN110646763A (zh) 一种基于语义的声源定位方法、装置及存储介质
CN113068101B (zh) 指环阵列拾音控制方法、装置、存储介质及指环阵列
Zheng et al. Exploiting joint sparsity for far-field microphone array sound source localization
Kan et al. Acoustic source localization through the data fusion with multi-distributed microphone arrays
Xiao et al. On the Performance Limits of Array-based Acoustic Source Localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant