CN113506582A - 声音信号识别方法、装置及系统 - Google Patents
声音信号识别方法、装置及系统 Download PDFInfo
- Publication number
- CN113506582A CN113506582A CN202110572163.7A CN202110572163A CN113506582A CN 113506582 A CN113506582 A CN 113506582A CN 202110572163 A CN202110572163 A CN 202110572163A CN 113506582 A CN113506582 A CN 113506582A
- Authority
- CN
- China
- Prior art keywords
- sound source
- signal
- matrix
- data
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000005236 sound signal Effects 0.000 title claims abstract description 43
- 239000011159 matrix material Substances 0.000 claims abstract description 275
- 238000012545 processing Methods 0.000 claims abstract description 65
- 230000009467 reduction Effects 0.000 claims abstract description 46
- 238000000926 separation method Methods 0.000 claims description 98
- 239000013598 vector Substances 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 22
- 238000001514 detection method Methods 0.000 claims description 11
- 230000004807 localization Effects 0.000 claims description 7
- 238000011946 reduction process Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000003993 interaction Effects 0.000 abstract description 6
- 230000014509 gene expression Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000007726 management method Methods 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 102100026436 Regulator of MON1-CCZ1 complex Human genes 0.000 description 3
- 101710180672 Regulator of MON1-CCZ1 complex Proteins 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0224—Processing in the time domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Abstract
本公开是关于一种声音信号识别方法及装置。涉及智能语音交互技术，解决了强干扰低信噪比场景下声源定位准确率低、语音识别质量较差的问题。该方法包括：获取至少两个采集点分别对至少两个声源采集的原始观测数据；对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据；根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据；根据所述观测信号数据，得到各个声源的噪声协方差矩阵；根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号；根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。本公开提供的技术方案适用于人机自然语言交互场景，实现了高效、抗干扰能力强语音信号识别。
Description
技术领域
本公开涉及智能语音交互技术，尤其涉及一种声音信号识别方法及装置。
背景技术
在物联网、AI时代，智能语音作为人工智能核心技术之一，丰富了人机交互的模式，大大提高智能产品使用的便捷性。
智能产品设备拾音多采用多个麦克风构成的麦克风阵列，应用麦克风波束形成技术或盲源分离技术抑制环境干扰，提高语音信号处理质量，以提高真实环境下的语音识别率。
麦克风波束形成技术需要估计声源方向，另外为了赋予更强的智能性和感知性，一般智能设备会配备指示灯，当与用户交互时将指示灯准确指向用户而非干扰，让用户感觉在与智能设备面对面对话，增强用户的交互体验。基于此，在存在干扰音源的环境中，准确估计用户(也即声源)的方向十分重要。
声源寻向算法一般直接利用麦克风采集得到的数据，使用基于相位变换加权的可控响应功率的声源定位算法(Steered Response Power-Phase Transform，简称SRP-PHAT)等算法进行寻向估计。但这种算法依赖信号的信噪比，在低信噪比下准确率不够高，极容易寻各到干扰音源的方向上，无法准确对有效声源进行定位，最终导致识别的语音信号不准确。
发明内容
为克服相关技术中存在的问题，本公开提供一种声音信号识别方法及装置。通过降噪后定位声源并对声音信号进行进一步降噪，实现了高信噪比、高质量的语音识别。
根据本公开实施例的第一方面，提供一种声音信号识别方法，包括：
获取至少两个采集点分别对至少两个声源采集的原始观测数据；
对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据；
根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据；
根据所述观测信号数据，得到各个声源的噪声协方差矩阵；
根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号；
根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。
进一步的，所述对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据的步骤包括：
初始化各个频点的分离矩阵及各个声源在各个频点的加权协方差矩阵，所述分离矩阵的行数和列数均为声源的数量；
求取各个采集点处的时域信号，并根据所述时域信号对应的频域信号构建观测信号矩阵；
根据上一帧的分离矩阵和所述观测信号矩阵，求取当前帧各个声源的先验频域估计；
根据所述先验频域估计更新所述加权协方差矩阵；
根据更新后的所述加权协方差矩阵，更新所述分离矩阵；
对更新后的所述分离矩阵去模糊；
根据去模糊后的所述分离矩阵，对所述原始观测数据进行分离，将分离得到的后验频域估计数据作为所述观测信号估计数据。
进一步的，根据上一帧的分离矩阵和所述观测信号矩阵，求取当前帧各个声源的先验频域估计的步骤包括：
根据上一帧的分离矩阵对所述观测信号矩阵进行分离，得到当前帧各个声源的先验频域估计。
进一步的，根据所述先验频域估计更新所述加权协方差矩阵的步骤包括：
根据所述观测信号矩阵及所述观测信号矩阵的共轭转置矩阵，更新所述加权协方差矩阵。
进一步的，根据更新后的所述加权协方差矩阵，更新所述分离矩阵的步骤包括：
根据各个声源的加权协方差矩阵，分别更新各个声源的分离矩阵；
更新所述分离矩阵为各个声源的分离矩阵合并后的共轭转置矩阵。
进一步的，对更新后的所述分离矩阵去模糊的步骤包括：
采用最小畸变准则对所述分离矩阵进行幅度去模糊处理。
进一步的，所述根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据的步骤包括：
根据所述观测信号估计数据，得到各个采集点处各个声源的所述观测信号数据；
根据各个采集点处各个声源的所述观测信号数据，分别估算各个声源的方位，得到各个声源的定位信息。
进一步的，根据各个采集点处各个声源的所述观测信号数据，分别估算各个声源的方位，得到各个声源的定位信息的步骤包括：
分别对各个声源进行如下估算，获取各个声源的方位：
使用同一声源在不同采集点处的所述观测信号数据构成采集点的观测数据，通过寻向算法对所述声源进行定位，得到各个声源的定位信息。
进一步的，根据所述观测信号数据，得到各个声源的噪声协方差矩阵的步骤包括：
对各个声源的噪声协方差矩阵分别进行如下处理：
检测当前帧为噪声帧或非噪声帧；
在当前帧是噪声帧的情况下，将上一帧的噪声协方差矩阵更新为所述当前帧的噪声协方差矩阵，
在所述当前帧是非噪声帧的情况下，根据所述声源在各个采集点的所述观测信号数据和上一帧的噪声协方差矩阵，估计得到所述当前帧的噪声协方差矩阵。
进一步的，所述声源的定位信息包含所述声源的方位坐标，根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号的步骤包括：
根据各个声源的方位坐标和各采集点的方位坐标，分别计算各个声源的传播时延差值，所述传播时延差值为声源发出的声音传输至各采集点的时间差值；
根据所述时延差值和对所述声源采集语音帧的长度，得到各个声源的导向向量；
根据各个声源的导向向量与噪声协方差矩阵的逆矩阵，计算各个声源的最小方差无失真响应波束成形加权系数；
分别对各个声源进行如下处理，得到各个声源的波束增强输出信号：
基于所述最小方差无失真响应波束成形加权系数，对所述声源相对于各个采集点的观测信号数据进行最小方差无失真响应波束成形处理，得到所述声源的波束增强输出信号。
进一步的，根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号的步骤包括：
对所述各个声源的波束增强输出信号进行短时傅立叶逆变换后重叠相加，得到各个声源的时域信号。
根据本公开实施例的第二方面，提供一种声音信号识别装置，包括：
原始数据采集模块，用于获取至少两个采集点分别对至少两个声源采集的原始观测数据；
第一降噪模块，用于对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据；
定位模块，用于根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据；
比较模块，用于根据所述观测信号数据，得到各个声源的噪声协方差矩阵；
第二降噪模块，用于根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号；
增强信号输出模块，用于根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。
进一步的，所述第一降噪模块包括：
初始化子模块，用于初始化各个频点的分离矩阵及各个声源在各个频点的加权协方差矩阵，所述分离矩阵的行数和列数均为声源的数量；
观测信号矩阵构建子模块，用于求取各个采集点处的时域信号，并根据所述时域信号对应的频域信号构建观测信号矩阵；
先验频域求取子模块，用于根据上一帧的分离矩阵和所述观测信号矩阵，求取当前帧各个声源的先验频域估计；
协方差矩阵更新子模块，用于根据所述先验频域估计更新所述加权协方差矩阵；
分离矩阵更新子模块，用于根据更新后的所述加权协方差矩阵，更新所述分离矩阵；
去模糊子模块，用于对更新后的所述分离矩阵去模糊；
后验频域求取子模块，用于根据去模糊后的所述分离矩阵，对所述原始观测数据进行分离，将分离得到的后验频域估计数据作为所述观测信号估计数据。
进一步的，所述先验频域求取子模块，用于根据上一帧的分离矩阵对所述观测信号矩阵进行分离，得到当前帧各个声源的先验频域估计。
进一步的，所述协方差矩阵更新子模块，用于根据所述观测信号矩阵及所述观测信号矩阵的共轭转置矩阵，更新所述加权协方差矩阵。
进一步的，所述分离矩阵更新子模块包括：
第一更新子模块，用于根据各个声源的加权协方差矩阵，分别更新各个声源的分离矩阵；
第二更新子模块，用于更新所述分离矩阵为各个声源的分离矩阵合并后的共轭转置矩阵。
进一步的，所述去模糊子模块，用于采用最小畸变准则对所述分离矩阵进行幅度去模糊处理。
进一步的，所述定位模块包括：
观测信号数据获取子模块，用于根据所述观测信号估计数据，得到各个采集点处各个声源的所述观测信号数据；
定位子模块，用于根据各个采集点处各个声源的所述观测信号数据，分别估算各个声源的方位，得到各个声源的定位信息。
进一步的，所述定位子模块，用于分别对各个声源进行如下估算，获取各个声源的方位：
使用同一声源在不同采集点处的所述观测信号数据构成采集点的观测数据，通过寻向算法对所述声源进行定位，得到各个声源的定位信息。
进一步的，所述比较模块包括管理子模块、帧检测子模块和矩阵估计子模块；
所述管理子模块，用于控制所述帧检测子模块和所述矩阵估计子模块对各个声源的噪声协方差矩阵分别进行估计；
所述帧检测子模块，用于检测当前帧为噪声帧或非噪声帧；
所述矩阵估计子模块，用于在当前帧是噪声帧的情况下，将上一帧的噪声协方差矩阵更新为所述当前帧的噪声协方差矩阵，
在所述当前帧是非噪声帧的情况下，根据所述声源在各个采集点的所述观测信号数据和上一帧的噪声协方差矩阵，估计得到所述当前帧的噪声协方差矩阵。
进一步的，所述声源的定位信息包含所述声源的方位坐标，所述第二降噪模块包括：
时延计算子模块，用于根据各个声源的方位坐标和各采集点的方位坐标，分别计算各个声源的传播时延差值，所述传播时延差值为声源发出的声音传输至各采集点的时间差值；
向量生成子模块，用于根据所述时延差值和对所述声源采集语音帧的长度，得到各个声源的导向向量；
系数计算子模块，用于根据各个声源的导向向量与噪声协方差矩阵的逆矩阵，计算各个声源的最小方差无失真响应波束成形加权系数；
信号输出子模块，用于分别对各个声源进行如下处理，得到各个声源的波束增强输出信号：
基于所述最小方差无失真响应波束成形加权系数，对所述声源相对于各个采集点的观测信号数据进行最小方差无失真响应波束成形处理，得到所述声源的波束增强输出信号。
进一步的，所述增强信号输出模块，用于对所述各个声源的波束增强输出信号进行短时傅立叶逆变换后重叠相加，得到各个声源的时域信号。
根据本公开实施例的第三方面，提供一种计算机装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取至少两个采集点分别对至少两个声源采集的原始观测数据；
对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据；
根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据；
根据所述观测信号数据，得到各个声源的噪声协方差矩阵；
根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号；
根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种声源定位方法，所述方法包括：
获取至少两个采集点分别对至少两个声源采集的原始观测数据；
对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据；
根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据；
根据所述观测信号数据，得到各个声源的噪声协方差矩阵；
根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号；
根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。
本公开的实施例提供的技术方案可以包括以下有益效果：获取至少两个采集点分别对至少两个声源采集的原始观测数据，然后对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据，然后根据所述观测信号估计数据，得到各个声源的定位信息及观测信号数据，再根据所述观测信号数据，得到各个声源的噪声协方差矩阵，并根据所述噪声协方差矩阵和所述定位信息对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号，根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。对原始观测数据进行降噪处理定位声源后，再通过波束增强进一步提升信噪比以突出信号，解决了强干扰低信噪比场景下声源定位准确率低、语音识别质量较差的问题，实现了高效、抗干扰能力强语音信号识别。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种声音信号识别方法的流程图。
图2是根据一示例性实施例示出的又一种声音信号识别方法的流程图。
图3是一种两麦克风采集点收音场景示意图。
图4是根据一示例性实施例示出的又一种声音信号识别方法的流程图。
图5是根据一示例性实施例示出的又一种声音信号识别方法的流程图。
图6是根据一示例性实施例示出的又一种声音信号识别方法的流程图。
图7是根据一示例性实施例示出的又一种声音信号识别装置的框图。
图8是根据一示例性实施例示出的第一降噪模块702的结构示意图。
图9是根据一示例性实施例示出的分离矩阵更新子模块805的结构示意图。
图10是根据一示例性实施例示出的定位模块703的结构示意图。
图11是根据一示例性实施例示出的比较模块704的结构示意图。
图12是根据一示例性实施例示出的第二降噪模块705的结构示意图。
图13是根据一示例性实施例示出的一种装置的框图(移动终端的一般结构)。
图14是根据一示例性实施例示出的一种装置的框图(服务器的一般结构)。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
声源寻向算法一般直接利用麦克风采集得到的数据，使用麦克风阵列声源定位(SRP-PHAT)等算法进行寻向估计。但这种算法依赖信号的信噪比，在低信噪比下准确率不够高，极容易寻各到干扰音源的方向上，无法准确对有效声源进行定位。
为了解决上述问题，本公开的实施例提供了一种声音信号识别方法及装置。对采集的数据进行降噪处理后再进行寻向定位，根据寻向定位结果再进行一次降噪处理进一步提高信噪比，之后再获取最终的时域声源信号，消除干扰音源的影响，解决了强干扰低信噪比场景下声源定位准确率低的问题，实现了高效、抗干扰能力强语音信号识别。
本公开的一示例性实施例提供了一种声音信号识别方法，使用该方法获取声音信号识别结果的流程如图1所示，包括：
步骤101、获取至少两个采集点分别对至少两个声源采集的原始观测数据。
本实施例中，所述采集点可为麦克风。例如，可为设置于同一设备上的多个麦克风，所述多个麦克风构成麦克风阵列。
本步骤中，在各个采集点处均进行数据采集，采集的数据来源可以是多个声源。多个声源中可能包括作为目标的有效声源，也可能包括干扰音源。
采集点采集得到了至少两个声源的原始观测数据。
步骤102、对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据。
本步骤中，对采集得到的原始观测数据进行第一级降噪处理，以消除干扰音源等产生的噪声影响。
可在如第一级降噪处理等预处理后，通过最小畸变准则(例如马尔可夫决策过程，Markov decision processes，简称MDP)对原始观测数据进行信号分离，恢复出各个声源在各个采集点处观测数据的估计。
在对原始观测数据进行降噪处理后，得到观测信号估计数据。
步骤103、根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据。
本步骤中，在获得了排除噪声影响、较为接近真实声源数据的观测信号估计数据后，即可据以得到各个采集点处各个声源的所述观测信号数据。
进而根据观测信号数据对声源进行定位，获取各个声源的定位信息。例如，根据寻向算法，基于观测信号数据确定定位信息。在该定位信息中可包含声源的方位，例如可为三维坐标系中的三维坐标值。可通过SRP-PHAT算法分别依据各个声源的观测信号估计数据估计声源的方位，完成对各个声源的定位。
步骤104、根据所述定位信息对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号。
本步骤中，针对步骤103得到的观测信号数据中的噪声干扰残留，为求进一步提升声音信号质量，采用延迟求和波束成形技术进行第二级降噪处理。增强声源信号的同时对其他方向信号(可能对声源的信号存在干扰的信号)进行抑制，从而进一步提高了声源信号的信噪比，在此基础上可进行进一步的声源定位识别，以获取更为准确的结果。
步骤105、根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。
本步骤中，根据波束增强输出信号，通过短时傅立叶逆变换(ISTFT)和重叠相加得到分离波束处理后信噪比增强后的时域声源信号，时域声源信号相较于观测信号数据，噪音更小，更能真实、准确的反映声源所发出的声音信号，实现了精准高效的声音信号识别。
本公开的一示例性实施例还提供了一种声音信号识别方法，基于盲源分离，对原始观测数据进行降噪处理，以得到观测信号估计数据，具体流程如图2所示，包括：
步骤201、初始化各个频点的分离矩阵及各个声源在各个频点的加权协方差矩阵。
本步骤中，所述分离矩阵的行数和列数均为声源的数量，所述加权协方差矩阵为0矩阵。
本实施例中，以两个麦克风作为采集点的场景为例。如图3所示，智能音箱A具有两个麦克风：mic1和mic2；在智能音箱A周围空间存在两个声源：s1和s2。两个声源发出的信号均能够被两个麦克风采集到。在每个麦克风中两个声源的信号都会混叠在一起。建立如下坐标系：
设智能音箱A的麦克风坐标为
x、y、z为三维坐标系中的x、y、z三轴。
为第i个麦风克的x轴坐标值，
为第i个麦风克的y轴坐标值，
为第i个麦风克的z轴坐标值。其中i＝1,..,M。在此例中，M＝2。
对于卷积盲分离问题，频域模型为：
X(k,τ)＝H(k,τ)s(k,τ)
Y(k,τ)＝W(k,τ)X(k,τ)
其中，X(k,τ)＝[X1(k,τ),X2(k,τ),...,XM(k,τ)]T为麦克风观测数据，
s(k,τ)＝[s1(k,τ),s2(k,τ),...,sM(k,τ)]T为声源信号矢量，
Y(k,τ)＝[Y1(k,τ),Y2(k,τ),...,YM(k,τ)]T为分离信号矢量，H(k,τ)为M×M维的混合矩阵，W(k,τ)为M×M维的分离矩阵，k为频点，τ为帧数，()T表示向量(或矩阵)转置。
为声源i的频域数据。
分离矩阵表示为：
W(k,τ)＝[w1(k,τ),w2(k,τ),...wN(k,τ)]H
其中，()H表示向量(或矩阵)的共轭转置。
具体到如图3所示的场景时：
定义混合矩阵为：
其中，hij为声源i到micj的传递函数。
定义分离矩阵为：
设声音系统中每个分帧的帧长度为Nfft，K＝Nfft/2+1。
本步骤中，根据表达式(1)初始化各个频点的分离矩阵：
分离矩阵为单位阵；k＝1,..,K，代表第k个频点。
并根据表达式(2)初始化各声源在各个频点的加权协方差矩阵Vi(k,τ)为零矩阵：
其中，k＝1,..,K，代表第k个频点；i＝1,2。
步骤202、求取各个采集点处的时域信号，并根据所述时域信号对应的频域信号构建观测信号矩阵。
本步骤中，以
代表第i个麦克风第τ帧的时域信号，i＝1,2；m＝1,…Nfft。根据表达式(3)，加窗进行Nfft点FFT得到对应的频域信号Xi(k,τ)：
则观测信号矩阵为：
X(k,τ)＝[X1(k,τ),X2(k,τ)]T
其中，k＝1,..,K。
步骤203、根据上一帧的分离矩阵和所述观测信号矩阵，求取当前帧各个声源的先验频域估计。
本步骤中，首先根据上一帧的分离矩阵对所述观测信号矩阵进行分离，得到当前帧各个声源的先验频域估计。对于图3所示的应用场景，利用上一帧的W(k)求取当前帧中两个声源信号的先验频域估计Y(k,τ)。
例如，令Y(k,τ)＝[Y1(k,τ),Y2(k,τ)]T，k＝1,..,K。其中Y1(k,τ),Y2(k,τ)分别为声源s1和s2在时频点(k,τ)处的估计值。根据表达式(4)，通过利用分离矩阵W(k,τ)对观测矩阵X(k,τ)进行分离得到：
Y(k,τ)＝W(k,τ)X(k,τ) k＝1,..,K (4)
则根据表达式(5)，第i个声源在第τ帧的频域估计为:
其中，i＝1,2。
步骤204、根据所述先验频域估计更新所述加权协方差矩阵。
本步骤中，根据所述观测信号矩阵及所述观测信号矩阵的共轭转置矩阵，更新所述加权协方差矩阵。
对于图3所示的应用场景，更新加权协方差矩阵Vi(k,τ)。
例如，根据表达式(6)进行加权协方差矩阵的更新：
定义对比函数为：
GR(ri(τ))＝ri(τ)
定义加权系数为：
步骤205、根据更新后的所述加权协方差矩阵，更新所述分离矩阵。
本步骤中，首先根据各个声源的加权协方差矩阵，分别更新各个声源的分离矩阵，然后更新所述分离矩阵为各个声源的分离矩阵合并后的共轭转置矩阵。对于图3所示的应用场景，更新分离矩阵W(k,τ)。
例如，根据表达式(7)、(8)、(9)对分离矩阵W(k,τ)进行更新：
wi(k,τ)＝(W(k,τ-1)Vi(k,τ))-1ei (7)
W(k,τ)＝[w1(k,τ),w2(k,τ)]H (9)
i＝1,2。
步骤206、对更新后的所述分离矩阵去模糊。
本步骤中，可采用MDP对所述分离矩阵进行幅度去模糊处理。对于图3所示的应用场景，利用MDP算法对W(k,τ)进行幅度去模糊处理。
例如，根据表达式(10)进行MDP幅度去模糊处理：
W(k,τ)＝diag(invW(k,τ))·W(k,τ) (10)
其中invW(k,τ)为W(k,τ)的逆矩阵。diag(invW(k,τ))表示将invW(k,τ)的非主对角元素置为0。
步骤207、根据去模糊后的所述分离矩阵，对所述原始观测数据进行分离，将分离得到的后验频域估计数据作为所述观测信号估计数据。
本步骤中，对于图3所示的应用场景，利用幅度去模糊后的W(k,τ)对原始麦克信号进行分离得到声源信号的后验频域估计数据Y(k,τ)，具体如表达式(11)：
Y(k,τ)＝[Y1(k,τ),Y2(k,τ)]T＝W(k,τ)X(k,τ) (11)
在获得低信噪比的后验频域估计数据后，以其作为观测信号估计数据，进一步的确定各个声源在各个采集点处的观测信号估计数据，为各声源的寻向提供高质量数据基础。
本公开的一示例性实施例还提供了一种声音信号识别方法，使用该方法根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据的流程如图4所示，包括：
步骤401、根据所述观测信号估计数据，得到各个采集点处各声源的观测信号数据。
本步骤中，基于观测信号估计数据，获取各个采集点处的各个声源的观测信号数据。对于图3所示的应用场景，本步骤中估计各声源在各麦克风处的叠加得到观测信号，进而估计各个声源自身在各个麦克风处的观测信号数据。
例如，利用MDP后的W(k,τ)对原始观测数据进行分离得到
Y(k,τ)＝[Y1(k,τ),Y2(k,τ)]T。根据MDP算法的原理，其恢复出的Y(k,τ)正好是声源在对应麦克风处的观测信号的估计，即：
声源s1在mic1处的观测信号数据的估计如表达式(12)，为：
Y1(k,τ)＝h11s1(k,τ)
重新记
Y11(k,τ)＝Y1(k,τ) (12)
声源s2在mic2处的观测信号数据估计如表达式(13)，为：
Y2(k,τ)＝h22s2(k,τ)
重新记
Y22(k,τ)＝Y2(k,τ) (13)
由于每个麦克风处的观测信号是两个声源观测信号数据的叠加，因此声源s2在mic1处的观测数据的估计如表达式(14)，为：
Y12(k,τ)＝X1(k,τ)-Y11(k,τ) (14)
声源s1在mic2处的观测数据的估计如表达式(15)，为
Y21(k,τ)＝X2(k,τ)-Y22(k,τ) (15)
这样基于MDP算法，完全的恢复出了各声源在各个麦克风处的观测信号数据，保留了原始的相位信息。因此，可以基于这些观测信号数据进一步估计各个声源的方位。
步骤402、根据各个采集点处各声源的所述观测信号数据，分别估算各声源的方位，得到各个声源的定位信息。
本步骤中，分别对各声源进行如下估算，获取各声源的方位：
使用同一声源在不同采集点处的所述观测信号数据构成采集点的观测数据，通过寻向算法对所述声源进行定位，得到各个声源的定位信息。
对于图3所示的应用场景，使用各声源在各个麦克风处的观测信号数据分别利用SRP-PHAT算法估计各声源的方位。
SRP-PHAT算法原理如下：
对麦克风阵列进行遍历：
其中Xi(τ)＝[Xi(1,τ),...,Xi(K,τ)]T，为第i个麦克风的第τ帧的频域数据。K＝Nfft。
同理Xj(τ)。.*表示两个向量对应项相乘。
在单位球上任意一点s的坐标为(sx,sy,sz)，满足
计算该任意点s到任意两个麦克风间的时延差：
其中fs为系统采样率，c为声速。
根据
求取对应的可控响应功率(Steered Response Power，SRP)：
遍历单位球上所有点s，找到SRP最大值的点即为所估计的声源：
沿用图3场景的举例，本步骤中，可将Y11(k,τ)和Y21(k,τ)代替X(k,τ)＝[X1(k,τ),X2(k,τ)]T，带入SRP-PAHT算法就可以估计声源s1的方位；同样的利用Y22(k,τ)和Y12(k,τ)代替X(k,τ)＝[X1(k,τ),X2(k,τ)]T估计声源s2的方位。
由于是在分离的基础上，Y11(k,τ)和Y21(k,τ)，Y22(k,τ)和Y12(k,τ)的信噪比已大幅提高，因此方位估计更加的稳定和准确。
本公开的一示例性实施例还提供了一种声音信号识别方法，使用该方法根据所述观测信号数据，得到各个声源的噪声协方差矩阵的流程如图5所示，包括：
对各个声源的噪声协方差矩阵分别进行如步骤501－503的处理：
步骤501、检测当前帧为噪声帧或非噪声帧。
本步骤中，通过检测观测信号数据中的静音期，进一步识别噪音。可通过任意语音活动检测(Voice Activity Detection，简称VAD)技术检测当前帧为噪声帧或非噪声帧。
仍以图3所示场景为例，使用任意一种VAD技术检测当前帧是否是噪声帧，然后进入步骤502或503，根据检测结果，利用Y11(k,τ)和Y21(k,τ)更新声源s1的噪声协方差矩阵Rnn1(k,τ)。利用Y12(k,τ)和Y22(k,τ)，更新声源s2的噪声协方差矩阵Rnn2(k,τ)。
步骤502、在当前帧是噪声帧的情况下，将上一帧的噪声协方差矩阵更新为所述当前帧的噪声协方差矩阵。
本步骤中，在当前帧是噪声帧的情况下，继续使用上一帧的噪声协方差矩阵，将上一帧的噪声协方差矩阵更新为所述当前帧的噪声协方差矩阵。
在图3所示场景中，可根据表达式(16)更新声源s1的噪声协方差矩阵Rnn1(k,τ)：
Rnn1(k,τ)＝Rnn1(k,τ-1) (16)
可根据表达式(17)更新声源s2的噪声协方差矩阵Rnn2(k,τ)：
Rnn2(k,τ)＝Rnn2(k,τ-1) (17)
步骤503、在所述当前帧是非噪声帧的情况下，根据所述声源在各个采集点的所述观测信号数据和上一帧的噪声协方差矩阵，估计得到所述当前帧的噪声协方差矩阵。
本步骤中，在当前帧是非噪声帧的情况下，可根据声源在各个采集点的观测信号数据和该声源上一帧的噪声协方差矩阵，估计得到更新的噪声协方差矩阵。
在图3所示场景中，可根据表达式(18)更新声源s1的噪声协方差矩阵Rnn1(k,τ)：
其中，β为平滑系数。在一些可能的实施方式中，可将β设置为0.99。
可根据表达式(19)更新声源s2的噪声协方差矩阵Rnn2(k,τ)：
本公开的一示例性实施例还提供了一种声音信号识别方法，使用该方法根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号的流程如图6所示，包括：
步骤601、根据各个声源的方位坐标和各个采集点的方位坐标，分别计算各个声源的传播时延差值。
本实施例中，所述传播时延差值为声源发出的声音传输至各个采集点的时间差值。
本步骤中，声源的定位信息包含所述声源的方位坐标。仍以图3所示应用场景为例，在三维坐标系中，声源s1的方位为
声源s2的方位为
采集点可为麦克风，两个麦克风的方位分别为
和
首先，根据表达式(20)和(21)计算声源s1至各麦克风的时延差值τ1：
根据表达式(22)和(23)计算声源至各麦克风的时延差值τ2：
步骤602、根据所述时延差值和对所述声源采集语音帧的长度，得到各个声源的导向向量。
本步骤中，构建导向向量。所述导向向量可为2维向量。
在图3所示场景中，声源s1的导向向量可根据表达式(24)构建：
a1(k,τ)＝[1 exp(-j*2*pi*k*τ1/Nfft)]T (24)
pi为圆周率，j为纯虚数参数，-j表示对纯虚数开方。
声源s2的导向向量可根据表达式(25)构建：
a2(k,τ)＝[1 exp(-j*2*pi*k*τ2/Nfft)]T (25)
pi为圆周率，j为纯虚数参数，-j表示对纯虚数开方。
其中，Nfft为智能音箱A的声音系统中每个分帧的帧长度，k为频点数(每个频点对应于一个频点索引，与一个频带对应)，τ1为声源s1的帧数，τ2为声源s1的帧数，()T表示向量(或矩阵)转置。
步骤603、根据各个声源的导向向量与噪声协方差矩阵的逆矩阵，计算各个声源的最小方差无失真响应波束成形加权系数。
本步骤中，基于最大信干噪比(亦可称为信号与干扰加噪声比，Signal toInterference plus Noise Ratio，简称为SINR)准则的自适应波束形成算法进行二级降噪。可分别计算各个声源的最小方差无失真响应波束成形(Minimum VarianceDistortionless Response，简称MVDR)加权系数。
以图3所示场景为例，根据表达式(26)可计算声源s1的MVDR加权系数：
根据表达式(27)可计算声源s2的MVDR加权系数：
其中，()H表示矩阵共轭转置。
步骤604、分别对各个声源进行处理，得到各个声源的波束增强输出信号。
本步骤中，基于所述最小方差无失真响应波束成形加权系数，对所述声源相对于各个采集点的观测信号数据进行最小方差无失真响应波束成形处理，减轻观测信号数据中残留噪声的影响，进一步的得到所述声源的波束增强输出信号。
以图3所示场景为例，根据表达式(28)对声源s1分离后的观测信号数据Y11(k,τ)和Y21(k,τ)进行MVDR波束成形得到波束增强输出信号YE1(k,τ)：
根据表达式(29)对声源s2分离后的观测信号数据Y12(k,τ)和Y22(k,τ)进行MVDR波束成形得到波束增强输出信号YE2(k，τ)：
其中k＝1,…,K。
本公开的一示例性实施例还提供了一种声音信号识别方法，能够根据波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。可对所述各个声源的波束增强输出信号进行短时傅立叶逆变换后重叠相加，得到各个声源的信噪比增强的时域声源信号。
仍以图3所示应用场景为例，根据表达式(30)分别对YE1(τ)＝[YE1(1,τ),...,YE1(K,τ)]和YE2(τ)＝[YE2(1,τ),...,YE2(K,τ)]，k＝1,..,K进行ISTFT和重叠相加得到分离波束信噪比增强后的时域声源信号记为
其中，m＝1,…,Nfft。i＝1,2。
由于麦克风观测数据带噪，算法极度依赖信噪比，当信噪比较低时寻向很不准确，影响语音识别结果的准确性。本公开实施例中，在盲源分离后，利用最小方差无失真响应波束成形技术对观测信号数据进一步消除噪声影响提高信噪比，解决了直接使用原始麦克风观测数据X(k,τ)＝[X1(k,τ),X2(k,τ)]T进行声源方位估计导致语音识别结果欠准确的问题。
本公开的一示例性实施例还提供了一种声音信号识别装置，其结构如图7所示，包括：
原始数据采集模块701，用于获取至少两个采集点分别对至少两个声源采集的原始观测数据；
第一降噪模块702，用于对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据；
定位模块703，用于根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据；
比较模块704，用于根据所述观测信号数据，得到各个声源的噪声协方差矩阵；
第二降噪模块705，用于根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号；
增强信号输出模块706，用于根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。
优选的，所述第一降噪模块702的结构如图8所示，包括：
初始化子模块801，用于初始化各个频点的分离矩阵及各个声源在各个频点的加权协方差矩阵，所述分离矩阵的行数和列数均为声源的数量；
观测信号矩阵构建子模块802，用于求取各个采集点处的时域信号，并根据所述时域信号对应的频域信号构建观测信号矩阵；
先验频域求取子模块803，用于根据上一帧的分离矩阵和所述观测信号矩阵，求取当前帧各个声源的先验频域估计；
协方差矩阵更新子模块804，用于根据所述先验频域估计更新所述加权协方差矩阵；
分离矩阵更新子模块805，用于根据更新后的所述加权协方差矩阵，更新所述分离矩阵；
去模糊子模块806，用于对更新后的所述分离矩阵去模糊；
后验频域求取子模块807，用于根据去模糊后的所述分离矩阵，对所述原始观测数据进行分离，将分离得到的后验频域估计数据作为所述观测信号估计数据。
进一步的，所述先验频域求取子模块803，用于根据上一帧的分离矩阵对所述观测信号矩阵进行分离，得到当前帧各个声源的先验频域估计。
进一步的，所述协方差矩阵更新子模块804，用于根据所述观测信号矩阵及所述观测信号矩阵的共轭转置矩阵，更新所述加权协方差矩阵。
进一步的，所述分离矩阵更新子模块805的结构如图9所示，包括：
第一更新子模块901，用于根据各个声源的加权协方差矩阵，分别更新各个声源的分离矩阵；
第二更新子模块902，用于更新所述分离矩阵为各个声源的分离矩阵合并后的共轭转置矩阵。
进一步的，所述去模糊子模块806，用于采用最小畸变准则对所述分离矩阵进行幅度去模糊处理。
进一步的，所述定位模块703的结构如图10所示，包括：
观测信号数据获取子模块1001，用于根据所述观测信号估计数据，得到各个采集点处各个声源的所述观测信号数据；
定位子模块1002，用于根据各个采集点处各个声源的所述观测信号数据，分别估算各个声源的方位，得到各个声源的定位信息。
进一步的，所述定位子模块1002，用于分别对各个声源进行如下估算，获取各个声源的方位：
使用同一声源在不同采集点处的所述观测信号数据构成采集点的观测数据，通过寻向算法对所述声源进行定位，得到各个声源的定位信息。
进一步的，所述比较模块704如图11所示，包括管理子模块1101、帧检测子模块1102和矩阵估计子模块1103；
所述管理子模块1101，用于控制所述帧检测子模块1102和所述矩阵估计子模块1103对各个声源的噪声协方差矩阵分别进行估计；
所述帧检测子模块1102，用于检测当前帧为噪声帧或非噪声帧；
所述矩阵估计子模块1103，用于在当前帧是噪声帧的情况下，将上一帧的噪声协方差矩阵更新为所述当前帧的噪声协方差矩阵，
在所述当前帧是非噪声帧的情况下，根据所述声源在各个采集点的所述观测信号数据和上一帧的噪声协方差矩阵，估计得到所述当前帧的噪声协方差矩阵。
进一步的，所述声源的定位信息包含所述声源的方位坐标，所述第二降噪模块705的结构如图12所示，包括：
时延计算子模块1201，用于根据各个声源的方位坐标和各采集点的方位坐标，分别计算各个声源的传播时延差值，所述传播时延差值为声源发出的声音传输至各采集点的时间差值；
向量生成子模块1202，用于根据所述时延差值和对所述声源采集语音帧的长度，得到各个声源的导向向量；
系数计算子模块1203，用于根据各个声源的导向向量与噪声协方差矩阵的逆矩阵，计算各个声源的最小方差无失真响应波束成形加权系数；
信号输出子模块1204，用于分别对各个声源进行如下处理，得到各个声源的波束增强输出信号：
基于所述最小方差无失真响应波束成形加权系数，对所述声源相对于各个采集点的观测信号数据进行最小方差无失真响应波束成形处理，得到所述声源的波束增强输出信号。
进一步的，所述增强信号输出模块706，用于对所述各个声源的波束增强输出信号进行短时傅立叶逆变换后重叠相加，得到各个声源的时域信号。
上述装置可集成于智能终端设备或远程运算处理平台，也可将部分功能模块集成于智能终端设备而部分功能模块集成于远程运算处理平台，由智能终端设备和/或远程运算处理平台实现相应功能。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图13是根据一示例性实施例示出的一种用于声音信号识别的装置1300的框图。例如，装置1300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图13，装置1300可以包括以下一个或多个组件：处理组件1302，存储器1304，电力组件1306，多媒体组件1308，音频组件1310，输入/输出(I/O)的接口1312，传感器组件1314，以及通信组件1316。
处理组件1302通常控制装置1300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1302可以包括一个或多个处理器1320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1302可以包括一个或多个模块，便于处理组件1302和其他组件之间的交互。例如，处理组件1302可以包括多媒体模块，以方便多媒体组件1308和处理组件1302之间的交互。
存储器1304被配置为存储各种类型的数据以支持在设备1300的操作。这些数据的示例包括用于在装置1300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件1306为装置1300的各种组件提供电力。电力组件1306可以包括电源管理系统，一个或多个电源，及其他与为装置1300生成、管理和分配电力相关联的组件。
多媒体组件1308包括在所述装置1300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1308包括一个前置摄像头和/或后置摄像头。当设备1300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1310被配置为输出和/或输入音频信号。例如，音频组件1310包括一个麦克风(MIC)，当装置1300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中，音频组件1310还包括一个扬声器，用于输出音频信号。
I/O接口1312为处理组件1302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1314包括一个或多个传感器，用于为装置1300提供各个方面的状态评估。例如，传感器组件1314可以检测到设备1300的打开/关闭状态，组件的相对定位，例如所述组件为装置1300的显示器和小键盘，传感器组件1314还可以检测装置1300或装置1300一个组件的位置改变，用户与装置1300接触的存在或不存在，装置1300方位或加速/减速和装置1300的温度变化。传感器组件1314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1316被配置为便于装置1300和其他设备之间有线或无线方式的通信。装置1300可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1316还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1304，上述指令可由装置1300的处理器1320执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种声音信号识别方法，所述方法包括：
获取至少两个采集点分别对至少两个声源采集的原始观测数据；
对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据；
根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据；
根据所述观测信号数据，得到各个声源的噪声协方差矩阵；
根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号；
根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。
图14是根据一示例性实施例示出的一种用于声音信号识别的装置1400的框图。例如，装置1400可以被提供为一服务器。参照图14，装置1400包括处理组件1422，其进一步包括一个或多个处理器，以及由存储器1432所代表的存储器资源，用于存储可由处理组件1422的执行的指令，例如应用程序。存储器1432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1422被配置为执行指令，以执行上述方法。
装置1400还可以包括一个电源组件1426被配置为执行装置1400的电源管理，一个有线或无线网络接口1450被配置为将装置1400连接到网络，和一个输入输出(I/O)接口1458。装置1400可以操作基于存储在存储器1432的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
获取至少两个采集点分别对至少两个声源采集的原始观测数据，然后对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据，然后根据所述观测信号估计数据，得到各个声源的定位信息及观测信号数据，再根据所述观测信号数据，得到各个声源的噪声协方差矩阵，并根据所述噪声协方差矩阵和所述定位信息对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号，根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。对原始观测数据进行降噪处理定位声源后，再通过波束增强进一步提升信噪比以突出信号，解决了强干扰低信噪比场景下声源定位准确率低、语音识别质量较差的问题，实现了高效、抗干扰能力强语音信号识别。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (24)
1.一种声音信号识别方法，其特征在于，包括：
获取至少两个采集点分别对至少两个声源采集的原始观测数据；
对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据；
根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据；
根据所述观测信号数据，得到各个声源的噪声协方差矩阵；
根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号；
根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。
2.根据权利要求1所述的声音信号识别方法，其特征在于，所述对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据的步骤包括：
初始化各个频点的分离矩阵及各个声源在各个频点的加权协方差矩阵，所述分离矩阵的行数和列数均为声源的数量；
求取各个采集点处的时域信号，并根据所述时域信号对应的频域信号构建观测信号矩阵；
根据上一帧的分离矩阵和所述观测信号矩阵，求取当前帧各个声源的先验频域估计；
根据所述先验频域估计更新所述加权协方差矩阵；
根据更新后的所述加权协方差矩阵，更新所述分离矩阵；
对更新后的所述分离矩阵去模糊；
根据去模糊后的所述分离矩阵，对所述原始观测数据进行分离，将分离得到的后验频域估计数据作为所述观测信号估计数据。
3.根据权利要求2所述的声音信号识别方法，其特征在于，根据上一帧的分离矩阵和所述观测信号矩阵，求取当前帧各个声源的先验频域估计的步骤包括：
根据上一帧的分离矩阵对所述观测信号矩阵进行分离，得到当前帧各个声源的先验频域估计。
4.根据权利要求2所述的声音信号识别方法，其特征在于，根据所述先验频域估计更新所述加权协方差矩阵的步骤包括：
根据所述观测信号矩阵及所述观测信号矩阵的共轭转置矩阵，更新所述加权协方差矩阵。
5.根据权利要求2所述的声音信号识别方法，其特征在于，根据更新后的所述加权协方差矩阵，更新所述分离矩阵的步骤包括：
根据各个声源的加权协方差矩阵，分别更新各个声源的分离矩阵；
更新所述分离矩阵为各个声源的分离矩阵合并后的共轭转置矩阵。
6.根据权利要求2所述的声音信号识别方法，其特征在于，对更新后的所述分离矩阵去模糊的步骤包括：
采用最小畸变准则对所述分离矩阵进行幅度去模糊处理。
7.根据权利要求1所述的声音信号识别方法，其特征在于，所述根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据的步骤包括：
根据所述观测信号估计数据，得到各个采集点处各个声源的所述观测信号数据；
根据各个采集点处各个声源的所述观测信号数据，分别估算各个声源的方位，得到各个声源的定位信息。
8.根据权利要求7所述的声音信号识别方法，其特征在于，根据各个采集点处各个声源的所述观测信号数据，分别估算各个声源的方位，得到各个声源的定位信息的步骤包括：
分别对各个声源进行如下估算，获取各个声源的方位：
使用同一声源在不同采集点处的所述观测信号数据构成采集点的观测数据，通过寻向算法对所述声源进行定位，得到各个声源的定位信息。
9.根据权利要求7所述的声音信号识别方法，其特征在于，根据所述观测信号数据，得到各个声源的噪声协方差矩阵的步骤包括：
对各个声源的噪声协方差矩阵分别进行如下处理：
检测当前帧为噪声帧或非噪声帧；
在当前帧是噪声帧的情况下，将上一帧的噪声协方差矩阵更新为所述当前帧的噪声协方差矩阵，
在所述当前帧是非噪声帧的情况下，根据所述声源在各个采集点的所述观测信号数据和上一帧的噪声协方差矩阵，估计得到所述当前帧的噪声协方差矩阵。
10.根据权利要求9所述的声音信号识别方法，其特征在于，所述声源的定位信息包含所述声源的方位坐标，根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号的步骤包括：
根据各个声源的方位坐标和各采集点的方位坐标，分别计算各个声源的传播时延差值，所述传播时延差值为声源发出的声音传输至各采集点的时间差值；
根据所述时延差值和对所述声源采集语音帧的长度，得到各个声源的导向向量；
根据各个声源的导向向量与噪声协方差矩阵的逆矩阵，计算各个声源的最小方差无失真响应波束成形加权系数；
分别对各个声源进行如下处理，得到各个声源的波束增强输出信号：
基于所述最小方差无失真响应波束成形加权系数，对所述声源相对于各个采集点的观测信号数据进行最小方差无失真响应波束成形处理，得到所述声源的波束增强输出信号。
11.根据权利要求10所述的声音信号识别方法，其特征在于，根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号的步骤包括：
对所述各个声源的波束增强输出信号进行短时傅立叶逆变换后重叠相加，得到各个声源的时域信号。
12.一种声音信号识别装置，其特征在于，包括：
原始数据采集模块，用于获取至少两个采集点分别对至少两个声源采集的原始观测数据；
第一降噪模块，用于对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据；
定位模块，用于根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据；
比较模块，用于根据所述观测信号数据，得到各个声源的噪声协方差矩阵；
第二降噪模块，用于根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号；
增强信号输出模块，用于根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。
13.根据权利要求12所述的声音信号识别装置，其特征在于，所述第一降噪模块包括：
初始化子模块，用于初始化各个频点的分离矩阵及各个声源在各个频点的加权协方差矩阵，所述分离矩阵的行数和列数均为声源的数量；
观测信号矩阵构建子模块，用于求取各个采集点处的时域信号，并根据所述时域信号对应的频域信号构建观测信号矩阵；
先验频域求取子模块，用于根据上一帧的分离矩阵和所述观测信号矩阵，求取当前帧各个声源的先验频域估计；
协方差矩阵更新子模块，用于根据所述先验频域估计更新所述加权协方差矩阵；
分离矩阵更新子模块，用于根据更新后的所述加权协方差矩阵，更新所述分离矩阵；
去模糊子模块，用于对更新后的所述分离矩阵去模糊；
后验频域求取子模块，用于根据去模糊后的所述分离矩阵，对所述原始观测数据进行分离，将分离得到的后验频域估计数据作为所述观测信号估计数据。
14.根据权利要求13所述的声音信号识别装置，其特征在于，
所述先验频域求取子模块，用于根据上一帧的分离矩阵对所述观测信号矩阵进行分离，得到当前帧各个声源的先验频域估计。
15.根据权利要求13所述的声音信号识别装置，其特征在于，
所述协方差矩阵更新子模块，用于根据所述观测信号矩阵及所述观测信号矩阵的共轭转置矩阵，更新所述加权协方差矩阵。
16.根据权利要求13所述的声音信号识别装置，其特征在于，所述分离矩阵更新子模块包括：
第一更新子模块，用于根据各个声源的加权协方差矩阵，分别更新各个声源的分离矩阵；
第二更新子模块，用于更新所述分离矩阵为各个声源的分离矩阵合并后的共轭转置矩阵。
17.根据权利要求13所述的声音信号识别装置，其特征在于，
所述去模糊子模块，用于采用最小畸变准则对所述分离矩阵进行幅度去模糊处理。
18.根据权利要求12所述的声音信号识别装置，其特征在于，所述定位模块包括：
观测信号数据获取子模块，用于根据所述观测信号估计数据，得到各个采集点处各个声源的所述观测信号数据；
定位子模块，用于根据各个采集点处各个声源的所述观测信号数据，分别估算各个声源的方位，得到各个声源的定位信息。
19.根据权利要求18所述的声音信号识别装置，其特征在于，
所述定位子模块，用于分别对各个声源进行如下估算，获取各个声源的方位：
使用同一声源在不同采集点处的所述观测信号数据构成采集点的观测数据，通过寻向算法对所述声源进行定位，得到各个声源的定位信息。
20.根据权利要求18所述的声音信号识别装置，其特征在于，所述比较模块包括管理子模块、帧检测子模块和矩阵估计子模块；
所述管理子模块，用于控制所述帧检测子模块和所述矩阵估计子模块对各个声源的噪声协方差矩阵分别进行估计；
所述帧检测子模块，用于检测当前帧为噪声帧或非噪声帧；
所述矩阵估计子模块，用于在当前帧是噪声帧的情况下，将上一帧的噪声协方差矩阵更新为所述当前帧的噪声协方差矩阵，
在所述当前帧是非噪声帧的情况下，根据所述声源在各个采集点的所述观测信号数据和上一帧的噪声协方差矩阵，估计得到所述当前帧的噪声协方差矩阵。
21.根据权利要求20所述的声音信号识别装置，其特征在于，所述声源的定位信息包含所述声源的方位坐标，所述第二降噪模块包括：
时延计算子模块，用于根据各个声源的方位坐标和各采集点的方位坐标，分别计算各个声源的传播时延差值，所述传播时延差值为声源发出的声音传输至各采集点的时间差值；
向量生成子模块，用于根据所述时延差值和对所述声源采集语音帧的长度，得到各个声源的导向向量；
系数计算子模块，用于根据各个声源的导向向量与噪声协方差矩阵的逆矩阵，计算各个声源的最小方差无失真响应波束成形加权系数；
信号输出子模块，用于分别对各个声源进行如下处理，得到各个声源的波束增强输出信号：
基于所述最小方差无失真响应波束成形加权系数，对所述声源相对于各个采集点的观测信号数据进行最小方差无失真响应波束成形处理，得到所述声源的波束增强输出信号。
22.根据权利要求21所述的声音信号识别装置，其特征在于，
所述增强信号输出模块，用于对所述各个声源的波束增强输出信号进行短时傅立叶逆变换后重叠相加，得到各个声源的时域信号。
23.一种计算机装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取至少两个采集点分别对至少两个声源采集的原始观测数据；
对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据；
根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据；
根据所述观测信号数据，得到各个声源的噪声协方差矩阵；
根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号；
根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。
24.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种声源定位方法，所述方法包括：
获取至少两个采集点分别对至少两个声源采集的原始观测数据；
对所述原始观测数据进行第一级降噪处理，得到观测信号估计数据；
根据所述观测信号估计数据，得到各个声源的定位信息和观测信号数据；
根据所述观测信号数据，得到各个声源的噪声协方差矩阵；
根据所述噪声协方差矩阵和所述定位信息，对所述观测信号数据进行第二级降噪处理，得到波束增强输出信号；
根据所述波束增强输出信号，得到各个声源的信噪比增强的时域声源信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110572163.7A CN113506582A (zh) | 2021-05-25 | 2021-05-25 | 声音信号识别方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110572163.7A CN113506582A (zh) | 2021-05-25 | 2021-05-25 | 声音信号识别方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113506582A true CN113506582A (zh) | 2021-10-15 |
Family
ID=78008582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110572163.7A Pending CN113506582A (zh) | 2021-05-25 | 2021-05-25 | 声音信号识别方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113506582A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935883A (zh) * | 2023-09-14 | 2023-10-24 | 北京探境科技有限公司 | 声源定位方法、装置、存储介质及电子设备 |
| CN117012202A (zh) * | 2023-10-07 | 2023-11-07 | 北京探境科技有限公司 | 语音通道识别方法、装置、存储介质及电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060136203A1 (en) * | 2004-12-10 | 2006-06-22 | International Business Machines Corporation | Noise reduction device, program and method |
| JP2009031425A (ja) * | 2007-07-25 | 2009-02-12 | Nec Corp | 雑音推定装置と方法およびプログラム |
| US20110307251A1 (en) * | 2010-06-15 | 2011-12-15 | Microsoft Corporation | Sound Source Separation Using Spatial Filtering and Regularization Phases |
| EP2701145A1 (en) * | 2012-08-24 | 2014-02-26 | Retune DSP ApS | Noise estimation for use with noise reduction and echo cancellation in personal communication |
| CN108831495A (zh) * | 2018-06-04 | 2018-11-16 | 桂林电子科技大学 | 一种应用于噪声环境下语音识别的语音增强方法 |
| CN111081267A (zh) * | 2019-12-31 | 2020-04-28 | 中国科学院声学研究所 | 一种多通道远场语音增强方法 |
| CN111418010A (zh) * | 2017-12-08 | 2020-07-14 | 华为技术有限公司 | 一种多麦克风降噪方法、装置及终端设备 |
| WO2020184210A1 (ja) * | 2019-03-13 | 2020-09-17 | 日本電信電話株式会社 | 雑音空間共分散行列推定装置、雑音空間共分散行列推定方法、およびプログラム |
| CN113053406A (zh) * | 2021-05-08 | 2021-06-29 | 北京小米移动软件有限公司 | 声音信号识别方法及装置 |
| CN113314135A (zh) * | 2021-05-25 | 2021-08-27 | 北京小米移动软件有限公司 | 声音信号识别方法及装置 |
-
2021
- 2021-05-25 CN CN202110572163.7A patent/CN113506582A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060136203A1 (en) * | 2004-12-10 | 2006-06-22 | International Business Machines Corporation | Noise reduction device, program and method |
| JP2009031425A (ja) * | 2007-07-25 | 2009-02-12 | Nec Corp | 雑音推定装置と方法およびプログラム |
| US20110307251A1 (en) * | 2010-06-15 | 2011-12-15 | Microsoft Corporation | Sound Source Separation Using Spatial Filtering and Regularization Phases |
| EP2701145A1 (en) * | 2012-08-24 | 2014-02-26 | Retune DSP ApS | Noise estimation for use with noise reduction and echo cancellation in personal communication |
| CN111418010A (zh) * | 2017-12-08 | 2020-07-14 | 华为技术有限公司 | 一种多麦克风降噪方法、装置及终端设备 |
| CN108831495A (zh) * | 2018-06-04 | 2018-11-16 | 桂林电子科技大学 | 一种应用于噪声环境下语音识别的语音增强方法 |
| WO2020184210A1 (ja) * | 2019-03-13 | 2020-09-17 | 日本電信電話株式会社 | 雑音空間共分散行列推定装置、雑音空間共分散行列推定方法、およびプログラム |
| CN111081267A (zh) * | 2019-12-31 | 2020-04-28 | 中国科学院声学研究所 | 一种多通道远场语音增强方法 |
| CN113053406A (zh) * | 2021-05-08 | 2021-06-29 | 北京小米移动软件有限公司 | 声音信号识别方法及装置 |
| CN113314135A (zh) * | 2021-05-25 | 2021-08-27 | 北京小米移动软件有限公司 | 声音信号识别方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| JINDŘICH DUNÍK等: "Design of measurement difference autocovariance method for estimation of process and measurement noise covariances", AUTOMATICA, vol. 90 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935883A (zh) * | 2023-09-14 | 2023-10-24 | 北京探境科技有限公司 | 声源定位方法、装置、存储介质及电子设备 |
| CN116935883B (zh) * | 2023-09-14 | 2023-12-29 | 北京探境科技有限公司 | 声源定位方法、装置、存储介质及电子设备 |
| CN117012202A (zh) * | 2023-10-07 | 2023-11-07 | 北京探境科技有限公司 | 语音通道识别方法、装置、存储介质及电子设备 |
| CN117012202B (zh) * | 2023-10-07 | 2024-03-29 | 北京探境科技有限公司 | 语音通道识别方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108510987B (zh) | 语音处理方法及装置 | |
| CN111128221B (zh) | 一种音频信号处理方法、装置、终端及存储介质 | |
| CN110808063A (zh) | 一种语音处理方法、装置和用于处理语音的装置 | |
| CN113314135B (zh) | 声音信号识别方法及装置 | |
| CN110970046B (zh) | 一种音频数据处理的方法及装置、电子设备、存储介质 | |
| KR102497549B1 (ko) | 오디오 신호 처리 방법 및 장치, 저장 매체 | |
| CN111179960B (zh) | 音频信号处理方法及装置、存储介质 | |
| CN111863020B (zh) | 语音信号处理方法、装置、设备及存储介质 | |
| CN113506582A (zh) | 声音信号识别方法、装置及系统 | |
| CN111741394A (zh) | 一种数据处理方法、装置及可读介质 | |
| KR20210078384A (ko) | 오디오 신호 처리 방법, 장치, 단말기 및 저장 매체 | |
| CN113053406A (zh) | 声音信号识别方法及装置 | |
| US20240096343A1 (en) | Voice quality enhancement method and related device | |
| CN112447184A (zh) | 语音信号处理方法及装置、电子设备、存储介质 | |
| CN110459236B (zh) | 音频信号的噪声估计方法、装置及存储介质 | |
| CN111724801A (zh) | 音频信号处理方法及装置、存储介质 | |
| CN113223553B (zh) | 分离语音信号的方法、装置及介质 | |
| CN111667842B (zh) | 音频信号处理方法及装置 | |
| CN113488066A (zh) | 音频信号处理方法、音频信号处理装置及存储介质 | |
| CN110517703B (zh) | 一种声音采集方法、装置及介质 | |
| CN113077808B (zh) | 一种语音处理方法、装置和用于语音处理的装置 | |
| CN113223548B (zh) | 声源定位方法及装置 | |
| CN113345461A (zh) | 一种语音处理方法、装置和用于语音处理的装置 | |
| CN112434714A (zh) | 多媒体识别的方法、装置、存储介质及电子设备 | |
| CN113223543B (zh) | 语音增强方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |