CN114783458B - 语音信号处理方法、装置、存储介质、电子设备及车辆 - Google Patents

语音信号处理方法、装置、存储介质、电子设备及车辆 Download PDF

Info

Publication number
CN114783458B
CN114783458B CN202210314283.1A CN202210314283A CN114783458B CN 114783458 B CN114783458 B CN 114783458B CN 202210314283 A CN202210314283 A CN 202210314283A CN 114783458 B CN114783458 B CN 114783458B
Authority
CN
China
Prior art keywords
voice
separation
signal
observation
observation signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210314283.1A
Other languages
English (en)
Other versions
CN114783458A (zh
Inventor
汤欣钰
吴俊楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202210314283.1A priority Critical patent/CN114783458B/zh
Publication of CN114783458A publication Critical patent/CN114783458A/zh
Application granted granted Critical
Publication of CN114783458B publication Critical patent/CN114783458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本公开涉及一种语音信号处理方法、装置、存储介质、电子设备及车辆。该方法包括：获取语音采集阵列采集到的语音观测信号；对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量；根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号。采用本公开这种方式，因引入了语音预分离能量、并基于语音预分离能量对语音观测信号进行语音盲源分离指导，而可以准确地确定分离出的各独立源语音信号与各语音采集装置的对应关系，进而基于语音采集装置的安装位置可准确地确定各独立源语音信号所在的声源位置区域。

Description

语音信号处理方法、装置、存储介质、电子设备及车辆
技术领域
本公开涉及信号处理技术领域，尤其涉及一种语音信号处理方法、装置、存储介质、电子设备及车辆。
背景技术
随着车联网架构的不断成熟，新能源汽车已经进入智能化时代。语音交互作为人类最普遍、最简单的交互方式之一，其也已经成为了智能座舱中主要使用的用于控制车载功能的控制方式。由于车内空间有限，行驶过程中用户不便手动操作车载功能，因此利用语音指令进行控制，如语音控制导航、语音控制开关车灯、语音控制播放/暂停音乐等可以提升行驶效率和驾车体验。
随着麦克风阵列技术的成熟和普及，智能座舱内通常采用一组或多组麦克风阵列进行拾音。然而，由于座舱内声学环境复杂，存在风噪、发动机噪声和多说话人的干扰，麦克风阵列采集到的语音往往具有较低的信噪比和可懂度，并不能被正确识别。由此，相关技术中通常采用前端语音信号处理技术(如回声消除、盲源分离和降噪等)抑制干扰信号、增强目标语音，然后再将目标语音输入语音识别系统，进行文本转换和语义理解，最后在终端中执行与语音相应的指令。但是，相关技术中的前端语音信号处理技术仍然较难精确地确定声源位置。
发明内容
为克服相关技术中存在的问题，本公开提供一种语音信号处理方法、装置、存储介质、电子设备及车辆。
根据本公开实施例的第一方面，提供一种语音信号处理方法，所述方法包括：
获取语音采集阵列采集到的语音观测信号；
对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量；
根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号。
可选地，所述语音采集阵列包括第一语音采集装置和第二语音采集装置，相应地，所述语音观测信号包括第一语音观测信号和第二语音观测信号；
所述对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量，包括：
对所述第一语音观测信号和所述第二语音观测信号进行语音预分离处理，得到与所述第一语音观测信号对应的第一语音预分离能量以及与所述第二语音观测信号对应的第二语音预分离能量。
可选地，所述根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号，包括：
在语音盲源分离处理过程中，将所述第一语音预分离能量作为所述第一语音观测信号对应的声源模型方差项的导频信号，并将所述第二语音预分离能量作为所述第二语音观测信号对应的声源模型方差项的导频信号，以得到与所述第一语音采集装置对应的第一独立源语音信号和与所述第二语音采集装置对应的第二独立源语音信号。
可选地，所述根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号，还包括：
根据第N代分离矩阵对所述语音观测信号进行语音盲源分离，得到第N代分离信号频率向量，其中N为大于零的整数，在N为1的情况下，第1代分离矩阵为随机矩阵；
若通过目标函数确定所述第N代分离信号频率向量未符合统计独立的标准，则根据所述第N代分离矩阵更新辅助变量，并根据更新后的辅助变量确定第N+1代分离矩阵，其中，所述辅助变量包括引入导频信号的声源模型方差项；
若通过所述目标函数确定所述第N代分离信号频率向量符合统计独立的标准，则根据所述第N代分离信号频率向量确定所述独立源语音信号。
可选地，所述对所述第一语音观测信号和所述第二语音观测信号进行语音预分离处理，得到与所述第一语音观测信号对应的第一语音预分离能量以及与所述第二语音观测信号对应的第二语音预分离能量，包括：
针对所述第一语音观测信号和所述第二语音观测信号，通过波束赋形算法在相对于所述第一语音采集装置的第一预设角度以及相对于所述第二语音采集装置的第二预设角度上进行语音信号相长干涉，得到所述第一语音预分离能量和所述第二语音预分离能量。
可选地，所述第一预设角度的大小为45度，所述第二预设角度的大小为135度。
可选地，所述语音采集阵列还包括第三语音采集装置和第四语音采集装置，相应地，所述语音观测信号还包括第三语音观测信号和第四语音观测信号；
所述对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量，还包括：
对所述第三语音观测信号和所述第四语音观测信号进行语音预分离处理，得到与所述第三语音观测信号对应的第三语音预分离能量以及与所述第四语音观测信号对应的第四语音预分离能量。
可选地，所述根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号，包括：
在语音盲源分离处理过程中，将所述第一语音预分离能量作为所述第一语音观测信号对应的声源模型方差项的导频信号、将所述第二语音预分离能量作为所述第二语音观测信号对应的声源模型方差项的导频信号、将所述第三语音预分离能量作为所述第三语音观测信号对应的声源模型方差项的导频信号、以及将所述第四语音预分离能量作为所述第四语音观测信号对应的声源模型方差项的导频信号，以得到与所述第一语音采集装置对应的第一独立源语音信号、与所述第二语音采集装置对应的第二独立源语音信号、与所述第三语音采集装置对应的第三独立源语音信号、以及与所述第四语音采集装置对应的第四独立源语音信号。
可选地，每一所述语音采集装置对应一个独立的声源控制区域，在得到各所述语音采集装置对应的独立源语音信号之后，所述方法还包括：
针对每一所述声源控制区域，根据所述声源控制区域对应的所述独立源语音信号对所述声源控制区域内的语音控制功能进行控制。
根据本公开实施例的第二方面，提供一种语音信号处理装置，所述装置包括：
获取模块，被配置为获取语音采集阵列采集到的语音观测信号；
预分离模块，被配置为对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量；
分离模块，被配置为根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号。
可选地，所述语音采集阵列包括第一语音采集装置和第二语音采集装置，相应地，所述语音观测信号包括第一语音观测信号和第二语音观测信号；
所述预分离模块包括：
第一预分离模块子模块，被配置为对所述第一语音观测信号和所述第二语音观测信号进行语音预分离处理，得到与所述第一语音观测信号对应的第一语音预分离能量以及与所述第二语音观测信号对应的第二语音预分离能量。
可选地，所述分离模块包括：
第一执行子模块，被配置为在语音盲源分离处理过程中，将所述第一语音预分离能量作为所述第一语音观测信号对应的声源模型方差项的导频信号，并将所述第二语音预分离能量作为所述第二语音观测信号对应的声源模型方差项的导频信号，以得到与所述第一语音采集装置对应的第一独立源语音信号和与所述第二语音采集装置对应的第二独立源语音信号。
可选地，所述第一执行子模块，还被配置为：
根据第N代分离矩阵对所述语音观测信号进行语音盲源分离，得到第N代分离信号频率向量，其中N为大于零的整数，在N为1的情况下，第1代分离矩阵为随机矩阵；若通过目标函数确定所述第N代分离信号频率向量未符合统计独立的标准，则根据所述第N代分离矩阵更新辅助变量，并根据更新后的辅助变量确定第N+1代分离矩阵，其中，所述辅助变量包括引入导频信号的声源模型方差项；若通过所述目标函数确定所述第N代分离信号频率向量符合统计独立的标准，则根据所述第N代分离信号频率向量确定所述独立源语音信号。
可选地，所述第一预分离模块子模块，被配置为针对所述第一语音观测信号和所述第二语音观测信号，通过波束赋形算法在相对于所述第一语音采集装置的第一预设角度以及相对于所述第二语音采集装置的第二预设角度上进行语音信号相长干涉，得到所述第一语音预分离能量和所述第二语音预分离能量。
可选地，所述第一预设角度的大小为45度，所述第二预设角度的大小为135度。
可选地，所述语音采集阵列还包括第三语音采集装置和第四语音采集装置，相应地，所述语音观测信号还包括第三语音观测信号和第四语音观测信号；
所述预分离模块，还包括：
第二预分离模块子模块，被配置为对所述第三语音观测信号和所述第四语音观测信号进行语音预分离处理，得到与所述第三语音观测信号对应的第三语音预分离能量以及与所述第四语音观测信号对应的第四语音预分离能量。
可选地，所述分离模块包括：
第二执行子模块，被配置为在语音盲源分离处理过程中，将所述第一语音预分离能量作为所述第一语音观测信号对应的声源模型方差项的导频信号、将所述第二语音预分离能量作为所述第二语音观测信号对应的声源模型方差项的导频信号、将所述第三语音预分离能量作为所述第三语音观测信号对应的声源模型方差项的导频信号、以及将所述第四语音预分离能量作为所述第四语音观测信号对应的声源模型方差项的导频信号，以得到与所述第一语音采集装置对应的第一独立源语音信号、与所述第二语音采集装置对应的第二独立源语音信号、与所述第三语音采集装置对应的第三独立源语音信号、以及与所述第四语音采集装置对应的第四独立源语音信号。
可选地，每一所述语音采集装置对应一个独立的声源控制区域，所述装置还包括：
语音交互模块，被配置为在得到各所述语音采集装置对应的独立源语音信号之后，针对每一所述声源控制区域，根据所述声源控制区域对应的所述独立源语音信号对所述声源控制区域内的语音控制功能进行控制。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的语音信号处理方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开第一方面所提供的语音信号处理方法的步骤。
根据本公开实施例的第五方面，提供一种车辆，包括本公开第二方面所提供的语音信号处理装置或第三方面所提供的电子设备。
本公开的实施例提供的技术方案可以包括以下有益效果：
获取语音采集阵列采集到的语音观测信号。对语音观测信号进行语音预分离处理，得到与语音采集阵列中各语音采集装置对应的语音预分离能量。根据语音预分离能量对语音观测信号进行语音盲源分离，得到各语音采集装置对应的独立源语音信号。本公开这种方式与相关技术中直接对语音观测信号进行语音盲源分离的方式相比，本公开这种方式因引入了语音预分离能量、并基于语音预分离能量对语音观测信号进行语音盲源分离指导，而可以准确地确定分离出的各独立源语音信号与各语音采集装置的对应关系。由于各语音采集装置的安装位置是明确知道的，因此，采用本公开这种方式，可以基于准确地各独立源语音信号与各语音采集装置的对应关系来准确地确定各独立源语音信号的声源位置区域。因此，采用本公开这种方式，可以更加精准地确定声源位置。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种语音信号处理方法的流程图。
图2是根据一示例性实施例示出的一种预设角度示意图。
图3是根据一示例性实施例示出的一种车载智能座舱四音区划分示意图。
图4是根据一示例性实施例示出的一种多音区车载语音交互系统场景示意图。
图5是根据一示例性实施例示出的一种语音信号处理装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中，通常采用前端语音信号处理技术(如回声消除、盲源分离和降噪等)抑制干扰信号、增强目标语音，然后再将目标语音输入语音识别系统，进行文本转换和语义理解，最后在终端中执行与语音语义相应的指令。但是，由于汽车内座位位置的分布具有特殊性，即主驾位置、副驾位置以及后排两个乘客位置的功能不同，因此还需要对麦克风阵列采集到的多个说话人的语音(即多声源信息)进行分离和定位。相关技术中，采用声源定位方法确定声源位置。但是，这种方法仍然较难精确地估计多个声源位置。另一种方式，相关技术中使用波束形成技术实现多音区分离，从而使得各麦克风拾取麦克风指向区域内的声音信号，如此也可以分离麦克风两侧的声音信号，但不能分离麦克风指向区域中多个子区域内的声音信号。
有鉴于此，本公开实施例提供一种语音信号处理方法、装置、存储介质、电子设备及车辆，以在分离出独立源语音信号的基础上，精准地确定各独立源语音信号对应的语音采集装置，从而确定各独立源语音信号的声源位置区域。
图1是根据一示例性实施例示出的一种语音信号处理方法的流程图，如图1所示，该语音信号处理方法用于终端中，包括以下步骤。
在步骤S11中，获取语音采集阵列采集到的语音观测信号。
在信号处理技术领域中，观测信号是指采集器(如传感器)采集到的信号。具体地，在语音信号处理技术领域中，语音观测信号是指语音采集器(如麦克风等拾音装置)采集到的声信号。
在一些实施方式中，语音采集阵列可以包括多个语音采集装置。语音采集装置可以是麦克风。在语音采集阵列包括多个语音采集装置的情况下，语音采集阵列采集到的语音观测信号包括各语音采集装置采集到的语音观测信号。
在步骤S12中，对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量。
在一些实施方式中，对语音观测信号进行语音预分离处理的实施方式可以包括：对语音观测信号进行语音增强处理。示例地，可以根据波束赋形算法对语音观测信号进行语音增强处理，以得到与语音采集阵列中各语音采集装置对应的语音预分离能量。其中，需解释的是，波束赋形(Beamforming)又叫波束成型、空域滤波，是一种使用传感器阵列定向发送和接收信号的信号处理技术。波束赋形算法通过调整相位阵列的基本单元的参数，使得某些角度的信号获得相长干涉，而另一些角度的信号获得相消干涉，从而得到相长干涉角度的分离信号(即分离能量)。
波束赋形算法包括但不限于广义旁瓣相消器(Generalized SidelobeCanceller，GSC)算法。
在步骤S13中，根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号。
具体地，根据语音预分离能量对语音观测信号进行语音盲源分离指导，以得到与各语音采集装置对应的独立源语音信号。
采用上述方式，通过获取语音采集阵列采集到的语音观测信号。对语音观测信号进行语音预分离处理，得到与语音采集阵列中各语音采集装置对应的语音预分离能量。根据语音预分离能量对语音观测信号进行语音盲源分离，得到各语音采集装置对应的独立源语音信号。本公开这种方式与相关技术中直接对语音观测信号进行语音盲源分离的方式相比，本公开这种方式因引入了语音预分离能量、并基于语音预分离能量对语音观测信号进行语音盲源分离指导，而可以准确地确定分离出的各独立源语音信号与各语音采集装置的对应关系。由于各语音采集装置的安装位置是明确知道的，因此，采用本公开这种方式，可以基于准确地各独立源语音信号与各语音采集装置的对应关系来准确地确定各独立源语音信号的声源位置区域。因此，采用本公开这种方式，可以更加精准地确定声源位置。
此处值得说明的是，本公开上述方法应用于多音区场景，每一音区对应一个语音采集装置，每一语音采集装置对应一个信号输出通道。与任一信号输出通道相连的应用端只对该任一信号输出通道输出的语音信号进行响应。
多音区场景下的多语音指令响应功能需求每一个音区的语音采集装置采集所有的环境语音，但该音区的语音采集装置的输出通道只输出该音区内的语音指令，即与该音区的语音采集装置的输出通道所连接的终端只对该音区内的语音指令进行响应，而不响应其他音区的语音指令。本公开的上述方式，根据语音预分离能量对语音观测信号进行语音盲源分离，可以得到各语音采集装置对应的独立源语音信号，如此可以实现使与语音采集装置的输出通道相连的终端只对与该语音采集装置对应的独立源语音信号进行响应的目的，因此采用本公开的上述方式，有利于多音区场景下的多语音响应功能的实现。
可选地，所述语音采集阵列包括第一语音采集装置和第二语音采集装置，相应地，所述语音观测信号包括第一语音观测信号和第二语音观测信号；
相应地，所述对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量，包括：对所述第一语音观测信号和所述第二语音观测信号进行语音预分离处理，得到与所述第一语音观测信号对应的第一语音预分离能量以及与所述第二语音观测信号对应的第二语音预分离能量。
基于前述的在语音采集阵列包括多个语音采集装置的情况下，语音采集阵列采集到的语音观测信号包括各语音采集装置采集到的语音观测信号，可知，在语音采集阵列包括第一语音采集装置和第二语音采集装置的情况下，语音观测信号包括第一语音观测信号和第二语音观测信号。其中，第一语音观测信号是第一语音采集装置采集到的，第二语音观测信号是第二语音采集装置采集到的。
通过对第一语音观测信号和第二语音观测信号进行语音预分离处理，可以得到与第一语音观测信号对应的第一语音预分离能量以及与第二语音观测信号对应的第二语音预分离能量。一种可实现的实施方式，所述对所述第一语音观测信号和所述第二语音观测信号进行语音预分离处理，得到与所述第一语音观测信号对应的第一语音预分离能量以及与所述第二语音观测信号对应的第二语音预分离能量，包括：
针对所述第一语音观测信号和所述第二语音观测信号，通过波束赋形算法在相对于所述第一语音采集装置的第一预设角度以及相对于所述第二语音采集装置的第二预设角度上进行语音信号相长干涉，得到所述第一语音预分离能量和所述第二语音预分离能量。
其中，第一预设角度是根据第一语音采集装置与用户位置(预计的声源位置)确定的，第二预设角度是根据第二语音采集装置与用户位置(预计的声源位置)确定的。在一些实施方式中，所述第一预设角度的大小为45度，所述第二预设角度的大小为135度。示例地，如图2所示，第一预设角度α的大小为45度，第二预设角度β的大小为135度。
在另一些实施方式中，所述第一预设角度的大小为40度，所述第二预设角度的大小为130度。在另一些实施方式中，所述第一预设角度的大小为90度，所述第二预设角度的大小为90度。
在具体实施时，可以针对第一语音观测信号和第二语音观测信号，根据波束赋形算法如GSC算法对第一预设角度的信号和第二预设角度的信号进行相长干涉，同时使得其他角度的信号获得相消干涉，以得到第一预设角度对应的第一语音预分离能量和第二预设角度对应的第二语音预分离能量。
可选地，所述根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号，包括：
在语音盲源分离处理过程中，将所述第一语音预分离能量作为所述第一语音观测信号对应的声源模型方差项的导频信号，并将所述第二语音预分离能量作为所述第二语音观测信号对应的声源模型方差项的导频信号，以得到与所述第一语音采集装置对应的第一独立源语音信号和与所述第二语音采集装置对应的第二独立源语音信号。
此处应当说明的是，盲源分离简称BSS(Blind Source Separation)，盲源分离技术是一种依据源信号满足相互独立的假设，能够在源信号和混合系统未知的情况下，仅利用混合后得到的观测信号根据一定的准则实现源信号的恢复的技术。可以理解地是，采集装置采集到的观测信号是一种多个声音信号混合后的混合信号，盲源分离技术仅根据观测信号可以分离出该多个声音信号。
本领域普通技术人员应当知悉的是，(卷积)混合盲源分离问题主要采用频域方法来解决，该方法利用短时傅立叶变换将时域卷积混合模型转化为频域的瞬时混合模型，然后在各频点上采用独立成分分析ICA(Independent Component Analysis)算法来获得各频点的分离信号，该方法能够避免卷积运算，提高计算效率，还可借鉴成熟的ICA算法，然而由于ICA算法是在信号的各频率点上独立进行的，它忽略了信号隐藏在各频率点之间的信息，造成其分离效果不佳以及带来顺序不确定性问题。为了避免这一问题，可使用独立向量分析IVA(Independent Vector Analysis)算法。相关技术中，IVA算法假设声源信号服从非平稳高斯分布，定义
Figure BDA0003568475770000131
表征时变方差，对应的声源模型为
Figure BDA0003568475770000132
其中，|| ||2表征L2范数，
Figure BDA0003568475770000133
表征对L2范数求平方，∝表征服从某分布的标记，1≤t≤T，n＝1，2，3，4，T为频域下的声信号帧数量，
Figure BDA0003568475770000134
表征sn的概率密度函数。
而本公开发明人发现，尽管IVA解决了频间置换(frequency permutation)问题，但它并不能解决全带的全局置换(global permutation)问题，即不能解决各独立源语音信号对应的语音采集装置的顺序可能随着时间而变化。这一问题在多音区应用场景(如在车载座舱场景)内表现为分离出的独立源语音信号无法与相应音区的语音采集装置对应，而车载多音区语音控制场景需求每个音区内说话人的声信号由该音区的语音采集装置采集并通过该语音采集装置的固定通道稳定输出。因此，本公开提出对IVA算法中，各个语音观测信号对应的声源模型方差项引入导频信号，以扩展IVA的多维源模型，使得模型能够收敛于有限的解空间，实现固定独立源语音信号与语音采集装置(的输出通道)的对应关系的作用。另一方面，在车载座舱场景下，由于座舱内说话人位置固定，前排语音采集阵列接收到的后排说话人语音能量较小，同时后排语音采集阵列接收到的前排说话人语音能量也较弱，因此在语音盲源分离前采用波束赋形算法如GSC对多音区语音进行粗略的分离是可行的。
采用本公开这种方式，具体实施时，在语音盲源分离处理过程中，将第一语音预分离能量作为第一语音观测信号对应的声源模型方差项的导频信号，并将第二语音预分离能量作为第二语音观测信号对应的声源模型方差项的导频信号，以得到与第一语音采集装置对应的第一独立源语音信号和与第二语音采集装置对应的第二独立源语音信号。即采用本公开的这种方式，将第一语音预分离能量作为第一语音观测信号对应的声源模型方差项的导频信号，并将第二语音预分离能量作为第二语音观测信号对应的声源模型方差项的导频信号之后，对应的IVA声源模型为
Figure BDA0003568475770000141
其中，γ是导频信号的权重系数，可以是经验值。当n等于1时，
Figure BDA0003568475770000142
表征第一语音预分离能量。当n等于2时，
Figure BDA0003568475770000143
表征第二语音预分离能量。需说明的是，其他参量的含义参见前述或后述实施例。
可选地，所述语音采集阵列还包括第三语音采集装置和第四语音采集装置，相应地，所述语音观测信号还包括第三语音观测信号和第四语音观测信号；所述对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量，还包括：
对所述第三语音观测信号和所述第四语音观测信号进行语音预分离处理，得到与所述第三语音观测信号对应的第三语音预分离能量以及与所述第四语音观测信号对应的第四语音预分离能量。
示例地，在多音区场景下的车载智能座舱四音区场景，可将车载智能座舱四音区划分如图3所示。“四音区”定义为智能座舱内主驾、副驾、左后和右后四个位置说话人的发声区域，如图3所示。四音区可以进一步划分为“唤醒音区”和“干扰音区”，前者指期望使用车载智能语音交互并且发出(过)唤醒词的音区，后者指除了唤醒音区的其它三个发声的干扰音区。本发明能够完成检测并识别唤醒音区的唤醒词和语音指令，同时排除干扰音区的影响。“唤醒音区”可以为图3中的任一音区，并且，图3中的四个音区(多个音区)可以同时为不同车载功能的“唤醒音区”。另外，如图3所示，语音采集装置安装在人体前方，以用于更好的采集到的用户的语音。
基于图3所示的四音区语音交互场景，可以用s(t，f)＝[s1(t，f)，s2(t，f)，s3(t，f)，s4(t，f)]T表征声源信号，帧标记t∈{1，...，T}，频点标记f∈{1，...，F}。
可以用x(t，f)＝[x1(t，f)，x2(t，f)，x3(t，f)，x4(t，f)]T表征语音采集阵列采集到的语音观测信号，其中，x1(t，f)可以表征第一语音采集装置采集到的第一语音观测信号，x2(t，f)可以表征第二语音采集装置采集到的第二语音观测信号，x3(t，f)可以表征第三语音采集装置采集到的第三语音观测信号，x4(t，f)可以表征第四语音采集装置采集到的第四语音观测信号。
可以用y(t，f)＝[y1(t，f)，y2(t，f)，y3(t，f)，y4(t，f)]T表征(估计的)独立源语音信号。其中，y1(t，f)可以表征第一语音采集装置对应的第一独立源语音信号，y2(t，f)可以表征第二语音采集装置对应的第二独立源语音信号，y3(t，f)可以表征第三语音采集装置对应的第三独立源语音信号，y4(t，f)可以表征第四语音采集装置对应的第四独立源语音信号。
进一步地，基于盲源分离原理，可以假设4阶混合矩阵和分离矩阵分别为A(f)和W(f)，那么IVA算法的混合系统的模型可以表示为x(t，f)＝A(f)s(t，f)、分离系统的模型可以表示为y(t，f)＝W(f)x(t，f)，其中W(f)＝[w1(f)，w2(f)，w3(f)，w4(f)]H。
假设用
Figure BDA0003568475770000151
表征第三语音预分离能量，
Figure BDA0003568475770000152
表征第四语音预分离能量。
基于前述解释，(卷积)混合盲源分离是指在仅有观测信号xn(t，f)已知的情况下，要寻找到一个分离滤波器系数W(f)使得yn(t，f)是声源信号sn(t，f)的估计值。
基于盲源分离算法原理可知，根据声源信号频率向量(即声源信号)之间相互独立的假设条件，通过使分离信号频率向量(即独立源语音信号)之间尽可能的独立来实现声源信号频率向量恢复。该算法包含两个部分：首先确定目标函数，并将该目标函数作为判断分离信号频率向量是否接近统计独立的标准；其次确定优化算法，该优化算法用来根据上一次的分离矩阵(初始的分离矩阵可以是随机的)更新下一次的分离矩阵以使分离信号频率向量接近统计独立的标准。
由于基于IVA的(卷积)混合频域盲源分离算法认为各个声源信号之间相互独立，所以可通过极小化互信息的方法估计混合矩阵和独立成分。IVA算法联合每个声源信号的所有频率分量作为一个多元概率密度，既可以保留每个声源信号频率间的内部依赖关系，又能够最大化不同声源信号之间的独立性来避免排列问题，因此本公开使用IVA算法从理论上保证了分离信号(独立源语音信号)在整个频带上是一致的。为了估计出使得分离信号之间的互信息达到极小时的分离矩阵W(f)，利用真实的混合信号(语音观测信号)与假设的独立声源信号的概率密度函数之间的Kullback-Leibler散度，可以得到目标函数为
Figure BDA0003568475770000161
其中，yn(t)＝[yn(t，1)，...，yn(t，F)]T，1≤t≤T，n＝1，2，3，4，E[]表征取数学期望，log表征取对数，det W表征W矩阵的行列式，||表征取模，const表征常数项，
Figure BDA0003568475770000162
表征sn的概率密度函数。
可选地，所述根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号，还包括：
根据第N代分离矩阵对所述语音观测信号进行语音盲源分离，得到第N代分离信号频率向量，其中N为大于零的整数，在N为1的情况下，第1代分离矩阵为随机矩阵；若通过目标函数确定所述第N代分离信号频率向量未符合统计独立的标准，则根据所述第N代分离矩阵更新辅助变量，并根据更新后的辅助变量确定第N+1代分离矩阵，其中，所述辅助变量包括引入导频信号的声源模型方差项；若通过所述目标函数确定所述第N代分离信号频率向量符合统计独立的标准，则根据所述第N代分离信号频率向量确定所述独立源语音信号。
在一些实施方式中，语音盲源分离处理过程包括分离矩阵的求解过程。示例地，根据第N代分离矩阵对语音观测信号进行语音盲源分离，得到第N代分离信号频率向量。若通过目标函数确定第N代分离信号频率向量未符合统计独立的标准，则根据第N代分离矩阵更新辅助变量，并根据更新后的辅助变量确定第N+1代分离矩阵，其中，辅助变量包括引入导频信号的声源模型方差项。若通过目标函数确定第N代分离信号频率向量符合统计独立的标准，则根据第N代分离信号频率向量确定独立源语音信号。具体地辅助变量表达式以及分离矩阵的更新规则参见后述实施例。
采用本公开这种方式，在语音盲源分离处理过程中，将第一语音预分离能量作为第一语音观测信号对应的声源模型方差项的导频信号、将第二语音预分离能量作为第二语音观测信号对应的声源模型方差项的导频信号、将第三语音预分离能量作为第三语音观测信号对应的声源模型方差项的导频信号、以及将第四语音预分离能量作为第四语音观测信号对应的声源模型方差项的导频信号，即将语音预分离能量
Figure BDA0003568475770000171
作为导频信号，引入IVA的声源模型后，可以得到本公开实施例所使用的的声源模型为
Figure BDA0003568475770000172
其中，n＝(1,2,3,4)。将该声源模型带入前述目标函数
Figure BDA0003568475770000173
根据基于辅助函数的IVA(Auxiliary function based IVA，AuxIVA)算法的基本原理，可以确定如下的优化算法规则即分离矩阵更新规则：
首先通过如下方式更新辅助变量：
yn(t)的L2范数为：
Figure BDA0003568475770000181
第n声源方差的估计值(n＝1,2,3,4)为：
Figure BDA0003568475770000182
引入GSC导频信号后，加权方差矩阵的系数为：
Figure BDA0003568475770000183
该辅助变量中包括引入导频信号的声源模型方差项。
加权方差矩阵为：
Figure BDA0003568475770000184
基于上述公式，根据上一次的分离矩阵计算本次使用的辅助变量。
更新分离矩阵过程如下：
分离矩阵:wn(f)←(W(f)Vn(f))-1en，
尺度归一化：
Figure BDA0003568475770000185
其中，γ是导频信号的权重系数，en是4×1阶的单位向量，其中第n个元素为1其他元素为0，H表征共轭转置，()-1表征矩阵求逆。
基于上述公式，根据本次使用的辅助变量计算本次的分离矩阵。
在计算得到每一分离矩阵之后，通过目标函数确定分离信号频率向量是否接近统计独立的标准。若在确定分离信号频率向量接近统计独立的标准的情况下，得到分离矩阵W(f)，根据y(t，f)＝W(f)x(t，f)的计算式，可进一步计算得到y1(t，f)、y2(t，f)、y3(t，f)、y4(t，f)。
采用本公开这种方式，在不采用声源定位算法的情况下，根据GSC方法得到语音预分离能量，并基于语音预分离能量对四通道语音观测信号进行AuxIVA算法处理，能够实现将主驾音区内的独立源语音信号固定输出在通道1(即主驾音区内的语音采集装置的输出通道)，副驾音区内的独立源语音信号固定输出在通道2(即副驾音区内的语音采集装置的输出通道)，左后音区内的独立源语音信号固定输出在通道3(即左后音区内的语音采集装置的输出通道)，右后音区内的独立源语音信号固定输出在通道4(即右后音区内的语音采集装置的输出通道)。
本公开上述语音信号处理方法是一种针对采集到的语音观测信号进行预处理的过程，可应用于如图4所示的多音区车载语音交互系统场景。具体的模块实施方式，可参见前述实施例。
在前述针对采集到的语音观测信号进行预处理之后，还可以对预处理后的独立源语音信号进行应用，以实现多音区场景下的语音交互功能。
可选地，每一所述语音采集装置对应一个独立的声源控制区域，在得到各所述语音采集装置对应的独立源语音信号之后，所述方法还包括：
针对每一所述声源控制区域，根据所述声源控制区域对应的所述独立源语音信号对所述声源控制区域内的语音控制功能进行控制。
具体地，独立的声源控制区域可以是如图3所示的车辆中四个独立的声源控制区域。针对各声源控制区域内的语音交互系统，采用对应声源控制区域所对应的独立源语音信号进行控制，如此可以实现同时对多音区内的语音交互功能进行语音控制。
图5是根据一示例性实施例示出的一种语音信号处理装置框图。如图5所示，该语音信号处理装置500包括：
获取模块510，被配置为获取语音采集阵列采集到的语音观测信号；
预分离模块520，被配置为对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量；
分离模块530，被配置为根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号。
采用这种装置，获取语音采集阵列采集到的语音观测信号。对语音观测信号进行语音预分离处理，得到与语音采集阵列中各语音采集装置对应的语音预分离能量。根据语音预分离能量对语音观测信号进行语音盲源分离，得到各语音采集装置对应的独立源语音信号。本公开这种方式与相关技术中直接对语音观测信号进行语音盲源分离的方式相比，本公开这种方式因引入了语音预分离能量、并基于语音预分离能量对语音观测信号进行语音盲源分离指导，而可以准确地确定分离出的各独立源语音信号与各语音采集装置的对应关系。由于各语音采集装置的安装位置是明确知道的，因此，采用本公开这种方式，可以基于准确地各独立源语音信号与各语音采集装置的对应关系来准确地确定各独立源语音信号的声源位置区域。因此，采用本公开这种方式，可以更加精准地确定声源位置。
可选地，所述语音采集阵列包括第一语音采集装置和第二语音采集装置，相应地，所述语音观测信号包括第一语音观测信号和第二语音观测信号；
所述预分离模块520包括：
第一预分离模块子模块，被配置为对所述第一语音观测信号和所述第二语音观测信号进行语音预分离处理，得到与所述第一语音观测信号对应的第一语音预分离能量以及与所述第二语音观测信号对应的第二语音预分离能量。
可选地，所述分离模块530包括：
第一执行子模块，被配置为在语音盲源分离处理过程中，将所述第一语音预分离能量作为所述第一语音观测信号对应的声源模型方差项的导频信号，并将所述第二语音预分离能量作为所述第二语音观测信号对应的声源模型方差项的导频信号，以得到与所述第一语音采集装置对应的第一独立源语音信号和与所述第二语音采集装置对应的第二独立源语音信号。
可选地，所述第一执行子模块，还被配置为：
根据第N代分离矩阵对所述语音观测信号进行语音盲源分离，得到第N代分离信号频率向量，其中N为大于零的整数，在N为1的情况下，第1代分离矩阵为随机矩阵；若通过目标函数确定所述第N代分离信号频率向量未符合统计独立的标准，则根据所述第N代分离矩阵更新辅助变量，并根据更新后的辅助变量确定第N+1代分离矩阵，其中，所述辅助变量包括引入导频信号的声源模型方差项；若通过所述目标函数确定所述第N代分离信号频率向量符合统计独立的标准，则根据所述第N代分离信号频率向量确定所述独立源语音信号。
可选地，所述第一预分离模块子模块，被配置为针对所述第一语音观测信号和所述第二语音观测信号，通过波束赋形算法在相对于所述第一语音采集装置的第一预设角度以及相对于所述第二语音采集装置的第二预设角度上进行语音信号相长干涉，得到所述第一语音预分离能量和所述第二语音预分离能量。
可选地，所述第一预设角度的大小为45度，所述第二预设角度的大小为135度。
可选地，所述语音采集阵列还包括第三语音采集装置和第四语音采集装置，相应地，所述语音观测信号还包括第三语音观测信号和第四语音观测信号；
所述预分离模块520，还包括：
第二预分离模块子模块，被配置为对所述第三语音观测信号和所述第四语音观测信号进行语音预分离处理，得到与所述第三语音观测信号对应的第三语音预分离能量以及与所述第四语音观测信号对应的第四语音预分离能量。
可选地，所述分离模块530包括：
第二执行子模块，被配置为在语音盲源分离处理过程中，将所述第一语音预分离能量作为所述第一语音观测信号对应的声源模型方差项的导频信号、将所述第二语音预分离能量作为所述第二语音观测信号对应的声源模型方差项的导频信号、将所述第三语音预分离能量作为所述第三语音观测信号对应的声源模型方差项的导频信号、以及将所述第四语音预分离能量作为所述第四语音观测信号对应的声源模型方差项的导频信号，以得到与所述第一语音采集装置对应的第一独立源语音信号、与所述第二语音采集装置对应的第二独立源语音信号、与所述第三语音采集装置对应的第三独立源语音信号、以及与所述第四语音采集装置对应的第四独立源语音信号。
可选地，每一所述语音采集装置对应一个独立的声源控制区域，所述装置还包括：
语音交互模块，被配置为在得到各所述语音采集装置对应的独立源语音信号之后，针对每一所述声源控制区域，根据所述声源控制区域对应的所述独立源语音信号对所述声源控制区域内的语音控制功能进行控制。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的语音信号处理方法的步骤。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的语音信号处理方法的步骤。
图6是根据一示例性实施例示出的一种用于语音信号处理的电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。参照图6，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的语音信号处理方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述语音信号处理方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述语音信号处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的语音信号处理方法的代码部分。
在另一示例性实施例中，还提供一种车辆，包括本公开第二方面所提供的语音信号处理装置或第三方面所提供的电子设备，用于在车辆上实现多音区语音控制/交互功能。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种语音信号处理方法，其特征在于，所述方法包括：
获取语音采集阵列采集到的语音观测信号；
对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量；
根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号；
所述语音采集阵列包括第一语音采集装置和第二语音采集装置，相应地，所述语音观测信号包括第一语音观测信号和第二语音观测信号；
所述对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量，包括：对所述第一语音观测信号和所述第二语音观测信号进行语音预分离处理，得到与所述第一语音观测信号对应的第一语音预分离能量以及与所述第二语音观测信号对应的第二语音预分离能量；
所述根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号，包括：
在语音盲源分离处理过程中，将所述第一语音预分离能量作为所述第一语音观测信号对应的声源模型方差项的导频信号，并将所述第二语音预分离能量作为所述第二语音观测信号对应的声源模型方差项的导频信号，以得到与所述第一语音采集装置对应的第一独立源语音信号和与所述第二语音采集装置对应的第二独立源语音信号。
2.根据权利要求1所述的方法，其特征在于，所述根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号，还包括：
根据第N代分离矩阵对所述语音观测信号进行语音盲源分离，得到第N代分离信号频率向量，其中N为大于零的整数，在N为1的情况下，第1代分离矩阵为随机矩阵；
若通过目标函数确定所述第N代分离信号频率向量未符合统计独立的标准，则根据所述第N代分离矩阵更新辅助变量，并根据更新后的辅助变量确定第N+1代分离矩阵，其中，所述辅助变量包括引入导频信号的声源模型方差项；
若通过所述目标函数确定所述第N代分离信号频率向量符合统计独立的标准，则根据所述第N代分离信号频率向量确定所述独立源语音信号。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述第一语音观测信号和所述第二语音观测信号进行语音预分离处理，得到与所述第一语音观测信号对应的第一语音预分离能量以及与所述第二语音观测信号对应的第二语音预分离能量，包括：
针对所述第一语音观测信号和所述第二语音观测信号，通过波束赋形算法在相对于所述第一语音采集装置的第一预设角度以及相对于所述第二语音采集装置的第二预设角度上进行语音信号相长干涉，得到所述第一语音预分离能量和所述第二语音预分离能量。
4.根据权利要求3所述的方法，其特征在于，所述第一预设角度的大小为45度，所述第二预设角度的大小为135度。
5.根据权利要求1或2所述的方法，其特征在于，所述语音采集阵列还包括第三语音采集装置和第四语音采集装置，相应地，所述语音观测信号还包括第三语音观测信号和第四语音观测信号；
所述对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量，还包括：
对所述第三语音观测信号和所述第四语音观测信号进行语音预分离处理，得到与所述第三语音观测信号对应的第三语音预分离能量以及与所述第四语音观测信号对应的第四语音预分离能量。
6.根据权利要求5所述的方法，其特征在于，所述根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号，包括：
在语音盲源分离处理过程中，将所述第一语音预分离能量作为所述第一语音观测信号对应的声源模型方差项的导频信号、将所述第二语音预分离能量作为所述第二语音观测信号对应的声源模型方差项的导频信号、将所述第三语音预分离能量作为所述第三语音观测信号对应的声源模型方差项的导频信号、以及将所述第四语音预分离能量作为所述第四语音观测信号对应的声源模型方差项的导频信号，以得到与所述第一语音采集装置对应的第一独立源语音信号、与所述第二语音采集装置对应的第二独立源语音信号、与所述第三语音采集装置对应的第三独立源语音信号、以及与所述第四语音采集装置对应的第四独立源语音信号。
7.根据权利要求1或2所述的方法，其特征在于，每一所述语音采集装置对应一个独立的声源控制区域，在得到各所述语音采集装置对应的独立源语音信号之后，所述方法还包括：
针对每一所述声源控制区域，根据所述声源控制区域对应的所述独立源语音信号对所述声源控制区域内的语音控制功能进行控制。
8.一种语音信号处理装置，其特征在于，所述装置包括：
获取模块，被配置为获取语音采集阵列采集到的语音观测信号；
预分离模块，被配置为对所述语音观测信号进行语音预分离处理，得到与所述语音采集阵列中各语音采集装置对应的语音预分离能量；
分离模块，被配置为根据所述语音预分离能量对所述语音观测信号进行语音盲源分离，得到各所述语音采集装置对应的独立源语音信号；
所述语音采集阵列包括第一语音采集装置和第二语音采集装置，相应地，所述语音观测信号包括第一语音观测信号和第二语音观测信号；
所述预分离模块包括：
第一预分离模块子模块，被配置为对所述第一语音观测信号和所述第二语音观测信号进行语音预分离处理，得到与所述第一语音观测信号对应的第一语音预分离能量以及与所述第二语音观测信号对应的第二语音预分离能量；
所述分离模块包括：
第一执行子模块，被配置为在语音盲源分离处理过程中，将所述第一语音预分离能量作为所述第一语音观测信号对应的声源模型方差项的导频信号，并将所述第二语音预分离能量作为所述第二语音观测信号对应的声源模型方差项的导频信号，以得到与所述第一语音采集装置对应的第一独立源语音信号和与所述第二语音采集装置对应的第二独立源语音信号。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1～7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1～7中任一项所述方法的步骤。
11.一种车辆，其特征在于，所述车辆包括权利要求8所述的语音信号处理装置。
CN202210314283.1A 2022-03-28 2022-03-28 语音信号处理方法、装置、存储介质、电子设备及车辆 Active CN114783458B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210314283.1A CN114783458B (zh) 2022-03-28 2022-03-28 语音信号处理方法、装置、存储介质、电子设备及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210314283.1A CN114783458B (zh) 2022-03-28 2022-03-28 语音信号处理方法、装置、存储介质、电子设备及车辆

Publications (2)

Publication Number Publication Date
CN114783458A CN114783458A (zh) 2022-07-22
CN114783458B true CN114783458B (zh) 2023-05-02

Family

ID=82424468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210314283.1A Active CN114783458B (zh) 2022-03-28 2022-03-28 语音信号处理方法、装置、存储介质、电子设备及车辆

Country Status (1)

Country Link
CN (1) CN114783458B (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000080828A (ja) * 1998-09-07 2000-03-21 Denso Corp 車両制御装置
CN112927688B (zh) * 2021-01-25 2022-05-10 思必驰科技股份有限公司 用于车辆的语音交互方法及系统

Also Published As

Publication number Publication date
CN114783458A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
US11003414B2 (en) Acoustic control system, apparatus and method
EP3839951B1 (en) Method and device for processing audio signal, terminal and storage medium
CN104011735B (zh) 基于车辆的对乘员音频和可视输入的确定
CN109286875B (zh) 用于定向拾音的方法、装置、电子设备和存储介质
CN111696570B (zh) 语音信号处理方法、装置、设备及存储介质
US11206483B2 (en) Audio signal processing method and device, terminal and storage medium
CN114678021B (zh) 音频信号的处理方法、装置、存储介质及车辆
WO2022253003A1 (zh) 语音增强方法及相关设备
US20230164509A1 (en) System and method for headphone equalization and room adjustment for binaural playback in augmented reality
CN113486760A (zh) 对象说话检测方法及装置、电子设备和存储介质
CN111179960B (zh) 音频信号处理方法及装置、存储介质
CN111863020B (zh) 语音信号处理方法、装置、设备及存储介质
CN115482830A (zh) 语音增强方法及相关设备
CN113314135A (zh) 声音信号识别方法及装置
EP3929920B1 (en) Method and device for processing audio signal, and storage medium
CN113506582B (zh) 声音信号识别方法、装置及系统
CN114783458B (zh) 语音信号处理方法、装置、存储介质、电子设备及车辆
CN113053406A (zh) 声音信号识别方法及装置
CN115881125B (zh) 车载多音区语音交互方法、装置、电子设备和存储介质
KR102650763B1 (ko) 오디오 소스 지향성에 기초한 심리음향 강화
CN110047494B (zh) 设备响应方法、设备及存储介质
CN114464203B (zh) 噪声过滤方法、装置、系统、车辆及存储介质
US20240221733A1 (en) Automated detection and tracking of conversations of interest in crowded areas
CN118612598A (zh) 车载语音处理方法、系统、电子设备及存储介质
US20220261218A1 (en) Electronic device including speaker and microphone and method for operating the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant