CN107864440A - 包括eeg记录和分析系统的助听系统 - Google Patents

Abstract

本申请公开了包括EEG记录和分析系统的助听系统，所述助听系统包括：输入单元；脑电图(EEG)系统，用于记录用户大脑的听觉系统的活动并提供多个EEG信号；及连接到所述输入单元及所述EEG系统的声源选择处理单元，其接收所述电输入声音信号u_i和所述EEG信号y_j并配置成根据这些信号提供指明用户当前注意的声源S_x的声源选择信号其中所述声源选择处理单元配置成：分析所述电输入声音信号及多个EEG信号；确定从每一声源到每一EEG通道的动态有限脉冲响应(FIR)滤波器；及基于针对多个声源获得的成本函数，确定指明用户当前注意的声源S_x的声源选择信号

Description

包括EEG记录和分析系统的助听系统

技术领域

本申请涉及包括装置如助听器的助听系统领域。本申请尤其涉及人脑中的语音表示问题及所谓的鸡尾酒会问题，即在有噪声和拥挤背景中听者感兴趣的单一声源与多个声源的分离。

背景技术

人脑解决鸡尾酒会问题的例行程序隐藏内在的问题复杂性：(1)不同的竞争声源同时发出不同的声音信号；(2)这些信号之后被混合；(3)这些信号的和进入耳朵；(4)其随后被解耦；(5)选择感兴趣的声音信号；及(6)其它声音信号在听觉系统内被不理。尽管鸡尾酒会问题已提出几十年，鸡尾酒会问题解决似乎仍处于未充分发展的领域。关于我们的大脑如何解决该问题，我们依然具有非常少的了解，许多问题仍然没有答案。

本申请的发明人的多个专利申请和专利涉及使用位于助听器上或者结合助听器的一个或多个电极测量脑电波信号(如EEG信号)，例如参见[16]、[17]、[18]、[23]。

以前的研究描述了几种概念上不同的方法来理解大脑怎样解决鸡尾酒会问题。所有这些方法的概要均是认识到不同的声源激发不同的神经反应及大脑活动遵循声音振幅包络。大多数研究致力于刺激重建(SR)方法，即从神经反应即脑信号y(t)到语音u(t)的反向模型。关于刺激重建的文献几乎相当于关于选择性注意的文献。

关于SR怎样进行的决定非常主观且通常为不同方面之间折中的结果，所述不同方面包括灵活性、简约、使用目的、记录模态类型、计算成本等。通常，SR归结为执行线性回归(LR)。最近，提出基于深度神经网络(DNN)的更复杂的方法代替LR。DNN被证明更有助于理解语音对大脑活动的影响、其表示及重建，但代价在于复杂性更高因而计算负担更重。

应注意，对于SR应用于皮质电图(ECoG)及脑磁图(MEG)数据，获得吸引人的结果，但ECoG和MEG数据具有的使它们不太有吸引力的具体问题在于ECoG需侵入到脑组织及MEG仪器缺乏便携性。代替ECoG和MEG仪器，EEG仪器为非侵入式、便携的且可容易得到的仪器，这使它们更适合和有吸引力(例如对于听力装置如助听器)。此外，已表明用SR可从EEG数据解码注意[21]。每当需要将我们的模型的结果与文献中发现的模型的结果比较时，我们将遵循O’Sullivan等的文章[21]，因为其为关于SR的多项研究、选择性注意及解决鸡尾酒会问题之间的代表性文章。

最后，SR为什么有吸引力有三个主要原因：

-其可用于在神经反应中找到具有刺激信息的时标；

-其可在神经信号处理中使用；

-其可一定程度地用于解决鸡尾酒会问题，即获得对语音表示和重建更深的理解并在多讲话者背景下选择所注意的语音流。

而不好的一方面在于SR模型对应于反因果模型，及缺点在于在实时实施中缺少对动态效果和困难的了解，这样在实践中从SR可能得不到好处。必须强调的是，在离线应用中，刺激重建(SR)仍可用于数据分析和了解连接体的听觉亚分量(“连接体”为说明神经系统中的相互作用的网络图)。

特定的兴趣在于获得可靠的模型以更深地了解听觉注意，尤其是声音在大脑中怎样表示及怎样正确地识别听者当前注意的语音流。该识别优选应实时进行。换言之，声源(称为S_i，或者仅i)的识别及听者在时间t注意的对应的声源信号u_i不能在较晚的时间t₁获得，其中t₁>t。另一方面，这是使用SR方法时的情形。

发明内容

本申请涉及例如包括一个或多个助听器的助听系统。本申请尤其涉及在包括多个声源(竞争声音)的声环境中(正常听力或听力受损)用户遭遇的问题。本申请具体涉及识别用户有兴趣听多个当前声源中的哪一声源的问题。

与使用脑电波信号自动定位声源有关的重要问题在于处理单元识别(并聚焦于)合适EEG通道及合适时间间隔(其中信号例如反映声音诱发的电位)的能力。

根据本发明的实施例，提出使用稀疏模型解决该问题。然而，应注意，稀疏模型可用于不同于纯粹选择用户(假定)注意的单一声源的其它目的。例如，确定用户是否注意单一声源。“稀疏模型”(或者“稀疏机器学习”)是来自机器学习领域的术语。“稀疏性”表明该方法适合具有有限计算能力的应用，如在便携装置例如助听器中。稀疏机器学习方法目标在于在验配完美和结果的稀疏性之间进行权衡(为了使解释容易，例如参见下面的等式(10)(或者(6)’)中的参数λ)。稀疏机器学习方法的例子例如通过最小平方方法的涉及分类和回归的变型提供，其称为“最小绝对压缩和选择算子”(LASSO)，例如参见[26]。

根据本发明的方案的实施例的好处在于稀疏结构，及本发明实施例的优点在于产生纯噪声(与声源无关联)的电极和时间间隔可从决策模型排除，及稀疏模型需要较少的计算资源和能量。

助听系统

在本申请的第一方面，提供一种助听系统。该助听系统包括：

-用于提供电输入声音信号u_i的输入单元，每一电输入声音信号表示来自多个(n_u个)声源S_i(i＝1,…,n_u)的声音信号U_i；

-脑电图(EEG)系统，用于记录用户大脑的听觉系统的活动并提供多个(n_y个)EEG信号y_j(j＝1,…,n_y)；及

连接到所述输入单元及所述EEG系统的声源选择处理单元，其接收所述电输入声音信号u_i和所述EEG信号y_j并配置成根据这些信号提供指明用户当前注意的声源S_x的声源选择信号

声源选择处理单元配置成：

-分析所述电输入声音信号u_i i＝1,…,n_u及多个EEG信号y_j,j＝1,…,n_y；

-使用确定稀疏模型的选择性算法基于使测量(各个)声源和EEG信号之间的相关的成本函数最小化而选择最适宜(最高关联)的EEG电极和时间间隔；及

-基于针对多个声源获得的成本函数，确定指明用户当前(主要)注意的声源S_x的声源选择信号

在本申请的第二方面，提供一种助听系统。该助听系统包括：

-用于提供电输入声音信号u_i的输入单元，每一电输入声音信号表示来自多个(n_u个)声源S_i(i＝1,…,n_u)的声音信号U_i；

-脑电图(EEG)系统，用于记录用户大脑的听觉系统的活动并提供多个(n_y个)EEG信号y_j(j＝1,…,n_y)；及

连接到所述输入单元及所述EEG系统的声源选择处理单元，其接收所述电输入声音信号u_i和所述EEG信号y_j并配置成根据这些信号提供指明用户当前注意的声源S_x的声源选择信号

声源选择处理单元配置成：

-分析所述电输入声音信号u_i i＝1,…,n_u及多个EEG信号y_j,j＝1,…,n_y；

-确定从每一声源到每一EEG通道的动态有限脉冲响应(FIR)滤波器；及

-基于针对多个声源获得的成本函数，确定指明用户当前(主要)注意的声源S_x的声源选择信号

从而可提供改进的助听系统。

助听系统或者至少其部分优选适于便携如体戴，例如体现在附着到用户头部和/或由用户佩戴或携带的一个或多个装置中。优选地，用于记录用户大脑的听觉系统的活动的EEG系统适于完全或部分佩戴在用户头上，例如完全或部分佩戴在用户耳朵处或者耳朵中，或者完全或部分植入在用户头中。在实施例中，输入单元或者至少其部分如一个或多个输入变换器(例如传声器)适于便携如体戴，例如完全或部分佩戴在用户头上，例如完全或部分佩戴在用户耳朵处或者耳朵中，或者完全或部分植入在用户头中。

在实施例中，声源选择处理单元配置成确定从每一声源到每一EEG通道的动态有限脉冲响应(FIR)滤波器。在第一步骤(例如在助听系统正常使用之前执行)，针对所涉及的用户估计稀疏FIR滤波器中的活动抽头。这具有下面的优点：提供显现关于听音注意的信息的EEG通道(对于给定EEG传感器配置)的(在前)空间-时间分辨率，及提供大脑用于处理(如语音)声音的延迟和时间间隔。在第二步骤(例如在助听系统正常使用期间执行)，声源选择处理单元配置成使用估计的稀疏FIR滤波器(在实时实施中)确定用户当前注意两个(以上)竞争声源中的哪一声源。

根据本发明的方法的优点在于稀疏结构。另一优点在于产生纯噪声(与声源无关联)的电极和时间间隔可从决策模型排除。本发明的实施例的又一优点在于稀疏模型需要较少的计算资源和能量，这在(依赖于本机能源如电池的)便携装置中很重要。

线性有限脉冲滤波器(FIR)通过参数b_ij(t)定义，其中t表示时间。在实施例中，假定声音刺激u_i(t)(i＝1,2,…,n_u)和EEG信号y_j(t)(j＝1,2,…,n_y)之间的因果关系可通过线性有限脉冲滤波器(FIR)建模。在实施例中，该因果关系的动态建模为卷积(如移动平均、加权平均)：

其中n_b为FIR滤波器的模型的阶，及其中e_j(t)为干扰，及k为模型的阶指数，例如k＝1,…,n_b，例如1≤k≤256。

在实施例中，包括u_i(t)和y_j(t)的N个样本，因果关系(2)可写成向量形式

其中Y_j＝(y_j(1),…,y_j(N))^T，及对于U和E类似，B_ij＝(b_ij(1),…,b_ij(n_b))^T，及是具有元素的汉克尔(Hankel)矩阵。

在实施例中，最小平方(LS)方法通过使估计误差的两个范数的自变数(arg min)最小化而估计FIR参数

其中指伪逆。

在实施例中，声源选择处理单元配置成使用刺激重建(SR)方法估计从EEG信号到声源的FIR反向模型，例如

其中反向模型的线性有限脉冲滤波器(FIR)通过参数a_ij(t)定义，其中n_a为FIR滤波器的模型的阶，及其中v_i(t)为干扰(损失/成本)。

在实施例中，声源选择处理单元配置成使用对注意的声源进行分类，即最好地阐释EEG信号的声源(例如)，其中为损失(或成本)函数。

在实施例中，声源选择处理单元配置成使用稀疏模型对声源进行建模。在实施例中，声源选择处理单元配置成使用成本函数

其中由下标2指明的第一项表示l₂正则化，及由下标1指明的第二项表示l₁正则化，B为输入i的总多输出FIR滤波器B＝(B₁,B₂,…,B_ny)，参数λ用于折中稀疏性以进行模型拟合，及l₁正则化项为l₀范数的逼近，其简单地计数FIR滤波器B中的非零元素的数量。从而，提供好的模型拟合和具有几个参数的稀疏FIR滤波器之间的折中。l₁范数用于成为凸问题，其中可使用效率高的数值解决方案。

在实施例中，声源选择处理单元配置成使用交替方向乘子算法(ADMM)方法学将优化问题公式表示为在成本函数中具有不同的B向量的另一方式。在实施例中，成本函数V_i(B)受到等式约束，

受到的约束。

其优点在于提供更有效率的方法(在仅较少几次迭代中提供快速收敛)。

交替方向乘子算法(ADMM)为目标在于优化问题的算法。该算法源于统计学和机器学习。ADMM的策略是将凸优化问题分为多个分开的(更小的)问题，这些问题(个别地)不太复杂，因而适合具有有限计算资源的系统(例如便携装置如助听器)。ADMM例如在[4]中详细描述。

在实施例中，声源选择处理单元配置成分析所述电输入声音信号u_i i＝1,…,n_u和多个EEG信号y_j,j＝1,…,n_y，其基于

-每一电输入声音信号u_i的全FIR单输入多输出(SIMO)模型，该模型基于所述电输入声音信号u_i和所述EEG信号y_j；

-交替方向乘子算法(ADMM)以从所述全FIR单输入多输出(SIMO)模型提供稀疏模型，用于识别最好地描述对应的电输入声音信号和EEG信号数据的模型，

其中用户当前注意的声源S_x通过比较每一模型的成本函数进行确定。

在实施例中，声源选择处理单元配置成使得用户当前注意的声源S_x通过比较每一模型的成本函数的移动平均(MA)进行确定(例如识别提供最小成本函数的声源)。

在实施例中，进行下面等式(10)’中的每一FIR SIMO模型的LS(最小平方)估计，及确定给出最小成本的输入信号U_i。在实施例中，第i个输入信号U_i的成本函数和第n批的模型参数B_i可表达为

其中Y为具有维度N×n_y的包含EEG信号的数据矩阵(N为测度的数量及n_y为EEG电极的数量)，U_i为具有维度N×k的包含第i个电输入声音信号的数据矩阵，其中k为模型中包括的时滞数量，B_i为具有维度k×n_y的包含脉冲响应的矩阵，λ为正则化参数及λ≥0，及║·║指余部的Frobenius范数，║·║₁指l₁范数，及第n批指我们想要识别听者感兴趣的声源的第n纪元。在实施例中，用户注意的声源确定为

在实施例中，用户注意的声源基于损失(成本)函数的移动平均(MA(p))确定：

其中指数k为FIR模型的阶。

在实施例中，输入单元包括多个接收器如无线接收器，用于接收至少部分如大部分或者所有电输入声音信号u_i，每一电输入声音信号表示来自多个(n_u个)声源S_i(i＝1,…,n_u)的声音信号U_i。在实施例中，电输入声音信号u_i表示相应传声器如由相应讲话者佩戴的传声器拾取的声音。在实施例中，电输入声音信号u_i表示从相应介质接收的流传输的声音。

在实施例中，输入单元包括声源分离单元，用于从表示所述声音信号U_i的混合的一个或多个电输入声音信号提供所述电输入声音信号u_i。表示所述声音信号U_i的混合的一个或多个电输入声音信号u_total,m,m＝1,…,M例如可由听力系统的一个或多个输入变换器(如传声器)提供，例如由位于用户耳朵处的听力装置或者位于用户的左和右耳处的一对听力装置的一个或多个输入变换器提供。

在实施例中，助听系统配置成提供用户当前注意的声音信号U_x的估计量总的来说，用户当前注意的声音信号U_x的估计量包括电输入声音信号u_i,i＝1,…,n_u之一。在实施例中，等于电输入声音信号u_i之一。在实施例中，为电输入声音信号u_i之一的修改版(如放大和/或频率整形)。在实施例中，为电输入声音信号u_i的加权组合(其中∑_i w_i＝1)。在实施例中，权重由声源选择处理单元根据成本函数确定(例如给定信号u_i的成本函数的值越大，该信号的权重w_i越低)，非必须地，给予用户当前假定注意的电输入声音信号u_x固定的权重(如0.75)。

在实施例中，EEG系统包括多个EEG传感器，用于提供多个EEG信号y_j(i＝1,…,n_y)。在实施例中，一个或多个EEG传感器如每一EEG传感器包括EEG电极。在实施例中，EEG系统包括用于感测电位的电位传感器，及连接到电位传感器的电子电路以提供放大的输出。在另一实施例中，EEG系统包括用于感测磁场的磁场传感器及连接到磁场传感器以提供放大的输出的电子电路。在实施例中，电位和/或磁场传感器配置成分别感测电和/或磁脑电波信号。在实施例中，EEG系统包括配置成在EEG系统运行地安装在用户身上时电容性或电感性连接到用户头部表面的传感器。在实施例中，EEG传感器(或EEG电极)的数量大于2，如大于4，如大于10，如大于25。在实施例中，EEG传感器(或EEG电极)的数量在从2到200的范围中，如在从2到25的范围中，例如在从2到10的范围中。

在实施例中，助听系统包括一个或多个听力装置，每一听力装置适于位于用户耳朵处或耳朵中或者适于完全或部分植入在用户头中，每一听力装置包括用于基于用户当前注意的声音信号U_x的估计量提供可由用户感知为声音的输出刺激的输出单元。在实施例中，助听系统配置成将作为电输入声音信号u_i,i＝1,…,n_u的加权组合的估计量提供给输出单元。在实施例中，权重w_i,i＝1,…,n_u由声源选择处理单元确定，例如通过比较每一模型的成本函数并对成本进行排序(其中跨i＝1,…,n_u求和))。在实施例中，权重w_i跨i＝1,…,n_u的和为1。在实施例中，对应于用户当前注意的声源S_x的电输入声音信号u_x的权重w_x大于0.5，如大于0.7，如大于0.85。

在实施例中，听力装置包括所述输入单元的至少一部分如全部。在实施例中，输入单元在助听系统的第一和第二听力装置之间共享。在实施例中，输入单元分成助听系统的第一和第二听力装置的单独的输入子单元，第一和第二听力装置中的每一个分别基于用户当前注意的声音信号U_x的估计量提供可由用户感知为声音的输出刺激。在实施例中，第一和第二听力装置中的每一个包括独立的声源选择处理单元，从而使可由用户感知为声音的输出刺激能分别基于用户当前注意的声音信号U_x的独立估计量提供。

在实施例中，听力装置包括所述EEG系统的至少一部分，如所述EEG电极的至少部分。在实施例中，所述电极的至少部分包括在听力装置中。在实施例中，EEG传感器的大部分如全部包括在听力装置中。在实施例中，参考电极在听力装置外部。在实施例中，EEG系统形成听力装置的一部分，例如包括参考电极。

在实施例中，助听系统包括第一和第二听力装置，其中助听系统配置成使能在第一和第二听力装置之间和/或在第一和第二听力装置与辅助装置之间交换信息。在实施例中，第一和第二听力装置包括天线和收发器电路，从而使能在两个听力装置之间和/或与辅助装置交换分别由第一和第二听力装置的相应输入单元提供的电输入声音信号u_i1和u_i2(或者源自其的信号)。在实施例中，第一和第二听力装置配置成交换分别由第一和第二听力装置的EEG系统提供的EEG信号y_j1,1和y_j2,2(或者源自其的信号)，和/或将相应EEG信号提供给辅助装置。下标j1和j2指由相应的第一和第二听力装置拾取的EEG信号，其中j1＝1,…,n_y1和j2＝1,…,n_y2，及n_y1+n_y2≤n_y。

在实施例中，助听系统配置成包括由第一和第二听力装置的相应输入单元提供的电输入声音信号u_i,1和u_i,2和/或由相应EEG系统提供的EEG信号y_j1,1和y_j2,2，用于确定用户当前注意的声源S_x。

在实施例中，助听系统包括辅助装置，配置成与听力装置或与第一和第二听力装置交换信息。在实施例中，助听系统配置成将电输入声音信号和/或EEG信号传给辅助装置。在实施例中，辅助装置包括连接到所述输入单元和所述EEG系统的声源选择处理单元，并配置成提供指明用户当前注意的声源S_x的声源选择信号。在实施例中，辅助装置配置成提供表示用户当前注意的声源S_x的电声音信号u_x。

在实施例中，助听系统配置成保留或应用适当的、表示用户当前注意的声源S_x的电声音信号u_x的方向线索。在实施例中，助听系统(如辅助装置或者第一和第二听力装置)配置成在表示用户当前注意的声源的、呈现关于的电声音信号中保留第一和第二听力装置所接收的电输入声音信号u_x之间的时间和电平差(使得方向线索保留)。在实施例中，助听系统(如辅助装置或者第一和第二听力装置)配置成将适当的头部相关传递函数(HRTF)应用于表示用户当前注意的声源的电声音信号其分别由第一和第二听力装置呈现给用户(使得方向线索保留)头部相关传递函数例如可在第一和第二听力装置和/或辅助装置可访问的(例如存储在其中的)数据库中获得。在给定情形下适宜的HRTF例如可从在给定时间点(如电平和/或相位)分别由第一和第二听力装置接收的对应的电输入声音信号u_i,1和u_i,2的知识确定。

在本申请的一方面，两个注意分析的输出(例如基于本发明中描述的FIR模型和/或ADMM)用于比较助听器信号处理是否增加(或减少)注意的信号-未注意的信号的损失函数。第一分析优选在没有助听器信号处理的情形下进行以确定注意的和未注意的信号的参考损失函数。在第二分析中，对注意的目标和未注意的目标信号增加助听器信号处理。第一和第二分析之间的损失函数差确定助听器信号处理效果(结果测度)。换言之，从而可确定用于估计助听器处理补偿听力受损的效果的“结果测度”。

在实施例中，听力装置包括助听器、头戴式耳机、耳麦、耳朵保护装置或其组合。

在实施例中，助听系统(如听力装置)包括多输入波束形成器滤波单元，用于提供多个(M个)电输入声音信号IN_m,m＝1,…,M的加权组合，每一电输入声音信号表示声音信号U_i的混合。

在实施例中，助听系统适于在听力装置和辅助装置之间建立通信链路以使信息(如控制和状态信号，可能音频信号)能在其间进行交换或从一装置转发给另一装置。

在实施例中，辅助装置是或包括音频网关设备，其适于(如从娱乐装置例如TV或音乐播放器，从电话装置例如移动电话，或从计算机例如PC)接收多个音频信号，及适于使能选择和/或组合所接收音频信号(或信号组合)中的适当信号以传给听力装置。在实施例中，辅助装置是或包括遥控器，用于控制听力装置的功能和运行。在实施例中，遥控器的功能实施在智能电话中，该智能电话可能运行使能经智能电话控制音频处理装置的功能的APP(听力装置包括适当的到智能电话的无线接口，例如基于蓝牙或一些其它标准化或专有方案)。在实施例中，辅助装置是或包括智能电话或等效通信装置，从而使能经通信链路连接到助听系统并具有适当的处理能力和/或能够用作到助听系统的用户接口。

听力装置

在实施例中，听力装置适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。在实施例中，听力装置包括用于增强输入信号并提供处理后的输出信号的信号处理单元。

在实施例中，听力装置包括用于基于处理后的电信号提供由用户感知为声信号的刺激的输出单元。在实施例中，输出单元包括耳蜗植入物的多个电极或者骨导听力装置的振动器。在实施例中，输出单元包括输出变换器。在实施例中，输出变换器包括用于将刺激作为声信号提供给用户的接收器(扬声器)。在实施例中，输出变换器包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式听力装置中)。

在实施例中，听力装置包括用于提供表示声音的电输入声音信号的输入单元。在实施例中，输入单元包括用于将输入声音转换为电输入声音信号的输入变换器如传声器。在实施例中，输入单元包括用于接收包括声音的无线信号及用于提供表示所述声音的电输入声音信号的无线接收器。在实施例中，听力装置包括定向传声器系统，其适于对来自环境的声音进行空间滤波，从而相对于佩戴听力装置的用户的局部环境中的多个其它声源增强目标声源。在实施例中，定向系统适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。

在实施例中，听力装置包括用于从另一装置如通信装置或另一听力装置接收直接电输入信号的天线和收发器电路。在实施例中，听力装置包括(可能标准化的)电接口(例如连接器的形式)，用于从另一装置如通信装置或另一听力装置接收有线直接电输入信号。在实施例中，听力装置和另一装置之间的通信处于基带(音频频率范围，如在0和20kHz之间)。优选地，听力装置和另一装置之间的通信基于高于100kHz的频率下的某类调制。优选地，用于在听力装置和另一装置之间建立通信链路的频率低于70GHz，例如位于从50MHz到70GHz的范围中，例如高于300MHz，例如在高于300MHz的ISM范围中，例如在900MHz范围中或在2.4GHz范围中或在5.8GHz范围中或在60GHz范围中(ISM＝工业、科学和医学，这样的标准化范围例如由国际电信联盟ITU定义)。在实施例中，无线链路基于标准化或专用技术。在实施例中，无线链路基于蓝牙技术(如蓝牙低功率技术)。

在实施例中，听力装置是便携式装置，例如包括本地能源如电池例如可再充电电池的装置。

在实施例中，听力装置包括输入变换器(传声器系统和/或直接电输入(如无线接收器))和输出变换器之间的正向或信号通路。在实施例中，信号处理单元位于该正向通路中。在实施例中，信号处理单元适于根据用户的具体需要提供随频率而变的增益(放大或衰减)。在实施例中，听力装置包括具有用于分析输入信号(如确定电平、调制、信号类型、声反馈估计量等)的功能件的分析通路。在实施例中，分析通路和/或信号通路的部分或所有信号处理在频域进行。在实施例中，分析通路和/或信号通路的部分或所有信号处理在时域进行。

在实施例中，表示声信号的模拟电信号在模数(AD)转换过程中转换为数字音频信号，其中模拟信号以预定采样频率或采样速率f_s进行采样，f_s例如在从8kHz到48kHz的范围中(适应应用的特定需要)以在离散的时间点t_n(或n)提供数字样本x_n(或x[n])，每一音频样本通过预定的N_s比特表示声信号在t_n时的值，N_s例如在从1到48比特的范围中如24比特。数字样本x具有1/f_s的时间长度，如50μs，对于f_s＝20kHz。在实施例中，多个音频样本按时间帧安排。在实施例中，一时间帧包括64或128个音频数据样本。根据实际应用可使用其它帧长度。

在实施例中，听力装置包括模数(AD)转换器以按预定的采样速率如20kHz对模拟输入进行数字化。在实施例中，听力装置包括数模(DA)转换器以将数字信号转换为模拟输出信号，例如用于经输出变换器呈现给用户。

在实施例中，听力装置如传声器单元和/或收发器单元包括用于提供输入信号的时频表示的TF转换单元。在实施例中，时频表示包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。在实施例中，TF转换单元包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组，每一输出信号包括截然不同的输入信号频率范围。在实施例中，TF转换单元包括用于将时变输入信号转换为频域中的(时变)信号的傅里叶变换单元。在实施例中，听力装置考虑的、从最小频率f_min到最大频率f_max的频率范围包括从20Hz到20kHz的典型人听频范围的一部分，例如从20Hz到12kHz的范围的一部分。在实施例中，听力装置的正向通路和/或分析通路的信号拆分为NI个(如均匀)频带，其中NI例如大于5，如大于10，如大于50，如大于100，如大于500，至少部分频带个别地进行处理。在实施例中，听力装置适于在NP个不同频道处理正向和/或分析通路的信号(NP≤NI)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。

在实施例中，听力装置包括多个检测器，其配置成提供与听力装置的当前物理环境(如当前声环境)有关、和/或与佩戴听力装置的用户的当前状态有关、和/或与听力装置的当前状态或运行模式有关的状态信号。作为备选或另外，一个或多个检测器可形成与听力装置(如无线)通信的外部装置的一部分。外部装置例如可包括另一助听装置、遥控器、音频传输装置、电话(如智能电话)、外部传感器等。

在实施例中，多个检测器中的一个或多个对全带信号起作用(时域)。在实施例中，多个检测器中的一个或多个对频带拆分的信号起作用((时-)频域)。

在实施例中，多个检测器包括用于估计正向通路的信号的当前电平的电平检测器。在实施例中，预定判据包括正向通路的信号的当前电平是高于还是低于给定(L-)阈值。

在特定实施例中，听力装置包括话音检测器(VD)，用于确定输入信号(在特定时间点)是否(或者何种概率地)包括话音信号。在本说明书中，话音信号包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。在实施例中，话音检测器单元适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点：包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别，因而与仅(或者主要)包括其它声源(如人工产生的噪声)的时间段分离。在实施例中，话音检测器适于将用户自己的话音也检测为“话音”。作为备选，话音检测器适于从“话音”的检测排除用户自己的话音。

在实施例中，听力装置包括自我话音检测器，用于检测特定输入声音(如话音)是否源自系统用户的话音。在实施例中，听力装置的传声器系统适于能够在用户自己的话音及另一人的话音之间进行区分及可能与无话音声音区分。

在实施例中，助听装置包括分类单元，配置成基于来自(至少部分)检测器的输入信号及可能其它输入对当前情形进行分类。在本说明书中，“当前情形”由下面的一个或多个定义：

a)物理环境(如包括当前电磁环境)，例如出现计划或未计划由听力装置接收的电磁信号(如包括音频和/或控制信号)，或者当前环境的不同于声学的其它性质；

b)当前声学情形(输入电平、反馈等)；

c)用户的当前模式或状态(运动、温度等)；

d)助听装置和/或与听力装置通信的另一装置的当前模式或状态(选择的程序、自上次用户交互后消逝的时间等)。

在实施例中，听力装置还包括用于所涉及应用的其它适宜功能，如反馈抑制、压缩、降噪等。

用途

此外，本发明提供上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置的用途。在实施例中，提供在包括音频分布的系统中的用途。在实施例中，提供在包括一个或多个听力仪器、头戴式耳机、耳麦、有源耳朵保护系统等的系统中的用途，例如免提电话系统、远程会议系统、广播系统、卡拉OK系统、教室放大系统等。

方法

在第三方面，本申请还提供在多音频源环境中自动选择听力装置的佩戴者预计听的音频源的方法。该方法包括：

-提供电输入声音信号u_i，每一电输入声音信号表示来自多个(n_u个)声源S_i(i＝1,…,n_u)的声音信号U_i；

-记录用户大脑的听觉系统的活动并提供多个(n_y个)EEG信号y_j(j＝1,…,n_y)；及

-根据所述电输入声音信号u_i和所述EEG信号y_j提供指明用户当前注意的声源S_x的声源选择信号

-分析所述电输入声音信号u_i i＝1,…,n_u及多个EEG信号y_j,j＝1,…,n_y；

-使用确定稀疏模型的选择性算法基于使测量声源和EEG信号之间的相关的成本函数最小化而选择最适宜的EEG电极和时间间隔；及

-基于针对多个声源获得的成本函数，确定指明用户当前注意的声源S_x的声源选择信号

在第四方面，本申请还提供在多音频源环境中自动选择听力装置的佩戴者预计听的音频源的方法。该方法包括：

-提供电输入声音信号u_i，每一电输入声音信号表示来自多个(n_u个)声源S_i(i＝1,…,n_u)的声音信号U_i；

-记录用户大脑的听觉系统的活动并提供多个(n_y个)EEG信号y_j(j＝1,…,n_y)；及

-根据所述电输入声音信号u_i和所述EEG信号y_j提供指明用户当前注意的声源S_x的声源选择信号包括：

--分析所述电输入声音信号u_i i＝1,…,n_u及多个EEG信号y_j,j＝1,…,n_y；

--确定从每一声源到每一EEG通道的动态有限脉冲响应(FIR)滤波器；及

--基于针对多个声源获得的成本函数，确定指明用户当前注意的声源S_x的声源选择信号

当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的或权利要求中限定的装置的部分或所有结构特征可与本发明方法的实施结合，反之亦然。方法的实施具有与对应装置一样的优点。

在实施例中，所述方法包括使用刺激重建(SR)方法估计从EEG信号到声源的FIR反向模型。

在实施例中，所述方法包括使用稀疏模型对从每一声源到每一EEG通道的有限脉冲响应(FIR)滤波器进行建模。

在实施例中，所述方法包括使用交替方向乘子算法(ADMM)将优化问题重新表示为在成本函数中具有不同的B向量的另一形式。

在实施例中，所述方法包括分析所述电输入声音信号u_i i＝1,…,n_u和多个EEG信号y_j,j＝1,…,n_y，其中所述选择性算法基于

-提供每一电输入声音信号u_i的全FIR单输入多输出(SIMO)模型，该模型基于所述电输入声音信号u_i和所述EEG信号y_j；

-使用交替方向乘子算法(ADMM)以从所述全FIR单输入多输出(SIMO)模型提供稀疏模型，用于识别最好地描述对应的电输入声音信号和EEG信号数据的模型；及

-通过比较每一模型的成本函数确定用户当前注意的声源S_x。

在实施例中，所述方法包括目标在于在暴露于不同的声源并注意这些声源之一时理解人听觉系统怎样反应的下述步骤：

-对于每一电输入声音信号u_i到每一EEG信号y_j，提供从声音到EEG的阶为k的标准因果多输入多输出(MIMO)有限脉冲响应(FIR)模型；及

-使用交替方向乘子算法(ADMM)提供具有最高适宜度的自动选择EEG通道和FIR模型的参数(包括时延和模型的阶k)的稀疏模型。

在实施例中，所述方法包括使得FIR MIMO模型的阶k为了语音信号对同时记录的EEG信号均具有影响的时间间隔进行选择。在实施例中，FIR MIMO模型的阶k为了(给定)语音信号对EEG信号(对语音信号的神经反应)具有(实质)影响的时间间隔(也称为时滞)进行选择。在实施例中，阶k选择成使得覆盖从0.5到5秒范围如0.5到2秒的时滞被所述模型考虑。在实施例中，FIR MIMO模型的阶k在30-600的范围中选择，如在50-100的范围中选择。

在实施例中，馈给滤波器B用ADMM-线性支持向量机(SVM)算法获得(Y＝U_i*B_i,U_i＝声音,Y＝EEG)。

计算机可读介质

本发明进一步提供保存包括程序代码的计算机程序的有形计算机可读介质，当计算机程序在数据处理系统上运行时，使得数据处理系统执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。

作为例子但非限制，前述有形计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储器、磁盘存储器或其他磁性存储装置，或者可用于执行或保存指令或数据结构形式的所需程序代码并可由计算机访问的任何其他介质。如在此使用的，盘包括压缩磁盘(CD)、激光盘、光盘、数字多用途盘(DVD)、软盘及蓝光盘，其中这些盘通常磁性地复制数据，同时这些盘可用激光光学地复制数据。上述盘的组合也应包括在计算机可读介质的范围内。除保存在有形介质上之外，计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。

数据处理系统

一方面，本发明进一步提供数据处理系统，包括处理器和程序代码，程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。

APP

另一方面，本发明还提供称为APP的非短暂应用。APP包括可执行指令，其配置成在辅助装置上运行以实施用于上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力装置或助听系统的用户接口。在实施例中，该APP配置成在移动电话如智能电话或另一使能与所述听力装置或听力系统通信的便携装置上运行。

在实施例中，该APP配置成使用户能开始根据本发明的用于估计用户当前注意的声源的程序(例如根据上面描述的、具体实施方式中详细描述的或权利要求中限定的方法)。在实施例中，该APP配置成相对于用户显示当前存在的声源。在实施例中，该APP配置成指明当前活动的声源的相对强度。在实施例中，该APP配置成使用户能在当前活动的声源之中选择用户当前感兴趣的声源。在实施例中，该APP配置成使用户能选择当前活动的声源的相对权重。

定义

在本说明书中，“听力装置”指适于改善、增强和/或保护用户的听觉能力的装置如听力仪器或有源耳朵保护装置或其它音频处理装置，其通过从用户环境接收声信号、产生对应的音频信号、可能修改该音频信号、及将可能已修改的音频信号作为可听见的信号提供给用户的至少一只耳朵而实现。“听力装置”还指适于以电子方式接收音频信号、可能修改该音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵的装置如头戴式耳机或耳麦。听得见的信号例如可以下述形式提供：辐射到用户外耳内的声信号、作为机械振动通过用户头部的骨结构和/或通过中耳的部分传到用户内耳的声信号、及直接或间接传到用户耳蜗神经的电信号。

听力装置可构造成以任何已知的方式进行佩戴，如作为佩戴在耳后的单元(具有将辐射的声信号导入耳道内的管或者具有安排成靠近耳道或位于耳道中的扬声器)、作为整个或部分安排在耳廓和/或耳道中的单元、作为连到植入在颅骨内的固定结构的单元、或作为整个或部分植入的单元等。听力装置可包括单一单元或几个彼此电子通信的单元。

更一般地，听力装置包括用于从用户环境接收声信号并提供对应的输入音频信号的输入变换器和/或以电子方式(即有线或无线)接收输入音频信号的接收器、用于处理输入音频信号的(通常可配置的)信号处理电路、及用于根据处理后的音频信号将听得见的信号提供给用户的输出装置。在一些听力装置中，放大器可构成信号处理电路。信号处理电路通常包括一个或多个(集成或单独的)存储元件，用于执行程序和/或用于保存在处理中使用(或可能使用)的参数和/或用于保存适合听力装置功能的信息和/或用于保存例如结合到用户的接口和/或到编程装置的接口使用的信息(如处理后的信息，例如由信号处理电路提供)。在一些听力装置中，输出装置可包括输出变换器，例如用于提供空传声信号的扬声器或用于提供结构或液体传播的声信号的振动器。在一些听力装置中，输出装置可包括一个或多个用于提供电信号的输出电极。

在一些听力装置中，振动器可适于经皮或由皮将结构传播的声信号传给颅骨。在一些听力装置中，振动器可植入在中耳和/或内耳中。在一些听力装置中，振动器可适于将结构传播的声信号提供给中耳骨和/或耳蜗。在一些听力装置中，振动器可适于例如通过卵圆窗将液体传播的声信号提供到耳蜗液体。在一些听力装置中，输出电极可植入在耳蜗中或植入在颅骨内侧上，并可适于将电信号提供给耳蜗的毛细胞、一个或多个听觉神经、听性脑干、听觉中脑、听觉皮层和/或大脑皮层的其它部分。

“助听系统”可指包括一个或两个听力装置的系统，及“双耳助听系统”可指包括两个听力装置并适于协同地向用户的两只耳朵提供听得见的信号的系统。助听系统或双耳助听系统还可包括一个或多个“辅助装置”，其与听力装置通信并影响和/或受益于听力装置的功能。辅助装置例如可以是遥控器、音频网关设备、移动电话(如智能电话)、广播系统、汽车音频系统或音乐播放器。听力装置、助听系统或双耳助听系统例如可用于补偿听力受损人员的听觉能力损失、增强或保护正常听力人员的听觉能力和/或将电子音频信号传给人。

本发明的实施例如可用在如下面的应用中：助听器、头戴式耳机、耳麦、有源耳朵保护系统、免提电话系统、移动电话、远程会议系统、广播系统、卡拉OK系统、教室放大系统等。

附图说明

本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。在整个说明书中，同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明，其中：

图1A示出了多声源声环境，其中用户佩戴根据本发明第一实施例的包括EEG系统的助听系统。

图1B示出了图1A中所示的第一实施例的助听系统的简化框图。

图1C示出了多声源声环境，其中用户佩戴根据本发明第二实施例的包括EEG系统的助听系统。

图1D示出了图1C中所示的第二实施例的助听系统的简化框图。

图1E示出了多声源声环境，其中用户佩戴根据本发明第三实施例的包括EEG系统的助听系统。

图1F示出了图1E中所示的第三实施例的助听系统的简化框图。

图1G示出了多声源声环境，其中用户佩戴根据本发明第四实施例的包括EEG系统的助听系统。

图1H示出了图1G中所示的第四实施例的助听系统的简化框图。

图1I示出了多声源声环境，其中用户佩戴根据本发明第五实施例的包括EEG系统的助听系统。

图1J示出了图1I中所示的第五实施例的助听系统的简化框图。

图2A(的下部)示出了由助听系统的声源分离单元(SSU)提供的、图1C、1D的当前活动的声源S_i的声音信号u_i,i＝1,…,n_u的(包络的)示意性时间段，及(上部)示出了用户耳朵处的听力装置接收的所述声音信号的混合信号u_total。

图2B示出了由根据本发明的包括多传声器单元、声源分离单元和EEG系统的助听系统实施例的多个(n_y)EEG电极拾取及EEG系统提供的、由混合声音信号u_total诱发的相应EEG信号y₁,y₂,…,y_ny的示意性时间段。

图3示出了根据本发明的助听系统的实施例。

图4A示出了根据本发明的声源选择处理单元的第一实施例。

图4B示出了根据本发明的声源选择处理单元的第二实施例。

图5示出了根据本发明的包括左和右听力装置的助听系统的实施例。

图6示出了根据本发明的助听系统的实施例，包括第一和第二听力装置与用作助听系统的用户接口的辅助装置通信。

通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。对于本领域技术人员来说，基于下面的详细描述，本发明的其它实施方式将显而易见。

具体实施方式

下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而，对本领域技术人员显而易见的是，这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因，这些元素可使用电子硬件、计算机程序或其任何组合实施。

电子硬件可包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、选通逻辑、分立硬件电路、及配置成执行本说明书中描述的多个不同功能的其它适当硬件。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等，无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。

本发明提出通过构想出从语音到EEG的具有因果关系的多变量有限脉冲响应(FIR)模型及随后使用交替方向乘子算法(ADMM)得到自动选择最适宜的EEG通道和FIR参数(包括时延和模型的阶)的稀疏模型而克服现有技术易犯的错误。除稀疏模型之外，其还给出了物理洞察。如果模型处于良态，则还可能指明所注意的声源。该方法的优点(除实时实现之外还)在于软件实施相当简单和有效率。

由于本发明聚焦于听力装置如助听器，其要求在线(实时)应用，由于上面提及的原因，我们仅考虑用EEG仪器记录的脑信号数据。

本发明提供使用单一测试EEG在多声源(如多讲话者)背景中实时识别特定声源的助听系统及方法。

本发明中提出的用于识别助听系统的佩戴者当前注意的语音流的模型将称为鸡尾酒会问题注意的语音流的分类(CLASTIC)模型。

鸡尾酒会问题在多个不同的(恒定不变或时变)竞争声源S_i,i＝1,2,…,n_u同时发出声音信号U_i(由电输入声音信号u_i表示)及听者接收这些信号的和u_total时发生，即

在听者试图一次仅聚焦于一个声源(如语音流)的假设下，技术难题在于识别哪一语音信号u_i(t)是听者(助听系统的用户)聚焦的信号。这被提出基于外部传感器测量(在此为EEG信号y_j(t)，j＝1,2,…,n_y)进行。

图1A-1J示出了多声源声环境S_i,i＝1,…,n_u，其中用户U佩戴根据本发明第一到第五实施例的包括EEG系统(EEG)的助听系统HAS(参见图1A、1C、1E、1G、1I中用户U周围的声源S₁,…S_i,…S_nu)。助听系统HAS包括用于提供电输入声音信号u_i的输入单元IU，每一电输入声音信号表示来自n_u个声源S_i(i＝1,…,n_u)的声音信号U_i(参见图1B、1D、1F、1H、1J中的记为“声音输入”的粗箭头)。输入单元可包括声源分离算法，用于从包括所述声音信号U_i的混合的多个信号(如传声器信号)提供电输入声音信号u_i。助听系统HAS还包括脑电图(EEG)系统，用于记录用户大脑的听觉系统的活动并提供n_y个EEG信号y_j(j＝1,…,n_y)。助听系统HAS还包括连接到输入单元IU和EEG系统EEG并接收电输入声音信号u_i(i＝1,…,n_u)和EEG信号y_j(j＝1,…,n_y)的声源选择处理单元SSPU。助听系统HAS配置成根据电输入声音信号u_i和EEG信号y_j提供指明用户当前注意的声源S_x的声源选择信号EEG系统EEG包括具有电极E_j及参考电极REF的EEG传感器。助听系统可包括输出单元OU，用于基于来自用户当前注意(或估计注意)的声源S_x的声音信号U_x(或声音信号的混合)的估计量提供可由用户感知为声音的输出刺激。助听系统可包括一个或多个(如两个)听力装置如助听器(参见图1C、1E、1G)。听力装置可包括用于基于指明用户当前注意的声源S_x的声源选择信号提供可由用户感知为声音的输出刺激的输出单元OU。EEG系统可完全在听力装置的外部(如图1A和1I中所示)或者完全集成在听力装置中(例如参见图1G)或者部分与听力装置一体及部分在听力装置外部(如图1C和1E中所示)。图1C、1E、1G的听力装置可包括适于安装在用户耳朵处或者耳后(BTE，如耳廓后面)的BTE部分。作为备选或另外，听力装置可包括适于安装在用户耳道处或者耳道中的ITE部分。EEG电极例如可位于BTE部分和/或ITE部分上。在图1C、1E和1G的例子中，四个EEG电极被(示意性地)图示在听力装置的ITE部分上，但其它数量和位置也可预见，例如一个或多个，如两个以上。在图1G的实施例中，四个EEG电极E_j,r,E_j,l及一个参考电极REF_r,REF_l被图示在每一听力装置HD_r,HD_l上，在此位于听力装置的ITE部分上。在图1A、1C、1E、1J的实施例中，EEG系统被示为包括位于用户U的头皮上的多个EEG电极E_j。在这些实施例中，(示意性地)示出了六个EEG电极E_j及一参考电极REF。当然，根据应用，可使用其它数量。如果不得不省掉EEG系统的包括用户头皮上的电极的部分，使得所有EEG电极均位于一个或两个听力装置上，通常将使用相对小数量的电极(例如受听力装置的壳体的表面积限制)。在可使用“外部”(即不限于听力装置)EEG部分的情形下，可使用更大数量的EEG电极，如20个以上，如50个以上，如100个以上的电极。在图1A、1C、1E、1J的实施例中，参考电极REF位于用户的头皮顶部(在用户头部的对称平面中)。作为备选，参考电极可位于别处，例如耳后(颞骨的乳突部分处)或者植入在头中。在实施例中，所有电极集成在听力装置中或者集成在一对听力装置中(例如参见图1G)，参考电极可位于与EEG电极相同的听力装置中。优选地，参考电极与EEG电极隔开一距离，例如位于对侧听力装置中(例如参见图1G)。在该情形下，对向听力装置的参考电位可通过流电(如有线)连接或者通过经无线通信链路的传输如经用户的身体(身体网络，例如参见EP2997893A1)传给包括EEG电极的听力装置。

在本领域，多种方法可用于提供声源与包括声源的混合的一个或多个信号的(实时)分离。这些方法包括盲源分离，例如盲源分离的手段，例如参见[Bell and Sejnowski,1995]、[Jourjine et al.,2000]、[Roweis,2001]、[Pedersen et al.,2008]，传声器阵列技术，例如参见[Schaub,2008]的第7章，或者其组合，例如参见[Pedersen et al.,2006]、[Boldt et al.,2008]。其它方法包括非负矩阵因数分解(NMF)、概率潜在分量分析(PLCA)。基于将包括混合信号的时间段的缓冲器的内容建模为分量的加和的实时分离方法，实时分量保存在预计算的字典中，例如参见US2016099008A1。

图1A和1I示出了助听系统HAS的(第一和第五)实施例，包括在工作时彼此通信的位于用户耳朵处的一个或多个输入单元(IU；IU_r,IU_l)、EEG系统(EEG)和声源选择处理单元(SSPU)。输入单元IU例如可包括位于用户耳朵处的一个或两个或更多个传声器，例如一个唯一耳道处(如耳道入口处)和/或一个或多个位于耳廓处或耳廓后面或耳道处或附近的别处(例如完全或部分植入在用户耳朵处的头中)。包括EEG传感器/电极E_j(j＝1,…,n_y)和参考电极REF的EEG系统EEG向声源选择处理单元SSPU提供EEG信号y_j(j＝1,…,n_y)。EEG信号y_i中的每一个表示电极j(E_j)拾取的相对于参考电极REF拾取的参考电位的电位。在图1A和1I的实施例中，EEG传感器/电极和参考电极位于用户的头皮上。这些电极的一个或多个(如全部)可植入在用户头中，例如结合耳蜗植入型助听器或者骨导型助听器。在实施例中，电位P_j被个别地导向比较单元(如比较器或模数(AD)转换器)，其中，其与参考电位P_REF比较以提供相应的EEG信号y_j(例如作为P_j-P_REF，j＝1,…,n_y)。

图1A示出了助听系统HAS的第一实施例，包括位于用户U的右耳处的单一输入单元IU。图1B示出了图1A中所示的第一实施例的助听系统的简化框图。输入单元IU向声源选择处理单元SSPU提供(分开的)电输入声音信号u_i(i＝1,…,n_u)(参见图1A和1B中的向量u)。EEG系统向声源选择处理单元SSPU提供EEG信号y_j(j＝1,…,n_y)(参见图1A和1B中的向量y)。声源选择处理单元SSPU基于电输入声音信号u_i和EEG信号y_j提供指明用户当前注意的声源S_x的声源选择信号(参见图1B中的信号)，如下所述。

图1I示出了助听系统HAS的第五实施例，包括分别位于用户U的右耳和左耳处的两个输入单元IU_r,IU_l。除第五实施例包括双侧或双耳设置之外，第五实施例与(图1A、1B的)第一实施例相同，其中单独的输入单元位于用户的右耳和左耳处从而分别从右和左输入单元(IU_r和IU_l)提供电输入声音信号u_ir和u_il。图1J示出了图1I中所示的第五实施例的助听系统的简化框图。电输入声音信号u_ir和u_il(一起提供(分开的)电输入声音信号u_i(i＝1,…,n_u))连同EEG信号y_j(j＝1,…,n_y)(参见图1I和1J中的向量y)一起馈给声源选择处理单元SSPU(参见图1I和1J中的向量u_r和u_l)。声源选择处理单元SSPU可位于用户的耳朵之一处(如图1A和1I中所示)或者位于别处，例如由用户佩戴或者植入在用户身体中。在图1J的实施例中，来自左耳处的输入单元IU_l的分开的信号u_l传给(例如以无线方式传给，例如经通信链路IAL，例如由相应的收发器单元Rx/Tx-r和Rx/Tx-l及信号<u_l>实施)声源选择处理单元SSPU。其它分割也可实施，例如使得来自右耳处的输入单元IU_r的分开的信号u_r传给(如无线传给)声源选择处理单元SSPU或者两个分开的信号u_r和u_l均传给声源选择处理单元SSPU，例如位于单独的(辅助)装置如遥控器或智能电话或其它适当的便携装置中。在实施例中，执行声源分离之前的输入信号馈给其中进行声源分离(和选择)的修改的声源选择处理单元SSPU。该声源选择处理单元SSPU基于电输入声音信号u_ir,u_il和EEG信号y_j提供指明用户当前注意的声源S_x的声源选择信号(参见图1J中的信号)，如下所述。

图1C中所示的助听系统HAS的第二实施例包括位于用户U的右耳处或右耳中(或者完全或部分实施在用户头中)的听力装置HD如助听器，而左耳未配备有听力装置。在其它实施例中(例如图1E、1G中所示)，助听系统包括相应位于用户的左和右耳处的两个听力装置。听力装置HD包括用于提供电输入声音信号u_i(u)的输入单元IU和用于基于用户当前注意的声音信号U_x(来自声源S_x)的估计量提供可由用户感知为声音的输出刺激的输出单元OU(参见图1D中记为“声音刺激输出”的粗箭头)。声源选择处理单元SSPU可配置成将作为电输入声音信号u的加权组合的估计量提供给输出单元OU。声源选择处理单元SSPU可位于听力装置HD中或者位于另一(如辅助)装置中。在图1C的实施例中，EEG系统的电极E_j位于听力装置上及用户U的头皮上。EEG系统基于相对于参考电位P_REF的电位P_j向声源选择处理单元SSPU提供EEG信号y_j(y)。正向通路FP被指明从输入单元IU到输出单元OU，包括电输入声音信号u、声源选择处理单元SSPU及用户当前注意的声音信号U_x的估计量该正向通路FP可以是或者形成听力装置的正向通路的一部分。

图1E、1F及图1G、1H中所示的助听系统包括适于佩戴在用户的相应左和右耳处的左和右听力装置。左和右听力装置HD_l,HD_r中的每一个包括输入单元，如包括多个传声器，从而分别提供左和右电输入声音信号u_l,u_r。在图1E、1G的实施例中，EEG系统包括位于听力装置上的多个EEG电极E_j。左和右听力装置中的每一个还包括输出单元OU_l,OU_r，适于在用户的左和右耳处提供用户当前注意的声音信号U_x的相应估计量

在图1E的实施例中，另外的EEG电极E_j和参考电极REF位于用户头皮上，而这并非图1G中的情形。

如图1F中所示，助听系统的第三实施例(图1E)包括共同的声源选择单元SSPU，其从左和右听力装置的输入单元IU_l,IU_r接收电输入声音信号u_l,u_r及还接收所有EEG信号y(来自位于头皮上及位于左和右听力装置上的电极E_j)。共同的声源选择单元SSPU配置成提供用户当前注意的声音信号U_x的(电信号)估计量其馈给(或传给)左和右听力装置HD_l,HD_r的相应输出单元OU_l,OU_r。在其基础上，相应输出单元OU_l,OU_r产生对应的计划由用户感知为声音的输出刺激

在图1G的实施例中，所有EEG传感器/电极E_j,l,E_j,r均位于左和右听力装置HD_l,HD_r上的对应EEG单元EEG_l,EEG_r中，提供相应的EEG信号y_l,y_r，参见图1H。左和右听力装置可作为设备齐全的(独立)系统运行(例如在第一运行模式下，或者在两个听力装置之间没有链路可用时)。在(第二)运行模式下，第一和第二听力装置可经耳间链路IAL如无线链路交换信息。可交换的信息可包括指明用户当前注意的声源S_x的相应声源选择信号相应电输入声音信号u_ir,u_il(u_l,u_r)和相应EEG信号y_jl,y_jr(y_l,y_r，参见图1H)中的一个或多个。各个声源选择单元SSPU_l,SSPU_r将用户当前注意的声音信号U_x的相应(电信号)估计量提供给左和右听力装置HD_l,HD_r的相应输出单元OU_l,OU_r。在其基础上，相应输出单元OU_l,OU_r产生计划由用户感知为声音的对应输出刺激在实施例中，第一和第二听力装置之间的耳间链路(例如经第三(辅助)装置)可用，运行模式可由用户经用户接口(例如实施在遥控装置中，例如实施为智能电话的APP，例如参见图6)配置。

如图1A、1B、1C、1D、1E、1F、1G、1H、1I和1J中所示的多讲话者环境通常包括n_u个不同的声源(语音流)u_i(t)。在下面考虑的例子中，n_u＝2。一般地，根据本发明的助听系统包括n_y个不同的EEG电极(及一个或多个REF电极)并提供n_y个对应的EEG信号y_j(t)。在下面考虑的例子中，我们使用全头皮EEG信号，n_y＝128。然而，可提供更小数量的EEG传感器，例如完全或部分包括在佩戴在用户耳朵处或耳道中(或者完全或部分植入在用户头中)的听力装置(图1C、1D)或一对听力装置(图1E、1F、1G、1H)中。

信号建模和估计

A、正向模型

我们具有n_u个声源u_i(t),i＝1,2；…,n_u及n_y个EEG通道y_j(t),j＝1,2,…,n_y。物理上，声音应有因果关系地影响大脑中的听音注意。我们将动态学限制为线性有限脉冲滤波器(FIR)b_ij(t)，这样，该因果关系建模为卷积(移动平均、加权平均)

y_j(t)＝b_ij*u_i(t)+e_j(t)＝∑_k＝1n_b b_ij(k)u_i(t-k)+e_j(t) (2)

其中n_b为FIR滤波器的模型的阶(设计参数)。

具有u_i(t)和y_j(t)的N个样本，该关系可写成向量形式

其中Y_j＝(y_j(1),…,y_j(N))^T及对U和E类似，B_ij＝(b_ij(1),…,b_ij(n_b))^T及为具有元素的汉克尔矩阵。

最小平方(LS)方法通过使估计误差的两个范数的自变数(arg min)最小化而估计FIR参数

其中指伪逆。

B、SR作为反向模型

SR方法目标在于估计从EEG信号到声源的FIR反向模型

u_i(t)＝a_ij*y_j(t)+v_i(t)＝∑_k＝1n_a a_ij(k)y_j(t+k)+v_i(t) (7)

当然，该想法并非大脑影响声音，即为什么时间在EEG信号中颠倒，这样y_j(t+k)用在卷积中，而不是y_j(t-k)。

该记法在此为我们提出的正向模型的对偶。尽管两种方法乍看起来一样，但它们有几个重要的差别：

-正向模型可用于预测EEG信号将来的值，因而在实时应用中用于分类所注意的声源。反向模型必须基于多批应用，因而不适合实时分类；

-即使正向模型中的短FIR滤波器也可能在反向模型中要求长FIR滤波器，这样，正向模型由于物理原因通常具有比反向模型少的参数，n_a>n_b；

-在最小平方方法中，左手边应可变，其被观察到具有噪声，而另一边应无噪声。自然地假设大脑有不同于处理声音的其它任务要解决，这样，在EEG信号中显然有大的误差。感知的声音还包括干扰，而我们将其建模为个分开的声源。这些均为有利于正向模型的自变数。如果在回归向量上有噪声，其分别为汉克尔矩阵则应使用总最小平方方法(TLS)。这在实施时计算负担重得多。如果不使用TLS，参数将有偏。因而预期在正向模型中偏差较小；

-在理论上，任何b(t)多项式应该用反向模型中的a(t)多项式准确地逼近。我们需要的是卷积b*a(t)≈δ(τ)约为时间延迟的脉冲，或者换言之， 针对物理真实的FIR滤波器对此求解将几乎肯定导致不稳定的a多项式，因为任意适当的长FIR滤波器在单位圆里面和外面均将具有其零值。

C、分类

损失函数给出模型拟合的测度。相较于信号能量的值 越小，越好。应注意，V_ij(0)意味着根本没有模型。我们在此已经阐明，对于该类应用，模型拟合非常差，相较于许多其它物理系统而言。大脑正处理大量其它信息，及与声源相关为小于其正常运算的量级。然而，对于分类，模型拟合是次要的，主要目的在于找到所注意的声源。其现在可使用进行分类，即最好地阐释EEG信号的声源。

如果使用多个EEG信号，则总LS损失函数简单地为跨所有通道的和，及所注意的声源分类为

D、稀疏建模

因物理原因，并非所有EEG通道及并非模型中的所有时延均对声源建模有用似乎是真的。为该目的，我们提出向l₂LS成本函数添加l₁正则化并使用

其中B为输入i的总多输出FIR滤波器B＝(B₁,B₂,…,B_ny)。l₁项为简单地计数FIR滤波器B中的非零元素的数量的l₀范数的逼近。也就是说，我们寻求好的模型拟合与具有几个参数的稀疏FIR滤波器之间的折中。l₁项用于成为凸问题，其中可使用效率高的数值解决方案。参数λ用于折中稀疏性和模型拟合。

ADMM将优化问题重新表示为在成本函数中具有不同的B向量的另一形式，并受等式约束：

其中微妙的点在于该技巧使能非常有效率的方法。基本上，ADMM在计算B,和第三量之间迭代，每一步骤需要简单的计算，及在实践中，仅在几次迭代中即可具有非常快的收敛。

还有一组ADMM公式表示，其中惩罚项为l₁范数的和[24]。对于本申请，其可用于选择最适宜的EEG通道或者组合的EEG反应最提供信息的时刻。为开发这样结构的稀疏性，优选可使用下面的范数：

-使用行和获得稀疏时间反应；

-使用列和获得稀疏EEG通道反应。

ADMM在文章[Alickovic et al；to be published]中更详细地描述，其附于本申请后面及上面使用的等式(1)-(12)参考该文章。

例子

针对“多声源环境中感兴趣声源的识别”问题提出的解决方案的实施例包括五个组成部分，其中两个(X1,X2)可看作目标在于在暴露于不同声源并注意这些声源之一时理解人听觉系统怎样反应的预备步骤：

X1，为识别语音对大脑及每一EEG通道的关联的动态影响，构想从语音到EEG的FIR多输入多输出(MIMO)模型(以向该模型提供物理洞察)；

X2，为提供自动选择最高关联的EEG通道和FIR模型的参数(包括时延和模型的阶k)的稀疏模型，使用交替方向乘子算法(ADMM)；

A、为使用该知识并获得可靠的模型来准确地检测感兴趣的单一声源(在实时识别的需求下)，具有合理长的记忆的从语音到EEG的因果模型是必要的。对每一语音流构想全FIR单输入多输出(SIMO)模型；

B，为获得稀疏模型和寻找最佳地描述数据的模型，使用ADMM框架；

C，为确定听者感兴趣的声源，比较每一模型的成本函数。

这五个部分在下面进一步描述。

FIR MIMO模型构想(组成部分X1、X2)

标准的因果多变量FIR模型(FIR(k))可构想为下面的差分方程：

y_j(t)＝b_i,j0u_i(t)+b_i,j,1u_i(t-1)+…+b_i,j,ku_i(t-k)+e_j(t) (2)’

j＝1,…,n_y,i＝1,…,n_u及t＝1,…,N，其中e_j(t)为干扰及k为模型的阶。通常，e_j(t)被认为是白噪声及e_j(t)～N(0,σ_j ²)。对于t<0，还假定u_i(t)＝0和y_j(t)＝0，这是方便的确保因果性的方法。

构想的模型将用于不同目的，及使用的数据量(N)对应于来自滑动窗口(计划的在线应用)、一次试验(一分钟一批的模型选择)、一个听者的所有试验(对于所有30分钟的数据，受试对象特有或个体的模型选择)或所有受试对象的所有试验(大受试对象或全球模型选择)的数据。数据集Ω＝{u₁(1),u₂(1),y₁(1),…,y₁₂₈(N)}是我们手边有的关于需要拟合到模型结构(2)的潜在的实际系统的信息源。

第一目标是构想从每一声源i到每一EEG通道j的FIR(k)MIMO模型。因而，该问题归结为从Nn_y个测量估计来自每一声源的kn_u个模型参数。模型的阶k应小心地选择以包括其间语音信号对EEG信号具有实质影响的所有时滞。在此，主要目的是决定最高关联的EEG通道和时延。解决该问题的简化方法是向简单的最小平方(LS)添加l₁正则化项，导致ADMM，获得更小规模的模型。

等式(2)’可按线性回归框架表示为

y_j(t)＝U^T _i,j(t)B_i,j+e_j(t) (3)’

其中U_i,j(t)为具有元素U^(m) _i,j＝u_i,j(t-m)的回归向量，T指转置，及B_i,j为将刺激U_i,j(t)映射到神经反应y_j(t)的具有元素B^(m) _i,j＝b_i,j,m的函数，m＝1,…,k。为使记法简化，模型(3)’可一般化为将所有n_u个声源及来自一批N数据的n_y个EEG通道解释为

Y＝UB+E (4)’

其中

为汉克尔矩阵，Y和E为N x n_y矩阵，及U为N x k·n_u矩阵。

一旦我们对最提供信息的EEG通道具有更深的理解及时滞被选择，下一目标是获得最稀疏的解决方案。由于我们目标在于获得稀疏B矩阵，B中的非零项将给出在每一特定时滞那些电极活动，即B中的零元素指不活动电极，额非零元素指活动电极。因而，B为最重要的EEG通道和时滞而选择。

FIR SIMO模型构想(组成部分A、B)

下一目标是为每一输入源单独地估计全FIR SIMO模型并尝试选择最好地解释数据的模型。这可按l₁正则化的最小平方(LS)问题解决。类似于等式(4)’中的全FIR MIMO模型，每一输入声源的全FIR SIMO模型可一般化为将来自一批N数据的所有n_y个EEG信号解释为下面等式的模型

Y＝U_iB_i+E (5)’

其中B_i＝[B_i,1,…,B_i,ny]为汉克尔矩阵，及U_i为N x k矩阵。

成本最小化(组成部分C)

l₁正则化的LS问题可定义为：

minimize{(1/2)║Y-UB║²+λ║B║₁} (6)’

Frobenius范数║W║²＝Trace(W^TW)用于第一项的矩阵余部(模型拟合)，Trace(·)为该自变数矩阵的对角元素的和，及

║B║₁＝∑_i,j,m|b_i,j,m|

参数λ>0为正则化参数，按与测量u和y的模型拟合和模型稀疏性之间的权衡设定。等式(6)’中定义的模型也称为最小绝对压缩和选择算子(lasso)[26]。

应注意，通常，我们不试图估计EEG信号的协方差矩阵，而是假定它们为可通过具有同样的噪声电平σ²的静态过程描述的独立的信号。然而，如果存在这样的协方差矩阵，上面的范数容易修改。独立假设使能对B的每一列单独地解决最小平方问题，这节省了大量计算。

还应注意，术语“刺激”指输入语音流，这两个术语在指输入信号u_i时可互换地使用。还应注意，“反应”指输出EEG信号，在谈及输出信号y_j时可互换地使用它们。

模型估计

在下面，讨论可用于找到可靠的注意选择模型的数学工具。l₁正则化的LS问题可修改为凸优化问题并使用针对凸优化的标准方法求解，如CVX[9],[8]或YALMIP[15]。对于大规模l₁正则化的LS问题，开发了特殊目的的特定方法，如PDCO[25]和l1-ls[10]。我们用快速一阶方法ADMM解决lasso问题(6)，如先前所述。

A、正则化参数λ的选择

作为λ的函数的估计的参数序列b_i,j,m称为问题(6)’的“正则化路线”。通常，随着λ减小，模型拟合提高，但结果是许多非零元素，反之亦然。凸分析的基本结果说明，对于在且仅在λ≥λ^max时的一些正λ值，l₁正则化的LS估计量必须收敛到零值估计量b_i,j,m，λ^max可看作阈值，高于该阈值时 因此，λ^max的小部分是确定“最佳”λ值的声音开始。λ^max可表达为：

∞>λ^max＝║U^TY║_∞ (7)’

其中║κ║_∞＝max_i,j|κ_ij|指k的max范数(l_∞)。

为验证等式(7)’，使用来自凸分析的结果(例如参见[11])。使

V_N＝1/2║Y-UB║²+λ║B║_l (8)’

等式(6)’中的目标函数为凸，但不可辨，因此相对于B取(6)’的次微分，得到

其中sign(·)逐分量的定义为

接下来，我们注意到次微分等式(9)’为一组。其容易根据凸程序的最优性条件得出，即在且仅在时B为最优解，(U^TY)_i,j,m∈[-λ,λ]，其产生λ^max＝║U^TY║_∞。λ的声音选择是λ^max的小部分，即(按百分比)(0.01-1)λ^max。

B、Lasso ADMM

按ADMM形式，(6)’中给出的lasso问题如下：

In ADMM form,lasso problem given in is as follows:

minimize1/2║Y-UB║²+λ║B║_l

B＝B (10)’

增广拉格朗日(Augmented Lagrangian，AL)方法将线性项和二次项混合为：

L_ρ(B,B,Δ)＝1/2║Y-UB║²+λ║B║_l+(ρ/2)║B-B+Δ║ (11)’

其中ρ>0为惩罚项，及Δ为与约束条件B＝B联系的标度对偶变量。在每一迭代步骤it中，ADMM使AL单独地跨B和B最小化，具有单一高斯-塞德尔(Gauss-Seidel)通过。在迭代it，执行下面的步骤：

B^it+1＝(U^TU+ρI)^-1(U^TY+ρ(B ^it-Δ^it)) (12a)’

B ^it+1＝S_λ/ρ(B^it+1+Δ^it) (12b)’

Δ^it+1＝Δ^it+B^it+1-B ^it+1 (12c)’

其中软阈值算子S定义为S_λ/ρ(α)＝(α–λ/ρ)₊-(-α–λ/ρ)₊。其中+为下标及算法收敛需要的迭代数量通常受参数ρ的选择的影响。使用适当选择的ρ，ADMM在相当少的几个迭代步骤内即可收敛到适度准确的模型估计量，及ρ可设定为1，即ρ＝1。

我们按(12a)’-(12c)’执行迭代it＝1,2,…，直到收敛为止或者直到满足终止条件为止。设

ε^it _prim＝B^it-B ^it (13a)’

ε^it _dual＝-ρ(B ^it-B ^it-1) (13b)’

为在第it次迭代时的主要和对偶余部。该算法例如在这两个余部满足停止条件时终止，停止条件通常为ε^it _prim＝<∈^prim和ε^it _dual＝<∈^dual，其中∈^prim>0和∈^dual>0为按下面设定的可行性公差

及∈^abs和∈^rel为绝对和相对公差。ADMM在[4]中更详细地讨论。

C、组Lasso ADMM

我们迄今已考虑的问题在(6)’中给出。如果正则化项║B║₁用下面的项代替

即按下面的形式

B＝B (15)’

其中B＝[B ₁,B ₂,…,B _kny]^T。问题(15)’称为组lasso。容易将(15)’重新表示为：

其中E_t为I_kny中的第t行(其中I_kny是大小为kn_y的单位矩阵)。

用于(15)’和(16)’的ADMM与用于(10)’的相同，B ^it用块软阈值代替

B _t ^it+1＝S_λ/ρ(B_t ^it+1+Δ^it)；t＝1,2,…,kn_u (17)’

及软阈值算子S定义为S_λ/ρ(α)＝(1–λ/(ρ·║α║))+α，下标+指表达式的正部分，即S_λ/ρ(0)＝0。

可注意到，(16)’迫使整行为零，这意味着所得的B不必然稀疏，尽管其具有整个的零行。大体上，使用单一值λ，不总是容易找到哪些行实际上被迫使为零。因此，使用可能零行的在前知识(如果这样的知识可得到)是有利的，其可用下面的(16)’的重新表示形式(启发式地)迫使：

其中对那些行给予明显更大的λ_i值。

用MIMO FIR模型选择EEG通道和模型的阶

在下面，讨论与目前的多声源声学刺激情形有关的大脑的动态影响。为获得物理洞察，应用ADMM，目标在于识别最高关联的EEG通道和时延。现在剩下的是决定适当的正则化参数λ，使得模型拟合令人满意，同时零元素的数量保持相当地高。对于较大的k值，低稀疏性在计算上是可怕的。一旦已选择适当的λ，可分析模型动态学。

从更实事求是的角度，现在相当容易观察哪些电极在哪些时滞活动和声音对大脑影响的持续时间。该知识通常可包括在将感兴趣的声源与其它声源分离从而解决鸡尾酒会问题中。

稀疏数据的令人感兴趣的结果是连通性。电极仅拾取大脑表面发生的东西，而神经元实际上可在更深的层级连接。这样，时间接近但物理上分开的稀疏事件可被连接。因而，使用稀疏性，我们可洞察更深的层级及不同的连接和层怎样彼此通信。

我们将使用对应于每一听者的所有试验的数据量N，即N～30试验x60秒x64Hz，用于选择适宜的EEG电极和时延从而理解大脑中的语音表示。

CLASTIC：鸡尾酒会问题中所注意的语音流的分类

为(可能)解决鸡尾酒会问题，现在对(10)’中的每一FIR SIMO模型进行LS估计，并看哪一输入信号给出最小的成本。简单地，仅需要针对第n批估计B_i以计算成本函数最小值

之后，确定用户注意的声源的(可能)方法可以是

识别用户注意的声源(在图中记为)的有关方法可以是使用损失函数的移动平均(MA(p))。则

其中指数k为模型的阶，即模型中考虑的时滞的数量。(21)’意味着我们在p批之后具有所注意声源的第一决定。作为例子，每次考虑一分钟的批量及设p为10。在该情形下，我们在10分钟之后具有第一决定，及决定在其后的每分钟进行更新。

模型的阶k

在下面，提供用于选择模型的阶k(参见FIR(k))即在构想(2)’中的模型时的参数或时滞数量。惩罚函数可添加到简单的LS以找到真实的模型的阶k^*从而避免过学习。直觉的建议是使用正则化的判据，因为正则化参数λ可被认为是我们用以限制模型中的参数的有效数量的“旋钮”，而不用被迫决定哪些参数应消失，而是使判据(8)’使用最影响模型拟合的时滞。因而，当参数k的数量未知时，λ可用作模型拟合和模型的阶之间的折中。由于l₁正则化引入稀疏性，需要足够的自由描述真实系统使得我们可理解语音在大脑内怎样表示，我们评估更高阶的模型，即我们设定k＝5x F_S＝320(在时间t前面的5秒，t＝1,2；…,N)，其中F_S为采样频率(F_S＝64Hz)。

滤波器B,B ₁和B ₂被肯定地视为空间滤波器，将刺激信号(语音流)映射到每一时滞的反应信号(EEG信号)。

个体模型选择(N＝30min)

针对个体模型选择，我们首先引入每一受试对象的所有30分钟的数据的实验结果。正则化参数λ选择成使得所注意的语音流的成本(参见等式(20)’)相较于未注意的语音流的成本更小。

针对等式(4)’中的FIR MIMO模型(估计的)稀疏滤波器B给出跨头皮的每一个别时滞m的滤波器权重B^(m) _i,j。该构想适合一起跟踪左和右耳中的两个竞争语音流。用ADMM引入的稀疏性给出每一个别时滞时的“最活动”电极，其中“最活动”电极将可能指明神经元在更深层级跨更高级的听觉皮层连接。这给出人听觉系统的动态性质的更深的洞察及跟踪大脑内的声音并看每一特定时间点被刺激使得高度兴奋的大脑部分的能力。使用这样的方法，可更好地理解听觉系统在声学复杂背景下怎样提取可理解的语音特征。

滤波器B(可能)与反馈一起解释神经编码机制，及还解释大脑解决鸡尾酒会问题的机制。当对每一时滞和每一受试对象单独地分析B^(m) _i,j时，可识别动态学。可以看出，电极对高达60的FIR滤波器阶的语音流最活动或者最敏感，其对应于在约1秒之后的反应衰减。

为确认该印象，我们跨所有受试对象对滤波器B ^s进行平均，s＝1,2,…,10，使得所有受试对象的所有非零滤波器权重可被一起检验。从“平均”滤波器，可验证对于两语音，大多数神经处理均在前60个时滞期间发生。

注意调制也被进一步调查并针对注意的和未注意的语音流单独地量化。有关的问题是数据集Ω是否使我们能在滤波器B₁和B₂给出的不同模型之间区分，参见等式(5)’。针对两个不同的语音流从数据集Ω构想两个SIMO FIR模型，及针对每一受试对象计算滤波器B ₁和B ₂。如果我们能在滤波器B ₁和B ₂的高度结构图之间区分，则将数据集Ω称为提供信息的数据集[14]。该发现使我们能形象化并更深地理解不同的竞争语音流在大脑中怎样编码。B ₁和B ₂之间的主要差别在针对每一时滞单独绘图时很明显，其确认数据集Ω提供信息或者包含关于语音流的动态学及它们在高度结构图方面的差别的信息。

为调查滤波器序列{B ₁}^s _t和{B ₂}^s _t可能具有什么样的性质，我们进一步对所有时滞t＝1,2,…,N和所有受试对象s＝1,2,…,10对B ₁和B ₂单独地检查跨所有受试对象的平均。随时间和受试对象对滤波器B ₁和B ₂求平均，即

给出哪些EEG通道和时滞已在潜在的系统中捕获。

本发明的洞察指向EEG电极在刺激之后的第一秒中最活动。这可表示更高级听觉皮层处的处理。这也确认数据集Ω提供足够信息以区分滤波器B₁和B₂，因而识别所注意的语音流。

在实施例中，馈给滤波器B用ADMM-线性支持向量机(SVM)算法获得(Y＝U_i*B_i，其中U_i＝声音信号，Y＝EEG信号)。

图2A(的下部)示出了由助听系统的声源分离单元(SSU)提供的、图1A-1J的当前活动的声源S_i的声音信号u_i,i＝1,…,n_u的(包络的)示意性时间段，及(上部)示出了用户耳朵处的(如听力装置中的)输入单元IU接收的所述声音信号的混合信号u_total。

图2B示出了由根据本发明的包括多声音输入单元、声源分离单元EEG系统和声源选择单元的助听系统实施例的n_y个EEG电极拾取及EEG系统提供的、由混合声音信号u_total诱发的相应EEG信号y₁,y₂,…,y_ny的示意性时间段。

使图2A与图2B分开的时线(记为“时间”的粗箭头)用于指明混合的声音信号u_total、单独的声音信号u_i及EEG信号y_j时间上的一致性。

图3示出了根据本发明的助听系统在图1A-1J中所示的声音环境中的实施例。助听系统包括用于提供电输入声音信号u_i,i＝1,…,n_u(在图3中记为u)的输入单元IU，每一电输入声音信号表示来自n_u个声源S_i(i＝1,…,n_u)的声音信号U_i(图3中的记为“声音输入”的粗箭头)；用于记录用户大脑的听觉系统的活动并提供n_y个EEG信号y_j(j＝1,…,n_y)(在图3中记为y)的脑电图系统EEG；及连接到输入单元IU和EEG系统EEG并接收电输入声音信号u和EEG信号y的声源选择处理单元SSPU。声源选择处理单元SSPU配置成根据信号u和y提供指明用户当前注意的声源S_x的声源选择信号在其基础上，声源选择处理单元(或者与之通信的处理单元)配置成估计表示用户当前注意的声音信号U_x的音频信号助听系统还包括输出单元OU，用于基于来自声源选择处理单元SSPU的(电)音频信号提供表示声音信号U_x的刺激。输入单元IU包括多个输入变换器，在此为传声器(记为M_m，m＝1,…,M)，每一输入变换器用于提供表示环境声音的模拟输入电信号。通常，M可以是任何适当的数量，例如一个以上，例如两个以上。输入单元IU还包括多个模数转换器AD，用于将模拟输入电信号转换为数字电输入信号u_total,m，m＝1,…,M，每一数字电输入信号表示所涉及的输入变换器M_m位置处接收的声音信号的混合。输入单元IU还包括声源分离单元SSU，用于分离所述电输入信号u_total,m,m＝1,…,M并提供分离的电输入声音信号的(估计量)u(u_i,i＝1,…,n_u)。声源分离单元SSU例如除声源分离算法之外还可包括波束形成算法，声源分离算法优选展现相当低的时延(如小于50ms，如小于20ms)。输出单元OU包括数模转换单元DA，用于将(数字、电)音频信号转换为模拟输出信号；及包括扬声器形式的输出变换器SPK，用于将模拟电音频信号转换为输出声音信号EEG系统EEG包括多个电极E_j(j＝1,…,n_y)和一参考电极REF。电极拾取的电位(图3中的电极输入)馈给放大器及模数转换单元AMP-AD，其将n_y个放大的数字EEG信号y提供给声源选择处理单元SSPU。助听系统HAS还包括收发器电路Rx/Tx，用于与另一装置如辅助装置或者听力装置交换信息(参见声源选择处理单元SSPU和收发器电路Rx/Tx之间的信号EX)。

根据本发明的声源选择处理单元SSPU连接到输入单元(参见图3中的IU)和EEG系统(参见图3中的EEG)并将电输入声音信号u_i(i＝1,…,n_u,＝图3中的u)和EEG信号y_j,(j＝1,…,n_y,＝图3中的y)接收为输入，及配置成根据其提供指明用户当前注意的声源S_x的声源选择信号这在图4A中示出，其示出了根据本发明的声源选择处理单元SSPU的第一实施例。该声源选择处理单元配置成分析电输入声音信号u_i,i＝1,…,n_u和多个EEG信号y_j,j＝1,…,n_y，其使用基于测量声源和EEG信号之间的相关的成本函数最小化确定选择最适宜的EEG电极和时间间隔的稀疏模型的选择性算法；及配置成基于针对多个声源获得的成本函数确定指明用户当前注意的声源S_x的声源选择信号这例如如上所述使用(如全FIR)单输入多输出(SIMO)单元执行，其中为每一语音流构想模型，及交替方向乘子算法(ADMM)单元提供自动选择最高关联的EEG通道(及非必须地，FIR参数)的稀疏模型。为确定听者感兴趣的声源S_x，成本单元COST用于比较每一模型的成本函数。在选择一个声源的情形下，该声源可通过其指数i(或估计的指数)表示。

图4B示出了根据本发明的声源选择处理单元SSPU的第二实施例。除加权单元WGT插入在成本单元COST后面之外，图4B的实施例与图4A的实施例相同。加权单元将至少部分(如大部分或全部)电输入信号u_i的成本函数接收为输入，并基于其(及可能基于预定判据)提供(至少一定程度上)表示用户当前对可用声音信号的注意的权重w_i(i＝1,…,n_y)(向量w)。权重w_i与电输入声音信号u_i相乘及随后在混合单元MIX中混合以提供声音信号的当前优选的混合这样的混合同样地由图3的声源处理单元提供。在实施例中，单一声源u_x＝u_i(i＝1,…,n_u之一)被选择(使得所有不同于1的权重为零)。在实施例中，所有其它不同于1(对应于优选声源)的权重与小于阈值的低权重相关联(以使不同于用户当前(估计)感兴趣的声源的其它声源可由用户感知)。

图5示出了根据本发明的助听系统的实施例，包括左和右听力装置HD_l,HD_r。图5的助听系统包括与结合图1G和1H所示和所述一样的功能单元。图5的左和右听力装置(中的每一个)例如可基于图3中所示的听力装置的实施例。相较于图3，左和右听力装置的输入单元IU_l,IU_r另外包括天线和收发器电路ANT,Rx/Tx，用于接收无线信号INw(例如包括音频信号，例如来自与所涉及听力装置分开定位的输入变换器(如传声器))。无线接收的信号可包括听力装置周围当前活动的声源S_i的混合，或者可包含声源中的单一声源(如来自讲话者嘴巴处的无线传声器)，或者可实质上仅包括背景噪声信号，等等。无线信号INw连同混合信号u_total,l或u_total,r一起(看情况)馈给声源分离单元SSU，及非必须地，在声源分离单元中用于提供分开的电声源信号u_i,i＝1,…,n_u。在图5中，在相应输入单元中仅指明了一个传声器MIC。然而，输入单元IU_l,IU_r可包括一个以上传声器(如图3中所示)。图3中所示听力装置实施例的输入和输出单元的AD和DA转换器未在图5中示出，但假定按需存在。该助听系统配置成在左和右听力装置之间经耳间链路IAL交换指明用户当前注意的声源S_x的相应声源选择信号相应电输入声音信号u_ir,u_il(u_l,u_r)和相应EEG信号y_jl,y_jr(y_l,y_r)中的一个或多个。左和右听力装置HD_l,HD_r之间交换的信号经相应声源信号处理单元SSPU和耳间收发器单元IA-Rx/Tx之间的(双向)信号IAS传输。该包括左和右听力装置的助听系统还包括使用户能控制助听系统的功能的用户接口UI，例如用于启动不同的运行模式(如程序)、用于识别到用户当前感兴趣的声源的方向以开始识别用户当前感兴趣的声源(基于诱发的EEG电位)等，例如参见图6。

图6示出了助听系统的实施例，包括与便携式(如手持)辅助装置AuxD通信的左(第一)和右(第二)听力装置(HD_l,HD_r)，辅助装置如遥控器或智能电话用作用于助听系统的用户接口UI。第一和第二听力装置(HD_l,HD_r)中的每一个包括适于分别位于耳后和耳中的BTE部分和ITE部分，及例如经连接元件电连接。第一和第二ITE部分(在图6中分别为ITE_l和ITE_r)和/或第一和第二BTE部分(在图6中分别为BTE_l和BTE_r)包括结合图1到5描述的EEG和参考电极。第一和第二BTE部分和/或ITE部分还可(每一个)例如包括一个或多个输入变换器及输出变换器。在实施例中，摒弃BTE部分(及连接元件)，使得听力装置(HD_l,HD_r)的所有功能位于相应ITE部分(ITE_l,ITE_r)中。第一和第二BTE部分(图6中的BTE_l,BTE_r)例如可包括电池、一个或多个输入变换器、信号处理单元和无线收发器。在实施例中，第一和第二BTE部分(BTE_l,BTE_r)中的每一个包括输出变换器及所连接的第一和第二连接元件，每一连接元件包括声学导体如管，用于将来自BTE部分的输出变换器的声音传播到对应的ITE部分(因而传到所涉及的耳朵的耳膜)。在实施例中，该助听系统包括辅助装置(AuxD及用户接口UI)及例如配置成显示与所述系统有关的信息，如与EEG信号的测量和分析有关的信息，例如用户最可能尝试听多个声源(在此为S₁,S₂,S₃)中的哪一声源的估计，及可能其相对于用户的位置的估计(参见图6，下部)。显示助听系统的信息的用户接口可实施为辅助装置(如智能电话)的APP。在图6的实施例中，可用无线链路记为1^st-WL(如听力装置之间的感应链路)和2^nd–WL(1)及2^nd–WL(2)(如辅助装置和左听力装置之间及辅助装置和右听力装置之间的RF链路)。第一和第二无线接口分别通过天线和收发器电路((Rx1/Tx1)_l,(Rx2/Tx2)_l)和((Rx1/Tx1)_r,(Rx2/Tx2)_r)实施在左和右听力装置(HD_l,HD_r)中。包括用户接口UI的辅助装置AuxD适于拿在用户U的手中，因此方便向用户显示信息及由用户使用于控制系统。EEG声源识别APP显示当前存在的声源(S₁,S₂,S₃)及它们相对于用户U的估计的定位(d₁,d₂,d₃)。通过使捕获的EEG信号和各个当前存在的声源信号(如由听力装置的声源分离算法提供)相关联，与低于预定阈值的EEG信号相关的声源记为“低注意”(点线箭头，在此为声源S₁,S₂)，及与高于预定阈值的EEG信号相关的声源记为“高注意”(满线箭头，在此为声源S₃)。相关例如通过根据本发明的从语音到EEG的因果正向FIR模型确定。这样的信息可用于自动和/或手动使得第一和第二听力装置HD_l,HD_r的波束形成器聚焦于与EEG信号具有相对较高相关的声源(S₃)。从而可根据用户的意愿在多声源环境中提供改善的声音感知(如语音可懂度)。备选的用于(自动)关联脑电波信号和当前声源的方案例如在US2014098981A1中涉及，其中确定测得的脑电波和听力装置的正向通路拾取和处理的音频信号之间的相干性。用户注意的当前声源的重算可经EEG声源识别APP通过按压图6中用户接口UI显示的该APP的示例性屏幕的右上部的“屏幕按钮”：按以估计注意而开始。当前具有用户的注意的声源(如S₂)的手动选择(从而优先于自动确定的声源S₃)例如可经用户接口UI进行，例如通过触摸显示器上所涉及的声源(如S₂)。基于音频信号和脑电波信号确定用户当前感兴趣的声源例如可在相应听力装置中进行，及结果传给辅助装置进行比较(评估)和显示。作为备选，计算可在辅助装置中进行以节约听力装置的功率。

当由对应的过程适当替代时，如上所述的、“具体实施方式”中详细描述的和/或权利要求中限定的系统和装置的结构特征可与本发明方法组合。本发明中提出的想法的进一步的细节在文章[Alickovic et al；to be published]中给出，其附于本申请后面并构成可供查看的附录。

除非明确指出，在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接”或“耦合”到另一元件时，可以是直接连接或耦合到其他元件，也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必须精确按照所说明的顺序执行。

应意识到，本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外，特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见，及在此定义的一般原理可应用于其他方面。

权利要求不限于在此所示的各个方面，而是包含与权利要求语言一致的全部范围，其中除非明确指出，以单数形式提及的元件不意指“一个及只有一个”，而是指“一个或多个”。除非明确指出，术语“一些”指一个或多个。

因而，本发明的范围应依据权利要求进行判断。

参考文献

[4]Stephen Boyd,Neal Parikh,Eric Chu,Borja Peleato,and JonathanEckstein.Distributed optimization and statistical learning via thealternating direction method of multipliers.Found.Trends Mach.Learn.,3(1):1–122,January 2011.

[8]Michael Grant and Stephen Boyd.Graph implementations for nonsmoothconvex programs.In V.Blondel,S.Boyd,and H.Kimura,editors,Recent Advances inLearning and Control,Lecture Notes in Control and Information Sciences,pages95–110.Springer-Verlag Limited,2008.

[9]Michael Grant and Stephen Boyd.Cvx:Matlab software for disciplinedconvex programming,version 2.1,mar 2014.

[10]Seung-Jean Kim,K.Koh,M.Lustig,S.Boyd,and D.Gorinevsky.Aninterior-point method for large-scale l1-regularized least squares.SelectedTopics in Signal Processing,IEEE Journal of,1(4):606–617,Dec 2007.

[11]Seung-Jean Kim,K.Koh,M.Lustig,S.Boyd,and D.Gorinevsky.Aninterior-point method for large-scale l1-regularized least squares.SelectedTopics in Signal Processing,IEEE Journal of,1(4):606–617,Dec 2007.

[14]Lennart Ljung.System Identification:Theory for the User.PrenticeHall PTR,Upper Saddle River,NJ 07458,2nd edition,1999.

[15]J.Yalmip:A toolbox for modeling and optimization inMATLAB.In Proceedings of the CACSD Conference,Taipei,Taiwan,2004.

[16]T.Lunner and F.Gustafsson.Hearing device with brainwave dependentaudio processing,April 10 2014.US Patent App.14/048,883,published asUS20140098981A1.

[17]T.Lunner and N.H.Pontoppidan.Configurable hearing instrument,June192014.US Patent App.14/103,399,published as US20140169596A1.

[18]Thomas Lunner.Hearing device with external electrode,March 32015.US Patent 8,971,558.

[21]James A.O’Sullivan,Alan J.Power,Nima Mesgarani,Siddharth Rajaram,John J.Foxe,Barbara G.Shinn-Cunningham,Malcolm Slaney,Shihab A.Shamma,andEdmund C.Lalor.Attentional selection in a cocktail party environment can bedecoded from single-trial eeg.

Cerebral Cortex,25(7):1697–1706,2015.

[23]N.H.Pontoppidan,T.Lunner,M.S.Pedersen,L.I.Hauschultz,P.Koch,G.Naylor,and E.B.Petersen.Hearing assistance device with brain computerinterface,December 18 2014.US Patent App.14/303,844,published asUS20140369537A1.

[24]Alan J.Power,John J.Foxe,Emma-Jane Forde,Richard B.Reilly,andEdmund C.Lalor.At what time is the cocktail party？a late locus of selectiveattention to natural speech.European Journal of Neuroscience,35(9):1497–1503,2012.

[25]Michael Saunders.Pdco:Primal-dual interior method for convexobjectives,oct 2002.

[26]Robert Tibshirani.Regression shrinkage and selection via thelasso.Journal of the Royal Statistical Society,Series B,58:267–288,1994.

[Alickovic et al.；to be published]Emina Alickovic,Carina Graversen,Thomas Lunner,Fredrik Gustafsson,A sparse estimation approach to modelinglistening attention from EEG signals.To be published.

[Bell and Sejnowski,1995]Bell,A.J.and Sejnowski,T.J.An informationmaximisation approach to blind separation and blind deconvolution.NeuralComputation 7(6):1129-1159.1995.

[Boldt et al.,2008]Boldt,J.B.,Kjems,U.,Pedersen,M.S.,Lunner,T.,andWang,D.Estimation of the ideal binary mask using directionalsystems.IWAENC2008.2008.

[Jourjine et al.,2000]Jourjine,A.,Rickard,S.,and Yilmaz,O.Blindseparation of disjoint orthogonal signals:demixing N sources from 2mixtures.IEEE International Conference on Acoustics,Speech,and SignalProcessing.2000.

[Roweis,2001]Roweis,S.T.One Microphone Source Separation.NeuralInformation Processing Systems(NIPS)2000,pages 793-799 Edited by Leen,T.K.,Dietterich,T.G.,and Tresp,V.2001.Denver,CO,US,MIT Press.

[Schaub,2008]Schaub,A.Digital Hearing Aids.Thieme Medical Publishers,2008.

[Pedersen et al.,2008]Pedersen,M.S.,Larsen,J.,Kjems,U.,and Parra,L.C.A survey of convolutive blind source separation methods,Benesty J,SondhiMM,Huang Y(eds):Springer Handbook of Speech Processing,pp 1065-1094 Springer,2008.

[Pedersen et al.,2006]Pedersen,M.S.,Wang,D.,Larsen,J.,and Kjems,U.Separating Underdetermined Convolutive Speech Mixtures.ICA 2006.2006.

Claims (12)

1.一种助听系统，包括：

-用于提供电输入声音信号u_i的输入单元，每一电输入声音信号表示来自多个(n_u个)声源S_i(i＝1,…,n_u)的声音信号U_i；

-脑电图(EEG)系统，用于记录用户大脑的听觉系统的活动并提供多个(n_y个)EEG信号y_j(j＝1,…,n_y)；及

-连接到所述输入单元及所述EEG系统的声源选择处理单元，其接收所述电输入声音信号u_i和所述EEG信号y_j并配置成根据这些信号提供指明用户当前注意的声源S_x的声源选择信号

其中

所述声源选择处理单元配置成：

-分析所述电输入声音信号u_i i＝1,…,n_u及多个EEG信号y_j,j＝1,…,n_y；

-确定从每一声源到每一EEG通道的动态有限脉冲响应(FIR)滤波器；及

-基于针对多个声源获得的成本函数，确定指明用户当前注意的声源S_x的声源选择信号

2.根据权利要求1所述的助听系统，其中所述声源选择处理单元配置成使用刺激重建(SR)方法估计从EEG信号到声源的FIR反向模型。

3.根据权利要求2所述的助听系统，其中所述声源选择处理单元配置成使用稀疏模型对从每一声源到每一EEG通道的线性脉冲反应(FIR)滤波器进行建模。

4.根据权利要求2或3所述的助听系统，其中所述声源选择处理单元配置成使用交替方向乘子算法(ADMM)方法学将优化问题重新表示为在成本函数中具有不同的B向量的另一形式。

5.根据权利要求1所述的助听系统，其中所述声源选择处理单元配置成分析所述电输入声音信号u_i i＝1,…,n_u和多个EEG信号y_j,j＝1,…,n_y，其基于

-确定稀疏模型的选择性算法，该算法基于使测量(各个)声源和EEG信号之间的相关的成本函数最小化而选择最适宜的EEG电极和时间间隔；

-每一电输入声音信号u_i的全FIR单输入多输出(SIMO)模型，该模型基于所述电输入声音信号u_i和所述EEG信号y_j；

-交替方向乘子算法(ADMM)以从所述全FIR单输入多输出(SIMO)模型提供稀疏模型，用于识别最好地描述对应的电输入声音信号和EEG信号数据的模型，

其中用户当前注意的声源S_x通过比较每一模型的成本函数进行确定。

6.根据权利要求1所述的助听系统，其中所述输入单元包括声源分离单元，用于从表示所述声音信号U_i的混合的一个或多个电输入声音信号提供所述电输入声音信号u_i。

7.根据权利要求1所述的助听系统，配置成提供用户当前注意的声音信号U_x的估计量

8.根据权利要求1所述的助听系统，其中所述EEG系统包括多个EEG传感器，每一EEG传感器包括EEG电极，用于提供所述多个EEG信号y_j(i＝1,…,n_y)。

9.根据权利要求1所述的助听系统，包括一个或两个听力装置，每一听力装置适于位于用户耳朵处或耳朵中或者适于完全或部分植入在用户头中，每一听力装置包括用于基于用户当前注意的声音信号U_x的估计量提供可由用户感知为声音的输出刺激的输出单元。

10.根据权利要求9所述的助听系统，其中所述EEG系统包括多个EEG传感器，每一EEG传感器包括EEG电极，用于提供所述多个EEG信号y_j(i＝1,…,n_y)，及其中所述听力装置包括所述EEG系统的至少一部分如所述EEG电极的至少部分。

11.根据权利要求9所述的助听系统，其中所述听力装置包括助听器、头戴式耳机、耳麦、耳朵保护装置或其组合。

12.在多音频源环境中自动选择听力装置的佩戴者预计听的音频源的方法，所述方法包括：

-提供电输入声音信号u_i，每一电输入声音信号表示来自多个(n_u个)声源S_i(i＝1,…,n_u)的声音信号U_i；

-记录用户大脑的听觉系统的活动并提供多个(n_y个)EEG信号y_j(j＝1,…,n_y)；及

-根据所述电输入声音信号u_i和所述EEG信号y_j提供指明用户当前注意的声源S_x的声源选择信号包括：

-分析所述电输入声音信号u_i i＝1,…,n_u及多个EEG信号y_j,j＝1,…,n_y以

--确定从每一声源到每一EEG通道的动态有限脉冲响应(FIR)滤波器；及

--基于针对多个声源获得的成本函数，确定指明用户当前注意的声源S_x的声源选择信号