CN110830898A - 脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统 - Google Patents

脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统 Download PDF

Info

Publication number
CN110830898A
CN110830898A CN201810896174.9A CN201810896174A CN110830898A CN 110830898 A CN110830898 A CN 110830898A CN 201810896174 A CN201810896174 A CN 201810896174A CN 110830898 A CN110830898 A CN 110830898A
Authority
CN
China
Prior art keywords
signal
speech
beamforming
beamformer
envelope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810896174.9A
Other languages
English (en)
Inventor
蒲文强
J·萧
T·张
Z-Q·罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Starkey Laboratories Inc
Original Assignee
Starkey Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Starkey Laboratories Inc filed Critical Starkey Laboratories Inc
Priority to CN201810896174.9A priority Critical patent/CN110830898A/zh
Priority to EP19846617.9A priority patent/EP3836563A4/en
Priority to US17/265,931 priority patent/US11617043B2/en
Priority to PCT/CN2019/099594 priority patent/WO2020029998A1/zh
Publication of CN110830898A publication Critical patent/CN110830898A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • H04R25/604—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Psychiatry (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请公开了一种多模式波束形成器，包括：用于接收多模式输入信号的装置；用于构建优化模型和求解优化模型的装置，其获得对所述多模式输入信号进行线性或非线性组合的波束形成权系数。所述优化模型包括用于获得所述波束形成权系数的优化公式。所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。

Description

脑电图辅助的波束形成器和波束形成方法以及耳戴式听力 系统
技术领域
本发明涉及助听技术领域，具体地，涉及一种用在耳戴式(ear-worn)听力系统中的脑电图辅助的多模式波束形成器以及波束形成方法以及包括该波束形成器的耳戴式听力系统。
背景技术
耳戴式听力系统用来通过传递放大的声音至遭受听觉损失的人的耳道来帮助他们。患者的耳蜗外毛细胞的损坏导致患者的听觉的频率分辨率损失。随着这种情况发展，患者难于区分语音和环境噪声。简单的放大解决不了这个问题。因此，需要帮助这类患者明白嘈杂环境下的语音。通常在耳戴式听力系统中应用波束形成器，以区分语音和噪声，从而帮助患者明白嘈杂环境下的语音。
一方面，在听力系统中应用(由麦克风阵列提供的)空间多样性的双耳波束形成技术是一项公知技术，其能明显改善使用者在嘈杂的多个讲话者环境下对目标讲话者的语义理解。然而，广泛使用的两类波束形成器，如多通道维纳滤波器(Multi-channel WienerFilter，MWF)波束形成器和最小方差无失真响应(Minimum Variance DistortionlessResponse，MVDR)波束形成器，需要关于目标讲话者的先验信息，即，利用传统信号处理方法来提取讲话者的空间先验信息。具体地，MWF波束形成器需要针对参与的讲话者(AttendedTalker)的语音活跃检测(Voice Activity Detection，VAD)，而MVDR波束形成器需要识别参与的讲话者的声学传递函数(Acoustic Transfer Function，ATF)。
在实际应用中，从嘈杂的多个讲话者环境精确地获得这种空间先验信息是不容易的。
另一方面，人脑在嘈杂的多个讲话者环境下识别和跟踪单个讲话者的机理是最近几十年活跃的研究课题。最近几年，通过使用者的脑电图信号(EEG)提取其在多个讲话者环境中的听觉注意力(Auditory Attention，AA)，取得了实质性进展。例如，在S.VanEyndhoven,T.Francart和A.Bertrand，EEG-informed attended speaker extractionfrom recorded speech mixtures with application in neuro-steered hearingprostheses(来自与在神经控制的听力修复中的应用的记录的语音混合的EEG信息的参与的扬声器提取)，IEEE Transactions on Biomedical Engineering,64(5):1045-1056,2017年5月和N.Das,S.Van Eyndhoven,T.Francart和A.Bertrand，EEG-based attention-driven speech enhancement for noisy speech mixtures using n-fold multi-channel wiener filters(用于使用n重多通道维纳滤波器的嘈杂语音混合的基于EEG的注意力驱动的语音增强)，In 2017 25th European Signal Processing Conference(EUSIPCO)中,1660-1664页,2017年8月(上述文件通过引用并入本文以用于所有目的)中公开了基于EEG辅助的AA解码波束形成方法，这些方法直接从EEG信号中获取使用者AA。但是这些方法均以分步骤的方式实现波束形成，即，第一步将通过使用者EEG信号提取(解码)AA，第二步再根据解码的AA实现波束形成或降低噪声。由于分步的实现过程，这些方法有以下两个缺点：
错误的注意力解码的敏感性：由于EEG信号反映人脑的复杂的活动，解码AA可能不总是正确的。一旦AA解码错误，真正目标讲话者会在波束形成阶段被抑制，这对于实际应用来说是非常糟糕的情况。
额外的源分离的过程：在AA解码的步骤中，为了获得每个语音源的包络信息，需要从麦克风接收到的混合的输入语音信号中提取每个语音源的信息，这就带来了额外的盲源分离需求，需要额外且复杂的信号处理方法以实现。
发明内容
因此，为了克服上述缺陷，本申请致力于将AA解码和波束形成整合在一个优化模型中，并以AA偏好的形式分配使用者对不同语音源的注意力偏好。具体地，通过从信号处理的角度建立基于EEG辅助的AA解码与双耳波束形成之间的内在关联，提出了一种用于耳戴式听力系统中的听觉注意力解码和自适应双耳波束形成的联合算法，该方法能够有效利用EEG信号中包含的AA信息，避免了错误AA解码情况下的敏感性问题且不需要额外的盲源分离过程。
将本发明构思的波束形成器命名为脑电图辅助的双耳波束形成器。利用低复杂度的迭代算法(即，公知的梯度投影法(Gradient Projection Method，GPM)和交替方向乘子法(Alternating Direction Method of Multipliers，ADMM))求解所提出的公式。该迭代算法提供了一种可以在实际耳戴式听力系统中实现的有效的波束形成器实施方式。
根据本发明的一个实施例，公开了一种波束形成器，包括：用于接收至少一个脑电图(EEG)信号和来自多个语音源的多个输入信号的装置；和用于构建优化模型和求解优化模型的装置，其获得对所述多个输入信号进行线性或非线性组合的波束形成权系数；其中，所述优化模型包括用于获得所述波束形成权系数的优化公式，所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。
根据本发明的另一个实施例，公开了一种用于波束形成器的波束形成方法，包括：接收至少一个脑电图(EEG)信号和来自多个语音源的多个输入信号；和通过构建优化模型和求解优化模型获得对所述多个输入信号进行线性或非线性组合的波束形成权系数；其中，所述优化模型包括用于获得所述波束形成权系数的优化公式，所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。
根据本发明的又一个实施例，公开了一种耳戴式助听系统，包括：麦克风，其配置为接收来自多个语音源的多个输入信号；脑电图信号接收接口，其配置为接收来自一个或多个脑电图电极的信息并且将脑电图信息进行线性或非线性变换以形成至少一个脑电图(EEG)信号；波束形成器，其接收所述多个输入信号和所述至少一个EEG信号，并且输出波束形成权系数；以及合成模块，其将所述多个输入信号和所述波束形成权系数进行线性或非线性合成，以形成波束形成输出，扬声器，其配置为将所述波束形成输出转换为输出声音，其中，所述波束形成器为根据本发明的波束形成器。
根据本发明的进一步的实施例，公开了一种包括指令的计算机可读介质，所述指令当被处理器执行时能够使得所述处理器执行根据本发明的波束形成方法。
与现有技术中的以分步骤的方式将EEG信号并入波束形成(即，先解码AA，然后进行波束形成)的方法相比，本发明将AA解码与波束形成整合在一个优化模型中，从而能够有效利用EEG信号中包含的AA信息，避免了错误AA解码情况下的敏感性问题且不需要额外的盲源分离过程。
附图说明
图1是根据本发明的耳戴式听力系统的示例实施例的框图；
图2A示出本发明的脑电图辅助的波束形成器的工作原理的示意图；
图2B示出通过图2A的脑电图辅助的波束形成器执行的波束形成方法的示意流程图；
图3示出了用于对本发明的脑电图辅助的波束形成方法与源分离(sourceseparation,SP)-线性约束最小方差(linearly constrained minimum variance，LCMV)方法进行比较的模拟的声学环境的俯视图；
图4示出针对本发明的波束形成方法和SP-LCMV方法的IW-SINRI与Pearson相关的差的关系；
图5示出针对本发明的波束形成方法和SP-LCMV方法的关于大于等于0dB、2dB、4dB的IW-SINRI的百分比；和
图6示出针对本发明的波束形成方法和SP-LCMV方法的IW-SD与Pearson相关的差的关系。
具体实施方式
现在将参照以下实施例更加详细地描述本公开。应当注意的是，在本文中，一些实施例的以下描述仅仅是以示意和说明为目的而呈现的。其并非意为详尽的或者限于所公开的精确形式。
在本申请中所示出的数学公式中，粗体小写字母表示向量，粗体大写字母表示矩阵；H是共轭转置标记，T是转置标记；所有n维复向量的集合由
Figure BDA0001758214370000041
表示；
Figure BDA0001758214370000042
是
Figure BDA0001758214370000043
的第i个元素。本申请的以下具体实施方式引用附图中的主题，通过例示的方式，本申请的说明书附图示出可实施本申请的主题的具体方面和实施例。这些实施例被充分描述以使本领域技术人员实施本申请的主题。对本公开的“一个(an或one)”或“各种”实施例的引用不必针对相同的实施例，并且这种引用预期一个以上的实施例。以下具体实施方式是说明性的并且不以限制意义被采用。
在下文中，将呈现用于描述根据本申请实施例的波束形成器的数学公式。本申请实施例的波束形成器旨在通过从信号处理的角度建立基于EEG辅助的AA解码与双耳波束形成之间的内在关联，改善在嘈杂的多个讲话者环境下参与的讲话者的语音并降低其他影响。为了有效利用EEG信号中包含的AA信息，在根据本申请实施例的波束形成器中，基于EEG辅助的AA解码与双耳波束形成之间的内在关联，通过平衡以下两个方面来实现所述脑电图辅助的波束形成器：(一)语音保真约束下的听觉注意力偏好分配；(二)降低噪声和干扰抑制。
图1是根据本发明的耳戴式听力系统100的示例实施例的框图，该听力系统100包括脑电图辅助的波束形成器108和线性变换模块110。听力系统100还包括：麦克风102，听力系统处理电路104和扬声器106。所述脑电图辅助的波束形成器108可以设置在听力系统处理电路104中，也可以与听力系统处理电路104分开设置。以下说明中，以所述脑电图辅助的波束形成器108设置在听力系统处理电路104中为例进行说明。在一个实施例中，多个讲话者环境中有K个语音源，也称为讲话者，其包括目标讲话者和背景讲话者(其模拟背景噪声)，当目标讲话者之一与耳戴式听力系统使用者交谈时，该目标讲话者称为参与的讲话者，而其他目标讲话者视为干扰(也称为未参与的讲话者)。图1中所示的麦克风102表示M个麦克风，均接收输入声音并产生表示所述输入声音的电信号。处理电路104处理(一个或更多个)麦克风信号以产生输出信号。扬声器106使用所述输出信号产生包括所述语音的输出声音。在各种实施例中，输入声音可包括各种分量，如语音和噪声干扰，以及经由声音反馈路径来自扬声器106的所反馈的声音。处理电路104包括自适应滤波器以降低噪声和声音反馈。在所示实施例中，自适应滤波器包括脑电图辅助的波束形成器108。进一步地，图1还示出线性变换模块110，其经配置以通过位于头部的传感器从听力系统使用者的头部接收EEG信号并对接收到的EEG信号进行线性变换，以获知优化线性变换系数，该线性变换系数根据EEG信号重新构造语音源的包络，以得到语音源的重新构造的包络，并且线性变换模块110进一步经配置以将重新构造的包络传递至脑电图辅助的波束形成器108。在各种实施例中，在助听系统100被实施时，处理电路104接收麦克风信号，且脑电图辅助的波束形成器108利用来自听力系统的麦克风信号和重新构造的包络提供自适应的双耳波束形成。
图2A示出了本公开的脑电图辅助的波束形成器工作原理的示意图。在本发明的实施例中，结合图1所示，由脑电图辅助的波束形成器108接收的作为脑电图辅助的波束形成器108的输入语音信号的麦克风信号使用短时傅里叶变换(STFT)在时频域(Time-FrequencyDomain)中可表示为：
其中，
Figure BDA0001758214370000063
表示帧l(每帧对应于时域中N个输入信号采样)和频带ω(ω＝1，2，…，Ω)处的麦克风信号；
Figure BDA0001758214370000064
是第k个语音源的声学传递函数(ATF)，且
Figure BDA0001758214370000065
是时频域下的对应的输入语音信号；且
Figure BDA0001758214370000066
表示背景噪声。附图2A中仅以示例方式示出了麦克风信号y1(t),y2(t)和yM(t)和相应的时频域中的信号y1(l，ω),y2(l，w)和yM(l，w)。
在本发明的实施例中，脑电图辅助的波束形成器108通过将输入语音信号线性组合而产生了每个耳朵处的输出信号，如图2A所示。具体地，令
Figure BDA0001758214370000067
和
Figure BDA0001758214370000068
分别表示在频带w应用于左耳和右耳的波束形成器。左扬声器和右扬声器处的输出信号为：
通过对{zL(l，w)}l，w和{zR(l，w)}l，w应用逆STFT(ISTFT)，能够合成波束形成输出的时域表示。为简化符号，本文余下部分将省略L和R。通过简单规定听力系统左侧或右侧上的参考麦克风，可将本发明的设计标准应用于左耳或右耳。
在本发明的实施例中，脑电图辅助的波束形成器108经配置以具有用于构建优化模型和求解优化模型装置，其基于AA解码的回归模型，从信号处理的角度建立EEG辅助的AA解码与双耳波束形成之间的内在关联，并通过平衡以下两个方面：(一)语音保真约束下的听觉注意力偏好分配；(二)降低噪声和干扰抑制，获得对多个输入语音信号进行线性组合的波束形成权系数。其中，优化模型包括用于对多个输入语音信号中的干扰进行抑制并获得波束形成权系数的优化公式。在各种实施例中，处理电路104经配置以进一步通过利用低复杂度的迭代算法求解该优化公式，使得所述脑电图辅助的波束形成器108的输出信号满足关于所述输出信号中的语音保真约束下的听觉注意力偏好分配和降低噪声规定的标准。
在本公开的实施例中，线性变换模块110经配置以获知优化线性变换系数，由此重新构造语音源的包络，以得到语音源的重新构造的包络。换句话说，在本公开的实施例中，用线性变换把脑电图信号转换到语音源的语音信号的包络，然后通过求解优化模型以进行波束形成器设计。另外，将脑电图信号用于波束形成器设计包括但不限于本发明的实施例所公开的线性变换方法，还包括其他方法，如，非线性变换，或者用神经网络的方法。具体地，令为使用者在时刻t(t＝1，2，…)时EEG通道i(i＝1，2，…，C)的EEG信号，并假定讲话者1为参与的讲话者(与听力系统使用者交谈的目标讲话者)，其包络为s1(t)，且令sa(t)表示对应于时域中的输入语音信号的参与语音源的语音信号的包络。以均方差而言，给出优化模型公式：
Figure BDA0001758214370000071
在公式2中，gi(τ)是对应于具有延迟τ的EEG信号的线性回归系数，E是期望运算符号。正则函数
Figure BDA0001758214370000073
规定线性回归系数gi(τ)的时间平滑偏好，表示gi(τ)-gi(τ+1)不能太大，且λ≥0是对应的正则参数，且
Figure BDA0001758214370000074
为EEG信号，其具有不同的延迟τ＝τ1，τ1+1，…，τ2。优化公式2是具有在(W.Biesmans,N.Das,T.Francart,and A.Bertrand，Auditory-inspired speech envelope extractionmethods for improved eeg-based auditory attention detection in a cocktailparty scenario(用于改善鸡尾酒会环境中的基于EEG的听觉注意力检测的听觉启示的语音包络激活方法)，IEEE Transactions on Neural Systems and RehabilitationEngineering,25(5):402-412,2017年5月(上述文件通过引用并入本文以用于所有目的)中公开的)方法中给出的封闭形式的解的凸二次公式，在此不进行描述。以此方式，获知优化线性变换系数
Figure BDA0001758214370000075
其中，
Figure BDA0001758214370000076
该线性变换系数根据EEG信号重新构造参与的语音源的包络sa(t)。
基于获知的优化线性变换系数
Figure BDA0001758214370000077
参与的语音源的包络可根据EEG信号被重新构造为
Figure BDA0001758214370000078
接下来，将给出EEG信号与波束形成信号之间的内在关联。直观地，优化公式2的物理含义是重新构造的包络应当具有与参与的讲话者的包络s1(t)的强的相关。另一方面，波束形成输出实际是由麦克风接收的不同种类的输入信号的波束形成器规定的混合。在波束形成器的适当规定的情况下，s1(t)能够是波束形成输出处的主要分量。因此，用于利用EEG信号设计波束形成器的自然且直接的方式是最大化语音源的重新构造的包络
Figure BDA0001758214370000084
和波束形成输出的包络之间的Pearson相关。
为此，首先，给出时域下的波束形成输出的包络的数学公式。在本公开的实施例中，脑电图辅助的波束形成器108经配置以得到波束形成输出的包络。具体地，从信号处理的角度，每个时间采样被表示为波束形成器的函数。假设波束形成输出对应于时间采样指数t，t+1，…，t+N-1。令z(t)，z(t+1)，…，z(t+N-1)表示时域下的波束形成输出，则其包络实际是对应的解析信号形式
Figure BDA0001758214370000085
的绝对值，其能够通过离散傅里叶变换(DFT)根据波束形成权系数{(ω)}ω被表示为：
Figure BDA0001758214370000081
在公式3中，
Figure BDA0001758214370000086
是用于形成解析信号的对角矩阵，
Figure BDA0001758214370000087
是离散傅里叶变换矩阵(DFT矩阵)的逆，而
Figure BDA0001758214370000088
是用于补偿在用于表示多个输入信号所使用的短时傅里叶变换(STFT)中使用的合成窗的对角矩阵。为了简化符号，公式3简写为：
Figure BDA0001758214370000082
其中，
Figure BDA0001758214370000089
是所要求解的波束形成权系数，且
Figure BDA00017582143700000810
由{y(l，ω)}ω和矩阵DW，F和DH中的系数确定。通过公式3和4，波束形成输出的包络表示为：
Figure BDA0001758214370000083
进一步地，在本公开的实施例中，脑电图辅助的波束形成器108经配置以得到由线性变换模块110所传递的重新构造的包络
Figure BDA00017582143700000811
和波束形成输出的包络
Figure BDA00017582143700000812
之间的Pearson相关。具体地，对于给定的时间段t＝t1，t1+1，...，t2，相应语音源的包络
Figure BDA00017582143700000813
和波束形成输出的包络
Figure BDA00017582143700000814
之间的Pearson相关系数表示为：
Figure BDA0001758214370000091
其中，
Figure BDA0001758214370000094
和
Figure BDA0001758214370000095
注意，公式6假设语音源的重新构造的包络
Figure BDA0001758214370000096
和波束形成输出的包络
Figure BDA0001758214370000097
以相同的采样率同步。实际上，语音源的重新构造的包络
Figure BDA0001758214370000098
具有与EEG信号相同的采样率(即，几十或几百Hz)，而波束形成输出的包络
Figure BDA0001758214370000099
对应于音频采样率(如，16kHz)。需要额外的同步过程，但该过程不改变公式6，即，根据输入语音信号和EEG信号之间的采样率比从公式4中重新采样
Figure BDA00017582143700000910
接着，通过最大化Pearson相关系数κ({w(ω)})，提取EEG信号中包含的AA信息以设计波束形成器。然而，双耳波束形成器的实际设计还需要若干其他不可忽视的考虑，即，语音失真、降低噪声和干扰抑制等。因此，本发明的脑电图辅助的波束形成器的优化公式将Pearson相关系数κ({w(ω)})与以下两个主要因素组合：
(1)语音保真约束下的听觉注意力偏好分配：从信号处理的角度，仅最大化Pearson相关系数κ({w(ω)})来设计波束形成器{w(ω)}ω可导致每个语音源的不受控的语音失真。由于允许在不同频带之间的w(ω)Hhk(ω)处的空间响应的任何变化，因此，为了控制语音失真，一组鲁棒的等式约束
Figure BDA00017582143700000911
经施加以保证第k个语音源的所有频带上的空间响应共用公共的实值αk。这种等式约束表示在波束形成输出处的第k个语音源的输入语音信号的分量仅由αk缩放而不具有任何频率失真。在上述考虑下，听觉注意力偏好分配被公式化为：
Figure BDA0001758214370000093
在公式7中，κ({w(ω)})表示公式6中限定的Pearson相关系数，其是在所有频带上的关于波束形成权系数{w(ω)}ω的平滑的非凸函数。额外的变量α＝[α1，α2，…，αK]T以及约束(7a)保证在波束形成输出处的K个语音源的输入语音信号由α线性组合，且公式7b表示向量α＝[α1，α2，…，αK]T中的元素的和为1。以此方式，α实际表示K个语音源中的听觉注意力偏好。
(2)降低噪声和干扰抑制：除了调整听觉注意力，还考虑背景噪声的能量以最小方差的形式减少：
Figure BDA0001758214370000101
其中，
Figure BDA0001758214370000104
是背景噪声相关矩阵。
进一步地，在本公开的实施例中，脑电图辅助的波束形成器108经配置以根据以上因素得到脑电图辅助的波束形成器108的优化公式。具体地，组合公式7和8，可得到根据本发明的用于脑电图辅助的波束形成器108的优化公式：
在公式9中，额外的正则项-γ||α||2为优化公式的正则项，其中，||·||2表示向量α＝[α1，α2，…，αK]T的欧式范数，其规定听觉注意力的稀疏偏好，该项将一个αk朝向1分配，而将其他的αk朝向0分配。μ＞0和γ≥0是预定参数，其用于平衡去噪、分配注意力偏好和控制注意力偏好稀疏度。
在各种实施例中，处理电路104经配置以通过利用低复杂度的迭代算法(即，公知的GPM和ADMM)求解该优化公式。在本发明的实施例中，由于非线性函数-μk({w(ω)})和-γ||α||2，公式9是非凸公式。由于其约束偏好于有利形式，即，在公式7a中在频带w上关于波束形成器{w(ω)}ω的可分离的线性约束，因此，采用GPM来求解，通过采用该可分离的属性，其承认计算上有效的实施方式。在适当步长规则的情况下(即，在试验中采用Armijo(阿米霍)规则)，GPM利用保证的收敛性(见D.P.Bertsekas，Nonlinear programming(非线性规划)，雅典娜科学贝尔蒙特(Athena scientific Belmont)，1999年中的命题2.3)求解公式9。由于GPM求解公式9的主要计算工作是由公式(7a)和(7b)限定的多面体上的投影，使用ADMM来求解该投影公式，这导致关于封闭形式的波束形成器{w(ω)}ω的原始更新的并行实施方式。求解算法遵从GPM和ADMM算法的标准更新过程。
下面将介绍求解根据本发明的用于脑电图辅助的波束形成器108的优化公式的具体过程。具体地，将公式9中的目标函数表示为：
Figure BDA0001758214370000103
并令
其为目标函数f({w(ω)}，α)的梯度，其中，
Figure BDA00017582143700001110
(或
Figure BDA00017582143700001111
)表示关于w(ω)(或α)的梯度分量。GPM将
Figure BDA00017582143700001112
迭代地更新为：
Figure BDA0001758214370000111
其中，t为迭代指数，
Figure BDA00017582143700001113
为xt处的目标函数f({w(ω)}，α)的梯度，[·]+表示对等式约束(7b)和(7a)的投影运算，s为预定的正标量(常数)，且λt为根据Armijo规则确定的步长。上述GPM更新的主要计算过程是对公式(10a)中的投影运算。接着，将针对公式(10a)导出ADMM算法，其是低复杂度的迭代算法并接受频带上的并行实施方式。
公式(10a)中的投影运算等同于以下凸优化方程(省略迭代指数t)
Figure BDA0001758214370000113
Figure BDA0001758214370000114
Figure BDA0001758214370000115
针对方程11的增广拉格朗日函数为：
Figure BDA0001758214370000116
其中，ζk，ω和η为拉格朗日因子，其分别与等式约束(7a)和(7b)相关联；ρ＞0是针对ADMM算法的预定义的参数。由于针对{w(ω)}在频带w上Lρ是可分离的，ADMM算法将({ω(ω)}，α，{ζk，ω}，η)迭代地更新为：
Figure BDA0001758214370000117
Figure BDA0001758214370000118
Figure BDA0001758214370000119
ηl+1＝ηl+ρ(1Tα-1) (12d)
其中，l为迭代指数。
注意，公式(12a)为简单的无约束的凸二次公式，其具有封闭形式的解(利用低复杂度的迭代算法)。公式(12b)为具有非负约束α≥0的凸二次公式，其是容易求解的。所有的ADMM更新利用低复杂度的迭代算法，且公式(12a)和(12c)能够在实际应用中进一步并行实施以提高计算效率。
在本发明的实施例中，从信号处理的角度建立EEG信号与波束形成信号之间的内在关联并将AA解码和波束形成集成在单个优化模型(公式9)中。图2A示出了本公开的脑电图辅助的波束形成器工作原理的示意图，图2B是与图2A对应的流程图，其示出了本公开的脑电图辅助的波束形成方法的流程图，其包括三个步骤。如图2A和2B所示，本实施例中仅仅以示例方式示出了三通道的语音信号，但是本发明不限于此。在第一步骤S1中，麦克风处接收的输入语音信号y1(t),y2(t)和yM(t)通过STFT适当地变换至时频域的信号y1(l，ω),y2(l，ω)和yM(l，ω)，以及EEG信号通过预训练的线性变换适当地变换至时域并且输入至脑电图辅助的波束形成器。在第二步骤S2中，适当变换的信号(包括经过变换的输入语音信号和经过变换的EEG信号)被组合以利用如上的优化标准设计波束形成器，其目的在于通过利用EEG信号中包含的AA信息增强参与的讲话者的语音，以得到波束形成权系数ω1(ω)，ω2(ω)和wM(ω)。在最后一个步骤S3中，应用所设计的脑电图辅助的波束形成器获得的波束形成权系数对经过SFTF变换的信号y1(l，ω),y2(l，ω)和yM(l，ω)进行组合以经由ISTFT合成波束形成输出。
下面将描述EEG数据库，从该EEG数据库选取实验参与者进行后续实验以体现根据本发明的波束形成方法的性能优势。图3示出了用于对根据本申请实施例的脑电图辅助的波束形成方法与SP-LCMV方法进行比较的模拟的声学环境的俯视图。在所述模拟的声学环境(如图3所示的直角坐标系，选取房间内某一高度的水平面上的5m*5m的范围表示房间的一部分)中，如图3所示，共包括18个语音源(讲话者)，其中只有P5和P6为目标讲话者，P11-P26均为背景讲话者，用以模拟背景噪声；实验参与者在房间中间；P5和P6分别在实验参与者的正下方和正上方且在距离实验参与者1m的位置处；P11-P26均匀分布在以实验参与者为圆心半径为2m的圆周上，即，相邻扬声器之间呈22.5度，其中，P25在实验参与者正上方，如图3所示。
在多个讲话者的嘈杂且有回声的环境下，从4个正常听力实验参与者收集EEG信号。实验参与者位于房间的中心位置处，其中讲话者在实验参与者正下方和正上方(P5，P6)。在实验参与者倾听两个讲话者之一的说话时，两个讲话者中的另一个就是干扰，使用分布在房间中的其余16个语音源生成背景噪声。两个讲话者说话声音大小强度设定为一样，且高于背景噪声5dB。实验中使用一组ER-3插入式耳机将所得到的音频信号呈献给实验参与者，音频信号的强度处于“大声但舒适”的水平。
指示实验参与者进行双耳听力任务且同时倾听讲话者之一的说话。
具体地，在本发明的实施例中，从EEG数据库选择部分实验条件以及4个实验参与者用于评估。在本发明的实施例中，每个参与实验的实验参与者被要求将注意力集中在讲话者P5和P6各10分钟。针对每个实验参与者记录的总时间为20分钟。将20分钟的记录分成不重叠的长度30秒的40个时间段。这些时间段中的留一交叉验证用来训练优化线性变换系数
Figure BDA0001758214370000131
并评估波束形成性能。具体地，对于每个时间段，通过将其相应的30秒EEG信号和训练的
Figure BDA0001758214370000132
并入波束形成过程，
Figure BDA0001758214370000133
对所有其他时间段训练，且波束形成性能对自身评估。
使用64通道的头皮EEG系统以10khz的采样频率记录实验参与者的响应。所有记录在脑产品硬件上完成。
以此方式，建立EEG数据库。下面将根据所建立的EEG数据库对根据本发明的波束形成方法进行评估。
具体地，在本发明的实施例中，为了研究根据本发明的波束形成方法和其他可分离方法(AA解码和波束形成通常以可分离的方式组合，即，使用源分离方法提取AA解码的来自讲话者的语音信号，然后基于解码的AA进行波束形成)之间的性能差别，使用基于线性约束最小方差(linearly constrained minimum variance，LCMV)波束形成的可分离方法作为基准。该方法应用两个不同的LCMV波束形成器(即，使用线性约束保留一个语音源且拒绝另一个语音源)来通过比较分离的信号关于重新构造的包络
Figure BDA0001758214370000134
的Pearson相关而分离两个语音源的信号且然后解码AA。具有较大Pearson相关的一个LCMV波束形成输出被选择作为最终波束形成输出。为了简便起见，将该方法作为源分离(SP)-LCMV方法。
智能加权的信号干扰和噪声比改善(Intelligibility-weighted SINRimprovement,IW-SINRI)和智能加权的谱失真(intelligibility-weighted spectraldistortion,IW-SD)被用作性能的度量标准以评估波束形成输出信号。
在本实验中，EEG信号和麦克风处接收到的输入信号分别以20Hz和16kHz重新采样。在线性回归系数gi(τ)的训练阶段，在公式2中使用所有C＝63个EEG通道，且EEG信号的延迟针对每个EEG通道被规定为0-250ms(其对应于20Hz采样率下的τ＝0，1，…，5)。公式2中的期望运算由有限记录样本的样本平均替换，且公式2中的λ是固定的，为5*10-3。在波束形成评估阶段，具有50％重叠的512点FFT用在STFT(汉宁(Hanning)窗)中。
图4示出本发明的波束形成方法和SP-LCMV方法在处理AA信息的不确定性方面的语音增强行为的差异，其示出IW-SINRI与Pearson相关的差Δρ＝ρatt-ρunatt的关系。其中，ρatt(ρunatt)是重新构造的包络
Figure BDA0001758214370000141
与参与的(未参与的)讲话者的输入信号之间的Pearson相关，其由适当的LCMV波束形成器从麦克风信号分离。另外，图4中的实线和圆点表示针对本申请的波束形成方法所得到的数据，而虚线和方框点表示针对SP-LCMV方法所得到的数据。特别地，如图4中所示，对于实验参与者2，在γ＝10时，通过两种方法所得到的实线和虚线几乎重合。在EEG信号中包含的AA信息通过获知的优化线性变换系数
Figure BDA0001758214370000142
根据包络编码，在某些方面，Δρ的值反映其中语音源可能是参与的语音源的置信度。根据图4，能观察到，在γ＝0时，本发明的方法的IW-SINRI范围从-2至8dB。这是因为本发明的方法为参与的语音源分配具有在0和1之间的一些值的AA偏好。对于SP-LCMV方法，由于其分离的AA解码过程，IW-SINRI被分组为大约-2或8dB。在γ增加到100时，本发明的方法为双极形式并具有与SP-LCMV方法非常类似的结果。有意思的观察是在γ＝0时，IW-SINRI与Δρ之间的近似线性相关能够被观察到，这展示出本发明的方法捕获AA信息的不确定性的能力。Δρ越大，参与的语音源的AA的置信度越高，并且因此实现较高的IW-SINRI。
由于本发明的方法以柔和方式增强语音，因此，为了定量评估其语音增强能力，使用大于一定阈值的对应的IW-SINRI的时间段的百分比作为评估度量标准。具体地，在图5中比较本发明的方法和SP-LCMV方法关于大于等于0、2、4dB的IW-SINRI的百分比，其中，如图所示，针对每个实验参与者的每个γ，六个条形图的深度逐渐减轻，具体地，如，对于图5中的(a)实验参与者1而言，在γ＝0时，所得的六个百分比的条形图的深度逐渐减轻，并且六个条形图从左至右依次是：IW-SINRI大于等于0dB时，针对本申请的波束形成方法所得到的数据；IW-SINRI大于等于0dB时，针对SP-LCMV方法所得到的数据；IW-SINRI大于等于2dB时，针对本申请的波束形成方法所得到的数据；IW-SINRI大于等于2dB时，针对SP-LCMV方法所得到的数据；IW-SINRI大于等于4dB时，针对本申请的波束形成方法所得到的数据；IW-SINRI大于等于4dB时，针对SP-LCMV方法所得到的数据，如图中所标注的说明所示。类似地，对于图5中的(a)实验参与者1而言，在γ＝10时与γ＝100时，条形图的分布与之相似；进一步地，其他实验参与者的在图5中所示的条形图的分布也具有类似的规律。
能够发现，在γ＝0时，本发明的方法针对IW-SINRI≥0dB具有最大的百分比还针对IW-SINRI≥4dB具有最小的百分比。这意味着在γ＝0时，本发明的方法对增强语音执行“安全策略”，即，针对Δρ接近于0的那些时间段，如主要在图4中示出的，每个语音源被部分保留在波束形成输出处。在另一方面，随着γ增加，更多的时间段具有大于4dB的IW-SINRI，其中，一些时间段的IW-SINRI的耗费低于0dB。而且，γ＝100给出与SP-LCMV方法类似的结果。
此外，语音增强的另一个重要问题是语音失真。由于本发明的方法和SP-LCMV方法针对每个语音源都有线性约束，因此他们具有类似的IW-SD，如图6所示。图6示出本发明的方法和SP-LCMV方法的IW-SD与Pearson相关的差的关系，其中，图6中的实线和圆点表示针对本申请的波束形成方法所得到的数据，而虚线和方框点表示针对SP-LCMV方法所得到的数据。注意，本发明的方法调整0和1之间的αk，在计算IW-SD时，波束形成输出处的语音信号根据αk被缩放。而且对于两种方法，其中参与的语音源被完全拒绝的那些时间段(即，w(ω)Hh(ω)＝0)在图6中未示出。
根据本申请实施例的波束形成器基于EEG辅助的AA解码工作，旨在通过从信号处理的角度建立EEG辅助的AA解码与双耳波束形成之间的内在关联，改善在嘈杂的多个讲话者环境下参与的讲话者的语音并降低其他影响。为了有效利用EEG信号中包含的AA信息，在根据本申请实施例的波束形成器中，基于EEG辅助的AA解码与双耳波束形成之间的内在关联，通过平衡以下两个方面来实现所述脑电图辅助的波束形成器：(一)语音保真约束下的听觉注意力偏好分配；(二)降低噪声和干扰抑制。
应当理解，本申请所引用的耳戴式听力系统包括处理器，其可为DSP、微处理器、微控制器或其他数字逻辑。本申请所引用的信号处理可利用处理器执行。在各种实施例中，处理电路104可在这种处理器上实施。处理可在数字域、模拟域或其组合中完成。可使用子带处理技术完成处理。可利用频域或时间域方法完成处理。为了简便，在一些示例中，可省略用于执行频率合成、频率分析、模数转换、放大以及其他类型的滤波和处理的框图。在各种实施例中，处理器经配置以执行存储在存储器中的指令。在各种实施例中，处理器执行指令以执行若干信号处理任务。在这种实施例中，模拟分量与处理器通信以执行信号任务，如，麦克风接收或接收器声音实施例(即，在使用这种传感器的应用中)。在各种实施例中，本文所提出的框图、电路或过程的实现可在不偏离本申请的主题的范围的情况下发生。
本申请的主题被示为用于耳戴式听力系统，包括助听器，包括但不限于，耳背式(BTE)助听器、耳内式(ITE)助听器、耳道式(ITC)助听器、内置受话器(RIC)助听器或完全耳道式(CIC)助听器。应当理解，耳背式(BTE)助听器可包括基本在耳朵后面或耳朵上面的装置。这种装置可包括具有与耳背式(BTE)装置的电子部分相关联的接收器的助听器或具有在使用者的耳道中的接收器类型的助听器，包括但不限于内置受话器(RIC)或耳中接收器(RITE)设计。本申请的主题通常还能够用在助听装置中，如，人工耳蜗类型的助听装置。应当理解，本文未明确陈述的其他助听装置可与本申请的主题结合使用。
还描述了本发明的以下示例实施例：
实施例1、一种波束形成器，包括：
用于接收至少一个脑电图(EEG)信号和来自多个语音源的多个输入信号的装置；和
用于构建优化模型和求解优化模型的装置，其获得对所述多个输入信号进行线性或非线性组合的波束形成权系数；
其中，所述优化模型包括用于获得所述波束形成权系数的优化公式，所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。
实施例2、根据实施例1所述的波束形成器，其中，建立所述至少一个脑电图信号与波束形成输出之间的关联包括利用非线性变换或用神经网络的方法建立所述至少一个脑电图信号与波束形成输出之间的关联。
实施例3、根据实施例1所述的波束形成器，其中，建立所述至少一个脑电图信号与波束形成输出之间的关联包括利用线性变换建立所述至少一个脑电图信号与波束形成输出之间的关联。
实施例4、根据实施例3所述的波束形成器，其中，所述优化公式包括Pearson相关系数：
Figure BDA0001758214370000171
其中，
Figure BDA0001758214370000173
和
Figure BDA0001758214370000174
且其中，
Figure BDA0001758214370000175
是由所述至少一个EEG信号重新构造的参与语音源的语音信号的包络；z(t)表示波束形成输出；
Figure BDA0001758214370000176
是对应于所述波束形成输出的解析信号；
Figure BDA0001758214370000177
是所述波束形成输出的包络，其是所述解析信号
Figure BDA0001758214370000178
的绝对值；k({w(ω)})表示对于给定的时间段t＝t1，t1+1，...，t2，所述重新构造的参与语音源的语音信号的包络
Figure BDA0001758214370000179
和所述波束形成输出的包络
Figure BDA00017582143700001710
之间的所述Pearson相关系数；{w(ω)}ω为所述波束形成权系数；ω(ω＝1，2，…，Ω)表示频带。
实施例5、根据实施例4所述的波束形成器，进一步包括用于接收重新构造的参与语音源的语音信号的包络的装置，且其中，基于优化线性变换系数
Figure BDA00017582143700001711
根据所述至少一个EEG信号，得到所述重新构造的参与语音源的语音信号的包络
Figure BDA00017582143700001712
且所述重新构造的参与语音源的语音信号的包络被传递至所述用于接收重新构造的参与语音源的语音信号的包络的装置，
其中，根据对以下公式求解获知所述优化线性变换系数
Figure BDA00017582143700001713
Figure BDA0001758214370000172
其中，
Figure BDA00017582143700001714
为时刻t(t＝1，2，…)时所述至少一个EEG信号中的EEG通道i(i＝1，2，…，C)所对应的EEG信号且τ为时间延迟；sa(t)表示对应于所述多个输入信号的所述参与语音源的语音信号的包络；gi(τ)是对应于具有延迟τ的EEG通道i的所述EEG信号的线性回归系数，E是期望运算符号；正则函数限定所述线性回归系数gi(τ)的时间平滑性；且λ≥0是对应的正则参数。
实施例6、根据实施例5所述的波束形成器，其中，所述解析信号通过离散傅里叶变换根据所述波束形成权系数{w(ω)}ω被表示为：
Figure BDA0001758214370000181
其中，
Figure BDA0001758214370000185
是用于形成所述解析信号的对角矩阵，
Figure BDA0001758214370000186
是所述离散傅里叶变换矩阵的逆；
Figure BDA0001758214370000187
表示帧l和频带ω(ω＝1，2，…，Ω)处的所述多个输入信号，帧l对应于N个采样时间点t，t+1，…，t+N-1，而是用于补偿在用于表示所述多个输入信号所使用的短时傅里叶变换(STFT)中使用的合成窗的对角矩阵，
所述解析信号进一步被等价地表示为：
Figure BDA0001758214370000182
其中，是所述波束形成权系数，且
Figure BDA00017582143700001810
由{y(l，ω)}ω和矩阵DW，F和DH中的系数确定，以及
通过所述解析信号，将所述波束形成输出的包络表示为：
Figure BDA0001758214370000183
实施例7、根据实施例6所述的波束形成器，其中，所述波束形成输出的包络
Figure BDA00017582143700001812
的采样率对应于所述多个输入信号的音频采样率。
实施例8、根据实施例6所述的波束形成器，其中，所述优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数包括最大化所述Pearson相关系数κ({w(ω)})，以提取所述至少一个EEG信号中包含的听觉注意力(AA)信息。
实施例9、根据实施例8所述的波束形成器，其中，在所述最大化所述Pearson相关系数κ({w(ω)})过程中施加具有鲁棒性的等式约束
Figure BDA00017582143700001813
以控制语音失真，
其中，α＝[α1，α2，…，αK]T为额外的变量，其表示所述多个语音源中的听觉注意力偏好；hk(ω)是第k个语音源的声学传递函数；K为所述多个语音源的个数。
实施例10、根据实施例9所述的波束形成器，其中，所述优化公式变为：
Figure BDA0001758214370000184
其中，
Figure BDA0001758214370000198
是背景噪声相关矩阵；-γ||α||2为所述优化公式的正则项，其中，||·||2表示所述额外的变量α＝[α1，α2，…，αK]T的欧式范数；μ＞0和γ≥0是预先设定的参数，其用于平衡去噪、分配注意力偏好和控制注意力偏好稀疏度，且
Figure BDA0001758214370000199
表示所述额外的变量中的元素的和为1。
实施例11、根据实施例10所述的波束形成器，其中，所述优化模型利用梯度投影法(GPM)和交替方向乘子法(ADMM)求解，其包括以下步骤：
(a)将所述优化公式中的目标函数表示为：
Figure BDA0001758214370000191
并令
Figure BDA00017582143700001910
优化公式的梯度，
其中，表示关于w(ω)的梯度分量；表示关于α的梯度分量；
(b)所述GPM将迭代地更新为：
Figure BDA0001758214370000193
其中，t为迭代指数，
Figure BDA00017582143700001914
为xt处的所述目标函数的梯度，[·]+表示对等式约束
Figure BDA00017582143700001915
和
Figure BDA00017582143700001916
的投影运算，s为常数，且λt为根据Armijo规则确定的步长；
(c)公式(10a)中的投影运算等同于以下凸优化方程：
Figure BDA0001758214370000194
Figure BDA0001758214370000195
Figure BDA0001758214370000196
针对方程11a、11b和11c的增广拉格朗日函数为：
Figure BDA0001758214370000197
其中，ζk，ω和η为拉格朗日因子，其分别与所述等式约束相关联；ρ＞0是针对ADMM算法的预定义的参数，
(d)所述ADMM算法将({ω(ω)}，α，{ζk，ω}，η迭代地更新为：
Figure BDA0001758214370000201
Figure BDA0001758214370000202
Figure BDA0001758214370000203
ηl+1＝ηl+ρ(1Tα-1) (12d)
其中，l为迭代指数；以及
(e)得到公式12的结果。
实施例12.一种用于波束形成器的波束形成方法，包括：
接收至少一个脑电图(EEG)信号和来自多个语音源的多个输入信号；和
通过构建优化模型和求解优化模型获得对所述多个输入信号进行线性或非线性组合的波束形成权系数；
其中，所述优化模型包括用于获得所述波束形成权系数的优化公式，所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。
实施例13、根据实施例12所述的波束形成方法，其中，建立所述至少一个脑电图信号与波束形成输出之间的关联包括利用非线性变换或用神经网络的方法建立所述至少一个脑电图信号与波束形成输出之间的关联。
实施例14、根据实施例12所述的波束形成方法，其中，建立所述至少一个脑电图信号与波束形成输出之间的关联包括利用线性变换建立所述至少一个脑电图信号与波束形成输出之间的关联。
实施例15、根据实施例14所述的波束形成方法，其中，所述优化公式包括Pearson相关系数：
Figure BDA0001758214370000204
其中
Figure BDA0001758214370000205
且其中，
Figure BDA0001758214370000206
是由所述至少一个EEG信号重新构造的参与语音源的语音信号的包络；z(t)表示波束形成输出；
Figure BDA0001758214370000207
是对应于所述波束形成输出的解析信号；
Figure BDA0001758214370000208
是所述波束形成输出的包络，其是所述解析信号
Figure BDA0001758214370000209
的绝对值；κ({w(ω)})表示对于给定的时间段t＝t1，t1+1，...，t2，所述重新构造的参与语音源的语音信号的包络
Figure BDA0001758214370000214
和所述波束形成输出的包络
Figure BDA0001758214370000215
之间的所述Pearson相关系数；{w(ω)}ω为所述波束形成权系数；ω(ω＝1，2，…，Ω)表示频带。
实施例16、根据实施例15所述的波束形成方法，其中，基于优化线性变换系数
Figure BDA0001758214370000216
根据所述至少一个EEG信号，得到所述重新构造的参与语音源的语音信号的包络且所述方法进一步包括接收所述重新构造的参与语音源的语音信号的包络，
其中，根据对以下公式求解获知所述优化线性变换系数
Figure BDA0001758214370000218
Figure BDA0001758214370000211
其中，为时刻t(t＝1，2，...)时所述至少一个EEG信号中的EEG通道i(i＝1，2，…，C)所对应的EEG信号且τ为时间延迟；sa(t)表示对应于所述多个输入信号的所述参与语音源的语音信号的包络；gi(τ)是对应于具有延迟τ的EEG通道i的所述EEG信号的线性回归系数，E是期望运算符号；正则函数
Figure BDA00017582143700002110
限定所述线性回归系数gi(τ)的时间平滑性；且λ≥0是对应的正则参数。
实施例17、根据实施例16所述的波束形成方法，其中，所述解析信号通过离散傅里叶变换根据所述波束形成权系数{w(ω)}ω被表示为：
Figure BDA0001758214370000212
其中，
Figure BDA00017582143700002111
是用于形成所述解析信号的对角矩阵，
Figure BDA00017582143700002112
是所述离散傅里叶变换矩阵的逆；
Figure BDA00017582143700002113
表示帧l和频带ω(ω＝1，2，…，Ω)处的所述多个输入信号，帧l对应于N个采样时间点t，t+1，…，t+N-1，而
Figure BDA00017582143700002114
是用于补偿在用于表示所述多个输入信号所使用的短时傅里叶变换(STFT)中使用的合成窗的对角矩阵，
所述解析信号进一步被等价地表示为：
Figure BDA0001758214370000213
其中，
Figure BDA00017582143700002115
是所述波束形成权系数，且
Figure BDA0001758214370000223
由{y(l，ω)}ω和矩阵DW，F和DH中的系数确定，以及
通过所述解析信号，将所述波束形成输出的包络
Figure BDA0001758214370000224
表示为：
Figure BDA0001758214370000221
实施例18、根据实施例17所述的波束形成方法，其中，所述波束形成输出的包络
Figure BDA0001758214370000225
的采样率对应于所述多个输入信号的音频采样率。
实施例19、根据实施例17所述的波束形成方法，其中，所述优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数包括最大化所述Pearson相关系数k({ω(ω)})，以提取所述至少一个EEG信号中包含的听觉注意力(AA)信息。
实施例20、根据实施例19所述的波束形成方法，其中，在所述最大化所述Pearson相关系数κ({w(ω)})过程中施加具有鲁棒性的等式约束
Figure BDA0001758214370000229
以控制语音失真，
其中，α＝[α1，α3，…，αK]T为额外的变量，其表示所述多个语音源中的听觉注意力偏好；hk(ω)是第k个语音源的声学传递函数；K为所述多个语音源的个数。
实施例21、根据实施例20所述的波束形成方法，其中，所述优化公式变为：
Figure BDA0001758214370000222
其中，
Figure BDA0001758214370000227
是背景噪声相关矩阵；-γ||α||2为所述优化公式的正则项，其中，||·||2表示所述额外的变量α＝[α1，α2，…，αK]T的欧式范数；μ＞0和γ≥0是预先设定的参数，其用于平衡去噪、分配注意力偏好和控制注意力偏好稀疏度，且
Figure BDA0001758214370000228
表示所述额外的变量中的元素的和为1。
实施例22、根据实施例21所述的波束形成方法，其中，所述优化模型利用梯度投影法(GPM)和交替方向乘子法(ADMM)求解，其包括以下步骤：
(a)将所述优化公式中的目标函数表示为：
Figure BDA0001758214370000231
并令
Figure BDA00017582143700002311
其为所述优化公式的梯度，
其中，
Figure BDA00017582143700002312
表示关于ω(ω)的梯度分量；表示关于α的梯度分量；
(b)所述GPM将
Figure BDA00017582143700002314
迭代地更新为：
Figure BDA0001758214370000233
其中，t为迭代指数，
Figure BDA00017582143700002315
为xt处的所述目标函数的梯度，[·]+表示对等式约束
Figure BDA00017582143700002317
和
Figure BDA00017582143700002316
的投影运算，s为常数，且λt为根据Armijo规则确定的步长；
(c)公式(10a)中的投影运算等同于以下凸优化方程：
Figure BDA0001758214370000234
Figure BDA0001758214370000235
针对方程11a、11b和11c的增广拉格朗日函数为：
Figure BDA0001758214370000237
其中，ζk，ω和η为拉格朗日因子，其分别与所述等式约束相关联；ρ＞0是针对ADMM算法的预定义的参数，
(d)所述ADMM算法将({ω(ω)}，α，{ζk，ω}，η)迭代地更新为：
Figure BDA0001758214370000238
Figure BDA0001758214370000239
Figure BDA00017582143700002310
ηl+1＝ηl+ρ(1Tα-1) (12d)
其中，l为迭代指数；以及
(e)得到公式12的结果。
实施例23、一种耳戴式听力系统，包括：
麦克风，其配置为接收来自多个语音源的多个输入信号；
脑电图信号接收接口，其配置为接收来自一个或多个脑电图电极的信息并且将脑电图信息进行线性或非线性变换以形成至少一个脑电图(EEG)信号；
波束形成器，其接收所述多个输入信号和所述至少一个EEG信号，并且输出波束形成权系数；以及
合成模块，其将所述多个输入信号和所述波束形成权系数进行线性或非线性合成，以形成波束形成输出，
扬声器，其配置为将所述波束形成输出转换为输出声音，
其中，所述波束形成器为根据实施例1-11中任意一项所述的波束形成器。
实施例24.一种包括指令的计算机可读介质，所述指令当被处理器执行时能够使得所述处理器执行根据实施例12-22中任意一项所述的波束形成方法。
本申请旨在覆盖本申请的主题的实施方式或变体。应当理解，所述说明旨在是示例性的而非限制性的。

Claims (24)

1.一种波束形成器，包括：
用于接收至少一个脑电图(EEG)信号和来自多个语音源的多个输入信号的装置；和
用于构建优化模型和求解优化模型的装置，其获得对所述多个输入信号进行线性或非线性组合的波束形成权系数；
其中，所述优化模型包括用于获得所述波束形成权系数的优化公式，所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。
2.根据权利要求1所述的波束形成器，其中，建立所述至少一个脑电图信号与波束形成输出之间的关联包括利用非线性变换或用神经网络的方法建立所述至少一个脑电图信号与波束形成输出之间的关联。
3.根据权利要求1所述的波束形成器，其中，建立所述至少一个脑电图信号与波束形成输出之间的关联包括利用线性变换建立所述至少一个脑电图信号与波束形成输出之间的关联。
4.根据权利要求3所述的波束形成器，其中，所述优化公式包括Pearson相关系数：
Figure FDA0001758214360000011
其中
Figure FDA0001758214360000012
且其中，
Figure FDA0001758214360000013
是由所述至少一个EEG信号重新构造的参与语音源的语音信号的包络；z(t)表示波束形成输出；
Figure FDA0001758214360000014
是对应于所述波束形成输出的解析信号；
Figure FDA0001758214360000015
是所述波束形成输出的包络，其是所述解析信号
Figure FDA0001758214360000016
的绝对值；κ({w(ω)})表示对于给定的时间段t＝t1，t1+1，...，t2，所述重新构造的参与语音源的语音信号的包络和所述波束形成输出的包络之间的所述Pearson相关系数；{ω(ω)}ω为所述波束形成权系数；ω(ω＝1，2，…，Ω)表示频带。
5.根据权利要求4所述的波束形成器，进一步包括用于接收重新构造的参与语音源的语音信号的包络的装置，且其中，基于优化线性变换系数
Figure FDA0001758214360000022
根据所述至少一个EEG信号，得到所述重新构造的参与语音源的语音信号的包络
Figure FDA0001758214360000023
且所述重新构造的参与语音源的语音信号的包络被传递至所述用于接收重新构造的参与语音源的语音信号的包络的装置，
其中，根据对以下公式求解获知所述优化线性变换系数
Figure FDA0001758214360000024
其中，
Figure FDA0001758214360000026
为时刻t(t＝1，2，…)时所述至少一个EEG信号中的EEG通道i(i＝1，2，…，C)所对应的EEG信号且τ为时间延迟；sa(t)表示对应于所述多个输入信号的所述参与语音源的语音信号的包络；gi(τ)是对应于具有延迟τ的EEG通道i的所述EEG信号的线性回归系数，E是期望运算符号；正则函数
Figure FDA0001758214360000027
其限定所述线性回归系数gi(τ)的时间平滑性；且λ≥0是对应的正则参数。
6.根据权利要求5所述的波束形成器，其中，所述解析信号通过离散傅里叶变换根据所述波束形成权系数{w(ω)}ω被表示为：
Figure FDA0001758214360000028
其中，
Figure FDA0001758214360000029
是用于形成所述解析信号的对角矩阵，
Figure FDA00017582143600000210
是所述离散傅里叶变换矩阵的逆；表示帧l和频带ω(ω＝1，2，…，Ω)处的所述多个输入信号，帧l对应于N个采样时间点t，t+1，…，t+N-1，而是用于补偿在用于表示所述多个输入信号所使用的短时傅里叶变换(STFT)中使用的合成窗的对角矩阵，
所述解析信号进一步被等价地表示为：
Figure FDA0001758214360000031
其中，是所述波束形成权系数，且
Figure FDA0001758214360000033
由{y(l，ω)}ω和矩阵DW，F和DH中的系数确定，以及通过所述解析信号，将所述波束形成输出的包络
Figure FDA0001758214360000034
表示为：
Figure FDA0001758214360000035
7.根据权利要求6所述的波束形成器，其中，所述波束形成输出的包络
Figure FDA0001758214360000036
的采样率对应于所述多个输入信号的音频采样率。
8.根据权利要求6所述的波束形成器，其中，所述优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数包括最大化所述Pearson相关系数κ({w(ω)})，以提取所述至少一个EEG信号中包含的听觉注意力(AA)信息。
9.根据权利要求8所述的波束形成器，其中，在所述最大化所述Pearson相关系数κ({w(ω)})过程中施加具有鲁棒性的等式约束以控制语音失真，
其中，α＝[α1，α2，…，αK]T为额外的变量，其表示所述多个语音源中的听觉注意力偏好；hk(ω)是第k个语音源的声学传递函数；K为所述多个语音源的个数。
10.根据权利要求9所述的波束形成器，其中，所述优化公式变为：
Figure FDA0001758214360000038
其中，
Figure FDA0001758214360000039
是背景噪声相关矩阵；-γ||α||2为所述优化公式的正则项，其中，||·||2表示所述额外的变量α＝[α1，α2，…，αK]T的欧式范数；μ＞0和γ≥0是预先设定的参数，其用于平衡去噪、分配注意力偏好和控制注意力偏好稀疏度，且
Figure FDA00017582143600000310
表示所述额外的变量中的元素的和为1。
11.根据权利要求10所述的波束形成器，其中，所述优化模型利用梯度投影法(GPM)和交替方向乘子法(ADMM)求解，其包括以下步骤：
(a)将所述优化公式中的目标函数表示为：
Figure FDA0001758214360000041
并令
Figure FDA0001758214360000042
优化公式的梯度，
其中，
Figure FDA0001758214360000043
表示关于ω(ω)的梯度分量；
Figure FDA0001758214360000044
表示关于α的梯度分量；
(b)所述GPM将
Figure FDA0001758214360000045
迭代地更新为：
Figure FDA0001758214360000046
Figure FDA0001758214360000047
其中，t为迭代指数，
Figure FDA0001758214360000048
为xt处的所述目标函数的梯度，[·]+表示对等式约束
Figure FDA0001758214360000049
和
Figure FDA00017582143600000410
的投影运算，s为常数，且λt为根据Armijo规则确定的步长；
(c)公式(10a)中的投影运算等同于以下凸优化方程：
Figure FDA00017582143600000411
Figure FDA00017582143600000412
Figure FDA00017582143600000413
针对方程11a、11b和11c的增广拉格朗日函数为：
Figure FDA00017582143600000414
其中，ζk，w和η为拉格朗日因子，其分别与所述等式约束相关联；ρ＞0是针对ADMM算法的预定义的参数，
(d)所述ADMM算法将({w(ω)}，α，{ζk，ω}，η迭代地更新为：
Figure FDA00017582143600000415
Figure FDA00017582143600000416
Figure FDA00017582143600000417
ηl+1＝ηl+ρ(1Tα-1) (12d)
其中，l为迭代指数；以及
(e)得到公式12的结果。
12.一种用于波束形成器的波束形成方法，包括：
接收至少一个脑电图(EEG)信号和来自多个语音源的多个输入信号；和
通过构建优化模型和求解优化模型获得对所述多个输入信号进行线性或非线性组合的波束形成权系数；
其中，所述优化模型包括用于获得所述波束形成权系数的优化公式，所述优化公式包括建立所述至少一个脑电图信号与波束形成输出之间的关联、优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数。
13.根据权利要求12所述的波束形成方法，其中，建立所述至少一个脑电图信号与波束形成输出之间的关联包括利用非线性变换或用神经网络的方法建立所述至少一个脑电图信号与波束形成输出之间的关联。
14.根据权利要求12所述的波束形成方法，其中，建立所述至少一个脑电图信号与波束形成输出之间的关联包括利用线性变换建立所述至少一个脑电图信号与波束形成输出之间的关联。
15.根据权利要求14所述的波束形成方法，其中，所述优化公式包括Pearson相关系数：
Figure FDA0001758214360000051
其中
Figure FDA0001758214360000052
且其中，
Figure FDA0001758214360000053
是由所述至少一个EEG信号重新构造的参与语音源的语音信号的包络；z(t)表示波束形成输出；
Figure FDA0001758214360000054
是对应于所述波束形成输出的解析信号；
Figure FDA0001758214360000055
是所述波束形成输出的包络，其是所述解析信号的绝对值；κ({w(w)})表示对于给定的时间段t＝t1，t1+1，...，t2，所述重新构造的参与语音源的语音信号的包络
Figure FDA0001758214360000061
和所述波束形成输出的包络
Figure FDA0001758214360000062
之间的所述Pearson相关系数；{w(w)}w为所述波束形成权系数；w(w＝1，2，…，Ω)表示频带。
16.根据权利要求15所述的波束形成方法，其中，基于优化线性变换系数
Figure FDA0001758214360000063
根据所述至少一个EEG信号，得到所述重新构造的参与语音源的语音信号的包络
Figure FDA0001758214360000064
且所述方法进一步包括接收所述重新构造的参与语音源的语音信号的包络，
其中，根据对以下公式求解获知所述优化线性变换系数
Figure FDA0001758214360000066
其中，
Figure FDA0001758214360000067
为时刻t(t＝1，2，…)时所述至少一个EEG信号中的EEG通道i(i＝1，2，…，C)所对应的EEG信号且τ为时间延迟；sa(t)表示对应于所述多个输入信号的所述参与语音源的语音信号的包络；gi(τ)是对应于具有延迟τ的EEG通道i的所述EEG信号的线性回归系数，E是期望运算符号；正则函数
Figure FDA0001758214360000068
限定所述线性回归系数gi(τ)的时间平滑性；且γ≥0是对应的正则参数。
17.根据权利要求16所述的波束形成方法，其中，所述解析信号通过离散傅里叶变换根据所述波束形成权系数{w(ω)}ω被表示为：
其中，
Figure FDA00017582143600000610
是用于形成所述解析信号的对角矩阵，
Figure FDA00017582143600000611
是所述离散傅里叶变换矩阵的逆；
Figure FDA00017582143600000612
表示帧l和频带ω(ω＝1，2，…，Ω)处的所述多个输入信号，帧l对应于N个采样时间点t，t+1，…，t+N-1，而
Figure FDA00017582143600000613
是用于补偿在用于表示所述多个输入信号所使用的短时傅里叶变换(STFT)中使用的合成窗的对角矩阵，
所述解析信号进一步被等价地表示为：
Figure FDA00017582143600000614
其中，
Figure FDA0001758214360000071
是所述波束形成权系数，且
Figure FDA0001758214360000072
由{y(l，ω)}ω和矩阵DW，F和DH中的系数确定，以及
通过所述解析信号，将所述波束形成输出的包络表示为：
Figure FDA0001758214360000074
18.根据权利要求17所述的波束形成方法，其中，所述波束形成输出的包络
Figure FDA0001758214360000075
的采样率对应于所述多个输入信号的音频采样率。
19.根据权利要求17所述的波束形成方法，其中，优化所述关联以便构建出与至少一个脑电图信号相关联的波束形成权系数包括最大化所述Pearson相关系数k({w(ω)})，以提取所述至少一个EEG信号中包含的听觉注意力(AA)信息。
20.根据权利要求19所述的波束形成方法，其中，在所述最大化所述Pearson相关系数k({w(ω)})过程中施加具有鲁棒性的等式约束以控制语音失真，
其中，α＝[α1，α2，…，αK]T为额外的变量，其表示所述多个语音源中的听觉注意力偏好；hk(ω)是第k个语音源的声学传递函数；K为所述多个语音源的个数。
21.根据权利要求20所述的波束形成方法，其中，所述优化公式变为：
其中，
Figure FDA0001758214360000078
是背景噪声相关矩阵；-γ||α||2为所述优化公式的正则项，其中，||·||2表示所述额外的变量α＝[α1，α2，…，αK]T的欧式范数；μ＞0和γ≥0是预先设定的参数，其用于平衡去噪、分配注意力偏好和控制注意力偏好稀疏度，且
Figure FDA0001758214360000079
表示所述额外的变量中的元素的和为1。
22.根据权利要求21所述的波束形成方法，其中，所述优化模型利用梯度投影法(GPM)和交替方向乘子法(ADMM)求解，其包括以下步骤：
(a)将所述优化公式中的目标函数表示为：
Figure FDA0001758214360000081
并令
Figure FDA0001758214360000082
优化公式的梯度，
其中，表示关于w(ω)的梯度分量；表示关于α的梯度分量；
(b)所述GPM将迭代地更新为：
Figure FDA0001758214360000087
其中，t为迭代指数，
Figure FDA0001758214360000088
为xt处的所述目标函数的梯度，[·]+表示对等式约束
Figure FDA0001758214360000089
和的投影运算，s为常数，且λt为根据Armijo规则确定的步长；
(c)公式(10a)中的投影运算等同于以下凸优化方程：
Figure FDA00017582143600000811
Figure FDA00017582143600000812
Figure FDA00017582143600000813
针对方程11a、11b和11c的增广拉格朗日函数为：
Figure FDA00017582143600000814
其中，ζk，ω和η为拉格朗日因子，其分别与所述等式约束相关联；ρ＞0是针对ADMM算法的预定义的参数，
(d)所述ADMM算法将({ω(ω)}，α，{ζk，w}，η迭代地更新为：
Figure FDA00017582143600000815
Figure FDA00017582143600000816
Figure FDA00017582143600000817
ηl+1＝ηl+ρ(1Tα-1)
其中，l为迭代指数；以及
(e)得到公式12的结果。
23.一种耳戴式听力系统，包括：
麦克风，其配置为接收来自多个语音源的多个输入信号；
脑电图信号接收接口，其配置为接收来自一个或多个脑电图电极的信息并且将脑电图信息进行线性或非线性变换以形成至少一个脑电图(EEG)信号；
波束形成器，其接收所述多个输入信号和所述至少一个EEG信号，并且输出波束形成权系数；以及
合成模块，其将所述多个输入信号和所述波束形成权系数进行线性或非线性合成，以形成波束形成输出，
扬声器，其配置为将所述波束形成输出转换为输出声音，
其中，所述波束形成器为根据权利要求1-11中任意一项所述的波束形成器。
24.一种包括指令的计算机可读介质，所述指令当被处理器执行时能够使得所述处理器执行根据权利要求12-22中任意一项所述的波束形成方法。
CN201810896174.9A 2018-08-08 2018-08-08 脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统 Pending CN110830898A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810896174.9A CN110830898A (zh) 2018-08-08 2018-08-08 脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统
EP19846617.9A EP3836563A4 (en) 2018-08-08 2019-08-07 ELECTROENCEPHALOGRAM-ASSISTED BEAMFORMING DEVICE, BEAMFORMING METHOD, AND EAR-ATTACHED HEARING SYSTEM
US17/265,931 US11617043B2 (en) 2018-08-08 2019-08-07 EEG-assisted beamformer, beamforming method and ear-worn hearing system
PCT/CN2019/099594 WO2020029998A1 (zh) 2018-08-08 2019-08-07 脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810896174.9A CN110830898A (zh) 2018-08-08 2018-08-08 脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统

Publications (1)

Publication Number Publication Date
CN110830898A true CN110830898A (zh) 2020-02-21

Family

ID=69414530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810896174.9A Pending CN110830898A (zh) 2018-08-08 2018-08-08 脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统

Country Status (4)

Country Link
US (1) US11617043B2 (zh)
EP (1) EP3836563A4 (zh)
CN (1) CN110830898A (zh)
WO (1) WO2020029998A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780533A (zh) * 2021-09-13 2021-12-10 广东工业大学 基于深度学习及admm的自适应波束成形方法及系统
CN115153563A (zh) * 2022-05-16 2022-10-11 天津大学 基于eeg的普通话听觉注意解码方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4007309A1 (en) * 2020-11-30 2022-06-01 Oticon A/s Method for calculating gain in a heraing aid
CN115086836B (zh) * 2022-06-14 2023-04-18 西北工业大学 一种波束形成方法、系统及波束形成器
CN115243180B (zh) * 2022-07-21 2024-05-10 香港中文大学（深圳） 类脑助听方法、装置、助听设备和计算机设备
CN116035593B (zh) * 2023-02-02 2024-05-07 中国科学技术大学 一种基于生成对抗式并行神经网络的脑电降噪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060094974A1 (en) * 2004-11-02 2006-05-04 Cain Robert C Systems and methods for detecting brain waves
CN103716744A (zh) * 2012-10-08 2014-04-09 奥迪康有限公司 具有随脑电波而变的音频处理的听力装置
CN103873999A (zh) * 2012-12-14 2014-06-18 奥迪康有限公司 可配置的听力仪器
US20180014130A1 (en) * 2016-07-08 2018-01-11 Oticon A/S Hearing assistance system comprising an eeg-recording and analysis system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US943277A (en) 1909-12-14 Benjamin F Silliman Steam-generator.
EP2928210A1 (en) * 2014-04-03 2015-10-07 Oticon A/s A binaural hearing assistance system comprising binaural noise reduction
US9700261B2 (en) 2014-09-22 2017-07-11 Oticon A/S Hearing assistance system comprising electrodes for picking up brain wave signals
EP3185590B1 (en) 2015-12-22 2020-08-19 Oticon A/s A hearing device comprising a sensor for picking up electromagnetic signals from the body

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060094974A1 (en) * 2004-11-02 2006-05-04 Cain Robert C Systems and methods for detecting brain waves
CN103716744A (zh) * 2012-10-08 2014-04-09 奥迪康有限公司 具有随脑电波而变的音频处理的听力装置
CN103873999A (zh) * 2012-12-14 2014-06-18 奥迪康有限公司 可配置的听力仪器
US20180014130A1 (en) * 2016-07-08 2018-01-11 Oticon A/S Hearing assistance system comprising an eeg-recording and analysis system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780533A (zh) * 2021-09-13 2021-12-10 广东工业大学 基于深度学习及admm的自适应波束成形方法及系统
CN113780533B (zh) * 2021-09-13 2022-12-09 广东工业大学 基于深度学习及admm的自适应波束成形方法及系统
CN115153563A (zh) * 2022-05-16 2022-10-11 天津大学 基于eeg的普通话听觉注意解码方法及装置

Also Published As

Publication number Publication date
US20210306765A1 (en) 2021-09-30
EP3836563A4 (en) 2022-04-20
US11617043B2 (en) 2023-03-28
WO2020029998A1 (zh) 2020-02-13
EP3836563A1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
Van Eyndhoven et al. EEG-informed attended speaker extraction from recorded speech mixtures with application in neuro-steered hearing prostheses
CN110830898A (zh) 脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统
EP3514792B1 (en) A method of optimizing a speech enhancement algorithm with a speech intelligibility prediction algorithm
EP3598777B1 (en) A hearing device comprising a speech presence probability estimator
Wittkop et al. Strategy-selective noise reduction for binaural digital hearing aids
Launer et al. Hearing aid signal processing
EP2594090B1 (en) Method of signal processing in a hearing aid system and a hearing aid system
CN107046668B (zh) 单耳语音可懂度预测单元、助听器及双耳听力系统
CN112995876A (zh) 听力装置中的信号处理
Aroudi et al. Cognitive-driven binaural LCMV beamformer using EEG-based auditory attention decoding
Das et al. EEG-based attention-driven speech enhancement for noisy speech mixtures using N-fold multi-channel Wiener filters
Wittkop et al. Speech processing for hearing aids: Noise reduction motivated by models of binaural interaction
DK2986026T3 (en) DEVICE FOR HEARING AID WITH RADIATION FORMS WITH OPTIMIZED APPLICATION OF SPACE INFORMATION PROVIDED IN ADVANCE
Healy et al. A talker-independent deep learning algorithm to increase intelligibility for hearing-impaired listeners in reverberant competing talker conditions
Kokkinakis et al. Using blind source separation techniques to improve speech recognition in bilateral cochlear implant patients
Fischer et al. Speech signal enhancement in cocktail party scenarios by deep learning based virtual sensing of head-mounted microphones
Healy et al. A causal and talker-independent speaker separation/dereverberation deep learning algorithm: Cost associated with conversion to real-time capable operation
Azarpour et al. Binaural noise reduction via cue-preserving MMSE filter and adaptive-blocking-based noise PSD estimation
Aroudi et al. Cognitive-driven convolutional beamforming using EEG-based auditory attention decoding
Lopez et al. Technical evaluation of hearing-aid fitting parameters for different auditory profiles
Pu et al. Evaluation of joint auditory attention decoding and adaptive binaural beamforming approach for hearing devices with attention switching
Ohlenbusch et al. Multi-Microphone Noise Data Augmentation for DNN-Based Own Voice Reconstruction for Hearables in Noisy Environments
Chen et al. A cascaded speech enhancement for hearing aids in noisy-reverberant conditions
Courtois Spatial hearing rendering in wireless microphone systems for binaural hearing aids
Puder Adaptive signal processing for interference cancellation in hearing aids

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200221