CN104244157A - 具有脑机接口的助听装置 - Google Patents

具有脑机接口的助听装置 Download PDF

Info

Publication number
CN104244157A
CN104244157A CN201410268263.0A CN201410268263A CN104244157A CN 104244157 A CN104244157 A CN 104244157A CN 201410268263 A CN201410268263 A CN 201410268263A CN 104244157 A CN104244157 A CN 104244157A
Authority
CN
China
Prior art keywords
signal
user
communicator
user interface
eeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410268263.0A
Other languages
English (en)
Other versions
CN104244157B (zh
Inventor
N·H·旁托皮丹
T·伦纳
M·S·佩德森
L·I·霍斯呼尔茨
P·科奇
G·莱罗
E·B·佩特森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oticon AS
Original Assignee
Oticon AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oticon AS filed Critical Oticon AS
Priority to CN202010087193.4A priority Critical patent/CN111447536B/zh
Publication of CN104244157A publication Critical patent/CN104244157A/zh
Application granted granted Critical
Publication of CN104244157B publication Critical patent/CN104244157B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/12—Audiometering
    • A61B5/121—Audiometering evaluating hearing capacity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A61B5/293—Invasive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A61B5/6817—Ear canal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/30—Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
    • H04R25/305—Self-monitoring or self-testing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • H04R25/604—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers
    • H04R25/606—Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of acoustic or vibrational transducers acting directly on the eardrum, the ossicles or the skull, e.g. mastoid, tooth, maxillary or mandibular bone, or mechanically stimulating the cochlea, e.g. at the oval window
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6867—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive specially adapted to be attached or implanted in a specific body part
    • A61B5/6868—Brain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/61—Aspects relating to mechanical or electronic switches or control elements, e.g. functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/67—Implantable hearing aids or parts thereof not covered by H04R25/606
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/45—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback
    • H04R25/453—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback electronically
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurosurgery (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychology (AREA)
  • Multimedia (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Prostheses (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种具有脑机接口的助听装置，其包括：用于接收将要进行处理并呈现给用户的声音信号的输入，及用于将可感知为声音的信号输出给用户的输出；用于根据设置或一组设置处理所述声音信号以补偿听力损失的处理器；及与用户接口通信的生物信号捕捉和放大部件，用于将生物信号作为输入提供给用户接口，用户接口控制用于通信装置运行的设置或一组设置。

Description

具有脑机接口的助听装置
技术领域
本申请涉及使用脑机接口控制助听装置。本申请还涉及使用眼睛监视接口控制助听装置。
例如，本发明可用在下述应用中：助听器装置、头戴式耳机、耳麦、有源耳朵保护系统、免提电话系统、移动电话、远程会议系统、广播系统、卡拉OK系统、教室放大系统等。
背景技术
脑机接口(BCI)为可帮助用户与外部环境交互作用的通信系统，其通过将脑信号转化为机器命令进行。脑电图仪(EEG)信号因其可用性和强可靠性，其使用已变成最常见的用于BCI的方法。许多基于EEG的BCI装置已用传统的湿或微机电系统(MEMS)型EEG传感器开发。然而，这些传统的传感器具有令人不舒服的缺点，并需要导电凝胶及在用户身体上进行皮肤准备。因此，以舒适且方便的方式获得EEG信号是新的BCI装置中应包括的重要因素。
控制屏幕上的鼠标的脑机接口正在开发。从MIT Technology Review May162013:Roozbeh Jafari得知，在德克萨斯大学，从事脑机接口(BCI)的Samsung研究人员测试人们可怎样使用其思维运行应用程序、选择联系人、从播放列表选择歌、或对Samsung Galaxy Note10.1通电或断电。这样的系统可描述为对空间姿势敏感的系统。在Samsung没有即刻提供脑控电话的计划的同时，涉及布满EEG监视电极的帽子的早期研究表明脑机接口可怎样帮助具有灵活性问题的人完成之前不可能完成的任务。通过EEG监视脑波的脑机接口已经入市。NeuroSky的头戴式耳机使用EEG读数及肌电描记术拾取关于人的控制玩具的专心水平的信号。Emotiv Systems具有一种头戴式耳机，其读取EEG和面部表情以增强游戏体验。为使用EEG检测的脑信号控制智能电话，Samsung和UT Dallas的研究人员监视在人们被呈现重复可视图像时出现的、众所周知的脑活动模式。在他们的示范中，研究人员发现人们可以运行应用程序并进行选择。Jafari的研究是解决另一难题，即开发更方便的EEG传感器。典型的EEG系统具有凝胶或湿接触电极，这些意味着一点液体材料将出现在人的头皮和传感器之间。Jafari认为，根据有多少电极，这可耗用高达45分钟进行设置，且这样的系统令人不舒服，而他的传感器不需要液体桥且仅需约10秒设置时间。
但它们仍需要用户佩戴被导线覆盖的帽子。干式EEG的概念并非新概念，其可具有较低信号质量的缺点，但Jafari说其开发团队正改进系统的脑信号处理。最后，Jafari认为，如果可靠的EEG接触件使用方便且瘦身，脑控装置可看上去像“人们整天佩戴的帽子”。
助听器参数的手动或自动控制(以引起方向变化、降噪、改变音量、改变程序等)目前或通过按压助听器/流传输器/智能电话上的按钮进行，或基于考虑使用模式或环境模式的算法自动调用。
现有技术存在下述问题：
(1)助听器参数的自动控制不涉及用户的意图。获得用户意图的唯一方式是通过手动按压按钮。
(2)脑机接口尺寸大并需要EEG帽、头带或类似于EEG电极的主机。这使得设备易受电极移动的影响并限制设备的测量精度，因为电极不固定。这还需要每次拆除设备后重新校准。
发明内容
本发明的目标在于控制助听装置。
本申请的目标由所附权利要求限定的及下面描述的发明实现。
本发明包括通信装置的描述，其可包括用于接收将要进行处理并呈现给用户的声音信号的输入，及用于将可感知为声音的信号输出给用户的输出和用于根据设置或一组设置处理声音信号以补偿听力损失的处理器。前述装置可以是助听器、头戴式耳机或任何其它适当的声音处理装置，有利地，其可构造成放在耳朵处或耳朵中，例如耳廓后面或至少部分放在耳道中。此外，通信装置可包括与用户接口通信的生物信号捕捉和放大部件，用于将生物信号作为输入提供给用户接口，用户接口控制通信装置运行的设置或一组设置。这使生物信号部件能检测和/或记录源自身体运动和/或与运动有关的思维模式的不同电信号。这将使用户即佩戴者能想到移动右臂，这将导致生物信号部件可记录的特定模式的EEG信号。记录的生物信号可被处理以进行识别和/或分类，例如确定信号是否源自眼睛运动，如EOG信号和/或眨眼，思维模式，例如佩戴者想到移动手臂或转动头部或肢体的身体运动。
有利地，耳朵EEG电极可包括在构造成专用于佩戴者耳道的耳模中。这将使EEG电极佩戴更舒适并改善EEG电极垫和耳道之间的接触，同样，每当佩戴者放置耳朵EEG电极时EEG电极在耳道中的位置将更一致。作为备选，EEG电极也可以是无接触电容性电极。
生物信号捕捉和放大部件可包括耳朵EEG电极，其可配置成插入到耳道内或在佩戴者头部的皮肤部分上，或者生物信号捕捉和放大部件可包括可植入的EEG电极，其配置成放在佩戴者头部处的皮肤下面或放在耳道上。
EEG电极可配置成拾取预定的空间姿势，其构成来自佩戴者的输入。有利地，生物信号可表示眼球运动和/或大脑活动信号。这些信号之后由系统解释为输入，例如通过将它们分类为特定运动或运动模式。涉及空间姿势的一篇文献为LaFleur等发表的“Quadcopter control in three-dimensional space using anoninvasive motor imagery-based brain–computer interface”，2013J.Neural Eng.10046003。
生物信号捕捉和放大部件可包括可佩戴的用于眼球跟踪的照相机。这使能非打扰地监视眼球。照相机可与EEG部件结合，这可进一步降低误解来自佩戴者的输入的风险。
通信系统还可包括报警装置，配置成当来自生物信号捕捉和放大部件的生物信号被确定表示分类为值得注意的状态的感知状态时，或可能甚至对个人健康有害的状态，可能与个人环境的了解结合，提供报警信号。之后，该信号可用于提醒佩戴者甚或另一人如看门人：佩戴者正进入需要注意或不再需要注意的状态，例如在驾车时佩戴者可能变得昏昏欲睡，或者佩戴者可能心脏病发作而需要通知其他人以便他们可采取适当的行动。此外，例如，该装置可向家庭护理管理者发送信号，例如23号房间中的患者现在睡着了或不再睡觉。
本发明还包括具有两个通信装置的通信系统，如本发明其它部分所述。前述两个通信装置中的每一个可配置成放在佩戴者耳后或耳朵处，每一通信装置可包括脑机接口，其包括配置成插入在佩戴者的相应耳道中的耳朵EEG电极。
本发明还包括控制通信装置的方法，通信装置包括用于接收将要进行处理并呈现给用户的声音信号的输入、用于将可感知为声音的信号输出给用户的输出、用于根据设置或一组设置处理声音信号以补偿听力损失的处理器、与用户接口通信以将生物信号作为输入提供给用户接口的生物信号捕捉和放大部件，用户接口控制通信装置运行的设置或一组设置。该方法可包括经生物信号捕捉和放大部件获得表示姿势的生物信号。该方法可包括分析生物信号以认出预计空间姿势。该方法可包括处理预计空间姿势以将其转化为用户接口的输入。
用户可能想到目标方向，预计空间姿势之后可被确定，该方法则可包括将姿势信号用作用户接口的输入。
用户可能按目标方向移动肢体，然后可检测到预计空间姿势；或者用户可能按目标方向移动一个或两个眼球，然后可检测到预计空间姿势。
用户可能想象按目标方向移动肢体，之后可检测到预计空间姿势。用户可能想象按目标方向移动一个或两个眼球，之后基于此可检测到预计空间姿势。
生物信号的处理可转化为传声器波束形成器的方向模式的控制，这可按基于生物信号输入的预计方向引导波束形成器。生物信号的处理可转化为当前用于声音处理的程序的变化，例如更多或更少噪声抑制、使能或结束音乐处理程序。
可佩戴的照相机可朝向用户眼球，之后其可用于确定姿势信号。可以预见，使用几种类型的传感器的组合也是可能的，如EEG传感器和照相机。
疲劳水平可经生物信号进行确定，例如使用照相机并基于瞳孔图像进行确定，非必须地，通过确定瞳孔的角定向和/或瞳孔的大小进行。
助听装置
在本发明的第一方面，本发明的目标由包括适于根据脑信号控制助听装置的脑接口装置的助听装置实现。
在本发明的第二方面，本发明的目标由包括适于确定瞳孔的角定向和大小的眼睛监视装置的助听装置实现。
这些方面和实施方式可与本说明书中提及的任何特征和/或其它方面和/或实施方式结合。
在实施例中，助听装置适于提供随频率而变的增益以补偿用户的听力损失。在实施例中，助听装置包括用于增强输入信号并提供处理后的输出信号的信号处理单元。
在实施例中，助听装置包括输出变换器，用于将电信号转换为用户感知为声信号的刺激。在实施例中，输出变换器包括多个耳蜗植入电极或骨导听力装置的振动器。在实施例中，输出变换器包括用于将刺激作为声信号提供给用户的接收器(扬声器)。
在实施例中，助听装置包括用于将输入声音转换为电输入信号的输入变换器。在实施例中，助听装置包括适于增强佩戴助听装置的用户的局部环境中的多个声源之中的目标声源的定向传声器系统。在实施例中，该定向系统适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。
在实施例中，助听装置包括用于从另一装置如通信装置或另一助听装置无线接收直接电输入信号的天线和收发器电路。在实施例中，助听装置包括(可能标准化的)电接口(如连接器形式)，用于从另一装置如通信装置或另一助听装置接收有线直接电输入信号。在实施例中，直接电输入信号表示或包括音频信号和/或控制信号和/或信息信号。在实施例中，助听装置包括用于对所接收的直接电输入信号进行解调的解调电路，以提供表示音频信号和/或控制信号的直接电输入信号，控制信号如用于设置助听装置的运行参数(如音量)和/或处理参数。总的来说，助听装置的发射器和天线及收发器电路建立的无线链路可以是任何类型。在实施例中，无线链路在功率约束条件下使用，例如由于助听装置包括便携式(通常电池驱动的)装置。在实施例中，无线链路为基于近场通信的链路，例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。在另一实施例中，无线链路基于远场电磁辐射。在实施例中，经无线链路进行的通信根据特定调制方案进行安排，例如模拟调制方案，如FM(调频)或AM(调幅)或PM(调相)，或数字调制方案，如ASK(幅移键控)如开-关键控、FSK(频移键控)、PSK(相移键控)或QAM(正交调幅)。
在实施例中，助听装置和另一装置之间的通信处于基带(音频频率范围，如0和20kHz之间)中。优选地，助听装置和另一装置之间的通信基于高于100kHz频率下的某种调制。优选地，用于在助听装置和另一装置之间建立通信的频率低于50GHz，例如位于从50MHz到50GHz的范围中，例如高于300MHz，例如在高于300MHz的ISM范围中，例如在900MHz范围中或在2.4GHz范围中。通信协议例如可以是蓝牙或蓝牙低能量或基于这些协议。
在实施例中，助听装置和/或通信装置包括电小天线。在本说明书中，“电小天线”意为天线的空间延伸(如任何方向的最大物理尺寸)远小于所发射电信号的波长λTx。在实施例中，天线的空间延伸为10、50、100或以上的因子，或1000或以上的因子，小于所发射信号的载波波长λTx。在实施例中，助听装置为相当小的装置。在本说明书中，术语“相当小的装置”意为其最大物理尺寸(因而用于提供到装置的无线接口的天线的最大物理尺寸)小于10cm如小于5cm的装置。在实施例中，“相当小的装置”为其最大物理尺寸远小于(如小3倍以上，如小10倍以上，如小20倍以上)天线针对其设计的无线接口的工作波长(理想地，用于以给定频率辐射电磁波的天线应大于或等于该频率下所辐射波的波长的一半)。在860MHz时，真空波长为约35cm。在2.4GHz时，真空波长为约12cm。在实施例中，助听装置具有0.15m级的最大外尺寸(如手持移动电话)。在实施例中，助听装置具有0.08m级的最大外尺寸(如耳机)。在实施例中，助听装置具有0.04m级的最大外尺寸(如听力仪器)。
在实施例中，助听装置为便携装置，如包括本机能源如电池例如可再充电电池的装置。在实施例中，助听装置为低功率装置。在本说明书中，术语“低功率装置”意为其能量预算有限的装置，例如，因为其为便携装置，如包括在不进行更换或再充电的情形下其持续时间有限(有限的持续时间如为几小时或几天时间级(装置正常运行期间)，如最多1、3、7或10天，前述持续时间相比于装置的预期寿命而有限)的能源(例如，大小有限，例如具有1000mAh的最大容量，如500mAh)。在实施例中，当助听装置未处于运行使用状态时，助听装置的能源被拆卸而断开连接(因而未保存在非易失性存储器中的数据将丢失)。
在实施例中，助听装置包括输入变换器(传声器系统和/或直接电输入(如无线接收器))和输出变换器之间的正向或信号通路。在实施例中，信号处理单元位于正向通路中。在实施例中，信号处理单元适于根据用户的特定需要提供随频率而变的增益。在实施例中，助听装置包括分析通路，其包括用于分析输入信号(如确定电平、调制、信号类型、声反馈估计等)的功能元件。在实施例中，分析通路和/或信号通路的部分或所有信号处理在频域进行。在实施例中，分析通路和/或信号通路的部分或所有信号处理在时域进行。
在实施例中，表示声信号的模拟电信号在模数(AD)转换过程中转换为数字音频信号，其中模拟信号以预定采样频率或速率fs进行采样，fs例如在从8kHz到40kHz的范围中(适应应用的特定需要)以在离散的时间点tn(或n)提供数字样本xn(或x[n])，每一音频样本通过预定的比特数Ns表示声信号在tn时的值，Ns例如在从1到16比特的范围中。数字样本x具有1/fs的时间长度，对于fs＝20kHz，如50μs。在实施例中，多个音频样本按时间帧进行安排。在实施例中，一时间帧包括64个音频数据样本。根据实际应用可使用其它帧长度。
在实施例中，助听装置包括模数(AD)转换器以按预定采样率如20kHz使模拟输入数字化。在实施例中，助听装置包括数模(DA)转换器以将数字信号转换为模拟输出信号，例如以经输出变换器呈现给用户。
在实施例中，助听装置如传声器单元和/或收发器单元包括用于提供输入信号的时频表示的TF转换单元。在实施例中，时频表示包括所涉及信号在特定时间及频率范围的相应复值或实值的阵列或映射。在实施例中，TF转换单元包括滤波器组，用于对(时变)输入信号进行滤波并提供多个(时变)输出信号，每一输出信号包括不同的输入信号频率范围。在实施例中，TF转换单元包括傅里叶变换单元，用于将时变输入信号转换为频域中的(时变)信号。在实施例中，助听装置考虑的、从最小频率fmin到最大频率fmax的频率范围包括典型的人听频范围20Hz-20kHz的一部分，例如范围20Hz-12kHz的一部分。在实施例中，助听装置的正向通路和/或分析通路的信号拆分为NI个频带，其中NI例如大于5，如大于10，如大于50，如大于100，如大于500，至少其部分个别进行处理。在实施例中，助听装置适于在NP个不同频道中处理正向通路和/或分析通路的信号(NP≤NI)。频道宽度可均匀或非均匀(例如宽度随频率增加)、重叠或非重叠。
在实施例中，助听装置包括电平检测器(LD)，用于确定输入信号的电平(例如基于频带级和/或全(宽带)信号)。从用户声环境拾取的电传声器信号的输入电平是声环境的分类参数。在实施例中，电平检测器适于根据多个不同的(如平均)信号电平对用户当前的声环境进行分类，如分类为高电平或低电平环境。
在特定实施例中，助听装置包括话音检测器(VD)，用于确定输入信号是否包括话音信号(在特定时间点)。在本说明书中，话音信号包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。在实施例中，话音检测器单元适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点：包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别，因而与仅包括其它声源(如人工产生的噪声)的时间段分离。在实施例中，话音检测器适于将用户自己的话音也检测为“话音”。作为备选，话音检测器适于从“话音”的检测排除用户自己的话音。
在实施例中，助听装置包括自我话音检测器，用于检测特定输入声音(如话音)是否源自系统用户的话音。在实施例中，助听装置的传声器系统适于能够在用户自己的话音和另一人的话音之间区分及可能与无话音声音区分开。
在实施例中，助听装置包括声(和/或机械)反馈抑制系统。出现声反馈是由于对传声器拾取的信号进行放大的音频系统的输出扬声器信号通过空气或其它媒介经声耦合而部分返回到传声器。返回到传声器的该部分扬声器信号之后在重新出现在扬声器处之前被系统重新放大，并再次返回到传声器。随着该循环持续，当系统变得不稳定时，声反馈效应变得听得见，如非自然信号甚或更糟的啸声。这个问题通常在传声器和扬声器靠近地放在一起时出现，例如在助听器或其它音频系统中。具有反馈问题的一些其它典型情形为电话、广播系统、头戴式耳机、音频会议系统等。随频率而变的声、电和机械反馈识别方法常用在助听装置中，尤其是听力仪器，以确保它们的稳定性。因声反馈引起不稳定的系统趋于用窄带频率成分大大污染所需要的音频输入信号，窄带频率成分通常被感知为啸声或哨声。已提出系统的稳定性可通过特别改变其在临界频率下的传递函数而增加[Ammitzboll,1987]。例如，这可使用专用于窄频带的阻带滤波器实现，其称为陷波滤波器[Porayath,1999]。该方法的缺点在于，在临界频率及其附近的频率下必须牺牲增益。更先进的技术提出通过减去助听装置内的反馈信号估计量而进行反馈消除。已提出使用固定系数的线性时不变滤波器用于反馈通路估计[Dyrlund,1991]。当反馈通路处于稳态因而不随时间改变时，该方法被证明是有效的方法。然而，助听装置如助听器的反馈通路随时间变化，因而通常首选某些类型的跟踪能力。自适应反馈消除有能力跟踪反馈通路随时间的变化。其也基于线性时不变滤波器估计反馈通路，但其滤波器权重随时间更新[Engebretson,1993]。滤波器更新可使用随机梯度算法进行计算，包括某些形式的常用最小均方(LMS)或归一化LMS(NLMS)算法。这两个算法均具有使均方意义的误差信号最小化的性质，NLMS还使滤波器更新相对于某些参考信号的欧几里得范数的平方归一化。自适应滤波器的多个方面例如在[Haykin]中描述。更先进的方法将随机梯度算法与AFC滤波器系数随时间的统计评估相结合，并采用控制电路以确保滤波器系数在嘈杂情形下可得以足够更新[Hansen,1997]。统计评估可觉察到反馈通路的相位响应和幅频响应。传统地，设计和评估条件如均方误差、误差偏差的平方及其变体广泛用在自适应系统的设计中。
在实施例中，助听装置还包括用于所涉及应用的其它有关功能，如压缩、降噪等。
在实施例中，助听装置包括听音装置如助听器、如听力仪器，例如适于位于耳朵处或完全或部分位于用户耳道中的听力仪器，例如耳机、耳麦、耳朵保护装置或其组合。
此外，本发明提供上面描述的、“具体实施方式”中详细描述的及权利要求中限定的助听装置的用途。在实施例中，提供在包括音频分布的系统中的用途，例如包括彼此足够接近的传声器和扬声器以在用户操作期间导致从扬声器到传声器的反馈的系统。在实施例中，提供在包括一个或多个听力仪器、头戴式耳机、耳麦、有源耳朵保护系统等的系统中的用途，例如免提电话系统、远程会议系统、广播系统、卡拉OK系统、教室放大系统等。
在本发明的另一方面，本发明的目标由对瞳孔的角定向及大小进行眼睛监视的方法实现。
在本发明的另一方面，本发明的目标由根据脑信号控制助听装置的方法实现。
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的部分或所有结构特征可与本发明方法的实施结合，反之亦然。方法的实施具有与对应装置一样的优点。另外，任何特征、细节、结构和/或方面可与本说明书中的任何其它特征、细节、结构和/或方面个别组合或整个与之组合。
本申请进一步提供保存包括程序代码的计算机程序的有形计算机可读介质，当计算机程序在数据处理系统上运行时，使得数据处理系统执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。除了保存在有形介质如磁盘、CD-ROM、DVD、硬盘、或任何其它机器可读的介质上，计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。
数据处理系统
本申请进一步提供数据处理系统，包括处理器和程序代码，程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
听音系统
此外，提供包括上面描述的、“具体实施方式”中详细描述的及权利要求中限定的助听装置及包括辅助装置的听音系统。
在实施例中，听音系统适于在助听装置和辅助装置之间建立通信链路以使得信息(如控制和状态信号、可能及音频信号)可在其间交换或从一装置转发给另一装置。
在实施例中，辅助装置是或包括音频网关设备，其适于(如从娱乐装置，例如TV或音乐播放器，从电话装置例如移动电话，或从计算机例如PC)接收多个音频信号，及适于选择和/或组合所接收音频信号(或信号组合)中的适当信号以传给助听装置。在实施例中，辅助装置是或包括遥控器，用于控制助听装置的功能和运行。
在实施例中，辅助装置为另一助听装置。在实施例中，听音系统包括适于实施双耳听音系统如双耳助听器系统的两个助听装置。
定义
在本说明书中，“助听装置”指适于改善、增强和/或保护用户的听觉能力的装置如听力仪器或有源耳朵保护装置或其它音频处理装置，其通过从用户环境接收声信号、产生对应的音频信号、可能修改音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵而实现。
“助听装置”还指适于以电子方式接收音频信号、可能修改音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵的装置如头戴式耳机或耳麦。前述听得见的信号例如可以下述形式提供：辐射到用户外耳内的声信号、作为机械振动通过用户头部的骨结构和/或通过中耳的部分传到用户内耳的声信号、及直接或间接传到用户耳蜗神经的电信号。
助听装置可构造成以任何已知的方式进行佩戴，如安排在耳后的单元，具有将辐射的声信号导入耳道的管或具有安排成靠近耳道或位于耳道中的扬声器；整个或部分安排在耳廓和/或耳道中的单元；连到植入颅骨的固定装置的单元、整个或部分植入的单元等。助听装置可包括单一单元或几个彼此电子通信的单元。
更一般地，助听装置包括用于从用户环境接收声信号并提供对应的输入音频信号的输入变换器和/或以电子方式(即有线或无线)接收输入音频信号的接收器、用于处理输入音频信号的信号处理电路、及用于根据处理后的音频信号将听得见的信号提供给用户的输出装置。在一些助听装置中，放大器可构成信号处理电路。在一些助听装置中，输出装置可包括输出变换器，例如用于提供空传声信号的扬声器或用于提供结构传播的或液体传播的声信号的振动器。在一些助听装置中，输出装置可包括一个或多个用于提供电信号的输出电极。
在一些助听装置中，振动器可适于提供经皮或由皮传给颅骨的结构传播的声信号。在一些助听装置中，振动器可植入在中耳和/或内耳中。在一些助听装置中，振动器可适于将结构传播的声信号提供给中耳骨和/或耳蜗。在一些助听装置中，振动器可适于例如通过卵圆窗将液体传播的声信号提供在耳蜗液体中。在一些助听装置中，输出电极可植入在耳蜗中或植入在颅骨内侧上，并可适于将电信号提供给耳蜗的毛细胞、一个或多个听觉神经、听觉皮层和/或大脑皮层的其它部分。
“听音系统”指包括一个或两个助听装置的系统，及“双耳听音系统”指包括一个或两个助听装置并适于协同地向用户的两只耳朵提供听得见的信号的系统。听音系统或双耳听音系统还可包括“辅助装置”，其与助听装置通信并影响和/或受益于助听装置的功能。辅助装置例如可以是遥控器、音频网关设备、移动电话、广播系统、汽车音频系统或音乐播放器。助听装置、听音系统或双耳听音系统可用于补偿听力受损人员的听觉能力损失、增强或保护正常听力人员的听觉能力和/或将电子音频信号传给人。
本申请的进一步的目标由从属权利要求和本发明的详细描述中限定的实施方式实现。
除非明确指出，在此所用的单数形式的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接”或“耦合”到另一元件时，可以是直接连接或耦合到其他元件，也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
附图说明
本发明将在下面参考附图、结合优选实施方式进行更完全地说明。
图1a-1d示出了助听装置的四个实施例。
图2示出了包括助听装置和音频网关的听音系统的实施例，其中该系统适于在两个装置之间建立通信链路。
图3示出了包括第一和第二听力仪器的双耳助听器系统的实施例。
图4示出了包括脑接口装置的助听装置的第一实施例。
图5示出了包括脑接口装置的助听装置的第二实施例。
图6示出了用于提取α频带内的功率谱特征的模型。
图7a-7b示出了用于控制助听装置的眼睛监视装置的两个实施例。
图8示出了EEG及可从其提取的EOG的例子。
为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。在所有附图中，同样的附图标记用于同样或对应的部分。
通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。对于本领域的技术人员来说，从下面的详细描述可显而易见地得出其它实施方式。
具体实施方式
图1a-1d示出了助听装置的四个实施例。图1a示出了简单的助听器，包括从输入变换器到输出变换器的正向或信号通路，正向通路形成于其间并包括用于向传声器拾取的信号应用随频率而变的增益并将增强的信号提供给输出变换器的处理单元HA-DSP。助听器反馈抵消系统(用于减少或抵消从助听器的输出到输入变换器的“外部”反馈通路(AC FB)的声反馈)可包括自适应滤波器(图1b中的“自适应滤波器”)，其由预测误差算法如LMS(最小均方)算法控制，以预测及抵消由反馈(来自助听器的接收器)引起的传声器信号部分。图1b和1c示出了其例子。自适应滤波器(在图1c中，包括可变“滤波器”部分和预测误差或“算法”部分)(在此)目标在于提供从数模(DA)转换器到模数(AD)转换器的“外部”反馈通路的良好估计。当参考信号应用于自适应滤波器时，预测误差算法使用参考信号(如输出信号)连同源自传声器信号的信号以找到使预测误差最小化的自适应滤波器的设置。助听器的正向通路包括信号处理(图1a-1d中的HA-DSP)，例如适于针对用户的受损听力调节信号。由自适应滤波器提供的反馈通路估计量在求和单元“+”中从传声器信号减去(参见图1b和1c)，提供所谓的“误差信号”(或反馈校正的信号)，其馈给处理单元HA-DSP和自适应滤波器的算法部分(图1c)。为在输出和输入信号之间提供改善的去相关，可能需要向输出信号添加试探信号。该试探信号可用作自适应滤波器的算法部分的参考信号，如图1d中所示(图1d中的“试探信号”模块的输出)，和/或其可与助听器的一般输出混合以形成参考信号。
图2示出了包括助听装置和音频网关的听音系统的实施例，该系统适于在两个装置之间建立通信链路。图2示出了根据本发明的便携听音系统实施例的应用场合，其中音频网关设备1包括适于接收多个音频信号的音频选择装置(在此示为从娱乐装置如TV52、电话装置如移动电话51、计算机如PC53、和用于从环境拾取声音xIS如另一人的话音的外部传声器xMIC接收)。在图2的实施例中，音频网关设备的传声器11适于拾取用户自己的话音31并能够经无线链路6连接到一个或多个外部音频源51、52、53，无线链路在此为根据蓝牙标准的数字传输链路形式，如音频网关设备1中的蓝牙收发器14(BT-Rx-Tx)所示。音频源和音频网关设备可使用按钮“BT对”进行配对。一旦配对，音频源的BT地址可保存在音频网关设备的存储器中以方便将来的配对。作为备选，该链路也可以任何其它方便的无线和/或有线方式实施，及也可根据任何适当的调制类型或传输标准，可能因音频源不同而不同。不同于图2中所示的其它音频源可连接到音频网关，例如音频传输装置(如音乐播放器等)。音频网关设备1还包括选择器/组合器单元(未在图2中示出)，适于选择和/或组合适当的信号或信号组合以传给助听装置2。想要的听音系统运行模式可由用户经模式选择按钮“模式1”和“模式2”进行选择。在此，模式1指电话会话模式(选择来自当前有效配对的移动电话的音频信号)，及模式2指娱乐装置模式(选择来自当前有效配对的娱乐装置如TV或音乐播放器的音频信号)。所选模式确定选择器/组合器单元中将要选择/组合的、拟传给助听装置的信号。在模式1时，来自移动电话的输入信号传给助听装置(非必须地，与传声器11拾取的自我话音信号组合)。在模式2时，来自娱乐装置的音频信号被选择并传给助听装置。音频网关设备还可具有遥控助听装置的功能，例如用于改变助听装置中的程序或工作参数(如音量，参见Vol按钮)。
助听装置2示为安装在用户3的耳朵处的装置。图2实施例的助听装置2包括无线收发器，在此示为基于感应通信I-Rx。该收发器(至少)包括感应接收器(即感应线圈，其与音频网关设备1的收发器I-Tx中的相应线圈感应耦合)，其适于从音频网关设备接收音频信号(或作为基带信号，或作为调制(模拟或数字)信号，在后一情形下，从调制信号提取音频信号)。音频网关设备和助听装置之间的感应链路41示为单向，但也可为双向(例如能够在发射装置1和接收装置2之间交换控制信号，以协商适当的传输通道)。作为备选或另外，助听装置(和/或音频网关设备)可适于从装置环境中的拾音线圈(T线圈)接收音频信号。
音频网关设备1示为被携带在用户3的颈部周围的颈圈42中。颈圈42可具有携带圈和环形天线的组合功能，来自音频网关设备的音频信号馈给环形天线以更好地与助听装置的感应收发器感应耦合。
图3示出了包括第一和第二听力仪器的双耳听力系统的实施例。双耳听力系统包括适于位于用户左耳和右耳之处或之中的第一和第二听力仪器HI-1、HI-2。听力仪器适于在其之间经无线通信链路如专用耳间IA无线链路IA-WLS交换信息。两个听力仪器HI-1、HI-2适于使能交换状态信号，如包括将特定耳朵处的装置接收的输入信号的特性传给另一耳朵处的装置。为建立耳间链路，每一听力仪器包括天线和收发器电路(在此由模块IA-Rx/Tx表示)。每一听力仪器HI-1、HI-2为本申请中描述的助听装置的实施例，在此结合图8进行描述。在图3的双耳听力系统中，由听力仪器之一如HI-1的控制和处理单元SPU的控制部分产生的控制信号X-CNTc传给另一听力仪器如HI-2，反之亦然。来自本听力仪器和对侧听力仪器的控制信号例如一起使用，以影响本听力仪器中的决定或参数设置。控制信号例如可包括为用户增强系统质量的信息，如改善信号处理。控制信号例如可包括方向信息或与佩戴听力仪器的用户的当前声环境的分类有关的信息。在实施例中，听音系统还包括音频网关设备，用于接收多个音频信号及用于将至少一所接收的音频信号传给助听装置(如听力仪器)。在实施例中，听音系统适于使得电话输入信号可经音频网关接收在助听装置中。
图4和图5分别示出了本发明的第一和第二实施例，其通过使单耳或双耳的耳朵EEG电极插入到耳道内解决了上面提及的问题。耳朵电极拾取预计空间姿势，如想到你左边的空间控制如波束形成器的方向性模式及适当的算法。
本发明通过制造个性化耳模(图5)而解决固定和校准问题，其包含耳朵EEG电极(蓝色垫)，确保插入和重新插入均使电极几乎放在准确的地方。
本发明的一实施例取得单耳(或双耳)耳朵EEG信号。为对EEG信号进行放大和滤波，前置放大器、带通滤波器(0.5～50Hz)和模数转换器(ADC)嵌入在电路板中而作为生物信号捕捉和放大部件模块。该生物信号捕捉和放大部件的增益可设定为约5500。具有12比特分辨率的ADC可用于使EEG信号数字化，对于放大和滤波后的EEG信号，采样速率为256Hz。在微处理器部件中，使用ADC试探EEG信号并以数字方式保存。之后，应用频率在50Hz或60Hz的移动平均滤波以拒绝任何电力线干扰。
算法的一个例子由Lun-De Liao等在2012年提出。为改变助听器参数，用户应被培训以按下述进行助听器改变。
用户必须进行移动姿势，例如按所想目标方向向左或向右移动定向传声器目标；之后他们获得基于所实现目标方向和目标中心之间的距离的分值。在培训会话中，可以有屏幕，在屏幕上显示条。可以是屏幕右边为条，目标在屏幕中心处，及分值在屏幕右上方。条表示该用户在定向传声器转向期间的聚焦水平(FL)。换言之，FL值为主控制器。如果FL的值高，则目标方向性靠近目标中心，从而分值高。如果FL的值低，目标方向性远离目标中心，得到较低的分值。用户的任务是通过试图使方向性聚焦到目标中心而使FL值尽可能高。
为测量用户的FL值，可使用用于游戏控制的、简单、实时、精神聚焦水平检测算法。该FL检测算法的流程图如图6中所示。FL检测算法包括三个主要步骤：1)拒收非自然信号；2)提取聚焦特征；及3)确定FL值。首先，将进行初始EEG信号的预处理以拒收噪声信号。众所周知，精神聚焦的状态与EEG的阿尔法节律(8～12Hz)高度相关联，及噪声非自然信号位于不同于阿尔法节律频率范围的频区中。因而，为拒收非自然信号，执行快速傅里叶变换以获得信号的EEG功率谱图，保留阿尔法频带内的信号。
其次，对阿尔法频带内的功率谱进行聚焦特征的提取。先前的研究已表明，EEG的阿尔法节律的功率随用户的精神状态从聚焦变为未聚焦认知状态而增长。因此，阿尔法频带为目前研究中用于表明用户的聚焦状态的主要频带，对于FL检测算法，选择初始EEG信号的8～12Hz频带。聚焦特征(FF)定义为阿尔法节律中的平均功率的倒数，如等式(1)-(3)中所示：
X＝[X1 X2 X3 .. X511 X512]
Y＝[Y1 Y2 Y3 .. Y255 Y256]      (1)
Y＝FFT(X)
P α = 1 5 Σ n = 8 12 Y n - - - ( 2 )
FF＝PRα＝1/Pα      (3)
X表示在2秒中记录的样本，其中Xn为第n个样本。Y为X的功率谱，其通过FFT计算；Yn表示第n个节律中的功率。
阿尔法频带内的平均功率Pα通过对8-12Hz范围中的Y值求平均而获得。PRα为阿尔法节律中的该平均功率的倒数。FF值假定等于PRα。阿尔法节律的功率与FF值具有负关系。如果用户未聚焦，阿尔法节律的功率将增加，FF值将减小。
最后，用户当前的FF值与基线处的FF值的比较用于确认用户是否处于聚焦状态，然后基于用户的聚焦状态确定FL。基于用户反馈假定用户在开始(基线)处于聚焦状态，并将用户在基线的FF定义为基线FF(BFF)，其是初始10秒内的FF的平均。在确定BFF之后，每2秒计算FF值并与BFF比较。如果当前的FF值高于BFF值，用户被认为处于聚焦状态。如果当前的FF值低于BFF值，用户被认为处于未聚焦状态。最后，根据用户的精神聚焦状态确定FL变化的值。如果用户聚焦，FL增加，反之亦然。
图7a和7b示出了使用眼睛跟踪和可佩戴照相机的听力装置控制。
该实施例要解决的问题在于听力装置不能看见佩戴者所看见的及不能感觉到佩戴者所注意的。可能使EEG信号与声音信号相关以评估佩戴者注意哪一信号。EEG信号还洞察当前任务对佩戴者的负荷程度。然而，同样的信息可从其它装置获得而无需声音输入和脑波信号之间的相关？
在许多情形下，佩戴者的注意可从推断佩戴者正看什么而进行估计。对于另外依赖于唇读的听力受损听者，这无疑是正确的。因而，使输入声音与EEG信号相关的、有点复杂的任务可用眼睛跟踪代替。
另外，眼睛跟踪通过监视瞳孔大小和瞳孔反应时间还使能有另外的方式测量认知负荷和认知适合度(疲劳的倒数)。
解决方案是组合至少一眼睛跟踪装置、至少一照相机和至少一听力装置的功能。该组合可实现为单一装置或一起通信的分开的装置。
此外，当听力装置的各个参数相对于佩戴者已过时时，这使整个装置能进行测量。
对于参数的较小调节，装置可尝试新的参数设置并通过将几个参数配置的认知负荷测量值与声音环境的客观测量值比较而监视这些新参数设置的好处。
可佩戴眼睛跟踪可以是用于测量认知机能的EEG的替代。此外，当其与可佩戴照相机和红外传感器(参见图1)的功能结合时，其提供关于下述的信息：佩戴者听到什么(声音)、看到什么(图片)、焦点在哪里(眼睛看向哪里)、听者正怎样努力理解场景(瞳孔测量法)。这开启了听力装置的新用途和运行。
经瞳孔测量法连续测量佩戴者的认知机能(即确定眼睛瞳孔的角定向和大小)使助听器能适应佩戴者的认知负荷，从而使得处理适应认知容量(eGo处理)。欧洲专利申请EP12190377.7，其通过引用组合于此，描述了具有随脑波而变的音频处理的听力装置，提供了监视听力装置的适合的例子。
认知机能的连续测量连同声音环境的客观测量使装置能监视所有声音环境中认知负荷何时增加。这可表明听力装置的调节是必要的。
这通过对声音环境参数和认知机能之间的关系进行变化检测而实现。
听力装置可对特定算法中的参数进行小的调节并监视对同类声音环境中的认知负荷的影响以使听力装置的参数适应用户。这使听力装置变得更加个性化并针对佩戴者需要的变化进行调节。
作为诊断装置，其可在没有听力装置的功能的情形下运行。其测量某些受控或一般环境中的佩戴者的认知负荷并通过将认知负荷与声音环境的客观测量值进行比较而对佩戴者听觉能力进行分组。这使能筛选及更明确地表征佩戴者的听觉能力。
本发明的另一实施例为具有EEG电极的骨导植入物。已知根据对助听器用户测量的EEG信号控制听力装置。例如，听力装置可使用源自EEG测量结果的听觉阈进行验配。与用户皮肤具有物理接触的听力装置可在其外部具有电极，这使其能在不使用外部设备的情形下进行EEG测量。
现有技术的问题在于骨锚式听力装置通常不与用户皮肤接触，因此不能受益于前述解决方案。
该解决方案是将EEG电极放在植入物中并使听力装置通过植入物之上或之中的传导通路连接到EEG电极。EEG电极可均安排在深陷于颅骨中的植入物部分中，或者一个或两个可安排成更靠近颅骨的外侧。
EEG电极可安排在植入物的外侧上，类似于专利EP1843138B1中所公开的。多个处理存在以将非传导和传导通路及层施加到金属物体如植入物上。听力装置可具有安排成在其机械连接到植入物(或邻接)时连接到植入物上的对应接触件的一组接触件。
本发明的另一实施例是使用测得的EEG信号区分自我话音和其它声音。已知EEG可用于讲话者识别，即通过使声音信号和EEG信号相关，可从EEG信号确定该人正听谁讲话。
也可能从EEG信号确定该人自己是否正讲话，即使用EEG用于自我话音检测。想法是大脑的不同部分为人何时讲话及人何时听音，因此可能将自我话音与其他人的讲话区分开。
本发明的另一实施例为具有基于EEG的反馈消除的听力装置。
当声增益高时，听力装置趋于产生啸声和其它非自然信号。抑制前述非自然信号的多种不同方法在本领域众所周知。在许多这些方法中，仍存在将非自然信号和啸声类声音与环境区分开的难题。
由于非自然信号通常使声音质量变差因而导致用户恼火，对用户测量的EEG信号可能展现一些当前听到的啸声是非自然信号还是想要的信号如音乐会中的长笛音的指示。
因此，解决方案是使用EEG信号帮助已经可用的反馈消除系统决定啸声类声音是否应被衰减。
听力装置优选在其壳体外面具有电极因而测量EEG信号。当在反馈消除系统中检测到啸声时，评估EEG信号以确定用户被啸声打扰，如果用户被打扰，则衰减啸声。
本发明的另一实施例是具有EEG控制的音乐选择的耳级听音装置。
许多人经耳级听音装置听音乐，如连接到音乐播放器、智能电话等的耳机。助听器的佩戴者可使用其听力装置作为耳机而听音乐。从有限的音乐收藏听音乐不能提供令人满意的音乐变化。另一方面，例如经因特网搜索和取回新音乐干扰音乐收听体验的松弛或鼓舞。
由于听力装置如助听器或耳机可被提供EEG电极以用于其它目的，EEG信号也可用于确定佩戴者有多喜欢目前播放的音乐。通过分析喜欢和不喜欢的音乐的特征，听力装置可预测令人喜爱的音乐的特征并搜索可用音乐资源如因特网以搜索具有前述特征的随机音乐并将找到的音乐添加到收藏中。
已进行几个表明所听音乐与EEG信号之间存在相关的研究。同样，已知基于先前播放(及据推测受喜欢)的音乐建议新音乐的算法。这些均可组合在具有EEG电极的听力装置中、包括前述听力装置的双耳系统中、和/或连接到前述听力装置的智能电话中。
本发明的另一方面涉及具有可植入EEG电极的听力仪器。EEG电极的使用在本发明的其它部分中讨论，其可整体或部分与本方面的任何部分结合。
对于实施在耳内式或耳后式听力仪器中的EEG电极，建立与皮肤的良好接触富有挑战性。此外，在电极之间实现足够的距离也富有挑战性。因此，改善信号接收是有利的，因为EEG电极接收的信号可能是弱信号和/或充满噪声。因而，有利地，可植入听力仪器连接到或可连接到一个或多个EEG电极，这些电极可位于皮肤下面它们将能实现适当的信号条件的位置处。
对于骨锚式听力仪器，可以有多个电极连接到骨锚式仪器的钛锚，其之后可按星形布置在植入状态的钛锚周围。对于耳蜗植入物，可以预见类似的位置，在钛锚的情形下，具有大约类似的定位/分布。
对于可植入听力仪器和中耳假体，电极最好按类似于上面钛锚或耳蜗植入物情形的配置放在或定位在靠近可植入仪器或假体的耳道表面上或传声器周围。
本发明的该部分可通过下述内容表征：
1、听力仪器可连接到可植入EEG电极，其中可植入EEG电极配置成放在用户头部处的皮肤下面。
2、听力仪器为骨锚式仪器或耳蜗植入物。
3、多个可植入EEG电极连接到听力仪器。
4、一个或多个EEG电极连接到骨锚式仪器的钛锚。
5、一个或多个EEG电极连接到耳蜗植入物的引线。
6、一个或多个EEG电极配置成按星形布置在植入状态的听力仪器周围。
7、EEG电极配置成放在靠近可植入仪器或假体的耳道表面处。
在又一方面中，本发明提出来自耳内装置的眼球运动跟踪。
人眼的观察可用于提供关于人的认知状态的信息，且还提供用于人控制外部装置的手段。前者的例子为眨眼频率和持续时间，其可用于表明认知负荷、疲劳或想睡(如Caffier et al2003)。后者的例子为注视方向及方向变化，其可用于与电子装置交互作用并控制电子装置(如Singh&Singh2012)。
用于记录眨眼和注视活动的常见技术包括基于视频的眼球跟踪(如Bergasa et al2006)和EOG(眼电描记术)(Singh&Singh2012)。前者的技术需要视频设备，或固定不动或随身携带，目前最小巧的例子是安装在眼镜类装置上。后者的技术需要多个电极与头皮接触。目前最小巧的例子包括轻质框架头戴式耳机。目前尚没有记录眼球活动的解决方案能使装置具有装饰可接受的形式，因而限制了其应用于人造或高度受限的情形。
当测量EEG时，EOG为不可避免的、由眼球后边(视网膜)和前边(角膜)之间的电势差产生的电信号引起的非自然信号。由于视神经的大的负电势，在视网膜处离开眼睛，当移动时，眼球形成产生电势变化的大电偶极子。转移注视与眼球的水平和垂直运动相关联。同样，在眨眼期间，眼球向上转，连同开闭眼睑所需要的肌肉活动一起，产生非常不同的EEG图，量值远大于脑EEG本身。由于眼球运动的大振幅，这些通常在分析EEG之前使用技术如独立成分分析进行识别和去除。同样的技术也可应用于从EEG提取EOG以进一步分析眼球运动。
已证明可用质量的EEG信号可从放在人外耳道内的接近间隔开的电极获得。通过在小的耳内装置中组合该技术及信号处理算法，可检测眼球活动如眨眼和注视方向的变化。图8示出了EEG及可从其提取的EOG的例子，基于对靠近眼球前面位置的电极和靠近右耳的头侧上的电极的独立成分分析。从图8可明显看出，可基于靠近右耳的EEG识别眨眼和注视转变。简单的检测算法可应用于检测眨眼，看作大的活动尖峰信号，及检测注视转变，看作基线转变的间隔，以计算特征如注视和眨眼速率、方向和持续时间。
通过将记录耳内装置的EEG与到远程装置的无线数据传输结合，可根据检测到的眨眼或眼球运动状态开始行动，如疲劳报警或任意设备的控制。在向耳内装置添加产生声音的部件的情形下，可能构建不显眼的自律系统，其能够在佩戴者临近或处于值得注意的状态如疲劳或睡意状态时向佩戴者发出报警。此外，如果装置为通信装置如助听器，则可能通过考虑眨眼或注视方向或基于检测到的认知状态而控制装置的性能。
佩戴者的认知状态可以是分类为下述的可区分状态：欲睡、警觉、醒着、睡着、镇定、紧张。另外或备选的类别也可预见。一个或多个阈值或一组或多组阈值可用于确定用户处于哪一状态。
两个例子：
1、佩戴在耳朵之中或之上的通信装置，其可以是助听器或电话耳机。该装置装备有EEG电极并包括眼球活动检测算法。在检测到不合需要的认知状态(如睡意)时该装置可向用户发出听得见的报警，或者根据检测到的认知状态改变其行动方式，例如当认知负荷高时增加传声器方向性或降噪的程度。给定无线数据传输能力，可将关于佩戴者的认知状态的信息转发给远处的装置和人(工作监督者、护理人员等)。
2、佩戴在耳朵之中或之上的通信装置，其可以是助听器或电话耳机。装备有EEG电极并包括眼球活动检测算法，该装置可由用户的蓄意眨眼模式控制。例如，如果装置在两只耳朵中且两个装置之间有通信，眨左眼则向左转定向传声器，反之亦然。
另外，如果用户在两只耳朵中佩戴前述装置，两个装置之间的EEG信号参数、初步决定或原始EEG信号的通信可用于提高眼球活动分类的准确度和可靠性。
根据所使用的EEG电极的类型，EEG电极可定位在耳朵之中或之上，例如耳道中或耳后；可定位在用户皮肤上，例如耳后皮肤区域或靠近太阳穴；可植入在皮肤下面或任何其它适当的地方。
本发明的该部分可由下述内容表征：
1、通信装置包括配置成接收表示佩戴者的眼球活动的电信号的EEG电极、配置成分析表示眼球活动的电信号以检测眼球运动模式的处理器，该处理器还配置成基于检测到的模式操作通信装置。
2、通信装置还包括存储装置，其保存多个眼球运动模式及对应的操作指令，处理器配置成基于检测到的模式从多个操作指令中选择。
3、通信装置包括配置成接收表示佩戴者的眼球活动的电信号的EEG电极、配置成分析表示眼球活动的电信号以检测眼球运动模式的处理器，该处理器还配置成基于检测到的眼球运动模式确定用户的认知状态；与处理器通信的报警装置，处理器配置成响应于确定的认知状态使报警装置运行。
4、认知状态分类为：值得注意或不值得注意，及处理器配置成当检测到从不值得注意状态转变为值得注意状态时使报警装置运行。
5、通信装置的运行方法，其中通信装置包括配置成接收表示佩戴者的眼球活动的电信号的EEG电极及包括处理器，该方法包括：
处理来自EEG电极的信号以对眼球活动进行分类；
基于眼球活动的分类，使用处理器确定是否需要改变通信装置的工作状态并因而运行通信装置。
6、通信装置还包括报警装置，该方法还包括：如果眼球活动的分类导致正分类的状态确定为值得注意，则使报警装置因而运行。
7、通信装置包括具有可适应方向性的定向传声器系统，该方法包括基于眼球活动的分类操作定向传声器系统。
8、眼球运动的分类包括将眼球运动分类为定向传声器系统的方向性的左和/或右移。
这些及其它项目可与本发明中提及的任何特征组合。
一些优选实施例已经在前面进行了说明，但是应当强调的是，本发明不受这些实施例的限制，而是可以权利要求限定的主题内的其它方式实现。此外，本发明的实施例可组合在一起以形成多种助听装置。
参考文献
·[Schaub；2008]Arthur Schaub,Digital hearing Aids,Thieme Medical.Pub.,2008.
·[Haykin]S.Haykin,Adaptive filter theory(Fourth Edition),Prentice Hall,2001.
·[Ammitzboll,1987]US4,689,818,“Resonant peak control”,1987
·[Porayath,1999]US5,999,631“Acoustic feedback elimination using adaptivenotch filter algorithm”,1999
·[Dyrlund,1991]O.Dyrlund,N.Bisgaard,“Acoustic feedback marginimprovements in hearing instruments using a prototype DFS(digital feedbacksuppression)system”,Scand Audiol,20(1),pp.49-53,1991
·[Engebretson,1993]A.Engebretson,M.French-St.George,“Properties of anadaptive feedback equalization algorithm”,J Rehabil Res Dev,30(1),pp.8-16,1993
·[Hansen,1997]US5,680,467,“Hearing Aid Compensating for AcousticFeedback”,1997
·Lun-De Liao et al.(2012).Gaming control using a wearable and wireless EEG-based brain-computer interface device with novel dry foam-based sensors.Journal ofNeuroEngineering and Rehabilitation2012,9:5doi:10.1186/1743-0003-9-5
·Bergasa LM,Nuevo J,Sotelo MA,Barea R,Lopez ME(2006).Real-TimeSystem for Monitoring Driver Vigilance.IEEE Transactions on IntelligentTransportation Systems7(1):63-77.
·Caffier PP,Erdmann U,Ullsperger P(2003).Experimental evaluation of eye-blink parameters as a drowsiness measure.Eur J Appl Physiol89:319-325.
·Singh H,Singh J(2012).A review on electrooculography.InternationalJournal of Advanced Engineering Technology3(4):115-122.

Claims (15)

1.一种通信装置，包括：
用于接收将要进行处理并呈现给用户的声音信号的输入，及用于将可感知为声音的信号输出给用户的输出；
用于根据设置或一组设置处理所述声音信号以补偿听力损失的处理器；及
与用户接口通信的生物信号捕捉和放大部件，用于将生物信号作为输入提供给用户接口，用户接口控制用于通信装置运行的设置或一组设置。
2.根据权利要求1所述的通信装置，其中在专门针对佩戴者耳道配置的耳模中包括耳朵EEG电极。
3.根据权利要求1所述的通信装置，其中所述生物信号捕捉和放大部件包括耳朵EEG电极，其配置成插入到耳道内或在佩戴者头部的皮肤部分上；或者包括可植入的EEG电极，其配置成放在佩戴者头部和/或颅骨处的皮肤下面或放在耳道上。
4.根据权利要求1-3任一所述的通信装置，其中EEG电极拾取预计空间姿势。
5.根据权利要求1-4任一所述的通信装置，其中生物信号表示眼球运动和/或脑活动信号。
6.根据权利要求1-5任一所述的通信装置，其中生物信号捕捉和放大部件包括用于眼球跟踪的可佩戴照相机。
7.根据权利要求1-6任一所述的通信装置，其中所述通信装置还包括报警装置，配置成在来自生物信号捕捉和放大部件的信号被确定表示分类为值得注意的状态的认知状态时提供报警信号。
8.一种通信系统，包括两个根据权利要求1-7任一所述的通信装置，其中每一通信装置配置成放在佩戴者耳后或耳朵处；及每一通信装置包括脑机接口，其包括配置成插入在佩戴者的相应耳道中的耳朵EEG电极。
9.一种控制通信装置的方法，通信装置包括用于接收将要进行处理并呈现给用户的声音信号的输入、用于将可感知为声音的信号输出给用户的输出、用于根据设置或一组设置处理声音信号以补偿听力损失的处理器、与用户接口通信以将生物信号作为输入提供给用户接口的生物信号捕捉和放大部件，用户接口控制用于通信装置运行的设置或一组设置，所述方法包括：
经生物信号捕捉和放大部件获得表示姿势的生物信号；
分析生物信号以认出预计空间姿势；及
处理预计空间姿势以将其转化为用户接口的输入。
10.根据权利要求9所述的方法，其中用户想到目标方向并将目标方向用作用户接口的输入。
11.根据权利要求9或10所述的方法，其中用户按目标方向移动肢体，并将目标方向用作用户接口的输入；或者，用户按目标方向移动一个或两个眼球并将目标方向用作用户接口的输入。
12.根据权利要求9或10所述的方法，其中用户想象按目标方向移动肢体，并将目标方向用作用户接口的输入；或者，用户想象按目标方向移动一个或两个眼球并将目标方向用作用户接口的输入。
13.根据权利要求9-12任一所述的方法，其中生物信号的处理转化为传声器波束形成器的方向模式按预计方向的控制，或者生物信号的处理转化为当前用于声音处理的程序的变化，所述方法包括相应地运行通信装置。
14.根据权利要求10-13任一所述的方法，其中可佩戴照相机朝向用户的眼球，及姿势信号经可佩戴照相机确定。
15.根据权利要求14所述的方法，其中疲劳水平经所述照相机基于瞳孔图像进行确定，非必须地，通过确定瞳孔的角定向和/或瞳孔的大小进行。
CN201410268263.0A 2013-06-14 2014-06-16 具有脑机接口的助听装置 Expired - Fee Related CN104244157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010087193.4A CN111447536B (zh) 2013-06-14 2014-06-16 助听装置及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13172066 2013-06-14
EP13172066.6 2013-06-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010087193.4A Division CN111447536B (zh) 2013-06-14 2014-06-16 助听装置及其控制方法

Publications (2)

Publication Number Publication Date
CN104244157A true CN104244157A (zh) 2014-12-24
CN104244157B CN104244157B (zh) 2020-03-17

Family

ID=50841677

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410268263.0A Expired - Fee Related CN104244157B (zh) 2013-06-14 2014-06-16 具有脑机接口的助听装置
CN202010087193.4A Active CN111447536B (zh) 2013-06-14 2014-06-16 助听装置及其控制方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010087193.4A Active CN111447536B (zh) 2013-06-14 2014-06-16 助听装置及其控制方法

Country Status (3)

Country Link
US (4) US9210517B2 (zh)
EP (2) EP2813175A3 (zh)
CN (2) CN104244157B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106994012A (zh) * 2016-01-22 2017-08-01 周常安 穿戴式生理活动传感器、感测装置及感测系统
CN107024993A (zh) * 2017-05-05 2017-08-08 京东方科技集团股份有限公司 交互系统、方法及装置
CN107343250A (zh) * 2016-04-26 2017-11-10 奥迪康有限公司 包括用于拾取生理反应的电极的听力装置
CN108429956A (zh) * 2018-04-26 2018-08-21 Oppo广东移动通信有限公司 无线耳机、控制操作方法及相关产品
CN109121056A (zh) * 2017-06-22 2019-01-01 奥迪康有限公司 用于捕获眼动电图信号的系统
CN109951783A (zh) * 2017-11-06 2019-06-28 奥迪康有限公司 用于基于瞳孔信息调整助听器配置的方法
CN110636414A (zh) * 2018-06-22 2019-12-31 脸谱科技有限责任公司 用于个性化声传递函数的动态确定的音频系统
CN110996782A (zh) * 2017-08-18 2020-04-10 伯斯有限公司 耳内电势传感器

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3189780A1 (en) 2011-08-24 2017-07-12 T&W Engineering A/S Eeg monitor with capacitive electrodes and method of monitoring brain waves
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
US10130277B2 (en) 2014-01-28 2018-11-20 Medibotics Llc Willpower glasses (TM)—a wearable food consumption monitor
KR101728991B1 (ko) 2013-08-20 2017-04-20 와이덱스 에이/에스 적응성 분류기를 갖는 보청기
US9848260B2 (en) * 2013-09-24 2017-12-19 Nuance Communications, Inc. Wearable communication enhancement device
US10368802B2 (en) 2014-03-31 2019-08-06 Rovi Guides, Inc. Methods and systems for selecting media guidance applications based on a position of a brain monitoring user device
EP2928210A1 (en) * 2014-04-03 2015-10-07 Oticon A/s A binaural hearing assistance system comprising binaural noise reduction
EP2950555A1 (en) * 2014-05-28 2015-12-02 Oticon A/s Automatic real-time hearing aid fitting based on auditory evoked potentials evoked by natural sound signals
US9531708B2 (en) 2014-05-30 2016-12-27 Rovi Guides, Inc. Systems and methods for using wearable technology for biometric-based recommendations
US10856071B2 (en) 2015-02-13 2020-12-01 Noopl, Inc. System and method for improving hearing
CN106156709B (zh) * 2015-04-20 2019-05-21 北京智谷睿拓技术服务有限公司 头部动作确定方法和设备
US9723415B2 (en) 2015-06-19 2017-08-01 Gn Hearing A/S Performance based in situ optimization of hearing aids
EP3107314A1 (en) * 2015-06-19 2016-12-21 GN Resound A/S Performance based in situ optimization of hearing aids
US10183164B2 (en) 2015-08-27 2019-01-22 Cochlear Limited Stimulation parameter optimization
EP3139636B1 (en) * 2015-09-07 2019-10-16 Oticon A/s A hearing device comprising a feedback cancellation system based on signal energy relocation
DK3148214T3 (da) * 2015-09-15 2022-01-03 Oticon As Høreanordning der omfatter et forbedret feedback-annulleringssystem
EP3185590B1 (en) 2015-12-22 2020-08-19 Oticon A/s A hearing device comprising a sensor for picking up electromagnetic signals from the body
US10117032B2 (en) * 2016-03-22 2018-10-30 International Business Machines Corporation Hearing aid system, method, and recording medium
US9937346B2 (en) 2016-04-26 2018-04-10 Cochlear Limited Downshifting of output in a sense prosthesis
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
US10203751B2 (en) * 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
US10079027B2 (en) * 2016-06-03 2018-09-18 Nxp B.V. Sound signal detector
CN109310525B (zh) * 2016-06-14 2021-12-28 杜比实验室特许公司 媒体补偿通过和模式切换
US11373672B2 (en) 2016-06-14 2022-06-28 The Trustees Of Columbia University In The City Of New York Systems and methods for speech separation and neural decoding of attentional selection in multi-speaker environments
CN107864440B (zh) 2016-07-08 2022-02-08 奥迪康有限公司 包括eeg记录和分析系统的助听系统
US10051388B2 (en) 2016-09-21 2018-08-14 Starkey Laboratories, Inc. Radio frequency antenna for an in-the-ear hearing device
JP6829375B2 (ja) * 2016-09-28 2021-02-10 ミツミ電機株式会社 光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイ
EP3570740B1 (en) * 2017-01-23 2023-08-30 Naqi Logix Inc. Apparatus and method for using imagined direction to perform at least one action
DK3396978T3 (da) * 2017-04-26 2020-06-08 Sivantos Pte Ltd Fremgangsmåde til drift af en høreindretning og en høreindretning
US10751524B2 (en) * 2017-06-15 2020-08-25 Cochlear Limited Interference suppression in tissue-stimulating prostheses
DE102017214164B3 (de) 2017-08-14 2019-01-17 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts und Hörgerät
DE102017214163B3 (de) * 2017-08-14 2019-01-17 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts und Hörgerät
EP3672478A4 (en) 2017-08-23 2021-05-19 Neurable Inc. BRAIN COMPUTER INTERFACE WITH HIGH SPEED EYE TRACKING
US10674285B2 (en) * 2017-08-25 2020-06-02 Starkey Laboratories, Inc. Cognitive benefit measure related to hearing-assistance device use
JP2019054385A (ja) * 2017-09-14 2019-04-04 カシオ計算機株式会社 集音機器、補聴器、及び集音機器セット
EP3456259A1 (en) * 2017-09-15 2019-03-20 Oticon A/s Method, apparatus, and computer program for adjusting a hearing aid device
WO2019060298A1 (en) 2017-09-19 2019-03-28 Neuroenhancement Lab, LLC METHOD AND APPARATUS FOR NEURO-ACTIVATION
US20190132683A1 (en) 2017-10-31 2019-05-02 Starkey Laboratories, Inc. Hearing device including a sensor and a method of forming same
JP7496776B2 (ja) 2017-11-13 2024-06-07 ニューラブル インコーポレイテッド 高速、正確及び直観的なユーザ対話のための適合を有する脳－コンピュータインターフェース
EP3713531A4 (en) * 2017-11-21 2021-10-06 3M Innovative Properties Company PADDING FOR EAR PROTECTION OR AN AUDIO HEADSET
US10582316B2 (en) * 2017-11-30 2020-03-03 Starkey Laboratories, Inc. Ear-worn electronic device incorporating motor brain-computer interface
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
EP3496417A3 (en) 2017-12-06 2019-08-07 Oticon A/s Hearing system adapted for navigation and method therefor
US11478603B2 (en) 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
CN111937412B (zh) * 2018-02-06 2022-06-03 科利耳有限公司 假体认知能力提高
EP3580639A1 (en) 2018-02-09 2019-12-18 Starkey Laboratories, Inc. Use of periauricular muscle signals to estimate a direction of a user's auditory attention locus
CN207835740U (zh) * 2018-02-12 2018-09-07 易力声科技(深圳)有限公司 一种应用于听觉感官异常人的个性化耳机
US10362385B1 (en) * 2018-03-05 2019-07-23 Harman International Industries, Incorporated Controlling perceived ambient sounds based on focus level
US10674305B2 (en) * 2018-03-15 2020-06-02 Microsoft Technology Licensing, Llc Remote multi-dimensional audio
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
CN208434085U (zh) * 2018-06-05 2019-01-25 歌尔科技有限公司 一种无线耳机
DK3582514T3 (da) * 2018-06-14 2023-03-06 Oticon As Lydbehandlingsapparat
WO2020056418A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
CN112449756B (zh) * 2018-09-14 2022-12-20 科利耳有限公司 一种包括植入式假体的植入式部件的装置
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
EP3668108A1 (en) * 2018-12-14 2020-06-17 Widex A/S Hearing assistive system with sensors for acquiring a physiological signal
US11223915B2 (en) * 2019-02-25 2022-01-11 Starkey Laboratories, Inc. Detecting user's eye movement using sensors in hearing instruments
US11523229B2 (en) * 2019-04-09 2022-12-06 Gn Hearing A/S Hearing devices with eye movement detection
US11184723B2 (en) 2019-04-14 2021-11-23 Massachusetts Institute Of Technology Methods and apparatus for auditory attention tracking through source modification
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US10715933B1 (en) * 2019-06-04 2020-07-14 Gn Hearing A/S Bilateral hearing aid system comprising temporal decorrelation beamformers
US20220369045A1 (en) * 2019-10-30 2022-11-17 Starkey Laboratories, Inc. Audio feedback reduction system for hearing assistance devices, audio feedback reduction method and non-transitory machine-readable storage medium
WO2021138049A1 (en) * 2019-12-31 2021-07-08 Starkey Laboratories, Inc. Methods and systems for assessing insertion position of an in-ear assembly of a hearing instrument
EP4085654A1 (en) 2019-12-31 2022-11-09 Starkey Laboratories, Inc. Methods and systems for assessing insertion position of an in-ear assembly of a hearing instrument
WO2021150971A1 (en) * 2020-01-22 2021-07-29 Dolby Laboratories Licensing Corporation Electrooculogram measurement and eye-tracking
WO2021173667A1 (en) * 2020-02-28 2021-09-02 Bose Corporation Asymmetric microphone position for beamforming on wearables
EP3879853A1 (en) * 2020-03-12 2021-09-15 Sonova AG Adjusting a hearing device based on a stress level of a user
US11647925B2 (en) 2020-03-20 2023-05-16 Starkey Laboratories, Inc. Alertness mode initiation for non-alert detection using ear-worn electronic devices
US11033214B1 (en) * 2020-05-19 2021-06-15 United Arab Emirates University Wearable eye tracking system
CA3137818A1 (en) * 2020-05-29 2021-11-29 Tandemlaunch Inc. Multimodal hearing assistance devices and systems
EP4374242A1 (en) * 2021-07-21 2024-05-29 Dolby Laboratories Licensing Corporation Screen interaction using eog coordinates
US11478184B1 (en) 2021-09-14 2022-10-25 Applied Cognition, Inc. Non-invasive assessment of glymphatic flow and neurodegeneration from a wearable device
CN115429289B (zh) * 2022-09-01 2024-05-31 天津大学 一种脑机接口训练数据扩增方法、装置、介质及电子设备
US12004874B2 (en) 2022-10-24 2024-06-11 Applied Cognition, Inc. Wearable device and method for non-invasive assessment of glymphatic flow

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2297344A1 (en) * 1999-02-01 2000-08-01 Steve Mann Look direction microphone system with visual aiming aid
EP1691670A1 (en) * 2003-11-14 2006-08-23 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
EP2200342A1 (en) * 2008-12-22 2010-06-23 Siemens Medical Instruments Pte. Ltd. Hearing aid controlled using a brain wave signal
CN102165795A (zh) * 2008-09-25 2011-08-24 阿尔卡特朗讯美国公司 自动转向的方向性助听器及其操作方法
CN102474696A (zh) * 2009-07-13 2012-05-23 唯听助听器公司 适于检测脑电波的助听器和用于调适这类助听器的方法
EP2508945A1 (en) * 2011-04-07 2012-10-10 Sony Ericsson Mobile Communications AB Directional sound capturing
WO2013017169A1 (en) * 2011-08-03 2013-02-07 Widex A/S Hearing aid with self fitting capabilities
EP2560412A1 (en) * 2012-10-08 2013-02-20 Oticon A/s Hearing device with brain-wave dependent audio processing

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4689818A (en) 1983-04-28 1987-08-25 Siemens Hearing Instruments, Inc. Resonant peak control
US5680467A (en) 1992-03-31 1997-10-21 Gn Danavox A/S Hearing aid compensating for acoustic feedback
US5999631A (en) 1996-07-26 1999-12-07 Shure Brothers Incorporated Acoustic feedback elimination using adaptive notch filter algorithm
US6738485B1 (en) * 1999-05-10 2004-05-18 Peter V. Boesen Apparatus, method and system for ultra short range communication
US8560041B2 (en) * 2004-10-04 2013-10-15 Braingate Co., Llc Biological interface system
US20070112277A1 (en) * 2005-10-14 2007-05-17 Fischer Russell J Apparatus and method for the measurement and monitoring of bioelectric signal patterns
EP1964441B1 (en) * 2005-12-23 2011-01-26 Phonak AG Method for manufacturing a hearing device based on personality profiles
CN2872546Y (zh) * 2006-01-24 2007-02-21 陈奚平 播放器控制器
EP1843138B1 (en) 2006-04-06 2012-05-16 Sauer-Danfoss ApS A bolt having a layer of conducting material forming a sensor
WO2008127316A1 (en) * 2006-11-22 2008-10-23 Chornenky T E Security and monitoring apparatus
JP4465414B2 (ja) * 2008-07-11 2010-05-19 パナソニック株式会社 脳波を用いた機器の制御方法および脳波インタフェースシステム
DK2200347T3 (da) * 2008-12-22 2013-04-15 Oticon As Fremgangsmåde til drift af et høreinstrument baseret på en estimering af den aktuelle kognitive belastning af en bruger og et høreapparatsystem og tilsvarende anordning
WO2011000375A1 (en) * 2009-07-02 2011-01-06 Widex A/S An ear plug with surface electrodes
CA2776265C (en) * 2009-10-01 2015-07-28 Widex A/S A portable monitoring device with hearing aid and eeg monitor
WO2011135789A1 (ja) * 2010-04-28 2011-11-03 パナソニック株式会社 脳波計測装置、電気的ノイズの推定方法、および、電気的ノイズの推定方法を実行するコンピュータプログラム
US11471091B2 (en) * 2010-07-29 2022-10-18 Kulangara Sivadas Mind strength trainer
WO2012018157A1 (ko) * 2010-08-01 2012-02-09 연세대학교 산학협력단 생체신호 기반 자동 수면단계 분류시스템
US9185501B2 (en) * 2012-06-20 2015-11-10 Broadcom Corporation Container-located information transfer module

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2297344A1 (en) * 1999-02-01 2000-08-01 Steve Mann Look direction microphone system with visual aiming aid
EP1691670A1 (en) * 2003-11-14 2006-08-23 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
CN102165795A (zh) * 2008-09-25 2011-08-24 阿尔卡特朗讯美国公司 自动转向的方向性助听器及其操作方法
EP2200342A1 (en) * 2008-12-22 2010-06-23 Siemens Medical Instruments Pte. Ltd. Hearing aid controlled using a brain wave signal
CN102474696A (zh) * 2009-07-13 2012-05-23 唯听助听器公司 适于检测脑电波的助听器和用于调适这类助听器的方法
EP2508945A1 (en) * 2011-04-07 2012-10-10 Sony Ericsson Mobile Communications AB Directional sound capturing
WO2013017169A1 (en) * 2011-08-03 2013-02-07 Widex A/S Hearing aid with self fitting capabilities
EP2560412A1 (en) * 2012-10-08 2013-02-20 Oticon A/s Hearing device with brain-wave dependent audio processing

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106994012A (zh) * 2016-01-22 2017-08-01 周常安 穿戴式生理活动传感器、感测装置及感测系统
CN107343250A (zh) * 2016-04-26 2017-11-10 奥迪康有限公司 包括用于拾取生理反应的电极的听力装置
CN107024993A (zh) * 2017-05-05 2017-08-08 京东方科技集团股份有限公司 交互系统、方法及装置
US11928982B2 (en) 2017-05-05 2024-03-12 Boe Technology Group Co., Ltd. Interaction system, method and device
WO2018201779A1 (zh) * 2017-05-05 2018-11-08 京东方科技集团股份有限公司 交互系统、方法及装置
CN109121056A (zh) * 2017-06-22 2019-01-01 奥迪康有限公司 用于捕获眼动电图信号的系统
CN109121056B (zh) * 2017-06-22 2021-12-28 奥迪康有限公司 用于捕获眼动电图信号的系统
CN110996782A (zh) * 2017-08-18 2020-04-10 伯斯有限公司 耳内电势传感器
CN109951783A (zh) * 2017-11-06 2019-06-28 奥迪康有限公司 用于基于瞳孔信息调整助听器配置的方法
CN109951783B (zh) * 2017-11-06 2022-01-25 奥迪康有限公司 用于基于瞳孔信息调整助听器配置的方法
CN108429956B (zh) * 2018-04-26 2021-05-04 Oppo广东移动通信有限公司 无线耳机、控制操作方法及相关产品
CN108429956A (zh) * 2018-04-26 2018-08-21 Oppo广东移动通信有限公司 无线耳机、控制操作方法及相关产品
CN110636414A (zh) * 2018-06-22 2019-12-31 脸谱科技有限责任公司 用于个性化声传递函数的动态确定的音频系统
US11070912B2 (en) 2018-06-22 2021-07-20 Facebook Technologies, Llc Audio system for dynamic determination of personalized acoustic transfer functions
CN110636414B (zh) * 2018-06-22 2021-12-28 脸谱科技有限责任公司 用于个性化声传递函数的动态确定的音频系统
US11523213B2 (en) 2018-06-22 2022-12-06 Meta Platforms Technologies, Llc Audio system for dynamic determination of personalized acoustic transfer functions

Also Published As

Publication number Publication date
CN104244157B (zh) 2020-03-17
EP2813175A2 (en) 2014-12-17
EP3917167A3 (en) 2022-03-09
US20190327570A1 (en) 2019-10-24
US11185257B2 (en) 2021-11-30
CN111447536B (zh) 2021-11-30
CN111447536A (zh) 2020-07-24
US10743121B2 (en) 2020-08-11
US20140369537A1 (en) 2014-12-18
EP2813175A3 (en) 2015-04-01
US20200336847A1 (en) 2020-10-22
US9210517B2 (en) 2015-12-08
EP3917167A2 (en) 2021-12-01
US20160119726A1 (en) 2016-04-28

Similar Documents

Publication Publication Date Title
US11185257B2 (en) Hearing assistance device with brain computer interface
US10542355B2 (en) Hearing aid system
CN110022520B (zh) 助听器系统
US11826138B2 (en) Ear-worn devices with deep breathing assistance
CA2768424C (en) A hearing aid adapted for detecting brain waves and a method for adapting such a hearing aid
US20180263562A1 (en) Hearing system for monitoring a health related parameter
US20220141601A1 (en) Portable system for gathering and processing data from eeg, eog, and/or imaging sensors
US11689869B2 (en) Hearing device configured to utilize non-audio information to process audio signals
EP3873110A1 (en) Hearing aid determining turn-taking
US20230412990A1 (en) Hearing aid comprising a physiological sensor
US20220394396A1 (en) Control of parameters of hearing instrument based on ear canal deformation and concha emg signals
US11980477B2 (en) Hearing aid determining listening effort

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200317

Termination date: 20210616