CN111065032A - 用于操作听力仪器的方法和包括听力仪器的听力系统 - Google Patents
用于操作听力仪器的方法和包括听力仪器的听力系统 Download PDFInfo
- Publication number
- CN111065032A CN111065032A CN201910976678.6A CN201910976678A CN111065032A CN 111065032 A CN111065032 A CN 111065032A CN 201910976678 A CN201910976678 A CN 201910976678A CN 111065032 A CN111065032 A CN 111065032A
- Authority
- CN
- China
- Prior art keywords
- user
- signal
- sound signal
- voice
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000005236 sound signal Effects 0.000 claims abstract description 98
- 238000012545 processing Methods 0.000 claims abstract description 64
- 230000002996 emotional effect Effects 0.000 claims abstract description 62
- 230000006870 function Effects 0.000 claims abstract description 40
- 229910052760 oxygen Inorganic materials 0.000 claims abstract description 17
- 229910052731 fluorine Inorganic materials 0.000 claims abstract description 15
- 229910052720 vanadium Inorganic materials 0.000 claims abstract description 15
- 229910052799 carbon Inorganic materials 0.000 claims abstract description 14
- 229910052717 sulfur Inorganic materials 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims description 27
- 238000005259 measurement Methods 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 20
- 230000009467 reduction Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 230000004886 head movement Effects 0.000 claims description 4
- 210000003205 muscle Anatomy 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 3
- 239000008280 blood Substances 0.000 claims description 3
- 210000004369 blood Anatomy 0.000 claims description 3
- 230000036772 blood pressure Effects 0.000 claims description 3
- 230000007177 brain activity Effects 0.000 claims description 3
- 239000001301 oxygen Substances 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000006835 compression Effects 0.000 description 18
- 238000007906 compression Methods 0.000 description 18
- 230000006978 adaptation Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 230000008901 benefit Effects 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007620 mathematical function Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 2
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 208000013403 hyperactivity Diseases 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 230000003863 physical function Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6815—Ear
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
- H04R25/507—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing implemented by neural network or fuzzy logic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/70—Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Otolaryngology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Psychiatry (AREA)
- Neurosurgery (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Dentistry (AREA)
- Pulmonology (AREA)
- Optics & Photonics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Telephone Function (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
提供了一种用于操作包括佩戴在用户耳朵内或耳朵旁的听力仪器(2)的听力系统的方法。该方法包括从听力仪器(2)的环境中捕获声音信号,根据信号处理参数集(R,S,C,O)处理所捕获的声音信号,以及将处理后的声音信号输出给用户。该方法还包括分析所捕获的声音信号以识别用户说话的自身语音间隔,分析所捕获的声音信号以获得用户自身语音的至少一个声学特征(F,V)和/或分析至少一个生物传感器的信号,所述至少一个生物传感器测量用户的至少一个非声学生命机能,以及从用户自身语音的所述至少一个声学特征(F,V)和/或用户的至少一个非声学生命机能中确定用户情绪状态的测量(M)。
Description
技术领域
本发明涉及一种用于操作听力仪器的方法。本发明还涉及一种包括听力仪器的听力系统。
背景技术
听力仪器是一种电子设备,被设计用来支持佩戴它的人(该人被称为“用户”或“佩戴者”)的听力。听力仪器可以被特别配置为补偿听力受损用户的听力损失。这种听力仪器也被称为“助听器”。其他听力仪器被配置为适合特殊情况下正常听力的人的需要,例如,对于音乐家的降低声音水平的听力仪器等。
听力仪器通常被设计成佩戴在用户的耳朵内或耳朵旁,例如,作为耳内式(In-The-Ear,ITE)设备或耳背式(Behind-The-Ear,BTE)设备。关于其内部结构,听力仪器通常包括(声-电)输入换能器、信号处理器和输出换能器。在听力仪器的操作期间,输入换能器从听力仪器的环境中捕获声音信号,并将其转换成输入音频信号(即传输声音信息的电信号)。在信号处理器中,输入音频信号被处理,特别是根据频率被放大。信号处理器将处理后的信号(也称为输出音频信号)输出到输出换能器。通常,输出换能器是电-声换能器(也称为“接收器”),其将输出音频信号转换成处理后的声音信号,以发射到用户的耳道中。
术语“听力系统”表示提供听力仪器正常操作所需功能的设备和/或其他结构的组件。听力系统可以由单个独立的听力仪器组成。作为替代,听力系统可以包括听力仪器和至少一个另外的电子设备,该电子设备可以是例如用于用户另一只耳朵的另一听力仪器、用于听力仪器的遥控器和编程工具中的一个。此外,现代听力系统通常包括听力仪器和用于控制和/或编程听力仪器的软件应用,该软件应用在计算机或诸如移动电话(智能手机)的移动通信设备上或可以安装在计算机或诸如移动电话(智能手机)的移动通信设备上。在后一种情况下,典型地,计算机或移动通信设备不是听力系统的一部分。相反,计算机或移动通信设备仅被听力系统用作提供计算能力和存储器的资源。特别地,最常见的是,计算机或移动通信设备是将独立于听力系统进行制造和销售的通用设备。
通常,现代听力仪器中的信号处理由大量信号处理参数控制,这些参数必须适配于个体用户的需要,以确保听力仪器的良好效益。这种适配过程,也称为“适应”,是一项困难的任务,因为影响听力仪器主观效益的客观和主观因素是多种多样的,从而影响用户满意度。一个具体的问题是,听力仪器的主观(感知)效益在很大程度上取决于用户情绪状态。
发明内容
本发明的一个目的是提供一种用于操作佩戴在用户耳朵内或耳朵处的听力仪器的方法,该方法允许听力仪器给用户带来特别好的益处。
本发明的另一个目的是提供一种包括佩戴在用户耳朵内或耳朵旁的听力仪器的听力系统,该系统允许该听力仪器给用户带来特别好的益处。
根据本发明的第一方面,如权利要求1所述,提供了一种用于操作佩戴在用户耳朵内或耳朵旁的听力仪器的方法。该方法包括从听力仪器的环境中捕获声音信号,根据信号处理参数集处理所捕获的声音信号,以及向用户输出处理后的声音信号。该方法还包括以下步骤:
在自身语音识别步骤中,分析所捕获的声音信号以识别用户说话的自身语音间隔。
在分析步骤中,分析所捕获的声音信号以获得用户自身语音的至少一个声学特征。可替换地或附加地,分析至少一个生物传感器的信号,所述信号代表由生物传感器测量的用户的至少一个非声学生命机能。术语“非声学生命机能”通常表示与用户自身语音无关的用户身体功能;特别地,至少一个非声学生命机能可以选自脉搏频率(pulsefrequency)、血液含氧量、血压、大脑活动、用户运动(特别是用户头部运动的幅度和/或频率)、皮肤传导性或体温中的至少一个。至少一个生物传感器可以集成在听力仪器中,或者位于听力仪器的外部(或者甚至位于包括听力仪器的听力系统的外部),例如,在诸如智能手表或移动电话的外部设备中。
在本发明的实施例中,分析步骤仅在识别的自身语音间隔期间执行。当然,特别地,只能在自身语音间隔期间确定自身语音的至少一个声学特征。然而,如果适用的话,也可以在所述自身语音间隔之外分析至少一个生物传感器的信号。
在所谓的缩减步骤中,包含在用户自身语音的至少一个声学特征和/或至少一个生物传感器的信号中的信息被缩减为用户情绪状态的测量。换句话说,用户情绪状态的所述测量是从用户自身声音的所述至少一个声学特征和/或用户的所述至少一个非声学生命机能(即至少一个生物传感器的信号)中确定的。
用户情绪状态的“测量”(或估计)是表征佩戴听力仪器的人的情绪状态的信息。在本发明的简单而有效的实施例中,该测量被设计成以指示情绪状态的预定配价(valence)的定量方式表征情绪状态(例如,在更好/更正面或更差/更负面的意义上)。例如,该测量可以作为数值变量来提供,其值可以在最小值(例如,对应于非常消极的情绪状态的“0”)和最大值(例如,对应于非常积极的情绪状态的“10”)之间变化。在本发明的其他实施例中,该测量被设计成以定性方式表征用户情绪状态。例如,该测量可以作为变量提供,可以假设不同值对应于“快乐”、“活动”、“压力”、“疲劳”、“悲伤”、“消极”等。在本发明的更有区别的实施例中,该测量可以被设计成以定性和定量的方式两者来表征用户情绪状态。例如,该测量可以被提供为具有多个元素的向量或数组,这些元素对应于例如“积极/消极”、“快乐/悲伤”等。其中每个所述元素可以在各自的最小值和各自的最大值之间取不同的值。
在本发明的实施例中,仅记录情绪状态的测量以供以后使用,例如,作为数据记录功能的一部分。附加地或可替换地,可以向用户提供该测量。然而,在权利要求2中所述的本发明的优选实施例中,该测量用于积极改变(特别是改善)用户情绪状态。为此,在测试步骤中,相对于预定义的标准测试情绪状态的所述测量。优选地,所述标准被定义为指示负面情绪状态,即要改变的情绪状态(也可以是过度活跃的情绪状态,诸如多动)。
所述测试步骤之后是适配步骤,在适配步骤中,如果发现满足所述标准,则在所述自身语音间隔内适配至少一个所述信号处理参数的值。所述自身语音间隔内的适配意味着适配参数设置被应用于自身语音间隔期间的信号处理,使得适配参数选择性地控制包含用户自身语音的所捕获的声音信号的时间部分的处理。在自身语音间隔之外,不同的参数设置可以(并且优选地将)应用于信号处理。特别地,根据本发明的方法的优选实施例不影响自身语音间隔之外的信号处理。
优选地,在适配步骤中,仅选择听力仪器的所有信号处理参数的给定子集进行适配。包括在所述子集中的优选信号处理参数在下文中详细描述。在有利的实施例中,所述选择的信号处理参数的值被缓慢地适配,例如,使用逐渐消逝机制,使得用户察觉不到适配。
本发明基于这样的发现,一方面,人的自身语音指示这个人的情绪状态,另一方面,人的情绪状态受到这个人如何感知自身语音的显著影响。因此,人的自身声音的感知构成了一种反馈机制,该机制既可以稳定情绪状态,也可以动摇情绪状态。通过确定情绪状态并且优选地通过改变听力仪器中对自身声音的处理来改变情绪状态,根据本发明的方法允许特别好地使听力仪器适应个体用户的需求。因此,可以以有效的方式优化听力仪器对用户的益处。
在本发明的优选实施例中,该方法以闭环控制电路的方式设计。在该实施例中,所述标准包括情绪状态的测量的期望值。这里,在所述测试步骤中,确定情绪状态的测量相对于所述期望值的偏差。在该实施例中,如果测量(显著)偏离期望值(即如果所述偏离非零或超过预定阈值),则满足标准。在这种情况下,在所述适配步骤中,适配所述至少一个所述信号处理参数的值,使得所述偏差减小,特别是最小化。优选地,所述减小或最小化在迭代过程中执行,即至少一个所述信号处理参数的值在多次迭代中被重复适配以连续减小所述偏差。可以使用传统的优化方法来计算至少一个所述信号处理参数的适配值,例如,梯度下降法。
在本发明的更增强的实施例中,进一步分析所捕获的声音信号以获得以下环境声学特征中的至少一个:
-所捕获的声音信号(包括语音和噪声)的(总)声音水平;
-噪声水平或信噪比;
-混响时间;和
-不同于用户的说话者的存在。
在该实施例中,进一步根据至少一个环境声学特征和/或其时间变化来确定情绪状态的测量。考虑至少一个环境声学特征允许更好地评估情绪状态。因此,特别地,可以降低对用户情绪状态的错误估计的概率。
根据本发明的第二方面,如权利要求5所述,提供了一种用于操作佩戴在用户耳朵内或耳朵旁的听力仪器的方法。该方法包括从听力仪器的环境中捕获声音信号,根据信号处理参数集处理所捕获的声音信号,以及将处理后的声音信号输出给用户。
根据本发明第二方面的方法还包括:
-分析所捕获的声音信号以识别用户说话的自身语音间隔;
-分析所捕获的声音信号以获得用户自身声音的至少一个声学特征,和/或分析至少一个生物传感器的信号,所述生物传感器测量用户的至少一个非声学生命机能,
-相对于预定标准测试用户自身语音的所述至少一个声学特征和/或用户的所述至少一个非声学生命机能(即至少一个生物传感器的信号);和
-如果满足所述标准,则在所述自身语音间隔中适配至少一个所述信号处理参数的值,以改变情绪状态。
根据本发明第二方面的方法包括关于本发明第一实施例描述的自身语音识别步骤和分析步骤。然而,缩减步骤缺失(即没有明确确定用户情绪状态的测量或估计)。相反,在修改的测试和适配步骤中,至少一个所述信号处理参数的值直接根据自身语音的至少一个声学特征和/或至少一个非声学生命机能来适配。同样,优选地,所述选择的信号处理参数的值被缓慢地适配,例如,使用逐渐消逝机制,使得用户察觉不到适配。
类似于上述本发明第一方面的实施例,根据第二方面的方法可以以闭环控制电路的方式设计。为此,所述标准优选地包括用户自身语音的所述至少一个声学特征和/或用户的所述至少一个生命机能的相应期望值。这里,测试包括确定用户的自身语音的所述至少一个声学特征和/或用户的所述至少一个生命机能相对于所述期望值的偏差。在适配步骤中,适配所述至少一个所述信号处理参数的值,使得所述偏差减小,特别是最小化。
优选地,根据本发明第二方面的方法包括分析所捕获的声音信号以获得如上所述的至少一个环境声学特征,并相对于预定标准测试所述至少一个环境声学特征。
在本发明第一或第二方面的优选实施例中,(在适配步骤中适配的)至少一个信号处理参数选自以下中的至少一个:
-降噪算法的参数,
-适配包括用户自身语音的所捕获的声音信号的音调(即基频)的算法的参数;特别地,所述算法可操作来实现音调的偏移或转变,
-适配(即压缩或扩展)包括用户的自身语音的所捕获的声音信号的动态范围的算法的参数,
-用于在双耳或单耳声音处理之间切换的参数(如果听力仪器与双耳听力系统中的第二听力仪器交互的话),
-波束形成算法的参数,即控制所捕获的声音信号的方向性的参数,以及
-适配所捕获的声音信号的频谱能量的算法的参数,例如,高通滤波器。
在本发明的第一或第二方面的另外的实施例中,(在分析步骤中用于分析捕获的声音信号的)用户自身语音的所述至少一个声学特征选自以下中的至少一个:
-自身语音的音量,
-自身语音的共振峰频率,
-自身语音的音调(基频),
-自身语音的频率分布,以及
-讲话的速度或节奏。
优选地,由至少一个生物传感器测量的所述至少一个用户非声学生命机能选自以下中的至少一个:
-脉搏频率,
-血液含氧量,
-血压,
-大脑活动,
-肌肉活动,
-用户的运动,特别是用户头部运动的频率和/或幅度,
-皮肤传导性,以及
-体温。
根据本发明的第三方面,如权利要求11所述,提供了一种具有佩戴在用户耳朵内或耳朵旁的听力仪器的听力系统。该听力仪器包括:
-输入换能器,被布置成从听力仪器的环境中捕获声音信号,
-信号处理器,被布置成根据信号处理参数集来处理所捕获的声音信号,和
-输出换能器,被布置成将处理后的声音信号发射到用户的耳朵中。
特别地,输入换能器将声音信号转换成输入音频信号,该输入音频信号被馈送到信号处理器,并且信号处理器将输出音频信号输出到输出换能器,该输出换能器将输出音频信号转换成处理后的声音信号。
通常,根据本发明第三方面的听力系统被配置为自动执行根据本发明第一方面的方法。为此,该系统包括语音识别单元,其被配置为分析所捕获的声音信号以识别所述自身语音间隔。该系统进一步包括分析单元,其被配置为分析所捕获的声音信号以获得用户自身语音的至少一个声学特征,和/或分析至少一个生物传感器(其可以是也可以不是听力系统的一部分)的信号,其中所述生物传感器测量用户的至少一个非声学生命机能。该系统进一步包括控制单元,其被配置为从用户的自身语音的所述至少一个声学特征和/或用户的所述至少一个非声学生命机能确定如上所述的用户情绪状态的测量。
优选地,如权利要求12所述,控制单元进一步被配置为:
-相对于如上所述的预定标准测试情绪状态的测量;以及
-如果满足所述标准,则适配至少一个所述信号处理参数的值以改变情绪状态。
根据本发明的第四方面,如权利要求15所述,提供了一种具有佩戴在用户耳朵内或耳朵旁的听力仪器的听力系统。该听力仪器包括如上所述的输入换能器、信号处理器和输出换能器。这里,系统被配置为自动执行根据本发明第二方面的方法。特别地,该系统包括语音识别单元,其被配置为分析所捕获的声音信号以识别所述自身语音间隔。该系统进一步包括分析单元,其被配置为分析所捕获的声音信号以获得用户的自身语音的至少一个声学特征,和/或分析至少一个生物传感器(其可以是也可以不是听力系统的一部分)的信号,其中所述生物传感器测量用户的至少一个非声学生命机能。该系统进一步包括控制单元,其被配置为相对于如上所述的预定标准测试用户的自身语音的所述至少一个声学特征和/或用户的至少一个非声学生命机能,并且被配置为如果满足所述标准,则适配至少一个所述信号处理参数的值以改变情绪状态。
优选地,根据本发明第三和第四方面的信号处理器被设计为数字电子设备。该信号处理器可以是单个单元或者包括多个子处理器。信号处理器或至少一个所述子处理器可以是可编程设备(例如,微控制器)。在这种情况下,上述功能或所述功能的一部分可以实现为软件(特别是固件)。并且,信号处理器或至少一个所述子处理器可以是不可编程设备(例如,专用集成电路(Application Specific Integrated Circuit,ASIC))。在这种情况下,上述功能或所述功能的一部分可以实现为硬件电路。
在本发明的优选实施例中,根据本发明第三和第四方面的语音识别单元设置在听力仪器中。特别地,该语音识别单元可以是信号处理器的硬件或软件组件。在优选实施例中,该语音识别单元包括用于检测用户的自身语音的自身语音检测(own voicedetection,OVD)模块,并且可选地,包括用于一般语音检测的语音活动检测(voiceactivity detection,VAD)模块。然而,在本发明的其他实施例中,语音识别单元或其至少一个功能部分可以位于外部电子设备中。可选地,语音识别单元可以包括用于识别外来语音(即与用户不同的说话者的语音)的软件组件,该软件组件可以被实现为要安装在外部通信设备(例如,计算机、智能手机等)上的软件应用的一部分。
优选地,根据本发明第三和第四方面的分析单元设置在听力仪器中,例如,作为信号处理器的硬件或软件组件。可替换地,分析单元的至少一个功能部分也可以被设计为要安装在外部通信设备(例如,计算机、智能手机等)上的软件应用的一部分。
根据本发明第三和第四方面的控制单元可以设置在听力仪器中,例如,作为信号处理器的硬件或软件组件。然而,优选地,控制单元被布置为要安装在外部通信设备(例如,计算机、智能手机等)上的软件应用的一部分。
根据本发明第一和第二方面的方法的所有实施例分别对应于根据本发明第三和第四方面的听力系统的匹配实施例,反之亦然。
附图说明
将参考附图描述本发明的实施例,其中:
图1示出了听力系统的示意图,该听力系统包括佩戴在用户耳朵内或耳朵旁的助听器和用于控制和编程助听器的软件应用,该软件应用安装在智能手机上;
图2示出了用于操作图1的听力仪器的方法的流程图;
图3是用于操作听力仪器的方法的可替换实施例的流程图;以及
图4示出了听力系统的分析单元和控制单元的框图,在该听力系统中实现了该方法的另一实施例。
相同的附图标号表示相同的部件、结构和元件,除非另有说明。
具体实施方式
图1示出了包括助听器2(即被配置为支持听力受损用户的听力的听力仪器)和安装在用户智能手机4上的软件应用(随后表示为“听力应用”3)。这里,智能手机4不是系统1的一部分。相反,它仅被系统1用作提供计算能力和存储器的资源。通常,助听器2被配置为佩戴在用户的一只耳朵内或一只耳朵旁。如图1所示,助听器2可以被设计成耳背式(BTE)助听器。
可选地,系统1包括第二助听器(未示出),其佩戴在用户的另一只耳朵内或另一只耳朵旁,以向用户提供双耳支持。在后一种情况下,助听器2和另一助听器都无线连接,以用于交换音频信号以执行双耳信号处理。
助听器2包括两个麦克风5作为输入换能器和接收器7作为输出换能器。助听器2还包括电池9和(数字)信号处理器11。优选地,信号处理器11包括可编程子单元(诸如微处理器)和不可编程子单元(诸如ASIC)两者。信号处理器11包括语音识别单元12,其包括语音活动检测(VAD)模块13和自身语音检测(OVD)模块14。优选地,模块13和模块14都被设计成安装在信号处理器11中的软件组件。信号处理器11还包括分析单元15,其可以被设计为软件模块或硬件电路。可选地,助听器2包含测量用户的非声学生命机能的生物传感器16,例如,用于测量用户脉搏的脉搏传感器或用于测量用户运动的加速度传感器。在后一种情况下,生物传感器16可以用于检测头部运动,振幅和/或频率可以由分析单元15评估。
在助听器2的操作期间,麦克风5从助听器2的环境中捕获声音信号。每一个麦克风5将所捕获的声音信号转换成各自的输入音频信号,该输入音频信号被馈送到信号处理器11。信号处理器11处理麦克风5的输入音频信号即,用以提供定向声音信息,用以执行降噪,以及用以基于用户的听力图数据单独放大音频信号的不同频谱部分以补偿用户特定的听力损失。因此,由信号处理器11执行的信号处理依赖于多个(例如,超过200个)信号处理参数,这些信号处理参数在适应期间(即在使助听器2适配个体用户的需要期间)被设置为特定值。信号处理器11向接收器7发射输出音频信号。接收器7将输出音频信号转换成处理后的声音信号,该声音信号被发射到用户的耳道中。
VAD模块13通常检测所捕获的音频信号中是否存在语音(不依赖于特定说话者),而OVD模块14具体地检测用户的自身语音是否存在。优选地,模块13和模块14应用例如从美国专利2013/0148829 A1或WO 2016/078786 A1中本领域已知的VAD和OVD技术。
在识别的自身语音间隔期间,即OVD模块14检测到输入音频信号中用户自身的存在的时间段期间,分析单元15分析输入音频信号以确定用户的自身语音的某些声学特征。例如,确定用户的语音的音调F和音量V。此外,分析单元15确定噪声水平N(即包含在输入音频信号中的与用户自身语音无关的声音的声音水平)。
助听器2和听力应用3例如基于蓝牙标准经由无线链路17交换数据。为此,听力应用3访问智能手机4的无线收发器(未示出),特别是蓝牙收发器,以向助听器2发送数据并从助听器2接收数据。特别地,在助听器2的操作期间,VAD模块13向听觉应用3发送指示检测到或未检测到一般语音活动的信号。同样,OVD模块15向听觉应用3发送指示检测到或未检测到自身语音活动的信号。此外,分析单元15将确定的音调F、音量V和噪声水平N的值发送到听力应用3。
听力应用3包括控制单元18,其被配置为将音调F、音量V和噪声水平N的当前值与预定参考值F0、V0和N0进行比较,并且不依赖于所述比较的结果,在自身语音间隔期间适配信号处理参数的预定子集,以便改变用户感知的处理后的自身语音的声音,从而改变用户情绪状态。在本示例中,所述要适配的信号处理参数包括:
-音调偏移参数S,其指定在自身语音间隔期间的所捕获的声音信号的音调F的偏移;例如,音调偏移参数S指定信号控制器11增加(或在S<1的情况下减少)输入音频信号的频率的因子;
-压缩比参数R,其指定在信号控制器11中实现的压缩算法的动态压缩曲线中的拐点;动态压缩通过降低大声的声音的水平(相对于柔和的声音的水平)来缩小用户的自身语音信号的动态范围,以使声音信号听起来更强烈;压缩也可以是“逆压缩”,即动态范围的扩展或加宽;
-在信号控制器11中实现的高通滤波器的截止频率C;和
-噪声降低参数O,其指定由信号控制器11执行的降噪的强度。
详细地,系统1自动执行下面参考图2描述的方法。
在第一步骤20中,在助听器2的实际使用之前,控制单元18开始例如大约5分钟的训练期。在此期间,控制单元18确定参考值F0、V0和N0。参考值F0、V0和N0是通过对在训练期期间由分析单元15记录的音调F、音量V和噪声水平N的值进行平均来确定的。选择训练期,使得在其持续时间内,噪声水平N具有正常(并且对于用户来说,是可接受的)值,并且用户处于中性情绪状态(期望状态)。因此,参考值F0、V0和N0构成音调F、语音电平V和噪声电平N的期望值。作为替代,上述平均可以由分析单元15执行。在该实施例中,参考值F0、V0和N0由分析单元15提供。
步骤20根据用户的请求开始。在已经确定参考值F0、V0和N0之后,控制单元18将参考值F0、V0和N0持久地存储在智能手机4的存储器中。
在助听器2的实际使用中,在训练期之后的自身语音间隔期间的步骤21中,分析单元15获取用户语音的音调F、音量V和噪声水平N的当前值,并将这些值发送到控制单元18。
控制单元18通过对音调F、音量V和噪声水平N的当前值应用三步标准来确定用户情绪状态。
为此,在第一比较步骤22中,控制单元18将音量V的当前值与参考值V0进行比较。如果对于给定时间间隔(例如,10至15秒的时间间隔),音量V的当前值超过参考值V0超过预定阈值Vmin(V-V0>Vmin),则控制单元18判定用户情绪状态以高水平的兴奋(arousal)为特征。在这种情况下(是),控制单元前进到随后定义的步骤23。否则(否),控制单元18前进到步骤24,该方法的该线程在该步骤24中终止。
在第二比较步骤25中(与步骤22并行执行),控制单元18将音调F的当前值与参考值F0进行比较。如果在上述时间间隔内,音调F的当前值低于参考值F0超过阈值Fmin(F-F0<-Fmin;其中Fmin>0),则控制单元18判定用户情绪状态以低配价为特征。在这种情况下(是),控制单元前进到随后定义的步骤26。否则(否),控制单元18前进到步骤24,该方法的该线程在该步骤24中终止。
在步骤23中,即如果识别出高水平的兴奋,控制单元18将压缩比参数R略微增加预定量,从而降低动态压缩曲线的拐点。
在步骤26中,即如果识别出低配价,控制单元18将音调偏移参数S略微增加预定步长大小。
在步骤23和步骤26之一之后,控制单元18取决于音量V与其参考值V0的偏差V-V0以及音调F与其参考值F0的偏差F-F0,根据预定函数来适配截止频率C(步骤27)。
此后,在第三比较步骤28中,控制单元18测试当前噪声水平N是否超越参考值N0。如果在上面指定的时间间隔内,噪声水平N的当前值超过参考值N0超过阈值Nmin(N-N0>Nmin),则(是)控制单元18前进到步骤29,控制单元18在步骤29中改变降噪参数O以增强降噪。
否则(否),在步骤30中,控制单元18测试当前噪声水平N是否低于参考值N0。如果在上面指定的时间间隔内,噪声水平N的当前值低于参考值N0超过阈值Nmin(N-N0<-Nmin),则(是)控制单元18前进到步骤31,控制单元18在步骤31中改变降噪参数O以降低降噪。
在步骤29和步骤31之一之后,并且如果步骤30返回否定的测试结果(否),即如果发现噪声水平N的当前值没有低于参考值N0,则控制单元18前进到步骤24。
在步骤24中,控制单元18将压缩比参数R、音调偏移参数S、截止频率C和降噪参数O的当前值发送到助听器2,使得信号处理器11在自身语音间隔期间执行的信号处理由这些当前参数值控制。如果参数R、S、C和O中的至少一个已经被控制单元18适配,则该适配将操纵提供给用户的自身语音的声音,并且因此将影响用户情绪状态。
为了迭代地将用户情绪状态近似为期望状态,控制单元18以规则的间隔重复根据步骤21至步骤31的方法,其中选择所述间隔以便为用户对助听器2中的改变的参数设置的反应提供足够的时间。在每个迭代步骤中,适配步骤大小足够小,使得用户不会意识到改变的信号处理会引起用户的无意识反应。可替换地,为了实现相同的效果,助听器2可以在先前和新的参数设置之间缓慢逐渐消逝。
并行于执行步骤21至步骤31,控制单元18将压缩比参数R、音调偏移参数S、截止频率C和降噪参数O的值缓慢地接近预定默认值,从而确保对助听器2中的正常信号处理的操纵被减少到所需的最小值(关于它们的量和持续时间)。
在图2所示方法的第一比较步骤22的变型中,控制单元18将音量V和噪声水平N的关系式V/N与对应的参考值V0/N0进行比较。在这种情况下,如果所述关系式V/N的当前值超过参考值V0/N0超过预定阈值V’min(V/N-V0/N0>V’min),则该方法前进到步骤23。考虑关系式V/N(而不是音量V)有助于更好地区分由用户情绪状态引起的音量V的改变和由外部环境(例如,嘈杂环境)引起的音量V的改变。
在本发明的另外的示例中,分析单元15被设计成通过在自身语音间隔期间分析输入音频信号来确定音量和/或音调F的时间调制(变化)或表征讲话节奏的变量。在这种情况下,控制单元18在决定是否以及如何适配压缩比参数R、音调偏移参数S和截止频率C时额外地考虑这些量。在本发明的其他变型中,控制单元18进一步适配处理后的音频信号的方向特性和/或在自身语音间隔期间处理输入音频信号时音调转折的强度。这里,术语音调转折表示一种在每个用户的话语开始时(即在每个自身语音间隔开始时),快速修改用户自身语音的音调,以便增强或降低处理后的用户自身语音中的语调(intonation)的方法。特别地,音调转折被用来使用户的声音听起来更愉快,并相应地改变用户的情绪。
在另一示例中,控制单元18被配置为实施根据图3的方法。该方法的步骤20、步骤21、步骤24和步骤27至步骤31类似于图2所示方法的相同步骤。
图3的方法与图2的方法的不同之处在于,在步骤40中(在步骤21之后),控制单元18计算用户情绪状态的测量M。作为示例,测量M可以被定义为音量V与其参考值V0的偏差V-V0以及音调F与其参考值F0的偏差F-F0d的向量(M={(V-V0);(F-F0)})。因此,选择偏差V-V0来指示用户的兴奋水平,而选择偏差F-F0来指示用户情绪状态的配价。控制单元18将测量M的值持久地存储在智能手机4的存储器中,作为数据记录功能的一部分。测量M的存储值被存储以供听觉护理专业人员以后评估。
在随后的步骤41中,控制单元18计算测量M与其期望值M0={0;0}的偏差ΔM。在简单而有效的实施例中,偏差ΔM被定义为测量M的向量长度。
在步骤42中,控制单元18使用梯度下降优化算法改变压缩比参数R和音调偏移参数S,从而迭代地最小化偏差ΔM,即参数R和S被改变(例如,以参数R和S的二维空间内的给定的步长大小),从而实现偏差ΔM的最大减小。
在步骤42之后,控制单元18执行步骤27至步骤31和步骤24,如参考图2所述。
在图3的方法的变型中,根据关系式V/N和音调F来定义测量M(M={(V/N-V0/N0);(F-F0)})。在另外的变型中,音量V和音调F的测量M的相关性被定义为非线性数学函数。
图4以示意框图的形式示出了听力系统1的另一实施例。这里,不同于图1的实施例,控制单元18实现在助听器2中,作为信号处理器11的功能部分。此外,在图4的实施例中,生物传感器16被布置在助听器2的外部,例如,作为单独的身体佩戴传感器。在图4的实施例中,生物传感器16是可以附着到用户50的胸部或手腕的脉搏传感器。
同样如图4所示,信号处理器11包含多个信号处理模块51,例如,作为软件模块。信号处理模块51提供信号处理功能,诸如降噪、频率相关声音放大、音调偏移、频谱滤波、动态压缩等。信号处理模块51的操作由如前所述的多个信号处理参数(例如,包括音调偏移参数S和压缩比参数R)控制。如前所述,音调偏移参数S和压缩比参数R的值由控制模块18提供。
如前所述,信号处理器11将语音活动检测和自身语音检测应用于由麦克风5(为了简化,在图4中仅示出了一个麦克风)提供的输入音频信号。并且,仅仅为了简化,对应的模块13和模块14没有在图4中示出。
图4示出了用户50在其中说话的听力系统1的使用情况。在这种情况下,由麦克风5捕获的声音信号包含用户自身语音,如图4中虚线52所示。在信号处理器11中,对应的输入音频信号(包含用户自身语音的电表示)被路由到信号处理模块51,以根据信号处理参数进行处理。此外,输入音频信号被馈送到分析模块15,该分析模块15分析输入音频信号,如前所述,以确定用户50自身语音的音调F、音量V和噪声水平N的当前值。
此外,在根据图4的实施例中,分析模块15从生物传感器16接收用户50脉搏频率P的当前值。
在类似于图3的方法的步骤40的步骤中,分析模块15确定用户50的情绪状态的测量M。这里,例如,可以使用音调F、音量V、噪声水平N和脉搏频率P的预定数学函数(M=M(F,V,N,P))来确定测量M。使用相同的数学函数,并且基于参考值F0、V0、N0以及脉搏频率P的参考值P0,分析模块15还确定测量M的期望值M0(M0=M(F0,V0,N0,P0))。在图4的实施例中,参考值F0、V0和P0由听力应用3提供。优选地,用户50可以经由智能手机4改变这些参考值F0、V0和P0。相反,参考值N0可以在分析模块15中预设为常数(例如,由听力专家在适应期间预设)。作为替代,所有参考值F0、V0、N0、P0可以预先确定为常数,例如,通过听力专家在适应期间预先确定(使得它们不能被用户50改变)。
在类似于图3的步骤41和步骤42的步骤中,控制单元18计算测量M与其期望值M0的偏差ΔM,并且改变压缩比参数R和音调偏移参数S,以便迭代地最小化偏差ΔM。为此,控制单元18可以使用如上所述的梯度下降优化算法。
基于压缩比参数R和音调偏移参数S的改变值,信号处理模块51以修改的方式处理用户50自身语音。处理后的信号(包含如此修改的用户50自身语音)经由接收器7反馈回用户50,如图4中虚线53所示。对他自身语音的修改感知影响用户50的情绪状态,这反过来又影响用户自身语音。因此,由听力系统1和用户50形成闭合控制回路,允许将用户情绪状态接近由参考值M0表示的目标情绪状态。
如本领域技术人员将理解的,在不脱离权利要求中广泛描述的本发明的精神和范围的情况下,可以对具体示例中所示的本发明进行许多变化和/或修改。因此,本示例在所有方面都被认为是说明性的而非限制性的。
参考标号列表
1 (听力)系统
2 助听器
3 听力应用
4 智能手机
5 微型电话
7 接收器
9 电池
11 信号处理器
12 语音识别单元
13 语音活动检测模块(VAD模块)
14 自身语音检测模块(OVD模块)
15 分析单元
16 生物传感器
17 无线链接
18 控制单元
20-31 步骤
40-42 步骤
50 用户
51 信号处理模块
52 线
53 线
ΔM 偏差
C 截止频率
F 音调
F0 参考值
Fmin 阈值
N 噪声水平
N0 参考值
Nmin 阈值
M 测量
M0 期望值
O 降噪
P 脉搏频率
P0 参考值
R 压缩比参数
S 音调偏移参数
V 音量
V0 参考值
Vmin 阈值
Claims (11)
1.一种用于操作包括佩戴在用户耳朵内或耳朵旁的听力仪器(2)的听力系统的方法,包括以下步骤:
-从所述听力仪器(2)的环境中捕获声音信号;
-根据信号处理参数集(R、S、C、O)处理所捕获的声音信号,以及
-向用户输出处理后的声音信号;
所述方法进一步包括:
-分析所捕获的声音信号以识别用户说话的自身语音间隔;
-分析所捕获的声音信号以获得用户自身语音的至少一个声学特征(F,V),和/或分析至少一个生物传感器的信号,所述至少一个生物传感器测量用户的至少一个非声学生命机能,
-从用户自身语音的所述至少一个声学特征(F,V)和/或用户的至少一个非声学生命机能中,确定用户情绪状态的测量(M),
-相对于预定标准测试情绪状态的测量(M);以及
-如果满足所述标准,则在所述自身语音间隔内适配所述信号处理参数(R,S,C,O)中的至少一个的值,以改变情绪状态,
-其中,所述标准包括情绪状态测量(M)的期望值(M0);
-其中,所述测试包括确定情绪状态的测量(M)相对于所述期望值(M0)的偏差(ΔM);以及
-其中,适配所述信号处理参数(R,S,C,O)中的所述至少一个的值,使得所述偏差(ΔM)减小。
2.根据权利要求1所述的方法,
其中,所捕获的声音信号被进一步分析以获得以下环境声学特征中的至少一个:
-所捕获的声音信号的声音水平;
-噪声水平(N)或信噪比;
-混响时间;以及
-不同于用户的说话者的存在;
并且其中进一步根据至少一个环境声学特征和/或其时间变化来确定情绪状态的测量(M)。
3.一种用于操作佩戴在用户耳朵内或耳朵处的听力仪器(2)的方法,包括以下步骤:
-从所述听力仪器(2)的环境中捕获声音信号;
-根据信号处理参数集(R,S,C,O)处理所捕获的声音信号,以及
-向用户输出处理后的声音信号;
所述方法进一步包括:
-分析所捕获的声音信号以识别用户说话的自身语音间隔;
-分析所捕获的声音信号以获得用户自身语音的至少一个声学特征(F,V),和/或分析至少一个生物传感器的信号,所述至少一个生物传感器测量用户的至少一个非声学生命机能,
-相对于预定标准测试用户自身语音的所述至少一个声学特征(F,V)和/或用户的至少一个非声学生命机能;以及
-如果满足所述标准,则在所述自身语音间隔内适配所述信号处理参数(R,S,C,O)中的至少一个的值,以改变情绪状态,
-其中,所述标准包括用户自身语音的所述至少一个声学特征(F,V)的期望值(F0,V0)和/或用户的所述至少一个生命机能;
-其中,所述测试包括确定用户自身语音的所述至少一个声学特征(F,V)和/或用户的所述至少一个生命机能相对于所述期望值的偏差;以及
-其中,适配所述信号处理参数(R,S,C,O)中的所述至少一个的值,使得所述偏差减小。
4.根据权利要求3所述的方法,进一步包括:
-分析所捕获的声音信号以获得选自以下各项的至少一个环境声学特征:
-所捕获的声音信号的声音水平;
-噪声水平(N)或信噪比;
-混响时间;以及
-不同于用户的说话者的存在;以及
-相对于预定标准测试所述至少一个环境声学特征。
5.根据权利要求1和2之一所述的方法,
其中,适配的所述至少一个信号处理参数选自以下各项中的至少一个:
-降噪算法的参数(O),
-适配所捕获的声音信号的音调的算法的参数(S),
-适配所捕获的声音信号的动态范围的算法的参数(R),
-用于在双耳或单耳声音处理之间切换的参数,
-波束形成算法的参数,以及
-适配所捕获的声音信号的频谱能量的算法的参数(C)。
6.根据权利要求1和2之一所述的方法,
其中,用于分析所捕获的声音信号的用户自身语音的至少一个声学特征选自以下各项中的至少一个:
-音量(V),
-共振峰频率,
-音调(F),
-频率分布,以及
-讲话的速度或节奏。
7.根据权利要求1和2之一所述的方法,
其中,由至少一个生物传感器测量的用户的所述至少一个非声学生命机能选自以下各项中的至少一个:
-脉搏频率,
-血液氧含量,
-血压,
-大脑活动,
-肌肉活动,
-用户的运动,特别是用户头部运动的频率和/或幅度,
-皮肤传导性,以及
-体温。
8.一种具有佩戴在用户耳朵内或耳朵旁的听力仪器(2)的听力系统(1),所述听力仪器(2)包括:
-输入换能器(5),其被布置成从所述听力仪器(2)的环境中捕获声音信号;
-信号处理器(11),其被布置成根据信号处理参数集(R,S,C,O)来处理所捕获的声音信号;以及
-输出换能器(7),其被布置成将处理后的声音信号发射到用户的耳朵中,
-语音识别单元(12),其被配置为分析所捕获的声音信号以识别用户说话的自身语音间隔;
-分析单元(15),其被配置为分析所捕获的声音信号以获得用户自身语音的至少一个声学特征(F,V),和/或分析至少一个生物传感器的信号,所述至少一个生物传感器测量用户的至少一个非声学生命机能,
-控制单元(18),其被配置为从用户自身语音的所述至少一个声学特征(F,V)和/或用户的至少一个非声学生命机能中确定用户情绪状态的测量(M),
-其中,所述控制单元(18)被配置为:
-相对于预定标准测试情绪状态的测量(M);以及
-如果满足所述标准,则在所述自身语音间隔内适配所述信号处理参数(R,S,C,O)中的至少一个的值,以改变情绪状态,
-其中,所述标准包括情绪状态测量(M)的期望值(M0);以及
-其中,所述控制单元(18)被配置为:
-确定情绪状态测量(M)相对于所述期望值(M0)的偏差(ΔM);以及
-适配所述信号处理参数(R,S,C,O)中的所述至少一个的值,使得所述偏差(ΔM)减小。
9.根据权利要求8所述的听力系统(1),
其中,所述分析单元(15)被配置为:
-进一步分析所捕获的声音信号以获得以下环境声学特征中的至少一个:
-所捕获的声音信号的声音水平;
-噪声水平(N)或信噪比;
-混响时间;以及
-不同于用户的说话者的存在;以及
其中,所述控制单元(18)被配置为进一步根据所述至少一个环境声学特征和/或其时间变化来确定情绪状态的测量(M)。
10.一种具有佩戴在用户耳朵内或耳朵旁的听力仪器(2)的听力系统(1),所述听力仪器(2)包括:
-输入换能器(5),其被布置成从所述听力仪器(2)的环境中捕获声音信号;
-信号处理器(11),其被布置成根据信号处理参数集(R,S,C,O)来处理所捕获的声音信号;以及
-输出换能器(7),其被布置成将处理后的声音信号发射到用户的耳朵中,
-语音识别单元(12),其被配置为分析所捕获的声音信号以识别用户说话的自身语音间隔;
-分析单元(15),其被配置为分析所捕获的声音信号以获得用户自身语音的至少一个声学特征(F,V),和/或分析至少一个生物传感器的信号,所述至少一个生物传感器测量用户的至少一个非声学生命机能,
-控制单元(18),其被配置为:
-相对于预定标准测试用户自身语音的所述至少一个声学特征(F,V)和/或用户的至少一个非声学生命机能;以及
-如果满足所述标准,则在所述自身语音间隔内适配所述信号处理参数(R,S,C,O)中的至少一个的值,以改变情绪状态,
-其中,所述标准包括用户的所述至少一个生命机能和/或用户自身语音的所述至少一个声学特征(F,V)的期望值(F0,V0);
-其中,所述控制单元(18)被配置为:
-确定用户自身语音的所述至少一个声学特征(F,V)和/或用户的所述至少一个生命机能相对于所述期望值的偏差;并且
-适配所述信号处理参数(R,S,C,O)中的所述至少一个的值,使得所述偏差(ΔM)减小。
11.根据权利要求10所述的听力系统(1),
其中,所述分析单元(15)被配置为:
-分析捕获的声音信号以获得选自以下各项的至少一个环境声学特征:
-所捕获的声音信号的声音水平;
-信噪比;
-混响时间;以及
-不同于用户的说话者的存在;并且
其中,所述控制单元(18)被配置为相对于预定标准测试所述至少一个环境声学特征。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18200844.1A EP3641344B1 (en) | 2018-10-16 | 2018-10-16 | A method for operating a hearing instrument and a hearing system comprising a hearing instrument |
EP18200844.1 | 2018-10-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111065032A true CN111065032A (zh) | 2020-04-24 |
Family
ID=63878469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910976678.6A Pending CN111065032A (zh) | 2018-10-16 | 2019-10-15 | 用于操作听力仪器的方法和包括听力仪器的听力系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11388528B2 (zh) |
EP (1) | EP3641344B1 (zh) |
CN (1) | CN111065032A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117714956A (zh) * | 2022-09-15 | 2024-03-15 | 大北欧听力公司 | 确定听力仪器的声学特性 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112653980B (zh) * | 2021-01-12 | 2022-02-18 | 东南大学 | 一种智能助听器交互式自验配方法 |
EP4184948A1 (en) | 2021-11-17 | 2023-05-24 | Sivantos Pte. Ltd. | A hearing system comprising a hearing instrument and a method for operating the hearing instrument |
CN114040308B (zh) * | 2021-11-17 | 2023-06-30 | 郑州航空工业管理学院 | 一种基于情感增益的皮肤听声助听装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009043775A1 (de) * | 2009-09-30 | 2011-04-07 | Siemens Medical Instruments Pte. Ltd. | Verfahren zum Einstellen einer Hörvorrichtung anhand eines emotionalen Zustandes und entsprechende Hörvorrichtung |
US20140321682A1 (en) * | 2013-04-24 | 2014-10-30 | Bernafon Ag | Hearing assistance device with a low-power mode |
JP2014232905A (ja) * | 2013-05-28 | 2014-12-11 | リオン株式会社 | イヤホンとそれを用いた聴取装置 |
CN105580389A (zh) * | 2013-08-20 | 2016-05-11 | 唯听助听器公司 | 具有分类器的助听器 |
CN105765654A (zh) * | 2013-11-28 | 2016-07-13 | 弗劳恩霍夫应用研究促进协会 | 具有基频修改的助听装置 |
CN106063295A (zh) * | 2014-02-27 | 2016-10-26 | 唯听助听器公司 | 装配助听器系统的方法和助听器装配系统 |
US20170027812A1 (en) * | 2015-03-27 | 2017-02-02 | Elwha Llc | Nerve stimulation system and related controller |
CN107454536A (zh) * | 2016-05-30 | 2017-12-08 | 西万拓私人有限公司 | 用于自动化地确定助听设备的参数值的方法 |
US20170361099A1 (en) * | 2007-04-24 | 2017-12-21 | Advanced Neuromodulation Systems, Inc. | Combination of tonic and burst stimulations to treat neurological disorders |
CN107534820A (zh) * | 2015-03-04 | 2018-01-02 | 弗劳恩霍夫应用研究促进协会 | 用于驱动动态压缩器的装置和方法以及用于确定动态压缩器的放大值的方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4580190B2 (ja) * | 2004-05-31 | 2010-11-10 | 日本電信電話株式会社 | 音声処理装置、音声処理方法およびそのプログラム |
US8386257B2 (en) | 2006-09-13 | 2013-02-26 | Nippon Telegraph And Telephone Corporation | Emotion detecting method, emotion detecting apparatus, emotion detecting program that implements the same method, and storage medium that stores the same program |
DE102011087984A1 (de) | 2011-12-08 | 2013-06-13 | Siemens Medical Instruments Pte. Ltd. | Hörvorrichtung mit Sprecheraktivitätserkennung und Verfahren zum Betreiben einer Hörvorrichtung |
KR102333704B1 (ko) * | 2013-09-30 | 2021-12-01 | 삼성전자주식회사 | 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스 |
JP6450458B2 (ja) | 2014-11-19 | 2019-01-09 | シバントス ピーティーイー リミテッド | 自身の声を迅速に検出する方法と装置 |
DE102015221187A1 (de) * | 2015-10-29 | 2017-05-04 | Sivantos Pte. Ltd. | Hörgerätesystem mit Sensor zur Erfassung biologischer Daten |
US10575106B1 (en) * | 2018-09-18 | 2020-02-25 | Oticon A/S | Modular hearing aid |
-
2018
- 2018-10-16 EP EP18200844.1A patent/EP3641344B1/en active Active
-
2019
- 2019-10-15 CN CN201910976678.6A patent/CN111065032A/zh active Pending
- 2019-10-16 US US16/654,126 patent/US11388528B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170361099A1 (en) * | 2007-04-24 | 2017-12-21 | Advanced Neuromodulation Systems, Inc. | Combination of tonic and burst stimulations to treat neurological disorders |
DE102009043775A1 (de) * | 2009-09-30 | 2011-04-07 | Siemens Medical Instruments Pte. Ltd. | Verfahren zum Einstellen einer Hörvorrichtung anhand eines emotionalen Zustandes und entsprechende Hörvorrichtung |
US20140321682A1 (en) * | 2013-04-24 | 2014-10-30 | Bernafon Ag | Hearing assistance device with a low-power mode |
JP2014232905A (ja) * | 2013-05-28 | 2014-12-11 | リオン株式会社 | イヤホンとそれを用いた聴取装置 |
CN105580389A (zh) * | 2013-08-20 | 2016-05-11 | 唯听助听器公司 | 具有分类器的助听器 |
CN105765654A (zh) * | 2013-11-28 | 2016-07-13 | 弗劳恩霍夫应用研究促进协会 | 具有基频修改的助听装置 |
CN106063295A (zh) * | 2014-02-27 | 2016-10-26 | 唯听助听器公司 | 装配助听器系统的方法和助听器装配系统 |
CN107534820A (zh) * | 2015-03-04 | 2018-01-02 | 弗劳恩霍夫应用研究促进协会 | 用于驱动动态压缩器的装置和方法以及用于确定动态压缩器的放大值的方法 |
US20170027812A1 (en) * | 2015-03-27 | 2017-02-02 | Elwha Llc | Nerve stimulation system and related controller |
CN107454536A (zh) * | 2016-05-30 | 2017-12-08 | 西万拓私人有限公司 | 用于自动化地确定助听设备的参数值的方法 |
Non-Patent Citations (1)
Title |
---|
刘平: "《听障老年人助听器的验配及康复》", 《2013中国康复医学会第十届康复治疗学术年会》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117714956A (zh) * | 2022-09-15 | 2024-03-15 | 大北欧听力公司 | 确定听力仪器的声学特性 |
Also Published As
Publication number | Publication date |
---|---|
US20200120431A1 (en) | 2020-04-16 |
EP3641344C0 (en) | 2023-12-06 |
EP3641344B1 (en) | 2023-12-06 |
EP3641344A1 (en) | 2020-04-22 |
US11388528B2 (en) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11388528B2 (en) | Method for operating a hearing instrument and hearing system containing a hearing instrument | |
US10433075B2 (en) | Low latency audio enhancement | |
CN113812173B (zh) | 处理音频信号的听力装置系统及方法 | |
CN106878900B (zh) | 基于用户当前认知负荷的估计运行听力仪器的方法及助听器系统 | |
US8559645B2 (en) | Method and device for setting a hearing device by detecting listening effort | |
JP6657337B2 (ja) | 補聴器の作動方法および補聴器 | |
US11671769B2 (en) | Personalization of algorithm parameters of a hearing device | |
US11206501B2 (en) | Method for operating a hearing instrument and a hearing system containing a hearing instrument | |
US11477583B2 (en) | Stress and hearing device performance | |
CN113395647B (zh) | 具有至少一个听力设备的听力系统及运行听力系统的方法 | |
WO2012072141A1 (en) | Portable auditory appliance with mood sensor and method for providing an individual with signals to be auditorily perceived by said individual | |
US11510018B2 (en) | Hearing system containing a hearing instrument and a method for operating the hearing instrument | |
US20220369048A1 (en) | Ear-worn electronic device employing acoustic environment adaptation | |
CN108696813A (zh) | 用于运行听力设备的方法和听力设备 | |
US20230037356A1 (en) | Hearing system and a method for personalizing a hearing aid | |
CN114830691A (zh) | 包括压力评估器的听力设备 | |
US11576001B2 (en) | Hearing aid comprising binaural processing and a binaural hearing aid system | |
EP3879853A1 (en) | Adjusting a hearing device based on a stress level of a user | |
US20230328461A1 (en) | Hearing aid comprising an adaptive notification unit | |
CN112911477A (zh) | 包括个人化波束形成器的听力系统 | |
CN111432317A (zh) | 基于脑电图(eeg)信号的具有自我调节能力的助听器 | |
CN114830692A (zh) | 包括计算机程序、听力设备和压力评估设备的系统 | |
CN113825078A (zh) | 具有听力设备的听力系统和用于运行这种听力系统的方法 | |
EP4138416A1 (en) | A hearing system comprising a hearing instrument and a method for operating the hearing instrument | |
US12035107B2 (en) | Ear-worn electronic device employing user-initiated acoustic environment adaptation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200424 |