CN105898651B - 包括用于拾取用户自我话音的分立传声器单元的听力系统 - Google Patents
包括用于拾取用户自我话音的分立传声器单元的听力系统 Download PDFInfo
- Publication number
- CN105898651B CN105898651B CN201610086194.0A CN201610086194A CN105898651B CN 105898651 B CN105898651 B CN 105898651B CN 201610086194 A CN201610086194 A CN 201610086194A CN 105898651 B CN105898651 B CN 105898651B
- Authority
- CN
- China
- Prior art keywords
- unit
- input
- user
- signal
- hearing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000009467 reduction Effects 0.000 claims abstract description 45
- 238000001914 filtration Methods 0.000 claims abstract description 23
- 230000005236 sound signal Effects 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 36
- 230000000694 effects Effects 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 9
- 230000002238 attenuated effect Effects 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 208000016354 hearing loss disease Diseases 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 abstract description 10
- 238000012545 processing Methods 0.000 description 19
- 210000003128 head Anatomy 0.000 description 17
- 101100184045 Arabidopsis thaliana MICU gene Proteins 0.000 description 15
- 238000000034 method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 210000000613 ear canal Anatomy 0.000 description 4
- 210000003625 skull Anatomy 0.000 description 4
- RXKGHZCQFXXWFQ-UHFFFAOYSA-N 4-ho-mipt Chemical compound C1=CC(O)=C2C(CCN(C)C(C)C)=CNC2=C1 RXKGHZCQFXXWFQ-UHFFFAOYSA-N 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 210000003477 cochlea Anatomy 0.000 description 3
- 210000000959 ear middle Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001939 inductive effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 210000000860 cochlear nerve Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000003027 ear inner Anatomy 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000003926 auditory cortex Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000002768 hair cell Anatomy 0.000 description 1
- 230000010370 hearing loss Effects 0.000 description 1
- 231100000888 hearing loss Toxicity 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
- H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
- H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
- H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
- H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/51—Aspects of antennas or their circuitry in or for hearing aids
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
- H04R2225/55—Communication between hearing aids and external devices via a network for data exchange
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
- H04R2430/23—Direction finding using a sum-delay beam-former
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/01—Hearing devices using active noise cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本申请公开了包括用于拾取用户自我话音的分立传声器单元的听力系统，其中所述听力系统包括听力装置和分立传声器单元，所述传声器单元包括：多个输入单元，每一输入单元配置成拾取或接收表示来自所述传声器单元的环境的声音的信号并配置成按时频表示提供对应电输入信号；及多输入单元降噪系统，用于提供目标信号的估计量；所述多输入单元降噪系统包括多输入波束形成器滤波单元，其连接到多个输入单元并配置成确定滤波器权重以提供波束成形信号；及用于将用户话音的估计量传给另一装置的天线和收发器电路；其中所述多输入波束形成器滤波单元为自适应单元。
Description
技术领域
本申请涉及用于与电话一起使用的听力系统。本发明具体涉及包括听力装置和分立传声器单元的听力系统，听力装置适于位于用户耳朵之处或之中或者适于完全或部分植入在用户头部中，分立传声器单元适于位于用户处并拾取用户的话音。
本发明的实施例如可用在下述应用中：助听器、免提电话系统、移动电话、远程会议系统等。
发明内容
代替使用听力装置的传声器系统，分立传声器单元可用于使能助听器系统和移动电话之间的通信。这样的另外的传声器可用在有噪声或其它声学上富有挑战的情形中，例如在汽车车厢情形中。传声器单元可包括一个或两个或更多个传声器、处理能力和无线传输能力。这样的分立传声器单元例如可以提供固定的定向和固定的到用户嘴巴的距离的方式佩戴在颈部周围。
在根据本发明的分立传声器单元的基本使用场景中，听力装置用户将该传声器单元附着到(如夹在)其自己的胸部上，该单元的传声器拾取用户的话音信号，及该话音信号经移动电话无线传给远端听者。该传声器单元的传声器放置成靠近目标源(用户嘴巴)，使得移动电话和远端听者可获得相对无噪声的目标信号。这种情形如图1A-1B中所示。
相较于该传声器单元相对于用户嘴巴的定向和距离固定的情形(例如当该传声器单元佩戴在颈部周围时)，与另一装置如移动电话无线通信的“用夹子夹住的”传声器单元具有增加放置灵活性的优点，但也具有放弃固定定向和距离的缺点。后一问题由根据本发明的传声器单元解决。本发明的传声器单元包括两个以上传声器。即使该传声器单元的传声器靠近用户嘴巴定位，由传声器拾取的信号的目标信噪比仍可能低于所需要的信噪比。为此，在该传声器单元中可采用波束形成器-降噪系统以从噪声背景取回目标话音信号从而增大信噪比(SNR)，在目标话音信号无线传给另一装置如移动电话(例如放在用户口袋中)及转给远端听者之前。如果目标源相对于传声器的位置已知，任何空间降噪系统均可很好地起作用。在听力系统中，目标信号通常假定相对于听力系统的用户处于前向(例如参见图5中的LOOK DIR)，即(大体上)在耳后式听力装置的传声器轴的方向(例如参见图5中的左和右听力装置的REF-DIRL,REF-DIRR)。然而，在当前情形下，传声器单元的传声器轴并不必然固定：首先，传声器单元可随便连接，使得其不直接“指向”用户嘴巴；其次，传声器单元可连接到用户的可变表面(如衣服，如胸部上)，使得传声器单元相对于用户嘴巴的位置/方向可随时间变化(例如参见图6A、6B)。其结果是波束形成器-降噪系统不太好地工作，在最坏情形下，SNR降低而不是增大。
在本发明的一方面，提出在传声器单元中使用自适应波束形成器-降噪系统以降低周围噪声电平并取回用户的语音信号，在噪声降低的话音信号经听力装置用户的移动电话无线传给远端听者之前。
这种任务的技术解决方案通常很难，但在该特定情形下，其由于下述事实而被使得稍微容易：在电话对话中，在传声器单元中容易检测到听力装置用户何时在讲话及何时处于安静状态；后一点使提出的降噪系统能估计干扰背景噪声的(通常时变的)噪声功率谱密度及其后更有效率地降低该密度。
本申请的目标在于提供改进的听力系统。
本申请的目标由所附权利要求限定的及下面描述的发明实现。
听力系统
在本申请的一方面，本申请的目标由包括听力装置如助听器和分立传声器单元的听力系统实现，听力装置适于位于用户耳朵之处或之中或者适于完全或部分植入在用户头部中，分立传声器单元适于位于用户处并拾取用户的话音，其中传声器单元包括：
-多个(M个)输入单元IUi,i＝1,2,…,M，每一输入单元配置成从传声器单元的环境拾取或接收表示声音的信号xi(n)并配置成按时频表示提供在多个频带和多个时刻的对应电输入信号Xi(k,m)，k为频带指数，m为时间指数，n表示时间，及M大于或等于2；及
-多输入单元降噪系统，用于提供包括用户话音的目标信号s的估计量
该多输入单元降噪系统包括多输入波束形成器滤波单元，其连接到多个输入单元IUi,i＝1,…,M并配置成确定滤波器权重w(k,m)以提供波束成形信号，其中来自不同于目标信号源方向的其它方向的信号分量被衰减，而来自目标信号源方向的信号分量保持不被衰减或相对于来自其它方向的信号分量较少地衰减；及
-用于将用户话音的估计量
传给另一装置的天线和收发器电路；
其中所述多输入波束形成器滤波单元为自适应单元。
该听力系统的优点在于其有助于听力装置的佩戴者和另一人之间经电话的通信。
在实施例中，多个输入单元中的至少部分包括输入变换器如传声器，用于将声音转换为电输入信号。在实施例中，多个输入单元中的至少部分包括接收器(如有线或无线接收器)，用于从传声器单元的环境直接接收表示声音的电输入信号。
在实施例中，“另一装置”包括通信装置。在实施例中，先前提及的及传声器单元适于将用户话音的估计量
传给其的“另一装置”包括通信装置。在实施例中，通信装置包括移动电话如智能电话。在实施例中，用户话音的估计量
用于经连接到交换电话网络如局部网络或公用电话交换网PSTN或因特网或其组合的移动电话传给远端接收者。
在实施例中，听力装置和传声器单元中的每一个包括相应的用于在其间建立无线音频链路的天线和收发器电路。在实施例中，听力系统配置成将音频信号经无线音频链路从传声器单元传给听力装置。在传声器单元从另一装置如通信装置例如电话(如移动电话)接收音频信号的情形下，前述音频信号例如表示来自远端讲话者(经远端电话-经网络连接到用户的近端电话)的音频。在该情形(或运行模式)下，传声器单元适于将音频信号从另一装置转发(如转播)给用户的听力装置。
在实施例中，传声器单元包括话音活动检测器，用于估计当前环境声音中是否存在用户话音或者存在用户话音的概率，或者配置成从另一装置(如听力装置或另一装置如电话)接收前述估计量。在实施例中，话音活动检测器提供信号的每时间帧(例如对时间指数m的每一值)的话音活动估计量。在实施例中，话音活动检测器针对信号的每一时频单位提供话音活动估计量(例如针对时间指数m和频率指数k的每一值，即针对每一TF单位(也称为TF窗口))。在实施例中，传声器单元包括用于估计当前电输入信号中和/或目标信号s的估计量
中是否存在用户话音(或以某一概率存在)的话音活动检测器。在实施例中，传声器单元包括用于估计从另一装置接收的音频信号是否包括话音信号(或以某一概率存在)的话音活动检测器。在实施例中，假定在从另一装置接收的音频信号中检测到话音时用户没有讲话。在实施例中，听力装置包括听力装置话音活动检测器。在实施例中，另一装置如听力装置包括话音活动检测器，其配置成提供当前环境声音中的话音活动的估计量。在实施例中，听力装置配置成将话音活动的估计量从另一装置例如从听力装置传给传声器单元。
在实施例中，听力系统如传声器单元例如多输入单元降噪系统配置成在用户话音不存在或者以低于预定水平的概率存在时估计干扰背景噪声的噪声功率谱密度，或者从另一装置(如听力装置或其它装置如电话)接收前述估计量。优选地，噪声功率谱密度的估计量用于更有效率地减少有噪声信号中的噪声分量以提供目标信号的改善的估计量。在实施例中，多输入单元降噪系统配置成，当用户话音不存在时(即当用户沉默时)或用户话音以低于预定水平如低于30％或低于20％的概率存在时，更新在不同频率k(例如K＝16个频带)和特定时间m时的输入单元间(如传声器间)噪声协方差矩阵。在实施例中，输入单元间(如传声器间)噪声协方差矩阵用对应于用户话音不存在的概率的权重更新。从而，波束图案的形状适于提供最大空间降噪。关于协方差矩阵的确定的多个不同方面在[Kjems andJensen,2012]中讨论。
在实施例中，听力系统如传声器单元包括存储器，其包含确定从传声器单元到目标声源的空间方向的预定参考视向量。在实施例中，预定(参考)视向量dREF在使用听力系统之前在离线程序中确定(对于K个频带，dREF＝dREF(k))。默认波束形成器权重(对应于参考视向量)例如在具有头部和躯干模拟器(HATS，来自Brüel&
Sound&VibrationMeasurement A/S的头部和躯干模拟器4128C)的录音室中进行的离线校准过程中确定，从仿真头的嘴巴播放话音信号，及传声器单元安装在仿真头的“胸部”上的默认位置。在实施例中，默认波束形成器权重保存在存储器中，例如连同参考视向量一起保存。这样，例如可找到最佳的最小方差无失真响应(MVDR)波束形成器权重，其被硬连线在传声器单元中即保存在存储器中。
在实施例中，多通道可变波束形成器滤波单元包括提供滤波器权重wmvdr(k,m)的MVDR滤波器，所述滤波器权重wmvdr(k,m)基于视向量d(k,m)和噪声信号的输入单元间协方差矩阵Rvv(k,m)。
在实施例中，多输入单元降噪系统配置成针对源自相对于用户位于特定位置的目标信号源的目标信号自适应估计波束形成器滤波单元的当前视向量d(k,m)。在优选实施例中，相对于用户的特定位置为用户嘴巴的位置。
视向量d(k,m)为包括元素(i＝1,2,…,M)的M维向量，第i个元素di(k,m)定义从目标信号源(处于相对于传声器单元的输入单元的特定位置处)到第i个输入单元(如传声器)的声学传递函数，或者定义从第i个输入单元到参考输入单元的相对声学传递函数。对于特定频率(k)和时间单位(m)，向量元素di(k,m)通常为复数。当声源位于特定位置处时，视向量d(k,m)可基于在相应输入单元处测得的来自信号源的信号si(k,m),i＝1,2,…,M从输入单元间协方差矩阵
进行估计。
在实施例中，多输入单元降噪系统配置成在用户话音存在时或者以大于预定值的概率存在时更新视向量。波束形成器的空间方向，例如技术上由所谓的视向量表示，优选在用户话音存在时或者以大于预定值如大于70％或大于80％的概率存在时进行更新。该调整用于补偿传声器单元的位置变化(跨时间和在用户间)及补偿传声器单元的用户的身体特性(如头部和肩部特性)的差异。视向量优选在目标信噪比相对高如大于预定值时更新。
在实施例中，听力系统配置成通过将对应于更新视向量的更新波束形成器权重与对应于默认视向量的默认权重比较而限制视向量的更新，及如果更新波束形成器权重与默认权重相差预定的绝对或相对量以上，则限制或忽略这些权重。
在实施例中，听力系统如传声器单元包括存储器，其包含传声器单元(的输入单元)的预定输入单元间噪声协方差矩阵。优选地，在确定预定的输入单元间(如传声器间)噪声协方差矩阵期间，传声器单元按计划相对于目标声源定位，及施加典型的(预期)噪声源/分布，如均质分布的(发散)噪声。在实施例中，预定的输入单元间(如传声器间)噪声协方差矩阵在使用传声器单元之前在离线程序中确定，优选在具有头部和躯干模拟器(HATS，来自Brüel&
Sound&Vibration Measurement A/S的Head and Torso Simulator 4128C)的录音室中进行。
在实施例中，传声器单元的输入单元包括传声器如由其组成。在实施例中，听力系统配置成通过将当前确定的输入单元间(如传声器间)噪声协方差矩阵与参考输入单元间(如传声器间)噪声协方差矩阵比较而控制干扰背景噪声的噪声功率谱密度的更新，及如果当前确定的输入单元间(如传声器间)噪声协方差矩阵与参考输入单元间(如传声器间)噪声协方差矩阵相差预定的绝对或相对量以上，则限制或忽略干扰背景噪声的噪声功率谱密度的更新。从而，波束形成器的调整被阻止以不受控的方式“逃脱”。
在实施例中，多通道降噪系统包括单通道降噪单元，其连接到波束形成器滤波单元并配置成减少波束成形信号中的残余噪声和提供目标信号s的估计量
单通道后滤波处理的目标在于抑制来自目标方向的噪声分量(其尚未被空间滤波处理(如MVDR波束形成处理)抑制)。另一目标在于在目标信号存在或为主期间及目标信号不存在时抑制噪声分量。在实施例中，单通道后滤波处理基于每一时频块(m,k)的目标信噪比的估计量。在实施例中，每一时频块(m,k)的目标信噪比的估计量从波束成形信号和目标消除的信号确定。
在实施例中，传声器单元包括至少三个输入单元，其中输入单元的至少两个中的每一个包括传声器，及其中输入单元中的至少一个包括用于从传声器单元的环境直接接收表示声音的电输入信号的接收器。在实施例中，接收器为无线接收器。在实施例中，表示来自传声器单元的环境的声音的电输入信号通过听力装置传输及通过听力装置的传声器拾取。在实施例中，听力系统包括两个听力装置，如双耳听力系统的左和右听力装置。在实施例中，传声器单元包括至少两个输入单元，每一输入单元包括用于直接接收表示来自传声器单元的环境的声音的电输入信号的(如无线)接收器。在实施例中，听力系统配置成将左和右听力装置中的每一个的传声器拾取的信号传给传声器单元的相应输入单元的接收器。从而多输入降噪系统的输入来自位于传声器单元中的至少两个传声器及位于分开的其它装置(在此为用户的左和/或右耳处的一个或两个听力装置)中的传声器。这具有提高目标信号(用户的自我话音)的估计量的质量的优点。
在实施例中，传声器单元配置成从另一装置接收音频信号和/或信息信号。在实施例中，传声器单元配置成从另一装置接收信息信号，如传感器或检测器的状态信号，如来自话音活动检测器的话音活动估计量。在实施例中，传声器单元配置成从话音活动检测器、从移动电话如智能电话接收话音活动的估计量。
在实施例中，传声器单元配置成从位于另一装置如通信装置或位于听力装置中的话音活动检测器接收远端话音活动的估计量。在实施例中，远端话音活动的估计量在通信装置如移动电话例如智能电话中产生并传自该通信装置。
在实施例中，听力系统包括实施双耳听力系统的两个听力装置。在实施例中，听力系统还包括辅助装置如通信装置例如电话。在实施例中，该系统适于在听力装置和辅助装置之间建立通信链路以使信息(如控制和状态信号，可能音频信号)能在其间进行交换或从一装置转发给另一装置，尤其从辅助装置(如电话)转发给听力装置。
在实施例中，辅助装置是或包括音频网关设备，其适于(如从娱乐装置例如TV或音乐播放器，从电话装置例如移动电话，或从计算机例如PC)接收多个音频信号，及适于选择和/或组合所接收音频信号(或信号组合)中的适当信号以传给至少一听力装置。在实施例中，辅助装置是或包括遥控器，用于控制听力装置的功能和运行。在实施例中，遥控器的功能实施在智能电话中，该智能电话可能运行使能经智能电话控制音频处理装置的功能的APP(听力装置包括适当的到智能电话的无线接口，例如基于蓝牙或一些其它标准化或专有方案)。
在实施例中，听力装置适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。在实施例中，听力装置包括用于增强输入信号并提供处理后的输出信号的信号处理单元。
在实施例中，听力装置包括用于基于处理后的电信号提供由用户感知为声信号的刺激的输出单元。在实施例中，输出单元包括多个耳蜗植入电极或骨导听力装置的振动器。在实施例中，输出单元包括输出变换器。在实施例中，输出变换器包括用于将刺激作为声信号提供给用户的接收器(扬声器)。在实施例中，输出变换器包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式听力装置中)。
在实施例中，听力装置包括用于将输入声音转换为电输入信号的输入变换器。在实施例中，听力装置包括定向传声器系统，其适于增强佩戴听力装置的用户的局部环境中的多个声源之中的目标声源。在实施例中，定向系统适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以如现有技术中描述的多种不同方式实现。
在实施例中，听力装置和/或传声器单元包括用于从另一装置如通信装置或另一听力装置接收直接电输入信号的天线和收发器电路。在实施例中，听力装置包括(可能标准化的)电接口(例如连接器的形式)，用于从另一装置如通信装置(例如电话)或另一听力装置接收有线直接电输入信号。在实施例中，直接电输入信号表示或包括音频信号和/或控制信号和/或信息信号。在实施例中，听力装置和/或传声器单元包括用于对所接收的直接电输入进行解调的解调电路，以提供表示音频信号和/或控制信号的直接电输入信号，例如用于设置听力装置的运行参数(如音量)和/或处理参数。总的来说，听力装置的发射器和天线及收发器电路建立的无线链路可以是任何类型。在实施例中，无线链路在功率约束条件下使用。在实施例中，无线链路为基于近场通信的链路，例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。在另一实施例中，无线链路基于远场电磁辐射。
优选地，用于在听力装置和传声器单元和/或其它装置之间建立通信链路的频率低于70GHz，例如位于从50MHz到50GHz的范围中，例如高于300MHz，例如在高于300MHz的ISM范围中，例如在900MHz范围中或在2.4GHz范围中或在5.8GHz范围中或在60GHz范围中(ISM＝工业、科学和医学，这样的标准化范围例如由国际电信联盟ITU定义)。在实施例中，无线链路基于标准化或专用技术。在实施例中，无线链路基于蓝牙技术(如蓝牙低功率技术)。
在实施例中，听力装置和传声器单元为便携装置，如包括本机能源如电池例如可再充电电池的装置。
在实施例中，听力装置和/或传声器单元包括输入变换器(传声器系统和/或直接电输入(如无线接收器))和输出变换器之间的正向或信号通路。在实施例中，信号处理单元位于该正向通路中。在实施例中，信号处理单元适于根据用户的特定需要提供随频率而变的增益。在实施例中，听力装置包括具有用于分析输入信号(如确定电平、调制、信号类型、声反馈估计量等)的功能件的分析通路。在实施例中，分析通路和/或信号通路的部分或所有信号处理在频域进行。在实施例中，分析通路和/或信号通路的部分或所有信号处理在时域进行。
在实施例中，听力装置和/或传声器单元包括模数(AD)转换器以按预定采样速率如20kHz使模拟输入数字化。在实施例中，听力装置包括数模(DA)转换器以将数字信号转换为模拟输出信号，例如用于经输出变换器呈现给用户。
在实施例中，听力装置和/或传声器单元包括用于提供输入信号的时频表示的TF转换单元。在实施例中，时频表示包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。在实施例中，TF转换单元包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组，每一输出信号包括截然不同的输入信号频率范围。在实施例中，TF转换单元包括用于将时变输入信号转换为频域中的(时变)信号的傅里叶变换单元。在实施例中，听力装置考虑的、从最小频率fmin到最大频率fmax的频率范围包括从20Hz到20kHz的典型人听频范围的一部分，例如从20Hz到12kHz的范围的一部分。
在实施例中，听力装置和/或传声器单元包括电平检测器(LD)，用于确定输入信号的电平(例如基于频带级和/或全(宽带)信号)。从用户声环境拾取的电传声器信号的输入电平是声环境的分类参数。在实施例中，电平检测器适于根据多个不同的(如平均)信号电平对用户当前的声环境进行分类，如分类为高电平或低电平环境。
在特定实施例中，听力装置和/或传声器单元包括话音检测器(VD)，用于确定输入信号(在特定时间点)是否包括话音信号。在本说明书中，话音信号包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。在实施例中，话音检测器单元适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点：包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别，因而与仅包括其它声源(如人工产生的噪声)的时间段分离。在实施例中，话音检测器适于将用户自己的话音也检测为“话音”。作为备选，话音检测器适于从“话音”的检测排除用户自己的话音。
在实施例中，听力装置和/或传声器单元包括自我话音检测器，用于检测特定输入声音(如话音)是否源自系统用户的话音。在实施例中，听力装置的传声器系统适于能够在用户自己的话音及另一人的话音之间进行区分及可能与无话音声音区分。
在实施例中，听力装置和/或传声器单元还包括用于所涉及应用的其它适宜功能，如压缩、反馈减少等。
在实施例中，听力装置包括听音装置如助听器、听力仪器例如适于位于用户耳朵处或者完全或部分位于耳道中的听力仪器，例如头戴式耳机、耳麦、耳朵保护装置或其组合。
传声器单元
一方面，本发明提供适于位于用户处并拾取用户的话音的传声器单元。该传声器单元包括：
-多个(M个)输入单元IUi,i＝1,2,…,M，每一输入单元配置成从传声器单元的环境拾取或接收表示声音的信号xi(n)并配置成按时频表示提供在多个频带和多个时刻的对应电输入信号Xi(k,m)，k为频带指数，m为时间指数，n表示时间，及M大于或等于2；及
-多输入单元降噪系统，用于提供包括用户话音的目标信号s的估计量
该多输入单元降噪系统包括多输入波束形成器滤波单元，其连接到多个输入单元IUi,i＝1,…,M并配置成确定滤波器权重w(k,m)以提供波束成形信号，其中来自不同于目标信号源方向的其它方向的信号分量被衰减，而来自目标信号源方向的信号分量保持不被衰减或相对于来自其它方向的信号分量较少地衰减；及
-用于将用户话音的估计量
传给另一装置的天线和收发器电路；
其中所述多输入波束形成器滤波单元为自适应单元。
上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力系统的部分或所有结构特征可与传声器单元的实施结合。
在实施例中，传声器单元包括连接元件如夹子或其它适当的连接元件，用于将传声器单元连接到用户身上。
在实施例中，“另一装置”包括通信装置如便携电话例如智能电话。
在实施例中，多输入波束形成器滤波单元包括MVDR波束形成器。
在实施例中，传声器单元配置成从另一装置接收音频信号和/或信息信号。
用途
此外，本发明提供上面描述的、“具体实施方式”中详细描述的及权利要求中限定的听力系统的用途。在实施例中，提供在双耳助听器系统、免提电话系统、远程会议系统、广播系统、教室放大系统等中的用途。在实施例中，提供拾取用户自己的话音并将其传给通信装置如电话的用途。
定义
在本说明书中，“听力装置”指适于改善、增强和/或保护用户的听觉能力的装置如听力仪器或有源耳朵保护装置或其它音频处理装置，其通过从用户环境接收声信号、产生对应的音频信号、可能修改该音频信号、及将可能已修改的音频信号作为可听见的信号提供给用户的至少一只耳朵而实现。“听力装置”还指适于以电子方式接收音频信号、可能修改该音频信号、及将可能已修改的音频信号作为听得见的信号提供给用户的至少一只耳朵的装置如头戴式耳机或耳麦。听得见的信号例如可以下述形式提供：辐射到用户外耳内的声信号、作为机械振动通过用户头部的骨结构和/或通过中耳的部分传到用户内耳的声信号、及直接或间接传到用户耳蜗神经的电信号。
听力装置可构造成以任何已知的方式进行佩戴，如作为佩戴在耳后的单元(具有将辐射的声信号导入耳道内的管或者具有安排成靠近耳道或位于耳道中的扬声器)、作为整个或部分安排在耳廓和/或耳道中的单元、作为连到植入在颅骨内的固定结构的单元、或作为整个或部分植入的单元等。听力装置可包括单一单元或几个彼此电子通信的单元。
更一般地，听力装置包括用于从用户环境接收声信号并提供对应的输入音频信号的输入变换器和/或以电子方式(即有线或无线)接收输入音频信号的接收器、用于处理输入音频信号的信号处理电路、及用于根据处理后的音频信号将听得见的信号提供给用户的输出装置。在一些听力装置中，放大器可构成信号处理电路。在一些听力装置中，输出装置可包括输出变换器，例如用于提供空传声信号的扬声器或用于提供结构或液体传播的声信号的振动器。在一些听力装置中，输出装置可包括一个或多个用于提供电信号的输出电极。
在一些听力装置中，振动器可适于经皮或由皮将结构传播的声信号传给颅骨。在一些听力装置中，振动器可植入在中耳和/或内耳中。在一些听力装置中，振动器可适于将结构传播的声信号提供给中耳骨和/或耳蜗。在一些听力装置中，振动器可适于例如通过卵圆窗将液体传播的声信号提供到耳蜗液体。在一些听力装置中，输出电极可植入在耳蜗中或植入在颅骨内侧上，并可适于将电信号提供给耳蜗的毛细胞、一个或多个听觉神经、听觉皮层和/或大脑皮层的其它部分。
“听力系统”指包括一个或两个听力装置的系统。“双耳听力系统”指包括两个听力装置并适于协同地向用户的两只耳朵提供听得见的信号的系统。听力系统或双耳听力系统还可包括“辅助装置”，其与听力装置通信并影响和/或受益于听力装置的功能。辅助装置例如可以是遥控器、音频网关设备、移动电话(如智能电话)、广播系统、汽车音频系统或音乐播放器。听力装置、听力系统或双耳听力系统例如可用于补偿听力受损人员的听觉能力损失、增强或保护正常听力人员的听觉能力和/或将电子音频信号传给人。
附图说明
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。在整个说明书中，同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明，其中：
图1A-1B示出了根据本发明的包括传声器单元和一对听力装置的听力系统的两个示例性使用场景，图1A示出了音频信号从电话经传声器单元传给听力装置的场景，图1B示出了音频信号从电话直接传给听力装置的场景。
图2示出了在根据本发明的听力系统的传声器单元中，传声器信号的可能拾取或接收及来自其它装置的数据信号的可能接收的例子。
图3示出了根据本发明的传声器单元的多输入波束形成器-降噪系统的框图。
图4示出了根据本发明的包括传声器单元和听力装置的听力系统的实施例的示例性框图。
图5示出了包括左和右听力装置的双耳听力系统的正常配置，其中双耳波束形成器聚焦在用户前面的目标声源上。
图6A示出了传声器单元在用户身上的第一位置和定向。
图6B示出了传声器单元在用户身上的第二位置和定向。
通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。对于本领域技术人员来说，基于下面的详细描述，本发明的其它实施方式将显而易见。
具体实施方式
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而，对本领域技术人员显而易见的是，这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因，这些元素可使用电子硬件、计算机程序或其任何组合实施。
电子硬件可包括微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、选通逻辑、分立硬件电路、及配置成执行本说明书中描述的多个不同功能的其它适当硬件。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等，无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
根据本发明的听力系统涉及建立专用波束形成器+单通道降噪(SC-NR)算法，例如[Kjems and Jensen,2012]中提出的算法，其在该情形下能够适应从有噪声的传声器信号取回传声器单元用户的话音信号的特定问题，及拒绝/抑制任何其它声源(在该特定情形下其可被视为噪声源)。图1A-1B示出了这样的系统的可能的概念图。
图1A-1B示出了根据本发明的包括传声器单元和一对听力装置的听力系统的两个示例性使用场景。在图1A-1B中，虚线箭头NEV(近端话音)指从听力装置用户U到远端听者FEP的(音频)通信，包含用户讲话时用户的话音或者使用完全或部分由传声器单元MICU拾取的话音。这是所提出的传声器单元降噪系统起作用的情形。实线箭头FEV指从远端讲话者FEP到听力装置用户U的(音频)信号传输(远端话音FEV)(经助听器HDl,HDr呈现)，该通信包含远端人FEP讲话时的话音或者使用该话音。经图1A-1B中所示的“电话线”的通信通常(但不必然)是“半双工”通信，因为一次仅呈现一个人的话音。用户U和通信线路另一端处的人FEP之间的通信经用户的电话机、网络如公用电话交换网及远端人FEP的电话进行。在图1A-1B所示的听力系统实施例中，用户U在其左和右耳处佩戴包括左和右听力装置(如助听器HDl,HDr)的双耳助听器系统。左和右助听器HDl,HDr优选适于使能在其间经耳间通信链路(如基于近场通信的链路，例如感应链路)交换信息(如控制信号，可能及音频信号，或其一部分)。用户将传声器单元MICU佩戴在胸部上(如在颈环中或者通过传声器单元的夹子附着到衣服上)，距离和定向适当定位以经内置传声器(如两个以上传声器，例如传声器阵列)拾取用户的话音。用户将电话如移动电话(如智能电话)拿在手中。作为备选，电话可以任何其它允许与电话的必要通信的方式佩戴、握持或定位(如在颈部周围，在口袋中，附着到一件衣服，附着到身体的一部分，位于包中，位于桌上等)。
图1A示出了如包括远端人FEP的话音FEV的音频信号从用户U处的电话经传声器单元MICU传给听力装置HDl,HDr的场景。在该情形下，听力系统配置成使能在传声器单元MICU及左和右听力装置HDl,HDr之间建立音频链路。具体地，传声器单元(至少)包括使能将(如远端)音频信号FEV从传声器单元传给左和右听力装置中的每一个的天线和收发器电路。该链路例如可基于远场通信，如符合标准化(如蓝牙或蓝牙低功率)或专有方案。作为备选，该链路可基于近场通信如利用磁感应。
图1B示出了如包括远端人FEP的话音FEV的音频信号从用户U处的电话直接传给听力装置HDl,HDr的场景(代替经传声器单元)。在该情形下，听力系统配置成使能在电话及左和右听力装置HDl,HDr之间建立音频链路。具体地，左和右听力装置HDl,HDr包括(至少)使能从电话接收(如远端)音频信号FEV的天线和收发器电路。该链路例如可基于远场通信，如符合标准化(如蓝牙或蓝牙低功率)或专有方案。
图2示出了在根据本发明的听力系统的传声器单元中，传声器信号的可能拾取或接收及来自其它装置的数据信号的可能接收的例子。图2示出了用户U例如在图1A-1B的场景之一中佩戴根据本发明的听力系统，包括左和右听力装置HDl,HDr、用于拾取用户话音的传声器单元MICU和便携电话。传声器单元包括至少两个传声器M1,M2和配置成用于拾取和增强用户话音(净化，减少其中的噪声)的降噪系统，例如在特定通信运行模式下，降噪系统还将所得信号传给另一装置(在此为电话，参见图1A-1B中的信号)。左和右听力装置HDl,HDr中的每一个包括一个或多个传声器HDMl,HDMr，用于从环境拾取声音并将结果经输出单元如扬声器呈现给用户U。在图2的示例性实施例中，左和右听力装置HDl,HDr例如在特定通信运行模式下配置成将传声器HDMl,HDMr拾取的音频信号传给传声器单元MICU，参见记为“音频”的实线箭头。非必须地，传声器信号中的两个以上或者只有一个(或者没有)可从听力装置传给传声器单元。同样，也是非必须地，由用户U的(附近)环境中的其它装置拾取的一个或多个传声器信号可传给传声器单元MICU。在图2的例子中，由移动电话的传声器TM拾取的信号传给传声器单元MICU，参见记为“音频”的实线箭头。增加数量的传声器信号优选用在多传声器设置中以改善降噪因而提高目标信号(在此为用户自我话音)的质量。在多个不同实施例中，信息信号可从传声器单元周围的装置传给传声器单元以提高传声器单元的多输入降噪系统(参见图3)的功能。在实施例中，如图2中所示，前述数据信号可在电话和/或一个或两个听力装置HDl,HDr及传声器单元之间交换，参见记为“数据”的虚线(细)箭头。根据听力系统的运行模式，信息(“数据”)例如可包括背景噪声的估计量(如图2中的“噪声”)和/或当前电话通信的用户和/或远端人的话音活动等。
图3示出了根据本发明的传声器单元的多输入波束形成器-降噪系统(在图3和4中记为NRS)的框图。图3示出了自适应波束形成器(BF)-单通道降噪(SC-NR)系统。波束形成器BF以下面描述的两种方式自适应。首先，当用户沉默时，例如由传声器单元(或听力装置，或另一装置，参见经图3中由符号ANT指明的天线和收发器电路的非必需的连接)中的话音活动检测器(VAD)算法检测，例如基于来自远端讲话者的话音活动，其在传声器单元(或听力装置或电话)中容易检测。在该情形下，传声器间噪声协方差矩阵可被更新以调整波束图的形状从而使空间降噪最大。其次，当用户讲话时，波束形成器的空间方向(技术上由所谓的视向量d表示)被更新。该调整补偿传声器单元(跨时间和在用户间)的位置变化及补偿传声器单元MICU的用户U的身体特征(如头部和肩部特征)的差异。不依赖于精确的传声器位置的波束形成器设计存在，因为它们的目标在于独立于传声器几何结构按最小均方或最小方差无失真响应取回自我话音目标信号。换言之，波束形成器并未对任何传声器配置均“尽全力最好地起作用”，而是一些传声器位置显然好于其它位置。
此外，SC-NR系统(其可以也可不存在)适应波束形成器输出(图4中的Y)中的残余噪声的电平；对于波束形成器已经拒绝大量周围噪声(由于其空间滤波)的声情形下，波束形成器输出中的SNR已经明显提高，SC-NR系统可实质上透明。然而，在其他情形下，波束形成器输出中存在可观数量的残余噪声，SC-NR系统可抑制信号的SNR低的时频区域，以提高将经通信装置(如移动电话)传给远端听者的话音信号的质量。
在使用之前，默认波束形成器权重优选在离线校准过程中确定，例如在具有头部和躯干模拟器(HATS，来自Brüel&
Sound&Vibration Measurement A/S的头部和躯干模拟器4128C)的录音室中进行，从仿真头的嘴巴播放话音信号，及传声器单元安装在仿真头的“胸部”上的默认位置。这样，例如可找到(默认的)最佳的最小方差无失真响应(MVDR)波束形成器权重，其被硬连线在传声器单元中例如保存在传声器单元的存储器中，例如参见[Kjems and Jensen；2012]。
自适应波束形成器-单通道降噪(SC-NR)系统使能从默认波束形成器权重出发，考虑实际情形(真实的人用户在真实(非声学理想)房间中，可能传声器单元相对于用户的嘴巴处于随便的位置)和默认情形(录音室中的仿制品，理想定位的传声器单元)之间的差异。
调整过程可通过将调整后的波束形成器权重与默认权重比较进行监视，如果调整后的波束形成器权重与默认权重相差太多，可能限制调整的波束形成器权重。
图4示出了根据本发明的包括传声器单元和听力装置的听力系统的实施例的示例性框图。图4示出了包括适于位于用户耳朵之处或之中或者适于完全或部分植入在用户头部中的听力装置HD及适于位于用户处并拾取用户话音的分立传声器单元MICU的听力系统。传声器单元MICU包括M个输入单元IUi,i＝1,2,…,M，每一输入单元配置成拾取或接收表示来自传声器单元的环境(理想地，来自用户U，参见图4中的“来自U”)的声音NEV’的信号xi(i＝1,2,…,M)及配置成按时频表示提供在多个频带和多个时刻的对应电输入信号Xi。M大于或等于2。在图4的实施例中，输入单元IU1和IUM示为包括相应的输入变换器IT1和ITM(如传声器)，用于将输入声音x1和xM转换为相应的(如数字化)电输入信号x’1和x’M，及每一输入单元包括用于将电(时域)输入信号x’1和x’M转换为相应的按时频表示(k,m)的电输入信号X1和XM的滤波器组AFB。所有M个输入单元可与IU1和IUM一样，或者可个性化，例如包括个别的归一化或均衡滤波器和/或有线或无线收发器。在实施例中，一个或多个输入单元包括配置成从另一装置接收音频信号的有线或无线收发器，从而使能从空间上与传声器单元分开的输入变换器提供输入，例如从用户的一个或多个听力装置HD的一个或多个传声器(例如参见图2)。时频域输入信号Xi,i＝1,2,…,M馈给控制单元CONT和多输入单元降噪系统NRS以提供包括用户话音的目标信号s的估计量
多输入单元降噪系统NRS包括多输入波束形成器滤波单元BF，其连接到多个输入单元IUi,i＝1,…,M并配置成确定用于提供波束成形信号Y的滤波器权重w(k,m)，其中来自不同于目标信号源(用户话音)的方向的其它方向的信号分量被衰减，而来自目标信号源方向的信号分量保持不被衰减或相对于来自其它方向的信号分量较少地衰减。图4实施例的多通道降噪系统NRS还包括单通道降噪单元SC-NR，其连接到波束形成器滤波单元BF并配置成减少波束成形信号Y中的残余噪声并提供目标信号(用户话音)的估计量
传声器单元还可包括用于进一步处理目标信号的估计量
并提供进一步处理的信号
的信号处理单元SPU。传声器单元还包括天线和收发器电路ANT,RF-Rx/Tx，用于将用户话音的估计量
(或进一步处理的信号
)传给另一装置如通信装置(在此由标记“去往电话”指明，实质上包括信号NEV即近端话音)。
传声器单元还包括配置成使得多输入波束形成器滤波单元为自适应单元的控制单元CONT。控制单元CONT包括保存波束形成器的视向量d的参考值(可能及噪声协方差矩阵的参考值)的存储器MEM。控制单元CONT还包括话音活动检测器VAD和/或适于接收关于用户和当前与用户电话通话的远端人的当前话音活动的信息(估计量)。话音活动信息用于控制降噪系统的更新的定时因此提供自适应性。
听力装置HD包括输入变换器如传声器MIC，用于将输入声音转换为电输入信号INm。听力装置可包括定向传声器系统(如结合传声器单元所述的多输入波束形成器和降噪系统，未在图4的实施例中示出)，其适于增强佩戴听力装置HD的用户的局部环境中的多个声源中的目标声源。(听力装置的)前述目标信号通常不是用户自我话音，但在特定通信运行模式下可以是用户自我话音。在该情形下，传声器信号INm可传给另一装置如传声器单元MICU。听力装置HD还包括天线ANT和收发器电路Rx/Tx，用于从另一装置如通信装置无线接收直接电输入信号，在此由标记“来自电话”指明，及接收图1A-1B的电话对话场景提及的信号FEV(远端话音)。收发器电路包括适当的解调电路，用于对所接收的直接电输入进行解调以提供表示音频信号(和/或控制信号)的直接电输入信号INw。听力装置HD还包括选择和/或混合单元SEL-MIX，其使能选择电输入信号INw,INm之一或将适当的混合信号提供为合成输入信号RIN。选择和/或混合单元SEL-MIX由检测和控制单元DET经确定听力装置的运行模式的信号MOD控制(具体控制SEL-MIX单元)。检测和控制单元DET例如可包括用于识别运行模式的检测器(例如用于检测用户进行或希望进行电话通话)或配置成例如从外部传感器和/或从用户接口接收前述信息。
听力装置包括用于处理合成输入信号RIN的信号处理单元SPU及适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)，例如以补偿用户的听力受损。信号处理单元SPU提供处理后的信号PRS。听力装置还包括输出单元，用于基于处理后的电信号PRS提供配置成由用户感知为声信号的刺激OUT。在图4的实施例中，输出变换器包括用于将刺激OUT作为声信号提供给用户的扬声器SP(在此由图1A-1B的电话通话场景提及的标记“去往U”和信号FEV(远端话音)指明)。作为备选或另外，听力装置包括耳蜗植入物的多个电极或者骨导听力装置的振动器。
图4的实施例例示图1B的场景的“近端”部分。
图5示出了包括左和右听力装置HDl,HDr的双耳听力系统的正常配置，双耳波束形成器聚焦在用户U前面的目标声源(讲话者S)上。图5示意性图示的声情形为用户U听用户前面(在此示为用户U的关注方向即视向LOOK-DIR)的讲话者S说话。用户配备有分别位于用户的左耳和右耳之处的左和右听力装置HDl和HDr。左和右听力装置中的每一个包括至少两个输入单元，用于提供表示来自双耳听力系统环境的第一和第二声音信号的第一和第二电输入信号，及包括用于从第一和第二电输入信号产生波束成形信号的波束形成器滤波单元。在图5的实施例中，第一和第二输入单元分别由左和右听力装置中的前传声器FML,FMR和后传声器RML,RMR实施，“前”和“后”相对于用户的视向确定(假定听力装置均被正确地安装)。左和右听力装置的前传声器FML,FMR和后传声器RML,RMR分别构成相应的传声器系统，其连同相应的可配置波束形成器单元一起使每一听力装置能使传声器系统在相对于所涉及听力装置的特定方向(REF-DIRL,REF-DIRR分别例如等于用户的视向LOOK-DIR，假定听力装置均被正确地安装)的灵敏度最大化(参见示意性的波束BEAML和BEAMR)。图5用于表示垂直于两个人A和B及用户U站立在(或位于)其上的表面的水平截面图，记为VERT-DIR的符号指相对于所述(如地球的)表面的垂直方向。
图6A和6B示出了传声器单元在用户身上的两个不同位置和定向。这些图用于说明传声器单元MICU可附着到用户U的可变表面(如衣服，如胸部等)上，使得传声器单元MICU相对于用户嘴巴的位置/方向可随时间变化。因而，波束形成器-降噪优选应自适应前述变化，如本发明中描述的。图6A、6B示出了用户佩戴一对助听器HDl,HDr并使传声器单元MICU例如经连接元件如夹子附着到头部下面的身体上。从传声器单元到目标声源(用户嘴巴)的视向量及两个传声器M1,M2的传声器轴(Mic轴)在两个实施例中指明。图6A可表示针对其已确定预定视向量(可能及传声器间协方差矩阵)的传声器单元的(预定)参考位置。图6B图示偏离参考位置的传声器单元的位置。在该情形下，视向量d(k,m)为包括元素d1,d2的二维向量，其定义从目标信号源(“喂”，用户嘴巴，U)到传声器单元MICU的传声器M1,M2的声传递函数(或从传声器之一到另一定义为参考传声器的传声器的相对声传递函数)。因此，在图6B的情形下，自适应波束形成器滤波单元必须(至少)提供或使用视向量的更新(优选及噪声功率估计量)。波束形成器权重的自适应更新在本发明中描述及在[Kjems and Jensen；2012]中进一步详细描述。
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的实施结合。
除非明确指出，在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接”或“耦合”到另一元件时，可以是直接连接或耦合到其他元件，也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
应意识到，本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外，特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见，及在此定义的一般原理可应用于其他方面。
权利要求不限于在此所示的各个方面，而是包含与权利要求语言一致的全部范围，其中除非明确指出，以单数形式提及的元件不意指“一个及只有一个”，而是指“一个或多个”。除非明确指出，术语“一些”指一个或多个。
因而，本发明的范围应依据权利要求进行判断。
参考文献
●[Kjems and Jensen；2012]U.Kjems,J.Jensen,“Maximum likelihood basednoise covariance matrix estimation for multi-microphone speech enhancement”,20th European Signal Processing Conference(EUSIPCO 2012),pp.295-299,2012.
Claims (15)
1.一种听力系统，包括：
助听器，其适于位于用户耳朵之处或之中或者适于完全或部分植入在用户头部中，及适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频以补偿用户的听力受损；及
分立的传声器单元，其适于位于用户处并在用户佩戴所述听力系统时拾取用户的话音，其中所述传声器单元配置成附着到用户的可变表面上，使得所述传声器单元相对于用户嘴巴的位置/方向可随时间变化；
其中所述传声器单元包括：
-多个输入单元IUi,i＝1,2,…,M，每一输入单元配置成拾取或接收表示来自所述传声器单元的环境的声音的信号xi(n)并配置成按时频表示提供在多个频带和多个时刻的对应电输入信号Xi(k,m)，k为频带指数，m为时间指数，n表示时间，及M大于或等于2；及
-多输入单元降噪系统，用于提供包括用户话音的目标信号s的估计量
所述多输入单元降噪系统包括多输入波束形成器滤波单元，其连接到多个输入单元IUi,i＝1,…,M并配置成确定滤波器权重w(k,m)以提供波束成形信号，其中来自不同于目标信号源方向的其它方向的信号分量被衰减，而来自目标信号源方向的信号分量保持不被衰减或相对于来自其它方向的信号分量较少地衰减；
-用于将用户话音的估计量
传给另一装置的天线和收发器电路；及
-话音活动检测器，用于估计当前环境声音中是否存在用户话音或者存在用户话音的概率，或者配置成从另一装置接收当前环境声音中是否存在用户话音或者存在用户话音的概率的估计量；
其中所述多输入单元降噪系统配置成：
-针对源自相对于用户位于特定位置的目标信号源的目标信号自适应估计波束形成器滤波单元的当前视向量d(k,m)，其中所述视向量d(k,m)为包括元素di(k,m)，i＝1,2,…,M的M维向量，第i个元素di(k,m)定义从相对于所述传声器单元的输入单元处于特定位置处的目标信号源到第i个输入单元的声学传递函数，或者定义从第i个输入单元到参考输入单元的相对声学传递函数，其中所述多输入单元降噪系统配置成在用户话音存在时或者以大于预定值的概率存在时更新所述视向量；和/或
-在用户话音不存在或者以低于预定水平的概率存在时自适应估计干扰背景噪声的噪声功率谱密度，或者从另一装置接收干扰背景噪声的噪声功率谱密度的估计量；及
其中所述多输入波束形成器滤波单元包括MVDR滤波器，其基于所述当前视向量d(k,m)和输入单元间协方差矩阵Rvv(k,m)提供所述滤波器权重w(k,m)。
2.根据权利要求1所述的听力系统，其中所述另一装置包括通信装置。
3.根据权利要求1所述的听力系统，其中所述助听器和所述传声器单元中的每一个包括相应的用于在其间建立无线音频链路的天线和收发器电路。
4.根据权利要求1所述的听力系统，其中所述助听器和/或所述传声器单元包括用于提供输入信号的所述时频表示的时频转换单元。
5.根据权利要求1所述的听力系统，其中所述话音活动检测器配置成提供表示来自所述传声器单元的环境的声音的信号的每一时频单位的话音活动估计量。
6.根据权利要求1所述的听力系统，包括存储器，其包含确定从所述传声器单元到目标声源的空间方向的预定参考视向量。
7.根据权利要求1所述的听力系统，配置成通过将对应于更新视向量的更新波束形成器权重与对应于参考视向量的默认权重比较而限制视向量的更新，及如果更新波束形成器权重与默认权重相差预定的绝对或相对量以上，则限制或忽略更新波束形成器权重。
8.根据权利要求1所述的听力系统，包括存储器，其包含所述传声器单元的预定参考输入单元间噪声协方差矩阵。
9.根据权利要求8所述的听力系统，配置成通过将当前确定的输入单元间噪声协方差矩阵与参考输入单元间噪声协方差矩阵比较而控制干扰背景噪声的噪声功率谱密度的更新，及如果当前确定的输入单元间噪声协方差矩阵与参考输入单元间噪声协方差矩阵相差预定的绝对或相对量以上，则限制或忽略干扰背景噪声的噪声功率谱密度的更新。
10.根据权利要求1所述的听力系统，其中所述多输入单元降噪系统包括单通道降噪单元，其连接到波束形成器滤波单元并配置成减少波束成形信号中的残余噪声和提供目标信号s的估计量
11.根据权利要求1所述的听力系统，其中所述传声器单元包括至少三个输入单元，其中输入单元的至少两个中的每一个包括传声器，及其中输入单元中的至少一个包括用于从传声器单元的环境直接接收表示声音的电输入信号的接收器。
12.根据权利要求1所述的听力系统，其中所述传声器单元配置成从所述另一装置接收音频信号和/或信息信号。
13.根据权利要求1所述的听力系统，其中所述传声器单元配置成从位于通信装置中或助听器中的话音活动检测器接收远端话音活动的估计量。
14.根据权利要求1所述的听力系统，其中所述传声器单元包括另一话音活动检测器，用于估计从所述另一装置接收的音频信号是否包括话音信号或者以某一概率存在话音信号。
15.根据权利要求1所述的听力系统，其中所述多输入单元降噪系统配置成，当用户话音不存在时或用户话音以低于预定水平的概率存在时，更新在不同频率k和特定时间m时的输入单元间噪声协方差矩阵。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15154947 | 2015-02-13 | ||
| EP15154947.4 | 2015-02-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105898651A CN105898651A (zh) | 2016-08-24 |
| CN105898651B true CN105898651B (zh) | 2020-07-14 |
Family
ID=52589233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610086194.0A Expired - Fee Related CN105898651B (zh) | 2015-02-13 | 2016-02-15 | 包括用于拾取用户自我话音的分立传声器单元的听力系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9860656B2 (zh) |
| EP (1) | EP3057337B1 (zh) |
| CN (1) | CN105898651B (zh) |
| DK (1) | DK3057337T3 (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2882203A1 (en) | 2013-12-06 | 2015-06-10 | Oticon A/s | Hearing aid device for hands free communication |
| AU2015349054B2 (en) * | 2014-11-19 | 2018-04-19 | Sivantos Pte. Ltd. | Method and apparatus for fast recognition of a user's own voice |
| EP3274993B1 (en) * | 2015-04-23 | 2019-06-12 | Huawei Technologies Co. Ltd. | An audio signal processing apparatus for processing an input earpiece audio signal upon the basis of a microphone audio signal |
| DK3101919T3 (da) | 2015-06-02 | 2020-04-06 | Oticon As | Peer-to-peer høresystem |
| EP3148213B1 (en) * | 2015-09-25 | 2018-09-12 | Starkey Laboratories, Inc. | Dynamic relative transfer function estimation using structured sparse bayesian learning |
| DK3285501T3 (da) | 2016-08-16 | 2020-02-17 | Oticon As | Høresystem, der omfatter et høreapparat og en mikrofonenhed til at opfange en brugers egen stemme |
| WO2018081155A1 (en) * | 2016-10-24 | 2018-05-03 | Avnera Corporation | Automatic noise cancellation using multiple microphones |
| AU2017355584B2 (en) * | 2016-11-02 | 2020-02-20 | Chears Technology Company Limited | Intelligent hearing aid |
| US10911877B2 (en) * | 2016-12-23 | 2021-02-02 | Gn Hearing A/S | Hearing device with adaptive binaural auditory steering and related method |
| EP3566228B1 (en) * | 2017-01-03 | 2020-06-10 | Koninklijke Philips N.V. | Audio capture using beamforming |
| WO2018127298A1 (en) * | 2017-01-09 | 2018-07-12 | Sonova Ag | Microphone assembly to be worn at a user's chest |
| KR102044962B1 (ko) * | 2017-05-15 | 2019-11-15 | 한국전기연구원 | 환경 분류 보청기 및 이를 이용한 환경 분류 방법 |
| EP4184950A1 (en) * | 2017-06-09 | 2023-05-24 | Oticon A/s | A microphone system and a hearing device comprising a microphone system |
| US10789949B2 (en) * | 2017-06-20 | 2020-09-29 | Bose Corporation | Audio device with wakeup word detection |
| DK3477964T3 (da) * | 2017-10-27 | 2021-05-25 | Oticon As | Høresystem, der er konfigureret til at lokalisere en mållydkilde |
| CN111615833B (zh) * | 2018-01-16 | 2022-03-18 | 科利耳有限公司 | 听力假体中的个性化自身语音检测 |
| EP3525488B1 (en) * | 2018-02-09 | 2020-10-14 | Oticon A/s | A hearing device comprising a beamformer filtering unit for reducing feedback |
| EP3582513B1 (en) * | 2018-06-12 | 2021-12-08 | Oticon A/s | A hearing device comprising adaptive sound source frequency lowering |
| DK3588981T3 (da) * | 2018-06-22 | 2022-01-10 | Oticon As | Høreanordning der omfatter en akustisk hændelsesdetektor |
| US11380312B1 (en) * | 2019-06-20 | 2022-07-05 | Amazon Technologies, Inc. | Residual echo suppression for keyword detection |
| US20230031093A1 (en) * | 2020-01-17 | 2023-02-02 | Sonova Ag | Hearing system and method of its operation for providing audio data with directivity |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101478711A (zh) * | 2008-12-29 | 2009-07-08 | 北京中星微电子有限公司 | 控制麦克风录音的方法、数字化音频信号处理方法及装置 |
| CN103392349A (zh) * | 2011-02-23 | 2013-11-13 | 高通股份有限公司 | 用于空间选择性音频增强的系统、方法、设备和计算机可读媒体 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5793875A (en) * | 1996-04-22 | 1998-08-11 | Cardinal Sound Labs, Inc. | Directional hearing system |
| NL1021485C2 (nl) * | 2002-09-18 | 2004-03-22 | Stichting Tech Wetenschapp | Hoorbril-samenstel. |
| US7738666B2 (en) * | 2006-06-01 | 2010-06-15 | Phonak Ag | Method for adjusting a system for providing hearing assistance to a user |
| US8077892B2 (en) * | 2006-10-30 | 2011-12-13 | Phonak Ag | Hearing assistance system including data logging capability and method of operating the same |
| US9288589B2 (en) * | 2008-05-28 | 2016-03-15 | Yat Yiu Cheung | Hearing aid apparatus |
| US8891777B2 (en) * | 2011-12-30 | 2014-11-18 | Gn Resound A/S | Hearing aid with signal enhancement |
| EP3462452A1 (en) * | 2012-08-24 | 2019-04-03 | Oticon A/s | Noise estimation for use with noise reduction and echo cancellation in personal communication |
| EP2759147A1 (en) * | 2012-10-02 | 2014-07-30 | MH Acoustics, LLC | Earphones having configurable microphone arrays |
| US10229697B2 (en) * | 2013-03-12 | 2019-03-12 | Google Technology Holdings LLC | Apparatus and method for beamforming to obtain voice and noise signals |
| DK2835986T3 (en) * | 2013-08-09 | 2018-01-08 | Oticon As | Hearing aid with input transducer and wireless receiver |
| US9800981B2 (en) * | 2014-09-05 | 2017-10-24 | Bernafon Ag | Hearing device comprising a directional system |
-
2016
- 2016-02-05 DK DK16154471.3T patent/DK3057337T3/da active
- 2016-02-05 EP EP16154471.3A patent/EP3057337B1/en active Active
- 2016-02-12 US US15/042,248 patent/US9860656B2/en active Active
- 2016-02-15 CN CN201610086194.0A patent/CN105898651B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101478711A (zh) * | 2008-12-29 | 2009-07-08 | 北京中星微电子有限公司 | 控制麦克风录音的方法、数字化音频信号处理方法及装置 |
| CN103392349A (zh) * | 2011-02-23 | 2013-11-13 | 高通股份有限公司 | 用于空间选择性音频增强的系统、方法、设备和计算机可读媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3057337A1 (en) | 2016-08-17 |
| US9860656B2 (en) | 2018-01-02 |
| US20160241974A1 (en) | 2016-08-18 |
| CN105898651A (zh) | 2016-08-24 |
| DK3057337T3 (da) | 2020-05-11 |
| EP3057337B1 (en) | 2020-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105898651B (zh) | 包括用于拾取用户自我话音的分立传声器单元的听力系统 | |
| CN105898662B (zh) | 配对传声器单元和包括配对传声器单元的听力系统 | |
| US11671773B2 (en) | Hearing aid device for hands free communication | |
| EP3101919B1 (en) | A peer to peer hearing system | |
| EP3285501B1 (en) | A hearing system comprising a hearing device and a microphone unit for picking up a user's own voice | |
| CN108574922B (zh) | 包括声音的无线接收器的听力装置 | |
| US11510017B2 (en) | Hearing device comprising a microphone adapted to be located at or in the ear canal of a user | |
| US11259127B2 (en) | Hearing device adapted to provide an estimate of a user's own voice | |
| EP3799444A1 (en) | A hearing aid comprising a directional microphone system | |
| US10951995B2 (en) | Binaural level and/or gain estimator and a hearing system comprising a binaural level and/or gain estimator | |
| CN112492434A (zh) | 包括降噪系统的听力装置 | |
| EP4250765A1 (en) | A hearing system comprising a hearing aid and an external processing device | |
| CN116806006A (zh) | 包括连接件的助听装置 | |
| CN115278494A (zh) | 包括耳内输入变换器的听力装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200714 |