CN117678243A - 声音处理装置、声音处理方法和助听装置 - Google Patents

声音处理装置、声音处理方法和助听装置 Download PDF

Info

Publication number
CN117678243A
CN117678243A CN202280048248.8A CN202280048248A CN117678243A CN 117678243 A CN117678243 A CN 117678243A CN 202280048248 A CN202280048248 A CN 202280048248A CN 117678243 A CN117678243 A CN 117678243A
Authority
CN
China
Prior art keywords
sound
hearing
information
processing apparatus
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280048248.8A
Other languages
English (en)
Inventor
中村理
牧野坚一
松本恭辅
土谷慎平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN117678243A publication Critical patent/CN117678243A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17879General system configurations using both a reference signal and an error signal
    • G10K11/17881General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/03Aspects of the reduction of energy consumption in hearing devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H04R25/507Customised settings for obtaining desired overall acoustical characteristics using digital signal processing implemented by neural network or fuzzy logic

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

提供一种主要针对助听装置执行声音处理的声音处理装置。该声音处理装置包括:信息估计单元,用于基于与频率的听力阈值有关的听力阈值信息和输入声音信息估计控制信息;以及信号处理单元,用于基于估计的控制信息处理输入声音信号。听力阈值信息是声音处理装置在频率处测量用户的听力阈值的阈值测量的结果。信息估计单元估计与信号处理单元中的容许延迟量或噪声消除特性有关的信息。

Description

声音处理装置、声音处理方法和助听装置
技术领域
在本说明书(在后文中称为“本公开”)中公开的技术涉及主要执行助听装置的声音处理的声音处理装置、声音处理方法和助听装置。
背景技术
为了解决听力受损的人等的听力丧失的问题,收集和放大周围声音并输出放大的声音的助听器已经变得普遍。当周围声音包括除了期望的声音(诸如,谈话中的说话者的发言)之外的噪声时,放大的语音的质量劣化,因此,经常执行减少收集的声音信号中的噪声成分的处理(例如,该处理在下文中也被称为本说明书中的“降噪(NR)处理”)(例如,参见专利文献1)。此外,基于作为对用户进行的听力敏锐度测试的结果获得的听力图(相应频带处的听力水平),通常设置放大功能,使得在可听频率范围中听力丧失的频带中的声音被放大以减少听力丧失。
引用列表
专利文献
专利文献1:日本专利公开第2016-537891号
专利文献2:日本专利公开第8-221092号
非专利文献
非专利文献1:Donald G.MacKay,Metamorphosis of a Critical Interval:Age-Linked Changes in the Delay in Auditory Feedback that Produce MaximalDisruption of Speech,The Journal of the Acoustical Society of America,1967
发明内容
本发明要解决的问题
本发明的目的在于提供一种主要进行助听装置的声音处理的声音处理装置、声音处理方法以及助听装置。
问题的解决方案
鉴于以上问题做出本公开,并且其第一方面是:
声音处理装置,包括:
信息估计单元,基于关于每个频率处的听力阈值的听力阈值信息和输入声音信息估计控制信息;以及
信号处理单元,基于所估计的控制信息处理输入声音信号。
听力阈值信息是通过在每个频率处测量声音处理装置的用户的听力阈值而获得的阈值测量结果。可替换地,听力阈值信息是关于在每个频率处的听力敏锐度测量功能中使用的测量信号的声压级的信息。
然后,信息估计单元估计与信号处理单元中的能够接受的延迟量相关的信息。可选地,信息估计单元估计与将要在信号处理单元中执行的噪声消除处理相关的噪声消除特性信息。
此外,本公开的第二方面是
声音处理方法,包括:
信息估计步骤,基于与各频率处的听力阈值有关的听力阈值信息和输入声音信息来估计控制信息;以及
信号处理步骤,基于所估计的控制信息处理输入声音信号。
此外,本公开的第三方面是一种助听装置,包括听力敏锐度测量功能,以及
助听装置
当进行听力敏锐度测量时,收集助听装置周围的环境声音,
放大所收集的环境声音;以及
从助听装置的扬声器或连接至助听装置的外部装置输出放大的环境声音。
根据第三方面的助听装置在用于听力敏锐度测量的测量声音停止时收集环境声音。此外,在进一步提供噪声消除功能的情况下,指示噪声消除在听力测量时使用的信息与听力敏锐度测量的结果一起被记录,并且当测量结果被显示时,噪声消除的存在或不存在也被显示。
本发明的效果
根据本公开,可以提供一种声音处理装置、声音处理方法和助听装置,其执行用于确定在诸如要在助听装置中执行的降噪的信号处理中的能够接受的延迟量或噪声消除特性信息,并且进一步确定在听力敏锐度测量时的噪声消除特性信息的处理。
应注意,在本说明书中描述的效果仅是实施例,并且本公开要带来的效果不限于此。此外,本公开在一些情况下进一步提供除了上述效果之外的附加效果。
通过基于稍后描述的实施方式的更详细的描述和附图,本公开的其他目的、特征和优点将变得显而易见。
附图说明
图1是示出助听装置的示例性配置的示图。
图2是示出助听装置中的输入声压级与输出声压级之间的关系的实施例的曲线图。
图3是示出听力受损者的听力阈值升高(劣化)的实施例的曲线图。
图4是示出听力受损者的听力图的实施例的曲线图。
图5是示出助听装置中的输入声压级与输出声压级之间的关系的另一实施例的曲线图。
图6是示出助听装置中的声音和声音信号的流动的实施例的示图。
图7是示出其中助听装置701的用户790在面对讲话者794的同时谈话的实施例的示图。
图8是示出由讲话者发出的语音被发送到讲话者的耳朵的状态的示图。
图9是示出前馈梳状滤波器的实施例的示图。
图10是示出图9中所示的梳状滤波器的振幅特性的曲线图。
图11是示出NR函数的效果的实施例的示图。
图12是示出其中NR函数的效果小的实施例的示图。
图13是示出助听装置的另一示例性配置的示图。
图14是示出具有可变延迟NR函数的助听装置的示例性配置(第一实施方式)的示图。
图15是示出训练模型生成的实施例的示图。
图16是示出在创建训练数据时的用户界面的实施例的示图。
图17是示出当受试者(听力受损人员)给出可接受的延迟量作为回答时使用的用户界面的实施例的示图。
图18是示出在创建训练数据时的过程的流程图。
图19是示出训练模型生成的另一实施例的示图。
图20是示出训练模型生成的又一个实施例的示图。
图21是示出不使用任何训练模型的可接受延迟量估计单元2126的示例性配置的示图。
图22是示出不使用任何训练模型来确定可接受延迟量的处理程序的流程图。
图23是示出助听装置中的可变延迟NR的处理过程的流程图。
图24是示出使用训练模型进行估计的延迟量确定单元的示例性配置的示图。
图25是示出由延迟量确定单元2416执行的处理中的流程的流程图。
图26是示出延迟量确定单元2616的示例性配置的示图。
图27是示出延迟量确定单元2616执行的处理的流程的流程图。
图28是示出向用户建议更新延迟量的处理的实施例的流程图。
图29是示出在向助听装置的用户建议更新延迟量时使用的建议方法的实施例的示图。
图30是示出从助听装置的用户回答的方法的实施例的示图。
图31是示出在向助听装置的用户建议延迟量更新并且接收来自助听装置的用户的回答时使用的用户界面的实施例的示图。
图32是示出显示推荐范围的具体方法的示图。
图33是示出NR单元的示例性配置的示图。
图34为示出可变延迟缓冲器操作的实施例的示图;
图35是示出具有可变延迟NR函数的助听装置的第二示例性配置(第一实施方式)的示图。
图36是示出训练模型生成的另一个实施例的示图;
图37是示出相机3797布置在助听装置上的实施例的示图。
图38是示出训练模型生成的又一个实施例的示图。
图39是示出使用训练模型进行估计的延迟量确定单元的示例性配置的示图。
图40是示出由延迟量确定单元3916执行的处理中的流程的流程图。
图41是示出噪声消除机构的实施例的示图。
图42是示出具有噪声消除功能的助听装置的示例性配置的示图。
图43是示出在NR函数中添加NC函数时要实现的效果的实施例的示图。
图44是示出NC函数的效果小的实施例的示图。
图45是示出高音损失梯度听力图的实施例的曲线图。
图46是示出山形听力图的实施例的曲线图。
图47是示出预期噪声通过噪声消除处理被衰减的预期噪声衰减量的曲线图。
图48是示出水平听力图的实施例的示图。
图49是示出助听装置的输入/输出特性的实施例的曲线图。
图50是示出具有NC信号生成函数的助听装置的示例性配置(第二实施方式)的示图。
图51是示出训练模型生成的实施例的示图。
图52是示出当受试者(听力受损人员)提供NC特性信息作为回答时使用的用户界面的实施例的示图。
图53是示出在创建训练数据时的过程的流程图。
图54是示出在未生成任何训练模型的情况下的NC特性估计单元5431的示例性配置的示图。
图55以流程图的形式示出用于在NC特性估计单元5431中估计NC特性的处理过程。
图56是示出助听装置5001中的NC函数的处理步骤的流程图。
图57是示出使用训练模型来确定NC特性的NC特性确定单元的示例性配置的示图。
图58是示出不使用训练模型来估计NC特性的NC特性确定单元的示例性配置的示图。
图59是示出用于向用户建议更新NC特性曲线和NC强度的处理过程的流程图。
图60是示出当向用户建议更新NC强度和NC特性曲线并且获得来自用户的回答时使用的用户界面的实施例的示图。
图61是示出推荐范围6099的具体提示方法的图。
图62是示出其中进行常规听力敏锐度测量的实施例的示图。
图63是示出听觉敏锐度测量中噪声的影响的实施例的曲线图。
图64是示出当测量听力受损者的听力敏锐度时噪声的影响的实施例的示图。
图65是示出传统的另外的听力敏锐度测量的实施例的示图。
图66是示出在听力敏锐度测量时减少噪声的效果的实施例的曲线图。
图67是示出根据第三实施方式的听力敏锐度测量的实施例的示图。
图68是示出噪声衰减量的实施例的曲线图。
图69是示出噪声消除特性曲线根据听力敏锐度测量信号的频率改变的实施例的曲线图。
图70是示出使用用于听力测量的NC信号生成函数的助听装置的示例性配置的示图。
图71是示出训练模型生成的实施例的示图。
图72是示出在创建训练数据时的用户界面的实施例的示图。
图73是示出当受试者(听力受损人员)提供NC特性信息作为回答时使用的用户界面的实施例的示图。
图74是示出在创建训练数据时的过程的流程图。
图75是示出在未生成任何训练模型的情况下的NC特性估计单元7531的示例性配置的示图。
图76是示出在NC特性估计单元7531中估计NC特性的处理过程的流程图。
图77是示出助听装置7001中的NC函数的处理步骤的流程图。
图78是示出使用训练后的模型来确定NC特性的NC特性确定单元的示例性配置的示图。
图79是示出不使用训练模型来估计NC特性的NC特性确定单元的示例性配置的示图。
图80是示出当建议更新NC强度和NC特性曲线并接收回答时使用的用户界面的另一实施例的示图。
图81是示出呈现推荐范围并从助听装置的用户获得回答的用户界面的另一个实施例的示图。
图82是示出用于向用户建议改变声音环境的处理过程的流程图。
图83是示出其中可能影响听力敏锐度测量的噪声被通知给助听装置的用户的实施例的示图。
图84是示出听力敏锐度测量结果的显示实施例的曲线图。
图85是示出听力敏锐度测量结果的显示实施例的曲线图。
图86是示出听力敏锐度测量结果的显示实施例的曲线图。
图87是示出听力敏锐度测量结果的显示实施例的曲线图。
图88是示出听力敏锐度测量结果的显示实施例的曲线图。
图89是示出听力敏锐度测量结果的显示实施例的曲线图。
具体实施方式
下面参考附图描述本公开。
图1示意性地示出了助听装置的示例性配置。图中所示的助听装置101包括麦克风102和扬声器(也称为接收器)103。从麦克风102收集的声音在麦克风102中从声音转换成电信号,经受信号处理,并且然后在扬声器103中从电信号转换成声音。从扬声器103输出的声音被发射到耳道191中并且到达耳道后面的鼓膜。模数转换器(ADC)104将来自麦克风102的模拟信号转换成数字信号,并且将该数字信号发送到信号处理单元106。信号处理单元106执行诸如振幅特性和相位特性的调整以及增益调整的信号处理。数模转换器(DAC)105将数字信号转换成模拟信号,并且将模拟信号发送到扬声器103。在图1中,助听装置101具有覆盖耳道入口的形状,但可以具有耳孔型或耳钩型的形状。此外,助听装置101可以具有带有前瞻(外部声音捕获)功能的真实无线立体声(TWS)形状、耳机组的形状、关闭耳道的耳道型形状、或者没有完全关闭耳道的开耳型的形状。
图2示出了助听装置中的输入声压级与输出声压级之间的关系的实施例。输入声压级是指进入麦克风的声音的级别,并且输出声压级是指从扬声器输出的声音的级别。由附图标记280表示的增益曲线是相对于输入声压级的增益。在图2中示出的实施例中,输入声压级范围281通过增益曲线280转换成输出声压级范围282。例如,当输入声压级是40dBSPL(Sound Pressure Level)时,给出30dB的增益,并且输出声压级是70dB SPL。此外,当输入声压级是80dB SPL时,给出10dB的增益,并且输出声压级是90dB SPL。存在以下特征:感觉神经性听力丧失(诸如年龄相关的听力丧失)的人几乎不听到小的声音,但该人感到有噪声的声音的音量与正常听力人(具有正常听力的人)的音量不大不同(特征A1)。因此,存在用于低输入声压级给出大增益并且对于高输入声压级给出小增益的方法。该技术从2000年左右开始普及,在当前流行的助听装置中被采用。在图2中示出的实施例中,增益曲线280包括三个线段,但不限于此。存在诸如改变线段的数量或使用曲线的各种方法。
如上所述,助听装置具有增益根据输入声压级而改变的特征(特征B1)。
图3示出了听力受损者的听力阈值升高(劣化)的实施例。在图3中,横轴表示频率,纵轴表示声压级。听力阈值是指声音是否稍微被听到的阈值。由附图标记383表示的曲线表示正常听力人员的听力阈值,并且由附图标记384表示的曲线表示特定听力受损人员的听力阈值。附图标记385表示当与正常听力者的听力阈值383相比较时听力受损者的听力阈值384中出现的40dB的阈值增加。即,听力受损者的听力劣化40dB。此时,正常听力人员可以听到纯音386,但是具有听力阈值384的听力受损人员不能听到纯音386。过于响亮而不能承受的声音的强度被称为疼痛阈值,其约为130到140dB SPL。听力阈值和疼痛阈值之间的范围被称为听觉场,并且该范围是可以作为声音听到的范围。由于正常听力者与听力受损者的疼痛阈值相差不大,所以听力受损者的听觉场比正常听力者的听觉场窄,并且听力受损者能够听到的声音的强度范围窄。因此,听力障碍者具有特征A1,相反,助听装置具有特征B1。
图4示出听力受损者的听力图的实施例。听力图表示在每个频率处听力受损者的听力阈值与正常听力者的听力阈值相比已经劣化了多少。在图4中,横轴表示频率,纵轴表示听力水平,但是应注意,上侧和下侧与图3中的上侧和下侧相反。在图4所示的示例中,听力敏锐度在1000Hz下劣化15dB,并且听力敏锐度在4000Hz下劣化40dB。这通常表现为1000Hz的听力水平为15dB HL(听力水平),4000Hz的听力水平为40dB HL。助听器通常在每个频率下执行放大,以改善听力受损的人的听力敏锐度下降。存在确定放大时的增益的各种方法,并且听力水平的约1/3至1/2是粗略的标准。在图4所示的实施例中,如果相对于输入声压级60dB SPL的增益被确定为听力水平的一半,则在1000Hz的增益被确定为7.5dB,并且在4000Hz的增益被确定为20dB。
图5示出了助听装置中的输入声压级与输出声压级之间的关系的另一实施例(然而,在该图中,附图标记580表示增益曲线,并且通过增益曲线580将输入声压级范围581转换成输出声压级范围582)。在图4中示出的听力受损者的情况下,例如,在1000Hz处的增益曲线与在图5中由附图标记580表示的增益曲线相似。另一方面,在4000Hz处的增益曲线与在图2中由附图标记280表示的增益曲线相似。
如上所述,助听装置具有增益根据用户的听力敏锐度而改变的特征(特征B2)。
图6示出了在助听装置中的声音流和声音信号的实施例。例如,位置P1处的声音经由大致两个路径到达耳道691中的位置P2。第一路径为经过麦克风602的路径,第二路径为不经过麦克风602的路径。第二路径中的声音包括通过助听装置601的通气孔的声音、通过助听装置601和耳孔之间的间隙的声音、通过助听装置601的外壳的声音、通过听筒(也称为圆顶)的声音等。第一路径中的声音由麦克风602收集,并经由ADC604、信号处理单元606和DAC 605从扬声器603输出。此时,在ADC 604、信号处理单元606和DAC 605中发生延迟,并且因此,第一路中的声音与第二路径中的声音相比通常被延迟。
如上所述,助听装置具有:除了第一路径以外还存在第二路径的特征(特征B3);以及第一路径中的声音相对于第二路径中的声音延迟的特征(特征B4)。
助听装置的上述特征B1至B4引起助听装置的问题。首先,描述特征B4(第一路径中的声音延迟的特征)的影响。
图7示出了助听装置701的用户790在面向讲话者794时具有对话的实施例。在图中,从讲话者794向助听装置的用户790发送的声音是其他人的声音,用箭头表示。在助听装置701的延迟长的情况下,从助听装置的用户790的观点来看,经由助听装置701的讲话者794的嘴的移动和讲话者794的声音变得不同步。人类对这种异步是敏感的,并且感到不舒服。例如,在广播领域中,规定声音与视频图像的偏离的大小。根据推荐ITU-RBT。1359-1(1998),关于视频图像的声音延迟125毫秒或更长被感知,并且可接受的限制是185毫秒。在欧洲,EBU技术推荐R37-2007指定相对于视频图像的声音中的最长可接受延迟为60毫秒。在打击乐器的情况下,感知到60毫秒的延迟,并且还报告可接受限制是142毫秒。在广播的情况下,观看者/收听者专注于在屏幕上收听事件。然而,在如图7所示的对话的示例中,预期平滑的对话和手势的交换。可接受的声音延迟可能甚至更短。
图8示出了由讲话者发出的语音被发送到讲话者的耳朵的状态。在附图中,讲话者发出的语音(即,讲话者的语音)由从头部前侧的嘴部朝向耳朵延伸的箭头表示。人们认为,在说话时,不仅说话,而且在大脑中利用从耳朵听到的他/她自己的声音。延迟将由耳朵听到的发出语音称为延迟听觉反馈(DAF),且可致使说话者敲响。关于矮化的程度,在成人的情况下,约200毫秒的延迟被认为是最高的(见非专利文献1)。即使延迟短于200毫秒,用户也会发现难以说话。这种现象还发生在电话交谈、视频会议等中语音返回较晚的场景中。
接下来,描述特征B3(除了第一路径以外还存在第二路径的特征)的影响。
图9示出了前馈梳状滤波器的实施例。在附图中示出的梳状滤波器被设计成在包括延迟的第一路径中以放大率α放大输入信号x[n],在不包括延迟的第二路径中以放大率β放大输入信号x[n],并将它们混频以输出信号y[n]。此外,在图10中,在α=1和β=1时在图9中示出的梳状滤波器的振幅特性由实线表示。其中周期性地出现大的凹陷。当假设由实线表示延迟量(延迟)为1毫秒的情况时,第一次下降的频率是500Hz,第二次下降的频率是1500Hz。延迟量越大,下降之间的间隔越窄。例如,在图10中的虚线表示延迟量是由实线表示的情况的延迟量的两倍大的情况。当延迟量为约1毫秒至25毫秒时,可能感受到来自输出信号y[n]的声音的音调变化,并且输出信号y[n]的声音可被感受为金属声音。当延迟变长时,逐渐难以感受到音调的变化,相反,变得容易感受到回声。感受回声的容易性取决于声源。容易注意到来自打击乐器的声音等声音。图9中的第一路径对应于图6中的第一路径,并且图9中的第二路径对应于图6中的第二路径。
当图6中的位置P1处的声音到达位置P2时,第一路径中存在延迟。因此,第一路径中的声音在第二路径中的声音到达之后延迟到达。根据延迟量的大小,感受到回声。回声妨碍收听语言。由于助听装置的主要目的是提高语言的听力敏锐度,回声的产生是待解决的问题。例如,在正常听力的人的情况下,该人开始感受到另一人的语音中的平均7.1毫秒(标准偏差为2.5毫秒)的回声,和该人自己的语音中的平均4.8毫秒(标准偏差为1.6毫秒)的回声。同时,在听力受损者的情况下,那些平均值变得稍微更长,并且人在另一人的语音中的平均值8.9毫秒(标准偏差3.8毫秒)内以及人自己的语音中的平均值6.3毫秒(标准偏差2.6毫秒)内开始感受到回声。如图7所示,另一个人的语音是收听除了自己之外的人的语音的情况,并且如图8所示,个人自己的语音是收听他/她自己的语音的情况。
在图9中所示的梳状滤波器中,例如,假设α=100,并且β=0.5。这是在图6中第一路径中的声音强度比第二路径中的声音强度高得多的情况(声压比高)。在助听装置中,这是放大的增益大的情况。在这种情况下,特征B3(除了第一路径以外还存在第二路径的特征)的影响小,特征B4(第一路径中的声音延迟的特征)的影响占主导。即,目的是防止由于视觉信息和听觉信息之间的时间差引起的不舒服的感觉和通信的困难,并且防止由于延迟的听觉反馈引起的讲话的困难。例如,根据广播标准,第一路径中的延迟量被接受达60毫秒。
而且,在图9中所示的梳状滤波器中,例如,假设α=1并且β=0.5。这是在图6中第一路径中的声音强度与第二路径中的声音强度相差不大(声压比低)的情况。在助听装置中,这是放大的增益非常小的情况。在这种情况下,除了特征B4的影响(第一路径中的声音延迟的特征)之外,特征B3的影响(除了第一路径以外还存在第二路径的特征)也大。即,防止阻碍收听语言的回声被添加到目标。第一路径中的延迟量被接受,例如高达六毫秒。
如上所述,在助听装置中的信号处理中所接受的延迟量根据第一路径与第二路径的声压比的大小而变化。该声压比受到特征B1和特征B2的影响。例如,由于特征B1(增益根据输入声压级而改变的特征),当输入声压级低时声压比升高,当输入声压级高时声压比降低。在图2中示出的实施例中,具有90dB SPL的增益是5dB,并且即使在听力水平不低的情况下声压比也低。由于特征B2(增益根据用户的听力敏锐度改变的特征),当听力敏锐度接近正常听力人的听力敏锐度时,即,当听力水平低时,声压比低。在图4和图5中所示的实施例中,当听力水平是15dB HL时,声压比低,而不管输入声压级的大小如何。这里,虽然将声压比用作表达式,但是声压比和声压级差是相同的类型,并且可以使用任一表达式。
同时,助听装置的主要功能是根据听力受损者的听力敏锐度放大声音。利用这个功能,在静默环境中谈话的情况下,听力受损者的听力敏锐度得到改善。在诸如餐馆或者购物中心的噪声环境的情况下,环境中的噪声与语音一起被放大。通常,与正常的听力人士相比,许多听力受损的人具有他们在听噪声中的词语方面有麻烦的特征(特征A2)。认为这在很大程度上是由于耳蜗后功能(耳蜗后面的所有听觉传导路径)的劣化。鉴于这种背景,许多当前流行的助听装置具有降噪(NR)功能。NR函数是减少包括在从麦克风收集的声音信号中的噪声的功能,并且通过信号处理去除包括在输入声音信号中的噪声分量来实现。作为NR处理的结果,改善了声音的信噪比(SNR),并且减少了听话中的麻烦。
图11示出了NR函数的效果的实施例。图11中的位置P1和位置P2分别对应于图6中的位置P1和位置P2。而且,图11中的第一路径和第二路径分别对应于图6中的第一路径和第二路径。
由附图标记1170表示的声谱图指示位置P1处的声音。这个频谱图1170包括声频谱1174和噪声1175。声谱的峰值1174与噪声的峰值1175之间的差被定义为差d1。差dl越大,SNR越好。频谱图1170中的差d1较小,声音稍微大于噪声,并且听力受损的人在听力方面有麻烦。
附图标记1172表示通过第二路径到达位置P2的声音的声谱图。频谱图1172的形状受助听装置的外壳、听筒等的影响,但是,为了便于解释,在本文中忽略那些部件的影响。频谱图1172几乎等于频谱图1170。
同时,在第一路径中,由附图标记1107表示的NR函数与由附图标记1177表示的放大一起作用。在信号处理单元中执行放大和NR处理。附图标记1171表示通过第一路径到达位置P2的声音的声谱图。利用NR函数,频谱图1170中的差d1像频谱图1171中的差dNR一样扩展,并且因此,SNR提高。
声谱图1172和声谱图1171在位置P2处彼此混合。附图标记1173表示位置P2处的声音的频谱图。频谱图1173中的差d2_1接近差dNR。可以确认,与位置P1的SNR相比,位置P2的SNR大大提高。即,d1<<d2_1。
图12示出了NR函数的效果小的实施例。图12中的位置P1和位置P2分别对应于图6中的位置P1和位置P2。而且,图12中的第一路径和第二路径分别对应于图6中的第一路径和第二路径。
频谱图1270指示位置P1处的声音,并且包括声音频谱1274和噪声1275。声谱1270中的声谱1274的峰值和噪声1275的峰值之间的差dl较小,声音稍微大于噪声,并且听力受损的人在听力方面有困难。
附图标记1272表示通过第二路径到达位置P2的声音的声谱图。同时,在第一路径中,使NR函数如附图标记1207所示起作用,但是如附图标记1277所示不执行放大(增益:0dB)。附图标记1271表示通过第一路径到达位置P2的声音的声谱图。
频谱图1272和频谱图1271在位置P2处彼此混合,并且在位置P2处的声音变成由频谱图1273指示的声音。利用NR函数,频谱图1270中的差d1像频谱图1271中的差dNR一样扩展,并且因此,SNR提高。然而,谱图1273中的差d2_2接近差d1。能够确认位置P2处的SNR仅稍微改善。即,d1≈d2_2。
从频谱图的纵坐标轴指示dB的事实中还理解在位置P2处的SNR在图11中示出的实施例中大大改善但是在图12中示出的实施例中仅仅稍微改善的原因。这是因为当以dB表示的两个声音被添加时,大的声音是主导的。如上所述,在第一路径的增益较大的情况下,通过使用NR函数,位置P2的SNR大幅提高,能够减少助听装置的用户的听力障碍。另一方面,在第一路径的增益较小的情况下,即使利用NR函数,位置P2的SNR也稍微提高,助听装置的用户的听力障碍也稍微降低。
如上所述,为了提高位置P2的SNR,NR函数的效果依赖于助听装置的放大率的大小。进一步地,如从图2和图5中示出的实施例可以看出,放大增益的振幅取决于助听装置的用户的听力敏锐度和至助听装置的输入声压。
声音信号的NR技术有多种。在此,虽未详细说明,但例如有效地作用于静止噪声的谱减法技术(例如参照专利文献2),大多使用谱减法技术。在助听装置中使用NR技术的情况下,虽然是实时处理是基本的处理,但是为了实现较高的噪声降低性,通常需要较大的延迟量。因此,延迟量可接受的程度是非常重要的因素。如果在延迟量没有任何增加的情况下降低静止噪声,则副作用将变得更大,并且相反地,听力敏锐度将劣化。例如,通过谱减法技术,在通过估计在不增加延迟量的情况下要减去的大噪声谱来减少较大量的静态噪声的情况下,将产生大量的音乐噪声作为副作用,或者甚至将声音中的必要音素作为副作用,并且将会更加干扰听力。为了在不对听觉造成不利影响的情况下更大量地降低噪声,采用NR技术同时接受大的延迟量是有效的。
除了上述之外,存在有效接受大延迟量的实施例。当助听装置以与用于声音的方式相同的方式放大突然响亮的声音(突然的声音)(诸如突然关门的声音)时,助听装置的用户被突然强烈的声音惊讶。存在具有感觉神经听觉损失(诸如年龄相关的听觉损失)的人几乎不听到小声音的特征A1,但该人感到有噪声的声音的音量与正常听觉人的音量相差不大。因此,对于助听装置的使用者来说,突然的声音比对于正常听力人士来说更令人不愉快。如图2所示,助听装置操作为向响亮的声音施加小的增益,但对突然的声音仅具有有限的影响。这是因为在这个过程中存在时间常数,并且该时间常数是为了减少听话中的麻烦的第一目的。减少突然的声音的功能也安装在许多当前流行的助听装置上。原则上,突然的声音降低功能监视从麦克风输入的声音的电平,并且当声音电平突然升高时,执行降低增益的处理。然而,如果以小延迟量执行该操作,则存在不及时执行减小增益的处理的可能性。如果追踪时间被设置为短以便及时执行增益减小处理,则将发生声音波动作为副作用。通常,需要较大的延迟量以稳定且更可靠地减少突然的声音。因此,延迟量可接受的程度是关键因素。
如上所述,为了减少回声等,第一路径中的延迟量优选地较小。然而,为了减少噪声和突发声音,第一路径中的延迟量优选地较大。在常规的助听装置中,延迟量通常固定为对于每个助听装置制造商认为是最佳的量。具体地,10-12毫秒或更短的延迟是粗略的标准。然而,通过考虑特征B1至B4,清楚的是,使延迟量可变使得助听装置对于助听装置的用户更满意。
例如,在听力水平为40dB HL的听力受损者的情况下,在50dB SPL声音环境中,放大的增益大,并且第二路径中的声音的影响相对较小。因而,回声几乎没有影响。在噪声比声音大的环境下,即使延迟量增加,在NR函数发挥较强的作用的情况下,也能够提高满意感。相反,即使在听力水平为40dB HL的听力受损者的情况下,在80dB SPL声音环境中,放大的增益较小,第二路径中的声音的影响相对较大,并且回声具有影响。即使NR效果减弱,也可以通过减少延迟量来增强满意感。
图13示出了助听装置的另一示例性配置。在图13中示出的助听装置1301具有其中声源存储/再现单元1312和外部接口1313被进一步添加到在图1中示出的助听装置的配置。声源存储/再现单元1312再现预先存储在内部存储器(例如音频播放器)中的声源。信号处理单元1306根据需要根据听力损失执行信号处理,并且扬声器1303将信号转换成声音。声源也可以像现有的助听装置那样包含表示电池余量低的消息等。例如,外部接口1313无线地连接至电视机等,并且从电视机等接收声音。信号处理单元1306根据需要根据听力损失执行信号处理,并且扬声器1303将信号转换成声音。当通过扬声器1303从声源再现单元1312或外部接口1313输出声音信号时,除了声音信号之外,是否输出由麦克风1302收集的声音取决于助听装置的用户的意图。例如,在准备讲话时,由麦克风1302收集的声音信号能够叠加在来自电视机等的声音信号上。例如,在用户希望集中于电视机等的情况下,可以停止叠加由麦克风1302收集的声音信号。在后一种情况下,不产生回声。
如图13所示,助听装置具有特征(特征B5),所需功能的优先级根据使用场景而变化。因为助听装置的主要目的是提高语言的听力敏锐度,所以助听装置由于特征B2(增益根据用户的听力敏锐度改变的特征)而具有根据用户的听力敏锐度的增益设置。如图2所示,由于特征B1(增益根据输入声压级改变的特征),许多当前可用的助听装置根据输入声压控制增益。不具有NR函数的助听装置例如在听力损失轻微或中等的人在家等安静环境中享受与家人的谈话的使用场景中是有用的。另一方面,在具有噪声的环境中,例如,如在餐馆、超市、酒馆等中对话与噪声混合的使用场景,需要NR函数以减少听力中的麻烦。
存在虽然噪声大但对话的优先级别不是很高的使用场景。在用于通勤的火车、公共汽车等中,仅需要听到车载通知,并且不经常进行对话。在这种情况下,NR函数的效果优选地更大,即使延迟变得稍微更长。
存在不依赖于位置的使用场景。例如,在电话呼叫的情况下,另一方不在眼前,并且因此,不需要担心嘴部运动和声音之间的时间差。电话呼叫首先具有较长的延迟。国际电话连接和线路的ITU-T建议G.114(05/2003)指出小于150毫秒的延迟对于大多数语音应用来说在可接受的范围内,并且建议延迟最长不应超过400毫秒。即使像在站平台上进行电话呼叫期间的延迟那样延迟稍长,也期望NR函数正常工作。然而,在电话和助听装置执行无线通信的情况下,不需要针对从麦克风收集的声音的NR函数,并且可能需要针对电话语音的NR函数。
还存在语义使用场景。例如,在欣赏电影内容的情况下,包含在电影中的噪声在增强电影的现实感方面是重要的,并且如果噪声降低太多,则降低电影的欣赏。另一方面,听到对话也是重要的。可以想到,NR函数被均匀地削弱,或NR效应仅在具有对话的部分中被增强。
如上所述,必要功能的优先级随着使用场景而改变。因此,根据使用场景适当地改变第一路径中的延迟量以提高助听装置的用户的满意度是非常重要的。
现在概述以上方面。听力受损的人具有两个特征A1和A2。
特征A1:听力受损的人几乎听不到小声音,但感觉有噪声的声音的音量与正常听力人的音量相差不大
特征A2:听力受损者与正常听力者相比,在噪声中的听力词语方面有问题的特征
同时,助听装置具有五个特征B1至B5。
特征B1:增益根据输入声压级而改变的特征
特征B2:增益根据用户的听力敏锐度改变的特征
特征B3:除了第一路径以外还存在第二路径的特征
特征B4:第一路径中的声音被延迟的特征
特征B5:必要功能的优先级随着使用场景变化的特征
由于特征B1至B4,出现由于视觉信息与听觉信息之间的时间差引起的不舒服的感觉、由于延迟的听觉反馈引起的歪斜、以及由于回声引起的听力困难。因此,需要缩短延迟。另一方面,由于特征A1和A2,需要接受大的延迟量,以使NR函数和突然的声音降低功能有效地起作用,以减少听力中的麻烦。通过根据周围声音的响度、增益曲线、第一路径与第二路径的声压比等适当地改变延迟量,能够提高助听装置的用户的满意度。另外,与特征B5同样地,通过在延迟量控制时考虑使用场景,能够更精细地满足助听装置的用户的需要。鉴于此,在本发明的第一实施方式中,控制第一路径中的延迟量,以提高助听装置的用户的满意度。
此外,由于特征B1至B3,即使使用NR函数,当第一路径中的放大增益小时,位置P2处的SNR的改进也小。在这种情况下,从特征A1、A2的观点出发,也需要减轻助听装置的使用者的听力障碍。因此,在本公开的第二实施方式中,使用噪声消除(NC)功能。通过执行NC函数的自动设置、自动开/关切换、自动强度切换、自动特性改变、用户界面上的推荐设置的呈现等,可以节省对于助听装置重要的电力,同时,可以减少助听装置的用户的听力困扰。
而且,由于特征B2,助听装置需要掌握用户的听力敏锐度。现在用助听装置代替传统的专用听力测量仪器来测量听力敏锐度。然而,在诸如隔音室的安静环境中测量听力敏锐度。这是因为助听装置的特征B3。在噪声环境中,噪声掩盖了检查声音,并且阻碍了精确测量。为了提高助听装置的用户的满意度,本公开的第三实施方式即使在具有一些噪声的环境中也能够实现听力敏锐度测量。
注意,在本说明书中,NR函数是通过信号处理去除输入声音信号中的噪声成分的处理(换言之,降低声音信号中的噪声)实现的功能,而NC函数是通过在期望信号上叠加相位与噪声成分以相同振幅反转的NC信号,利用声音输出之后的NC信号消除空间中的噪声的函数。需要说明的是,NR函数和NC函数是完全不同的函数。利用NR函数,输出去除了噪声的信号,因此,即使存在延迟,NR效果也得以维持。另一方面,利用NC函数,当延迟较长时,由于噪声和NC信号之间的时间差,噪声不能被消除,因此,NC效果丧失。同时,耳机可以屏蔽高频段的噪声,因此,NC函数主要用于消除1KHz或更低的不能被屏蔽的噪声。
[第一实施方式]
在本发明的第一实施方式中,第一路径中的延迟量被控制,以增强助听装置的用户的满意度。
图14示出了根据第一实施方式的具有可变延迟NR函数的助听装置1401的示例性配置。在图14中,麦克风1402、ADC 1404、DAC 1405、以及扬声器1403从左到右逐行示出,但是配置与在图13中示出的助听装置1301的配置相似。从麦克风1402收集的声音在麦克风1402中从声音转换成电信号。ADC 1404将来自麦克风1402的模拟信号转换成数字信号。NR单元1407降低声音信号中的噪声。NR单元1407在控制单元1411的控制下,但是将在后面详细描述。振幅/相位调整单元1409在NR处理之后调整声音信号的振幅、相位等。通过控制单元1411使用听力敏锐度信息存储单元1415和待输入至振幅/相位调整单元1409的声音信号执行振幅/相位调整单元1409的设置。具体地,控制单元1411根据如图2和图5所示的增益曲线来设置每个频率处的增益。存储在听力敏锐度信息存储单元1415中的听力敏锐度信息可以是如图2和图5所示的增益曲线,或者可以是如图4所示的听力敏锐度测量结果。在听力测量结果情况下,还包括用于从听力测量结果获得增益曲线的处理。DAC 1405将数字信号转换成模拟信号。扬声器1403将电信号转换成声音。从扬声器1403输出的声音的延迟量以与可变延迟NR函数中的延迟量的变化相同的方式变化。
声源存储/再现单元1412再现所存储的声源。声源可以是电池剩余电池电量下降时间的语音消息、节目切换时间的语音消息、听力敏锐度测量的声源等,如在传统的助听装置中。或者,也可以像音频播放器那样存储音乐源。
外部接口1413负责声音信号的发送和接收以及其他数据的发送和接收。例如,在具有左部和右部彼此独立的形状的助听装置1401中,外部接口1413可以用于将从麦克风收集的声音信号传输至相对耳朵。例如,当通过无线连接观看电视时,外部接口1413可以用于电视的声音信号的传输、指示与电视的连接的连接信息等。存储在声源存储/再现单元1412、配置信息存储单元1414、和听力敏锐度信息存储单元1415中的数据也可以经由外部接口1413被接收。存储在训练模型存储单元1417中的数据也可以经由外部接口1413来接收。外部接口1413还可用于从助听装置1401向助听装置1401的用户的信息传输,以及用于从助听装置1401的用户的信息接收。
配置信息存储单元1414存储关于助听装置1401的配置信息。例如,关于助听装置1401的配置信息包括指示佩戴方法(例如,单耳佩戴或双耳佩戴)和耳孔类型或耳钩类型的信息,以及关于助听装置1401的外壳的特性(例如,听筒(圆顶)的类型和耳孔类型或耳钩类型的形状)的信息。例如,当装置正在检测用户语音的发射时,是单声道佩戴还是双声道佩戴产生差异。听筒的类型的差异极大地影响在图13中示出的第二路径中的声音(其是不能被听筒屏蔽的声音)的特性。
听力敏锐度信息存储单元1415存储关于助听装置1401的个人用户的听力敏锐度信息。例如,听力敏锐度信息是关于听力敏锐度测量的结果的信息、从结果信息计算的增益信息等。至于增益信息,例如,可以使用图2中示出的增益曲线280。
延迟量确定单元1416基于听力敏锐度信息、输入声音信息和配置信息确定在NR单元1407、振幅/相位调整单元1409等中的信号处理中接受的延迟量。例如,延迟量确定单元1416可以使用之前已经训练的训练模型来确定可接受延迟量,听力敏锐度信息、输入声音信息和配置信息是解释变量,可接受延迟量信息是目标变量。
训练模型存储单元1417保持延迟量确定单元1416确定允许延迟量时使用的训练模型信息。训练模型信息可经由外部接口1413获取,并存储到训练模型存储单元1417中。或者,也可以将由助听装置1401重新训练的训练模型存储到训练模型存储单元1417中。
图15示出本实施方式中采用的训练模型生成的实施例。该训练模型1501在延迟量确定单元1416中使用,接收听力敏锐度信息、输入声音信息和配置信息作为输入,并且估计和输出可接受的延迟量信息。换言之,训练模型1501使用听力敏锐度信息、输入声音信息和配置信息作为解释变量,并且使用可接受的延迟量信息作为目标变量。尽管图15示出了作为输入节点的数量为三个、输出节点的数量为一个以及中间层的数量为两个的神经网络的训练模型,但是本实施方式不限于此。训练模型1501可以由独立于助听装置1401的服务器或个人计算机生成。生成的训练模型1501可以经由图14中示出的助听装置的外部接口1413传输至助听装置1401。应注意,训练模型1501可在助听装置1401侧生成(该训练模型是所谓的边缘AI)。下面说明训练模型1501的各说明变量和目的变量。
作为听力敏锐度信息,可以使用关于纯音听力敏锐度测量的测量结果信息。在本说明书中,纯音听力敏度测量和纯音听力测定测试彼此不区分。纯音听力敏度测量可以是空气传导听力敏度测量或骨传导听力敏度测量中的至少一者。图4中示出的示例听力图是空气传导听力敏锐度测量的测量结果的示例。代替关于纯音听力敏锐度测量的测量结果信息,可以使用基于测量结果信息通过使用预定公式获得的增益信息。增益信息意味着图2中所示的增益曲线280等。作为预定公式,可以使用National Acoustic Laboratories non-linear 2(NAL-NL2)或期望的感测水平版本5(DSLv5),这两者都广泛用于传统的助听器中。预定公式不限于此。相反,可以使用任何适当的公式,并且仅需要根据听力敏锐度确定增益。
除了纯音听力敏锐度测量结果之外,听力敏锐度信息可以是自记录测听测试的测量结果(其中,对象按压按钮,以改变声音的响度,并且以改变的响度记录声音)。简言之,可以使用用于测量每个频率处的听力阈值的阈值测量的任何结果。
除了阈值测量之外,可以添加基于阈值的语音听力敏锐度测量结果。例如,可以使用语音辨别得分或语音识别得分。语音辨别得分是语音辨别测量的结果。包括语音辨别测试的语音听力测定测试呈现在ISO 8253-3中。在日本,参考ISO 8253-3(1998),日本审计协会提出了指南“语音审计计量2003”。其中正常语音听力敏锐度测量中的语音声音失真的测量被称为失真语音听力敏锐度测量。可使用从使用失真语音声音的语音辨别测量获得的语音辨别得分。众所周知,在耳蜗后听力损失的情况下,语音辨别得分或者尤其是失真的语音辨别得分往往较低。此外,还广泛地知道,在耳蜗后听力丧失的情况下,在噪声中的听力词语中存在有困难的强烈趋势。鉴于此,语音辨别得分可以用作确定NR的强度的可靠参考数据,NR的强度是NR中的延迟量。语音辨别得分是0%至100%的数值。在本说明书中,语音辨别测量和语音辨别测试没有彼此区分,并且语音听力敏锐度测量和语音听力测量测试没有彼此区分。在本文中,语音辨别得分已经被描述为用于测量在噪声中听到语言时有问题的趋势的装置。简而言之,可以使用噪声中的听取词的麻烦程度的测量的任何结果。
现在描述听力敏锐度信息的训练数据的范围。如在图2中示出的听力图中,纯音听力敏锐度测量中的测量值的范围是-20dB HL至120dB HL。对于所有输入声级,增益在最宽处被估计为在0dB到80dB的范围内。这些范围可以直接用作训练数据范围。即,例如,纯音听力敏锐度测量中的测量值可以是-20dB HL至120dB HL。另一方面,例如,即使在纯音听力敏锐度测量中的测量值的范围中,在考虑助听装置中的使用的情况下,没有低于0dB HL的有用信息。当平均听力水平为90dB HL以上时,助听装置的助听效果小,并且被认为是应用于耳蜗植入的水平。考虑到这些方面,例如,要设置的有效训练数据范围是0dB HL至90dB HL,或者0dB HL至80dB HL。范围之外的值可以舍入到边界值。
至于输入的声音信息,可以使用从助听装置1401的麦克风1402收集的声音信号。代替声音信号,可以使用转换成声压级的电平值等。进一步,输入声音信息可呈振幅谱或功率谱的形式。在诸如振幅谱或功率谱的频域中的信号的情况下,需要从时域信号到频域信号的转换。对于该转换,例如可以使用快速傅里叶变换(FFT)。在助听装置1401中,如在图14中示出的振幅/相位调整单元1409中,通常在频域中执行适合于听力敏锐度的信号处理。因此,将准备训练数据时的FFT大小调整为使用训练模型进行估计的助听装置中的其他处理的FFT大小,对于减少助听装置1401中的处理量和功耗是有用的。
至于输入的声音信息,在助听装置1401用于双耳的情况下,从右和左麦克风1402收集的声音是不同的。在所述配置中,来自右和左麦克风1402的声音可彼此独立地处理,或可共同地处理。在助听装置1401具有彼此独立的右和左壳体的情况下,所收集的声音经由外部接口1413无线发送至相对耳朵。在这种情况下,声音信号具有大量数据,并且需要大量电力来传输。为了减少数据量,可在时间方向上执行抽取。为了减少数据量,从声音信号提取的特征量可在配置中被发送。例如,可以使用电平值、零交叉、音调、频谱滚降、Bark标度的功率值等作为特征量。
现在描述输入声音信息的训练数据的范围。通常,在环境中接收的声音的响度的范围被估计为在最宽处的0dB SPL至140dB SPL。另一方面,考虑到助听装置1401中的使用,更窄的范围是实用的。例如,树叶彼此接触的声音是20dB SPL,并且在列车穿过的防护装置下的声音是100dB SPL。助听装置的主要目的是增强语言的听觉敏锐度,并且待设置的输入声音水平的有效范围为20dB SPL至110dB SPL,或30dB SPL至100dB SPL。范围之外的值可以舍入到边界值。
听力敏锐度信息的训练数据范围和输入声音信息的训练数据范围可以在数据设置的阶段被限制,或者可以被限制为在训练训练模型1501之前的预处理。在将声音信号的特征量用于输入声音信息的情况下,输入声音信息可在数据设置的阶段被转换为特征量,或者可被转换为特征量作为训练训练模型之前的预处理。
虽然在训练训练模型1501时可以使用任何适当的训练数据,但是通常有用的是将训练数据归一化以增强识别性能并且加速训练。将听力敏锐度信息的训练数据和输入声音信息的训练数据两者归一化是有效的。在这种情况下,例如,上述训练数据范围被归一化为0.0至1.0的范围。训练数据范围可以在训练数据集的阶段被归一化,或者可以在训练训练模型1501之前被归一化为预处理。
配置信息包括关于听筒的类型、佩戴方法、助听装置的外壳的特性等的信息(如上所述),并且是用于检测助听装置1401的用户的发言的重要信息。例如,在双耳佩戴型的情况下,当助听装置1401的用户发出声音时,他/她的声音几乎同时以几乎相同的振幅和几乎相同的音调在两耳到达助听装置1401。从这些条信息可以容易地检测发言的时序。在单耳佩戴类型的情况下,可以使用助听装置1401中的一个耳朵上的波束形成检测来自助听装置1401的用户的嘴巴方向的语音,并且可以使用诸如语音的强度和音调的特性。在双耳佩戴类型的情况下,与单耳佩戴类型的情况相比,可更可靠地检测用户语音的发射。配置信息包括关于助听装置1401的听筒的类型、佩戴方法、助听装置的外壳的特性等的信息(如上所述)。听筒(圆顶)的类型的实施例包括在常规助听器中经常使用的开放圆顶类型、封闭圆顶类型、双圆顶类型、郁金香状听筒(圆顶)、模具等。可以包括通常用于常规助听器的调整的诸如真实耳到耦合器差(RECD)的信息。例如,图13中的第二路径中的声音的强度和音调受听筒的类型的影响。当考虑第一路径中的声音和第二路径中的声音之间的比较时,第二路径中的声音的预测是重要的,并且听筒和RECD的类型在该预测中是有用的。
在一些情况下,可以排除配置信息。例如,在双耳佩戴的前提下,存在听筒仅具有一种类型的声学特性作为产品配置的情况。有时在TWS等中使用助听功能。
可接受的延迟量信息可以是延迟时间或延迟采样的数目。在图13中,该可接受的延迟量信息表示在助听装置1401的用户的可接受范围内,第一路径与第二路径相比可以延迟多久。更具体地,NR单元1407的延迟量被确定成使得整个第一路径中的延迟量落入可接受范围内。例如,如果在整个第一路径中可接受的延迟范围是六毫秒,并且在除了NR函数之外的部分中出现四毫秒的延迟,则NR函数的延迟的上限简单地是两毫秒。
作为训练模型1501的训练数据,可接受延迟量可以是整个第一路径中的可接受延迟量DLY_ALL_MAX、或限制为NR函数的可接受延迟量DLY_NR_MAX。为了准备在训练后的模型1501训练之后NR函数的延迟量以外的延迟量改变的可能性,因此,训练数据的可接受延迟量优选为整个第一路径中的可接受延迟量DLY_ALL_MAX。在以下描述中,训练数据的可接受延迟量主要被描述为整个第一路径中的可接受延迟量DLY_ALL_MAX,但不限于此。通过从整个第一路径中的估计的可接受延迟量DLY_ALL_MAX中减去NR函数的延迟量以外的延迟量DLY_OTHER,可以容易地计算NR函数的可接受延迟量DLY_NR_MAX。即,可以如以下表达式(1)计算NR函数的可接受延迟量DLY_NR_MAX。
[数学式1]
DLY_NR_MAX=DLY_ALL_MAX-DLY_OTHER+α…(1)
应注意,在以上表达式(1)中,α是非负数值,并且当NR单元的延迟量和其他处理中的延迟量完全排除时,α=0。在NR单元的处理与其他处理之间存在共用缓冲器等的情况下,可满足α>0。在此,α依赖于助听装置1401的缓冲结构。
图16示出在创建训练数据时的用户界面的实施例。听力敏锐度信息和配置信息被显示在便携式信息装置1664上。在该示例中,听力敏锐度信息是听力图。听力图可以是从听力测量仪器(未示出)传送数据的形式或者由便携式信息装置1664的用户手动输入数据的形式。在这个实施例中,配置信息是选择使用的听筒的类型、选择使用的耳模、以及选择要使用的右或左助听装置。当设置完成时,设置信息被发送到助听装置1601,并且右和左助听装置1601A和1601B根据设置来操作。助听装置1601A被示出为具有接近于常规的导管(RIC)型助听器的形状的装置,并且助听装置1601B被示出为具有接近于常规的TWS的形状的装置。然而,本实施方式不限于此。便携式信息装置1664和助听装置1601A和1601B之间的连接可以是无线的或者有线的。
图17示出了当受试者(听力受损人员)给出可接受的延迟量作为回答时使用的用户界面的实施例。便携式信息装置1764具有滑杆1767或单选按钮1769作为用于调整延迟量的用户界面。例如,当受试者变更滑动杆1767时,助听装置的延迟量相应地变化。例如,在单选按钮1769中,2毫秒等的延迟量被分配给No.1,50毫秒等的延迟量被分配给No.9。在受试者的周围再现被假设为输入声音信息的声音环境。在该声音环境中,对象用滑杆1767或单选按钮1769指定最大可接受延迟量,并按下确定按钮1765以输入延迟量。以这种方式,将听力敏锐度信息、输入声音信息、配置信息和可接受的延迟量信息添加到训练数据集。注意,上述用户界面不限于滑动条1767和单选按钮1769,并且可以某种其他方式调整延迟量。
图18以流程图的形式示出在创建训练数据时的过程。首先,对助听装置和声音环境再现系统(未示出)进行基于输入信息的设置(步骤S1801)。声音环境再现系统再现声音环境,诸如安静的房间、医院、购物中心、餐馆等。在该配置中,例如,可在受试者周围布置5.1声道扬声器。例如,对话伙伴可位于受试者的前面。接下来,对象使用如图17所示的用户界面指定延迟量(步骤S1802)。接着,根据受试者指定的延迟量来操作助听装置(步骤S1803)。接下来,例如,进行检查以确定是否已经按压在图17中示出的用户界面的OK按钮1765(步骤S1804)。即,进行检查以确定对象是否已经确定可接受的延迟量。如果没有按下OK按钮(步骤S1804中为否),则处理返回到步骤S1802,并且重复延迟量的指定和具有延迟量的操作。在重复时,如果在步骤S1802中没有来自对象的新指定,则可以保持和使用先前的设置而没有任何改变。如果按下了确定按钮(步骤S1804:是),则在该时间点指定的延迟量被作为可接受的延迟量信息添加到训练数据集(步骤S1805)。
图17和图18示出了其中对象指定可能的延迟量的实施例,但是本实施方式不限于此。例如,可将自动改变的延迟量呈现给对象,并且对象可每次回答延迟量是否可接受。在替代模式中,例如,可将具有不同延迟量的两种设置呈现给对象,并且对象可回答哪一种可接受。简言之,仅需要获得关于受试者可接受多少延迟量的回答。
图19示出了生成在延迟量确定单元1416中使用的训练模型的另一个实施例。使用听力敏锐度信息、输入声音信息和配置信息,并且输出可接受的延迟量信息。与在图15中示出的生成实施例的不同之处在于,为每条配置信息生成训练模型。例如,在配置信息A的条件下生成训练模型A1940,在配置信息B的条件下生成训练模型B1941,在配置信息C的条件下生成训练模型C1942。例如,配置信息A用于单声道佩戴和开放圆顶,并且配置信息B用于双声道佩戴和封闭圆顶。在配置信息元素的组合的数量较少的情况下,还可以采用这样的方法:按每条配置信息生成训练模型,并且在估计阶段中基于配置信息选择训练模型。尽管图19示出了在三种相应种类的配置信息A至C的条件下生成三种训练模型A至C的实施例,但助听装置可被分类为四种或更多种配置信息,并且可生成四种或更多种训练模型。在图15中示出的生成的实施例和在图19中示出的生成的实施例在使用听力敏锐度信息、输入声音信息和配置信息以及输出可接受的延迟量信息方面是相同的。
图20示出了生成在延迟量确定单元1416中使用的训练模型的又一个实施例。在附图中示出的生成的实施例中,输入听力敏锐度信息、输入声音信息和配置信息,并且输出可接受的延迟量信息。与图15中所示的生成实施例的不同之处在于,用第一训练模型2040和第二训练模型2041形成训练模型,并且将第二训练模型2041的输出用作第一训练模型2040的输入。由于用户语音的存在或不存在的检测与听力损失的存在或不存在无关,所以可以与正常听力人员(听力良好的人员)协作容易地准备大量训练数据。首先,使用输入声音信息和配置信息产生用于检测用户语音的存在或不存在的第二训练模型2041。接下来,当生成第一训练模型2040时,使用第二训练模型2041的估计结果。即,除了听力敏锐度信息、输入声音信息和配置信息之外,关于用户语音的存在/不存在信息被输入到第一训练模型2040,并且可接受的延迟量信息被输出。利用这种配置,可预期用户语音的高度精确检测,因此,可预期提高通过第一训练模型2040进行的可接受延迟量信息估计的精确度。
训练数据包括听力敏锐度信息、输入声音信息、配置信息和可接受的延迟量信息。用于获取训练数据的受试者需要是听力受损的人。由于许多听力受损的人是老年人,所以存在难以长时间工作的问题。因此,为了有效地构建训练数据集,通过将训练模型分成需要依赖于听力受损人员的部分(可替代地,需要听力受损人员的协作的部分)和不需要依赖于听力受损人员的部分(可替代地,不需要任何听力受损人员的协作的部分)来生成训练模型是有用的。
图21示出了在不使用任何训练模型的情况下可接受的延迟量估计单元2126的示例性配置。至于增益信息,例如,可以使用图2中所示的增益曲线280。第一声压级计算单元2122使用关于输入声音的每个频带的水平信息和增益信息来计算作为第一路径的输出的第一声压级P_1(f)。这里,f表示频率。接下来,从配置信息中获取耳机等的声学特性。作为声学特性,例如可以使用在每个频率处的衰减特性。通常,高频处的衰减量大,并且低频处的衰减量小。例如,当通过第二路径时,在图13中示出的位置P1处的声音根据听筒的衰减特性衰减。第二声压级计算单元2123使用关于输入声音的每个频带的配置信息(听筒等的声学特性)和水平信息,计算由于第二路径引起的耳道中的第二声压级P_2(f)(例如,图13中的位置P2)。声压级差计算单元2124计算第一声压级P_1(f)和第二声压级P_2(f)之间的差r(f),如以下表达式(2)所示。
[数学式2]
r()=P_1(f)-P_2(f)…(2)
在考虑声压方面的P_1和P_2的情况下,代替声压级,可计算声压比P_1(f)/P_2(f)。例如,如以下表达式(3)所示,可接受延迟量计算单元2125从声压级差r(f)计算可接受延迟量DLY_ALL_MAX。
[数学式3]
DLY_ALL_MAX=f1(r(f))…(⑶
这里,函数f1是表示声压级差r(f)和可接受延迟量DLY_ALL_MAX之间的关系的函数,并且已经预先从统计数据中近似计算出。例如,如在图9中所示的实施例的描述中所描述的,当差大时可接受延迟量可以被计算为60毫秒,并且当差小时可接受延迟量可以被计算为6毫秒。
图22以流程图的形式示出在图21中所示的可接受延迟量估计单元2126中在不使用任何训练模型的情况下确定可接受延迟量的处理程序。第一声压级计算单元2122从输入的声音信息和听力敏锐度信息计算作为第一路径的输出的第一声压级P_1(f)(步骤S2201)。此外,第二声压级计算单元2123根据输入的声音信息和配置信息计算第二路径的第二声压级P_2(f)(步骤S2202)。接下来,声压级差计算单元2124基于上述表达式(2)计算第一声压级P_1(f)和第二声压级P_2(f)之间的声压级差r(f)(步骤S2203)。可接受延迟量计算单元2125然后基于上述表达式(3),从声压级差r(f)计算可接受延迟量DLY_ALL_MAX(步骤S2204),并且输出所计算的可接受延迟量DLY_ALL_MAX(步骤S2205)。
在以上描述中,函数f1是表示整个第一路径中的声压级差r(f)和可接受延迟量DLY_ALL_MAX之间的关系的函数。然而,函数f1可以是表示声压级差r(f)与NR函数的可接受延迟量DLY_NR_MAX之间的关系的函数。在这种情况下,在图22中的步骤S2205中,输出可接受延迟量DLY_NR_MAX。
为了训练训练模型,需要许多条训练数据。如以上参考图16至图18所描述的,用于创建训练数据的过程是耗时且费力的工作。当收集大量的训练数据时,尽可能减少人工工作是很重要的。以上参考图21和图22描述的不使用任何训练模型的方法可以用作用于有效地构建训练数据的工具。首先,使用不使用任何训练模型的方法,并且准备可能的可接受的延迟量。接下来,手动执行可能的可接受延迟量的微调,并且将结果用作训练数据。例如,通过不使用任何训练模型的方法计算的可能可接受的延迟量被用于确定图17中的滑动条1767或单选按钮1769的初始值。以这种方式,受试者可以仅通过尝试初始值的邻域来确定回答。在对象回答选择题时,可以减少选择题所需的个数。通过这种方法,可以显著提高操作效率。此外,因为算术运算量小,所以甚至在廉价的助听装置中也可实现如以上参考图21和图22描述的不使用任何训练模型的方法。即,该方法可以用作利用训练模型进行估计的简单替代方案。
图23以流程图的形式示出了助听装置中的可变延迟NR的处理过程。
首先,初始化NR的延迟量(步骤S2301)。接着,对输入的声音信号进行NR处理(步骤S2302)。NR处理后的声音信号在助听装置中进行其他信号处理后从扬声器输出。从扬声器输出的声音的延迟量受到NR处理中的延迟量的影响。
接下来,使用关于助听装置的用户的听力敏锐度信息、关于助听装置的输入声音信息以及关于助听装置的配置信息计算NR的延迟量的推荐设置(步骤S2303)。稍后将参考图24至图27描述用于计算延迟量的实施例方法。接着,根据需要向助听装置的用户呈现推荐设置(步骤S2304)。在自动采用推荐设置的情况下,可以跳过步骤S2304。
接着,根据来自助听装置的用户的回答来更新NR的延迟量(步骤S2305)。在自动采用推荐设置的情况下,NR的延迟量被自动更新。稍后将参考图28至图32描述用于将推荐设置呈现给助听装置的用户并且用于回答的示例性方法。
然后,进行检查以确定是否结束NR处理(步骤S2306)。在此,在不结束NR处理的情况下(步骤S2306:否),返回到步骤S2302,继续进行处理。另一方面,在NR处理结束的情况下(步骤S2306:是),该处理结束。NR处理的结束定时例如是助听装置的用户关闭NR函数的情况、或者关闭对助听装置的电源的情况。
在图23中,用户被描述为助听装置的用户。然而,用户可以是家庭成员等,而不是助听装置的用户。家庭成员等可坐在助听装置的用户旁边,或者可位于经由网络与助听装置的用户分离的地方。
图24示出了根据本公开在确定可接受的延迟量信息时使用训练模型的延迟量确定单元的示例性配置。图24中所示的延迟量确定单元2416对应于图14中所示的延迟量确定单元1416,接收听力敏锐度信息、输入声音信息和配置信息作为输入,并输出延迟量。经由在图14中示出的控制单元1411执行输入和输出。训练模型2440可以是上文参见图15、图19和图20描述的训练模型中的任何模型。训练后的模型2440接收听力敏锐度信息、输入声音信息和配置信息作为输入,并输出可接受的延迟量信息。延迟量计算单元2427接收可接受的延迟量信息,并计算并输出NR单元的延迟量。
图25以流程图的形式示出由延迟量确定单元2416执行的处理中的流程。
首先,训练模型2440接收听力敏锐度信息、输入声音信息和配置信息,并且使用训练模型来估计可接受的延迟量(步骤S2501)。接下来,延迟量计算单元2427根据可接受延迟量信息计算NR单元的可接受延迟量DLY_NR_MAX(步骤S2502)。在由训练模型2440估计的可接受延迟量是整个第一路径中的可接受延迟量DLY_ALL_MAX的情况下,可以如以下表达式(4)所示计算可接受延迟量DLY_NR_MAX。
[数学式4]
DLY_NR_MAX=DLY_ALL_MAX-DLY_OTHER+α…(4)
在上述表达式(4)中,DLY_OTHER表示NR函数的延迟量以外的延迟量。此外,α是非负数值,并且,如果NR单元的延迟量和其他处理中的延迟量完全互斥,则α=0。在NR单元的处理与其他处理之间存在共用缓冲器等的情况下,可满足α>0。在由训练模型估计的容许延迟量为NR函数的容许延迟量DLY_NR_MAX的情况下,能够没有任何变化地使用由训练模型估计的容许延迟量。
接下来,延迟量计算单元2427根据NR单元的可接受的延迟量DLY_NR_MAX确定NR单元的延迟量DLY_NR(步骤S2503)。当由于NR单元的配置可使用任何合适的延迟量时,NR单元的延迟量DLY_NR如以下表达式(5)中所示确定。
[数学式5]
DLY_NR=DLY_NR_MAX…(5)
当NR单元1407的可配置延迟量是离散的时,NR单元1407的延迟量DLY_NR可被确定在不超过DLY_NR_MAX的范围内。例如,在NR单元1407的可配置延迟量是三种类型(即,16个采样、32个采样和64个采样)中的任一种的情况下,如果计算的DLY_NR_MAX是40个采样,则确定DLY_NR是32个采样。NR单元1407的延迟量DLY_NR可以不被设置为最大可能值,但是可以被设置为最小可能值。例如,在NR单元1407的可配置延迟量是三种类型(即,16个采样、32个采样和64个采样)中的任一种,并且计算的DLY_NR_MAX是40个采样的情况下,DLY_NR可被确定为16个采样。
在具有右部和左部彼此独立的形状的助听装置中独立地计算可接受的延迟量的情况下,可以对于右和左使用不同的延迟量,或者对于右和左使用统一的延迟量。在使用针对右和左统一的延迟量的情况下,例如,延迟量可以是针对右和左计算的延迟量的平均值,或者可以被调整为更小的延迟量。为了减少右声音和左声音的分配位置处的不稳定性,优选地使用针对右声音和左声音统一的延迟量。为了减少助听装置的用户的不适感,优选将左右一体化的延迟量调整为较小的延迟量。当左右可接受的延迟量被统一时,计算的延迟量可经由外部接口1413被交换。
图26示出了根据本公开的延迟量确定单元2616的示例性配置。延迟量确定单元2616对应于在图14中示出的延迟量确定单元1416,接收听力敏锐度信息、输入声音信息和配置信息作为输入,并且输出延迟量。经由在图14中示出的控制单元1411执行输入和输出。可接受延迟量估计单元2626接收作为输入的听力敏锐度信息、输入声音信息和配置信息,并且输出可接受延迟量信息。延迟量确定单元2616与图24中所示的延迟量确定单元2416的不同之处在于可接受延迟量估计单元2626不使用任何训练模型来确定可接受延迟量信息。可接受延迟量估计单元2626可以具有与图21中示出的可接受延迟量估计单元2126的配置相似的配置,例如但不限于。延迟量计算单元2627的操作与图24中的延迟量计算单元2427的操作相同。
图27以流程图的形式示出了延迟量确定单元2616执行的处理中的流程。除了在步骤S2701中可接受延迟量估计单元2626在不使用任何训练模型的情况下确定可接受延迟量信息之外,该处理与图25中所示的处理相似。
图28以流程图的形式示出了向用户建议更新延迟量的处理的实施例。在新计算出的NR单元1407的延迟量与当前NR单元的延迟量不同的情况下,存在自动更新延迟量的方法和向助听装置的用户建议更新的方法这两种可能实现的方法。在自动更新的情况下,频繁的更新可能导致不适感,因此,优选以特定时间常数执行更新。在向助听装置的用户建议更新的情况下,例如,可以使用在图28中所示的流程图。
首先,计算NR单元1407的新延迟量(步骤S2801)。如图24和图26所示。接下来,将新计算出的NR单元1407的延迟量与NR单元1407的当前延迟量进行比较,以检查NR单元1407的延迟量是否已改变(步骤S2802)。
如果新计算的NR单元1407的延迟量与NR单元1407的当前延迟量不同(步骤S2802中为否),则处理返回到步骤S2801。另一方面,如果新计算出的NR单元1407的延迟量与当前NR单元1407的延迟量不同(步骤S2802:是),则处理进入步骤S2803,向助听装置的用户建议更新NR单元1407的延迟量。稍后将参考图29、图31和图32描述建议方法的实施例。
接着,从助听装置的用户得到建议的回答(步骤S2804)。后面将参考图30、图31和图32描述回答方法的实施例。接着,在步骤S2805中,根据回答的内容来分支处理。如果来自用户的回答表示期望更新(步骤S2805中的“是”),则更新NR单元1407的延迟量(步骤S2806),并且然后该处理结束。另一方面,如果来自用户的回答指示不需要更新(步骤S2805中的“否”),则不更新NR单元1407的延迟量(步骤S2807),然后该处理结束。
图29示出了当向助听装置的用户建议更新延迟量时使用的建议方法的实施例。可以通过再现来自助听装置2901的扬声器或者外部连接的便携式信息装置2964的扬声器的语音消息来做出建议。除了语音之外,可以使用特定的警报声音或音乐。也可以使用外部连接的便携式信息装置2964的屏幕。也可以使用口头消息、符号、绘文字等。此外,可以使用外部连接的便携式信息装置2964的振动功能。例如,改变间歇振动的间隔,使得可以区分振动。
图30示出了从助听装置的用户回答的方法的实施例。用户3090可使用助听装置3001的按钮、触摸传感器、或外部连接的便携式信息装置3064的屏幕上的用户界面作出回答。也可以使用助听装置3001的加速度传感器或外部连接的便携式信息装置3064接收来自用户的回答。例如,在助听装置3001的情况下,加速度传感器可以检测到头部被垂直摇晃以指示“是”,或者头部被水平摇晃以指示“否”,并且接收所检测的动作作为回答。便携式信息装置3064还可以根据移动便携式信息装置3064的方向来接收回答为“是”或“否”。也可以使用助听装置3001的麦克风或外部连接的便携式信息装置3064接收来自用户的回答。助听装置的用户通过语音回答,并且识别由麦克风收集的语音,并且可以被识别为“是”或“否”。
图31示出了当向助听装置的用户建议延迟量更新并且接收来自助听装置的用户的回答时使用的用户界面的另一实施例。提供指示NR的强度的滑动条3167,并且该滑动条可与推荐范围3199一起显示。NR的强度是延迟量的振幅的释义。NR的强度的“低”对应于延迟量的“小”,并且NR的强度比延迟量的振幅更容易理解。可以使用延迟量的大小。推荐范围3199根据新计算出的延迟量确定。图31的左侧的推荐范围3199A是新计算的延迟量小的实施例,并且图31的右侧的推荐范围3199B是新计算的延迟量大的实施例。例如,推荐范围可以是新计算的延迟量的80%至100%的范围。
图32示出了显示推荐范围的一些具体方法。可使用显示推荐范围3299C、推荐范围3299D等的方法。代替图31中所示的滑杆3167,可使用刻度盘3268。在刻度盘的情况下,可以显示推荐范围如推荐范围3299E或推荐范围3299F。此外,NR的强度不一定用滑杆3167和标度盘3268调节,而是可用一些其他部件调节。
尽管图31和图32分别示出了作为实施例的滑动杆3167和标度盘3268,但是本实施方式不限于此,并且简言之,推荐范围只需要根据新计算的延迟量自动呈现。如上所述,通过将推荐范围提示给助听装置的用户,助听装置的用户能够参照推荐范围并任意地设置NR的强度。在更新设置之后,按下确定按钮3165以结束处理。在不需要改变设置的情况下,助听装置的用户按下确定按钮3165以结束处理,而不操作滑杆3167和标度盘3268。在希望自动设置NR的延迟量即NR的强度的情况下,也可以通过开关3166指定自动接通/断开切换。
图33示出对应于图14中的NR单元1407的NR单元的示例性配置。图34示出可变延迟缓冲器操作的实施例。例如,在通过谱减法技术等在频域中进行处理的情况下,首先执行从时域到频域的转换。在使用FFT的情况下,经常使用50%与窗口函数的重叠。
图33中所示的NR单元3307经由图14中的控制单元1411接收例如由图14中的延迟量确定单元1416确定的延迟量。输入到NR单元3307的声音信号首先进入输入缓冲器3351(图34中的输入缓冲器3451)。在窗口应用单元(预处理)3353中,具有适合于延迟量的大小的窗口函数(例如,图34中的窗口函数3450)被施加至声音信号。在FFT3355中,使用具有适合于延迟量的大小的FFT来执行到频域的转换。NR_core3357使用谱减法技术等执行NR处理。在经受NR处理的声音信号通过使用快速傅里叶逆变换(IFFT)的IFFT 3356转换成时域之后,窗口函数通过窗口应用单元(后处理)3354施加于其上,并且结果被传递到输出缓冲器3352(图34中的输出缓冲器3452)。
图34示出了在存在帧1至帧13中的十三个帧并且延迟量以两帧延迟、四帧延迟和两帧延迟的顺序改变的情况下的可变延迟缓冲器操作的实施例。在实时处理的情况下,当延迟量朝向较大值改变时,处理的声音信号变得不足,并且当延迟量朝向较小值改变时,处理的声音信号变得冗余。当仅改变延迟量时,在处理的声音信号中发生中断,这导致异常噪声。该问题是实时处理特有的问题。例如,在音频编解码器中,帧大小也变得可变,但是转换目的地是音频编解码器中的比特流,并且这样的问题不会发生。为了解决该问题,需要平滑地接合处理后的声音信号的处理。在图34所示的实施例中,在延迟量改变的每个时刻改变窗口大小,并且使用交叉衰减平滑地接合处理后的声音信号。虽然在上述实施例中FFT大小随着延迟量而改变,但是FFT大小可以不改变。在一些配置中,将用于估计噪声频谱的帧数目可随延迟量的增加而增加。
尽管图33和图34示出了利用频域和帧处理的实施例,但是可采用时域和采样处理。在一些配置中,可恒定地并行执行对多个延迟量的NR处理,并且可适当地选择并通过交叉衰落来接合结果。虽然在图34中示出的实施例中针对每个帧执行交叉衰落,但是可以在多个帧上执行交叉衰落。经过可变延迟NR处理后只需要平滑加入声音信号即可。
图35示出了根据第一实施方式的具有可变延迟NR函数的助听装置的第二示例性配置。虽然从左到右以直线示出了麦克风3502、ADC 3504、DAC 3505以及扬声器3503,但是应理解的是,该配置与在图13中示出的配置相似。在以下描述中,说明助听装置3501的配置,重点在于与图14中示出的助听装置1401的不同。
声源存储/再现单元3512对应于图14中的声源存储/再现单元1412。外部接口3513对应于图14中的外部接口1413,并且可以进一步处理连接信息和稍后描述的传感器信息。配置信息存储单元3514对应于图14中的配置信息存储单元1414。训练模型存储单元3517具有与图14中的训练模型存储单元1417的配置类似的配置。
连接信息存储单元3518存储关于连接至助听装置3501的外部装置的信息。例如,电话装置、便携式信息装置、电视机等可用作外部装置。作为连接信息,可以使用关于外部装置的类型的信息。例如,连接信息还可包括关于从外部装置发送到助听装置3501的声音的内容类型信息。内容类型信息指示电影类型、新闻类型、体育类型等。
传感器信息单元3519是关于各种传感器的信息。该信息指示加速度传感器、陀螺仪传感器、相机等。
根据在图35中示出的第二示例性配置的助听装置3501使用特征B5(必要功能的优先级根据使用场景改变的特征)的影响估计可接受的延迟量。为此目的,至少使用连接信息或传感器信息。
图36示出根据本公开第一实施方式的训练模型生成的另一个实施例。该训练模型3640在助听装置3501中的延迟量确定单元3516中使用,接收听力敏锐度信息、输入声音信息、配置信息、连接信息和传感器信息作为输入,并且估计和输出可接受的延迟量信息。即,在训练模型3640中,连接信息和传感器信息作为解释变量被进一步添加到在图15中示出的训练模型1501中。尽管图36示出了作为输入节点的数量是五、输出节点的数量是一以及中间层的数量是两的神经网络的训练模型3640,但是本实施方式不限于此。训练模型3640可以由与助听装置3501分离的服务器或个人计算机生成。产生的训练模型3640可经由图35中的外部接口3513传输至助听装置3501。
听力敏锐度信息、输入声音信息、配置信息和可接受延迟量信息与在图15中示出的训练模型生成的实施例的情况下的听力敏锐度信息、输入声音信息、配置信息和可接受延迟量信息相似。在下面的描述中,解释连接信息和传感器信息。
例如,可以使用关于所连接的外部装置的类型信息作为连接信息。例如,对于连接,可以使用诸如蓝牙(注册商标)或Wi-Fi(注册商标)的无线通信。例如,可以使用指示电话装置、便携式信息装置、电视机等的信息作为关于外部装置的类型信息。例如,在助听装置与电话装置无线连接的情况下,不是从助听装置的麦克风收集的声音,而是从电话装置发送的声音从助听装置的扬声器输出。因此,不产生由特征B3引起的回声。在不阻碍与另一方的通信的范围内的延迟被允许。根据ITU-T建议G.114(05/2003),呼叫的延迟可接受高达150毫秒。假设大约高达助听装置可接受的20%,高达30毫秒将是可接受的。例如,在助听装置无线地连接至电视机的情况下,也不会产生由特征B3引起的回声。然而,如参考图7在上面所描述的,电视涉及视频和声音,并且当视频和声音失去同步时观看者/收听者感到不舒服。例如,在可以使用各种类型的内容的外部装置(诸如电视机)的情况下,可以进一步使用内容类型信息。即使在助听装置连接至电视机的情况下,在正在观看的视频内容是电影内容的情况和正在观看的视频内容是新闻内容的情况之间,预期操作也不同。新闻内容的声音首先涉及音量基本恒定的清晰发言,并且很少需要NR函数。另一方面,在电影内容中,声音效果和噪声是电影内容的重要元素,并且通常难以收听声音。NR函数对于听力受损的人是有用的。在电视广播的情况下,例如,可以从电子节目指南(EPG,或者交互式节目指南(IPG))获取内容类型信息。在用户收听从外部装置传输的声音的情况下,在以上描述中,从助听装置的麦克风收集的声音不是从扬声器输出的,而是可同时输出两者。在这种情况下,用户还受到由特征B3引起的回声的影响的影响。
在关于被连接的外部装置的类型信息被用作连接信息并且类型的数目不大的情况下,如在图19中所示的训练模型生成的实施例中,还可以针对各个类型生成训练模型。然而,这个方面没有在本文中的任何附图中示出。
传感器信息是关于各种传感器的信息,例如,各种传感器包括加速度传感器、陀螺仪传感器、相机等。例如,如图20所示,可以使用关于加速度传感器的信息,该信息被添加到训练数据,该训练数据被输入到用于检测用户自己的语音检测的存在或不存在的训练模型。用户自己的声音的振动通过颅骨从声带到达耳道和外耳。振动通过加速度传感器获取并使用。因为即使在噪声中,也可以精确地获取来自加速度传感器的信息,所以即使在具有噪声的环境中,也可以更准确地检测用户自己的语音的存在或不存在。例如,使用加速度传感器和陀螺仪传感器,使得可以估计助听装置的用户的身体运动。例如,如果用户经常向侧面点头或摇头,则与某人通信的可能性升高。图37示出相机3797布置在助听装置上的实施例。例如,使用相机,使得可以检测前方短距离处的面部的存在。在这种情况下,与某人通信的可能性也变得更高。可接受的延迟量可能较小。例如,如果用户几乎不会以前视姿势移动,则用户正在观看电视等的可能性增加,并且用户正在与某人通信的可能性降低。可接受的延迟量可能很大。另外,在图37中,将相机3797分别配置在左右助听装置上,但本实施方式不限于此,也可以设置多个相机,也可以在左右助听装置之间使相机的数量不同。
图38示出了根据本公开的训练模型生成的又一个实施例。在图38中示出的生成的实施例中,输入听力敏锐度信息、输入声音信息、配置信息、连接信息以及传感器信息,并且输出可接受的延迟量信息。与图36中示出的生成实施例的不同之处在于,第二训练模型3841的输出用作第一训练模型3840的输入。例如,由于身体运动的估计和面部的检测与听力损失的存在或不存在无关,因此与正常听力人员合作,能够容易地准备大量训练数据。首先,利用传感器信息生成用于检测身体运动的第二训练模型3841和用于检测面部的第二训练模型3841。接着,在生成第一训练模型3840时,使用第二训练模型3841的估计结果。即,除了听力敏锐度信息之外,输入声音信息、配置信息、连接信息以及传感器信息、人体运动信息以及面部信息被输入至第一训练模型3840,并且输出可接受的延迟量信息。利用这种配置,可预期高度精确的身体运动估计和面部检测,因此,可预期提高通过第一训练模型3840的可接受延迟量信息估计的精确度。
图39示出根据本公开的使用用于估计的训练模型的延迟量确定单元的示例性配置。延迟量确定单元3916对应于图35中示出的延迟量确定单元3516,但是接收作为输入的听力敏锐度信息、输入声音信息、配置信息、连接信息和传感器信息,并且输出延迟量。经由图35中示出的控制单元3511执行输入和输出。训练模型3940可以是以上参考图36或图38所描述的训练模型。训练模型3940接收作为输入的听力敏锐度信息、输入声音信息、配置信息、连接信息和传感器信息,并且输出可接受的延迟量信息。延迟量计算单元3927接收可接受的延迟量信息,并计算并输出NR单元的延迟量。
图40以流程图的形式示出延迟量确定单元3916使用训练模型确定延迟量的处理中的流程。
首先,训练模型3940除了接收听力敏锐度信息、输入声音信息和配置信息之外还接收连接信息和传感器信息,并且使用训练模型来估计可接受的延迟量(步骤S4001)。接下来,延迟量计算单元3927基于上述表达式(4)从可接受延迟量信息计算NR单元3507的可接受延迟量DLY_NR_MAX(步骤S4002)。
接下来,延迟量计算单元3927基于上述表达式(5)从NR单元3507的可接受延迟量DLY_NR_MAX确定NR单元3507的延迟量DLY_NR(步骤S4003)。
当NR单元3507的可配置的延迟量是离散的时,NR单元3507的延迟量DLY_NR可被确定在不超过DLY_NR_MAX的范围内。例如,在NR单元3507的可配置的延迟量是16采样、32采样和64采样的三种中的任何一种的情况下,如果计算的DLY_NR_MAX是40个采样,则确定DLY_NR是32个采样。NR单元3507的延迟量DLY_NR可以不被设置为最大可能值,而是可以被设置为最小可能值。例如,在NR单元3507的可配置的延迟量是三种类型(即,16个采样、32个采样和64个采样)中的任一种,并且计算的DLY_NR_MAX是40个采样的情况下,DLY_NR可被确定为16个采样。
在新计算的NR单元3507的延迟量与当前NR单元3507的延迟量不同的情况下,存在两种可能实现的方法:自动更新延迟量的方法,以及向助听装置的用户建议更新的方法。根据这些方法的过程如上文参考图28至32所描述。
根据NR单元3507的延迟量的改变来改变窗口大小,并在NR处理之后不中断地平滑地接合声音信号,如以上参考图33和图34所述。
具有其中右部和左部彼此独立的形状的助听装置中的NR单元3507的延迟量的处理与在图14中示出的示例性配置的情况下的处理类似。在具有右部和左部彼此独立的形状的助听装置中存在彼此独立的右传感器和左传感器的形式的情况下,可以将不同的传感器信息用于右和左,或者将统一的传感器信息用于右和左。例如,在统一的传感器信息用于右侧和左侧的情况下,统一的传感器信息可以是用于右侧和左侧的传感器信息的平均值。当左右传感器信息一致时,可以经由外部接口3513交换信息。
虽然上面已经主要描述了在助听装置中使用听力敏锐度信息等控制NR函数的延迟量,但是能够以与上述类似的方式执行对突然声音减弱功能的控制。
接着,总结第1实施方式的效果。根据第一实施方式,通过使用听力敏锐度信息、输入声音信息等控制第一路径中的延迟量,可以使NR函数和突然声音减小功能有效地起作用。其效果在于,可以减少由特征B1至B4引起的由于视觉信息与听觉信息之间的时间差引起的不适感、由于延迟的听觉反馈引起的口吃、以及由于回声引起的听觉难度,并且减少由特征A1和A2引起的听觉上的麻烦。另外,可以将延迟量的推荐设置提示给助听装置的用户,助听装置的用户可以通过参照推荐设置而自愿选择设置的更新。因此,可以预期更高水平的满意度。
[第二实施方式]
在第二实施方式中,助听装置除了NR函数之外还使用NC函数。通过执行NC函数的自动设置、自动开/关切换、自动强度切换、自动特性改变、用户界面上的推荐设置的呈现等,可以节省对于助听装置重要的电力,同时,可以减少助听装置的用户的听力困扰。
注意,在本说明书中,NR函数是通过信号处理去除输入声音信号中的噪声成分的处理(换言之,降低声音信号中的噪声)实现的函数,而NC函数是通过在期望信号上叠加相位与噪声成分以相同振幅反转的NC信号,利用声音输出之后的NC信号消除空间中的噪声的函数。需要说明的是,NR函数和NC函数是完全不同的函数。利用NR函数,输出去除了噪声的信号,因此,即使存在延迟,NR效果也得以维持。另一方面,利用NC函数,当延迟较长时,由于噪声和NC信号之间的时间差,噪声不能被消除,因此,NC效果丧失。同时,耳机可以屏蔽高频段的噪声,因此,NC函数主要用于消除1KHz或更低的不能被屏蔽的噪声。
在具体描述第二实施方式之前,补充说明背景和问题。由于特征B1至B3,即使使用NR函数,在第一路径中的放大增益较小的情况下,位置P2处的SNR的改善较小,如以上参考图12所描述的。即使在这种情况下,由于特征A1和A2,也需要减少听到噪声中的词的麻烦。鉴于此,第二实施方式使用NC函数。图41示出了噪声消除机制的实施例。例如,假设在位置P1处的声音(噪声)经由图13中的第二路径到达位置P2时所观察到的波形是波形4145。这里,假设具有波形4146的声音通过第一路径传递到位置P2,则波形4145和波形4146相互抵消,理想地,不存在声音。降噪是降低声音信号中的噪声,噪声消除是消除空间中的噪声。由此,两者的作用完全不同。
图42示出具有噪声消除功能的助听装置的示例性配置。该图示出了在助听装置4201的内部添加麦克风4229的示例性配置。由于内部麦克风4229用于NC函数,因此还可执行反馈型噪声消除。要注意的是,其他元件,例如,麦克风4202、扬声器4203、ADC 4204、DAC4205、信号处理单元4206、声源存储/再现单元4212以及外部接口4213与在图13中所示的助听装置1301的那些相似,因此,在本文中不对其进行详细说明。
图43示出了当将NC函数添加到NR函数时要实现的效果的实施例。图43中的位置P1和位置P2分别对应于图6和图13中所示的位置P1和位置P2。
频谱图4370指示在位置P1处的声音,并且包括声音频谱4374和噪声4375。声谱4374的峰值和噪声4375的峰值之间的差d1越大,SNR越高。频谱图4370中的差d1小,声音稍微大于噪声,并且听力受损的人在听力方面有麻烦。
在经由麦克风4202的第一路径中,声音信号由信号处理单元4206进行信号处理,但是,在第二实施方式中,信号处理包括使NR函数起作用的第一处理系统和使NC函数起作用的第二处理系统。
将通过第二路径到达位置P2的声音和通过第一路径的第二处理系统到达位置P2的声音进行组合而获得的声音定义为频谱图4372。在第一路径的第二处理系统中,不进行放大,使NC函数4308动作。即,频谱图4372指示在噪声消除之后的位置P2处的声音。利用NC函数,频谱图4370中的差d1像频谱图4372中的差dNC一样扩展,并且因此,SNR提高。要注意的是,声谱图的形状受助听装置的外壳、听筒等的影响,但是,为了便于解释,在本文中忽略那些部件的影响。
同时,在第一路径的第一处理系统中,使NR函数4307起作用,但是如附图标记4377所示,不执行放大(增益:0dB)。通过第一路径的第一处理系统到达位置P2的声音被定义为频谱图4371。利用NR函数,频谱图4370中的差d1像频谱图4371中的差dNR一样扩展,并且因此,SNR提高。
然后,频谱图4372和频谱图4371在位置P2处彼此混合,并且在位置P2处的声音变成由频谱图4373指示的声音。谱图4373中的差d2_3大于图12中的d2_2。这可以确认,在NC函数被添加到NR函数的情况下,与仅使用NR函数的情况相比,位置P2处的SNR大大增加。
如上所述,即使在第一路径的增益较小的情况下,除了NR函数之外,还可以使用NC函数来增加位置P2处的SNR。
图44示出了NC函数的效果小的实施例。图44中的位置P1和位置P2分别对应于图6和图13中的位置P1和位置P2。在图44所示的实施例中,声谱4474的峰和声谱4470中的噪声4475的峰之间的差异d1很小,声音稍微大于噪声,并且听力受损的人在听力方面有问题。
在第一路径的第二处理系统中,不进行放大,使NC函数4408动作。另一方面,在第一路径的第一处理系统中,使NR函数与放大(增益:大)一起起作用。通过第一路径的第一处理系统到达位置P2的声音被定义为频谱图4471。声谱图4472和声谱图4471在位置P2处彼此混合,并且位置P2处的声音变成由声谱图4473指示的声音。利用NR函数,频谱图4470中的差异d1像频谱图4471中的差异dNR一样扩展,并且因此,SNR改善。
然后,声谱图4472和声谱图4471在位置P2处彼此混合,并且位置P2处的声音变成由声谱图4473指示的声音。然而,谱图4473中的差异d2_4稍微大于图11中的d2_1。由此,即使在将NC函数添加到NR函数的情况下,也能够确认,与仅使用NR函数的情况相比,位置P2的SNR的进一步增加也较小。
如图43所示,在第一路径的第一处理系统的增益较小的情况下,添加NC函数,使得位置P2处的SNR大大提高,并且能够减少助听装置的用户的听力问题。另一方面,如图44所示,在第一路径的第一处理系统的增益较大的情况下,位置P2处的SNR已经通过NR函数增加,并且通过添加NC函数实现的进一步增加仅较小。助听装置的用户的听力障碍的降低也小。
如上所述,为了提高位置P2的SNR,将NC函数与NR函数相加的效果依赖于助听装置的放大率的大小。进一步地,如从图2和图5中示出的实施例可以看出,放大增益的振幅取决于助听装置的用户的听力敏锐度和至助听装置的输入声压。
NC函数的其他方面包括由过于强烈的NC效果带来的不适感和功耗问题。如果在安静的环境中NC效果太强,则助听装置的用户可能具有不适感,诸如耳朵的清晰感。关于电力消耗,由于助听装置是需要在小型壳体内长时间操作的产品,因此需要降低电力消耗。在NC函数中,有时需要使专用于NC函数的ADC和DAC进行动作,因此消耗电力容易变大。这些问题可以通过打开/关闭NC函数或根据情况调整其强度来解决。
图45示出高音调损失梯度听力图的实施例,图46示出山丘状听力图的实施例。例如,现在讨论向60dB SPL的输入提供1/2增益的方法。在图45中所示的实施例中,增益在250Hz下为7.5dB,并且在1000Hz下为25dB。在图46中所示的实施例中,增益在250Hz下为15dB,并且在1000Hz下为5dB。如以上参照图43和图44所述,在NC函数被添加到NR函数的情况下,当NR函数的增益小时,进一步的SNR增加效果变大,但是,即使当NC函数的效果小时,NR函数的增益增加,进一步的SNR增加效果也小。考虑到这些方面,可以说,在图45中示出的听力图的情况下,通过执行主要大约125Hz至250Hz的噪声消除,并且在图46中示出的听力图的情况下,通过执行大约500Hz至1000Hz的噪声消除,有效地减少听力中的麻烦。
图47示出预期噪声衰减量,通过该预期噪声衰减量,预期噪声通过噪声消除处理衰减。例如,由附图标记4734表示的曲线A不具有大的最大衰减量,而是在宽频带上具有噪声消除效果。此外,分别由附图标记4735、4736和4737表示的曲线B、C和D具有窄频带,但具有大的最大衰减量。如上所述,可以通过执行噪声消除处理来调整预期噪声衰减量的曲线。
如上参考图45至图47所述,可以说,根据听力敏锐度信息调整噪声消除的特性对于减少听力中的故障是有效的。例如,在图45中示出的听力图的情况下使用曲线B 4735是有效的,并且在图46中示出的听力图的情况下使用曲线D 4737是有效的。
图48示出水平听力图的实施例。例如,现在讨论向60dB SPL的输入提供1/2增益的方法。由于听力水平在任何频率处为40dB HL,所以增益在任何频率处为20dB。在不考虑裸耳增益的情况下,例如,增益变成如图49中的增益曲线4980所示。虽然听力水平高,但是在感觉神经听力丧失的情况下,由于特征B1,增益通常相对于高输入声压级减小。在图49中示出的助听装置的输入/输出特性的实施例中,增益在90dB SPL的输入声压级附近较小。可以说,使用NC函数对于减少听力中的故障是有效的。此时,使用图47中的曲线A4734是有效的。
图50示出根据本公开第二实施方式的具有NC信号生成函数的助听装置5001的示例性配置。麦克风5002、ADC 5004、DAC 5005以及扬声器5003从左到右成直线示出,但是配置与在图13和图42中示出的助听装置的配置相似。在以下的说明中,以与图14所示的助听装置1401的不同点为中心对助听装置5001的结构进行说明。
振幅/相位调整单元5009的设置由控制单元5011使用听力敏锐度信息存储单元5015和待输入至振幅/相位调整单元5009的声音信号来执行(如上所述)。通过振幅/相位调整单元5009调整的声音信号被发送到DAC 5005。
NC信号生成单元5008从ADC 5004接收声音信号作为输入,并且生成噪声消除(NC)信号。NC信号是用于在空间中消除经由在图13和图42中示出的助听装置中的第二路径到达位置P2的噪声的信号。生成的NC信号被发送到DAC 5005。NC信号生成单元5008使用由NC特性确定单元5030确定的NC特性(NC特性曲线和NC强度)生成NC信号。
DAC 5005接收通过将NC信号叠加在由振幅/相位调整单元5009调整的声音信号上而获得的数字信号的输入,并且将数字信号转换成模拟信号。扬声器5003将电信号转换成声音。因此,从扬声器5003输出的声音包括通过转换由NC信号生成单元5008生成的NC信号而获得的声音,并且消除已经经过第二路径的噪声。这里,在图中,在NR单元5007和NC信号生成单元5008之间共享ADC 5004和DAC 5005,但是在一些其他配置中,可单独准备ADC5004和DAC 5005。
图51示出根据本公开第二实施方式的训练模型生成的实施例。训练模型5140接收听觉敏锐度信息、输入声音信息和配置信息作为输入,并且估计和输出NC特性信息。尽管图51示出了其中输入节点的数量为三个、输出节点的数量为一个以及中间层的数量为两个的神经网络,但是训练模型5140不限于此。
作为到训练模型5140的输入的听力敏锐度信息、输入声音信息和配置信息的各个参数与在图15中示出的训练模型1501的生成实施例的情况下的参数相似,并且本文中不对其进行详细说明。进一步,在一些情况下,可以排除配置信息。
而且,训练模型5140可为如图19中所示的各条配置信息生成训练模型,但是在本文中不进行其详细说明。
作为NC特性信息,可以使用噪声消除强度信息。例如,可以使用具有例如0.0至1.0的范围的值。例如,0.0可以被定义为噪声消除被关闭的强度。可以采用从多种类型中选择噪声消除特性曲线的方式。可以选择参考图47如上所述的噪声消除特性曲线。此时,NC特性信息为噪声消除特性曲线。强度信息可包括在NC特性信息中。例如,作为分类的问题,在图47中,训练数据可被设置为曲线A的100%、曲线A的75%、曲线A的50%、曲线A的25%、曲线A的0%、曲线B的100%、曲线B的75%等。
图52示出当受试者(听力受损人员)提供NC特性信息作为回答时使用的用户界面的实施例。作为NC特性信息的实施例,可以使用NC特性曲线和NC强度。便携式信息装置5264包括单选按钮5269和滑动条5267,作为用于调整NC特性曲线和NC强度的用户界面。例如,当受检者改变单选按钮5269时,助听装置5001的NC特性曲线相应地改变。例如,当滑动条5267朝向“高”滑动时,助听装置的NC强度变为更大的值。在图52所示的实施例中,单选按钮5269的选项之一是关闭NC函数。例如,因为在诸如4kHz的高频率下不能期望NC函数的效果,所以可选择不使用NC函数。在受试者的周围再现被假设为输入声音信息的声音环境。在该声音环境中,对象用单选按钮5269和滑动条5267指定他/她最佳的NC特性曲线和NC强度,并且按下OK按钮5265来输入指定。以这种方式,将听力敏锐度信息、输入声音信息、配置信息和NC特性信息添加到训练数据集。
图53以流程图的形式示出在创建训练数据时的过程。首先,对助听装置和声音环境再现系统(未示出)进行基于输入信息的设置(步骤S5301)。声音环境再现系统再现声音环境,诸如安静的房间、医院、购物中心、餐馆等。在该配置中,例如,可在受试者周围布置5.1声道扬声器。例如,对话伙伴可位于受试者的前面。接下来,受试者使用如图52所示的用户界面指定NC特性信息(步骤S5302)。接着,根据受试者所指定的NC特性信息来操作助听装置(步骤S5303)。接下来,例如,进行检查以确定是否已经按压图52中所示的用户界面的OK按钮5265(步骤S5304)。即,进行检查以确定受试者是否确定了NC特性信息。在未按下确定按钮的情况下(步骤S5304:否),返回到步骤S5302,反复进行NC特性信息的指定和NC特性信息的动作。在重复时,如果在步骤S5302没有来自对象的新指定,则可以保持和使用先前的设置而没有任何改变。如果按下了确定按钮(步骤S5304:是),则在该时间点指定的NC特性信息被添加到训练数据集(步骤S5305),然后该处理结束。
图52和图53示出了对象指定可能的NC特性的实施例,但是本实施方式不限于此。例如,可以自动设置助听装置的NC特性并呈现给对象,并且每次对象可以回答对象是否对NC特性感到舒适。或者,例如,可向受试者呈现具有不同NC特性的两种设置,并且受试者可回答哪一个更舒适。简而言之,仅需要获得与NC特性有关的回答,该回答指示对象是否感到与NC特性舒适。
图54示出未生成训练有素的模型的情况下的NC特性估计单元5431的结构例。在助听装置5001的NC特性确定单元5030中使用NC特性估计单元5431。
第一声压级计算单元5422使用关于输入声音的每个频带的水平信息和增益信息来计算作为第一路径的输出的第一声压级P_1(f)。同时,第二声压级计算单元5423使用配置信息(听筒等的声学特性)和输入的声级信息通过第二路径计算耳道中的第二声压级P_2(f)(例如,图13和图48中的位置P2)。声压级差计算单元5424如在以上表达式(2)中计算第一声压级P_1(f)和第二声压级P_2(f)之间的差r(f)。
在声压方面考虑P_1和P_2的情况下,代替声压级,可计算声压比P_1(f)/P_2(f)。NC强度/NC特性曲线计算单元5432从声压级差r(f)计算NC强度NC_LEVEL。例如,NC强度NC_LEVEL可如下表达式(6)中所示计算。
[数学式6]
NC_LEVEL=f2L(r(f))…(6)
在以上表达式(6)中,函数f2L是表示声压级差r(f)与NC强度NC_LEVEL之间的关系的函数,并且已经预先根据统计数据近似计算。例如,如上面参照图43和图44所述的,当差较大时,可计算为0.0,并且当差较小时,可计算为1.0。这里,0.0表示NC函数关闭或NC函数弱,1.0表示NC函数强。NC强度/NC特性曲线计算单元5432还根据声压级差r(f)确定NC特性曲线NC_CURVE。例如,可以如下面的表达式(7)所示计算NC特性曲线NC_CURVE。
[数学式7]
NC_CURVE=f2C(r(f))…(7)
在上述式(7)中,函数f2C是表示声压级差r(f)与NC特性曲线NC_CURVE之间的关系的函数,预先根据统计数据近似计算出。例如,经由如图52所示的用户界面确定诸如图47所示的曲线A、曲线B或曲线C的特性曲线。也可选择不使用NC函数。
图55以流程图的形式示出在图54所示的NC特性估计单元5431中估计NC特性的处理过程。直到计算第一声压级P_1(f)和第二声压级P_2(f)之间的声压级差r(f)为止的处理(步骤S5501至S5503)类似于图22中示出的处理过程,因此,在此不对其进行解释。NC强度/NC特性曲线计算单元5432计算NC强度NC_LEVEL和NC特性曲线NC_CURVE(步骤S5504)。然后,从NC特性估计单元5431输出NC强度NC_LEVEL和NC特性曲线NC_CURVE(步骤S5505),处理结束。
为了训练训练模型,需要许多条训练数据。如上文参考图16、图52和图53所述,用于创建训练数据的示例过程是耗时且费力的工作。当收集大量训练数据时,重要的是最小化必须手动完成的工作。以上参考图54和55描述的不使用任何训练模型的方法可以用作用于有效地构建训练数据的工具。首先,使用不使用任何训练模型的方法,并且准备可能的NC特性。接着,手动进行可能的NC特性的微调整,并且将结果用作训练数据。例如,通过不使用任何训练模型的方法计算的NC特性用于确定图52中的滑动条5267和单选按钮5269的初始值。以这种方式,受试者可以仅通过尝试初始值的邻域来确定回答。在对象回答选择题时,可以减少选择题所需的个数。通过这种方法,可以显著提高操作效率。此外,因为算术运算量小,所以即使在廉价的助听装置中也可实现如图54和图55所示的不使用任何训练模型的方法。即,该方法可以用作利用训练模型进行估计的简单替代方案。
图56以流程图的形式示出了助听装置5001中的NC函数的处理过程。首先,初始化NC特性信息(步骤S5601)。接下来,对输入的声音信号执行NC处理(步骤S5602)。通过NC处理生成的NC信号叠加在输入的声音信号上,并且从扬声器5003输出。接下来,使用关于助听装置的用户的听锐度信息、关于助听装置的输入声音信息以及关于助听装置5001的配置信息计算NC特性信息的推荐设置(步骤S5603)。用于计算特性信息的技术的实施例将在后面参考图57和图58进行描述。接着,根据需要向助听装置5001的用户呈现推荐设置(步骤S5604)。在自动采用推荐设置的情况下,步骤S5604中的处理可被跳过。接着,根据来自助听装置5001的用户的回答来更新NC特性信息(步骤S5605)。在自动采用推荐设置的情况下,自动更新NC特性信息。稍后将参考图29、图30、以及图59至图61描述用于将推荐设置呈现给助听装置5001的用户的示例性方法以及用于用户回答的示例性方法。接着,进行检查以确定是否结束NC处理(步骤S5606)。在此,在不结束NC处理的情况下(步骤S5606:否),返回到步骤S6202,继续进行处理。另一方面,在结束NC处理的情况下(步骤S5606:是),结束本处理。结束NC处理的定时例如是助听装置5001的用户断开NC函数的情况、或者断开对助听装置5001的电力供给的情况。另外,作为助听装置5001的用户,说明了该用户,但是代替助听装置5001的用户,也可以是家庭成员等。家庭成员等可以坐在助听装置5001的用户旁边,或者可以在经由网络连接的地点。
图57示出了根据本公开第二实施方式的使用训练模型确定NC特性的NC特性确定单元的示例性配置。图57所示的NC特性确定单元5730相当于图50所示的助听装置5001的NC特性确定单元5030。NC特性确定单元5730接收听力敏锐度信息、输入声音信息和配置信息作为输入,并输出NC特性信息。经由图50中所示的控制单元5011进行输入和输出。训练模型5740可使用图51中所示的训练模型5140。训练后的模型5740接收作为输入的听力敏锐度信息、输入声音信息和配置信息,并且输出NC特性信息。例如,NC特性信息表示NC信号生成单元5008的接通或断开、NC强度、以及NC特性曲线。
在右部和左部相互独立的形状的助听装置5001中独立地计算NC特性信息的情况下,能够在左右分别使用不同的NC特性信息,或者在左右分别使用统一的NC特性信息。在使用左右一体化的NC特性信息的情况下,例如,统一的NC特性信息可以是针对左右计算出的NC特性信息的平均值,或者可以被调整为具有较低强度和较宽频带的NC特性信息。在右侧和左侧的听力敏锐度彼此接近的情况下,为了减少右侧和左侧声音的分配位置处的不稳定性,优选地使用针对右侧和左侧统一的NC特性信息。为了减少助听装置5001的用户的不协调感,优选对左右的NC特性进行统一,以获得强度低且频带宽的更接近NC特性信息的统一的NC特性信息。当左右NC特性信息统一时,可以通过外部接口5013交换计算出的NC特性信息。在左右的听觉敏锐度有很大不同的情况下,优选左右使用不同的NC特性信息。
图58示出了根据本公开的第二实施方式的在不使用任何训练模型的情况下确定NC特性的NC特性确定单元的示例性配置。NC特性确定单元5830与图50所示的助听装置5001的NC特性确定单元5030对应。
图59以流程图的形式示出了用于向用户建议更新NC特性曲线和NC强度的处理过程。在新计算出的NC特性曲线和新计算出的NC强度与当前的NC特性曲线和当前的NC强度不同的情况下,可以实现自动更新NC特性曲线和NC强度的方法和向助听装置的用户建议更新的方法这两种方法。在自动更新的情况下,频繁的更新可能导致不适感,因此,优选以特定时间常数执行更新。在向助听装置的用户建议更新的情况下,例如,可以使用图59中所示的流程图。
首先,计算新的NC特性曲线和新的NC强度(步骤S5901)。这由图57中示出的NC特性确定单元5730或图58中示出的NC特性确定单元5830执行。接着,将新计算出的NC特性曲线和新计算出的NC强度与当前的NC特性曲线和当前的NC强度进行比较(步骤S5902)。如果新计算出的NC特性曲线和新计算出的NC强度与当前的NC特性曲线和当前的NC强度不同(步骤S5902中为否),则处理返回到步骤S5901。如果新计算出的NC特性曲线和新计算出的NC强度与当前的NC特性曲线和当前的NC强度不同(步骤S5902中为是),则向助听装置的用户建议更新NC特性曲线和NC强度(步骤S5903)。可以以与以上参考图29描述的方法类似的方式实施建议方法的实施例。接着,从助听装置的用户得到建议的回答(步骤S5904)。回答方法的实施例可以以类似于上面参考图30描述的方法的方式实施。然后,根据来自用户的回答的内容,该处理分支(步骤S5905)。如果回答表示期望更新(步骤S5905中为是),则更新NC特性曲线和NC强度(步骤S5906),然后该处理结束。另一方面,如果回答表示不需要更新(步骤S5905中为否),则不更新NC特性曲线和NC强度(步骤S5907),然后该处理结束。
图60示出了当向助听装置5001的用户建议更新NC强度和NC特性曲线并且获得来自助听装置5001的用户的回答时使用的用户界面的实施例。提供表示NC强度的滑动条6067,并且与推荐范围6099一起显示。推荐范围6099根据新算出的NC强度来确定。例如,图60的左侧所示的推荐范围6099A为新计算出的NC强度较低的例子,图60的右侧所示的推荐范围6099B为新计算出的NC强度较高的例子。例如,推荐范围可以是新计算的NC强度的80%至120%的范围。该用户界面还包括用于用户指定NC类型的单选按钮6069。
图61表示推荐范围6099的提示方法。如图61所示,可呈现推荐范围6199C或推荐范围6199D。代替滑动条6067,刻度盘6168可指示NC强度。在标度盘的情况下,推荐范围可以类似于推荐范围6199E或推荐范围6199F。图60和图61中的“NC类型”是NC特性曲线的释义。对于助听装置的用户,与NC特性曲线相比,更容易理解术语“NC类型”。在图60所示的用户界面的实施例中,存在表示NC类型的单选按钮6069,并且一起显示推荐标记6098。根据新计算的NC特性曲线确定推荐标记6098。例如,推荐标记6098A是其中新计算的NC特性曲线是“曲线B”的实施例,并且推荐标记6098B是其中新计算的NC特性曲线是“曲线A”的实施例。示出推荐标记6098的方法可以是图61中的推荐标记6198C、推荐标记6198D、推荐标记6198E和推荐标记6198F中的任何一个。
在图60和图61所示的实施例中,用于NC强度的滑块6067和刻度盘6168以及用于NC特性曲线的单选按钮6069已被描述为实施例。然而,本实施方式不限于此。简而言之,仅需要根据新计算的NC强度和新计算的NC特性曲线自动呈现推荐范围6099和推荐标记6198。如上所述,通过向助听装置的用户提示推荐范围和推荐标记,助听装置的用户能够参照推荐范围和推荐标记并任意地设置NC强度和NC特性曲线。在更新设置之后,按下确定按钮6065以结束处理。在不希望改变设置的情况下,不操作滑动条6067、刻度盘6168和单选按钮6069,而是按下确定按钮6065以结束处理。在期望自动设置NC强度和NC特性曲线(NC类型)的情况下,可利用开关6066指定NC强度和NC特性曲线。
现在概述第二实施方式所要实现的效果。根据第二实施方式,能够进行NC函数的接通/断开、强度调整、NC特性曲线的变化的建议、自动控制。即使使用NR函数,在第一路径中的放大增益小的情况下,位置P2处的SNR的改进也小。另一方面,根据第二实施方式,能够进一步提高SNR,并且能够降低助听装置的用户的听力障碍。另外,根据本实施方式2,能够降低在助听装置中重要的消耗电力。
[第三实施方式]
本公开的第三实施方式即使在具有一些噪声的环境中也能够实现听力敏锐度测量。
在说明第三实施方式之前,补充说明背景和问题。由于特征B2:增益根据用户的听力敏锐度改变,所以助听装置必须掌握用户的听力敏锐度。
图62示出了其中进行常规听力敏锐度测量的实施例。由于特征B3:除了第一路径以外还存在第二路径,当存在外部噪声时不能准确地测量听力敏锐度。为此,通常推荐在隔音室中进行听力敏锐度测量。受试者6295处于隔音室6263中,并且屏蔽外部噪声。受试者6295佩戴接收器6261,并且将响应按钮6262保持在手中。测量装置操作者6296操作测量装置6260,以便向受试者6295的接收器6261传输测量信号。受试者6295使用响应按钮6262进行回答。测量装置6260可以使用被称为听力计的装置。虽然在图62所示的示例中,操作人员6296和测量装置6260被示出为在隔音室6263外部,但是操作人员6296和测量装置6260可以在隔音室6263内部。为了容纳操作者6296和测量装置6260,需要较大的隔音室6263。
图63示出了听觉敏锐度测量中噪声的影响的实施例。如以上参考图3所述,关于是否可以稍微听到声音的阈值被称为听力阈值。然而,在图63中由附图标记6383表示的听力阈值是正常听力人员的听力阈值。正常听力人员的听力阈值可以简称为听力阈值。在纯音听力敏锐度测量中,规定频率处的纯音水平被改变并且通过接收器6261被呈现给受试者6295,并且测量阈值。假设,在听力敏锐度测量期间,存在由图63中的附图标记6375表示的噪声A。此时,即使应当能够听到由附图标记6386表示的纯音(测量信号)的正常听觉人也不能听到纯音6386。这是因为噪声A6375的声音压力水平高于纯音6386的声压级,所以纯音6386被噪声A6375掩盖。由于这个原因,通常推荐在隔音室6263中进行听力敏锐度测量。另一方面,在听力受损者的情况下,情况不同。
图64示出了当测量听力受损者的听力敏锐度时噪声的影响的实施例。当听力受损者的听力阈值是听力阈值6484时,未听到纯音(测量信号)6486。具有听力阈值6484的听力受损人员在有或没有噪声A6475的情况下不能听到纯音6486。即,噪声A6475不影响具有听力阈值6484的听力受损者的听力敏锐度的测量。这是因为噪声A6475低于听力受损者的听力阈值6484。以这种方式,听力敏锐度测量中所需的低噪声水平取决于受试者的听力阈值。例如,可以说,在听力敏度测量对其听力敏度已经均匀恶化50dB的听力受损的人进行的情况下,即使在噪声比正常听力人的环境中的噪声高50dB的环境中,听力敏度测量也是可能的。然而,在测量听力敏锐度之前,对象的听力阈值是未知的,因此,在测量听力敏锐度之前,不影响测量的噪声水平是未知的。
图65示出了常规附加听力敏锐度测量的实施例。当今的助听装置中的一些具有听力敏锐度测量功能。助听装置6501接替图62中的接收器6261的作用。受试者6595佩戴助听装置6501。手术操作者6596操作测量装置6560,将测量信号发送至受试者6595的助听装置6501。测量装置6560是例如个人计算机(PC),并且用于听力敏锐度测量的软件可以被安装到其中以再现测量信号。可替换地,测量装置6560发送控制信号以再现存储在助听装置6501中的测量信号。受试者6595然后口头响应或通过姿势响应。图65被称为“另外的”的原因是假设如图62中的低噪声水平环境中的听力敏锐度测量是预先进行的。本文中的目标是通过预测量已知具有高(差)听觉损失水平并且可以在不进入隔音室的情况下经受测量的受试者6501。在图65中示出的听力敏锐度测量可以在期望在从先前的听力敏锐度测量起的几个月内重新测量的情况下使用。期望另外的听力敏锐度测量的原因是,另外的听力敏锐度测量比在隔音室中的听力敏锐度测量更容易。
图66示出了在听力敏锐度测量期间降低噪声的效果的实施例。例如,当具有听力阈值6683的人被呈现纯音(测量信号)6686作为听力敏锐度测量时,如果存在由附图标记6675表示的噪声A,则该人不能听到纯音6686。在噪声A6675成功地降低到噪声B6676的情况下,纯音6686高于听力阈值6683,并且因此,具有听力阈值6683的人可以听到纯音6686。
现在概述以上方面。推荐在诸如隔音室的安静环境中执行听力敏锐度测量。原因是噪声影响听力敏锐度测量。噪声对听力敏锐度测量的影响特性地取决于噪声和受试者的听力敏锐度之间的关系,而不是噪声的绝对水平。当受试者的听力敏锐度恶化时,允许噪声大于正常听力人的情况下的噪声。如果噪声可以降低,尽管不如在隔音室中那么多,则可以测量具有较温和听力损失的人的听力敏锐度。
听力敏锐度测量通常在耳鼻喉科或配备有隔音室等的助听器商店中进行。没有少数听力受损的人感到恼火,他们必须去医院或商店。还需要更容易地使用助听装置。例如,在家用电器商店或通过互联网可以购买的一些现有的集音器使用集音器的简单测量功能来进行集音器设置。然而,不能说普通家庭的声音环境总是安静的。如图63和图64所示,在听力敏锐度恶化已经发展的情况下,可接受的噪声水平更高。然而,如图4、图45和图46中所示,存在各种类型的听力敏锐度,并且即使平均听力水平是中等听力水平,一些频带中的听力敏锐度也可能处于正常水平。鉴于此,第三实施方式提供一种使得能够更容易且更准确的听力敏锐度测量的方法。因此,使用噪声消除技术的降噪方法用于听力敏锐度测量。
图67示出根据本公开的第三实施方式的听力敏锐度测量的实施例。受试者6795佩戴助听装置6701。受试者6795还操作测量装置6764,以将测量信号传输到受试者6795的助听装置6701。测量装置6764是例如PC,并且用于听力敏锐度测量的软件可以被安装到其中以再现测量信号。可替换地,测量装置6764发送控制信号以再现存储在助听装置6701中的测量信号。然后,受试者6795口头地、通过手势、通过按钮操作等响应于测量信号。根据第三实施方式,如图67中所示,在不那么安静的地方如家中,利用助听装置6701可以容易地测量听力敏锐度。
现在描述与考虑使用用于听力测量的噪声消除技术的情况相关的一些问题。
图68示出了由耳机、耳机的衬垫等引起的无源噪声衰减量以及有源噪声衰减量的实施例。耳机的耳机和衬垫被动地减少噪声。通常,听筒等对于高频降噪是有效的。图68中的附图标记6848表示由耳机、耳机的衬垫等引起的无源噪声衰减量的实施例。噪声衰减量6848的具体例子大致为1000Hz以上。另一方面,在图41中所示的噪声消除技术积极地减少噪声。通常,噪声消除技术对于低频降噪是有效的。图68中的附图标记6847表示通过噪声消除技术的有源噪声衰减量的实施例。噪声衰减量6847的具体例子大致为1000Hz以下。如上所述,存在可预期噪声消除效果的频带和不可预期噪声消除效果的频带。
在作为一种听力敏锐度测量的纯音听力敏锐度测量中,如从图4中示出的听力图可以看出,主要在125Hz、250Hz、500Hz、1000Hz、2000Hz、4000Hz、和8000Hz下进行测量。在一些情况下,在750Hz、1500Hz、3000Hz、和6000Hz下进行测量。这里重要的是,听力测量仪器知道被测量的测量声音的频率。一些普通的噪声消除耳机根据环境声音中的噪声的类型改变噪声消除处理的特征曲线。例如,确定噪声的类型是火车噪声还是飞机噪声。在通过听力测量仪器执行噪声消除处理的情况下,不仅噪声消除处理的特征曲线可根据环境声音中的噪声的类型而改变,而且噪声消除处理的特征曲线可根据测量声音的频率而改变。就听力敏锐度测量的目的而言,例如,当进行在250Hz下的测量时,仅需要降低阻碍在250Hz下听纯音的噪声。例如,通过使用图47中的特征曲线B、特征曲线C等,可以使在特定频带中的噪声衰减量大于使用特征曲线A的情况下的噪声衰减量。
图69示出了噪声消除特征曲线根据听力敏锐度测量信号的频率改变的实施例。掩蔽测量声音的噪声主要在测量声音附近的频率处。例如,当在250MHz处的纯音6986是测量信号时,使用特性曲线B6935作为噪声消除的特性曲线,可以有效地减少掩蔽纯音6986的噪声。同样地,当在500MHz处的纯音6987是测量信号时,使用特性曲线C6936,可以有效地减少掩蔽纯音6987的噪声。另一方面,当在4000MHz处的纯音6988是测量信号时,纯音6988的频率在可以预期噪声消除效果的频带之外,并且因此,可以关闭噪声消除功能。
此外,除了根据测量信号的频率改变噪声消除的特征曲线之外,可以根据对象存在的环境中的噪声改变噪声消除的特征曲线。例如,可以将适合于纯音6986的特性曲线形成为特性曲线BB6938,其中,考虑了受试者所处的环境中的噪声。在具有比测量信号的频率低的频率的噪声较大的情况下,类似于特征曲线BB6938的形状是有效的。相对于噪声的频带,噪声掩蔽在高频侧的范围比低频侧的范围宽。同样地,可以将适合于纯音6987的特性曲线形成为特性曲线CC 6939,其中考虑了受试者所处的环境中的噪声。
图70示出根据本公开的第三实施方式的使用用于听力测量的NC信号生成函数的助听装置7001的示例配置。在图70中,麦克风7002、ADC 7004、DAC 7005、以及扬声器7003从左到右逐行示出,但是配置与在图13和图42中示出的助听装置的配置相似。在以下描述中,主要解释在听力测量时的各个组件的功能和操作,重点在于与在图50中示出的助听装置5001的差异。
NC信号生成单元7008从ADC 7004接收声音信号作为输入,并且生成噪声消除信号(NC信号)。NC信号是用于在空间中消除经由在图13和图42中示出的助听装置中的第二路径到达位置P2的噪声的信号。NC信号生成单元7008使用由NC特性确定单元7030确定的NC特性(NC特性曲线和NC强度)生成NC信号。所生成的NC信号被发送到DAC 7005。
声源存储/再现单元7012再现测量信号。要再现的测量信号可以包括脉码调制(PCM)数据等,并且可以根据计算表达式生成。在控制单元7011的控制下,可以改变要再现的测量信号的电平。在该配置中,可以从除了声源存储/再现单元7012之外的外部接口7013提供测量信号。在这种情况下,测量信号的频率和电平也经由外部接口7013发送。在没有发送测量信号的频率和电平的情况下,助听装置可以从测量信号检测它们。在任何情况下,助听装置7001知道测量信号的频率和电平。由于在听力敏锐度测量功能中不使用NR单元7007,所以没有从ADC 7004输入任何声音信号,并且从声源存储/再现单元7012或外部接口7013输入的测量信号在没有任何改变的情况下输出。
在该配置中,振幅/相位调整单元7009可以根据被测量的听力水平调整测量信号的振幅。从振幅/相位调整单元7009输出的测量信号被发送至DAC 7005。DAC 7005将数字信号转换成模拟信号。扬声器7003将电信号转换成声音。从扬声器7003输出的声音包括通过转换由NC信号生成单元生成的NC信号而获得的声音,并且消除已经经过第二路径的噪声。从扬声器7003输出的声音包括测量信号。这里,在图中,在NR单元7007和NC信号生成单元7008之间共享ADC 7004和DAC 7005,但是在一些其他的配置中可以单独地准备ADC 7004和DAC 7005。
外部接口7013可以接收测量信号。配置信息存储单元7014或训练模型存储单元7017中存储的数据也可以通过外部接口7013发送。已经测量并且存储在听力敏锐度信息存储单元7915中的数据可以经由外部接口7013被发送到外部装置。外部接口7013也可以用于从助听装置7001向助听装置7001的用户的信息发送,以及用于从助听装置7001的用户的信息接收。
听力敏锐度信息存储单元7015存储利用助听装置7001测量的用户的听力水平。听力敏锐度信息存储单元7015当然可以存储如在图4中示出的听力敏锐度测量结果。听力敏锐度信息存储单元7015还可以同时存储测量时是否存在噪声消除的特性和噪声水平等。
传感器信息单元7019是关于各种传感器的信息。传感器包括加速度传感器、陀螺仪传感器等。
图71示出根据本公开的第三实施方式的训练模型生成的实施例。训练模型7140接收测量信号信息、输入声音信息和配置信息作为输入,并估计和输出NC特性信息。
在纯音听力敏锐度测量中,测量信号信息可以是测量信号的频率和测量信号的电平。可以以听力计的刻度盘水平(dB HL)或以声压级(dB SPL)测量测量信号的水平的值。除了纯音听力敏度测量之外,可以进行自记录听力测定。简言之,测量信号仅需要是用于测量每个频率处的听力阈值的阈值测量中的信号。
现在描述测量信号信息的训练数据的范围。如在图2中示出的听力图中,纯音听力敏锐度测量中的测量值的范围是-20dB HL至120dB HL。例如,可以设置-20dB Hl至120dBHL的范围。另一方面,例如,在纯音听力敏锐度测量中的测量值范围内,在考虑助听装置7001中的使用的情况下,没有低于0dB HL的有用信息。当平均听力水平为90dB HL以上时,助听装置的助听效果小,并且被认为是应用于耳蜗植入的水平。考虑到这些方面,例如,要设置的有效训练数据范围是0dB Hl至90dB Hl,或者0dB Hl至80dB HL。范围之外的值可以舍入到边界值。在具有耳道声压的表达的情况下,虽然范围取决于频率,但是范围可以估计为在最宽处的0dB SPL至110dB SPL。
输入声音信息是从助听装置7001的麦克风7002收集的声音信号。在听力敏锐度测量时,输入声音信息指示环境噪声。代替声音信号,可以使用转换成声压级的电平值等。进一步,输入声音信息可呈振幅谱或功率谱的形式。巴耳增益可被加到输入声音信号,以计算耳道声压。
至于输入的声音信息,在助听装置7001用于双耳的情况下,从右和左麦克风7002收集的声音是不同的。在所述配置中,来自右和左麦克风7002的声音可独立地或共同地处理。该方面类似于图15中示出的训练模型生成的实施例的情况下的方面。
现在描述输入声音信息的训练数据的范围。通常,在环境中接收的声音的响度的范围被估计为在最宽处的0dB SPL至140dB SPL。为了在助听装置7001中使用,例如,在环境中接收的声音的有效振幅范围是20dB SPL至100dB SPL。就耳道声压而言,例如,设置20dBSPL至120dB SPL的范围是有效的。
测量信号信息的训练数据范围和输入声音信息的训练数据范围可以在数据设置阶段被限制,或者可以被限制为训练训练模型7140之前的预处理。
虽然在训练训练模型7140时可以使用任何适当的训练数据,但是通常有用的是将训练数据归一化以增强识别性能并且加速训练。将听力敏锐度信息的训练数据和输入声音信息的训练数据两者归一化是有效的。在这种情况下,例如,上述训练数据范围被归一化为0.0至1.0的范围。训练数据范围可以在训练数据集的阶段被归一化,或者可以在训练训练模型7140之前被归一化为预处理。
配置信息包括关于听筒的类型、佩戴方法、助听装置的外壳的特性等的信息(如上所述)。在单耳佩戴类型的情况下,不能掩蔽测量耳朵的相对侧上的耳朵,因此,需要关注。包括诸如助听装置7001的听筒(圆顶)的类型的信息(如上所述)。还可以包括经常用于调整常规助听器的诸如RECD的信息。例如,在图13和图42中示出的助听装置中的第二路径中的声音的强度和音调受听筒的类型的影响。当考虑测量声音与第二路径中的声音之间的比较时,第二路径中的声音的预测是重要的,并且听筒和RECD的类型在该预测中是有用的。
在一些情况下,可以排除配置信息。例如,在双耳佩戴的前提下,存在听筒仅具有一种类型的声学特性作为产品配置的情况。有时在TWS等中使用助听功能。
此外,训练模型7140可以为如图19所示的各条配置信息生成训练模型,但是这里不对其进行详细说明。
作为NC特性信息,可以使用噪声消除强度信息。例如,可以使用具有例如0.0至1.0的范围的值。例如,0.0可以被定义为噪声消除被关闭的强度。可以采用从多种类型中选择噪声消除特性曲线的方式。可以选择如上参考图47和图69所述的噪声消除特性曲线。作为来自训练模型7140的输出的NC特性信息与生成图51中所示的训练模型5140的实施例的情况下的NC特性信息相似,并且在本文中不进行其详细说明。
图72示出在创建训练数据时的用户界面的实施例。便携式信息装置7264显示纯音听力敏锐度测量中的测量信号的频率和配置信息。例如,通过检查将要执行训练的频率,顺序地执行训练所检查的频率。在纯音听力敏锐度测量中,125Hz、250Hz、500Hz、1000Hz、2000Hz、4000Hz和8000Hz是总是进行测量的频率,并且可以默认地选择。如果需要,则检查750Hz、1500Hz、3000Hz和6000Hz。在图72示出的实施例中,配置信息是选择使用的听筒的类型、选择使用的耳模以及选择要使用的右或左助听装置。当设置完成时,设置信息被发送到助听装置7201A和7201B,并且助听装置7201A和7201B根据设置操作。助听装置7201A和7201B被示出为具有接近于常规RIC型助听器的形状的装置,并且助听装置8201B被示出为具有接近于常规TWS的形状的装置。然而,本实施方式不限于此。助听装置7201A和7201B与便携式信息装置7264之间的连接可以是无线的或者有线的。
图73示出当受试者(听力受损人员)提供NC特性信息作为回答时使用的用户界面的实施例。作为参考信息,可以显示电流测量信号的频率。在图73所示的实施例中,电流测量信号的频率为500Hz。作为NC特性信息的实施例,可以使用NC特性曲线和NC强度。在便携式信息装置7364上,单选按钮7369和滑动条7367被布置为用于调整NC特性曲线和NC强度的用户界面。在每个测量信号频率处学习NC特性信息。如上面参考图69所述,例如,当测量信号是纯音6986时,对象基于NC特性曲线B6935进行调整。单选按钮7369A用于使NC特性曲线的宽度变窄或变宽。单选按钮7369B用于升高或降低NC特性曲线的中心频率。由此,例如得到NC特性曲线BB6938。例如,当测量信号是纯音6987时,通过与上述类似的操作获得NC特性曲线CC6939。在本实施方式中,作为用于调整NC特性曲线的参数,选择了宽度和频率,但是本实施方式不限于此。例如,当滑杆7367朝向“高”滑动时,助听装置7001的NC强度变为更大的值。在该实施例中,NC函数可利用开关7366断开。例如,因为在诸如4kHz的高频率下不能期望NC函数的效果,所以可选择不使用NC函数。在受试者的周围再现被假设为输入声音信息的声音环境。在该声音环境中,受试者通过单选按钮7369和滑动条7367指定受试者最佳的NC特性曲线和NC强度,并且按下确定按钮7365以输入这些指定。以这种方式,将测量信号信息、输入声音信息、配置信息和NC特性信息添加到训练数据集。
图74以流程图的形式示出在创建训练数据时的过程。图中所示的处理过程与图53中所示的处理过程基本相似,因此,在本文中不对其进行解释。
图73和图74示出对象指定可能的NC特性的实施例,但是本实施方式不限于此。例如,助听装置7001的NC特性可以被自动设置并呈现给对象,并且每次对象可以回答对象是否对NC特性感到舒适。或者,例如,可向受试者呈现具有不同NC特性的两种设置,并且受试者可回答哪一个更舒适。简而言之,仅需要获得与NC特性有关的回答,该回答指示对象是否感到与NC特性舒适。
图75示出了在未生成任何训练模型的情况下的NC特性估计单元7531的示例性配置。NC特性估计单元7531用于助听装置7001的NC特性确定单元7030。
测量信号信息是测量声音的频率和电平,或者可以是测量信号。第一声压级计算单元7528计算测量声音的声压级P_1。在输入到第一声压级计算单元7528的水平值已经是测量声音的声压级的情况下,没有任何改变地输出该输入。第二声压级计算单元7523使用关于测量声音的频率信息、配置信息(听筒的声学特性等)和输入声音水平信息来估计通过第二路径的耳道中的声音(例如,图13和图48中示出的助听装置中的位置P2),并计算与可掩蔽测量声音的窄带噪声对应的声压级P_2。在该计算中,例如,可以使用ISO 532-1975。如图42中所示,麦克风4229可设置在助听装置4201内部,以在该配置中通过第二路径直接获得耳道中的声音的声压级P_2。从助听器4201内部的麦克风4229收集声音的定时优选为测量声音未被输出的时间。在测量声音是间歇声音的情况下,可以在测量声音之间的定时执行声音收集。在即使在输出测量声音的定时也进行声音采集的情况下,估计从采集的声音信号中去除测量信号而得到的信号。如以下表达式(8)所示,需要的NC强度计算单元7524根据穿过第二路径的噪声的电平与测量声音的电平之间的差来计算测量所需的噪声消除强度NC_NEED。
[数学式8]
NC_NEED=max(0,P_2-P_1+β)…(8)
在以上表达式(8)中,常数β是-5dB至10dB的校正值。NC_NEED是非负值。NC强度/NC特性曲线计算单元7532根据需要的NC强度NC_NEED计算NC强度NC_LEVEL和NC特性曲线NC_CURVE。如下式(9)所示,使用函数f3L计算NC强度NC_LEVEL。
[数学式9]
NC_LEVEL=f3L(NC_NEED)…(9)
在上述表达式(9)中,用于计算NC强度NC_LEVEL的f3L被表示为如以下表达式(10)中所示。
[数学式10]
f3L(NC_NEED)=min(NC_NEED,th_NC)…(10)
应注意,在以上表达式(10)中,th_NC表示NC处理的效果的阈值。当需要的NC强度(NC_NEED)高于阈值th_NC时,可行的NC效果不能满足该必要性。在此,th_NC是根据NC函数的特征曲线确定的值。例如,当某些特性曲线的250Hz噪声衰减量是25dB时,可以确定th_NC=25dB。此外,如以下表达式(11)所示,使用函数f3C计算NC特性曲线NC_CURVE。
[数学式11]
NC_CURVE=f3C(NC_NEED)…(11)
在上述表达式(11)中,虽然用于计算NC特性曲线的f3C优先考虑频带的宽度,但是可以选择NC特性曲线使得NC_LEVEL具有足够大的值。例如,当需要的NC强度NC_NEED低时,优先化图47中所示的曲线A 4734。当需要的NC强度NC_NEED高时,在图47中所示的曲线C4736优先。
图76以流程图的形式示出在图75中示出的NC特性估计单元7531中用于估计NC特性的处理过程。第一声压级计算单元7528根据测量信号信息计算测量声音的第一声压级P_1(步骤S7601),并且第二声压级计算单元7523根据关于恒定声音的频率信息、输入声音信息和配置信息,计算与掩蔽测量声音的窄带噪声相对应的第二声压级P_2(步骤S7602)。接下来,需要的NC强度计算单元7524从第一声压级P_1和第二声压级P_2计算必要NC强度NC_NEED(步骤S7603),NC强度/NC特性曲线计算单元7532从必要NC强度NC_NEED计算NC强度NC_LEVEL和NC特性曲线NC_CURVE(步骤S7604),NC特性估计单元7531输出NC强度NC_LEVEL和NC特性曲线NC_CURVE(步骤S7605),然后该处理结束。
在图75示出的示例性配置中,从测量信号信息、输入声音信息和配置信息估计NC特性。然而,可以仅从测量信号信息确定NC特性信息。即,可如以上参考图69描述的特征曲线B 6935或特征曲线C 6936所示确定NC特性信息。
为了训练训练模型,需要许多条训练数据。如以上参考图72至图74在程序的实施例中所描述的,训练数据的创建是耗时且费力的工作。当收集大量训练数据时,重要的是最小化必须手动完成的工作。以上参考图75和图76描述的不使用任何训练模型的方法可以用作用于有效地构建训练数据的工具。首先,使用不使用任何训练模型的方法,并且准备可能的NC特性。接着,手动进行可能的NC特性的微调整,并且将结果用作训练数据。例如,通过不使用任何训练模型的方法计算的NC特性用于确定图73中的滑动条7367和单选按钮7369的初始值。以这种方式,受试者可以仅通过尝试初始值的邻域来确定回答。在对象回答选择题时,可以减少选择题所需的个数。通过这种方法,可以显著提高操作效率。此外,因为算术运算量小,所以即使在廉价的助听装置中也可实现如图75和76中所示的不使用任何训练模型的方法。即,该方法可以用作利用训练模型进行估计的简单替代方案。
图77以流程图的形式示出了助听装置7001中通过NC函数的处理过程。处理过程与图56中的处理过程基本上相似,因此,在本文中不对其进行解释。
图78示出了根据本公开第三实施方式的使用训练模型进行估计的NC特性确定单元的示例性配置。NC特性确定单元7830的配置与图57中所示的NC特性确定单元的配置基本相似,在此处不再对其进行解释。
图79示出根据本公开的第三实施方式的不使用任何训练模型的NC特性确定单元的示例性配置。NC特性确定单元7930的配置基本上与图58中所示的NC特性确定单元的配置相同,并且在此不进行其解释。
作为向用户建议更新NC特性曲线和NC强度的处理,例如,可使用在图59中以流程图的形式示出的处理过程。在新计算出的NC特性曲线和新计算出的NC强度与当前的NC特性曲线和当前的NC强度不同的情况下,存在两种可能实现的方法:自动更新NC特性曲线和NC强度的方法,以及向助听装置7001的用户建议更新的方法。在自动更新的情况下,频繁的更新可能导致不适感,因此,优选以特定时间常数执行更新。在向助听装置7001的用户建议更新的情况下,例如,可以使用图59中所示的流程图。在步骤S5901中,计算新的NC特性曲线和新的NC强度。如图78和79所示。在步骤S5902中,将新计算出的NC特性曲线和新计算出的NC强度与当前的NC特性曲线和当前的NC强度进行比较。如果新计算出的NC特性曲线和新计算出的NC强度与当前的NC特性曲线和当前的NC强度不同(步骤S5902中为否),则处理返回到步骤S5901。如果新计算出的NC特性曲线和新计算出的NC强度与当前的NC特性曲线和当前的NC强度不同(步骤S5902中为是),则处理进入步骤S5903,并向助听装置7001的用户建议更新NC特性曲线和NC强度。建议方法的实施例可以以类似于图29中所示的方式实施。接下来,在步骤S5904中,获得对建议的回答。回答方法的实施例可以类似于图30中所示的方式实施。在步骤S5905中,根据回答的内容来分支处理。如果回答表示期望更新(步骤S5906中为“是”),则处理进入步骤S5906,并且更新NC特性曲线和NC强度。然后,该过程结束。在不需要更新的情况下(步骤S5906为“否”),进入步骤S5907,不更新NC特性曲线和NC强度。然后,该过程结束。
图80示出了当向助听装置7001的用户建议更新NC强度和NC特性曲线并接收来自助听装置7001的用户的回答时使用的用户界面的另一实施例。用户界面的基本配置与在图60中示出的实施例的配置类似。而且,在图80所示的实施例中,为了调整NC特性曲线,例如,调整其宽度和频率。设置表示宽度的单选按钮8069A和表示频率的单选按钮8069B,并与推荐标记8098一起显示。推荐标记8098A至8098D由新算出的NC特性曲线确定。例如,推荐标记8098A是指示新计算的NC特性曲线的宽度是标准的“0”的实施例,并且推荐标记8098C是指示新计算的NC特性曲线的宽度稍微在更宽的侧上的“+1”的实施例。推荐标记8098B是表示新计算的NC特性曲线的频率是标准的“0”的实施例,并且推荐标记8098D也是表示新计算的NC特性曲线的频率是标准的“0”的实施例。
图81示出了呈现推荐范围并且从助听装置的用户获得回答的用户界面的另一个实施例。用户界面的基本配置与图61中所示的实施例的配置类似。在图80中作为实施例示出的推荐标记8098可以像在图81中的推荐标记8198E、推荐标记8198F、推荐标记8198G和推荐标记8198H。在图80和81中,用于NC强度的滑杆8067和刻度盘8168以及用于NC特性曲线的单选按钮8069已被描述为实施例。然而,本实施方式不限于此。简而言之,只要根据新算出的NC强度和新算出的NC特性曲线来自动地提示推荐范围8099和推荐标记8098即可。如上所述,通过向助听装置的用户提示推荐范围和推荐标记,助听装置的用户能够参照推荐范围和推荐标记并任意地设置NC强度和NC特性曲线。在更新设置之后,按下确定按钮8065以结束处理。在不希望改变设置的情况下,不操作滑杆8067、刻度盘8168和单选按钮8069,而是按下确定按钮8065以结束处理。在期望自动设置NC强度和NC特性曲线的情况下,可利用开关8066A指定NC强度和NC特性曲线。NC的接通或断开的设置可用开关8066B来指定。
图82以流程图的形式示出了用于向用户建议改变声音环境的处理过程。在NC的效果不能满足必要性的情况下,可以向助听装置的用户建议停止或停止测量。例如,如果真空吸尘器的声音是问题,则可停止真空吸尘器。如果来自在房间前方行驶的道路的交通声音是问题,则用户可以移动到远离道路的房间。
首先,计算需要的NC强度NC_NEED(步骤S8201)。接下来,确定NC的效果(步骤S8202)。具体地,将所需的NC强度NC_NEED与阈值th_NC进行比较。在需要的NC强度NC_NEED高于阈值th_NC的情况下,确定可行效果不能满足该必要性。在需要的NC强度NC_NEED等于或低于阈值th_NC的情况下,确定可行效果满足必要性。
如果NC有效(步骤S8202中为“是”),则处理返回至步骤S8201。另一方面,在NC无效的情况下(步骤S8202:否),将NC无效的情况发送到助听装置的用户,向助听装置7001的用户提示声音环境的变化(步骤S8203)。建议方法的实施例可以以类似于图29中所示的方式实施。在步骤S8204中,从助听装置的用户获得对建议的回答。回答方法的实施例可以类似于图30中所示的方式实施。
在步骤S8204中,根据从用户获得的回答的内容,处理分支。如果用户的回答指示期望改变(步骤S8205中为是),则暂停听力敏锐度测量(步骤S8206),并且该过程然后结束。在更安静的环境中恢复听力敏锐度测量的情况下,听力敏锐度测量可以从开始再次执行或者可以从其被暂停的地方开始。因为听力敏锐度测量是耗时的测量,所以从听力敏锐度测量被暂停的地方开始,可以减少用户的负担。当测量被暂停时,可以传送针对该效果的消息。另一方面,如果用户的回答指示不需要改变(步骤S8205中为否),则停止听力敏锐度测量(步骤S8207),然后该过程结束。当测量停止时,可以向用户传达指示由于环境噪声而不能进行测量的消息。
图83示出了其中将可能影响听力敏锐度测量的噪声通知给助听装置的用户的实施例。例如,可能影响听力敏锐度测量的噪声是指当具有听力阈值6383的人在图63中以250Hz经受听力敏锐度测量时生成的噪声A6375。对于不是声音专家的普通人,存在不容易识别哪个声音是影响听力敏锐度测量的环境噪声的情况。因此,从助听装置8301的麦克风收集引起听力敏锐度测量部位问题的环境噪声,对环境噪声进行放大,并输出到助听装置8301的用户。用于输出的扬声器可以是助听装置8301的扬声器,或者可以是连接至助听装置8301的便携式信息装置8364A的扬声器。当执行放大时,放大可被限制于引起问题的频带。为此目的,可以使用带通滤波器、低通滤波器、高通滤波器、带阻滤波器等。作为问题的环境噪声被放大到助听装置8301的用户能够听到的程度,使助听装置8301的用户听到环境噪声。以这种方式,助听装置8301的用户可以具体地将环境噪声识别为问题,这有助于用户采取对策。对策措施包括关闭正在产生噪声的装置的电源开关、移动到不能听到噪声的房间等。输出到助听装置8301的用户的环境噪声可以是从麦克风收集的并且在配置中实时输出的声音,或者可以是记录一次并且然后在一些其他配置中输出的声音。使用便携式信息装置8364检查环境噪声的人可以是除了助听装置8301的用户之外的人,诸如家庭成员。家庭成员等可坐在助听装置的用户旁边,或者可位于与助听装置8301的用户分离的地方,便携式信息装置8364经由网络连接至该地方。
当使用NC进行听力敏锐度测量时,事实可以与听力敏锐度测量数据一起被记录。例如,记录在125Hz和250Hz处使用噪声消除,而在其他频率处不使用噪声消除。此外,环境噪声水平可以与听力敏锐度测量数据一起被记录。例如,环境噪声水平可以由所有频带上的一个值表示,或者可以是听力敏锐度测量中的每个频率的值。通过外部接口7013,可以将听力敏锐度测量结果传输至助听装置的外部。在那个时间点,可以连同听力敏锐度测量数据传输使用或不使用噪声消除、NC特性曲线、NC强度、环境噪声水平、以及配置信息。利用该配置,可以稍后检查在什么条件下获得测量结果。经由外部接口传输到助听装置8301外部的听力敏锐度测量结果在一些配置中可显示在例如便携式信息装置8364的屏幕上。例如,图4中示出的听力图容易理解,因为它是广泛和通常使用的格式。助听装置8301外部的发送目的地可以是连接至网络的第三方的信息装置(未示出)。
图84至图89示出听力敏锐度测量结果的显示的实施例。这些是其中在听力图内部或外部显示NC使用注解8433以指示使用NC进行听力敏锐度测量的频率的实施例。这些实施例是使用在125Hz和250Hz的噪声消除的听力敏锐度测量的结果。图84中的NC使用注解8433A是其中在听力敏锐度测量值的附近显示“N”个标记的实施例。图85中的NC使用记录8433B是其中“N”个标记在听力图之外显示在对应于频率的位置处的实施例。图86中的NC使用注释8433C是对应于频率的区域在听力图中加阴影的实施例。图87中的NC使用注解8433D是指示听力敏锐度测量结果的标记以与听力图中的其他不同的颜色显示的实施例。图88中的NC使用注解8433E是指示听力敏锐度测量结果的标记以与听力图中的其他不同的形状显示的实施例。图89中的NC使用注解8433F是显示进行使用NC的听力敏锐度测量的频率的实施例。NC使用注解不限于NC使用注解8433A至8433F,并且可采用其他注解方法。简而言之,可以采用任何形式,只要能够识别使用NC进行了听力敏锐度测量即可。听力敏锐度测量结果可以显示在便携式信息装置等的屏幕上,或者可以打印在纸等上。
尽管已经以助听装置的形式描述了本公开第三实施方式中的NC特性信息的估计,但是也可采用其中将噪声消除功能添加到以上参考图62描述的传统测量装置6260的接收器6261的配置。在这种情况下,上面参考图29、30、80和81所描述的用户界面可以用于由测量装置6260或测量装置操作员6296操作的信息装置(未示出)中。
现在概述了第三实施方式所要实现的效果。在噪声环境中,噪声掩盖了检查声音,并且阻碍了精确测量。另一方面,在第三实施方式中,根据测量声音执行噪声消除处理,从而有效地减少不利地影响测量的噪声。因此,实现了即使在具有一些噪声的环境中也能够实现听力敏锐度测量的效果。因此,例如,即使在诸如家的地方,容易进行听力敏锐度测量的机会增加。此外,已经执行使用噪声消除的测量的事实与听力敏锐度测量结果一起显示。因此,可以稍后检查在什么条件下获得测量结果。
工业实用性
到目前为止,已经参考具体实施方式详细地描述了本公开。然而,显而易见的是,在不背离本公开的范围的情况下,本领域技术人员可以对实施方式进行修改和替换。
本公开可以应用于配置信息变化的各种助听装置,配置信息诸如关于佩戴方法的信息,诸如单耳佩戴或双耳佩戴,以及耳孔类型或耳钩类型,以及关于助听装置的外壳的特性的信息,诸如听筒(圆顶)的类型和耳孔类型或耳钩类型的形状。而且,在本说明书中,主要描述了本公开主要应用于助听装置的实施方式。然而,本公开还可应用于具有透过心功能的TWS、耳机、耳机、集音器、头戴式显示器(HMD)等。
简而言之,已经通过实施例的方式描述了本公开,并且不应以限制的方式解释本说明书中描述的内容。为了确定本公开的主题,应当考虑权利要求。
应注意,本公开还可体现在以下描述的配置中。
(1)一种声音处理装置,包括:
信息估计单元,基于关于每个频率处的听力阈值的听力阈值信息和输入声音信息估计控制信息;以及
信号处理单元,基于所估计的控制信息处理输入声音信号。
(2)根据(1)所述的声音处理装置,其中,
听力阈值信息包括通过在每个频率处测量声音处理装置的用户的听力阈值获得的阈值测量结果或关于在每个频率处的听力敏锐度测量功能中使用的测量信号的声压级的信息中的至少一者。
(2-1)根据(2)所述的声音处理装置,其中,
听力阈值信息包括听力阈值测量的测量结果。
(2-2)根据(2-1)所述的声音处理装置,其中,
听力阈值测量包括纯音听力敏锐度测量的测量结果或自记录几何结构的测量结果中的至少一者。
(2-3)根据(2-2)所述的声音处理装置,其中,
纯音听力敏锐度测量的测量结果包括空气传导听力敏锐度测量的测量结果或骨传导听力敏锐度测量的测量结果中的至少一者。
(2-4)根据(2)所述的声音处理装置,其中,
听力阈值信息包括根据预定公式从听力敏锐度测量的结果计算的增益信息。
(2-5)根据(2)所述的声音处理装置,其中,
听力阈值信息包括基于听力阈值的测量结果。
(2-6)根据(2-5)所述的声音处理装置,其中,
基于听力阈值的测量包括语音辨别测量的测量结果或失真的语音辨别测量的测量结果中的至少一者。
(2-7)根据(2)所述的声音处理装置,其中,
听力敏锐度测量功能是听力阈值测量。
(2-8)根据(2-7)所述的声音处理装置,其中,
听力阈值测量包括纯音听力敏锐度测量的测量结果或自记录几何结构的测量结果中的至少一者。
(2-9)根据(2-8)所述的声音处理装置,其中,
纯音听力敏锐度测量的测量结果包括空气传导听力敏锐度测量的测量结果或骨传导听力敏锐度测量的测量结果中的至少一者。
(2-10)根据(2)所述的声音处理装置,其中,
测量信号的频率和声压级限于听力敏锐度测量所必需的频率和声压级。
(3)根据(1)或(2)所述的声音处理装置,其中,
输入声音信息是输入至声音处理装置的输入声音,声音处理装置输出从信号处理单元输出的声音信号。
(3-1)根据(3)所述的声音处理装置,其中,
输入声音信息包括声音处理装置的用户的发言。
(3-2)根据(3)所述的声音处理装置,其中,
输入声音信息包括至声音处理装置的输入声音的电平值。
(3-3)根据(3)所述的声音处理装置,其中,
输入声音信息包括输入到声音处理装置的输入声音的振幅谱或功率谱中的至少一者。
(4)根据(1)所述的声音处理装置,其中,
信息估计单元还基于关于声音处理装置的配置信息来估计控制信息。
(4-1)根据(4)所述的声音处理装置,其中,
配置信息包括指示声音处理装置是用于单声道佩戴还是双声道佩戴的信息。
(4-2)根据(4)所述的声音处理装置,其中,
配置信息包括连接至声音处理装置的耳机的类型或关于耳机的声学特性信息中的至少一者。
(5)根据(1)至(4)中任一项所述的声音处理装置,其中,
信息估计单元估计关于信号处理单元中的可接受延迟量的信息或者关于在信号处理单元中执行的噪声消除处理的噪声消除特性信息中的至少一者。
(5-1)根据(5)所述的声音处理装置,其中,
信息估计单元估计信号处理单元中的整个处理的可接受延迟量。
(5-2)根据(5)所述的声音处理装置,其中,
信息估计单元估计信号处理单元中的一部分处理的可接受延迟量。
(5-3)根据(5-2)所述的声音处理装置,其中,
一部分处理包括降噪处理或突然声音降低处理中的至少一者。
(5-4)根据(5)所述的声音处理装置,其中,
可接受的延迟量是延迟时间或延迟采样的数量。
(6)根据(5)所述的声音处理装置,其中,
噪声消除特性信息包括噪声消除特性曲线或噪声消除强度中的至少一者。
(7)根据(1)至(6)中任一项所述的声音处理装置,其中,
信息估计单元使用预先训练的训练模型估计控制信息,其中,至少用户的听力敏锐度信息和输入声音信息是解释变量,控制信息是目标变量。
(8)根据(7)所述的声音处理装置,其中,
信号处理单元处理输入至声音处理装置的声音信号,并且
信息估计单元使用已经以声音处理装置的配置信息作为条件训练的训练模型来估计控制信息。
(9)根据(7)或(8)所述的声音处理装置,其中,
训练模型包括第一训练模型和第二训练模型,以及
将第二训练模型的输出设置为第一训练模型的输入。
(9-1)根据(9)所述的声音处理装置,其中,
声音处理装置被应用于助听装置,以及
第一训练模型的训练数据集需要听力受损者的协作,并且第二训练模型的训练数据集不需要听力受损者的协作。
(9-2)根据(9)所述的声音处理装置,其中,
处理至声音处理装置的输入声音信号,
预先训练第二训练模型,其中,输入声音信息和声音处理装置的配置信息是解释变量,用户语音存在/不存在信息是目标变量,并且
第一训练模型已经被训练,其中,听力敏锐度信息、输入声音信息、关于声音处理装置的配置信息以及用户的语音存在/不存在信息是解释变量,可接受的延迟量信息是目标变量。
(9-3)根据(9)所述的声音处理装置,其中,
信号处理单元将输入的声音信号处理至声音处理装置,
预先训练第二训练模型,其中,传感器信息是解释变量,身体运动信息或脸部信息是目标变量,并且
预先训练第一训练模型,其中,听力敏锐度信息、输入声音信息、关于声音处理装置的配置信息、关于声音处理装置的连接信息、传感器信息以及人体运动信息或面部信息是解释变量,可接受延迟量信息是目标变量。
(9-3-1)根据(9-3)所述的声音处理装置,其中,
连接信息包括关于连接至助听装置并向助听装置发送声音信息的外部装置的类型信息。
(9-3-2)根据(9-3)所述的声音处理装置,其中,
连接信息包括关于从连接至声音处理装置的外部装置传输的内容的内容类型信息并且将声音信息传输至声音处理装置。
(9-3-3)根据(9-3)所述的声音处理装置,其中,
传感器信息包括从安装在声音处理装置上的传感器获得的传感器信息。
(9-3-4)根据(9-3)所述的声音处理装置,其中,
传感器信息包括陀螺仪传感器信息或相机信息中的至少一者。
(10)根据(2)所述的声音处理装置,其中,
信息估计单元
根据预定公式,从由测量的结果计算的增益信息、以及向声音处理装置输入的声音的频带特定声压级计算第一声压级,
基于频带特定声压级和关于声音处理装置的配置信息,从声学特性计算第二声压级,并且
基于第一声压级与第二声压级之间的差,确定作为信号处理单元中的可接受延迟量的控制信息、或关于将在信号处理单元中执行的噪声消除处理的噪声消除特性信息。
(10-1)根据(10)所述的声音处理装置,其中,
在用于创建用于估计控制信息的训练模型的训练数据的用户界面中,将所确定的控制信息用作初始值。
(11)根据(2)所述的声音处理装置,其中,
信息估计单元
从关于测量信号的频率信息和声压级信息以及至声音处理装置的输入声音的频带特定声压级计算第一声压级,
基于频带特定声压级和关于声音处理装置的配置信息,从声学特性计算第二声压级,
根据第一声压级与第二声压级之间的差,计算听力敏锐度测量所需的噪声消除强度,以及
基于需要的噪声消除强度确定控制信息,控制信息是与要在信号处理单元中执行的噪声消除处理相关的噪声消除特性。
(11-1)根据(11)所述的声音处理装置,其中,
在用于创建用于估计噪声消除特征信息的训练模型的训练数据的用户界面中,将所确定的噪声消除特征用作初始值。
(12)根据(4)、(10)和(11)中任一项所述的声音处理装置,其中
配置信息包括声音处理装置的听筒的类型、佩戴方法、以及关于声音处理装置的外壳的特征信息中的至少一者。
(13)根据(1)至(12)中任一项所述的声音处理装置,其中,
在声音处理装置中当前使用的第一控制信息与信息估计单元新估计的第二控制信息不同的情况下,进行与在声音处理装置中使用的控制信息的变更相关的处理。
(13-1)根据(13)所述的声音处理装置,其中,
自动执行从第一控制信息到第二控制信息的改变。
(14)根据(13)所述的声音处理装置,其中,
将从第一控制信息改变为第二控制信息推荐给声音处理装置的用户,并且基于来自用户的回答改变控制信息。
(14-1)根据(14)所述的声音处理装置,其中,
通过从声音处理装置的听觉信息输出装置输出语音消息、警报声音或调谐来进行推荐。
(14-2)根据(14)所述的声音处理装置,其中,
使用连接至声音处理装置的外部装置的输出装置进行推荐。
(14-2-1)根据(14-2)所述的声音处理装置,其中,
通过从外部装置的听觉输出装置输出语音消息、警报声音或调谐来进行推荐。
(14-2-2)根据(14-2)所述的声音处理装置,其中,
通过从外部装置的视觉输出装置输出口头消息、符号或绘文字来进行推荐。
(14-2-3)根据(14-2)所述的声音处理装置,其中,
通过从外部装置的触觉输出构件输出振动来进行推荐。
(14-3)根据(14)所述的声音处理装置,其中,
基于对助听装置的物理按钮、触摸传感器、加速度传感器或麦克风的输入来获取用户的回答。
(14-4)根据(14)所述的声音处理装置,其中,
基于对连接至声音处理装置的外部装置的物理按钮、用户界面、加速度传感器或麦克风的输入来获取用户的回答。
(15)根据(14)所述的声音处理装置,其中,
在连接至声音处理装置的外部装置的屏幕上,新估计的第二控制信息与将由用户用来设置控制信息的设置装置一起被显示为推荐标记、推荐值或推荐范围中的一者。
(15-1)根据(15)所述的声音处理装置,其中,
设置装置由滑动条、刻度盘或单选按钮形成。
(16)根据(13)所述的声音处理装置,其中,
当使用所计算的必要噪声消除强度的噪声消除的效果不足时,通知声音处理装置的用户噪声消除的效果不足,向用户建议声音环境的改变,并且基于来自用户的回答确定听力敏锐度测量的暂停或停止。
(16-1)根据(16)所述的声音处理装置,其中,
在基于来自用户的回答暂停听力敏锐度测量之后,从已经改变的声音环境中的暂停点恢复听力敏锐度测量。
(17)根据(1)至(16)中任一项所述的声音处理装置,其中,
声音处理装置包括耳机、耳机、助听器、集音器或头戴式显示器中的一者。
(18)一种声音处理方法,包括:
信息估计步骤,基于与各频率处的听力阈值有关的听力阈值信息和输入声音信息来估计控制信息;以及
信号处理步骤,基于所估计的控制信息处理输入声音信号。
(19)一种助听装置,包括听力敏锐度测量功能,
助听装置
当进行听力敏锐度测量时,收集助听装置周围的环境声音,
放大所收集的环境声音;以及
从助听装置或连接至助听装置的外部装置中的一者的扬声器输出放大的环境声音。
(19-1)根据(19)所述的助听装置,其中
当用于听力敏锐度测量的测量声音停止时,收集环境声音。
(20)根据(19)所述的助听装置,进一步包括:
噪声消除函数,
其中,将指示在听力敏锐度测量期间使用噪声消除的信息与听力敏锐度测量的结果一起记录。
(20-1)根据(20)所述的助听装置,其中
与听力敏锐度测量的结果一起显示噪声消除的存在或不存在。
参考符号列表
101 助听装置
102 麦克风
103 扬声器
104ADC
105DAC
106 信号处理单元
601 助听装置
602 麦克风
603 扬声器
604ADC
605DAC
606 信号处理单元
1301 助听装置
1302 麦克风
1303 扬声器
1304ADC
1305DAC
1306信号处理单元
1312声源存储/再现单元
1313 外部接口
1401 助听装置
1402 麦克风
1403 扬声器
1404 ADC
1405 DAC
1407 NR单元
1409 振幅/相位调整单元
1411 控制单元
1412 声源存储/再现单元
1413 外部接口
1414 配置信息存储单元
1415 听力敏锐度信息存储单元
1416 延迟量确定单元
1417 训练模型存储单元
1501 训练模型
1601 助听装置
1664 便携式信息装置
1764 便携式信息装置
1940 训练模型A
1941 训练模型B
1942 训练模型C
2040 第一训练模型
2041 第二训练模型
2122 第一声压级计算单元
2123 第二声压级计算单元
2124 声压级差计算单元
2125 可接受的延迟量计算单元
2126 可接受的延迟量估计单元
2416 延迟量确定单元
2427 延迟量计算单元
2440 训练模型
2616 延迟量确定单元
2626 可接受的延迟量估计单元
2627 延迟量计算单元
2901 助听装置
2964 便携式信息装置
3001 助听装置
3064 便携式信息装置
3307 NR单元
3351 输入缓冲器
3352 输出缓冲器
3353 窗口应用单元
3354 IFFTM
3355 FFT
3356 IFFT
3357 NR_core
3501 助听装置
3502 麦克风
3503 扬声器
3504 ADC
3505 DAC
3507 NR单元
3509 振幅/相位调整单元
3511 控制单元
3512 声源存储/再现单元
3513 外部接口
3514 配置信息存储单元
3515听力敏锐度信息存储单元
3516 延迟量确定单元
3517 训练模型存储单元
3518 连接信息存储单元
3519 传感器信息单元
3640 训练模型
3797 相机
3840 第一训练模型
3841 第二训练模型
3916 延迟量确定单元
3927 延迟量计算单元
3940 训练模型
4201 助听装置
4202 麦克风
4203 扬声器
4204ADC
4205DAC
4206信号处理单元
4212声源存储/再现单元
4213 外部接口
4229 麦克风
5001 助听装置
5002 麦克风
5003 扬声器
5004ADC
5005DAC
5007NR单元
5008NC信号生成单元
5009振幅/相位调整单元
5011控制单元
5012声源存储/再现单元
5013 外部接口
5014 配置信息存储单元
5015 听力敏锐度存储单元
5017 训练模型存储单元
5019 传感器信息单元
5030NC特性确定单元
5140 训练模型
5264 便携式信息装置
5422 第一声压级计算单元
5423 第二声压级计算单元
5424 声压级差计算单元
5431NC特性估计单元
5432NC强度/NC特性曲线计算单元
5730NC特性确定单元
5740训练模型
5830NC特性确定单元
5831NC特性估计单元
6260 测量装置
6261 接收器
6262 响应按钮
6263 隔音室
6501 助听装置
6560 测量装置
6701 助听装置
6764 测量装置
7001 助听装置
7002 麦克风
7003 扬声器
7004ADC
7005DAC
7007NR单元
7008NC信号生成单元
7009振幅/相位调整单元
7011控制单元
7012声源存储/再现单元
7013 外部接口
7014 配置信息存储单元
7015 听力敏锐度存储单元
7017 训练模型存储单元
7019 传感器信息单元
7030NC特性确定单元
7140训练模型
7201A、7201B助听装置
7264 便携式信息装置
7364 便携式信息装置
7528 第一声压级计算单元
7523 第二声压级计算单元
7524需要的NC强度计算单元
7531NC特性估计单元
7532NC强度/NC特性曲线计算单元
7830NC特性确定单元
7840训练模型
7930NC特性确定单元
7931NC特性估计单元
8064 便携式信息装置
8301 助听装置
8364 便携式信息装置

Claims (20)

1.一种声音处理装置,包括:
信息估计单元,基于关于每个频率处的听力阈值的听力阈值信息和输入声音信息估计控制信息;以及
信号处理单元,基于所估计的控制信息处理输入声音信号。
2.根据权利要求1所述的声音处理装置,其中,
所述听力阈值信息包括通过在每个频率处测量所述声音处理装置的用户的听力阈值获得的阈值测量结果或关于在每个频率处的听力敏锐度测量功能中使用的测量信号的声压级的信息中的至少一者。
3.根据权利要求1所述的声音处理装置,其中,
所述输入声音信息包括到所述声音处理装置的输入声音,所述输入声音输出从所述信号处理单元输出的声音信号。
4.根据权利要求1所述的声音处理装置,其中,
所述信息估计单元还基于关于所述声音处理装置的配置信息估计所述控制信息。
5.根据权利要求1所述的声音处理装置,其中,
所述信息估计单元估计关于所述信号处理单元中的能够接受的延迟量的信息或关于在所述信号处理单元中执行的噪声消除处理的噪声消除特性信息中的至少一者。
6.根据权利要求5所述的声音处理装置,其中,
所述噪声消除特性信息包括噪声消除特性曲线或噪声消除强度中的至少一者。
7.根据权利要求1所述的声音处理装置,其中,
所述信息估计单元使用至少利用关于用户的听力敏锐度信息和作为解释变量的所述输入声音信息、作为目标变量的所述控制信息预先训练的训练模型估计所述控制信息。
8.根据权利要求7所述的声音处理装置,其中,
所述信号处理单元处理到所述声音处理装置的输入声音信号,并且
所述信息估计单元使用利用关于所述声音处理装置的配置信息作为条件训练的训练模型估计所述控制信息。
9.根据权利要求7所述的声音处理装置,其中,
所述训练模型包括第一训练模型和第二训练模型,并且
所述第二训练模型的输出被设置为到所述第一训练模型的输入。
10.根据权利要求2所述的声音处理装置,其中,
信息估计单元
根据预定公式从由测量的结果计算的增益信息、以及到所述声音处理装置的输入声音的频带特定声压级计算第一声压级,
基于所述频带特定声压级和关于所述声音处理装置的配置信息,从声学特性计算第二声压级,并且
基于所述第一声压级与所述第二声压级之间的差,确定所述控制信息,所述控制信息是所述信号处理单元中的能够接受的延迟量或关于在所述信号处理单元中执行的噪声消除处理的噪声消除特性信息中的一者。
11.根据权利要求2所述的声音处理装置,其中,
信息估计单元
从关于所述测量信号的频率信息和声压级信息以及到所述声音处理装置的输入声音的频带特定声压级计算第一声压级,
基于所述频带特定声压级和关于所述声音处理装置的配置信息,从声学特性计算第二声压级,
从所述第一声压级与所述第二声压级之间的差计算听力敏锐度测量所需的噪声消除强度,并且
基于需要的噪声消除强度确定控制信息,所述控制信息是与在所述信号处理单元中执行的噪声消除处理相关的噪声消除特性。
12.根据权利要求4所述的声音处理装置,其中,
所述配置信息包括所述声音处理装置的听筒的类型、佩戴方法、以及关于所述声音处理装置的外壳的特性信息中的至少一者。
13.根据权利要求1所述的声音处理装置,其中,
当在所述声音处理装置中当前使用的第一控制信息与由所述信息估计单元新估计的第二控制信息不同的情况下,执行与在所述声音处理装置中使用的所述控制信息的改变相关的处理。
14.根据权利要求13所述的声音处理装置,其中,
从所述第一控制信息到所述第二控制信息的改变被推荐给所述声音处理装置的用户,并且基于来自所述用户的回答改变所述控制信息。
15.根据权利要求14所述的声音处理装置,其中,
在连接至所述声音处理装置的外部装置的屏幕上,新估计的所述第二控制信息与由所述用户用于设置所述控制信息的设置装置一起作为推荐标记、推荐值或推荐范围中的一者显示。
16.根据权利要求13所述的声音处理装置,其中,
当利用计算的需要的噪声消除强度的噪声消除的效果不足时,通知所述声音处理装置的用户噪声消除的效果不足,向所述用户建议改变声音环境,并且基于来自所述用户的回答确定暂停或停止听力敏锐度测量。
17.根据权利要求1所述的声音处理装置,其中,
所述声音处理装置包括耳机、头戴式耳机、助听器、集音器或头戴式显示器中的一者。
18.一种声音处理方法,包括:
信息估计步骤,基于关于在每个频率处的听力阈值的听力阈值信息和输入声音信息估计控制信息;以及
信号处理步骤,基于所估计的控制信息处理输入声音信号。
19.一种助听装置,包括:
听力敏锐度测量功能,
所述助听装置
当进行听力敏锐度测量时,收集所述助听装置周围的环境声音,
放大所收集的环境声音;并且
从所述助听装置或连接至所述助听装置的外部装置中的一者的扬声器输出所放大的环境声音。
20.根据权利要求19所述的助听装置,还包括:
噪声消除功能,
其中,将指示在所述听力敏锐度测量期间使用噪声消除的信息与所述听力敏锐度测量的结果一起记录。
CN202280048248.8A 2021-07-12 2022-01-31 声音处理装置、声音处理方法和助听装置 Pending CN117678243A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021114718 2021-07-12
JP2021-114718 2021-07-12
PCT/JP2022/003690 WO2023286299A1 (ja) 2021-07-12 2022-01-31 音声処理装置及び音声処理方法、並びに補聴機器

Publications (1)

Publication Number Publication Date
CN117678243A true CN117678243A (zh) 2024-03-08

Family

ID=84919202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280048248.8A Pending CN117678243A (zh) 2021-07-12 2022-01-31 声音处理装置、声音处理方法和助听装置

Country Status (4)

Country Link
EP (1) EP4373129A1 (zh)
JP (1) JPWO2023286299A1 (zh)
CN (1) CN117678243A (zh)
WO (1) WO2023286299A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3451146B2 (ja) 1995-02-17 2003-09-29 株式会社日立製作所 スペクトルサブトラクションを用いた雑音除去システムおよび方法
US6944474B2 (en) * 2001-09-20 2005-09-13 Sound Id Sound enhancement for mobile phones and other products producing personalized audio for users
JP4359599B2 (ja) * 2006-02-28 2009-11-04 リオン株式会社 補聴器
WO2009001559A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 環境適応型補聴器
JP5962038B2 (ja) * 2012-02-03 2016-08-03 ソニー株式会社 信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末
WO2015078501A1 (en) 2013-11-28 2015-06-04 Widex A/S Method of operating a hearing aid system and a hearing aid system

Also Published As

Publication number Publication date
WO2023286299A1 (ja) 2023-01-19
EP4373129A1 (en) 2024-05-22
JPWO2023286299A1 (zh) 2023-01-19

Similar Documents

Publication Publication Date Title
JP6797159B2 (ja) Anrヘッドホンで周囲の自然さを提供すること
JP6120980B2 (ja) 能動ヒアスルーを有するanrヘッドホンのためのユーザインターフェース
JP5639160B2 (ja) イヤホン配置及びその動作方法
JP6055108B2 (ja) バイノーラルテレプレゼンス
DK2870779T3 (en) METHOD AND SYSTEM FOR THE ASSEMBLY OF HEARING AID, FOR SELECTING INDIVIDUALS IN CONSULTATION WITH HEARING AID AND / OR FOR DIAGNOSTIC HEARING TESTS OF HEARING AID
JP5956083B2 (ja) Anrヘッドホンでの閉塞効果低減処理
Laurence et al. A comparison of behind-the-ear high-fidelity linear hearing aids and two-channel compression aids, in the laboratory and in everyday life
EP2640095B2 (en) Method for fitting a hearing aid device with active occlusion control to a user
EP2441277A1 (en) Method and apparatus for directional acoustic fitting of hearing aids
Peeters et al. Subjective and objective evaluation of noise management algorithms
WO2023160275A9 (zh) 声音信号的处理方法及耳机设备
CN117678243A (zh) 声音处理装置、声音处理方法和助听装置
US20240323616A1 (en) Sound processing device, sound processing method, and hearing aid device
KR102695320B1 (ko) 헤드폰에서, 청취자의 청각적 인식 특성을 고려하여, 라이브 전관 방송을 수행하는 방법
US12089005B2 (en) Hearing aid comprising an open loop gain estimator
Bramsløw et al. Hearing aids
US12081944B1 (en) Audio device apparatus for hearing impaired users
WO2024127986A1 (ja) 音声処理システム、音声処理方法、及びプログラム
CN118355674A (zh) 主动抑制噪声和/或堵塞的设备、相应的方法和计算机程序
Fisher Speech referenced dynamic compression limiting: improving loudness comfort and acoustic safety
EP4360335A1 (de) Verfahren zur anpassung einer hörvorrichtung
WO2024051971A1 (de) Verfahren zur anpassung einer hörvorrichtung
Onuma et al. Directivity controlled loudspeaker system and enhanced effects on TV listening in older adults

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination