CN103561643A - 语音辨别能力判定装置、语音辨别能力判定系统、助听器增益决定装置、语音辨别能力判定方法及其程序 - Google Patents

语音辨别能力判定装置、语音辨别能力判定系统、助听器增益决定装置、语音辨别能力判定方法及其程序 Download PDF

Info

Publication number
CN103561643A
CN103561643A CN201380001420.5A CN201380001420A CN103561643A CN 103561643 A CN103561643 A CN 103561643A CN 201380001420 A CN201380001420 A CN 201380001420A CN 103561643 A CN103561643 A CN 103561643A
Authority
CN
China
Prior art keywords
voice
frequency
event related
related potential
composition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380001420.5A
Other languages
English (en)
Other versions
CN103561643B (zh
Inventor
足立信夫
加藤弓子
小泽顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN103561643A publication Critical patent/CN103561643A/zh
Application granted granted Critical
Publication of CN103561643B publication Critical patent/CN103561643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/12Audiometering
    • A61B5/121Audiometering evaluating hearing capacity
    • A61B5/125Audiometering evaluating hearing capacity objective methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/38Acoustic or auditory stimuli
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility

Abstract

本发明的语音辨别能力判定系统从用户的脑波信号中,获取将以第1频度输出的第1语音的输出时刻作为起点的事件相关电位、将以第2频度输出的第1语音的输出时刻作为起点的事件相关电位、将以第1频度输出的第2语音的输出时刻作为起点的事件相关电位、和将以第2频度输出的第2语音的输出时刻作为起点的事件相关电位。MMN判定部针对第1以及第2语音的各个语音,获取以第1频度输出时所获取的事件相关电位与以第2频度输出时所获取的事件相关电位之间的差值信息,判定在差值信息中在第1以及第2语音被输出后的规定时间范围是否存在阴性成分。辨别能力判定部在该判定结果表示存在阴性成分的情况下,判定为用户能够辨别第1以及第2语音。由此,能够高精度地判定用户的语音辨别能力。

Description

语音辨别能力判定装置、语音辨别能力判定系统、助听器增益决定装置、语音辨别能力判定方法及其程序
技术领域
本发明涉及语音辨别能力判定的技术。更为具体而言,本发明涉及为了用于助听器调试等而提高语音的辨别能力的技术、以及决定助听器的增益的技术。
背景技术
专利文献1中公开了作为用于神经学疾病的诱发反应试验系统,失匹配负波(mismatch negativity:MMN)成分被广泛用于发育研究以及睡眠调查。所谓“MMN成分”是脑波信号中包含的事件相关电位的一种,主要是在听觉刺激呈现后100ms~250ms所发生的阴性位移。由于用来测定MMN成分的刺激序列(paradigm)不需要被试验者注意刺激,因此适合于评价难以有意识地引起注意的幼儿或者睡眠中的用户。
专利文献2公开了一种语音清晰度评价系统。专利文献2所记载的系统中,输出部判定从呈现语音的时刻起600ms以上800ms以下的区间的事件相关电位有无阳性成分、从呈现语音的时刻起100ms以上300ms以下的区间的事件相关电位有无阴性成分。根据有无阳性成分的判定结果、和有无阴性成分的判定结果,来评价用户是否清晰地听到所呈现的语音。
【在先技术文献】
【专利文献】
【专利文献1】JP特表2008-503251号公报
【专利文献2】专利第4838401号公报
【发明的概要】
【发明要解决的课题】
但是,专利文献1以及专利文献2中没有公开使用了MMN成分的语音辨别能力的判定方法。
发明内容
本申请的并不是限定的例示性的某个实施方式,提供一种使用MMN成分来判定语音辨别能力的语音辨别能力判定系统。
【用于解决课题的手段】
为了解决上述课题,本发明的一个方式包括语音辨别能力判定系统,其具备:生物体信号测量部,其测量用户的脑波信号;声音刺激决定部,其参照存储了多个语音信息的语音数据库,决定彼此不同的第1语音以及第2语音;输出部,切换进行第1测试和第2测试,在该第1测试中以第1频度输出所述第1语音、且以不同于所述第1频度的第2频度输出所述第2语音,在该第2测试中以所述第2频度输出所述第1语音、且以所述第1频度输出所述第2语音;事件相关电位获取部,其获取所述脑波信号中包含的事件相关电位,获取将以所述第1频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第2频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第1频度输出的所述第2语音的输出时刻作为起点的事件相关电位、和将以所述第2频度输出的所述第2语音的输出时刻作为起点的事件相关电位;MMN判定部,其针对所述第1语音以及所述第2语音的各个语音,获取在以所述第1频度输出时所获取的事件相关电位与以所述第2频度输出时所获取的事件相关电位之间的差值信息,判定所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围是否存在阴性成分;和辨别能力判定部,其在所述MMN判定部的判定结果表示存在所述阴性成分的情况下,判定为所述用户能够辨别所述第1语音以及所述第2语音。
上述的一般的且特定的方式利用系统、方法以及计算机程序来组装,或者可利用系统、方法以及计算机程序的组合来实现。
【发明的效果】
根据本发明的一个方式涉及的语音辨别能力判定系统,可利用MMN成分提高语音辨别能力的判定精度。
附图说明
图1是表示现有的MMN成分的测量刺激序列和虚拟的结果的图。
图2是表示本申请发明者所设计的MMN成分的测量刺激序列和虚拟的结果的图。
图3是表示基于MMN成分的有无的语音辨别能力的判定基准的图。
图4是表示基于N1成分和MMN成分的语音辨别能力的判定基准的图。
图5是表示容易发生听混的分组中的语音数据的共振峰特性以及变化的图。
图6是表示实施方式1的语音辨别能力判定系统的实现方式的结构的图。
图7是表示语音辨别能力判定系统的利用环境的图。
图8是表示实施方式1的硬件结构的图。
图9是表示实施方式1中的语音数据库(DB)的例子的图。
图10是表示实施方式1的语音辨别能力判定系统的全体处理的概要的流程图。
图11是表示电极的配置位置的图。
图12是表示不具有N1判定部的语音辨别能力判定系统150的结构的图。
图13是表示实施方式2的语音辨别能力判定系统的实现方式的结构的图。
图14是表示实施方式2中的语音DB的例子的图。
图15是表示实施方式2的语音辨别能力判定系统的全体处理的概要的流程图。
图16是表示其他的声音刺激的输出方法的图。
图17是表示不具有N1判定部的语音辨别能力判定系统250的结构的图。
具体实施方式
说明本说明书中的用语的定义。
所谓“事件相关电位(event-related potential:也记为“ERP”。)”,是针对刺激而发生的脑波(electroencephalogram:EEG)的电位的变动。
“声音刺激”也被称为听觉刺激,是针对用户而呈现的声音。
所谓“mismatch negativity(MMN)成分”,是事件相关电位的一种,主要是与从声音刺激被呈现的时刻起约100ms以上250ms以下的时间范围中出现的(elicit:occur)脑波的阴性位移相关的成分。如后面详细说明那样,在呈现了多个种类的声音刺激时,通过减去因不同种类的声音刺激而诱发的各事件相关电位来求出MMN成分。
所谓“N1成分”,是从声音刺激被呈现的时刻起约100ms后出现的事件相关电位的阴性成分。
所谓“潜伏时间”,是以成为事件相关电位的起点的刺激(例如听觉刺激或视觉刺激)被呈现的时刻为起点,直至出现事件相关电位的阳性成分或者阴性成分的峰值电位为止的时间。
所谓“阴性成分”,一般是指小于0μV的电位。在存在比较电位的对象的情况下,将具有更负的值的电位也称为阴性成分。
所谓“阳性成分”,一般是指大于0μV的电位。在存在比较电位的对象的情况下,将具有更正的值的电位也称为阳性成分。
在本说明书中,为了定义事件相关电位的成分,将从某个时间点起算的规定时间经过后的时刻表述为例如“潜伏时间约100ms”。这意味着可包含以100ms这一特定的时刻为中心的范围。根据“以事件相关电位(ERP)手册-P300为中心”(加我君孝等编著、篠原出版新社、1995)的第30页所记载的表1,一般来说,在事件相关电位的波形中因个人不同会产生30ms至50ms的差异(偏差)。因此,本说明书中,“约Xms”或者“Xms附近”是以Xms为中心而在其前后包含30至50ms的宽度(例如100ms±30ms、200ms±50ms)。
所谓“语音辨别能力(speech discrimination ability)”,是指能否判别语音的能力。
所谓“刺激的频度”,表示在呈现多个种类的刺激的情况下、各种类的刺激被呈现的程度。例如在呈现“标准刺激”和“偏离刺激”(都在后面叙述)这二种的刺激的情况下,标准刺激的频度被设定为80%,偏离刺激的频度被设定为20%。这意味着在呈现合计10次的刺激时标准刺激被呈现8次、偏离刺激被呈现2次。再者,本公开中,各种的刺激被呈现的定时没有特别限定。在将整体设为1时,也可以将标准刺激的频度设为X(0<X<0.5),将偏离频度设为(1-X)。
再者,在本公开中,有时将因某个刺激而诱发的ERP记为“与刺激对应的ERP”。
以下说明的实施方式的语音辨别能力判定系统通过向用户呈现语音声音,解析因语音刺激而诱发的脑波的反应(事件相关电位),从而判定用户的语音辨别能力。在说明判定方法之前,概述作为语音辨别能力的指标而利用的事件相关电位的MMN成分的特性。然后,详细叙述本申请发明者设计出的语音辨别能力判定方法。
(MMN成分的说明)
MMN成分是按时间序列被呈现了例如频率或者声压不同的多个种类的声音刺激(对应于本公开中所谓的“标准刺激”和“偏离刺激”。)的用户在辨别声音刺激的变化时所产生的脑波的成分。一般情况下,MMN成分是在标准刺激被呈现多次的状况下以偶然被呈现的偏离刺激为起点在100ms以上250ms以下的时间范围所发生的阴性的位移量。
认为MMN成分反映出的是,在第1刺激以及第2刺激被依次呈现的情况下,检测出由第1刺激生成的知觉记忆的痕迹和第2刺激的变化的处理过程。
对于MMN成分的测定方法,提出了准则(Duncan等、Event-relatedpotentials in clinical research:Guideline for eliciting,recording,andquantifying mismatch negativity,P300,and N400、2009年)。
在呈现被称为oddball模式的、频度不同的声音刺激的情况下,从由于以低频度(例如20%)呈现的偏离刺激而引起的脑波的反应中减去由于以高频度(例如80%)所呈现的标准刺激而引起的脑波的反应,来求出MMN成分。更为具体而言,在本公开中,按照MMN成分=因偏离刺激而诱发的事件相关电位-因标准刺激而诱发的事件相关电位来求出。多数情况下标准刺激以及偏离刺激采用纯音,但即便采用纯音以外的声音刺激的情况下也可引起MMN成分。
偏离刺激只要是相对于标准刺激而参加者能够识别的程度的不同的刺激即可。例如,频率、持续时间、强度、有无间隙等与标准刺激不同的刺激可视为偏离刺激。再者,所谓“间隙”,是指利用多个脉冲来生成1个刺激的情况下的脉冲间间隙。需要留意的并不是多个刺激的时间间隔。
此外,在以周期性的时间间隔来呈现刺激的状况下,在要呈现刺激的定时而没有呈现刺激的情况也能够视为偏离刺激。由于实际上没有进行刺激,因此这种刺激被称为欠缺刺激。
在测量MMN成分时,实验参加者不需要在测量中注意问题。因此,利用MMN成分来评价不能长时间持续注意的对象(幼儿或患者)的反应是有效的。
对于作为声音刺激而使用语音的情况下的MMN成分也存在报告。例如Naatanen等对于说芬兰语的人,将标准刺激设为/e/,将偏离刺激设为仅芬兰语中包含的/O~/(“~”为“O”之上。以下相同。)、或者设为说芬兰语的人中包含的/O··/(“··”为“O”之上。以下相同。)来进行呈现。该情况下,对于标准刺激与偏离刺激的物理上的差异,尽管/O~/比/O··/大,但是/O··/情况下的MMN成分大(Naatanen等、Mismatch negativity the meAsurefor central sound representation accuracy,1997年)。这表示MMN成分存在能够用于研究语言的脑内处理或学习过程的工具的可能性。
在MMN成分的现有研究中,以参加者听到声音刺激为前提,来研究针对感觉上输入的声音信息的中枢中的处理差异(例如母语和其他语言的差异)。
但是,利用现有的研究,难以判定听力障碍者的声音刺激的辨别能力。这是因为听力障碍者因频带等的条件而听不到声音刺激、或者难以听到声音刺激。
如上述,MMN成分因欠缺刺激也会引起。由此,在为了研究辨别能力而呈现的声音刺激的某一个没有被听到的情况下,听不到这一现象成为欠缺刺激,引起MMN成分。
因此,在将听力障碍者作为对象的情况下,无法区别是由于能够正确地辨别2种声音刺激而引起了MMN成分、还是由于听不到一个声音刺激而引起了MMN成分。因此,存在尽管听不到声音刺激但错误地判定为有辨别能力的可能性。
这是将难以控制频率或强度的语音用作声音刺激来判定语音的辨别能力时,一开始就显著存在的问题。
此外,在标准刺激和偏离刺激中使用不同的语音,以MMN成分为指标来判定语音辨别能力时,还存在另一个问题。
这个问题是难以判定有无MMN成分。在标准刺激的物理特性与偏离刺激的物理特性之间存在大的差异。在此所谓的物理特性是例如频率结构或强度的时间变化。这些的差异对于因各刺激而引起的ERP也带来较大的影响(差别)。难以确定事件相关电位的差异是纯粹因偏离刺激而诱发的、还是因语音的物理特性而诱发的。也就是说,判定有无MMN成分也是较困难的。由此,有可能在辨别能力的判定结果中存在很多错误。由于声音的频率结构或强度的时间变化本身成为信息,因此存在即便使用为了统一它们而加工之后的声音也难以判定语音辨别能力的情况。
(本发明者的见解)
本申请发明者鉴于上述的两个问题,设计出了降低伴随着听不到声音刺激的影响以及、伴随着声音刺激的物理特性有很大不同的影响而产生的误判断的、新的语音辨别能力的判定方法。
首先,为了解决因听不到声音刺激而引起的辨别能力的误判定的问题,本申请发明者采用了在基于MMN成分的辨别判定之前实施使用了ERP的N1成分的听力判定的方法。
接下来,为了解决因多个语音刺激的物理特性的差异引起的误判定的问题,本申请发明者设计出了如下的方法,即:设定了将同一语音用作标准刺激的测试模块和用作偏离刺激的测试模块。然后,从对应于偏离刺激的ERP中减去对应于标准刺激的ERP,利用其相减波形来判定有无MMN成分。
通过利用这些方法,能够首次实现利用ERP来判定听力障碍者的语音辨别能力的方法。再者,本申请发明者还知道了能够将判定精度维持得较高。以下详细叙述。再者,为了方便说明,从后者的方法开始叙述。
图1(a)~(c)表示为了MMN测量而呈现的二种刺激、因这些刺激引起的虚拟的ERP波形。
图1(a)表示MMN成分测量时的标准刺激(As)以及偏离刺激(BT)。本申请中,以字母A和B来区别声音刺激的种类不同,以下标S以及T来区别是标准刺激还是偏离刺激。
图1(a)示出以高频度呈现标准刺激(As)、而以低频度呈现偏离刺激(BT)的例子。在以高频度呈现标准刺激,以低频度呈现偏离刺激的情况下引起MMN成分。通常,通过下述的式1能够求出MMN。
(式1)
MMN=(由BT引起的ERP)-(由As引起的ERP)
如式1所示,从对应于偏离刺激的ERP中减去对应于标准刺激的ERP来求出MMN成分。图1(b)表示标准刺激的物理特性与偏离刺激的物理特性的差异小的情况下的虚拟的ERP波形,图1(c)表示该差异大的情况下的虚拟的ERP波形。都是表示以各刺激的呈现时刻为起点的时间波形。
如上述准则所示,在标准刺激与偏离刺激的物理特性的差异小的情况下(图1(b)),由于几乎没有声音刺激的物理特性的影响,因此容易判定MMN成分的有无。
在此,所谓标准刺激与偏离刺激的物理特性的差异小,意味着例如频率以收敛于10%以内的程度不同的情况(例如标准刺激1000Hz、偏离刺激1100Hz)或者、声压以收敛于10%以内的程度不同的情况(例如标准刺激60dBSPL、偏离刺激66dBSPL)。在标准刺激与偏离刺激的差异不能说小的情况下,作为是以下所明的物理特性有很大不同的情况来进行说明。
在如语音那样频率或强度的物理特性有很大不同的情况下(图1(c)),难以判定MMN成分的有无。在将语音用作声音刺激时,认为与图1(c)相符的情况较多。
在此应该注意:被试验者的脑波的反应因A、B的各声音刺激的物理特性而不同。因此,在由标准刺激As诱发的脑波和由偏离刺激BT诱发的脑波不同的情况下,难以分别出是由偏离引起的脑波反应的差、或者是由声音刺激的物理特性引起的差。
为此,本申请发明者设计出了如下的方法。即:分别设置将某个语音作为标准刺激而呈现的测试模块、将与该语音相同的语音作为偏离刺激而呈现的测试模块来测定ERP,将相同声音刺激中的偏离刺激和标准刺激之差定义为MMN成分。
图2表示本申请发明者设计出的MMN成分测定刺激序列和虚拟的结果。
在图2(b)中,通过比较因测试模块1中的As引起的ERP和与测试模块2中的AT对应的ERP,从而测定A的声音刺激与B的声音刺激的辨别能力。作为As的声音刺激和AT的声音刺激,物理特性是相同的。
测定在测试模块1中稳定地存在A的声音刺激的环境下由A的声音刺激引起的脑波,并测定在测试模块2中稳定地存在B的声音刺激的环境下存在A的声音刺激时的脑波,如式2所示,对它们的差值MMN(A、B)进行测量。
(式2)
MMN(A,B)=(由AT引起的ERP)-(由As引起的ERP)
在被试验者能够识别出在B的声音刺激环境中A的声音刺激与B的声音刺激是不同的情况下,MMN(A、B)的值较之规定的值而成为阴性。
同样,在图2(c)中,为了测量B的声音刺激的辨别能力,如式3所示那样,测量MMN(B、A)。
(式3)
MMN(B,A)=(由BT引起的ERP)-(由Bs引起的ERP)
然后,如式4所示那样,求出MMN(A,B)与MMN(B,A)之和Sum。Sum是用于MMN的判定的数学式。
(式4)
Sum=MMN(A,B)+MMN(B,A)
对该式4的结果进行阈值处理来判定MMN的有无。在比规定阈值(基准)大的情况下判断为没有MMN成分,在规定阈值(基准)以下的情况下判断为有MMN成分。
这样一来,不会受到声音刺激的物理特性的差异对诱发反应带来的影响,能够判定MMN成分的有无,减少误判定。
例如,根据从偏离刺激所引起的ERP中减去由标准刺激引起的ERP而得到的相减波形的、潜伏时间约200ms前后的阴性成分是否小于规定基准,来判定MMN成分的有无。具体而言,在潜伏时间约200ms前后的阴性成分的电位大于规定基准的情况下判定为没有MMN成分,在规定基准以下的情况下判定为有MMN成分。
再者,在利用阴性成分的振幅(即阴性成分的绝对值)来判定MMN成分的有无的情况下,也可以根据阴性成分的绝对值是否大于规定基准来判定MMN成分的有无。例如,在阴性成分的振幅为规定基准以上的情况下判定为有MMN成分,在阴性成分的振幅小于规定基准的情况下判定为无MMN成分。此外,也可以对标准刺激以及偏离刺激的波形、或相减波形的潜伏时间约200ms前后的振幅进行线性判别。
再者,希望测试模块1中的与As的声音刺激对应的ERP的波形尽量利用不会对BT的刺激造成影响的波形。具体而言,不利用在刚刚呈现了BT的声音刺激之后由As引起的反应,这能够测量AT的稳定的脑波。再者,也可以如图16所示那样,也可以不按照测试模块1/测试模块2那样进行划分,以随机的顺序来呈现声音刺激A和声音刺激B,在一个刺激连续多次的情况下将第2次以后的刺激作为标准刺激,将一个刺激连续多次之后另一个刺激被呈现的情况作为偏离刺激。
图3表示基于本申请发明者所设计的刺激序列中的MMN成分的有无来判定语音辨别能力的方法。图3中是使用了例如2种的声音刺激的情况下的判定结果。由于对于语音A和语音B分别存在MMN成分有无的判定结果,因此被分为图3所示的4个状态。例如,在由语音A以及语音B的双方引起MMN成分的情况下,判定为用户能够辨别语音。
此外,在没有由语音A以及语音B的双方引起MMN成分的情况下,判定为用户无法判别语音。进而,在仅由任意一方引起了MMN成分的情况下,判定为存在没有辨别能力的可能性。更为简单地,也可以判定为没有辨别能力。该情况下,为了实现精度更高的辨别能力的判定,可以持续脑波测量,反复进行刺激直至双方的声音刺激的MMN成分的有无的结果一致为止。
接下来,说明减少由于用户听不到声音刺激而引起的误判定的方法。本申请发明者想到了设置利用与声音刺激对应的ERP的N1成分来判定用户是否听得到声音刺激的步骤。由于N1成分是反映出听觉输入到达了大脑皮层而引起的,因此以N1成分为指标能够判定是否听得到。
为了与脑波中混入的噪声的影响无关地实现高精度的判定,用于判定有无N1成分的ERP,可以与标准刺激、偏离刺激无关地,按刺激的种类进行相加平均来求取。此外,考虑到由标准刺激的反复引起的脑波的习惯性的影响,可以仅在刚刚之前的声音刺激与当前的声音刺激不同的情况下,对与当前的声音刺激对应的ERP进行相加平均,根据其ERP来判定有无N1成分。
图4表示本申请发明者设计出的基于N1成分的有无和MMN成分的有无来判定语音辨别能力的方法。为了简化说明,对于MMN成分的有无,将图3中对于双方的声音刺激而引起MMN成分的情况设为有MMN成分,将此外的情况设为无MMN成分。对于作为声音刺激而呈现的全部语音引起了N1成分的情况下,基于MMN成分的有无,在有MMN成分的情况下判定为能够正确地辨别,在没有MMN成分的情况下判定为无法判别是否听到。
此外,在对于任意的声音刺激而没有引起N1成分的情况下,而存在MMN成分时,判定为一个辅音没有听到。在对于全部的声音刺激而没有引起N1成分,没有MMN成分的情况下,判定全部的辅音没有听到。再者,在对于任意的辅音没有引起N1成分、且没有MMN成分的情况下,和对于全部的声音刺激没有引起N1成分、且有MMN成分的情况下,判定为无法正确地测量脑波。该情况下,可以反复进行脑波测量,直至获得除此以外的判定结果为止。
以下,说明基于语音辨别能力的判定结果来调整助听器增益的方法。再者,所谓“增益”,是指对声音进行放大的量(amount ofgain)。
根据与声音相关的以往的研究可知,语音辨别中从辅音向后续的元音过渡时的共振峰(formant)的过渡特性发挥很大的作用。
由此,在本说明书中,假定将包含辅音、和从辅音向元音的过渡状态的声音作为用于语音辨别能力判定的声音刺激。不过,这仅是一例。也可以将包含元音的语音整体作为声音刺激,还可以将辅音的出现开始规定时间范围的声音作为声音刺激。
本申请发明者认为通过包含从辅音向元音的过渡状态的声音刺激的共振峰的频率的增益调整,能够提高语音辨别能力。所谓共振峰,是声音频谱的峰值,按频率由低到高的顺序如第1、第2那样赋予数字进行称呼。共振峰的频率与声道的形状有关系,个体差异或性别差异也是产生共振峰不同的主要原因。
图5表示对于感知听力障碍者而言难以听懂且容易听混的、有声的破裂音·塞擦音·摩擦音(b/d/g分组)、通鼻音(m/n分组)、无声辅音(k/t/p分组)的共振峰(中田和男、声音、1977年、P165)。图5的纵轴是频率,横轴是时间。图5中的实线所示的是各语音中的共振峰。
图5的各曲线中的左端的虚线是辅音的开始时刻,中间的虚线是元音的开始时刻,从左端的虚线至中间的虚线之间是从辅音向元音的过渡状态。如图5所示,在分组内的语音中,共振峰的过渡特性不同。特别是在b/d/g分组内以及m/n分组内,第2、第3共振峰的过渡特性显著不同,在m/n分组内第2共振峰的频率显著不同。
例如,在将/g/和/d/用作声音刺激的情况下,对于两者而言会引起N1成分,但不会引起MMN成分。该情况下,在/g/和/d/中差异显著的第2以及第3共振峰的频率处提高增益。增益调整对象的第2以及第3共振峰的频率,例如可以设为过渡状态的频带的中心频率,也可以设为过渡状态的最初的频率。此外,既可以设为从辅音开始起规定的时间的共振峰的频率,也可以将过渡状态整体的频带设为增益调整对象。此外,例如,对于两者而言没有引起N1成分的情况下,可以与声音刺激的共振峰频率无关地进行调整,使得整体的增益提高。
本申请发明者根据上述的见解,用于实现语音辨别能力的判定的本发明的一实施方式的概要如以下所示。
本发明的一个方式的语音辨别能力判定系统具备:生物体信号测量部,其测量用户的脑波信号;声音刺激决定部,其参照存储了多个语音信息的语音数据库,决定彼此不同的第1语音以及第2语音;输出部,切换进行第1测试和第2测试,在该第1测试中以第1频度输出所述第1语音、且以不同于所述第1频度的第2频度输出所述第2语音,在该第2测试中以所述第2频度输出所述第1语音、且以所述第1频度输出所述第2语音;事件相关电位获取部,其获取所述脑波信号中包含的事件相关电位,获取将以所述第1频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第2频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第1频度输出的所述第2语音的输出时刻作为起点的事件相关电位、和将以所述第2频度输出的所述第2语音的输出时刻作为起点的事件相关电位;MMN判定部,其针对所述第1语音以及所述第2语音的各个语音,获取在以所述第1频度输出时所获取的事件相关电位与以所述第2频度输出时所获取的事件相关电位之间的差值信息,判定所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围是否存在阴性成分;和辨别能力判定部,其在所述MMN判定部的判定结果表示存在所述阴性成分的情况下,判定为所述用户能够辨别所述第1语音以及所述第2语音。
在某个实施方式中,例如所述输出部将所述第1频度设为X(0<X<0.5),将所述第2频度设为(1-X),而输出所述第1语音以及所述第2语音。
在某个实施方式中,例如所述MMN判定部在判定为在所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围存在规定阈值以下的事件相关电位的情况下,判定为存在阴性成分,在判定为存在比所述规定阈值大的事件相关电位的情况下,判定为不存在阴性成分。
在某个实施方式中,例如所述规定的时间范围是100ms以上250ms以下的时间范围。
在某个实施方式中,所述系统还具备:N1判定部,其判定在以所述第1语音以及所述第2语音各自被输出的时刻为起点的50ms以上150ms以下的时间范围中是否存在作为事件相关电位的阴性成分的N1成分,在所述N1判定部的判定结果表示存在所述N1成分的情况下、且所述MMN判定部的判定结果表示存在所述阴性成分的情况下,所述辨别能力判定部判定为所述用户能够辨别所述第1语音以及所述第2语音。
在某个实施方式中,例如所述N1判定部在判定为在所述第1语音以及所述第2语音被输出后的规定的时间范围存在规定阈值以下的事件相关电位的情况下,判定为存在所述N1成分,在判定为存在比所述规定阈值大的事件相关电位的情况下,判定为不存在所述N1成分。
在某个实施方式中,例如,在所述N1判定部的判定结果表示存在所述N1成分的情况下、且所述MMN判定部的判定结果表示不存在所述阴性成分的情况下,所述辨别能力判定部判定为所述用户听得到所述第1语音以及所述第2语音、且无法辨别所述第1语音以及所述第2语音。
在某个实施方式中,所述系统还具备:N1判定部,其判定在以所述第1语音以及所述第2语音各自被输出的时刻为起点的50ms以上150ms以下的时间范围是否存在作为事件相关电位的阴性成分的N1成分,在所述N1判定部的判定结果表示对于所述第1语音以及所述第2语音的其中一个不存在所述N1成分的情况下、且所述MMN判定部的判定结果表示存在所述阴性成分的情况下,所述辨别能力判定部判定为所述用户无法辨别所述第1语音以及所述第2语音的其中一个。
在某个实施方式中,所述系统还具备:N1判定部,其判定在以所述第1语音以及所述第2语音各自被输出的时刻为起点的50ms以上150ms以下的时间范围是否存在作为事件相关电位的阴性成分的N1成分,在所述N1判定部的判定结果表示对于所述第1语音以及所述第2语音的其中一个存在所述N1成分的情况下、且所述MMN判定部的判定结果表示不存在所述阴性成分的情况下,所述辨别能力判定部判定为所述生物体信号测量部无法正确地测量脑波信号。
在某个实施方式中,所述系统还具备:N1判定部,其判定在以所述第1语音以及所述第2语音各自被输出的时刻为起点的50ms以上150ms以下的时间范围是否存在作为事件相关电位的阴性成分的N1成分,在所述N1判定部的判定结果表示对于所述第1语音以及所述第2语音不存在所述N1成分的情况下、且所述MMN判定部的判定结果表示存在所述阴性成分的情况下,所述辨别能力判定部判定为所述生物体信号测量部无法正确地测量脑波信号。
在某个实施方式中,所述系统还具备:增益决定部,其在所述辨别能力判定部的判定结果表示所述用户无法辨别所述第1语音以及所述第2语音的情况下,决定提高与所述第1语音以及所述第2语音的共振峰频率的差值大的频率相关的增益。
在某个实施方式中,所述系统具备:增益决定部,其在所述辨别能力判定部的判定结果判定为所述用户听不到所述第1语音以及所述第2语音的情况下,决定在可听频率整体提高增益。
在某个实施方式中,例如所述输出部进行所述第1测试,在所述第1语音的输出次数达到规定次数后,将所述第1测试切换为所述第2测试。
本发明的另一方式的语音辨别能力判定装置被用于语音辨别能力判定系统,该语音辨别能力判定系统切换进行:以第1频度输出第1语音且以不同于所述第1频度的第2频度输出所述第2语音的第1测试、和以所述第2频度输出所述第1语音且以所述第1频度输出所述第2语音的第2测试,所述语音辨别能力判定装置具备:事件相关电位获取部,其获取由生物体信号测量部测量的脑波信号中包含的事件相关电位,获取将以所述第1频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第2频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第1频度输出的所述第2语音的输出时刻作为起点的事件相关电位、和将以所述第2频度输出的所述第2语音的输出时刻作为起点的事件相关电位;MMN判定部,其针对所述第1语音以及所述第2语音的各个语音,获取以所述第1频度输出时所获取的事件相关电位与以所述第2频度输出时所获取的事件相关电位之间的差值信息,判定所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围是否存在阴性成分;和辨别能力判定部,在所述MMN判定部的判定结果表示存在所述阴性成分的情况下,判定为所述用户能够辨别所述第1语音以及所述第2语音。
本发明的另一方式的助听器增益决定装置被用于语音辨别能力判定系统,该语音辨别能力判定系统切换进行:以第1频度输出第1语音且以不同于所述第1频度的第2频度输出所述第2语音的第1测试、和以所述第2频度输出所述第1语音且以所述第1频度输出所述第2语音的第2测试,所述助听器增益决定装置具备:事件相关电位获取部,其获取由生物体信号测量部测量的脑波信号中包含的事件相关电位,获取将以所述第1频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第2频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第1频度输出的所述第2语音的输出时刻作为起点的事件相关电位、和将以所述第2频度输出的所述第2语音的输出时刻作为起点的事件相关电位;MMN判定部,其针对所述第1语音以及所述第2语音的各个语音,获取以所述第1频度输出时所获取的事件相关电位与以所述第2频度输出时所获取的事件相关电位之间的差值信息,判定在所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围是否存在阴性成分;辨别能力判定部,在所述MMN判定部的判定结果表示存在所述阴性成分的情况下,判定为所述用户能够辨别所述第1语音以及所述第2语音;和增益决定部,其参照规定的判定基准,基于所述差值信息,来决定助听器的增益。
本发明的又一方式的语音辨别能力判定方法包括:参照存储了多个语音信息的语音数据库来决定彼此不同的第1语音以及第2语音的步骤;测量用户的脑波信号的步骤;进行以第1频度输出所述第1语音、且以不同于所述第1频度的第2频度输出所述第2语音的第1测试的步骤;进行以所述第2频度输出所述第1语音、且以所述第1频度输出所述第2语音的第2测试的步骤;获取所述脑波信号中包含的事件相关电位的步骤,该步骤中获取将以所述第1频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第2频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第1频度输出的所述第2语音的输出时刻作为起点的事件相关电位、和将以所述第2频度输出的所述第2语音的输出时刻作为起点的事件相关电位;针对所述第1语音以及所述第2语音的各个语音,获取以所述第1频度输出时所获取的事件相关电位与以所述第2频度输出时所获取的事件相关电位之间的差值信息,判定所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围是否存在阴性成分的步骤;和在进行判定的所述步骤的判定结果表示存在所述阴性成分的情况下,判定为所述用户能够辨别所述第1语音以及所述第2语音的步骤。
本发明的又一方式的计算机程序由语音辨别能力判定系统的语音辨别能力判定装置中设置的计算机执行,所述计算机程序使所述计算机执行如下步骤:接受由生物体信号测量部测量的用户的脑波信号的步骤;参照存储了多个语音信息的语音数据库来决定彼此不同的第1语音以及第2语音的步骤;进行以第1频度输出所述第1语音、且以不同于所述第1频度的第2频度输出所述第2语音的第1测试的步骤;进行以所述第2频度输出所述第1语音、且以所述第1频度输出所述第2语音的第2测试的步骤;获取所述脑波信号中包含的事件相关电位的步骤,该步骤中获取将以所述第1频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第2频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第1频度输出的所述第2语音的输出时刻作为起点的事件相关电位、和将以所述第2频度输出的所述第2语音的输出时刻作为起点的事件相关电位;针对所述第1语音以及所述第2语音的各个语音,获取以所述第1频度输出时所获取的事件相关电位与以所述第2频度输出时所获取的事件相关电位之间的差值信息,判定所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围是否存在阴性成分的步骤;和在所述MMN判定部的判定结果表示存在所述阴性成分的情况下,判定为所述用户能够辨别所述第1语音以及所述第2语音的步骤。
(实施方式1)
以下,首先说明语音辨别能力判定系统的概要。之后,说明包括语音辨别能力判定装置的语音辨别能力判定系统的结构以及动作。
图6表示本实施方式的语音辨别能力判定系统100的功能模块的结构。
语音辨别能力判定系统100具备声音刺激输出部10、生物体信号测量部50、和语音辨别能力判定装置1。语音辨别能力判定装置1(以下记为“判定装置1”。)具备事件相关电位获取部55、N1判定部60、MMN判定部65、辨别能力判定部70、声音刺激决定部80、和语音数据库(DB)85。为了方便说明,示出了用户5的模块。
判定装置1与声音刺激输出部10以及生物体信号测量部50通过有线或者无线的方式连接。
语音辨别能力判定系统100将语音辨别能力的判定对象即2种以上的语音作为声音刺激而向用户5呈现。基于与声音刺激对应的ERP的N1成分的有无,判定是否为用户5听得到的声音刺激,基于MMN成分的有无,判定用户是否能够辨别声音刺激。各个结构的详细内容在后面叙述。
再者,判定装置1至少具备事件相关电位获取部55、N1判定部60、MMN判定部65、和辨别能力判定部70即可。事件相关电位获取部55利用从声音刺激输出部10输出的声音刺激的信息,根据从生物体信号测量部50接收的脑波来计算事件相关电位。
<利用环境>
图7表示本实施方式的语音辨别能力判定系统100的结构以及利用环境的一例。语音辨别能力判定系统100对应于图6所示的实施方式1的系统结构。
语音辨别能力判定系统100具备:判定装置1、声音刺激输出部10、生物体信号测量部50。
图7所示的判定装置1可以将生物体信号测量部50以及声音刺激输出部10配备在相同的筐体内,判定装置1也可以将生物体信号测量部50以及声音刺激输出部10配备在不同的筐体。在该情况下,生物体信号测量部50将所测量的脑波信号发送至通过无线或者有线连接的判定装置1。
<语音辨别能力判定装置1(判定装置1)>
判定装置1决定向用户5输出的声音刺激的信息。
判定装置1决定用于语音辨别能力判定的声音刺激的语音、呈现定时。声音刺激输出部10将判定装置1所决定的声音刺激呈现给用户5。
此外,从以声音刺激为起点截取的事件相关电位中,提取N1成分以及MMN成分作为用于判定语音辨别能力的特征量,判定它们的有无。然后,根据N1成分以及MMN成分的有无,判定针对所呈现的至少2种以上的声音刺激是否具有辨别能力。
<判定装置1的硬件结构>
图8表示本实施方式的判定装置1的硬件结构。判定装置1具备CPU30、存储器31、和音频控制器32。CPU30、存储器31、和音频控制器32彼此通过总线34连接,相互能够进行数据的交互。
CPU30执行存储器31中保存的计算机程序35。计算机程序35中描述了后述的流程图所示的处理步骤。
判定装置1按照该计算机程序35,利用相同的存储器31中保存的语音DB85,进行对例如声音刺激的呈现、事件相关电位的特征量提取、语音辨别能力的判定、助听器增益的决定等的语音辨别能力判定系统100的整体进行控制的处理。
音频控制器32按照CPU30的命令,分别将应该呈现的声音刺激在规定的定时经由声音刺激输出部10进行输出。
再者,判定装置1可以作为在一个半导体电路中嵌入了计算机程序的DSP等的硬件来实现。这种DSP可以在一个集成电路上实现上述的CPU30、存储器31、音频控制器32的全部功能。
上述计算机程序35可记录在CD-ROM、闪存等记录介质中而作为产品在市面上流通,或者,可通过互联网等的电子通信线路进行传输。具备图8所示的硬件的设备(例如PC)通过读取该计算机程序35,可作为本实施方式的判定装置1发挥功能。
再者,语音DB85可以保存在存储器31中,也可以保存在例如与总线34连接的硬盘(未图示)中。
判定装置1的各功能模块分别对应于通过执行与图8相关联地说明的程序从而由CPU30、存储器31、音频控制器32作为整体而时而实现的功能。
以下,说明语音辨别能力判定系统100的各构成要素。
<语音DB85>
语音DB85保存2种以上的语音的信息。语音DB85至少保存语音的种类的信息。
图9表示将/g/和/d/用作声音刺激的情况下的语音DB85所保存的信息的一例。语音DB85所保存的声音刺激包括:仅辅音、由辅音和从辅音向元音的过渡状态构成的声音、由辅音以及元音构成的语音全体、从辅音的出现开始规定的时间范围的声音。
图9所示的语音DB85按语音的种类(“が”以及“だ”),保存声音文件、以及辅音标记。声音文件的数据有仅辅音、由辅音和从辅音向元音的过渡状态构成的声音、由辅音以及元音构成的语音全体、或者从辅音的出现开始规定的时间范围的声音。
声音文件是语音的声音信号。例如,后述的声音刺激输出部10通过再现声音信号,来提示声音刺激。声音文件只要包含从辅音开始至元音开始的声音信息即可。例如,既可以将标准的测试声音作为声音文件,也可以将收录了安装助听器而主要对话的对象的声音而得到的收录声音作为声音文件。
声音文件优选容易引起N1成分的25ms以上的长度的声音信号。再者,所保存的语音的种类如果是2种以上,则并不限于容易听混的分组内。也可以存储多个容易听混的分组的声音文件。
再者,判定装置1可以作为构成要素而包括语音DB85。也可以将语音DB85作为例如网络上的数据库而设置。判定装置1可以通过无线方式对网络上设置的语音DB85的语音信息进行收发。
<声音刺激决定部80>
声音刺激决定部80参照语音DB85,决定包含多个语音的声音刺激的信息。将多个语音的一例记为第1语音(语音A)以及第2语音(语音B)。
声音刺激的信息可包含所呈现的语音的种类、呈现多个语音的频度、以及呈现声音刺激的耳(右耳或者左耳)、呈现声音刺激的定时。声音刺激的信息至少包含所呈现的语音的种类的信息。
希望语音的种类从想要判定语音辨别能力的范围中进行选择。例如,在判定对于感知听力障碍者(a person with a sensorineural hearing loss)而言容易发生听混的有声的破裂音/塞擦音/摩擦音(b/d/g分组)的辨别能力的情况下,从分组内例如选择语音b和语音d。
对于声音刺激的频度,例如将标准刺激设定为80%,将偏离刺激设定为如20%,使得标准刺激和偏离刺激存在频度差。标准刺激只要是至少频度比偏离刺激大的刺激即可。以下,将标准刺激的频度记为“第1频度”,将偏离刺激的频度记为“第2频度”。第1频度具有规定的范围,第2频度具有比第1频度的规定范围小的范围。例如,第1频度可以是51%以上99%以下,第2频度可以是1%以上49%以下。
标准刺激和偏离刺激按不同测试模块被对调。例如,在第1测试模块中,将语音b作为标准刺激、将语音d作为偏离刺激的情况下,在第2测试模块中,将语音d作为标准刺激,将语音b作为偏离刺激。
第1测试模块和第2测试模块的切换,可以设定为在例如偏离刺激达到了规定的相加次数的定时,也可以是后述的N1成分的有无以及MMN成分的有无的判定结果稳定了之后。
规定的次数例如可以设定为150次。
声音刺激向想要判定辨别能力的一个耳朵呈现。此外,在进行双耳的判定的情况下,向双耳呈现。呈现定时在250ms以上的范围内进行设定,使得声音刺激间的间隔比MMN成分的潜伏时间长。例如,可以设定为声音剌激间的间隔为500ms。
声音刺激决定部80所决定的声音刺激通过声音刺激输出部10向用户5输出。声音刺激决定部80在声音刺激被输出的定时向生物体信号测量部50输出触发信号。声音刺激被输出的定时,是辅音的出现时刻。
也可以向事件相关电位获取部55发送声音刺激的信息。声音刺激的信息包括所呈现的声音刺激的种类、与标准刺激或者偏离刺激相关的信息。再者,声音刺激决定部80可以仅向声音刺激输出部10发送所生成的声音刺激数据。
再者,声音刺激决定部80也可以不具有自身决定声音刺激的功能。只要例如经由未图示的输入装置而能够接收声音刺激的信息即可。例如,可将用户5或者用户5的听力检查者所输入的信息作为声音刺激的信息而采用。
也就是说,判定装置1即便是不存在声音刺激决定部80以及语音DB85也能够发挥功能。
<声音刺激输出部10>
声音刺激输出部10将由声音刺激决定部80决定的语音输出至用户5。从声音刺激输出部10输出的语音包括:仅辅音、由辅音和从辅音向元音的过渡状态构成的声音、由辅音以及元音构成的语音全体、或者从辅音的出现开始规定的时间范围的声音。
再者,脑波信号中包含相对于刺激的用户5的脑内处理等各种的信息。一般,由于元音的声压比辅音大,因此有可能包括因元音而诱发的事件相关电位等。在从脑波信号中获取MMN成分时,存在其他的事件相关电位的成分带来影响的可能性。因此,通过输出不包含元音的声音刺激(例如,仅辅音、由辅音和从辅音向元音的过渡状态构成的声音、或者从辅音的出现开始规定的时间范围的声音),从而有可能降低其他事件相关电位的影响。
此外,通过缩短声音刺激的时间,从而能够减少语音辨别能力判定所需的时间。
声音刺激输出部10将所决定的语音至少分为第1测试模块和第2测试模块进行输出。第1测试模块中,作为标准刺激输出第1语音,作为偏离刺激输出第2语音。第2测试模块中,作为标准刺激输出第2语音,作为偏离刺激输出第1语音。
优选第1测试模块的第1频度以及第2频度、和第2测试模块的第1频度以及第2频度相同,但也可以不相同。
例如,声音刺激输出部10对从声音刺激决定部80接收的声音刺激数据进行再现,向用户5呈现。此外,声音刺激输出部10也可以从外部获取与声音刺激决定部80决定的语音对应的声音刺激数据,向用户5呈现。
对于声音刺激输出部10,例如在判定左右单侧的语音辨别能力的情况下,可选择头戴式耳机,在判定双耳的语音辨别能力的情况下可以是扬声器。优选以不会改变由声音刺激决定部80决定的语音的频率特性的方式,向用户5呈现。
<生物体信号测量部50>
生物体信号测量部50是测量用户5的生物体信号的脑波计。
生物体信号测量部50测量与安装于用户5的探测电极以及基准电极的电位差对应的脑波。
探测电极例如配置在图11(a)所示的国际10-20法(10-20System)的电极位置。探测电极例如安装在中心部的Cz、或前头部的Fz。基准电极例如配置在用户5的乳突。
再者,事件相关电位的特征成分的水平(振幅的大小)或者极性(振幅的正负)存在根据安装脑波测量用的电极的部位、或者基准电极以及探测电极的设定位置而变化的可能性。
但是,基于以下的说明,本领域技术人员能够根据当时的基准电极以及探测电极进行适当改变,来提取事件相关电位的特征,进行语音辨别能力的判定。这种改变例是本发明的范畴。
针对脑波数据,可进行适当的截断频率的频率滤波。生物体信号测量部50将所测量的脑波或者进行滤波后的脑波发送至判定装置1(事件相关电位获取部55)。以下,将测量的脑波或者进行滤波后的脑波的信息也记为“脑波数据”。
脑波数据包含事件相关电位。所谓事件相关电位,是指对于某种刺激而发生的脑波的电位的变化。例如,事件相关电位的信号的种类根据(1)电位的极性(阳性或者阴性)、(2)潜伏时间(从刺激开始到电位发生的时间)、(3)电位的振幅的大小等而被确定。
例如,针对脑波数据进行适当的截断频率的频率滤波,以从判定装置1(声音刺激决定部80)接受的触发为起点,截取规定区间的事件相关电位,将该波形数据(事件相关电位)发送至事件相关电位获取部55。所谓规定区间,是以触发为起点包括从0ms至MMN成分发生的250ms的区间,例如是从触发前100ms至触发后500ms的区间。触发例如设为辅音的出现时刻。
作为频率滤波器而使用带通滤波器的情况下,例如可以按照使0.5Hz至20Hz通过的方式来设定截断频率。假定用户5预先安装了脑波计。
<事件相关电位获取部55>
事件相关电位获取部55从由生物体信号测量部50接收脑波(事件相关电位)中,根据声音刺激输出部10输出的声音刺激的信息,获取事件相关电位。声音刺激的信息可以从声音刺激决定部80接受,也可以从声音刺激输出部10接受。
事件相关电位获取部55按标准刺激以及偏离刺激、并且按声音刺激的语音来获取事件相关电位。此外,事件相关电位获取部55也可以与标准刺激以及偏离刺激无关地,按声音刺激的语音来获取事件相关电位。
例如,作为事件相关电位的计算方法,列举出如下的6种方法。
(1)与标准/偏离无关,对与所有的语音A对应的ERP进行相加平均而得到的事件相关电位
(2)与标准/偏离无关,对与所有的语音B对应的ERP进行相加平均而得到的事件相关电位
(3)对与作为标准刺激的语音A对应的ERP进行相加平均而得到的事件相关电位
(4)对与作为偏离刺激的语音B对应的ERP进行相加平均而得到的事件相关电位
(5)对与作为标准刺激的语音B对应的ERP进行相加平均而得到的事件相关电位
(6)对与作为偏离刺激的语音A对应的ERP进行相加平均而得到的事件相关电位
事件相关电位获取部55将(1)以及(2)的事件相关电位发送至N1判定部60,将(3)至(6)的事件相关电位发送至MMN判定部65。
<N1判定部60>
N1判定部60从事件相关电位获取部55,与标准刺激以及偏离刺激无关地,接受不同声音刺激的种类的事件相关电位。再者,N1判定部60可以接受进行相加平均而得到的事件相关电位。N1判定部60根据所接受的事件相关电位,判定每个声音刺激的N1成分的有无。
例如,N1判定部60基于从声音刺激后开始50ms以上150ms以下的时间范围的事件相关电位中是否存在阴性的峰值,来判定N1成分的有无。
在存在阴性的峰值的情况下判定为存在N1成分,在不存在阴性的峰值的情况下判定为没有N1成分。
在存在比规定阈值小的阴性峰值(阴性的峰值电位)的情况下,判定为存在阴性峰值。此外,在存在具有比规定阈值大的振幅的阴性峰值的情况下,判定为不存在阴性峰值。再者,在利用阴性成分的振幅(即阴性成分的绝对值)来判定N1成分的有无的情况下,可以根据阴性成分的振幅的绝对值是否比规定基准大,来判定N1成分的有无。例如,在阴性成分的振幅的绝对值为规定基准以上的情况下判定为存在N1成分,在阴性成分的振幅的绝对值比规定基准小的情况下判定为没有N1成分。再者,在进行利用了振幅的判定的情况下,需要保证声音刺激后的、用于判定的时间范围的脑波成分是负的。上述的从声音刺激后开始50ms以上200ms以下的时间范围的脑波成分总体上是负的。由此,既可以利用阴性峰值,也可以利用阴性成分的振幅。
N1判定部60通过利用阴性成分的峰值电位、区间平均电位、或者与模板的相似度等,来判定N1成分的有无。
例如,可以通过比较潜伏时间约100ms前后的区间平均电位与规定阈值,来判定N1成分的有无。所谓区间平均电位,可以设定为潜伏时间约100ms的时间范围的平均电位。所谓规定阈值可以设定为例如0μV。
此外,N1判定部60可以保存具有N1成分的波形或者不具有N1成分的波形的模板。N1判定部60也可以通过对所接收的波形与模板之间的相似度和规定阈值进行比较,由此判定N1成分的有无。
在本说明书中,N1判定部60所利用的“规定阈值以下的事件相关电位”包括:潜伏时间约100ms的时间范围的阴性成分的峰值电位或者区间平均电位为规定基准以下的事件相关电位、潜伏时间约100ms的时间范围的阴性成分的振幅为规定基准以上的事件相关电位、与规定的模板之间的相似度为规定基准以上的事件相关电位。此外,N1判定部60所利用的“比上述规定阈值大的事件相关电位”包括:潜伏时间约100ms的时间范围的阴性成分的峰值电位或者区间平均电位比规定基准大的事件相关电位、潜伏时间约100ms的时间范围的阴性成分的振幅比规定基准小的事件相关电位、与规定的模板之间的相似度比规定基准小的事件相关电位。
将有无N1成分的判定结果发送至辨别能力判定部70。再者,有无N1成分的判定结果也可以不是N1成分的有无信息,而是阴性的峰值、潜伏时间约100ms的时间范围的平均电位、或者与模板之间的相似度。
<MMN判定部65>
MMN判定部65按从事件相关电位获取部55接收的声音刺激的种类,从对应于偏离刺激的ERP中获取与标准刺激对应的ERP的差值信息。事件相关电位的差值信息包含事件相关电位的波形信息、以及与潜伏时间建立了对应的电位的值的信息。
MMN判定部65例如在呈现语音A和语音B的情况下,从与测试模块B的偏离刺激的语音A对应的ERP中减去与测试模块A的标准刺激的语音A对应的ERP。
MMN判定部65基于在相减波形的潜伏时间150ms以上250ms以下的时间范围中,是否存在阴性成分,具体而言,在潜伏时间约200ms前后的阴性成分的峰值电位比规定基准大的情况下判定为没有MMN成分,在潜伏时间约200ms前后的阴性成分的峰值电位为规定基准以下的情况下判定为存在MMN成分。
再者,在利用阴性成分的振幅的绝对值来判定MMN成分的有无的情况下,根据阴性成分的振幅的绝对值是否比规定基准大,来判定MMN成分的有无。例如,在阴性成分的振幅的绝对值为规定基准以上的情况下判定为存在MMN成分,在阴性成分的振幅的绝对值比规定基准小的情况下判定为没有MMN成分。
MMN判定部65与N1判定部60同样,在潜伏时间约200ms前后作为阴性成分的值而使用阴性成分的峰值、区间平均电位、与模板的相似度,来判定MMN成分的有无。
例如,也可以计算潜伏时间100ms以上250ms以下的时间的区间平均电位,在区间平均电位为规定阈值以下的情况下存在MMN成分,在比规定阈值大的情况下不存在MMN成分。在此,规定阈值可以设定为例如0μV。
在本说明书中,MMN判定部65所利用的“规定阈值以下的事件相关电位”包括:潜伏时间约200ms前后的时间范围的阴性成分的峰值电位或者区间平均电位为规定基准以下的事件相关电位、潜伏时间约200ms前后的时间范围的阴性成分的振幅为规定基准以上的事件相关电位、与规定的模板的相似度为规定基准以上的事件相关电位。此外,MMN判定部65所利用的“比上述规定阈值大的事件相关电位”包括:潜伏时间约200ms前后的时间范围的阴性成分的峰值电位或者区间平均电位比规定基准大的事件相关电位、潜伏时间约200ms前后的时间范围的阴性成分的振幅比规定基准小的事件相关电位、与规定模板之间的相似度比规定基准小的事件相关电位。
在判定针对2种声音刺激的辨别能力的情况下,也会发生判定为仅一方存在MMN成分的情况,但该情况下可以判定为没有MMN成分,仅在针对所有声音刺激判定为存在MMN成分的情况下判定为存在MMN成分。将有无MMN成分的判别结果发送至辨别能力判定部70。
再者,在与语音A对应的ERP的MMN成分的判定、和与语音B对应的ERP的MMN成分的判定不同的情况下,可以延长检查时间。
将有无N1成分的判定结果发送至辨别能力判定部70。再者,有无MMN成分的判定结果也可以不是MMN成分的有无信息,而是阴性的峰值、潜伏时间100ms以上250ms以下的时间范围的平均电位、或者模板。
<辨别能力判定部70>
辨别能力判定部70参照规定的判定基准,根据从N1判定部60接受的N1成分的有无、和从MMN判定部65接受的MMN成分的有无,来判定语音辨别能力。
图4表示规定的判定基准的一例。
具体而言,将语音A以及语音B中都出现了N1成分的情况判定为图4所示的“有”。将语音A以及语音B的任意一方出现了N1成分的情况判定为图4所示的“仅一方有”。将语音A以及语音B都没出现N1成分的情况判定为图4所示的“无”。
以下,示出根据N1成分的有无和MMN成分的有无的语音辨别能力的判定结果的6个示例。
(1)在针对所有的语音出现N1成分、且存在MMN成分的情况下,判定为能够正确地进行语音辨别。(2)在针对所有的语音出现N1成分、且没有MMN成分的情况下,判定为尽管听得到但无法进行辨别。(3)在针对任意的声音刺激没有出现N1成分、且存在MMN成分的情况下,判定为听不到一方的辅音。(4)在针对任意的声音刺激而没有出现N1成分、且没有MMN成分的情况下,判定为无法正确地测量脑波。(5)在针对所有的声音刺激没有出现N1成分、且存在MMN成分的情况下,判定为无法正确地测量脑波。(6)在针对所有的声音刺激没有出现N1成分、且没有MMN成分的情况下,判定为听不到所有的辅音。
<语音辨别能力判定系统100的处理>
接下来,参照图10来说明图6的语音辨别能力判定系统100的处理步骤。图10是表示语音辨别能力判定系统100的处理步骤的流程图。
<步骤S101>
声音刺激决定部80参照语音DB85,决定向用户5呈现的2种以上的声音刺激的信息。
声音刺激的信息包括作为声音刺激而呈现的语音的种类、刺激频度、呈现声音刺激的耳朵(右耳或者左耳)、以及呈现定时。声音刺激包括:仅辅音、由辅音和从辅音向元音的过渡状态构成的声音、由辅音以及元音构成的语音全体、从辅音的出现开始规定的时间范围的声音。
声音刺激的语音的种类从想要判定语音辨别能力的范围中选择。例如在判定对于感知听力障碍者而言容易发生听混的有声的破裂音·塞擦音·摩擦音(b/d/g分组)的辨别能力的情况下,从分组内例如选择语音b和语音d。对于声音刺激的频度,例如将标准刺激设定为80%,将偏离刺激设定为20%,使得标准刺激和偏离刺激存在频度差。
<步骤S102>
声音刺激输出部10使声音刺激决定部80决定的第1语音为第1测试模块,以所设定频度将声音刺激呈现给用户5。
例如,将语音b作为标准刺激以80%的频度进行呈现,将语音d作为偏离刺激以20%的频度进行呈现。向想要判定辨别能力的一个耳朵呈现声音刺激。在进行双耳的判定的情况下,呈现给双耳。呈现定时设定为:例如声音刺激间的间隔为500ms。然后,声音刺激决定部80经由声音刺激输出部10向用户5输出声音刺激,在该定时向生物体信号测量部50输出触发信号。此外,向事件相关电位获取部55发送声音刺激的内容。所谓声音刺激的内容,是与辅音、标准/偏离相关的信息。
<步骤S103>
生物体信号测量部50以在步骤S102以及步骤S103中声音刺激决定部80输出的声音刺激呈现定时的触发为起点,截取例如-100以上500ms以下的时间范围的脑波。生物体信号测量部50向事件相关电位获取部55发生截取出脑波。所谓截取出的脑波,并不仅仅是规定的时间范围的脑波,也可以是对规定的时间范围赋予记号的、所有的时间范围的脑波。
<步骤S104>
事件相关电位获取部55基于从生物体信号测量部50接受的每个声音刺激的脑波、从声音刺激决定部80接受的声音刺激的内容的信息,对脑波进行相加平均来计算事件相关电位。
<步骤S105>
声音刺激决定部80判定偏离刺激是否达到了规定次数。本实施方式中,规定的次数例如为150次。
在没有达到规定次数的情况下,处理返回至步骤S102,在达到了规定次数的情况下,处理进入步骤S106。
<步骤S106>
声音刺激输出部10使声音刺激决定部80决定的第2语音为第2测试模块,以所设定的频度将声音刺激呈现给用户5。
例如,将语音d作为标准刺激以80%的频度进行呈现,将语音b作为偏离刺激以20%的频度呈现。除此以外,与步骤S102同样。
<步骤S107以及S108>
由于步骤S107以及S108的处理分别与步骤S103以及S104的处理相同,因此省略它们的说明。
<步骤S109>
声音刺激决定部80判定偏离刺激是否达到了规定次数。本实施方式中,规定的次数例如为150次。
在没有达到规定次数的情况下,处理返回至步骤S106,在达到了规定次数的情况下,处理进入步骤S110以及S111。
为了判定N1成分和MMN成分的有无,分别计算如下的6个事件相关电位。
(1)与标准/偏离无关,对与所有的语音A对应的ERP进行相加平均而得到的事件相关电位
(2)与标准/偏离无关,对与所有的语音B对应的ERP进行相加平均而得到的事件相关电位
(3)对与作为标准刺激的语音A对应的ERP进行相加平均而得到的事件相关电位
(4)对与作为偏离刺激的语音B对应的ERP进行相加平均而得到的事件相关电位
(5)对与作为标准刺激的语音B对应的ERP进行相加平均而得到的事件相关电位
(6)对与作为偏离刺激的语音A对应的ERP进行相加平均而得到的事件相关电位。
事件相关电位获取部55向N1判定部60发送(1)以及(2)的事件相关电位,向MMN判定部65发送(3)至(6)的事件相关电位。
<步骤S110>
N1判定部60基于从事件相关电位获取部55接受的、与标准刺激以及偏离刺激无关地按每个声音刺激的种类进行相加平均而得到的事件相关电位,判定每个声音刺激有无N1成分。
对于N1成分的有无的判定,基于事件相关电位的潜伏时间约100ms前后是否存在阴性的峰值,在存在阴性的峰值的情况下存在N1成分,在不存在阴性的峰值的情况下没有N1成分。
对于N1成分的有无的判定,例如也可以计算潜伏时间约100ms前后的区间平均电位,在区间平均电位比规定阈值小的情况下存在N1成分,在比规定阈值大的情况下没有N1成分。在此,所谓规定阈值,例如可以设为0μV。然后,将N1成分的有无的判定结果发送至辨别能力判定部70。
<步骤S111>
MMN判定部65,按从事件相关电位获取部55接受的、声音刺激的种类,从偏离刺激中减去标准刺激的反应。
例如,在呈现语音A和语音B的情况下,从作为偏离刺激的语音A中减去作为标准刺激的语音A的反应。然后,基于在相减波形的潜伏时间约150ms以上250ms以下的时间范围的脑波中是否存在阴性成分,在存在阴性成分的情况下判定为具有MMN成分,在不存在的情况下判定为没有MMN成分。
在判定针对2种的声音刺激的辨别能力的情况下,也考虑判定为仅一方存在MMN成分的情况,但是该情况下也可以判定为没有MMN成分,仅在判定为针对所有的声音刺激存在MMN成分的情况下认为存在MMN成分。将有无MMN成分的判别结果发送至辨别能力判定部70。
<步骤S112>
辨别能力判定部70根据从N1判定部60和MMN判定部65接受的、N1成分的有无和MMN成分的有无,来判定语音的辨别能力。
具体而言,利用上述图4的判定基准,来判定语音的辨别能力。在针对所有的听觉刺激引起了N1成分的情况下,基于MMN成分的有无,在存在MMN成分时,判定为能够正确地辨别,在没有MMN成分的情况下,判定为尽管听得到但是无法辨别。此外,在针对任意的听觉刺激都没有引起N1成分的情况下,在存在MMN成分时,判定为一个辅音听不到。在针对所有的听觉刺激没有引起N1成分,没有MMN成分的情况下,判定为所有的辅音都听不到。再者,针对任意的辅音没有引起N1成分且没有MMN成分的情况下、和针对所有的听觉刺激没有引起N1成分且存在MMN成分的情况下,判定为无法正确地测量脑波。该情况下,可以反复进行脑波测量,直至得到除此以外的判定结果为止。然后,将辨别能力的判定结果保存在例如非易失性存储器(未图示)中。或者判定装置1也可以将辨别能力的判定结果输出至外部设备。外部设备可利用该判定结果决定助听器的增益。
根据本实施方式的语音辨别能力判定系统100,将2种以上的语音的、包含从辅音开始至元音开始的过渡状态的声音作为声音刺激赋予频度差进行呈现,基于与声音刺激对应的ERP的N1成分和MMN成分的有无,判别语音辨别能力。由此,能够高精度地进行语音辨别能力的判定。
在本实施方式的说明中,生物体信号测量部50以来自声音刺激决定部80的触发为起点截取出预先确定的范围的事件相关电位,发送至事件相关电位获取部55。但是,该处理仅是一例。作为其他的处理,例如,生物体信号测量部50可以持续地测量脑波,事件相关电位获取部55进行必要的事件相关电位的截取以及基线修正。如果是该结构,则声音刺激决定部80不需要向生物体信号测量部50发送触发,只要向事件相关电位获取部55发送触发即可。
(实施方式1的变形例)
在实施方式1中,假定了存在用户听不到声音刺激的情况,从而判定N1成分的有无。并且,在获知存在N1成分时,认为听得到声音刺激,进入接下来的MMN成分的判定处理。
但是,当然也可假定预先知道了能够感知声音刺激的情况。该情况下,可以说保证不存在欠缺刺激,无需判定N1成分的有无。为了保证不存在欠缺刺激的情况,例如事先通过主观报告确认是否听得到声音刺激,达到了被约束为所有的声音刺激都听得到的这种状况即可。
为此,作为实施方式1的变形例,考虑不具备N1判定部60的语音辨别能力判定系统。
图12表示省略了N1判定部60的语音辨别能力判定系统150的结构。在该语音辨别能力判定系统150中,辨别能力判定部70基于MMN判定部65判定出的MMN成分的有无、图3所示的判定基准,来判定语音辨别能力。
语音辨别能力判定装置15至少具备事件相关电位获取部55、MMN判定部65、和辨别能力判定部70即可。如与实施方式1关联地所进行的说明那样,声音刺激决定部80以及语音DB85也可不是必需的。
语音辨别能力判定装置15的处理的步骤,由除去了图10的步骤S110之后的步骤S101~S112来实现。
(实施方式2)
实施方式2的语音辨别能力判定系统200根据语音辨别能力判定的结果,决定为了提高辨别能力要如何调整助听器的每个频率的增益。
实施方式2的语音辨别能力判定系统200除了语音辨别能力的判定,还利用声音刺激的共振峰频率以及强度,决定与规定的输入声压对应的不同频率的助听器增益。
本实施方式的语音辨别能力判定系统200接受基于N1成分和MMN成分的有无的语音辨别能力的判定结果,在判定为没有语音辨别能力的情况下,调整与作为声音刺激而呈现的语音的共振峰关联的频率处的助听器的增益。
图13表示本实施方式的语音辨别能力判定系统200的功能模块的结构。
语音辨别能力判定系统200具有声音刺激输出部10、生物体信号测量部50、和助听器增益决定装置2。以下,将助听器增益决定装置2简记为“决定装置2”。对于与图6相同的模块赋予同一符号,并省略其说明。再者,决定装置2的硬件结构如图8所示。通过执行规定了与程序35(图8)不同的处理的程序,实现图13所示的本实施方式的决定装置2。
本实施方式的决定装置2与实施方式1的判定装置1之间的不同点在于:取代了语音DB85而设有语音DB86、以及新设置了增益决定部75。
以下,说明语音DB86以及增益决定部75。
<语音DB86>
语音DB86与语音DB85同样,是保存作为声音刺激而呈现的2种以上的语音的信息的数据库。图14表示将例如/g/和/d/用作检查语音的情况下的语音DB86的例子。与语音DB85的不同点在于,按每个语音保存在了共振峰的频率以及强度的信息。
声音刺激的共振峰的频率例如是由从声音文件的声音数据开始起规定的定时处的频谱包络的峰值所决定的数值。例如,在求取第1至第3共振峰的频率的情况下,只要从频率小的一方开始求出3个频谱包络的峰值即可。此外,强度是每个共振峰的频率处的声压,例如是利用能够测量不同频率的声压的噪声计可进行测定的信息。
<增益决定部75>
增益决定部75接受与从辨别能力判定部70接收的语音的辨别能力相关的判定结果,参照规定基准,根据判定结果来决定助听器的增益。
所谓“助听器的增益”,是按输入至助听器的声音的声压或者频率由助听器对声音进行放大的量。例如是输入至助听器的声音的声压与从助听器输出的声音的声压之间的差。
更为具体而言,增益决定部75将MMN成分的有无以及N1成分的有无、助听器增益的决定方法作为规定基准进行保持,来决定助听器的增益。
N1成分也可以不是N1成分的有无的信息,而是接受潜伏时间约100ms的时间范围的阴性的峰值电位或者振幅的值、潜伏时间约100ms的时间范围的平均电位、或者与模板的相似度。
增益决定部75在用户5无法进行语音辨别、或者听不到语音的情况下,参照语音DB85,按照提高与语音的共振峰频率以及声压对应的增益的方式来决定增益。
例如,在判定为尽管听得到但无法辨别的情况下,可以在声音刺激间针对共振峰频率之差大的频率,决定为提高增益。此外,例如在判定为听不到声音刺激的情况下,可以与声音刺激的共振峰频率无关地,决定为提高所有频率的助听器增益。然后,反映出所决定的增益的信息,改写语音DB86的声音数据以及声音刺激的信息。
例如,在图14这种的共振峰的条件下,作为语音辨别能力而判定为尽管听得到但是无法辨别的情况下,改写为在声音刺激间在共振峰频率存在差的第3共振峰的2500Hz以及3000Hz的声压提高5dB的这种声音数据,将第3共振峰的强度的信息分别逐次提高5dB。声音数据的改写通过利用了均衡器(equalizer)功能的处理能够简单地实现。
接下来,参照图15的流程图,说明语音辨别能力判定系统200中进行的全部的处理的步骤。
图15表示本实施方式的语音辨别能力判定系统200的处理步骤。图15中,对于进行与语音辨别能力判定系统100的处理(图10)相同的处理的步骤,赋予同一参照符号,并且省略其说明。
本实施方式的语音辨别能力判定系统200的处理与实施方式1的语音辨别能力判定系统100的处理(图10)的不同点在于,新追加了与增益的决定以及反映相关的步骤S201至步骤S202。
<步骤S201>
增益决定部75参照增益决定部75所保存的规定基准,基于与辨别能力判定部70判定出的语音的辨别能力相关的判定结果,来决定助听器的增益。
例如,增益决定部75在与从辨别能力判定部70接收的声音刺激的辨别能力相关的判定结果中,判定为无法辨别的情况下、或判定为听不到声音刺激的情况下,参照语音DB86,决定为提高与声音刺激的共振峰频率以及强度相关的增益。
例如,在判定为尽管听得到但无法辨别的情况下,可以针对在声音刺激间共振峰频率之差大的频率,决定为提高助听器增益。此外,例如判定为听不到辅音的情况下,可以与声音刺激的共振峰频率无关地,决定为提高所有频率的助听器增益。
<步骤S202>
增益决定部75将步骤S201中决定出的增益反映在语音DB86中。
本实施方式中,假定增益决定部75反映出所决定的增益来更新语音DB86,但也可以不更新。增益决定部75可以保存所决定的增益。此外,也可以将所决定的增益呈现给助听器的调整者,助听器调整者用于用户5的助听器的增益决定。
根据本实施方式的语音辨别能力判定系统200,将2种以上的语音的、包含从辅音开始至元音开始的过渡状态的声音作为声音刺激赋予频度差来进行呈现,基于与声音刺激对应的ERP的N1成分和MMN成分的有无,判定语音辨别能力。由此,对于用户而言不必进行麻烦的回答输入,能够判定每个用户的语音辨别能力。并且,在判定为没有语音辨别能力的情况下,决定与作为声音刺激而呈现的语音的共振峰相关联的频率处的增益。由此,获得在助听器装配使用时与听力相关的不满较少的、有关助听器调试的信息。
(实施方式2的变形例)
如上述,作为实施方式1的变形例,说明了判定装置1不具备N1判定部60的语音辨别能力判定系统。
作为实施方式2的变形例,也同样考虑不具备N1判定部的助听器增益决定装置。
图17表示省略了N1判定部60的语音辨别能力判定系统250的结构。语音辨别能力判定系统250的助听器增益决定装置25至少具备事件相关电位获取部55、MMN判定部65、和增益决定部75即可。
事件相关电位获取部55基于从声音刺激输出部10输出的声音刺激的信息,从生物体信号测量部50获取事件相关电位。
增益决定部75可以将MMN成分的有无以及助听器增益的决定方法作为规定基准来保存,可参照规定基准,基于MMN成分的有无来决定助听器增益。
再者,可以取代MMN成分的有无的信息,接受潜伏时间150ms以上250ms以下的时间范围的阴性的峰值电位或者振幅的值、潜伏时间150ms以上250ms以下的时间范围的平均电位、或者与模板的相似度。
增益决定部75可以基于潜伏时间150ms以上250ms以下的时间范围的阴性的峰值的振幅的值、潜伏时间150ms以上250ms以下的时间范围的平均电位、或者包含潜伏时间150ms以上250ms以下的时间范围的波形的脑波信号与模板的相似度,来决定助听器增益。
增益决定部75可以基于潜伏时间约100ms的时间范围的阴性的峰值电位或者振幅的值、潜伏时间约100ms的时间范围的平均电位、或者与模板的相似度,来决定助听器增益。
【产业上的可利用性】
根据本发明的一方式所涉及的语音辨别能力判定系统,能够根据每个用户的脑波直接求出语音辨别能力,因此,对于助听器店或家庭等的助听器的调整是有用的。
【符号的说明】
1、2、15语音辨别能力判定装置
5用户
1、15语音辨别能力判定装置(判定装置)
2、25助听器增益决定装置(决定装置)
10声音刺激输出部
50生物体信号测量部
55事件相关电位获取部
60N1判定部
65MMN判定部
70辨别能力判定部
75增益决定部
80声音刺激决定部
85、86语音DB
100、150、200、250语音辨别能力判定系统

Claims (17)

1.一种语音辨别能力判定系统,具备:
生物体信号测量部,其测量用户的脑波信号;
声音刺激决定部,其参照存储了多个语音信息的语音数据库,决定彼此不同的第1语音以及第2语音;
输出部,切换进行第1测试和第2测试,在该第1测试中以第1频度输出所述第1语音、且以不同于所述第1频度的第2频度输出所述第2语音,在该第2测试中以所述第2频度输出所述第1语音、且以所述第1频度输出所述第2语音;
事件相关电位获取部,其获取所述脑波信号中包含的事件相关电位,获取将以所述第1频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第2频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第1频度输出的所述第2语音的输出时刻作为起点的事件相关电位、和将以所述第2频度输出的所述第2语音的输出时刻作为起点的事件相关电位;
MMN判定部,其针对所述第1语音以及所述第2语音的各个语音,获取在以所述第1频度输出时所获取的事件相关电位与以所述第2频度输出时所获取的事件相关电位之间的差值信息,判定所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围是否存在阴性成分;和
辨别能力判定部,其在所述MMN判定部的判定结果表示存在所述阴性成分的情况下,判定为所述用户能够辨别所述第1语音以及所述第2语音。
2.根据权利要求1所述的语音辨别能力判定系统,其中,
所述输出部将所述第1频度设为X、将所述第2频度设为(1-X)来输出所述第1语音以及所述第2语音,其中,0<X<0.5。
3.根据权利要求2所述的语音辨别能力判定系统,其中,
所述MMN判定部,在判定为在所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围存在规定阈值以下的事件相关电位的情况下,判定为存在阴性成分,在判定为存在比所述规定阈值大的事件相关电位的情况下,判定为不存在阴性成分。
4.根据权利要求1至3任一项所述的语音辨别能力判定系统,其中,
所述规定的时间范围是100ms以上250ms以下的时间范围。
5.根据权利要求4所述的语音辨别能力判定系统,其中,
还具备:N1判定部,其判定在以所述第1语音以及所述第2语音各自被输出的时刻为起点的50ms以上150ms以下的时间范围中是否存在作为事件相关电位的阴性成分的N1成分,
在所述N1判定部的判定结果表示存在所述N1成分的情况下、且所述MMN判定部的判定结果表示存在所述阴性成分的情况下,所述辨别能力判定部判定为所述用户能够辨别所述第1语音以及所述第2语音。
6.根据权利要求5所述的语音辨别能力判定系统,其中,
所述N1判定部,在判定为在所述第1语音以及所述第2语音被输出后的规定的时间范围存在规定阈值以下的事件相关电位的情况下,判定为存在所述N1成分,在判定为存在比所述规定阈值大的事件相关电位的情况下,判定为不存在所述N1成分。
7.根据权利要求5所述的语音辨别能力判定系统,其中,
在所述N1判定部的判定结果表示存在所述N1成分的情况下、且所述MMN判定部的判定结果表示不存在所述阴性成分的情况下,所述辨别能力判定部判定为所述用户听得到所述第1语音以及所述第2语音、且无法辨别所述第1语音以及所述第2语音。
8.根据权利要求4所述的语音辨别能力判定系统,其中,
还具备:N1判定部,其判定在以所述第1语音以及所述第2语音各自被输出的时刻为起点的50ms以上150ms以下的时间范围是否存在作为事件相关电位的阴性成分的N1成分,
在所述N1判定部的判定结果表示对于所述第1语音以及所述第2语音的其中一个不存在所述N1成分的情况下、且所述MMN判定部的判定结果表示存在所述阴性成分的情况下,所述辨别能力判定部判定为所述用户无法辨别所述第1语音以及所述第2语音的其中一个。
9.根据权利要求5所述的语音辨别能力判定系统,其中,
还具备:N1判定部,其判定在以所述第1语音以及所述第2语音各自被输出的时刻为起点的50ms以上150ms以下的时间范围是否存在作为事件相关电位的阴性成分的N1成分,
在所述N1判定部的判定结果表示对于所述第1语音以及所述第2语音的其中一个存在所述N1成分的情况下、且所述MMN判定部的判定结果表示不存在所述阴性成分的情况下,所述辨别能力判定部判定为所述生物体信号测量部无法正确地测量脑波信号。
10.根据权利要求5所述的语音辨别能力判定系统,其中,
还具备:N1判定部,其判定在以所述第1语音以及所述第2语音各自被输出的时刻为起点的50ms以上150ms以下的时间范围是否存在作为事件相关电位的阴性成分的N1成分,
在所述N1判定部的判定结果表示对于所述第1语音以及所述第2语音不存在所述N1成分的情况下、且所述MMN判定部的判定结果表示存在所述阴性成分的情况下,所述辨别能力判定部判定为所述生物体信号测量部无法正确地测量脑波信号。
11.根据权利要求1所述的语音辨别能力判定系统,其中,
还具备:增益决定部,其在所述辨别能力判定部的判定结果表示所述用户无法辨别所述第1语音以及所述第2语音的情况下,决定提高与所述第1语音以及所述第2语音的共振峰频率的差值大的频率相关的增益。
12.根据权利要求8所述的语音辨别能力判定系统,其中,
具备:增益决定部,其在所述辨别能力判定部的判定结果判定为所述用户听不到所述第1语音以及所述第2语音的情况下,决定在可听频率整体提高增益。
13.根据权利要求2所述的语音辨别能力判定系统,其中,
所述输出部进行所述第1测试,在所述第1语音的输出次数达到规定次数后,将所述第1测试切换为所述第2测试。
14.一种语音辨别能力判定装置,其被用于语音辨别能力判定系统,该语音辨别能力判定系统切换进行:以第1频度输出第1语音且以不同于所述第1频度的第2频度输出第2语音的第1测试、和以所述第2频度输出所述第1语音且以所述第1频度输出所述第2语音的第2测试,所述语音辨别能力判定装置具备:
事件相关电位获取部,其获取由生物体信号测量部测量的脑波信号中包含的事件相关电位,获取将以所述第1频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第2频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第1频度输出的所述第2语音的输出时刻作为起点的事件相关电位、和将以所述第2频度输出的所述第2语音的输出时刻作为起点的事件相关电位;
MMN判定部,其针对所述第1语音以及所述第2语音的各个语音,获取以所述第1频度输出时所获取的事件相关电位与以所述第2频度输出时所获取的事件相关电位之间的差值信息,判定所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围是否存在阴性成分;和
辨别能力判定部,在所述MMN判定部的判定结果表示存在所述阴性成分的情况下,判定为所述用户能够辨别所述第1语音以及所述第2语音。
15.一种助听器增益决定装置,其被用于语音辨别能力判定系统,该语音辨别能力判定系统切换进行:以第1频度输出第1语音且以不同于所述第1频度的第2频度输出第2语音的第1测试、和以所述第2频度输出所述第1语音且以所述第1频度输出所述第2语音的第2测试,所述助听器增益决定装置具备:
事件相关电位获取部,其获取由生物体信号测量部测量的脑波信号中包含的事件相关电位,获取将以所述第1频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第2频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第1频度输出的所述第2语音的输出时刻作为起点的事件相关电位、和将以所述第2频度输出的所述第2语音的输出时刻作为起点的事件相关电位;
MMN判定部,其针对所述第1语音以及所述第2语音的各个语音,获取以所述第1频度输出时所获取的事件相关电位与以所述第2频度输出时所获取的事件相关电位之间的差值信息,判定在所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围是否存在阴性成分;
辨别能力判定部,在所述MMN判定部的判定结果表示存在所述阴性成分的情况下,判定为所述用户能够辨别所述第1语音以及所述第2语音;和
增益决定部,其参照规定的判定基准,基于所述差值信息,来决定助听器的增益。
16.一种语音辨别能力判定方法,包括:
参照存储了多个语音信息的语音数据库来决定彼此不同的第1语音以及第2语音的步骤;
测量用户的脑波信号的步骤;
进行以第1频度输出所述第1语音、且以不同于所述第1频度的第2频度输出所述第2语音的第1测试的步骤;
进行以所述第2频度输出所述第1语音、且以所述第1频度输出所述第2语音的第2测试的步骤;
获取所述脑波信号中包含的事件相关电位的步骤,该步骤中获取将以所述第1频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第2频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第1频度输出的所述第2语音的输出时刻作为起点的事件相关电位、和将以所述第2频度输出的所述第2语音的输出时刻作为起点的事件相关电位;
针对所述第1语音以及所述第2语音的各个语音,获取以所述第1频度输出时所获取的事件相关电位与以所述第2频度输出时所获取的事件相关电位之间的差值信息,判定所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围是否存在阴性成分的步骤;和
在进行判定的所述步骤的判定结果表示存在所述阴性成分的情况下,判定为所述用户能够辨别所述第1语音以及所述第2语音的步骤。
17.一种计算机程序,由语音辨别能力判定系统的语音辨别能力判定装置中设置的计算机执行,所述计算机程序使所述计算机执行如下步骤:
接受由生物体信号测量部测量的用户的脑波信号的步骤;
参照存储了多个语音信息的语音数据库来决定彼此不同的第1语音以及第2语音的步骤;
进行以第1频度输出所述第1语音、且以不同于所述第1频度的第2频度输出所述第2语音的第1测试的步骤;
进行以所述第2频度输出所述第1语音、且以所述第1频度输出所述第2语音的第2测试的步骤;
获取所述脑波信号中包含的事件相关电位的步骤,该步骤中获取将以所述第1频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第2频度输出的所述第1语音的输出时刻作为起点的事件相关电位、将以所述第1频度输出的所述第2语音的输出时刻作为起点的事件相关电位、和将以所述第2频度输出的所述第2语音的输出时刻作为起点的事件相关电位;
针对所述第1语音以及所述第2语音的各个语音,获取以所述第1频度输出时所获取的事件相关电位与以所述第2频度输出时所获取的事件相关电位之间的差值信息,判定所述差值信息中在所述第1语音以及所述第2语音被输出后的规定的时间范围是否存在阴性成分的步骤;和
在所述MMN判定部的判定结果表示存在所述阴性成分的情况下,判定为所述用户能够辨别所述第1语音以及所述第2语音的步骤。
CN201380001420.5A 2012-04-24 2013-04-19 语音辨别能力判定装置、系统和方法、以及助听器增益决定装置 Active CN103561643B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012098431 2012-04-24
JP2012-098431 2012-04-24
PCT/JP2013/002649 WO2013161235A1 (ja) 2012-04-24 2013-04-19 語音弁別能力判定装置、語音弁別能力判定システム、補聴器利得決定装置、語音弁別能力判定方法およびそのプログラム

Publications (2)

Publication Number Publication Date
CN103561643A true CN103561643A (zh) 2014-02-05
CN103561643B CN103561643B (zh) 2016-10-05

Family

ID=49482582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380001420.5A Active CN103561643B (zh) 2012-04-24 2013-04-19 语音辨别能力判定装置、系统和方法、以及助听器增益决定装置

Country Status (5)

Country Link
US (1) US9479880B2 (zh)
EP (1) EP2842485B1 (zh)
JP (1) JP6167904B2 (zh)
CN (1) CN103561643B (zh)
WO (1) WO2013161235A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105769181A (zh) * 2015-01-09 2016-07-20 松下知识产权经营株式会社 判定系统、控制信号输出系统、康复治疗系统、判定方法以及控制信号输出方法
CN105916090A (zh) * 2016-05-31 2016-08-31 成都九十度工业产品设计有限公司 一种基于智能化语音识别技术的助听器系统
CN109584643A (zh) * 2018-11-05 2019-04-05 深圳大学 一种语言能力训练方法及其系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6362332B2 (ja) * 2014-01-10 2018-07-25 国立研究開発法人情報通信研究機構 ニューロフィードバックを用いた無意識学習法
US11253193B2 (en) * 2016-11-08 2022-02-22 Cochlear Limited Utilization of vocal acoustic biomarkers for assistive listening device utilization
US20180132714A1 (en) * 2016-11-16 2018-05-17 Infinite Mind, LC Apparatus and method for measuring brain processing speed
KR102028797B1 (ko) * 2017-03-02 2019-10-04 이화여자대학교 산학협력단 퇴행성 질환의 조기 발견을 위한 언어능력진단 시스템, 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독가능한 기록매체
JP2018183283A (ja) * 2017-04-24 2018-11-22 ディメンシア・フロント株式会社 賦活脳波計測装置、及び、賦活脳波計測装置に接続される刺激提示装置
US11228849B2 (en) * 2018-12-29 2022-01-18 Gn Hearing A/S Hearing aids with self-adjustment capability based on electro-encephalogram (EEG) signals
KR20210007385A (ko) * 2019-07-11 2021-01-20 현대자동차주식회사 오류 모니터링을 이용한 교통 감시 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003037186A2 (de) * 2001-10-31 2003-05-08 Daimlerchrysler Ag Vorrichtung und verfahren zur messung des einflusses von warnsignalen und informationen auf den nutzer einer technischen einrichtung
WO2011070972A1 (ja) * 2009-12-10 2011-06-16 日本電気株式会社 音声認識システム、音声認識方法および音声認識プログラム
CN102265335A (zh) * 2009-07-03 2011-11-30 松下电器产业株式会社 助听器的调整装置、方法以及程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06114038A (ja) 1992-10-05 1994-04-26 Mitsui Petrochem Ind Ltd 聴覚検査・訓練装置
US6067467A (en) * 1994-02-07 2000-05-23 New York University EEG operative and post-operative patient monitoring method
JPH0938069A (ja) 1995-08-02 1997-02-10 Nippon Telegr & Teleph Corp <Ntt> 語音聴力検査方法およびこの方法を実施する装置
US6477404B1 (en) * 2000-03-01 2002-11-05 Cardiac Pacemakers, Inc. System and method for detection of pacing pulses within ECG signals
WO2004071280A2 (en) * 2003-02-07 2004-08-26 Michael Sasha John Rapid screening, threshold, and diagnostic tests for evaluation of hearing
US7891287B2 (en) 2004-06-16 2011-02-22 Mag Aerospace Industries, Inc. Coffee maker suitable for aircraft use
EP1781165B1 (en) 2004-06-18 2017-11-08 Neuronetrix Solutions, LLC Evoked response testing system for neurological disorders
US8825149B2 (en) * 2006-05-11 2014-09-02 Northwestern University Systems and methods for measuring complex auditory brainstem response
CN102469961B (zh) 2010-01-28 2015-05-13 松下电器产业株式会社 语音清晰度评价系统和方法
JP5400745B2 (ja) * 2010-11-05 2014-01-29 日本電信電話株式会社 音評価装置、方法及びプログラム
US9339216B2 (en) * 2012-04-13 2016-05-17 The United States Of America As Represented By The Department Of Veterans Affairs Systems and methods for the screening and monitoring of inner ear function

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003037186A2 (de) * 2001-10-31 2003-05-08 Daimlerchrysler Ag Vorrichtung und verfahren zur messung des einflusses von warnsignalen und informationen auf den nutzer einer technischen einrichtung
CN102265335A (zh) * 2009-07-03 2011-11-30 松下电器产业株式会社 助听器的调整装置、方法以及程序
WO2011070972A1 (ja) * 2009-12-10 2011-06-16 日本電気株式会社 音声認識システム、音声認識方法および音声認識プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NINA DAVIDS,ELIANE SEGERS: "The nature of auditory discrimination problems in children with specific language impairment:An MMN study", 《NEUROPSYCHOLOGIA》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105769181A (zh) * 2015-01-09 2016-07-20 松下知识产权经营株式会社 判定系统、控制信号输出系统、康复治疗系统、判定方法以及控制信号输出方法
CN105769181B (zh) * 2015-01-09 2020-10-09 松下知识产权经营株式会社 判定系统、控制信号输出系统、康复治疗系统、判定方法以及控制信号输出方法
CN105916090A (zh) * 2016-05-31 2016-08-31 成都九十度工业产品设计有限公司 一种基于智能化语音识别技术的助听器系统
CN105916090B (zh) * 2016-05-31 2019-05-07 成都九十度工业产品设计有限公司 一种基于智能化语音识别技术的助听器系统
CN109584643A (zh) * 2018-11-05 2019-04-05 深圳大学 一种语言能力训练方法及其系统

Also Published As

Publication number Publication date
JP6167904B2 (ja) 2017-07-26
US9479880B2 (en) 2016-10-25
US20140153729A1 (en) 2014-06-05
CN103561643B (zh) 2016-10-05
EP2842485B1 (en) 2017-07-26
JPWO2013161235A1 (ja) 2015-12-21
WO2013161235A1 (ja) 2013-10-31
EP2842485A4 (en) 2016-05-11
EP2842485A1 (en) 2015-03-04

Similar Documents

Publication Publication Date Title
CN103561643A (zh) 语音辨别能力判定装置、语音辨别能力判定系统、助听器增益决定装置、语音辨别能力判定方法及其程序
US9149214B2 (en) Annoyance judgment system, apparatus, method, and program
CN102112051B (zh) 语音清晰度评价系统、其方法
CN102202570B (zh) 语音清晰度评价系统、其方法
CN102265335B (zh) 助听器的调整装置和方法
CN102781321B (zh) 听力判定系统及其方法
US9044157B2 (en) Assessment system of speech sound listening, and method and program thereof
US8849391B2 (en) Speech sound intelligibility assessment system, and method and program therefor
CN103081516A (zh) 不舒适声压决定系统、方法及其程序、助听器调整系统及不舒适声压决定装置
Gray et al. Transmission of binaural cues by bilateral cochlear implants: Examining the impacts of bilaterally independent spectral peak-picking, pulse timing, and compression
CN103189001B (zh) 听觉事件相关电位测量系统、听觉事件相关电位测量方法
CN113274000B (zh) 认知障碍患者双耳信息整合功能的声学测量方法及装置
CA3123079A1 (en) System and method for detecting auditory biomarkers
US9307330B2 (en) Stapedius reflex measurement safety systems and methods
Rocha et al. Brainstem auditory evoked potential with speech stimulus
Deoisres Auditory cortical responses as an objective predictor of speech-in-noise performance
CN117814788A (zh) 一种听力检测方法、装置和系统
Han et al. The effects of auditory short-term training in passive oddball paradigm with novel stimuli

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151231

Address after: Japan Osaka

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant