CN110099652A - 听觉训练装置、听觉训练方法及程序 - Google Patents
听觉训练装置、听觉训练方法及程序 Download PDFInfo
- Publication number
- CN110099652A CN110099652A CN201780050578.XA CN201780050578A CN110099652A CN 110099652 A CN110099652 A CN 110099652A CN 201780050578 A CN201780050578 A CN 201780050578A CN 110099652 A CN110099652 A CN 110099652A
- Authority
- CN
- China
- Prior art keywords
- sound
- aforementioned
- noise
- auditory
- inaccurate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
- A61B5/121—Audiometering evaluating hearing capacity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
- A61B5/121—Audiometering evaluating hearing capacity
- A61B5/123—Audiometering evaluating hearing capacity subjective methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/09—Rehabilitation or training
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Otolaryngology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Psychology (AREA)
- Vascular Medicine (AREA)
- Signal Processing (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明提供一种听觉训练装置1,其具有:取得装置11,用以取得对象声音;决定装置14,用以依照赋予的训练强度决定欲附加于对象声音的噪音的属性;附加装置15,用以对于取得装置12取得的对象声音,附加具有借由决定装置14所决定的属性的噪音;及输出装置16,用以输出借由附加装置15附加了噪音的前述对象声音。
Description
技术领域
本发明涉及一种训练听觉的技术。
背景技术
已知使用声音训练大脑的技术。例如专利文献1中记载借由对于音调区域的声音一起输出不同区域的声音以促进大脑的活性的技术。
[先前技术文献]:[专利文献1]日本特开2015-157118号公报。
发明内容
[发明欲解决的课题]
专利文献1所记载的技术中有对大脑的刺激太单调的问题。
对此,本发明提供可变化训练强度的听觉训练技术。
[解决课题的手段]
本发明提供听觉训练装置,其具有:取得装置,用以取得问题声音,其是从所决定的准确声音及不准确声音群中选出的声音依时间序列所配置者;决定装置,用以依照赋予的训练强度决定欲附加于前述问题声音及该问题声音的噪音的至少一者的属性;附加装置,用以对于前述问题声音,附加具有借由前述决定装置所决定的属性的噪音;以及输出装置,用以输出借由前述附加装置附加了前述噪音的前述问题声音。
该听觉训练装置亦可具有接受装置,用以接受借由前述问题声音示出的声音中关于属于前述不准确声音群的声音的回答的输入装置。
前述接受装置亦可用以接受借由前述问题声音示出的声音中关于属于前述不准确声音群的声音的数量作为前述回答。
前述接受装置亦可接受借由前述问题声音示出的声音中表示属于前述不准确声音群的声音的字串作为前述回答。
前述接受装置亦可接受在前述输出装置输出前述问题声音时属于前述不准确声音群的声音所输出的时刻作为前述回答。
听觉训练装置具有:储存装置,用以储存声音片段;以及声音合成装置,用以使用前述声音片段合成前述问题声音,其中前述取得装置取得借由前述声音合成装置合成的前述问题声音。
前述声音合成装置亦可将属于前述不准确声音群的声音发出时的声音的频率提高为较属于前述准确声音群的声音发出时的声音的频率更高。
前述储存装置储存多个谈话者的声音片段,前述声音合成装置依照前述训练强度使用从前述多个谈话者中选出的谈话者的声音片段合成前述问题声音。
前述储存装置分别储存包含的多个语句的多个语群,前述听觉训练装置具有从前述多个语群中选出正确语群及不正确语群的选择装置,前述声音合成装置亦可将从前述准确语群及前述不准确语群中选出的语句在时间轴上依序发出的声音合成。
借由前述决定装置所决定的属性包含噪音声音源、音量、对于前述问题声音的该噪音的相对播放速度及噪音声音源的数量中至少一个。
并且,本发明提供一种听觉锻练方法,其具有:将从所决定的准确声音群及不准确声音群中选出的声音依序发出的问题声音取得的步骤;依照赋予的训练强度决定前述问题声音及该问题声音所附加噪音的至少一者的属性的步骤;对于前述问题声音,附加具有借由前述决定装置所决定的属性的噪音的步骤;以及输出附加了前述噪音的前述问题声音的步骤。
再者,本发明提供一种程序,其使电脑实施:将从所决定的准确声音群及不准确声音群中选出的声音依序发出的问题声音取得的步骤;依照赋予的训练强度决定前述问题声音及该问题声音所附加噪音的至少一者的属性的步骤;对于前述问题声音,附加具有借由前述决定装置所决定的噪音的属性的步骤;以及输出附加了前述噪音的前述问题声音的步骤。
并且,本发明提供一种听觉训练装置,其具有:取得装置,用以取得对象声音;储存装置,用以储存用户的听觉训练中表示训练的进度的达成等级;取得装置,用以取得使用储存在前述储存装置的达成等级算出的前述用户的训练强度;决定装置,用以借由依照前述取得装置取得的训练强度,自动地决定前述对象声音附加的噪音的属性;附加装置,用以借由依照前述取得装置取得的训练强度,附加具有借由前述决定装置所决定的噪音的属性;以及输出装置,用以输出借由前述附加装置附加了前述噪音的前述对象声音。
借由前述决定装置所决定的属性包含噪音声音源、音量、对于前述对象声音的该噪音的相对播放速度及噪音声音源的数量中至少一个。
前述决定装置除了前述训练强度以外,亦可依照接受训练的用户的属性决定前述噪音的属性。
听觉训练装置是具有接受借由对于前述输出装置所输出的前述对象声音的接受装置,前述决定装置亦可使用从用户所获得的反馈作为前述用户的属性。
另外,本发明提供一种听觉训练装置的作动方法,具有:听觉训练装置取得对象声音的步骤;前述听觉训练装置储存用户的听觉训练中表示训练的进度的达成等级的装置的步骤;前述听觉训练装置取得使用储存在前述储存装置的达成等级算出的前述用户的训练强度的步骤;前述听觉训练装置依照前述取得的训练强度,自动地决定前述对象声音附加的噪音的属性的步骤;前述听觉训练装置对于前述取得的对象声音,附加具有前述所决定的属性的噪音的步骤;以及前述听觉训练装置输出附加了前述噪音的前述对象声音的步骤。
进而,本发明提供一种程序,其使电脑实施:取得对象声音的步骤;在储存装置中储存用户的听觉训练中表示训练的进度的达成等级的步骤;取得使用前述储存装置所储存的达成等级算出的前述用户的训练强度的步骤;依照借由前述取得装置所取得训练强度而自动地决定前述对象声音所附加噪音的属性的步骤;对于取得的前述对象声音,附加具有前述所决定的属性的噪音的步骤;以及输出附加了前述噪音的前述对象声音的步骤。
[发明效果]
根据本发明,听觉训练技术中可变化训练强度。
附图说明
图1为例示第一实施形态中听觉训练装置1的功能结构的图。
图2为例示听觉训练装置1的硬件结构的图。
图3为例示听觉训练装置1的动作的序列图。
图4为例示接受训练开始的指示的UI画面40的图。
图5为例示接受反馈的UI画面50的图。
图6为例示用户的反馈的图。
图7为例示第二实施形态中听觉训练装置2的功能结构的图。
图8为例示第二实施形态中问题声音的合成处理的序列图。
图9为例示接受训练开始的指示的UI画面60的图。
图10为例示多个声音群的图。
图11为例示问题声音的图。
符号说明
1…听觉训练装置、11…取得装置、12…取得装置、13…储存装置、14…决定装置、15…附加装置、16…输出装置、17…接受装置、21…选择装置、22…声音合成装置、101…CPU、102…记忆体、103…储存器、104…触摸屏、105…麦克风、106…头戴耳机。
具体实施方式
1.第一实施形态
1-1.结构
图1为例示第一实施形态中听觉训练装置1的功能结构的图。听觉训练装置是借由通过听觉刺激大脑,例如使听力提升,另外,抑制痴呆症的进行。
听觉训练装置1具有取得装置11、取得装置12、储存装置13、决定装置14、附加装置15、输出装置16及接受装置17。取得装置11用以取得对象声音。对象声音意指,听觉训练中成为听取的主要对象的声音,例如音乐、朗读、谈话伙伴的话语、电视广播的声音、无线电广播的声音。对象声音可为播放录音,亦可为使用麦克风即时取得者。取得装置12用以取得训练强度。训练强度意指,听觉训练的训练的强度,亦即表示难以听到的对象声音的指标。难以听到对象声音的状态是训练强度强(高)的状态,较容易听到的状态是训练强度弱(低)的状态。储存装置13是储存被附加于对象声音的噪音声音源。于此例中,储存装置13中储存多种类的噪音声音源。噪音声音源意指,生成噪音的数据。噪音是若与对象声音不同者则任何声音皆可,作为一例,如海的波浪的声音或山中的声音的自然界的声音,或人的谈话声音或所谓如白噪音的人工声音。决定装置14视所赋予的训练强度决定欲附加于对象声音的噪音的属性。噪音的属性意指,包含例如噪音声音源的种类、音量、对于对象声音的相对播放速度、及噪音声音源的数量中至少一个。决定装置14亦可指变更噪音的属性的变更装置。附加装置15对于借由取得装置11取得的对象声音,附加具有借由决定装置14所决定属性的噪音。输出装置16输出借由附加装置15附加了噪音的对象声音。接受装置17接受对于借由输出装置16输出的对象声音的用户的反馈。用户的反馈意指,关于训练的用户的主观的输入,例如指识别对象声音是难以听到部分或容易听到部分的信息的输入。
图2为例示听觉训练装置1的硬件结构的图。听觉训练装置1具有中央处理器(CPU;CentrAl ProceSSing Unit)101、记忆体102、储存器103、触摸屏104、麦克风105及头戴耳机106的电脑装置,更具体而言例如手机。CPU101是借由执行程序控制其他硬件元件。记忆体102是作为CPU101执行程序时的工作区作功能的储存装置,例如包含随机存取存储器(RAM;Random Access Memory)。储存器103是储存各种程序及数据的不挥发性的储存装置,例如包含固态硬盘(SSD;Solid State Drive)。触摸屏104是兼备作为显示装置的功能与作为输入装置的功能的装置,例如包含液晶显示器(LCD;Liquid Crystal Display)及LCD上所设置的触摸感测器。麦克风105是收集周围声音并转换为声音信号的装置。头戴耳机106是视声音信号输出声音的装置。
在此例中,储存器103是储存将电脑装置作为听觉训练装置1进行功能的程序(以下称为“听觉训练程序”)。借由CPU101执行听觉训练程序,于电脑装置中安装图1的功能。执行听觉训练程序的CPU101是取得装置11、取得装置12、决定装置14及附加装置15的一例。记忆体102及储存器103的至少一者是储存装置13的一例。头戴耳机106是输出装置16的一例。触摸面板104是接受装置17的一例。
1-2.动作
图3是例示听觉训练装置1的动作的序列图。图3的流程是例如将指示听觉训练程序的起动作为契机而开始。以下将取得装置11等功能元件作为处理的主体记载,惟此意味例如执行软件(听觉训练程序)的硬件元件(CPU101等)是与其他硬件元件配合而执行处理。
在步骤S10中,接受装置17接受训练开始的指示。训练开始的指示是借由预定的UI画面而接受。
图4为例示接受训练开始的指示的UI画面40的图。接受装置17显示UI画面40。UI画面40包含影像物件41~45。影像物件41是用以选出对象声音的影像物件。在此例中,作为对象声音的选择项目,准备“麦克风声音”及“录音声音”。麦克风声音是借由麦克风105输入即时的声音。录音声音是作为数据储存在储存装置13中的声音。对于录音声音进而准备“音乐”及“朗读”的选择项目。影像物件42是指定训练深度用的影像物件。训练深度意指,表示训练的深度的指标,与训练强度关联。训练深度深(强)的状态意指,对象声音较难以听到的状态,训练深度浅(弱)的状态意指,对象声音较容易听到的状态。在此例中,作为训练深度的选择项目,准备“强”、“中”及“弱”的三个等级。影像物件43是选出噪音声音源的影像物件。在此例中,作为噪音声音源的选择项目,准备“自然声音”及“人工声音”。影像物件44是输入开始听力训练的指示的影像物件,更详细而言,为开始按钮。影像物件45是表示关于用户的属性的信息的影像物件。在此例中,作为用户的属性,显示用户名、累积训练时间及达成等级。累积训练时间表示使用听觉训练程序至今为止所进行的训练时间的累积値。另外,作为表示训练的进度的指标设定达成等级,随着进行训练提升达成等级。用户是借由触摸屏104中触摸相当于该等影像物件的位置而输入对象声音的选择等指示。当用户按下图像对象44的开始按钮时,接受装置17将训练开始指示输出至取得装置11及取得装置12。
再度参照图3。一旦输入训练开始指示,则取得装置11取得对象声音(步骤S11)。训练开始指示是包含借由UI画面40输入的识别对象声音的信息。取得装置11依该信息取得对象声音。UI画面40中选出“麦克风声音”时,取得装置11取得由麦克风105所输入的声音信号作为对象声音。UI画面40中选出“录音声音”时,取得装置11读出储存装置13所储存的数据,将解码该数据获得的声音信号作为对象声音取得。取得装置11将对象声音的声音信号输出至附加装置15。
一旦输入训练开始指示,则取得装置12取得训练强度(步骤S12)。取得装置12是使用借由UI画面40输入的信息取得训练强度。具体而言,取得装置12是使用训练深度及达成等级、以及预定的数式,计算训练强度。借由该数式计算出的训练强度是例如达成等级愈高而愈高,并且训练深度愈强而愈高。取得装置12是借由该计算取得训练强度。取得装置12将表示取得的训练强度的信息输出至决定装置14。
在步骤S13中,决定装置14决定噪音的属性。在此例中,在步骤S13中所决定的属性是噪音声音源名及音量。噪音声音源名是用以识别储存装置13所储存的多个噪音声音源数据之中,使用的噪音声音源数据的识别信息。音量是表示相对于对象音源的音量的噪音的相对音量。例如,对象声音为麦克风声音时,噪音的相对音量意指,相对于借由麦克风105输入的声音信号的输入等级的噪音的信号等级的比。对象声音是录音声音时,噪音的相对音量意指,录音声音的声音信号的平均信号等级与噪音的信号等级的比。决定装置14首先决定噪音声音源名。决定装置14依照借由取得装置12取得的训练强度选出噪音声音源名。在图4的例中,借由影像物件43输入的仅为指定噪音声音源的类别(自然声音或人工声音)的信息,并非具体地识别噪音声音源名。此时,决定装置14是从属于指定的类别的多个噪音声音源数据中,依照预定的算法选择一噪音声音源数据,决定使用所选出的噪音声音源。具体而言,如以下所述。例如,储存装置13是针对各个噪音声音源数据,储存记录有对应的训练强度的表。决定装置14从具有借由取得装置12取得的训练强度的噪音声音源数据中选出一噪音声音源数据。
然后,决定装置14决定噪音的音量。决定装置14使用训练强度及用户的属性信息作为决定音量的信息。在此,作为用户的属性信息,尤其是使用来自用户的反馈。如后述详细说明者,反馈意指,表示对象声音是否有难以听到的部分的信息,在此例中,以前使用与此次选出的噪音音源数据相同的数据进行听觉训练时,用户所指定作为“难以听到部分”的识别信息。在此例中,音量是包含时间轴的信息,可以对应于噪音声音源的播放位置(播放时刻)而变化。例如,决定装置14是视训练强度决定基准的音量。决定装置14进而关于借由用户的反馈成为“难以听到部分”的时间轴上的区域,设定较基准的音量更小的音量。决定装置14将识别决定的噪音声音源名及音量的信息输出至附加装置15。
在步骤S14中,附加装置15将噪音附加至对象声音。具体而言,附加装置15从储存装置13读取借由决定的噪音声音源名所识别的噪音声音源数据,将其解码获得噪音的声音信号。附加装置15是视所输入的音量调整噪音的声音信号的振幅。附加装置15将调整了振幅的噪音的声音信号加算至对象声音的声音信号。噪音的时间长较对象声音的时间长更短时,附加装置15从最初开始重复使用噪音的声音信号。附加装置15将加算了噪音的对象声音的声音信号输出至输出装置16。
在步骤S15中,输出装置16输出对象声音。亦即,从头戴耳机106输出对应于附加了噪音的对象声音的声音信号的声音。在输出对象声音的声音信号的期间,接受装置17接受来自用户的反馈(步骤S16)。
图5为例示接受反馈的UI画面50的图。在从头戴耳机106输出附加了噪音的对象声音的期间,接受装置17显示UI画面50。UI画面50包含影像物件51。影像物件51包含指定难以听到部分的按钮。用户是边听取对象声音边操作UI画面50,在感觉难以听到对象声音时,按下影像物件51的按钮。接受装置17对于噪音的播放位置,将影像物件的按钮被按下(ON)或没有被按下(OFF)的信息储存在储存装置13。噪音的时间长为对象声音的时间长以上时,噪音的播放位置等于对象声音的播放位置(相对时刻)。
图6为例示用户的反馈的图。圖6(A)是表示儲存裝置13所儲存的反饋,橫軸是表示噪音的播放位置,縱軸是表示按鈕的ON/OFF。在此例中,表示从时间t1至t2按钮有被按下,该等以外的部分按钮没有被按下。在步骤S13中决定音量时,考量该反馈。图6(B)表示对应于图6(A)所决定的音量,横轴是表示噪音的播放位置,纵轴是表示音量。对于基准的音量Vo,从时间t1至t2设定音量Vd(<Vo)。
如上文说明,根据本实施形态视所赋予的训练强度决定噪音的属性,视训练强度将各种噪音附加在对象声音。例如,即使使用相同的对象声音及噪音声音源,随着达成等级提升噪音的音量增大,难易度慢慢地变高。在其他例中,即使使用相同的对象声音,在达成等级低时使用自然声音的噪音,在达成等级变高时使用人工声音的噪音,难易度慢慢地变高。
2.第二实施形态
图7为例示第二实施形态中听觉训练装置2的功能结构的图。听觉训练装置2可视为第一实施形态的听觉训练装置1中,更限定对象声音的特殊装置。以下,尤其是将第二实施形态的对象声音称为“问题声音”。问题声音是属于某声音群(以下称为“准确声音群”)的声音在时间轴上依序所配置(依时间序列配置)的声音。惟,问题声音中有时包含属于与准确声音群不同的声音群(以下称为“不准确声音群”)的声音。将准确声音群所包含声音称为准确声音,将不准确声音群所包含声音称为不准确声音。在一例中,声音群所包含各声音是合成发出字串(例如物的名称)的声音。用户为了判断哪个声音是准确声音,哪个声音是不准确声音,故专注地听问题声音。借此提高听力的训练效果。此外,关于与第一实施形态共通的事项及可共通的事项,下文中省略说明。
听觉训练装置2具有选择装置21及声音合成装置22。储存装置13储存生成问题声音的材料。该材料是例如问题声音为发出字串(例如物的名称)的声音时,表示物的名称的语群。亦即,储存装置13是储存属于多个语群的多个语句。各语句表示物的名称。属性被分配给各个多个语群,多个语句是视该属性被分类于多个语群。
选择装置21从多个语群中选出准确语群及不准确语群。声音合成装置22是合成准确语群及不准确语群中选出的语句所发出的声音在时间轴上依序配置的声音。该声音是问题声音。发出属于准确语群的语句的声音是准确声音,发出属于不准确语群的语句的声音是不准确声音。储存装置13储存进行声音合成的声音片段数据,声音合成装置22使用该声音片段数据合成问题声音。接受装置17接受对于问题声音的回答的输入。第二实施形态的回答可视为第一实施形态的反馈的一例。
图8为例示第二实施形态中问题声音的合成处理的序列图。在步骤S21中,接受装置17接受训练开始的指示。训练开始的指示是通过预定的UI画面而接受。
图9为例示接受训练开始的指示的UI画面60的图。接受装置17显示UI画面60。UI画面60是在不包含影像物件41之处与UI画面40(图4)不同。亦即,第二实施形态中作为对象声音使用问题声音而不需要影像物件41。此外,UI画面60是例如亦可具有指定准确声音群的属性的影像物件。
再度参照图8。一旦接受训练开始的指示,接受装置17对声音合成装置22指示问题声音的合成(步骤S22)。一旦指示问题声音的合成,声音合成装置22指示选择装置21从储存装置13所储存的多个语群中选出使用于问题声音的准确语群及不准确语群(步骤S23)。选择装置21视该指示选出准确语群及不准确语群(步骤S24)。
图10为例示多个声音群的图。在此,例示语群G1~G3的3个语群。属性“水果”被分配给语群G1。水果的名称(“苹果”、“橘子”、“香蕉”等)属于语群G1。属性“动物”被分配给语群G2。动物的名称(“狗”、“猫”、“马”等)属于语群G2。属性“乘坐的交通工具”被分配给语群G3。乘坐的交通工具的名称(“汽车”、“脚踏车”、“火车”、“马”等)属于语群G3。作为分类语句的观点可适用各种物,因此有一个语句属于不同多个语群的情形(图8的例中称为“马”的语句属于语群G2及语群G3的两者)。
再度参照图8。声音合成装置22从储存装置13读出准确语群及不准确语群(步骤S25)。声音合成装置22使用准确语群及不准确语群合成问题声音(步骤S26)。具体而言,例如进行如下所述的问题声音的合成。声音合成装置22从准确语群及不准确语群中一个一个选出语句而生成语句串。于准确语群及不准确语群中选出语句的算法及语句串所包含不准确语句的比例是定义在听觉调整程序中。例如,该语句串所包含准确语句的数量较不准确语句的数量更多。另外,在该语句串中准确语句一定夹在两个相邻的不准确语句之间,故两个不准确语句不连续。另外,某语句属于准确语群及不准确语群两者的情形时,该语句不使用于问题声音,或仅使用作为准确语句。声音合成装置22合成发出该语句串的声音。储存装置13储存使用于声音合成的片段数据库,声音合成装置22使用该片段数据库进行声音合成。片段数据库是对每位谈话者记录音素的片段的数据库。借由多个谈话者的片段亦可记录于片段数据库,此时,声音合成装置22依用户的指示或预定的算法选出谈话者。
图11为例示问题声音的图。在此例中,语群G1是准确语群,语群G2是不准确语群。该等语群所包含语句是空出间隔依序发出。具体而言,生成发出“苹果”、“橘子”、“香蕉”、“桃子”、“狗”、“梨子”的声音(该等之中“狗”是不准确声音,其他是准确声音)。声音合成装置22将所生成问题声音输出至取得装置11(步骤S27)。亦即,取得装置11是从声音合成装置22取得问题声音。以后的处理基本上与图3的序列共通。
惟,本实施形态中接受装置17所接受反馈是对问题声音的回答。对问题声音的回答是关于不准确声音的信息,包含例如以下(1)~(3)中至少一个。
(1)不准确声音的数量
接受装置17接受不准确声音的数量的输入作为对于问题声音的回答。图
11的例中不准确声音的数量是1。
(2)不准确声音的字串
接受装置17接受不准确声音的数量的输入作为对于问题声音的回答。图
11的例中输入称为“狗”的字串。
(3)不准确声音所输出的时刻
接受装置17显示包含按钮的触摸屏104的UI画面(省略图示)。用户是边听取问题声音边在判断不准确声音被输出的时刻按下该按钮。
此外,回答亦可为(1)~(3)中组合2个以上。例如,接受装置17亦可接受不准确声音的数量及该字串的输入。
此外,输出装置16亦可在输出问题声音之前,将识别不准确声音的提示赋予用户。该提示是例如不准确声音群的属性(例:“动物混入水果中”)、或不准确声音的数量(例:“不准确声音为三个”)。
视训练强度变更噪音的属性的观点是如第一实施形态所说明者。在第二实施形态中,除了噪音的属性的变更、或替代,亦可变更准确声音或不准确声音的属性。亦即,在第二实施形态中,决定装置14视赋予的训练强度决定问题声音及该问题声音所附加噪音的至少一者的属性。变更问题声音的属性时,在声音合成之前做决定。
在一例中,于问题声音中所变更的属性是例如,发出不准确声音的声音的基本频率(音高(pitch))。在此例中,声音合成装置22是随着训练强度变强,将发出属于不准确声音群的声音时的声音的频率较发出属于准确声音群的声音时的声音的频率设为更高。依人的不同,有时难以听到高频带的声音,借由以这种难以听到的频带的声音输出不准确声音,可使用户更专注于问题声音及不准确声音的判断。此外,亦可借由预先测定来识别用户难以听到的频带。另外,对于难以听到较低频率声音的用户,随着训练强度愈强时,亦可将发出属于不准确声音群时的声音的频率较发出属于准确声音群时的声音的频率设为更低。借由如此调整问题声音的频率而可调整难易度。
在其他例中,于问题声音中所变更的属性是发出不准确声音的声音的谈话者。在此例中,声音合成装置22是使用不同谈话者的片段数据合成准确声音及不准确声音的声音。随着训练强度变强,声音合成装置22使用不同种类的谈话者。声音合成装置22是例如在训练强度较阈值更小时,准确声音及不准确声音的任一者均借由使用小孩的谈话者的片段数据进行合成,训练强度较阈值更大时,借由使用大人的谈话者的片段数据合成准确声音声音,借由使用小孩的谈话者的片段数据合成不准确声音。此外,此仅是例示,亦可在训练强度较阈值更大时,借由使用小孩的谈话者的片段数据合成准确声音,借由使用大人的谈话者的片段数据合成不准确声音。或者,准确及不准确的声音,也可以使用男性的谈话者与女性的谈话者做区分,亦可使用较年轻的谈话者与较老的谈话者做区分。借由如此区分谈话者,可调整难易度。
进而,在其他例中,于问题声音中所变更的属性是将不准确声音混入于准确声音的比例。在此例中,随着训练强度变强,声音合成装置22降低不准确声音混入的比例。进而,在其他例中,于问题声音中所变更的属性是准确声音群及不准确声音群的距离。对于每声音群,定义数值化的声音所具有意义的语义空间中的位置。随着训练强度变强,选择装置21选择彼此距离相近的两组声音群作为准确声音群及不准确声音群。
此外,在此说明使用发出属于准确语群的语句的声音作为准确声音,并且使用发出属于不准确语群的语句的声音作为不准确声音的例子。惟,准确声音及不准确声音不限定于该等。例如,亦可以是使用于问题声音的语群为一个,而依准确声音及不准确声音使谈话者不同。在此情况下,在训练强度低时,如准确声音是成年男性的声音且不准确声音是女孩的声音,选择音质明显不同的谈话者,并且随着训练强度的增加,亦可如准确声音是成年男性的声音且不准确声音是另一男性的声音,选择音质相似的谈话者。在其他例中,准确声音及不准确声音可以并非发出语句的合成声音,而是预先所准备声音作为数据。该声音亦可为例如,乐器的声音(例如喇叭的声音是准确声音,萨克斯的声音是不准确声音)、汽车的引擎的声音(特定的汽车厂商的引擎声音是准确声音,该等以外的汽车厂商的引擎声音是不准确声音)。
3.变形例
本发明不限定于上述实施形态,可以是各种变形例。以下,说明几个变形例。也可将第一实施形态、第二实施形态、及以下变形例中所包含事项组合2个以上而使用。
视训练强度所变更的噪音的属性是不限定于实施形态中的例示。除了噪音声音源名及音量以外、或替代噪音声音源名及音量,亦可变更其他属性。所变更的属性亦可为例如,对于对象声音的噪音的相对播放速度。例如,决定装置14是随着训练强度愈强而愈加快噪音的播放速度,并且,随着训练强度愈弱而愈减慢播放速度。或者,所变更的属性亦可为噪音声音源的数量。例如,决定装置14是随着训练强度愈强而愈增加噪音声音源的数量,并且,随着训练强度愈弱愈减少噪音声音源的数量。另外,决定装置14亦可复合地变更噪音的多个种类的属性。
决定装置14在决定噪音的属性时所考虑用户的属性并不限定于来自用户的反馈。替代来自用户的反馈、或是来自用户的反馈以外,亦可考虑用户的性别、年齢、出生地、或病史等信息。另外,决定装置14亦可不考虑用户的属性,仅视训练强度决定噪音的属性。
获得训练强度的手法并不限定于实施形态中的例示。例如,取得装置12亦可将达成等级本身作为训练强度取得。此时,训练强度是不依据用户的输入,而是借由听觉训练程序自动决定。或者,取得装置12亦可将训练深度本身作为训练强度取得。此时,训练强度是借由用户的输入而决定。
输出装置16并不限定于从同一头戴耳机所输出的以声音信号等级所加算的对象声音及噪音。例如,输出装置16可以具有多个扬声器单元,输出装置16可从扬声器单元输出对象声音,并且,可从其他扬声器单元输出噪音。此时,以声音信号等级不加算对象声音及噪音。
听觉训练装置1及听觉训练装置2的功能结构并不限定于图1及图7的例示。亦可省略图1或图7所例示功能的一部分,亦可追加图1或图7中没有的功能。另外,听觉训练装置1及听觉训练装置2的硬件结构并不限定于图2的例示。只要是可以实现所要求功能,听觉训练装置1及听觉训练装置2可具有任何硬件结构。例如,听觉训练装置1可具有扬声器来取代头戴耳机106。另外,也可以是多个装置物理协作而作为听觉训练装置1运作。此时,听觉训练装置1的功能的一部分亦可安装在网路上的服务器上。
实施形态所示UI画面仅为例示,听觉训练装置1中所使用UI画面并不限定于此。并且,在实施形态所说明的对象声音及噪音声音源的种类、训练深度的等级、用户信息等仅为例示,本发明不限定于该等。
视用户的反馈决定音量的方法并不限定于实施形态的例示。于实施形态中,例示了将噪音声音源的时间区域中,从用户输入的所谓难以听到的反馈的部分的音量较其他部分设为更低之例。惟,在噪音的相对的音量是某値(第1値)的情形中,亦可在一部分的时间区域所谓难以听到对象声音的反馈被输入时,决定装置14在之后对该用户提供训练时,将噪音声音源全体的音量较上次设为更低。
若本发明的听觉训练装置是借由听觉刺激大脑的装置,则该使用目的并不限定于提升听力或预防痴呆,可以是任何装置。例如,听觉训练装置可以是借由通过听觉刺激大脑,最后目的为保留记忆。具体而言,可以将录制各种上课、研讨会或培训课的声音作为对象声音使用,为了使该等上课等学习内容的记忆保留,而使用听觉训练装置。
听觉训练程序可借由光盘、磁盘、半导体存储器等储存媒体提供,或亦可经由互联网等通信线路下载。惟,听觉训练程序不需要具备图3中的所有步骤,仅具备其一部分即可。
Claims (12)
1.一种听觉训练装置,其特征在于,包括取得装置、决定装置、附加装置以及输出装置,其中:
所述取得装置用以取得问题声音,其是从所决定的准确声音群及不准确声音群中选出的声音依时间序列所配置者;
所述决定装置用以依照赋予的训练强度决定欲附加于前述问题声音及该问题声音的噪音的至少一者的属性;
所述附加装置用以对于前述问题声音,附加具有借由前述决定装置所决定的属性的噪音;以及
所术输出装置用以输出借由前述附加装置附加了前述噪音的前述问题声音。
2.如权利要求1所述的听觉训练装置,其特征在于,具有接受装置,用以接受借由前述问题声音示出的声音中关于属于前述不准确声音群的声音的回答的输入装置。
3.如权利要求2所述的听觉训练装置,其特征在于,前述接受装置接受借由前述问题声音示出的声音中属于前述不准确声音群的声音的数量作为前述回答。
4.如权利要求2所述的听觉训练装置,其特征在于,前述接受装置接受借由前述问题声音示出的声音中表示属于前述不准确声音群的声音的字串作为前述回答。
5.如权利要求2所述的听觉训练装置,其特征在于,前述接受装置接受在前述输出装置输出前述问题声音时属于前述不准确声音群的声音所输出的时刻作为前述回答。
6.如权利要求1-5任一项所述的听觉训练装置,其特征在于,具有:
储存装置,用以储存声音片段;以及
声音合成装置,用以使用前述声音片段合成前述问题声音,其中
前述取得装置取得借由前述声音合成装置所合成的前述问题声音。
7.如权利要求6所述的听觉训练装置,其特征在于,前述声音合成装置将属于前述不准确声音群的声音发出时的声音的频率提高为较属于前述准确声音群的声音发出时的声音的频率更高。
8.如权利要求6或7所述的听觉训练装置,其特征在于,前述储存装置储存多个谈话者的声音片段,
前述声音合成装置是使用从前述多个谈话者中视前述训练强度选出的谈话者的声音片段合成前述问题声音。
9.如权利要求6-8任一项所述的听觉训练装置,其特征在于,前述储存装置储存分别包含多个语句的多个语群,
前述听觉训练装置具有选择装置,其从前述多个语群中选出准确语群及不准确语群,
前述声音合成装置合成从前述准确语群及前述不准确语群中选出的语句是于时间轴上依序发出的声音。
10.如权利要求1-9任一项所述的听觉训练装置,其特征在于,借由前述决定装置所决定的属性包含噪音声音源、音量、对于前述问题声音的该噪音的相对播放速度及噪音声音源的数量中至少一个。
11.一种听觉训练方法,其特征在于,具有:
将从所决定的准确声音群及不准确声音群中选出的声音依序发出的问题声音取得的步骤;
视赋予的训练强度决定前述问题声音及该问题声音所附加噪音的至少一者的属性的步骤;
对于前述问题声音,附加具有借由前述决定装置所决定的属性的噪音的步骤;以及
输出附加了前述噪音的前述问题声音的步骤。
12.一种程序,其特征在于,其使电脑执行:
将从所决定的准确声音群及不准确声音群中选出的声音依序发出的问题声音取得的步骤;
视赋予的训练强度决定前述问题声音及该问题声音所附加噪音的至少一者的属性的步骤;
对于前述问题声音,附加具有借由前述决定装置所决定的属性的噪音的步骤;以及
输出附加了前述噪音的前述问题声音的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016164524A JP6121606B1 (ja) | 2016-08-25 | 2016-08-25 | 聴覚トレーニング装置、聴覚トレーニング装置の作動方法、およびプログラム |
JP2016-164524 | 2016-08-25 | ||
PCT/JP2017/030433 WO2018038235A1 (ja) | 2016-08-25 | 2017-08-25 | 聴覚トレーニング装置、聴覚トレーニング方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110099652A true CN110099652A (zh) | 2019-08-06 |
Family
ID=58666524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780050578.XA Pending CN110099652A (zh) | 2016-08-25 | 2017-08-25 | 听觉训练装置、听觉训练方法及程序 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20190254572A1 (zh) |
EP (1) | EP3505146A4 (zh) |
JP (2) | JP6121606B1 (zh) |
CN (1) | CN110099652A (zh) |
TW (1) | TW201806638A (zh) |
WO (1) | WO2018038235A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6121606B1 (ja) * | 2016-08-25 | 2017-04-26 | フロンティアマーケット株式会社 | 聴覚トレーニング装置、聴覚トレーニング装置の作動方法、およびプログラム |
CN109620542B (zh) * | 2019-01-17 | 2023-05-19 | 商丘师范学院 | 促使听觉强化的训练装置 |
KR20210089347A (ko) * | 2020-01-08 | 2021-07-16 | 엘지전자 주식회사 | 음성 인식 장치 및 음성데이터를 학습하는 방법 |
CN111341157B (zh) * | 2020-02-10 | 2022-04-01 | 武汉知童教育科技有限公司 | 听觉认知能力的训练方法 |
JP7437742B2 (ja) * | 2020-02-28 | 2024-02-26 | 株式会社neumo | 音出力装置及びプログラム |
KR102535005B1 (ko) * | 2020-12-10 | 2023-05-22 | 한림대학교 산학협력단 | 소음 환경 하 언어인지 청능훈련방법 및 시스템 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1342304A (zh) * | 1998-10-07 | 2002-03-27 | 认知概念股份有限公司 | 音韵意识、音韵处理和阅读技能训练系统和方法 |
CN1794946A (zh) * | 2003-05-15 | 2006-06-28 | 提姆帕尼有限公司 | 用于自动化诊断听觉测试的用户界面 |
JP2009000248A (ja) * | 2007-06-21 | 2009-01-08 | Otodesigners Co Ltd | ゲーム機 |
US20110313315A1 (en) * | 2009-02-02 | 2011-12-22 | Joseph Attias | Auditory diagnosis and training system apparatus and method |
JP2012183287A (ja) * | 2011-03-07 | 2012-09-27 | Ko Murasaki | 聴取力評価方法とそれに用いる回答用紙並びに聴力評価システム。 |
CN104394499A (zh) * | 2014-11-21 | 2015-03-04 | 华南理工大学 | 基于视听交互的虚拟声重放校正装置及方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PT77276B (en) * | 1982-09-13 | 1986-03-11 | Bally Mfg Corp | Video question and answer game |
JPH04322682A (ja) * | 1991-04-22 | 1992-11-12 | Nippon Telegr & Teleph Corp <Ntt> | 音源当て遊技機 |
JPH0581765A (ja) * | 1991-09-19 | 1993-04-02 | Matsushita Electric Ind Co Ltd | オーデイオ装置 |
JP4619469B2 (ja) * | 1999-10-04 | 2011-01-26 | シャープ株式会社 | 音声合成装置及び音声合成方法並びに音声合成プログラムを記録した記録媒体 |
CN101945626B (zh) * | 2008-02-15 | 2013-03-20 | 小山悟 | 听觉区域的脑血流量提高装置 |
JP2010148081A (ja) * | 2008-12-21 | 2010-07-01 | Sankyo Riken Kk | 効果音重畳装置 |
JP5481608B1 (ja) | 2012-08-16 | 2014-04-23 | 株式会社アクション・リサーチ | 振動処理装置及び方法 |
JP6121606B1 (ja) * | 2016-08-25 | 2017-04-26 | フロンティアマーケット株式会社 | 聴覚トレーニング装置、聴覚トレーニング装置の作動方法、およびプログラム |
-
2016
- 2016-08-25 JP JP2016164524A patent/JP6121606B1/ja active Active
-
2017
- 2017-08-23 TW TW106128593A patent/TW201806638A/zh unknown
- 2017-08-25 EP EP17843711.7A patent/EP3505146A4/en not_active Withdrawn
- 2017-08-25 CN CN201780050578.XA patent/CN110099652A/zh active Pending
- 2017-08-25 US US16/333,906 patent/US20190254572A1/en not_active Abandoned
- 2017-08-25 WO PCT/JP2017/030433 patent/WO2018038235A1/ja active Application Filing
- 2017-08-25 JP JP2017564146A patent/JPWO2018038235A1/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1342304A (zh) * | 1998-10-07 | 2002-03-27 | 认知概念股份有限公司 | 音韵意识、音韵处理和阅读技能训练系统和方法 |
CN1794946A (zh) * | 2003-05-15 | 2006-06-28 | 提姆帕尼有限公司 | 用于自动化诊断听觉测试的用户界面 |
JP2009000248A (ja) * | 2007-06-21 | 2009-01-08 | Otodesigners Co Ltd | ゲーム機 |
US20110313315A1 (en) * | 2009-02-02 | 2011-12-22 | Joseph Attias | Auditory diagnosis and training system apparatus and method |
JP2012183287A (ja) * | 2011-03-07 | 2012-09-27 | Ko Murasaki | 聴取力評価方法とそれに用いる回答用紙並びに聴力評価システム。 |
CN104394499A (zh) * | 2014-11-21 | 2015-03-04 | 华南理工大学 | 基于视听交互的虚拟声重放校正装置及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2018075046A (ja) | 2018-05-17 |
EP3505146A4 (en) | 2020-04-22 |
JPWO2018038235A1 (ja) | 2018-08-23 |
JP6121606B1 (ja) | 2017-04-26 |
US20190254572A1 (en) | 2019-08-22 |
TW201806638A (zh) | 2018-03-01 |
EP3505146A1 (en) | 2019-07-03 |
WO2018038235A1 (ja) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110099652A (zh) | 听觉训练装置、听觉训练方法及程序 | |
US10790919B1 (en) | Personalized real-time audio generation based on user physiological response | |
CN109299318A (zh) | 音乐推荐的方法、装置、存储介质和终端设备 | |
US8046384B2 (en) | Information processing apparatus, information processing method and information processing program | |
JP2015517684A (ja) | コンテンツのカスタマイズ | |
US20140258858A1 (en) | Content customization | |
US10921892B2 (en) | Personalized tactile output | |
CN1225737A (zh) | 声音区域的检测方法及其装置,以及利用这个方法及装置的话速变换方法及其装置 | |
DE102014118075A1 (de) | Audio und Video synchronisierendes Wahrnehmungsmodell | |
CN111370024B (zh) | 一种音频调整方法、设备及计算机可读存储介质 | |
CN116578731B (zh) | 多媒体信息处理方法、系统、计算机设备和存储介质 | |
Raimondi et al. | Isochrony and rhythmic interaction in ape duetting | |
US12047660B2 (en) | Information processing apparatus, information processing method, and program | |
CN106557156A (zh) | 一种基于情感的智能音乐播放系统 | |
CN105190741A (zh) | 音乐合奏管理方法及音乐合奏管理装置 | |
CN102938223A (zh) | 一种音乐播放校音的方法、装置和设备 | |
Jimenez et al. | Identifying songs from their piano-driven opening chords | |
WO2022180092A1 (fr) | Dispositif et procédé de modification d'un état émotionnel d'un utilisateur | |
US20200097249A1 (en) | Computer apparatus for playback of audio | |
CN110109645A (zh) | 一种交互式音乐试听方法、装置和终端 | |
US10921893B2 (en) | Personalized tactile output | |
Rumsey | Quality, emotion, and machines | |
CN115910111A (zh) | 语音交互方法、装置、智能设备及计算机可读存储介质 | |
Moes | Context-based User Playlist Analysis for Music Recommendation | |
JP2022169067A (ja) | ロボット、およびロボットシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190806 |