CN105321519B - 话语辨识系统与单元 - Google Patents
话语辨识系统与单元 Download PDFInfo
- Publication number
- CN105321519B CN105321519B CN201510277768.8A CN201510277768A CN105321519B CN 105321519 B CN105321519 B CN 105321519B CN 201510277768 A CN201510277768 A CN 201510277768A CN 105321519 B CN105321519 B CN 105321519B
- Authority
- CN
- China
- Prior art keywords
- parameter
- language
- signal
- tongue
- away
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000214 mouth Anatomy 0.000 claims abstract description 50
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 38
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 14
- 210000002105 tongue Anatomy 0.000 claims description 107
- 208000011977 language disease Diseases 0.000 claims description 79
- 238000004891 communication Methods 0.000 claims description 54
- 238000004458 analytical method Methods 0.000 claims description 40
- 238000002360 preparation method Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000027455 binding Effects 0.000 claims description 7
- 238000009739 binding Methods 0.000 claims description 7
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 238000005206 flow analysis Methods 0.000 claims 1
- 210000001847 jaw Anatomy 0.000 description 47
- 230000002194 synthesizing effect Effects 0.000 description 9
- 210000002050 maxilla Anatomy 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000010189 synthetic method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- MQJKPEGWNLWLTK-UHFFFAOYSA-N Dapsone Chemical compound C1=CC(N)=CC=C1S(=O)(=O)C1=CC=C(N)C=C1 MQJKPEGWNLWLTK-UHFFFAOYSA-N 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 201000007201 aphasia Diseases 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 201000006549 dyspepsia Diseases 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
- G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
- G10L2021/105—Synthesis of the lips movements from speech, e.g. for talking heads
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种话语辨识系统与单元，该话语辨识系统包含一可撷取嘴唇影像的影像撷取装置、一可感测舌部位置变化的口腔参数撷取装置，及一话语辨识装置。话语辨识装置可接收分析影像撷取装置的唇形讯号与口腔参数撷取装置的舌距讯号与颚位讯号，而得出一个语音参数组，该输出单元可用于输出该语音参数组。通过该话语辨识系统可在吶语症患者讲话过程中，自动分析吶语症患者的唇形与舌部变化，而得到与特定语音资料对应的语音参数组的设计，可更进一步利用根据该语音参数组所比对出的语音资料来进行语音合成输出，让吶语症患者所讲的话可被清楚了解。
Description
技术领域
本发明涉及一种话语辨识系统与单元，特别是涉及一种用于辨识吶语症病患所说话语的话语辨识系统，及一种用于程式化建构于电子设备以辨识吶语症病患所说话语的话语辨识单元。
背景技术
一般人说话时，需要身体的多个系统相互协调才能说出正确语音。主要是由呼吸系统供应说话气流，气流上升通过喉部时，喉部系统会被气流驱动产生喉音，此喉音就是说话声音的来源，接着，再通过口腔内的舌头与牙齿及唇形所构成的构音系统，将喉音转变成不同音色、语调的语音，进而将大脑所要表达的内容通过说话动作呈现出来。但是当大脑、中枢或周围神经受损，而影响到呼吸系统、喉部系统与嘴部构音系统的功能时，就会使得所述系统于讲话时的构音组合运动的安排失常，而无法清楚表达呈现出正确的语音，此症状统称为「吶语症」。
吶语症非为失语症般的语言异常，也不是失智症患者的那种认知障碍，吶语症病患本身对于语言仍有正确认知，也知道如何通过语言来与他人沟通，只是因为其讲话系统的部分组织器官无法正常运作，造成所讲出的话语构音不正确，而难以理解。虽然吶语症患者无法发出清楚明确的语音，但是每次在讲出同一个字词时，其嘴部构音系统中的舌头、牙齿与嘴唇都仍会做出特定的运作模式，所以每次都会发出极为类似的语音，也因此，久而久的，每一位吶语症患者周围的人多少仍能够了解其所要表达的正确话语，但是对于嫌少与该吶语症患者互动的人而言，却会相当困扰，且经常发生理解错误的尴尬场面。因此，若能够让吶语症患者所说的话可被他人听懂，将促使吶语症患者更愿意进入人群，而大幅增进吶语症患者的生活质量。
发明内容
本发明的目的在于提供一种可用于辨识吶语症患者所讲的话语的话语辨识系统。
本发明的另一个目的，在于提供一种可用于程式化建构于一个电子设备，而可通过该电子设备进行吶语症患者的话语辨识的话语辨识单元。
本发明话语辨识系统，适用于安装在一位吶语症患者身上，并包含一个影像撷取装置、一个口腔参数撷取装置、一个话语辨识装置，及一个输出装置。该影像撷取装置能够撷取该吶语症患者的嘴唇影像，而对应输出一个唇形讯号。该口腔参数撷取装置包括一个用于安装在该吶语症患者口腔内而位于其舌部上方的载具，及分别安装于该载具的一个颚位感测单元与一个舌距感测单元，该颚位感测单元与该舌距感测单元能够于该吶语症患者讲话时，分别感测该舌部触抵该载具的触抵变化模式，而对应输出一个颚位讯号，以及感测该舌部与该载具的间距的舌距变化模式，而对应输出一个舌距讯号。该话语辨识装置是讯号连接于该影像撷取装置与该口腔参数撷取装置，包括一个能够接收分析该唇形讯号、该舌距讯号与该颚位讯号而对应产生一个语音参数组的话语辨识单元。该输出装置是讯号连接于该话语辨识装置，并能够输出该话语辨识装置产生的该语音参数组。
本发明所述话语辨识系统，该话语辨识单元包括一个唇形分析模块、一个颚位分析模块、一个舌距分析模块，及一个参数汇整模块，该唇形分析模块内置有多个分别对应不同唇形变化模式的唇形参数，并能够分析该唇形讯号所代表的唇形变化模式而比对出对应的唇形参数，该颚位分析模块内置有多个分别对应不同的触抵变化模式的颚位参数，且能够分析该颚位讯号所代表的触抵变化模式而比对出对应的颚位参数，该舌距分析模块内置有多个分别对应不同舌距变化模式的舌距参数，并能够分析该舌距讯号所代表的舌距变化模式而比对出对应的舌距参数，该参数汇整模块能够汇整该唇形参数、该颚位参数与该舌距参数而得出该语音参数组。
本发明所述话语辨识系统，该颚位感测单元包括多个间隔安装于该载具且能够分别被该舌部触抵而对应输出一个压力讯号的压力感测器，及一个能够汇整所述压力感测器的压力讯号而对应输出该颚位讯号的颚位讯号处理器。
本发明所述话语辨识系统，该舌距感测单元包括多个间隔安装于该载具底面并能够分别感测其与该舌部的间距而输出一个距离讯号的距离感测器，及一个能够汇整所述距离感测器的距离讯号而对应输出该舌距讯号的舌距讯号处理器。
本发明所述话语辨识系统，该口腔参数撷取装置还包括一个安装于该载具且位于该吶语症患者的口腔内的气流感测单元，该气流感测单元能够感测该吶语症患者讲话时于该口腔内所产生的气流变化模式，而对应输出一个气流讯号，该话语辨识装置还能够接收该气流讯号，且该话语辨识单元还包括一个气流分析模块，该气流分析模块内置有多个分别对应不同气流变化模式的气流参数，并能够分析该气流讯号所代表的气流变化模式而比对出对应的气流参数，该参数汇整模块是汇整该唇形参数、该颚位参数、该舌距参数与该气流参数而产生该语音参数组。
本发明所述话语辨识系统，该口腔参数撷取装置还包括一个能够与该话语辨识装置进行通讯与资料传输的第一通讯单元，该话语辨识装置还包括一个能够与该第一通讯单元讯号连接以进行通讯与资料传输的第二通讯单元，且该第一通讯单元与该第二通讯单元间能够采用有线及/或无线通讯技术进行讯号连接。
本发明所述话语辨识系统，该话语辨识装置还包括一个启动单元，该启动单元能够被操作启动而经由该第二通讯单元发送一个启动讯号至该第一通讯单元，并同时将该启动讯号传送至该影像撷取装置，该颚位感测单元、该舌距感测单元、该气流感测单元与该影像撷取装置会被该启动讯号触发致能，而分别感测输出该颚位讯号、该舌距讯号、该气流讯号与该唇形讯号。
本发明所述话语辨识系统，该话语辨识单元还包括一个语音资料库，及一个语音合成模块，该语音资料库内置有多个语音资料，及多个分别与所述语音资料绑定的语音参数组，该语音合成模块能够根据该参数汇整模块输出的该语音参数组，自该语音资料库中比对出对应的语音资料，并将比对出的一个或多个语音资料合成产生一个合成语音，且驱使该输出装置输出该合成语音。
本发明所述话语辨识系统，该话语辨识单元还包括一个字词比对模块，该语音资料库还储存有多个分别与特定的语音资料的组合对应的字词资料，该字词比对模块能够根据该语音合成模块合成该合成语音所使用的语音资料的组合，自该语音资料库中比对出对应的字词资料，并驱使该输出装置输出该字词资料。
本发明所述话语辨识系统，该输出装置包括一个能够输出该字词资料的显示模块，及一个能够输出语音资料与该合成语音的声音输出模块，该显示模块与该声音输出模块是分别通过有线及/或无线通讯技术与该话语辨识装置讯号连接。
本发明所述话语辨识系统，该话语辨识系统还包含一个安装于该吶语症患者并供该影像撷取装置与该话语辨识装置架设的戴配件，该戴配件包括一个能够供配戴于该吶语症患者的配戴部，及一个自该配戴部往外延伸至该吶语症患者脸部前侧的延伸杆部，该影像撷取装置与该声音输出模块是安装于该延伸杆部。
本发明话语辨识单元，适用于程式化建构在一个电子设备，并能够接收分析一个口腔参数撷取装置输出的颚位讯号与舌距讯号，及一个影像撷取装置输出的唇形讯号。该话语辨识单元包含一个唇形分析模块、一个颚位分析模块、一个舌距分析模块，及一个参数汇整模块。该唇形分析模块内置有多个分别对应不同唇形变化模式的唇形参数，并能够分析该唇形讯号所代表的唇形变化模式而比对出对应的唇形参数。该颚位分析模块内置有多个分别对应不同的触抵变化模式的颚位参数，且能够分析该颚位讯号所代表的触抵变化模式而比对出对应的颚位参数。该舌距分析模块内置有多个分别对应不同舌距变化模式的舌距参数，并能够分析该舌距讯号所代表的舌距变化模式而比对出对应的舌距参数。该参数汇整模块能够汇整该唇形参数、该颚位参数与该舌距参数而得出一个语音参数组。
本发明所述话语辨识单元，该口腔参数撷取装置还会输出一个气流讯号，该话语辨识单元还包含一个气流分析模块，该气流分析模块内置有多个分别对应不同气流变化模式的气流参数，并能够分析该气流讯号所代表的气流变化模式而比对出对应的气流参数，该参数汇整模块是汇整该唇形参数、该颚位参数、该舌距参数与该气流参数而产生该语音参数组。
本发明所述话语辨识单元，该话语辨识单元还包含一个语音资料库，及一个语音合成模块，该语音资料库内置有多个语音资料，及多个分别与所述语音资料绑定的语音参数组，该语音合成模块能够根据该参数汇整模块输出的该语音参数组，自该语音资料库中比对出对应的语音资料，并将比对出的语音资料合成产生一个合成语音。
本发明所述话语辨识单元，该话语辨识单元还包含一个字词比对模块，该语音资料库还储存有多个分别与特定的语音资料的组合对应的字词资料，该字词比对模块能够根据该语音合成模块合成该合成语音所使用的语音资料的组合，自该语音资料库中比对出对应的字词资料。
本发明的有益效果在于：通过该话语辨识系统与单元可在吶语症患者讲话过程中，自动分析吶语症患者的唇形变化与舌部变化，而得到与特定语音资料对应的语音参数组的设计，可方便进一步利用根据该语音参数组所比对出的语音资料来进行语音合成输出，让吶语症患者所讲的话能够被清楚理解。
附图说明
图1是本发明话语辨识系统的一个第一实施例的立体图；
图2是该第一实施例安装于一位吶语症患者时的示意图；
图3是该第一实施例的功能方块图；
图4是该第一实施例的一个口腔参数撷取装置的立体图；
图5是该第一实施例的该口腔参数撷取装置安装于该吶语症患者口腔内的侧剖示意图；
图6是本发明话语辨识系统的一个第二实施例的立体图；
图7是本发明话语辨识系统的一个第三实施例的立体图；及
图8是该第三实施例的功能方块图。
具体实施方式
下面结合附图及实施例对本发明进行详细说明。
如图1、2、5所示，本发明话语辨识系统的第一实施例，可安装设置在一位吶语症患者900身上，可用于协助辨识该吶语症患者900讲出的话语，并进行语音合成以发出可让其他人听懂的正确字词的语音。
该话语辨识系统包含一个用于安装配戴于该吶语症患者900的头部901的配戴件3、一个安装于该配戴件3的影像撷取装置4、一个用于安装固定于该吶语症患者900的口腔903内的口腔参数撷取装置5、一个安装于该配戴件3并讯号连接于该影像撷取装置4与该口腔参数撷取装置5的话语辨识装置6，及一个与该话语辨识装置6讯号连接的输出装置7。
该戴配件3具有一个用于配戴于头部901的配戴部31、两个分别固接于该配戴部31两端的安装部32，及一个自其中一个安装部32往前延伸至该吶语症患者900脸部前侧并可调整弯曲角度的延伸杆部33。
在本实施例中，该配戴部31是概呈C字型，而使得整个配戴件3外形概呈一个耳罩式耳机，但是实施时，该配戴部31与所述安装部32也可设计成眼镜型式，也就是分别设计成眼镜的镜脚与镜框样式，例如google glasses，且实施时也可只设置一个安装部32，但是实施时，该配戴件3外形不以上述态样为限。
该影像撷取装置4是安装于该延伸杆部33末端段，可用于撷取该吶语症患者900的嘴唇902影像，并对应出一个唇形讯号，并通过一条设置于该延伸杆部33中的讯号线(图未示)与该话语辨识装置6讯号连接。
如图3、4、5所示，该口腔参数撷取装置5包括一个安装固定于该吶语症患者900的口腔903内的载具51，及分别安装于该载具51的一个颚位感测单元52、一个舌距感测单元53、一个气流感测单元54与一个第一通讯单元55。该载具51外形是根据该吶语症患者900的上颚904与上排牙齿906外形所模制成型，可用于套置于上排牙齿906外，并往上贴抵固定于上颚904表面，主要是用于模拟该吶语症患者900的上颚904与上排牙齿906，并可被一舌部905触抵。该载具51安装于上颚904表面时，可以采用粘着剂粘固方式，或者是以勾件(图未示)勾卡于设置在口腔903内的定位辅具(图未示)，由于该载具51安装固定于上颚904表面的方式众多，且非本案的创作重点，因此不再详述。
该颚位感测单元52包括多个间隔布设于该载具51的压力感测器521，及一个讯号连接于所述压力感测器521的颚位讯号处理器522。所述压力感测器521可分别被往上触抵于该载具51的舌部905触动，而对应输出一个压力感测讯号，可用于在该吶语症患者900讲话过程中，相配合感测出该舌部905往上触抵该载具51底面的触抵变化模式。该颚位讯号处理器522会汇整所述压力感测讯号而对应产生一个颚位讯号，该颚位讯号内容包括所述压力感测器521分别测得的触抵力道，以及所述压力感测器521被触抵的时间先后顺序等。
在本实施例中，该颚位感测单元52是通过所述压力感测器521感测舌部905的触抵，进而感测该吶语症患者900讲话时，其舌部905是否有出现往上触抵其上颚904及/或上排牙齿906的动作、其触抵位置，以及在整个讲话过程中的触抵位置变化与触抵力道变化。
该舌距感测单元53包括多个前后布设外露于该载具51底面的距离感测器531，及一个讯号连接于所述距离感测器531的舌距讯号处理器532。所述距离感测器531可分别往下发射一个侦测讯号，并感测其下方的该舌部905部位所反射的侦测讯号，进而得出其与该舌部905部位的间距，并对应输出一个距离感测讯号。所以可通过所述距离感测器531的前后布设方式，来感测出该吶语症患者900讲话过程中，其舌部905前后多个部位分别相对于上颚904的间距的变化模式。该舌距讯号处理器532可接收处理所述距离感测讯号，并对应输出一个舌距讯号。
在本实施例中，所述距离感测器531为利用光进行测距的感测器类型，由于距离感测器531为一般构件，且类型众多，因此不再详述，且不以上述类型为限。
该气流感测单元54是嵌装外露于该载具51前端部，且外露于该吶语症患者900的口腔903中，可感测该吶语症患者900讲话时，于口腔903中所产生的对外气流变化模式，而对应产生一个气流讯号。
该第一通讯单元55可与该话语辨识装置6无线通讯，并可无线发送该颚位讯号、该舌距讯号与该气流讯号至该话语辨识装置6。由于该第一通讯单元55和该话语辨识装置6进行无线通讯的方式众多，例如ANT+无线通讯技术、蓝牙、ZigBee、NFC或其它短距无线通讯技术等，因此不再详述，且实施时不以上述类型为限。
在本实施例中，该颚位讯号处理器522、该舌距讯号处理器532与该第一通讯单元55是汇整在一个电路板50，而包埋固定在该载具51中，但是实施时不以此为限。
如图1、3、5所示，该话语辨识装置6是安装于该配戴件3的该配戴部31与所述安装部32中，包括一个第二通讯单元61、一个启动单元62、一个话语辨识单元63、一个记忆体单元65，及一个传输端子64。
该第二通讯单元61可通过无线通讯方式与该第一通讯单元55进行通讯与资料传输，可无线接收该颚位讯号、该舌距讯号与该气流讯号，并可通过讯号线(图未示)的有线通讯方式与该影像撷取装置4讯号连接，可接收该唇形讯号。实施时，该第二通讯单元61与该影像撷取装置4间也可采用无线通讯方式传输资料。
该启动单元62具有一个嵌装外露于其中一个安装部32表面的启动开关621，且会于该启动开关621被操作启动时，经由该第二通讯单元61无线发送一个启动讯号至该第一通讯单元55，并经由该讯号线传送该启动讯号至该影像撷取装置4。
该话语辨识单元63包括一个语音资料库631、一个唇形分析模块632、一个颚位分析模块633、一个舌距分析模块634、一个气流分析模块635、一个参数汇整模块636、一个语音合成模块637，及一个字词比对模块638。
该语音资料库631内置有多个语音资料、多个分别与所述语音资料对应的语音参数组，及多个分别与特定语音资料的组合对应的字词资料。在本实施例中，所述语音资料分别为某个字词的一个音节的语音，可用于作为语音合成时的合成元素，并可被输出以供聆听。所述字词资料是分别为单一个文字，或者是多个文字所构成的词句。
所述语音参数组分别为该位吶语症患者900针对所述语音资料进行发音时，该影像撷取装置4与该口腔参数撷取装置5分别测得的唇形变化模式、该载具51被舌部905触抵的触抵变化模式、该舌部905与该载具51间的舌距变化模式，及口腔903内气流的气流变化模式，每一个语音参数组包括一个唇形参数、一个颚位参数、一个舌距参数与一个气流参数。
该唇形分析模块632内置有多个分别对应不同唇部变化模式的唇形参数，并可分析该唇形讯号所代表的唇形变化模式，而比对出对应的唇形参数。该颚位分析模块633内置有多个分别对应不同的触抵变化模式的颚位参数，且可分析该颚位讯号所代表的触抵变化模式而比对出对应的颚位参数。该舌距分析模块634内置有多个分别对应不同舌距变化模式的舌距参数，并可分析该舌距讯号所代表的舌距变化模式而比对出对应的舌距参数。该气流分析模块635内置有多个分别对应不同气流变化模式的气流参数，并可分析该气流讯号所代表的气流变化模式而比对出对应的气流参数。该参数汇整模块636可接收汇整该唇形参数、该颚位参数、该舌距参数与该气流参数，而得到一个语音参数组或多个连续的语音参数组。
该语音合成模块637可根据该参数汇整模块636所得到的所有语音参数组，分别比对分析该语音资料库631中是否存在对应的语音参数组，若有，则会进一步根据每一个对应的语音参数组比对出对应的语音资料，并通过语音合成方法将多个语音资料合成为一个字词的合成语音，然后驱使该输出装置7输出该语音资料或该合成语音，且会将所得到的所有语音参数组、对应的语音资料与对应合成的合成语音绑定储存于一记忆体单元65；若未比对出对应的语音参数组，则驱使该输出装置7输出一个提示讯息。
本实施例所述的语音合成方法是将上述语音资料当作一个音节或半音节的方式，将多个语音资料组合构成一个字词，但是实施时，也可以其它语音合成方法取代，例如共振峰合成法、串接合成法、Diphone合成法、Domain-specific合成法与正弦波合成法等，都可用于将所述语音资料合成以构成合成语音，由于语音合成为现有技术，且类型众多，因此不再详述。
该字词比对模块638可根据该语音合成模块637合成一个合成语音时所使用的语音资料的组合，自该语音资料库631中比对出与该合成语音所采用的语音资料组合对应的字词资料，并将该字词资料与该合成语音绑定储存于该记忆体单元65中，且会通过该第二通讯单元61无线发送该字词资料至该输出装置7。
该字词比对模块638内置有语意分析功能，可通过分析先后比对出的字词资料的组合的语意，找出最可能的字词资料组合，可借此提高比对出的字词资料的准确度。但是因为根据语意分析进行字词资料的选字为一般技术且方式众多，因此不再详述，且实施时，该字词比对模块638并不以具备语意分析的选字功能为限。
该传输端子64为U盘介面(例如microUSB)，可供一条传输线(图未示)电连接插装，而与一个电子装置(图未示)讯号连接，例如连接于平板电脑、智能型手机、笔记型电脑或者桌上型电脑等，可供该电子装置读取该记忆体单元65所储存的语音参数组、语音资料、合成语音与字词资料，或者是将资料写入该语音资料库631，或者是设定其它单元或模块的功能参数等，但是实施时，该传输端子64的介面型式与功能都不以此为限，也可设计成兼具有输入直流电源以进行充电的功能。
该输出装置7包括一个安装固定于该延伸杆部33末端的声音输出模块71，及一个可供该吶语症患者900拿持且可显示影像的显示模块72。该声音输出模块71是经由一条设置于该延伸杆部33的讯号线(图未示)而讯号连接于该话语辨识装置6，可被该话语辨识装置6驱动而扩音输出该语音资料与该合成语音。
该显示模块72具有一个可与该第二通讯单元61无线通讯的第三通讯单元721，可经由该第三通讯单元721接收该话语辨识装置6传送的字词资料，并显示出所接收的每一个字词资料，以供讲话对象观看。由于该第三通讯单元721与该第二通讯单元61间的无线通讯方式类型众多，因此不再详述，且实施时，两者间也可改为有线通讯技术进行资料传输。
在本实施例中，该显示模块72可以是单纯的显示器，例如液晶面板，也可以是移动电话、平板电脑、笔记型电脑、桌上型电脑或电视等电子设备的显示面板，但是实施时不以上述类型为限。
本发明话语辨识系统供吶语症患者900使用时，可先将该配戴件3配戴于该吶语症患者900的头部901，使该影像撷取装置4可撷取其嘴唇902影像，并将该载具51安装于该吶语症患者900的口腔903内，也就是将该口腔参数撷取装置5安装固定于该吶语症患者900的口腔903内，便完成系统架设。
正式使用前，可于该语音资料库631中内置多个日常生活中经常会使用的字词的字词资料、多个用于合成所述字词资料的语音资料，也就是建立所述字词资料对应的字词的各个音节的语音资料，并请该位吶语症患者900逐一说出所述语音资料，同时通过该影像撷取装置4撷取讲话过程中的唇形变化模式，并通过该口腔参数撷取装置5感测舌部905触抵该载具51的触抵变化模式、该舌部905相对于该载具51的舌距变化模式，及感测口腔903内的气流变化模式，然后建立该吶语症患者900讲出每一个语音资料时的语音参数组，并将该语音资料与其对应的该语音参数组绑定，且储存于该语音资料库631中。
在建立该吶语症患者900的针对特定语音资料进行发音的语音参数组后，该位吶语症患者900便可通过本发明话语辨识系统与他人沟通。当吶语症患者900要讲话时，可操作该启动单元62的该启动开关621，通过该第二通讯单元61无线发送该启动讯号以遥控该口腔参数撷取装置5致能，并同时经由讯号线传送该启动讯号以控制该影像撷取装置4致能，接着，该吶语症患者900便可开始讲话，并于讲话结束时，关闭该启动开关621，使该口腔参数撷取装置5与该影像撷取装置4分别停止撷取感测讯号与影像。
在该位吶语症患者900讲话过程中，该影像撷取装置4会撷取该位吶语症患者900的嘴唇902形状的变化模式，并对应输出一个唇形讯号，该口腔参数撷取装置5会感测该吶语症患者900的舌部905的运动与口腔内气流变化，而对应发出该颚位讯号、该舌距讯号，及该气流讯号。
该话语辨识装置6会接收分析该唇形讯号、该颚位讯号、该舌距讯号与该气流讯号，以比对出对应的唇形参数、颚位参数、舌距参数与气流参数，并进一步将所述参数汇整成一个或多个连续的语音参数组，然后分析该语音资料库631中是否存在对应的语音参数组，若有，则比对出所有语音参数组对应的语音资料，并进一步经由语音合成方法，将一个或多个语音资料合成为代表一个字词的合成语音，若只比对出一个语音资料，则该合成语音就为该语音资料，该话语辨识装置6会经由该声音输出模块71扩音输出该语音资料或该合成语音。于此同时，该话语辨识装置6还会根据合成每一个合成语音所使用的语音资料的组合，比对出与每一个合成语音对应的最可能字词资料，并将所述字词资料传送至该显示模块72显示出，以供讲话对象观看。
若该语音资料库631没有对应的语音参数组，则该话语辨识装置6会驱使该声音输出模块71及/或该显示模块72发出该提示讯息，提醒该吶语症患者900，该吶语症患者900可重新讲述所要讲的字词，以供该话语辨识装置6重新进行分析辨识，以及进行语音合成与字词资料的比对。借此方式，周围的人便可清楚知道该吶语症患者900所要说的话语，将有助于该位吶语症患者900与他人的沟通。
在本实施例中，该声音输出模块71是直接设置于该配戴件3的该延伸杆部33，而位于该吶语症患者900嘴前，使该声音输出模块71输出的语音资料与合成语音可以类似由嘴巴部位自然发出，但是实施时，该声音输出模块71设置于该配戴件3的部位可根据需要调整，且不以设置于该配戴件3为必要，可将该声音输出模块71直接整合于该显示模块72，也就是使整个输出装置7合为一体，并使该话语辨识装置6通过有线及/或无线通讯方式，将比对出的语音资料、字词资料与合成语音一并传送至该输出装置7输出。
必须说明的是，实施时，该显示模块72与该声音输出模块71可设计成能够供该吶语症患者900依据需求个别启动的型式，例如只启动该显示模块72，而只通过影像型式输出字词资料以进行沟通。且实施时，该输出装置7可只设置该声音输出模块71或该显示模块72，不以两者都设置为必要。
此外，在本实施例中，是通过该语音合成模块637合成语音时所采用的语音资料的组合来比对出对应的字词资料，但是实施时，在完成语音合成后，再进一步比对出相同文义的对应字词资料的技术众多，且非本发明的创作重点，因此不再详述，且实施时不以上述实施态样为限。
再者，本实施例于该口腔参数撷取装置5设置该气流感测单元54以提供该气流参数的目的，是要用于感测该吶语症患者900所讲的字词是否含有气音成分，以及根据气流参数变化判断讲话的语气轻重，有助于更准确辨识该吶语症患者900的话语，并可用于调变合成语音的声音大小，但是实施时，该口腔参数撷取装置5不以设置该气流感测单元54为必要。
如图3、6所示，本发明话语辨识系统的第二实施例与该第一实施例差异处在于：第二实施例未设置该配戴件3，以及该影像撷取装置4、该话语辨识装置6与该输出装置7的结构型式。为方便说明，以下将只针对本实施例与该第一实施例差异处进行描述。
在本实施例中，是将该影像撷取装置4、该话语辨识装置6，以及该输出装置7整合在一起，而构成一台电子设备800型式，例如笔记型电脑、平板电脑或智能型手机等类型，其中，该影像撷取装置4、该显示模块72与该声音输出模块71会设置于该电子设备800前方，以便撷取影像，以及显示字词资料和输出声音，此外，还可将该第二通讯单元61设计成能够通过行动通讯网路、区域无线网路及/或网际网路而与其他通讯设备进行通讯与资料传输。该口腔参数撷取装置5可通过有线及/或无线通讯技术与该电子设备800讯号连接。
借此设计，吶语症患者900不需再于头上配戴该第一实施例的该配戴件3，只需将该口腔参数撷取装置5安装于口腔903中，并将该电子设备800摆放于其前方，可方便该吶语症患者900直接朝该电子设备800进行说话，该话语辨识装置6会接收分析该唇形讯号、该颚位讯号、该舌距讯号与该气流讯号，以比对出对应的语音参数组和语音资料，并进一步合成语音与比对出对应的字词资料，可经由该输出装置7输出合成语音与子词资料，且实施时，也可设计成由该电子设备800直接将合成语音及/或字词资料输入一个用于和另外一个通讯设备进行对话的通讯介面中，而可方便吶语症患者900经由该电子设备800以社群软体来和他人对话互动，相当方便实用。
此外，必须说明的是，当本发明话语辨识系统是将该影像撷取装置4、该话语辨识装置6与该输出装置7整合成一台电子设备800时，于实施时，该话语辨识装置6的该话语辨识单元63可采用程式软体的方式，例如APP型式，另外安装于一个具有该影像撷取装置4、该输出装置7、第二通讯单元61、该记忆体单元65与该传输端子64的设备中，而构成本案的该电子设备800，例如将该话语辨识单元63以软体程式型式下载安装于一个移动装置或电脑等设备，而构成该电子设备800。
如图7、8所示，本发明话语辨识系统的第三实施例与该第一实施例差异处在于：该口腔参数撷取装置5与该话语辨识装置6间的讯号连接方式。
在本实施例中，该第一通讯单元55是一条延伸出该载具51外并用于插装于其中一个安装部32的传输线，并可与该话语辨识装置6的该第二通讯单元61讯号连接，通过有线通讯方式进行通讯与资料传输。此外，该口腔参数撷取装置5的该颚位讯号处理器522与该舌距讯号处理器532是安装设置于该配戴件3中，该第一通讯单元55可直接将所述压力感测讯号与所述侦测讯号分别传送至位于该配戴件3中的该颚位讯号处理器522与该舌距讯号处理器532进行处理。
通过该口腔参数撷取装置5与该话语辨识装置6间的有线讯号连接设计，以及将该颚位讯号处理器522与该舌距讯号处理器532设置在该配戴件3中的设计，可更进一步精简设置于该载具51中的电子元件数量，使该载具51更轻薄。但是实施时，该颚位讯号处理器522与该舌距讯号处理器532也可保持设置在该载具51中的态样。
综上所述，通过本发明话语辨识系统的设计，可预先感测记录该吶语症患者900讲述用于合成语音的特定语音资料时的唇形参数、颚位参数、舌距参数与气流参数，以建立各个语音资料的语音参数组，以及建立不同语音资料的组合所构成的字词资料，便完成专属该位吶语症患者900的语音资料库631的建立，也就是说，每一位吶语症患者900可于其使用的该话语辨识系统中建立专属的语音资料库631，然后，该吶语症患者900便可通过本系统与他人沟通。在讲话过程中，该话语辨识系统会自动比对分析出对应的语音资料，并通过语音合成方式将比对出的语音资料合成为一个字词的合成语音，并由合成语音过程所采用的语音资料的组合，进一步比对出对应的字词资料，再经由该输出装置7输出该合成语音与字词资料，让讲话对象可清楚了解其说话内容。因此，本发明话语辨识系统将有助于吶语症患者900与他人的沟通互动，可大幅提高吶语症患者900的生活质量，是一种创新的话语辨识技术。因此，确实可达到本发明的目的。
Claims (11)
1.一种话语辨识系统，适用于安装在一位吶语症患者身上，其特征在于：该话语辨识系统包含一个能够撷取该吶语症患者的嘴唇影像而对应输出一个唇形讯号的影像撷取装置、一个用于安装在该吶语症患者口腔内的口腔参数撷取装置、一个讯号连接于该影像撷取装置与该口腔参数撷取装置的话语辨识装置，及一个讯号连接于该话语辨识装置的输出装置，该口腔参数撷取装置包括一个用于安装在该吶语症患者口腔内而位于其舌部上方的载具，及分别安装于该载具的一个颚位感测单元与一个舌距感测单元，该颚位感测单元包括多个间隔安装于该载具且能够分别被该舌部触抵而对应输出一个压力讯号的压力感测器，及一个能够汇整所述压力感测器的压力讯号而对应输出一个颚位讯号的颚位讯号处理器，该颚位讯号内容包括所述压力感测器分别测得的触抵力道，以及所述压力感测器被触抵的时间先后顺序，该舌距感测单元包括多个间隔安装于该载具底面并能够分别感测其与该舌部的间距而输出一个距离讯号的距离感测器，及一个能够汇整所述距离感测器的距离讯号而对应输出一个舌距讯号的舌距讯号处理器，该话语辨识装置包括一个话语辨识单元，该话语辨识单元包括一个唇形分析模块、一个颚位分析模块、一个舌距分析模块，及一个参数汇整模块，该唇形分析模块内置有多个分别对应不同唇形变化模式的唇形参数，并能够分析该唇形讯号所代表的唇形变化模式而比对出对应的唇形参数，该颚位分析模块内置有多个分别对应不同的触抵变化模式的颚位参数，且能够分析该颚位讯号所代表的触抵变化模式而比对出对应的颚位参数，该舌距分析模块内置有多个分别对应不同舌距变化模式的舌距参数，并能够分析该舌距讯号所代表的舌距变化模式而比对出对应的舌距参数，该参数汇整模块能够汇整该唇形参数、该颚位参数与该舌距参数而得出一个语音参数组，该输出装置能够输出该话语辨识装置产生的该语音参数组。
2.如权利要求1所述的话语辨识系统，其特征在于：该口腔参数撷取装置还包括一个安装于该载具且位于该吶语症患者的口腔内的气流感测单元，该气流感测单元能够感测该吶语症患者讲话时于该口腔内所产生的气流变化模式，而对应输出一个气流讯号，该话语辨识装置还能够接收该气流讯号，且该话语辨识单元还包括一个气流分析模块，该气流分析模块内置有多个分别对应不同气流变化模式的气流参数，并能够分析该气流讯号所代表的气流变化模式而比对出对应的气流参数，该参数汇整模块是汇整该唇形参数、该颚位参数、该舌距参数与该气流参数而产生该语音参数组。
3.如权利要求2所述的话语辨识系统，其特征在于：该口腔参数撷取装置还包括一个能够与该话语辨识装置进行通讯与资料传输的第一通讯单元，该话语辨识装置还包括一个能够与该第一通讯单元讯号连接以进行通讯与资料传输的第二通讯单元，且该第一通讯单元与该第二通讯单元间能够采用有线及/或无线通讯技术进行讯号连接。
4.如权利要求3所述的话语辨识系统，其特征在于：该话语辨识装置还包括一个启动单元，该启动单元能够被操作启动而经由该第二通讯单元发送一个启动讯号至该第一通讯单元，并同时将该启动讯号传送至该影像撷取装置，该颚位感测单元、该舌距感测单元、该气流感测单元与该影像撷取装置会被该启动讯号触发致能，而分别感测输出该颚位讯号、该舌距讯号、该气流讯号与该唇形讯号。
5.如权利要求1或3所述的话语辨识系统，其特征在于：该话语辨识单元还包括一个语音资料库，及一个语音合成模块，该语音资料库内置有多个语音资料，及多个分别与所述语音资料绑定的语音参数组，该语音合成模块能够根据该参数汇整模块输出的该语音参数组，自该语音资料库中比对出对应的语音资料，并将比对出的一个或多个语音资料合成产生一个合成语音，且驱使该输出装置输出该合成语音。
6.如权利要求5所述的话语辨识系统，其特征在于：该话语辨识单元还包括一个字词比对模块，该语音资料库还储存有多个分别与特定的语音资料的组合对应的字词资料，该字词比对模块能够根据该语音合成模块合成该合成语音所使用的语音资料的组合，自该语音资料库中比对出对应的字词资料，并驱使该输出装置输出该字词资料。
7.如权利要求6所述的话语辨识系统，其特征在于：该输出装置包括一个能够输出该字词资料的显示模块，及一个能够输出语音资料与该合成语音的声音输出模块，该显示模块与该声音输出模块是分别通过有线及/或无线通讯技术与该话语辨识装置讯号连接。
8.如权利要求7所述的话语辨识系统，其特征在于：该话语辨识系统还包含一个安装于该吶语症患者并供该影像撷取装置与该话语辨识装置架设的戴配件，该戴配件包括一个能够供配戴于该吶语症患者的配戴部，及一个自该配戴部往外延伸至该吶语症患者脸部前侧的延伸杆部，该影像撷取装置与该声音输出模块是安装于该延伸杆部。
9.一种话语辨识单元，适用于程式化建构在一个电子设备，并能够分析一个口腔参数撷取装置输出的颚位讯号、舌距讯号、气流讯号，及一个影像撷取装置输出的唇形讯号，该口腔参数撷取装置具有多个用以供舌头触抵的压力感测器，该颚位讯号内容包括每一压力感测器被舌头触抵的力道，以及所述压力感测器被舌头触抵的时间先后顺序，其特征在于：该话语辨识单元包含一个唇形分析模块、一个颚位分析模块、一个舌距分析模块、一个气流分析模块，及一个参数汇整模块，该唇形分析模块内置有多个分别对应不同唇形变化模式的唇形参数，并能够分析该唇形讯号所代表的唇形变化模式而比对出对应的唇形参数，该颚位分析模块内置有多个分别对应不同的触抵压力与触抵位置变化模式的颚位参数，且能够分析该颚位讯号所代表的触抵变化模式而比对出对应的颚位参数，该舌距分析模块内置有多个分别对应不同舌距变化模式的舌距参数，并能够分析该舌距讯号所代表的舌距变化模式而比对出对应的舌距参数，该气流分析模块内置有多个分别对应不同气流变化模式的气流参数，并能够分析该气流讯号所代表的气流变化模式而比对出对应的气流参数，该参数汇整模块能够汇整该唇形参数、该颚位参数、该舌距参数与该气流参数而产生一个语音参数组。
10.如权利要求9所述的话语辨识单元，其特征在于：该话语辨识单元还包含一个语音资料库，及一个语音合成模块，该语音资料库内置有多个语音资料，及多个分别与所述语音资料绑定的语音参数组，该语音合成模块能够根据该参数汇整模块输出的该语音参数组，自该语音资料库中比对出对应的语音资料，并将比对出的语音资料合成产生一个合成语音。
11.如权利要求10所述的话语辨识单元，其特征在于：该话语辨识单元还包含一个字词比对模块，该语音资料库还储存有多个分别与特定的语音资料的组合对应的字词资料，该字词比对模块能够根据该语音合成模块合成该合成语音所使用的语音资料的组合，自该语音资料库中比对出对应的字词资料。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW103125713 | 2014-07-28 | ||
| TW103125713 | 2014-07-28 | ||
| TW104109414A TWI576826B (zh) | 2014-07-28 | 2015-03-24 | Discourse Recognition System and Unit |
| TW104109414 | 2015-03-24 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105321519A CN105321519A (zh) | 2016-02-10 |
| CN105321519B true CN105321519B (zh) | 2019-05-14 |
Family
ID=53724088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510277768.8A Active CN105321519B (zh) | 2014-07-28 | 2015-05-27 | 话语辨识系统与单元 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9424842B2 (zh) |
| EP (1) | EP2980788A1 (zh) |
| JP (2) | JP2016031534A (zh) |
| CN (1) | CN105321519B (zh) |
| TW (1) | TWI576826B (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201416311D0 (en) * | 2014-09-16 | 2014-10-29 | Univ Hull | Method and Apparatus for Producing Output Indicative of the Content of Speech or Mouthed Speech from Movement of Speech Articulators |
| GB201416303D0 (en) * | 2014-09-16 | 2014-10-29 | Univ Hull | Speech synthesis |
| US10542929B2 (en) * | 2016-02-23 | 2020-01-28 | Dustin Ryan Kimmel | Determining conditions based on intraoral sensing |
| CN105551327A (zh) * | 2016-03-07 | 2016-05-04 | 浙江理工大学 | 一种基于柔性电子皮肤的互动式发音矫正系统及方法 |
| JP6813176B2 (ja) * | 2016-10-17 | 2021-01-13 | イノベーション・ラボラトリ株式会社 | 音声抑制システム及び音声抑制装置 |
| KR20180115601A (ko) * | 2017-04-13 | 2018-10-23 | 인하대학교 산학협력단 | 영상 객체의 발화 및 표정 구현을 위한 조음기관 물리 특성 기반의 발화-표정 데이터 맵핑 시스템 |
| WO2018190668A1 (ko) * | 2017-04-13 | 2018-10-18 | 인하대학교 산학협력단 | 두경부 조음기관의 물리 특성을 이용한 발화 의도 표현 시스템 |
| CN107274736B (zh) * | 2017-08-14 | 2019-03-12 | 牡丹江师范学院 | 一种校园互动式英语口语语音教学装置 |
| KR102364032B1 (ko) * | 2017-09-28 | 2022-02-17 | 인하대학교 산학협력단 | 조음기관의 물리 특성과 음성 및 문자 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템 |
| US10529355B2 (en) * | 2017-12-19 | 2020-01-07 | International Business Machines Corporation | Production of speech based on whispered speech and silent speech |
| NL2021041B1 (nl) * | 2018-01-31 | 2019-08-07 | Iebm B V | Spraakherkenning met beeld signaal |
| CN108538283B (zh) * | 2018-03-15 | 2020-06-26 | 上海电力学院 | 一种由唇部图像特征到语音编码参数的转换方法 |
| CN108648745B (zh) * | 2018-03-15 | 2020-09-01 | 上海电力学院 | 一种由唇部图像序列到语音编码参数的转换方法 |
| KR102071421B1 (ko) * | 2018-05-31 | 2020-01-30 | 인하대학교 산학협력단 | 청음 향상을 위한 두경부 물리 특성 기반 복합시스템 |
| US11373653B2 (en) * | 2019-01-19 | 2022-06-28 | Joseph Alan Epstein | Portable speech recognition and assistance using non-audio or distorted-audio techniques |
| TWI725668B (zh) * | 2019-12-16 | 2021-04-21 | 陳筱涵 | 注意力集中輔助系統 |
| CN111986674B (zh) * | 2020-08-13 | 2021-04-09 | 广州仿真机器人有限公司 | 基于三级特征采集的智能语音识别方法 |
| KR102426792B1 (ko) | 2020-09-16 | 2022-07-29 | 한양대학교 산학협력단 | 무음 발화 인식 방법 및 장치 |
| US11908478B2 (en) | 2021-08-04 | 2024-02-20 | Q (Cue) Ltd. | Determining speech from facial skin movements using a housing supported by ear or associated with an earphone |
| CA3228015A1 (en) * | 2021-08-04 | 2023-02-09 | Q (Cue) Ltd. | Detection of silent speech |
| US20240070251A1 (en) * | 2021-08-04 | 2024-02-29 | Q (Cue) Ltd. | Using facial skin micromovements to identify a user |
| WO2024018400A2 (en) | 2022-07-20 | 2024-01-25 | Q (Cue) Ltd. | Detecting and utilizing facial micromovements |
| CN115294838A (zh) * | 2022-02-14 | 2022-11-04 | 浙江理工大学 | 一种基于唇语识别的聋儿发音训练方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4212907A1 (de) * | 1992-04-05 | 1993-10-07 | Drescher Ruediger | Spracherkennungsverfahren für Datenverarbeitungssysteme u.s.w. |
| CN1442802A (zh) * | 2002-02-28 | 2003-09-17 | 株式会社Ntt都科摩 | 信息识别装置与信息识别方法 |
| CN1442845A (zh) * | 2002-03-04 | 2003-09-17 | 株式会社Ntt都科摩 | 语音识别系统及方法、语音合成系统及方法及程序产品 |
| CN1556496A (zh) * | 2003-12-31 | 2004-12-22 | 天津大学 | 唇形识别发声器 |
| CN102257561A (zh) * | 2008-12-16 | 2011-11-23 | 皇家飞利浦电子股份有限公司 | 语音信号处理 |
| CN102314595A (zh) * | 2010-06-17 | 2012-01-11 | 微软公司 | 用于改善话音识别的rgb/深度相机 |
| CN103699227A (zh) * | 2013-12-25 | 2014-04-02 | 邵剑锋 | 一种新的人机交互系统 |
| CN103705218A (zh) * | 2013-12-20 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 构音障碍识别的方法、系统和装置 |
| CN103943107A (zh) * | 2014-04-03 | 2014-07-23 | 北京大学深圳研究生院 | 一种基于决策层融合的音视频关键词识别方法 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE2814551C2 (de) * | 1978-04-04 | 1986-03-13 | Siemens AG, 1000 Berlin und 8000 München | Vorrichtung zur Messung des Ortes, der Lage und/oder der Orts- bzw. Lageänderung eines starren Körpers im Raum |
| US4223411A (en) * | 1978-08-07 | 1980-09-23 | Massachusetts Institute Of Technology | Internal laryngeal prosthesis |
| JPS55125845A (en) * | 1979-03-22 | 1980-09-29 | Rion Co | Method of measuring breathing current |
| DK155420C (da) * | 1979-05-10 | 1989-10-09 | Rion Co | Kunstig gane |
| JPS55149970A (en) * | 1979-05-12 | 1980-11-21 | Rion Co | Artificial mouth for electroparatography |
| JPS58150997A (ja) * | 1982-03-03 | 1983-09-07 | 工業技術院長 | 発音特徴抽出装置 |
| JPH01259414A (ja) * | 1988-04-06 | 1989-10-17 | Res Triangle Inst | 視聴覚発話認識装置 |
| US5523745A (en) * | 1988-12-16 | 1996-06-04 | Zofcom Systems, Inc. | Tongue activated communications controller |
| JP2985976B2 (ja) * | 1991-02-12 | 1999-12-06 | 日本電信電話株式会社 | 舌動作検出型音節認識装置 |
| DE69616623T2 (de) * | 1995-03-31 | 2002-08-01 | International Business Machines Corp., Armonk | Intraorales Kommunkationssystem |
| JP3894691B2 (ja) * | 1999-10-18 | 2007-03-22 | 株式会社国際電気通信基礎技術研究所 | 口蓋プレートを用いたデータ入力装置 |
| WO2002077972A1 (en) * | 2001-03-27 | 2002-10-03 | Rast Associates, Llc | Head-worn, trimodal device to increase transcription accuracy in a voice recognition system and to process unvocalized speech |
| US7071844B1 (en) * | 2002-09-12 | 2006-07-04 | Aurelian Phillip Moise | Mouth mounted input device |
| US20040243416A1 (en) * | 2003-06-02 | 2004-12-02 | Gardos Thomas R. | Speech recognition |
| US20050071166A1 (en) * | 2003-09-29 | 2005-03-31 | International Business Machines Corporation | Apparatus for the collection of data for performing automatic speech recognition |
| GB2422238A (en) * | 2005-01-17 | 2006-07-19 | Univ Hull | Generation of data from speech or voiceless mouthed speech |
| JP2007111335A (ja) * | 2005-10-21 | 2007-05-10 | Yamaha Corp | 口腔センサ及び音素判定装置 |
| WO2007053562A2 (en) * | 2005-10-31 | 2007-05-10 | North Carolina State University | Tongue operated magnetic sensor based wireless assistive technology |
| WO2007098577A1 (en) * | 2006-02-28 | 2007-09-07 | Saringer Research Inc. | Training device and method to suppress sounds caused by sleep and breathing disorders |
| DE602007002906D1 (de) * | 2006-05-22 | 2009-12-03 | Philips Intellectual Property | System und verfahren zum trainieren eines dysarthrischen sprechers |
| US7890193B2 (en) * | 2007-08-15 | 2011-02-15 | Tingey Terrell F | Oral device |
| DE202009018698U1 (de) * | 2008-07-11 | 2012-11-27 | University Of The Witwatersrand Johannesburg | Künstlicher Kehlkopf |
| WO2011147418A1 (en) * | 2010-05-25 | 2011-12-01 | Aalborg Universitet | A tongue sensor |
| US11100915B2 (en) * | 2010-12-03 | 2021-08-24 | Forbes Rehab Services, Inc. | Audio output module for use in artificial voice systems |
| US20130090931A1 (en) * | 2011-07-05 | 2013-04-11 | Georgia Tech Research Corporation | Multimodal communication system |
| EP2737480A4 (en) * | 2011-07-25 | 2015-03-18 | Incorporated Thotra | SYSTEM AND METHOD FOR ACOUSTIC TRANSFORMATION |
| US9911358B2 (en) * | 2013-05-20 | 2018-03-06 | Georgia Tech Research Corporation | Wireless real-time tongue tracking for speech impairment diagnosis, speech therapy with audiovisual biofeedback, and silent speech interfaces |
-
2015
- 2015-03-24 TW TW104109414A patent/TWI576826B/zh active
- 2015-05-27 CN CN201510277768.8A patent/CN105321519B/zh active Active
- 2015-07-24 EP EP15178370.1A patent/EP2980788A1/en not_active Withdrawn
- 2015-07-24 JP JP2015146577A patent/JP2016031534A/ja active Pending
- 2015-07-27 US US14/809,739 patent/US9424842B2/en not_active Expired - Fee Related
-
2017
- 2017-10-10 JP JP2017197027A patent/JP6484317B2/ja active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4212907A1 (de) * | 1992-04-05 | 1993-10-07 | Drescher Ruediger | Spracherkennungsverfahren für Datenverarbeitungssysteme u.s.w. |
| CN1442802A (zh) * | 2002-02-28 | 2003-09-17 | 株式会社Ntt都科摩 | 信息识别装置与信息识别方法 |
| CN1442845A (zh) * | 2002-03-04 | 2003-09-17 | 株式会社Ntt都科摩 | 语音识别系统及方法、语音合成系统及方法及程序产品 |
| CN1556496A (zh) * | 2003-12-31 | 2004-12-22 | 天津大学 | 唇形识别发声器 |
| CN102257561A (zh) * | 2008-12-16 | 2011-11-23 | 皇家飞利浦电子股份有限公司 | 语音信号处理 |
| CN102314595A (zh) * | 2010-06-17 | 2012-01-11 | 微软公司 | 用于改善话音识别的rgb/深度相机 |
| CN103705218A (zh) * | 2013-12-20 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 构音障碍识别的方法、系统和装置 |
| CN103699227A (zh) * | 2013-12-25 | 2014-04-02 | 邵剑锋 | 一种新的人机交互系统 |
| CN103943107A (zh) * | 2014-04-03 | 2014-07-23 | 北京大学深圳研究生院 | 一种基于决策层融合的音视频关键词识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| "Advamces in combined electro-optical palatography";Birkholz P. ,etc.;《Proceedings of Interspeech 2012》;20120913;第1部分第1段，第2.1部分第1段，附图1a-1c * |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI576826B (zh) | 2017-04-01 |
| CN105321519A (zh) | 2016-02-10 |
| US20160027441A1 (en) | 2016-01-28 |
| JP6484317B2 (ja) | 2019-03-13 |
| JP2018028681A (ja) | 2018-02-22 |
| TW201604864A (zh) | 2016-02-01 |
| US9424842B2 (en) | 2016-08-23 |
| EP2980788A1 (en) | 2016-02-03 |
| JP2016031534A (ja) | 2016-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105321519B (zh) | 话语辨识系统与单元 | |
| CN103380054B (zh) | 水下通信装置 | |
| US9684486B2 (en) | Display device, method of controlling display device, and program | |
| CN110874137B (zh) | 一种交互方法以及装置 | |
| US20180322875A1 (en) | Translation device | |
| US9972319B2 (en) | Display device, method of controlling display device, and program having display of voice and other data | |
| KR20050057004A (ko) | 마이크로폰, 커뮤니케이션 인터페이스 시스템 | |
| CN103116576A (zh) | 一种语音手势交互翻译装置及其控制方法 | |
| KR20150112337A (ko) | 디스플레이 장치 및 그 사용자 인터랙션 방법 | |
| CN202150884U (zh) | 一种手机感应心情装置 | |
| US11361783B2 (en) | Computer-aided conversion test system and method for generating intelligible speech | |
| CN112840397A (zh) | 信息处理装置及信息处理方法 | |
| CN118235174A (zh) | 无声语音检测 | |
| Freitas et al. | Multimodal corpora for silent speech interaction | |
| JP6798258B2 (ja) | 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム | |
| JP6064736B2 (ja) | 情報記憶装置および情報記憶プログラム | |
| CN114545759A (zh) | 智能手表测试设备 | |
| JP5929811B2 (ja) | 画像表示装置および画像表示プログラム | |
| JP7143579B2 (ja) | 音声入力装置 | |
| WO2020174356A1 (en) | Speech interpretation device and system | |
| JP2018007723A (ja) | 嚥下情報提示装置 | |
| US20240267452A1 (en) | Mobile communication system with whisper functions | |
| JP6894081B2 (ja) | 語学学習装置 | |
| TWI852226B (zh) | 聾人表演互動穿戴式裝置及其方法 | |
| US20220172740A1 (en) | Self voice rehabilitation and learning system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220629 Address after: No. 901 Zhonghua Road, Yongkang District, Taiwan, Tainan, China Patentee after: Chi Mei Medical Center Address before: Taiwan, Kaohsiung, China Patentee before: Liu Jingfeng Patentee before: Chen Xiaohan |