CN102939791A - 用于具有听觉、言语和视觉障碍的人的手持式通信辅助器 - Google Patents
用于具有听觉、言语和视觉障碍的人的手持式通信辅助器 Download PDFInfo
- Publication number
- CN102939791A CN102939791A CN201180024924XA CN201180024924A CN102939791A CN 102939791 A CN102939791 A CN 102939791A CN 201180024924X A CN201180024924X A CN 201180024924XA CN 201180024924 A CN201180024924 A CN 201180024924A CN 102939791 A CN102939791 A CN 102939791A
- Authority
- CN
- China
- Prior art keywords
- communicator
- user
- data
- communication
- data format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 115
- 208000029257 vision disease Diseases 0.000 title 1
- 230000004393 visual impairment Effects 0.000 title 1
- 206010011878 Deafness Diseases 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 30
- 206010047571 Visual impairment Diseases 0.000 claims description 26
- 238000013473 artificial intelligence Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000004888 barrier function Effects 0.000 claims description 5
- 238000003058 natural language processing Methods 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 abstract description 5
- 238000012986 modification Methods 0.000 abstract description 5
- 230000001771 impaired effect Effects 0.000 abstract 3
- 230000008921 facial expression Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 8
- 230000036651 mood Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 206010048865 Hypoacusis Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 206010039740 Screaming Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/04—Devices for conversing with the deaf-blind
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/60—Medium conversion
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
- Eyeglasses (AREA)
Abstract
本发明涉及一种助于聋哑和视障的人相互之间以及与正常人进行沟通的手持式通信辅助器和方法。该方法使聋哑和视障的人相互之间以及与正常人能够依靠远程通信装置进行通信而无需任何硬件临时调整。该方法使聋哑和视障的人能够面对面的沟通并且使能远程通信辅助器。该方法无需修改由正常人使用的手持式通信装置。
Description
技术领域
本发明涉及一种用于具有听觉、言语和视觉障碍的人的手持式通信辅助器。更具体地，本发明涉及一种手持式通信辅助器和通信方法，其助于具有听觉、言语和视觉障碍的人与正常人以及与具有听觉、言语和视觉障碍的人进行沟通。
背景技术
对具有诸如听觉、言语和视觉困难的身体缺陷的人即聋哑人或盲人的最大挑战是与具有类似残疾的人以及其他正常人进行沟通。特别地，耳聋的人不能听到传送给他们的语音，而哑的人不能说话。在沟通上的这种隔阂以及关联的问题一般通过使用手语、面部表情、唇读或书面沟通的手段来解决，这通常注定了参与沟通的人相对较少亲近的个人沟通。
此外，这些沟通手段限于能够解读这种抽象的沟通模式的信息表示的也受过训练的人。然而，该沟通问题在残疾人和正常人之间的沟通中更加明显。
聋哑人的另一个障碍是与不懂手语的正常人进行沟通。在这样的障碍中，他们依靠书面形式的沟通。然而，对于存在读写局限的又聋又哑的人而言，书面沟通是困难的。
聋哑人的另一个障碍是与无法读取或看见手语的视障者进行沟通。
在远处地方的人之间的沟通更为困难。虽然可利用很多包括移动电话的远程通信装置，但是却较少为有视觉障碍和说话困难的人使用。一般情况下，聋哑人限于使用短消息服务来通过手机沟通，其中在远处位置的人还需要打字消息。这是耗时的，而且它需要双方都具有读和写的能力。因此，迫切需要为这样的人提供一种装置，以与同样的残疾人和正常人进行沟通。
提出了一些发明以为具有听觉和视觉障碍的人提供通信辅助器和方法。
US 4596899教导了一种便携式电话助听器，该便携式电话助听器具有提供20dB最大增益的声音/磁放大器，其在U形弹性夹子构件的一端处具有圆形壳体以用于将其附接到手机中的电话接收器。这个“U”形助听器可与电话接合，以为具有佩戴型助听器的人以及在嘈杂环境中的人提供听力帮助。尽管该US4596899专利公开了用于聋人的方法或通信辅助器，但是并未揭示用于聋哑人或不能说话的人特别是与正常人沟通的方法或通信系统。
US 5047952教导了一种用于聋人、聋盲人和无法发声的人的通信系统，其包括仪器手套以获得指示第一个人的手构造的电信号。用于传送输出的元件包括语音合成器、LED监视器或盲文显示器。本发明的其它组件包括语音识别、手表LCD监视器以及用于由聋人和聋盲人提供输入的仪器手套。正常人可以使用便携式键盘来与残疾人进行沟通。虽然该US 5047952专利公开了用于聋人、聋盲人和无法发声的人的通信系统以用于人的交互，但它不能被用于或实施于远程通信，特别是经由电话或手机的远程通信。
US 5524056教导了一种助听器，其包括并结合全向和单向麦克风，该麦克风使用切换电路、助听器放大器和均衡器电路。该切换电路用于取决于环境噪声水平而在麦克风之间进行自动切换。该US 5524056专利公开了只用于聋人的助听器，但没有揭示用于聋哑人和视障人的通信辅助器。
US 6993474公开了一种紧凑和便携式互动系统，以使在具有语言障碍(例如听力障碍和语言缺陷)的人之间能够以打字的语言格式进行人对人的沟通。它公开了一种定制的膝上型电脑，其专门设计用于满足具有听力和语言困难的人的需要。该电脑包括两个键盘和在该膝上型电脑的任一侧上的屏幕。显示屏将进一步具有分裂构造，即，双屏幕，顶部/底部或左/右描绘对话框，每个对话框专用给用户。以下机制可以与该发明一起提供：该机制用于在显示语言之前在许多可用选项之间翻译该语言。因此，一个对话框以一种语言来显示文本，而其它对话框以其它语言来显示文本。该发明限于只能进行面对面的沟通。该US 6993474专利公开了面对面的通信装置，但不能使用于或实施于远程通信中以及具有读写困难的人。
US 7027986公开了用于为听力障碍者提供自动的语音到文本的编码和解码的一种方法和一种装置，其中，宽带用户终端连接到：(a)网络，以通过网络传送语音分组，(b)电话，以传送语音信息，和(c)显示装置，以显示口语单词的文本信息。尽管该US 7027986专利公开了语音到文本的编码和解码，但是其限定使用只接收文本或语音输入的设备。输入文本需要许多时间并且实际上对具有说话困难的人而言是没有用的。
US 7356473公开了一种计算机辅助的通信和协助系统，其在与麦克风系统的无线通信中在处理器中使用信号处理和其它算法，以辅助聋人，其中，仪器通信模块接收来自一个或多个麦克风的信息，并向聋人提供文本以及可选地刺激信息。该US 7356473专利使用外部硬件来传送在限定邻近处的其他人的语音信号，其使用语音到文本的转换。这种方式对聋人或视障人是有用的；但是，该方式在人同时具有听觉和视觉障碍的某些严重情况下可能无法工作。
US 7607097公开了通过以下来将沟通流中的情绪信息合并的方法：接收指示通信会话中的陈述者情绪状态的情绪状态指标；为陈述者检索文化简档；检索与通信会话中的多个受话者的每个受话者对应的多个文化简档；针对每个受话者，根据陈述者的文化简档与每个受话者的文化简档之间的差别而将情绪状态指标转化为对应的情绪；将转化后的情绪并入通信会话的副本；并且将通信会话和转化后的情绪给予每个受话者。该US 7607097专利公开了从面部表情、语音识别和肢体动作来识别情绪。然而，源于这些情绪的沟通心情受限于清楚表达实际语音或消息，而存在着对于将包括手语的手势和跳跃运动识别和转换为文本以及进一步地将文本识别和转换为语音的强烈需求。
US 7664531公开了一种信息处理设备，其提供了与不同的信息处理设备的通信和交换图像，并且包括：存储单元，其用于存储包括一个或多个手指字符图像的显示图案词典，每个手指字符图像对应于字符和/或数字并且表示手指字符；操作单元，其用于输入字符和/或数字；图像选择单元，其用于从显示图案词典中选择与由操作单元输入的字符和/或数字对应的手指字符图像；以及发送单元，其用于将所选择的手指字符图像发送到不同的信息处理设备。该US7664531专利公开了用于聋人与其他聋人通过移动电话沟通的通信装置。它主要将符号转换成密码以在远程位置被发送；输入手语被映射到呼叫方的移动电话处的键座。所发送的信息在接收方的移动电话处再次需要将发送的代码转换成确定的可理解形式，因此需要在两个参与所述通信的移动电话上执行修改。这种特殊方面限制了用于残疾人的通信装置的广泛应用。因此，存在对用于残疾人的通用通信装置的迫切需要，而这样的残疾人能够在不为另一端处需要技术修改烦恼的情况下与世界上的其他人进行沟通。
在本发明中，我们提出了一种在现有通信辅助器中具有额外功能的新的方法，以克服对于听力和说话困难的人的上述所有限制。
鉴于上述现有技术，明显需要有为具有例如听力困难的身体缺陷的人(即聋哑人或视障人)相互沟通以及与正常人沟通的可定制的解决方案。
为了提出这样的解决方案的一直需要，本发明提供协助聋哑和视障的人与正常人进行沟通的手持式通信辅助器和方法。
发明目的
本发明的原理目的是提供一种用于具有听觉、言语和视觉障碍的人的手持式通信辅助器。
本发明的进一步目的是提供一种用于具有听觉、言语和视觉障碍的人的通信方法和通信辅助器。
本发明的另一个目的是使具有听觉、言语和视觉障碍的人相互之间和与正常人之间能够进行实时通信。
本发明的另一个目的是提供便于具有听力以及读写困难的人与其它远程或本地的人进行沟通的通信辅助器。
本发明的另一个目的是提供对现有手持式通信装置的硬件无需任何修改的通信辅助器。
本发明的另一个目的是提供在与有身体残疾的人沟通时对由正常人使用的现有手持式通信装置的硬件无需任何修改的通信辅助器。
本发明的另一个目的是提供通过使用个人手持装置来与处于远程位置的正常人进行实时通信。
本发明的另一个目的是协助聋哑人和正常人使用一个公共手持装置来在同一位置进行实时通信。
本发明的另一个目的是提供一种用于训练自动语音识别模块以对残疾人的助听器进行个性化的设施。
发明内容
本发明公开了手持式通信辅助器和方法，其协助具有听力、语言和视觉障碍的人相互之间以及与正常人进行沟通。
用户将输入提供给远程通信装置。通过使用文本到语音转换引擎，提供给通信装置的输入文本被转换为语音输出。
语音输出通过远程通信装置来传送给用户。另外，通过使用自动语音识别引擎，由用户接收的语音输入被进一步转换到文本或手势或面部表情。
另外，通过使用通信辅助器的显示装置，转换后的文本输出被传送给用户。
在本发明的原理实施例中，公开了一种帮助具有听觉、言语和视觉障碍的人与正常人以及与具有听觉、言语和视觉障碍的人进行沟通的系统和方法，该通信方法包括步骤：
由具有包括视觉、听觉和/或语言障碍中的至少一个障碍的第一用户将用户输入馈送到发送方通信装置，所述第一用户与具有接收方通信装置的、没有障碍或具有包括视觉、听觉和/或语言障碍中的至少一个障碍的至少一个第二用户通过通信链路进行沟通；
训练接收方通信装置来创建用于识别用户语音编码的至少一个用户简档；
具有一个或多个障碍的发送方从发送方通信装置上的键区、触控笔、触摸屏、相机和盲文键盘的组中选择至少一个输入装置；
借由与所述发送方通信装置关联的数据格式选项选择装置，依照接收用户状态而将输入数据格式选择性地形式化为至少一种形式化的数据格式，该接收用户状态包括来自所述用户的一个或多个障碍的组的用户状态；
将所述形式化的数据从发送方通信装置发送到至少一个远程接收方通信装置；
在接收方通信装置处接收发送的数据；
借由用于合并和分解多个数据元素的数据数据处理器来提取接收方通信装置处接收到的数据的至少一个特征；
由个性化装置依照接收到的数据格式来调用在接收方通信装置中训练和存储的至少一个用户简档；
借由与该接收方通信装置关联的数据格式选项选择装置，依照接收方的选择来将接收到的数据格式选择性地形式化；
依照接收方的数据格式选择，借由数据转换装置和直观地借由关联的人工智能模块来以顺序方式产生至少一个可感知的数据输出。
附图说明
当结合附图阅读时将更加理解前述内容以及优选实施例的下述详细描述。为了说明本发明，在附图中示出了本发明的示例结构；但是，本发明并不限于所公开的具体方法。在附图中：
本发明的图1示出具有与残疾人使用以进行实时通信的通信辅助器可通信耦合的各种功能组件的集成通信环境。
图2示出在接收方终端处的输出生成框架以及通过各种转换组件合成从发送方终端接收到的发送信号的关联的输入数据流。
图3示出用于实现人工智能(AI)的框架，特别示出通过与人工智能模块合作的各种转换组件从离散输入文本数据快速合成有意义的句子的输入数据流。
图4示出图像处理方法和关联的组件，图示特别示出人工智能模块与图像处理组件合作以从离散视频输入快速合成有意义的句子。
图5示出音频处理方法和关联的组件，图示特别示出人工智能模块与音频处理组件合作以从离散音频输入快速合成有意义的句子。
图6示出用于针对普通用户来在聋哑人的通信辅助器处训练语音识别算法的流程图。
图7示出在通信设备上的ASR训练框架，以用于在发送方终端处的语音形式化和适应性。
图8示出使用本发明的手持式通信辅助器的聋哑人与正常人之间的通信模式。
图9示出使用本发明的个人手持式通信辅助器的两个用户之间的沟通。
图10示出通过本发明的一个公共手持式通信辅助器的两个用户之间的沟通。
具体实施方式
在描述当前方法和硬件实现之前，应理解的是，本发明不限定于特定的方法和所描述的硬件，因为这些可以变化。同样应当理解的是，在描述中所使用的术语仅为了描述特定版本或实施例的目的，而并不旨在限制本发明的范围，其仅由所附的权利要求限制。词语“包括”、“具有”、“含有”、“包含”及其其它形式旨在意思上的等同并且是开放性的，这是因为在这些词语中的任一个之后的一项或多项并不意味着是这样的一项或多项的详尽列表或意味着局限于只列出的一项或多项。所公开的实施例对本发明而言仅仅是示例性的，其以各种形式体现。
在本发明的显著实施例之一中，提供手持式通信辅助器以用于协助聋哑和视觉障碍的人相互之间以及与正常人进行沟通。所述手持通信辅助器用于帮助具有听觉、言语和视觉障碍的人与正常人，以及与具有听觉、言语和视觉障碍的人进行沟通，该通信辅助器包括：
通信装置，其助于与其它通信装置进行实时远程通信；
输入装置，其用于将至少一种类型的消息输入输入到所述通信装置；
用户输入，其由具有包括视觉、听觉和/或言语障碍的至少一个障碍的第一用户来馈至所述通信装置，所述第一用户与没有障碍或具有包括视觉、听觉和/或言语障碍中的至少一个障碍的至少一个第二用户通过通信链路进行沟通；
数据处理器，其用于在所述通信装置处的消息发送和接收期间合并和分解多个数据元素；
数据格式转换装置，其用于在通过所述通信装置发送和接收消息期间将至少一种数据格式转换为至少另一种数据格式；
人工智能装置，其用于产生与至少一个输入元件一致的至少一种数据格式至少一个完整的输出以并输出至数据格式转换装置；
用户个性化装置，其用于在所述通信装置上识别和创建至少一个个人呼叫方简档；以及
用户界面，其用于可交互地接收消息并用作显示装置。
在本发明的优选实施例中，手持式通信辅助器可选自：能够与移动电话无线连接的任意通信装置、个人数字助理(PDA)、或任意便携式通信装置(掌上电脑、移动数字助理和数字手表)。
本发明提供用于协助聋哑和视觉障碍的人相互之间以及与正常人进行沟通的方法。
本发明的图1示出了需要与由残疾人使用以用于实时通信的通信辅助器结合的功能。
在本发明的另一个实施例中，软件可被嵌入硬件内，或也可从服务器下载。
本发明的用户可以为存在听觉或视觉障碍的人或正常人。用户以语音、文本、手写文本、面部表情、手语、盲文代码和图形的形式向远程通信装置提供输入[1(A)]。
在所述通信装置中的输入装置包括键区(10)、相机(20)、触控笔、触摸屏(30)、盲文键盘(40)和麦克风(90)，其中，输入装置可以内置或附接到通信装置。
本发明的实施例之一提供了内置的字典、看图说词和词库，以协助用户并使打字所造成的延迟最小化。可替选地，通过协助用户进行对词语的选择以使按键最少化来加快文本到语音。
本发明的实施例之一提供了数据处理器引擎，其用于在发送方和接收方通信装置的消息发送和接收期间合并和分解多个数据元素；其中，所述数据处理器包括特征提取的装置、语音提取和动作提取引擎。
本发明的实施例之一提供数据格式变换装置，其用于在通过该通信装置发送和接收消息期间将至少一种数据格式转换为至少另一种数据格式；其中所述转换装置包括：语音合成引擎、自然语言处理引擎、人工智能装置、图像处理引擎、手写识别引擎，以及盲文到文本转换引擎、自动语音识别引擎和文本到盲文转换引擎。
本发明的实施例之一提供相机(20)作为输入装置以捕获作为由聋哑人给出的输入的视频或图像。特别地，盲人可以借由手势识别引擎(50)来捕获面部表情或手语。手势识别引擎(50)将捕获到的手语和面部表情的图像进一步实时转换为可理解文本。通过将每个图像与在图像中存储的其各自含义相关联，使得文本消息依从于文本库。词语依照相机的每一帧按顺序结合。算法中可以加入更多智能以基于谈话的上下文和捕获的手势来形成有意义的句子。
本发明的实施例之一提供触摸屏(30)以作为用于具有听力障碍的人的输入装置。这些输入通过使用内置的手写识别引擎或图画识别引擎(60)而被转换成语音输出[2(B)]。
本发明的实施例之一提供与通信装置(40)接口的盲文键区以作为用于具有听觉障碍及视觉障碍的人的输入装置。通过使用盲文输入识别引擎(70)，盲文编码的输入被转换为语音输出[2(B)]。通过使用文本到语音引擎(TTS)(80)，由残疾人提供的输入文本信息被转换为语音输出[2(B)]。
随后通过通信装置的麦克风(90)接收到的转换/合成的语音或正常用户的正常语音输入[1(B)]，通过平常的语音呼叫而作为语音输出[2(B)]发送。
本发明的图2示出根据本发明的实施例之一的需要在残疾人的通信装置上结合以通过电话呼叫或与其它人面对面来接收通信的功能。
通过使用内置的自动语音识别引擎(ASR)(100)，在残疾人的通信装置上接收到的常规语音输出被转换为文本。
本发明的实施例之一在通信装置中提供了用于具有听力和读写困难的人的内置的面部表情和手势合成引擎(110)，该引擎将由ASR(100)合成的文本转换为面部表情和手势的图像。这些图像可以是动画的，并且以从图像库检索出的一个或多个图像的形式来表示来自该图像库的关联的词语意思。
从ASR(100)接收到的文本输出和由面部表情和手势合成引擎提供的面部表情和手势输出被显示为远程通信装置的通信辅助器的显示装置(150)上的输出。
本发明的另一个实施例提供文本到盲文接口(120)，该文本到盲文接口将ASR(100)的文本输出转换为盲文代码。这些盲文代码输出随后在接口到通信装置的盲文显示器(140)上显示。
本发明的实施例之一经由扬声器(130)通过正常人的平常语音呼叫来发送常规语音输出。
图3示出了人工智能(AI)的框架，特别是，示出了通过各种转换组件从离散输入文本数据合成有意义的句子的输入数据流。
本发明的实施例之一为所述通信装置提供输入装置，包括键区(10)、触控笔、触摸屏(30)和盲文键盘(40)；其中，用户将以文本、手写文本或盲文代码的形式的输入文本(160)提供给远程通信装置。
向本发明的通信辅助器提供的输入文本(160)被发送到人工智能(AI)(270)。通过使用自然语言处理(NLP)引擎(170)和数据挖掘技术(180)来转换在AI(270)处接收到的输入文本(160)，以合成有意义的句子以作为输出文本(310)。NLP和数据挖掘技术协助残疾人快速键入词语，并通过将输入文本(160)与在数据库(190)中存储的由用户使用的常用对话、常用词语和呼叫历史进行比较，而从输入文本数据(160)转换和合成有意义的句子。
图4示出了与AI结合的图像处理引擎的工作方式。本发明的实施例之一为所述通信装置提供包括相机(20)的输入装置。输入数据(200)包括由相机(20)捕获的或已经在数据库(190)中存储的手势、面部表情、图像、视频。
图像处理引擎(210)接收来自输入装置即相机(20)的输入数据(200)，并且从离散输入数据提取有意义的数据。图像处理引擎(210)将提取出的数据分类为特征提取数据(220)和动作提取数据(230)。
根据本发明的实施例之一，特征提取数据(220)包括表示各种手势的图片和图像，而动作提取数据(230)包括视频或手语或面部表情。
通过使用比较器(260)来将提取出的数据(250)与数据表(240)的数据进行比较，该数据表包括在数据库中预先记录的数据或预先存储的数据。经提取和比较的数据可以以输出2给出或进一步发送给AI(270)以用于快速键入，以改善手势识别和图像处理及从离散输入数据(200)合成作为输出数据1的有意义的句子的准确度。
图5示出了与AI结合的语音处理引擎的工作方式。
本发明的实施例之一为所述通信装置提供包括麦克风(90)的输入装置。语音输入数据(280)包括由麦克风(90)接收到的或已经存储在数据库(190)中的语音或音调输入。
自动语音识别引擎(ASR)(100)接收来自输入装置即麦克风(90)的语音输入数据(280)并且从离散输入数据提取有意义的数据。ASR(100)将提取出的数据分类为特征提取数据(220)和语音提取数据(290)。随后通过使用特征确定(300)基于在数据库中存储的预先记录的数据或预先存储的数据来确定和分类从特征提取数据(220)提取出的数据。
根据本发明的实施例之一，特征提取数据(220)包括确定用户是否在说话、唱歌、大笑、哭泣或尖叫的数据，而音调提取数据(290)提取并确定特定用户的语音的口音和词汇结构，并且通过与ASR(100)的数据库中预先存储的数据或预先记录或预先训练的数据进行比较来确定该特定用户的音调和语音。通过使用比较器(260)来比较特征提取数据(220)和音调提取数据(290)，并且作为输出2发送，或另外地可将经比较和提取的数据进一步发送至AI(270)以用于快速键入，以改善手势识别和图像处理及从离散语音输入数据(280)合成作为输出数据1的有意义的句子的准确度。
图6示出用于针对正常用户训练聋哑人的通信辅助器中的语音识别算法的流程图。
根据本发明的实施例之一，当正常用户呼叫残疾人(330)时，自动语音识别引擎确定呼叫方的语音是否存储在训练有关的数据库中(340)。如果呼叫方的语音已经训练，则ASR说话者相关模式被切换为“ON”，并且从语音识别算法中存储的用户简档来确定该正常用户的参数(350)。从正常呼叫方接收到的语音输入随后与提取出的、在数据库中存储的预训练数据的语音进行比较(190)。
如果此时呼叫方的语音未经训练，则ASR说话者无关模式被切换为“ON”(380)，并且通过对正常用户提供指令和询问来为该正常用户训练ASR，以通过训练语音识别算法来由语音识别算法创建正常用户的参数和用户简档(350)。然后，从正常呼叫方接收到的语音输入在各级别下进行训练(370)并被提取和存储为数据库(190)中的预训练数据。一旦为正常用户训练语音算法，当下一次相同的正常用户呼叫时，语音识别算法会确定用户的语音并且使ASR相关语音模式为“ON”。
图7示出通信设备上的ASR训练框架以用于在发送方终端处的语音形式化和适应性。
本发明的实施例之一提供了用于ASR(100)的训练框架。ASR(100)使用来自语音呼叫的说话者的语音进行训练。训练文档(400)与“用户A”共享，它可经由多个短消息或通过电子邮件或通过GPRS支持或由任何其它现有通信介质来发送。
用户A在用第一通信装置通话时一个词语一个词语地读取训练文档(400)，以将训练语音提供给第二通信装置(420)的ASR(100)。
当从远处位置的第一通信装置(410)接收到语音呼叫的语音时，第二通信装置(420)上的ASR(100)训练框架增强了第二通信装置(420)处的语音识别的准确度。
在利用相似的不同级别文档和可允许范围内的结果误差而完成训练过程之后，训练模块可以被绕过并且ASR可以为用户A更准确地工作。在训练处理中，自适应算法(430)检查误差并因而使ASR的转化完美。如必要，可以为不同用户执行类似训练过程。
如图7所示，这个说话者相关ASR可以进一步用来将移动电话的输出(来自其他用户的语音)传送给残疾人。
此外，如图7所示的用于ASR训练框架的训练过程可被用于，通过经由该用户的语音要被训练的相同声音呼叫中的反向通信信道而提供语音形式的训练样本，来训练在远处位置的用户的语音。
本发明的最佳工作模式/示例
在下面给出的示例中描述本发明，提供该示例仅为了说明本发明，因此不应该被解释为限制本发明的范围。
图8示出使用本发明的手持式通信辅助器的在聋哑人与正常人之间的通信模式。
根据本发明的实施例之一，聋哑人(用户A)使用输入装置例如键区(10)来输入文本数据(160)。输入文本(160)随后被发送到AI(270)，以使用给定的离散输入文本(160)来合成有意义的句子。
此外，从AI(270)合成的有意义的输入文本(160)随后被进一步发送到TTS(80)，以将输入文本(160)转换为合成的语音输出[2(B)]。通过使用用户A的通信辅助器(移动电话A)的麦克风(90)，合成的语音输出[2(B)]被发送到正常用户。
语音输出由电信服务提供商(320)作为常规语音输入[2(A)]发送到正常用户(用户B)的移动电话B。
接收器装置在移动电话B上接收合成的语音输出[2(B)]，并且将语音信号[2(C)]通过移动电话B的扬声器发送给用户B。
用户B(即正常用户)通过移动电话B的麦克风(90)说出语音(即语音输入[2(A)])。语音信号[2(C)]被发送到TSP(320)，其将语音信号进一步发送到用户A(即聋哑人)的移动电话A上的接收器装置。语音信号可以通过扬声器(130)以语音输出[2(B)]直接传送，或者它可以进一步被发送到ASR(100)，该ASR使用语音识别算法来识别用户的语音，并且与AI(270)结合而将语音输入[2(A)]进一步转换为文本输出数据(310)，从而提高语音识别算法的准确度并提高语音到文本转换的准确度。
随后文本输出数据(310)由通信辅助器(移动电话A)的显示装置(150)传送给用户A(即聋哑人)。
图9示出使用根据本发明的实施例之一的个人手持式通信辅助器的两个用户之间进行沟通。
本发明的实施例之一公开了：用户A(440)和用户B(480)可以是正常人，聋哑人、聋哑盲人或盲人。
此外，根据实施例之一，使用各自的通信辅助器，用户A可通过由电信服务提供商(460)提供的网络来与用户B进行沟通。如图9中示例示出的，用户A(440)使用移动电话A(450)而用户B(480)使用移动电话B(470)来通过网络相互通信。
图10示出两个用户之间通过根据本发明的实施例之一的一个公共手持式通信辅助器来进行沟通。
本发明的实施例之一公开了：用户A(440)和用户B(480)可以是正常人，聋哑人、聋哑盲人或盲人。
下面的表1针对由用户A和用户B使用的手持式通信辅助器提供了各种模式的输入和输出以相互通信，其中，用户A可以是聋哑人而用户B可以是正常人或盲人。
表1
下面的表2针对由用户A和用户B使用的手持式通信辅助器提供了各种模式的输入和输出以相互通信，其中，用户A可以是聋哑盲人而用户B可以是正常人或盲人。
表2
下面的表3针对由用户A和用户B使用的手持式通信辅助器提供了各种模式的输入和输出以相互通信，其中，用户A和用户B可以是聋哑人。
表3
参考本发明的各个实施例而呈现了前述描述。与本发明有关的本领域技术人员将注意到描述结构以及操作方法的变型或变更可在没有故意脱离本发明的原则、精神和范围的情况下实行。
本发明优点
·本发明为具有听觉和视觉障碍的人提供了手持式通信辅助器。
·向聋哑和视觉障碍的人提供帮助以使相互之间和与正常人进行实时通信。
·向聋哑和视觉障碍的人提供帮助以通过使用通信装置进行面对面及远程实时通信。
·为手势识别、语音识别、手写和画图识别、以及盲文代码识别提供增强的准确度。
Claims (11)
1.一种有助于帮助具有听觉、言语和视觉障碍的人与正常人，以及与具有听觉、言语和视觉障碍的人进行沟通的手持式通信辅助器，所述通信辅助器包括：
通信装置，其帮助与其它通信装置进行实时远程通信；
输入装置，其用于将至少一种类型的消息输入输入到所述通信装置；
用户输入，其由具有包括视觉、听觉和/或言语障碍的至少一个障碍的第一用户来馈至所述通信装置，所述第一用户与没有障碍或具有包括视觉、听觉和/或言语障碍中的至少一个障碍的至少一个第二用户通过通信链路进行沟通；
数据处理器，其用于在所述发送方和接收方通信装置的消息发送和接收期间合并和分解多个数据元素；
数据格式转换装置，其用于在通过所述通信装置发送和接收消息期间将至少一种数据格式转换为至少另一种数据格式；
人工智能装置，其用于产生与至少一种输入元件一致的至少一种数据格式的至少一个完整的输出并输出到数据格式转换装置；
用户个性化装置，其用于在所述通信装置上识别和创建至少一个个人呼叫方简档；以及
用户界面，其用于交互地接收消息并用作显示装置。
2.根据权利要求1所述的手持式通信辅助器，其中，所述手持式装置用于协助/帮助聋哑人之间，聋哑人与正常人之间、聋哑人与视障人之间、视障人与正常人之间以及两个正常人之间的沟通。
3.根据权利要求1所述的手持式通信辅助器，其中，所述远程手持式通信装置包括移动电话、个人数字助理、掌上电脑、移动数字助理和数字手表。
4.根据权利要求1所述的手持式通信辅助器，其中，在所述通信装置中的所述输入装置包括键区、触控笔、触摸屏、相机、盲文键盘，其中所述输入装置可以内置或附接到所述通信装置。
5.根据权利要求1所述的手持式通信辅助器，其中，用于将数据格式转换为另一种数据格式的所述装置包括：语音合成引擎、自然语言处理引擎、人工智能装置、图像处理引擎、手写识别引擎和盲文到文本转换引擎。
6.根据权利要求1所述的手持式通信辅助器，其中，所述数据格式转换装置借由自动语音识别引擎而将输入的语音转换为文本输出，借由与数据处理器装置关联的图像处理引擎而将输入的文本转换为至少一个图像输出，并且借由文本到盲文转换引擎而将输入的文本转换为盲文输出。
7.根据权利要求1所述的手持式通信辅助器，其中，个性化装置在所述通信装置上创建至少一个用户简档，所述简档包含与呼叫方的语音编码细节有关的数据。
8.根据权利要求1所述的手持式通信辅助器，其中，所述显示装置包括远程通信装置显示器和盲文显示器。
9.根据权利要求1所述的手持式通信辅助器，其中，借由包括多个词语的参考训练文档，呼叫方的自动语音识别引擎通过通信链路而在至少一个被叫方远程通信装置上训练，个性化装置在呼叫方简档中创建所述呼叫方的语音编码，并且每个呼叫方简档因而与训练的自动语音识别引擎协作，所述训练的自动语音识别引擎用于识别用户手持式装置处的呼叫方的语音。
10.一种用于帮助具有听觉、言语和视觉障碍的人与正常人，以及与具有听觉、言语和视觉障碍的人进行沟通的方法，所述方法包括步骤：
由具有包括视觉、听觉和/或语言障碍中的至少一个障碍的第一用户将用户输入馈送到发送方通信装置，所述第一用户与具有接收方通信装置的、没有障碍或具有包括视觉、听觉和/或语言障碍中的至少一个障碍的至少一个第二用户通过通信链路进行沟通；
训练接收方通信装置来创建用于识别用户语音编码的至少一个用户简档；
具有一个或多个障碍的发送方从发送方通信装置上的键区、触控笔、触摸屏、相机和盲文键盘的组中选择至少一个输入装置；
借由与所述发送方通信装置关联的数据格式选项选择装置，依照接收用户状态而将输入数据格式选择性地形式化为至少一种形式化的数据格式，所述接收用户状态包括来自所述用户的一个或多个障碍的组的用户状态；
将所述形式化的数据从所述发送方通信装置发送到至少一个远程接收方通信装置；
在接收方通信装置处接收发送的数据；
借由用于合并和分解多个数据元素的数据数据处理器来提取所述接收方通信装置处接收到的数据的至少一个特征；
由个性化装置依照接收到的数据格式来调用在接收方通信装置中训练和存储的至少一个用户简档；
借由与所述接收方通信装置关联的数据格式选项选择装置，依照接收方的选择来将接收到的数据格式选择性地形式化；
依照接收方的数据格式选择，借由数据转换装置和直观地借由关联的人工智能模块来以顺序方式产生至少一个可感知的数据输出。
11.一种实质如本文中参照附图描述的和如附图示出的系统和方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN1547/MUM/2010 | 2010-05-17 | ||
| IN1547MU2010 | 2010-05-17 | ||
| PCT/IN2011/000349 WO2011145117A2 (en) | 2010-05-17 | 2011-05-18 | Hand-held communication aid for individuals with auditory, speech and visual impairments |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102939791A true CN102939791A (zh) | 2013-02-20 |
| CN102939791B CN102939791B (zh) | 2015-09-23 |
Family
ID=44992153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201180024924.XA Active CN102939791B (zh) | 2010-05-17 | 2011-05-18 | 用于具有听觉、言语和视觉障碍的人的手持式通信辅助器 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9111545B2 (zh) |
| EP (1) | EP2574220B1 (zh) |
| CN (1) | CN102939791B (zh) |
| WO (1) | WO2011145117A2 (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103500067A (zh) * | 2013-09-30 | 2014-01-08 | 北京航空航天大学 | 一种点击、滑动、手势识别与语音结合的触摸屏交互系统 |
| CN104835505A (zh) * | 2015-05-20 | 2015-08-12 | 陕西科技大学 | 一种正常人与聋、哑、盲人群的对话装置及其使用方法 |
| CN105551346A (zh) * | 2016-03-11 | 2016-05-04 | 京东方科技集团股份有限公司 | 沟通辅助系统、沟通辅助设备及其控制方法 |
| CN105708059A (zh) * | 2016-04-21 | 2016-06-29 | 张胜国 | 智能聋哑唤醒手环 |
| CN106695825A (zh) * | 2016-12-26 | 2017-05-24 | 高霞 | 一种传话家用服务机器人 |
| CN107707726A (zh) * | 2016-08-09 | 2018-02-16 | 深圳市鹏华联宇科技通讯有限公司 | 一种用于正常人与聋哑人通讯的终端和通话方法 |
| CN109388383A (zh) * | 2017-08-02 | 2019-02-26 | 塔塔咨询服务有限公司 | 用于智能生成包容性系统设计的系统和方法 |
| CN109711300A (zh) * | 2018-12-18 | 2019-05-03 | 深圳壹账通智能科技有限公司 | 盲人辅助沟通方法、装置、计算机设备和存储介质 |
| CN110070065A (zh) * | 2019-04-30 | 2019-07-30 | 李冠津 | 基于视觉以及语音智能的手语系统以及通讯方法 |
| US20200193870A1 (en) * | 2019-02-24 | 2020-06-18 | Eurica Califorrniaa | Method and device for reading, writing, and communication by deafblind users |
| CN112243061A (zh) * | 2020-11-03 | 2021-01-19 | 珠海格力电器股份有限公司 | 一种移动终端的通信方法以及移动终端 |
| CN114821972A (zh) * | 2022-04-27 | 2022-07-29 | 成都市美幻科技有限公司 | 针对不同用户类型的灾害预警方法、系统、介质和设备 |
| CN115038014A (zh) * | 2022-06-02 | 2022-09-09 | 深圳市长丰影像器材有限公司 | 一种音频信号处理方法、装置、电子设备和存储介质 |
Families Citing this family (61)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9477943B2 (en) | 2011-09-28 | 2016-10-25 | Elwha Llc | Multi-modality communication |
| US9906927B2 (en) | 2011-09-28 | 2018-02-27 | Elwha Llc | Multi-modality communication initiation |
| US9794209B2 (en) | 2011-09-28 | 2017-10-17 | Elwha Llc | User interface for multi-modality communication |
| US9699632B2 (en) | 2011-09-28 | 2017-07-04 | Elwha Llc | Multi-modality communication with interceptive conversion |
| US9503550B2 (en) | 2011-09-28 | 2016-11-22 | Elwha Llc | Multi-modality communication modification |
| US9002937B2 (en) | 2011-09-28 | 2015-04-07 | Elwha Llc | Multi-party multi-modality communication |
| US9788349B2 (en) | 2011-09-28 | 2017-10-10 | Elwha Llc | Multi-modality communication auto-activation |
| KR20150006740A (ko) | 2013-07-09 | 2015-01-19 | 류중하 | 문자에 대한 기호 이미지 구성 방법, 및 기호 이미지에 대한 대응되는 문자의 분석 방법 |
| US9766905B2 (en) * | 2013-03-20 | 2017-09-19 | Microsoft Technology Licensing, Llc | Flexible pluralization of localized text |
| US9788128B2 (en) * | 2013-06-14 | 2017-10-10 | Gn Hearing A/S | Hearing instrument with off-line speech messages |
| US9549060B2 (en) | 2013-10-29 | 2017-01-17 | At&T Intellectual Property I, L.P. | Method and system for managing multimedia accessiblity |
| US9558756B2 (en) | 2013-10-29 | 2017-01-31 | At&T Intellectual Property I, L.P. | Method and system for adjusting user speech in a communication session |
| US20150149169A1 (en) * | 2013-11-27 | 2015-05-28 | At&T Intellectual Property I, L.P. | Method and apparatus for providing mobile multimodal speech hearing aid |
| US20150179188A1 (en) * | 2013-12-20 | 2015-06-25 | Speech Morphing, Inc. | Method and apparatus for hearing impaired assistive device |
| US9578307B2 (en) | 2014-01-14 | 2017-02-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
| US10024679B2 (en) | 2014-01-14 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
| US10360907B2 (en) | 2014-01-14 | 2019-07-23 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
| US9629774B2 (en) | 2014-01-14 | 2017-04-25 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
| US10248856B2 (en) | 2014-01-14 | 2019-04-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
| US9915545B2 (en) | 2014-01-14 | 2018-03-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Smart necklace with stereo vision and onboard processing |
| US20150220512A1 (en) * | 2014-02-05 | 2015-08-06 | Marco Álvarez Heinemeyer | Language interface system, method and computer readable medium |
| US10024667B2 (en) | 2014-08-01 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable earpiece for providing social and environmental awareness |
| AU2015311663B2 (en) * | 2014-09-03 | 2019-02-28 | Aira Tech Corporation | Media streaming methods, apparatus and systems |
| US10601980B1 (en) * | 2014-09-16 | 2020-03-24 | Ultratec, Inc. | Captioning system and method for the vision impaired |
| US10024678B2 (en) | 2014-09-17 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable clip for providing social and environmental awareness |
| US9922236B2 (en) | 2014-09-17 | 2018-03-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable eyeglasses for providing social and environmental awareness |
| US9283138B1 (en) | 2014-10-24 | 2016-03-15 | Keith Rosenblum | Communication techniques and devices for massage therapy |
| US9576460B2 (en) | 2015-01-21 | 2017-02-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable smart device for hazard detection and warning based on image and audio data |
| US10490102B2 (en) | 2015-02-10 | 2019-11-26 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for braille assistance |
| US9586318B2 (en) | 2015-02-27 | 2017-03-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Modular robot with smart device |
| US9677901B2 (en) | 2015-03-10 | 2017-06-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for providing navigation instructions at optimal times |
| US9811752B2 (en) | 2015-03-10 | 2017-11-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable smart device and method for redundant object identification |
| US9972216B2 (en) | 2015-03-20 | 2018-05-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for storing and playback of information for blind users |
| US10395555B2 (en) * | 2015-03-30 | 2019-08-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for providing optimal braille output based on spoken and sign language |
| US9898039B2 (en) | 2015-08-03 | 2018-02-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Modular smart necklace |
| US10148808B2 (en) | 2015-10-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Directed personal communication for speech generating devices |
| US10262555B2 (en) | 2015-10-09 | 2019-04-16 | Microsoft Technology Licensing, Llc | Facilitating awareness and conversation throughput in an augmentative and alternative communication system |
| US9679497B2 (en) | 2015-10-09 | 2017-06-13 | Microsoft Technology Licensing, Llc | Proxies for speech generating devices |
| US10912281B2 (en) | 2016-02-24 | 2021-02-09 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for communicating with a guide animal |
| US9829322B2 (en) | 2016-03-03 | 2017-11-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for directing a vision-impaired user to a vehicle |
| US10024680B2 (en) | 2016-03-11 | 2018-07-17 | Toyota Motor Engineering & Manufacturing North America, Inc. | Step based guidance system |
| US20170263152A1 (en) * | 2016-03-11 | 2017-09-14 | Audible Easter Eggs for the Visually Impaired, Inc. | Message delivery device for the visually impaired |
| US9996730B2 (en) | 2016-03-18 | 2018-06-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vision-assist systems adapted for inter-device communication session |
| CN105869654B (zh) | 2016-03-29 | 2020-12-04 | 阿里巴巴集团控股有限公司 | 音频消息的处理方法及装置 |
| US9958275B2 (en) | 2016-05-31 | 2018-05-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for wearable smart device communications |
| US10561519B2 (en) | 2016-07-20 | 2020-02-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable computing device having a curved back to reduce pressure on vertebrae |
| US10432851B2 (en) | 2016-10-28 | 2019-10-01 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable computing device for detecting photography |
| US10012505B2 (en) | 2016-11-11 | 2018-07-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Wearable system for providing walking directions |
| US10521669B2 (en) | 2016-11-14 | 2019-12-31 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for providing guidance or feedback to a user |
| CN106648388A (zh) * | 2016-11-18 | 2017-05-10 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于终端的沟通方法、装置及终端 |
| US10008128B1 (en) | 2016-12-02 | 2018-06-26 | Imam Abdulrahman Bin Faisal University | Systems and methodologies for assisting communications |
| US10172760B2 (en) | 2017-01-19 | 2019-01-08 | Jennifer Hendrix | Responsive route guidance and identification system |
| US9997086B1 (en) * | 2017-11-29 | 2018-06-12 | Richard P. Braden | Handheld communication device and method(s) of use |
| IT201800002791A1 (it) * | 2018-02-19 | 2019-08-19 | Xeos It S R L | Sistema e metodo automatico di traduzione da una forma espressiva di linguaggio mediante segni e/o gesti in una diversa forma espressiva del linguaggio di tipo scritto, vocale e/o di altro tipo e/o viceversa |
| TR201812392A2 (tr) * | 2018-08-29 | 2018-09-21 | Eskisehir Osmangazi Ueniversitesi | İşi̇tme engelli̇ler i̇çi̇n uzaktan i̇leti̇şi̇m si̇stemi̇ ve yöntemi̇ |
| US11181381B2 (en) * | 2018-10-17 | 2021-11-23 | International Business Machines Corporation | Portable pedestrian navigation system |
| US10896686B2 (en) * | 2019-05-29 | 2021-01-19 | Capital One Services, Llc | Methods and systems for providing images for facilitating communication |
| US10878800B2 (en) | 2019-05-29 | 2020-12-29 | Capital One Services, Llc | Methods and systems for providing changes to a voice interacting with a user |
| US11636674B2 (en) * | 2019-11-14 | 2023-04-25 | Motorola Solutions, Inc. | System and method for virtual assistant situation commentary |
| WO2021142242A1 (en) * | 2020-01-08 | 2021-07-15 | Format Civil Engineering Ltd. | Systems, and programs for visualization of auditory signals |
| CN113180894B (zh) * | 2021-04-27 | 2022-02-11 | 浙江大学 | 基于视觉智能的多重障碍者的手眼协同方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6240392B1 (en) * | 1996-08-29 | 2001-05-29 | Hanan Butnaru | Communication device and method for deaf and mute persons |
| CN101098357A (zh) * | 2006-06-29 | 2008-01-02 | 北京三星通信技术研究有限公司 | 支持盲文输入的通信终端及在该终端上发送盲文的方法 |
| CN101510256A (zh) * | 2009-03-20 | 2009-08-19 | 深圳华为通信技术有限公司 | 一种口型语言的转换方法及装置 |
| US20100027765A1 (en) * | 2008-07-30 | 2010-02-04 | Verizon Business Network Services Inc. | Method and system for providing assisted communications |
| US20100063822A1 (en) * | 2007-04-19 | 2010-03-11 | O'brien Daniel C | Communication system for speech disabled individuals |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1213349A (en) | 1984-08-02 | 1986-10-28 | Jacek J. Wojcik | Telephone hearing aid |
| US5047952A (en) | 1988-10-14 | 1991-09-10 | The Board Of Trustee Of The Leland Stanford Junior University | Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove |
| US4925085A (en) | 1989-05-25 | 1990-05-15 | Motorola Inc. | Bonding means and method |
| US5524056A (en) | 1993-04-13 | 1996-06-04 | Etymotic Research, Inc. | Hearing aid having plural microphones and a microphone switching system |
| DE20001551U1 (de) * | 2000-01-28 | 2000-05-11 | Alberts Nike | Bildtelefon für Gehörlose und Normalhörende |
| JP2002244688A (ja) | 2001-02-15 | 2002-08-30 | Sony Computer Entertainment Inc | 情報処理方法及び装置、情報伝送システム、情報処理プログラムを情報処理装置に実行させる媒体、情報処理プログラム |
| US6993474B2 (en) | 2001-05-17 | 2006-01-31 | Curry David G | Interactive conversational speech communicator method and system |
| US7027986B2 (en) | 2002-01-22 | 2006-04-11 | At&T Corp. | Method and device for providing speech-to-text encoding and telephony service |
| US7607097B2 (en) | 2003-09-25 | 2009-10-20 | International Business Machines Corporation | Translating emotion to braille, emoticons and other special symbols |
| US7356473B2 (en) | 2005-01-21 | 2008-04-08 | Lawrence Kates | Management and assistance system for the deaf |
| JP4677938B2 (ja) | 2006-03-23 | 2011-04-27 | 富士通株式会社 | 情報処理装置、ユニバーサル通信方法及びユニバーサル通信プログラム |
| EP2045690A1 (en) * | 2007-10-04 | 2009-04-08 | Koninklijke Philips Electronics N.V. | Improvements relating to brain computer interfaces |
| CN101605158A (zh) | 2008-06-13 | 2009-12-16 | 鸿富锦精密工业（深圳）有限公司 | 聋哑人专用手机 |
-
2011
- 2011-05-18 CN CN201180024924.XA patent/CN102939791B/zh active Active
- 2011-05-18 WO PCT/IN2011/000349 patent/WO2011145117A2/en active Application Filing
- 2011-05-18 EP EP11783173.5A patent/EP2574220B1/en active Active
- 2011-05-18 US US13/698,765 patent/US9111545B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6240392B1 (en) * | 1996-08-29 | 2001-05-29 | Hanan Butnaru | Communication device and method for deaf and mute persons |
| CN101098357A (zh) * | 2006-06-29 | 2008-01-02 | 北京三星通信技术研究有限公司 | 支持盲文输入的通信终端及在该终端上发送盲文的方法 |
| US20100063822A1 (en) * | 2007-04-19 | 2010-03-11 | O'brien Daniel C | Communication system for speech disabled individuals |
| US20100027765A1 (en) * | 2008-07-30 | 2010-02-04 | Verizon Business Network Services Inc. | Method and system for providing assisted communications |
| CN101510256A (zh) * | 2009-03-20 | 2009-08-19 | 深圳华为通信技术有限公司 | 一种口型语言的转换方法及装置 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103500067A (zh) * | 2013-09-30 | 2014-01-08 | 北京航空航天大学 | 一种点击、滑动、手势识别与语音结合的触摸屏交互系统 |
| CN103500067B (zh) * | 2013-09-30 | 2016-03-30 | 北京航空航天大学 | 一种点击、滑动、手势识别与语音结合的触摸屏交互系统 |
| CN104835505A (zh) * | 2015-05-20 | 2015-08-12 | 陕西科技大学 | 一种正常人与聋、哑、盲人群的对话装置及其使用方法 |
| CN105551346A (zh) * | 2016-03-11 | 2016-05-04 | 京东方科技集团股份有限公司 | 沟通辅助系统、沟通辅助设备及其控制方法 |
| CN105708059A (zh) * | 2016-04-21 | 2016-06-29 | 张胜国 | 智能聋哑唤醒手环 |
| CN105708059B (zh) * | 2016-04-21 | 2019-02-22 | 张胜国 | 智能聋哑唤醒手环 |
| CN107707726A (zh) * | 2016-08-09 | 2018-02-16 | 深圳市鹏华联宇科技通讯有限公司 | 一种用于正常人与聋哑人通讯的终端和通话方法 |
| CN106695825A (zh) * | 2016-12-26 | 2017-05-24 | 高霞 | 一种传话家用服务机器人 |
| CN109388383A (zh) * | 2017-08-02 | 2019-02-26 | 塔塔咨询服务有限公司 | 用于智能生成包容性系统设计的系统和方法 |
| CN109388383B (zh) * | 2017-08-02 | 2021-12-03 | 塔塔咨询服务有限公司 | 用于智能生成包容性系统设计的系统和方法 |
| CN109711300A (zh) * | 2018-12-18 | 2019-05-03 | 深圳壹账通智能科技有限公司 | 盲人辅助沟通方法、装置、计算机设备和存储介质 |
| US20200193870A1 (en) * | 2019-02-24 | 2020-06-18 | Eurica Califorrniaa | Method and device for reading, writing, and communication by deafblind users |
| US11475793B2 (en) * | 2019-02-24 | 2022-10-18 | Eurica Califorrniaa | Method and device for reading, writing, and communication by deafblind users |
| CN110070065A (zh) * | 2019-04-30 | 2019-07-30 | 李冠津 | 基于视觉以及语音智能的手语系统以及通讯方法 |
| CN112243061A (zh) * | 2020-11-03 | 2021-01-19 | 珠海格力电器股份有限公司 | 一种移动终端的通信方法以及移动终端 |
| CN114821972A (zh) * | 2022-04-27 | 2022-07-29 | 成都市美幻科技有限公司 | 针对不同用户类型的灾害预警方法、系统、介质和设备 |
| CN115038014A (zh) * | 2022-06-02 | 2022-09-09 | 深圳市长丰影像器材有限公司 | 一种音频信号处理方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2574220A2 (en) | 2013-04-03 |
| EP2574220A4 (en) | 2016-01-27 |
| WO2011145117A3 (en) | 2013-01-24 |
| WO2011145117A2 (en) | 2011-11-24 |
| US20130079061A1 (en) | 2013-03-28 |
| EP2574220B1 (en) | 2019-11-27 |
| US9111545B2 (en) | 2015-08-18 |
| CN102939791B (zh) | 2015-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102939791B (zh) | 用于具有听觉、言语和视觉障碍的人的手持式通信辅助器 | |
| US5995590A (en) | Method and apparatus for a communication device for use by a hearing impaired/mute or deaf person or in silent environments | |
| EP1486949A1 (en) | Audio video conversion apparatus and method, and audio video conversion program | |
| US20090012788A1 (en) | Sign language translation system | |
| JP2003345379A6 (ja) | 音声映像変換装置及び方法、音声映像変換プログラム | |
| KR20090085376A (ko) | 문자 메시지의 음성 합성을 이용한 서비스 방법 및 장치 | |
| CN104010267A (zh) | 支持基于翻译的通信服务方法和系统和支持该服务的终端 | |
| WO1997008895A1 (fr) | Systeme de telephone chirologique | |
| US20100211389A1 (en) | System of communication employing both voice and text | |
| WO2014177209A1 (en) | An apparatus for answering a phone call when a recipient of the phone call decides that it is inappropriate to talk, and related method | |
| US20060093098A1 (en) | System and method for communicating instant messages from one type to another | |
| CN113194203A (zh) | 一种用于听障人士的沟通系统、接听拨打方法及通讯系统 | |
| JPH10136327A (ja) | ディスクトップ会議システム | |
| US20080147409A1 (en) | System, apparatus and method for providing global communications | |
| KR100941598B1 (ko) | 감정적 콘텐츠 효과를 포함하는 전화 통신 서비스를제공하는 ＶｏＩＰ 전화 통신 시스템 및 방법 | |
| KR102299571B1 (ko) | 장애인을 위한 동시통역 서비스 제공 시스템 및 그 방법 | |
| JP2004015478A (ja) | 音声通信端末装置 | |
| CN115394283A (zh) | 语音合成方法、装置、电子设备及存储介质 | |
| KR20010107877A (ko) | 음성인식을 통한 쓰리디 애니메이션 수화표현 시스템 | |
| JP2004248022A (ja) | 携帯電話機およびそれを使用するコミュニケーション方法 | |
| KR100747689B1 (ko) | 통신기기 음성인식 문자변환시스템 | |
| JPH10224520A (ja) | マルチメディア公衆電話システム | |
| JPH09116648A (ja) | 携帯用通信装置 | |
| AU2020103854A4 (en) | Method and system for assisting communication for deaf persons | |
| JP2000184077A (ja) | ドアホンシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |