CN108140045A - 在增强和替代通信系统中支持感知和对话处理量 - Google Patents

在增强和替代通信系统中支持感知和对话处理量 Download PDF

Info

Publication number
CN108140045A
CN108140045A CN201680059037.9A CN201680059037A CN108140045A CN 108140045 A CN108140045 A CN 108140045A CN 201680059037 A CN201680059037 A CN 201680059037A CN 108140045 A CN108140045 A CN 108140045A
Authority
CN
China
Prior art keywords
user
sgd
communication
equipment
speech production
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680059037.9A
Other languages
English (en)
Other versions
CN108140045B (zh
Inventor
J·卡姆普贝尔
A·帕拉迪索
J·贝韦尔斯
M·E·沙赫
M·莫里斯
A·费安纳卡
H·库尔卡尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108140045A publication Critical patent/CN108140045A/zh
Application granted granted Critical
Publication of CN108140045B publication Critical patent/CN108140045B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00—Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/274—Converting codes to words; Guess-ahead of partial word inputs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Vascular Medicine (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文中公开了语音生成设备、通信系统以及使用该设备和系统进行通信的方法。在某些示例中，一种通信系统被配置为接收所生成的通信，在接收到所生成的通信之后在语音生成设备与计算设备之间建立连接，并且向计算设备传输所生成的通信。在其他示例中，一种计算设备被配置为与语音生成设备建立连接，并且在连接之后接收由语音生成设备生成的传输，该传输包括先前生成的通信或实时通信片段或代理。在其他示例中，一种语音生成设备被配置为与一个或多个计算设备建立连接，在生成通信期间从至少一个计算设备接收一个或多个建议，并且在显示设备上显示建议作为快捷输入键。

Description

在增强和替代通信系统中支持感知和对话处理量
背景技术
很多在身体或认知方面具有挑战(例如，严重的语言障碍)的人可以使用增强和替代通信(AAC)系统来表达他们自己。这可以包括患有自闭症、肌萎缩性脊髓侧索硬化症(ALS)、脑损伤或中风的个体。
某些AAC系统包括语音生成设备。语音生成设备(SGD)用作代理以将语音传送给附近的人以作为失去语音的弥补。
某些SGD可以包括与专用软件的电子接口，该专用软件被配置为帮助用户创建可以被转换成电子语音输出的消息。SGD可以通过使用自然语音的数字化记录或通过语音合成来产生电子语音输出。
在与语音生成设备进行通信中存在若干挑战。一个挑战是，SGD的对话吞吐率很慢，用户通常每分钟只能产生8至10个单词。因此，在SGD用户正在将文本输入到他们的设备中的对话期间可能存在“死亡时间”。在某些情况下，这种慢的通信速度可能会促使对话伙伴试图为SGD用户完成他们的句子，当他们将字符或单词输入到他们的设备中时从他们的肩膀上看过去，或者在用户已经完成准备对第一问题的响应之前询问第二问题。这种交互可能是SGD用户不希望的。
语音生成设备的另一挑战是，SGD的电子语音输出可能无法为用户传达适当的情绪。换言之，虽然电子语音输出由于听起来更像是人类而不是原型“机器”语音而可能更“自然”，但是输出通常缺乏对通信至关重要的语音的情绪方面。
此外，某些语音生成设备的附加挑战是能够将输入的文本引导到不同的对话伙伴。某些SGD只能将预定音量的输入文本广播给在SGD的用户附近的个体。
针对这些挑战的各种变通方案包括使用文本消息或电子邮件，或者使用SGD以外的其他方式(例如，眉毛移动)来传送信息或指示对于更隐私的对话的需要。这可能是有问题的，因为护理人员可能不在附近，因此没有能力向护理人员发出信号。文本消息或电子邮件是不理想的，因为它们需要用户执行太多附加动作，诸如切换到SGD软件界面的非常不同的部分，选择收件人，等等。此外，并非所有的SGD都支持电子邮件或文本。
发明内容
本文中描述了通信系统、语音生成设备(SGD)以及使用该通信系统和SGD的方法。在一个或多个实施例中，提供了一种通信系统。该系统包括被配置为通过通信网络与语音生成设备和计算设备无线通信的服务器，其中服务器被配置为：(1)从语音生成设备接收生成的通信，(2)在接收到所生成的通信之后，在语音生成设备与计算设备之间建立连接，以及(3)向计算设备传输所生成的通信。
在另一实施例中，提供了一种计算设备。该计算设备包括至少一个处理器和耦合到至少一个处理器的至少一个存储器，至少一个存储器包括用于一个或多个程序的计算机程序代码；至少一个存储器和计算机程序代码被配置为与至少一个处理器一起引起计算设备：经由通信网络与语音生成设备建立连接，并且接收由语音生成设备生成的传输，其中传输包括以下中的至少一项：(1)先前生成的通信，(2)实时生成的通信的片段，(3)实时通信的社交提示代理，或(4)先前生成的通信或实时通信的情绪代理。
在另一实施例中，提供了一种语音生成设备。语音生成设备包括显示设备和被配置为生成要在显示设备上显示的通信的输入设备。语音生成设备还包括耦合到显示设备和输入设备的至少一个处理器，其中具有至少一个处理器的语音生成设备被配置为(1)经由通信网络与一个或多个计算设备建立连接，(2)在通信的生成期间从至少一个计算设备接收一个或多个建议，以及(3)在显示设备上显示至少一个建议作为快捷输入键。
提供本“发明内容”是为了以简化的形式介绍将在以下“具体实施方式”中进一步描述的一些概念。本“发明内容”并非旨在确定所要求保护的主题的关键特征或必要特征，也不旨在帮助确定所要求保护的主题的范围。
附图说明
为了更完整地理解本公开，参考以下详细描述和附图，其中相同的附图标记可以用于标识附图中的相同元素。
图1描绘了具有语音生成设备的通信系统的示例。
图2描绘了语音生成设备的第一显示设备和输入设备的示例。
图3描绘了语音生成设备的第一显示设备的通信请求和消息的示例。
图4描绘了语音生成设备的第一显示设备的隐私和语音设置的示例。
图5描绘了语音生成设备的第一显示设备的隐私和历史设置的示例。
图6描绘了语音生成设备或通信系统的第二显示设备的示例。
图7描绘了语音生成设备或通信系统的第二显示设备的附加示例。
图8描绘了语音生成设备或通信系统的第二显示设备的附加示例。
图9是根据第一示例的使用语音生成设备进行通信的方法的流程图。
图10是根据第二示例的使用语音生成设备进行通信的方法的流程图。
图11是根据第三示例的使用语音生成设备进行通信的方法的流程图。
图12是根据一个示例的用于实现所公开的方法、一个或多个SGD或通信系统的计算环境的框图。
尽管所公开的设备、系统和方法以各种形式代表实施例，但是在附图中示出(并且在下文中描述)特定实施例，应当理解，本公开旨在是说明性的，而不是旨在将权利要求的范围限于本文中描述和示出的具体实施例。
具体实施方式
本文中公开了语音生成设备(SGD)、增强和替代通信(AAC)系统以及使用该SGD或AAC系统进行通信的方法。这些设备、系统或方法具有若干潜在的最终用途或应用，包括改善SGD用户与对话伙伴之间的通信，以及保持SGD用户的自主性。
例如，本文中描述的设备和系统可以通过使用社交提示代理来解决缓慢的通信速度。在某些示例中，SGD的用户可以提供社交提示代理，其(1)指示用户正在键入或撰写消息，(2)指示用户正在说话或即将说话，(3)指示用户正在请求说话，(4)请求帮助，(5)标识紧急情况，(6)指示用户正在校准SGD的输入设备(例如，校准视线跟踪设备)，(7)指示SGD是空闲的。
另外地或替代地，情绪代理可以被提供SGD用户的通信输出(例如，电子语音输出)。用户可以通过在SGD的显示器上从图表、表情符号、图像、图形或化身选择情绪来标识情绪。在其他示例中，情绪可以由SGD分析用户的通信消息来推断。所选择或推断的情绪可以被翻译成情绪代理并且显示在显示设备上用于对话伙伴查看。
此外，在某些示例中，SGD用户可以将通信消息(以及例如与通信消息相关联的情绪或社交提示代理)引导到不同的对话伙伴或一组对话伙伴。SGD用户也可以在SGD用户合成消息时控制各种群组或对话伙伴圈子的通信消息的共享级别。
在附加示例中，一个或多个对话伙伴可以谨慎地帮助SGD用户开发用户的消息。该帮助可以使用作为通信系统的一部分的连接的计算设备来进行，其中计算设备与SGD设备分离。计算设备(例如，智能电话、平板计算机、膝上型计算机)可以通过使用安装在计算设备上的软件应用(例如，计算机程序代码)来连接，其中计算设备上的应用被配置为通过通信网络(例如，经由服务器)与安装并且在SGD上操作的语音生成软件应用通信。
如本文中使用的，术语“语音生成设备”可以是指电子通信设备，其中文本和/或多媒体被用户选择以创建消息或通信，并且消息被中继到对话伙伴。消息可以在听觉上、视觉上或两者上被中继。在一些示例中，由于严重的语言障碍，SGD被个体用作通信的主要方法。尽管如此，SGD的使用并不限于遭受语言障碍的个体。
如本文中使用的，术语“用户”或“通信器”可以是指使用语音生成设备生成通信消息的个体。
如本文中使用的，术语“对话伙伴”、“接收者”或“接受人”可以是指接收来自用户的通信或者帮助用户生成消息的个体或个体群组。对话伙伴可以通过监听来自SGD或分离的计算设备的音频输出，或者通过查看SGD的显示器屏幕或与通信系统或通信网络内的语音生成设备连接的分离的计算设备的显示器屏幕来接收来自SGD用户的通信。
如本文中使用的，术语“连接”可以是指经由通信网络与SGD通信的计算设备或显示设备。通信网络可以包括有线网络、无线网络或其组合。通信网络可以包括被配置为从计算设备和语音生成设备接收和发射信号的服务器。无线网络可以是蜂窝电话网络、802.11、802.16、802.20或WiMax网络。此外，网络可以是公共网络(例如，因特网)、专用网络(例如，内联网)或其组合，并且可以利用现在可用或以后开发的各种网络协议，包括但不限于基于TCP/IP的网络协议。
语音生成设备和通信系统
图1描绘了包括语音生成设备(SGD)102的非限制性通信系统100。SGD 102包括被配置为位于SGD 102的用户106前面或面向其的第一显示设备104。通信系统100还包括被配置为在第一显示设备104上生成通信的输入设备108。通信系统100还可以包括用于播放所生成的通信的一个或多个扬声器。在某些示例中，输入设备108和扬声器是SGD 102的一部分。
输入设备108可以是视线跟踪设备；指示设备，例如手写笔、鼠标或操纵杆；键盘；音频输入设备；视频输入设备；触觉输入设备；或用于接收有线或无线数据传输的设备。在某些示例中，输入设备108是视线跟踪设备。视线跟踪设备可以与第一显示设备104通信，其中显示在第一显示设备104上的文本和/或多媒体(例如，图像、音频、视频)由用户106通过与视线跟踪设备的交互来选择。换言之，用户106可以使用视线跟踪设备选择显示在第一显示设备104上的文本和/或多媒体以生成也显示在第一显示设备上的通信。另外，视线跟踪设备能够监测SGD用户106的眼睛是否闭合至少一定时间量，这可以提供SGD用户106是否正在睡觉的指示。
SGD 102可以还包括被配置为在SGD用户106的方向上或在远离用户106的相反方向上拍摄图片或视频的一个或多个相机。位于用户106的方向上的相机可以被配置为监测用户106的眼睛以确定用户是醒着还是睡着。SGD 102还可以包括被配置为分析来自输入设备的输入以生成消息的处理器和/或语音生成软件(例如，计算机程序代码)。SGD 102的附件组件在下面在“示例性计算环境”一节中详细描述。
通信系统100或SGD 102还可以包括第二显示设备110。在某些示例中，第二显示设备110物理连接到SGD 102，或者是SGD 102的一部分。在其他示例中，第二显示设备是通信系统100的一部分，并且与SGD 102分离并且与其无线通信。
第二显示设备110可以位于与第一显示设备104不同的方向上。例如，第一显示设备104可以定位为具有在第一方向112上投影的显示器屏幕(例如，朝向用户106)，并且第二显示设备110可以具有在与第一方向112不同的第二方向114上投影的屏幕或显示器(例如，以与第一方向成大于0°的角度，以与第一方向成在90°与270°之间的角度)。在一个示例中，第二显示设备110位于SGD 102的相对侧上，使得第二显示设备110位于与第一方向112成180°角的方向114上。
第二显示设备和第二显示设备的定位在解决语音生成设备的用户与对话伙伴之间的通信中的某些挑战方面是有利的。例如，第二显示设备可以向对话伙伴标识SGD用户的社交提示或情绪，提供用于SGD用户与对话伙伴之间的谨慎通信的途径，和/或允许对话伙伴不显眼地帮助构建SGD用户的通信消息。下面将更详细地提供关于社交提示和情绪代理、使用SGD进行谨慎通信的途径以及在生成通信消息期间与SGD用户交互的途径的进一步讨论。
图2至5描绘了语音生成设备的第一显示设备的不同环境。特别地，图2描绘了具有语音生成设备202的第一显示设备204和输入设备208的环境200。在该非限制性示例中，第一显示设备204包括描绘QWERTY键盘和快捷键的显示器屏幕206。基于诸如用户的定义的偏好、文本识别、或基于正在形成的单词或句子的上下文的文本预测等各种因素，键盘键210和/或快捷键212可以是可编程的。例如，文本预测可以基于一个或多个因素：(1)SGD的物理位置(由全球定位系统(GPS)或任何其他位置标识技术来标识)以及可以从标识的位置推断的任何环境上下文，(2)SGD用户的先前的使用或定义的一般说话风格，或(3)SGD用户的先前使用或定义的与特定对话伙伴或对话伙伴的群组/圈子的说话风格。另外地或替代地，一个或多个快捷键212可以提供来自一个或多个对话伙伴的建议的文本输入(在下面更详细地讨论)。
SGD用户可以使用键盘键210和/或快捷键212生成消息。所生成的消息可以通过作为SGD 202的一部分或连接到SGD 202的一个或多个扬声器公开播放。用户可以通过选择“播放”键224来公开播放消息。在其他示例中，用户可以选择“隐私”键226以通过通信网络谨慎地将消息发送给对话伙伴的一个或多个计算设备(例如，经由服务器)。替代地，隐私消息可以经由文本、电子邮件或通知被发送给计算设备(例如，第二显示设备)。在某些示例中，SGD可以被编程为基于生成消息的一天中的时间将隐私消息发送给某个对话伙伴。在其他示例中，对“隐私”键226的选择可以打开用于SGD用户选择哪个对话伙伴或对话伙伴的社交圈接收消息的新窗口。在又一些示例中，“隐私”键226的选择可以打开用于SGD用户选择要在计算设备或第二显示设备上显示的社交提示代理的新窗口，以标识对话伙伴应当来到SGD用户以在显示器屏幕206上读取所生成的消息。在又一些示例中，“隐私”键226的选择可以以减小的音量播放所生成的消息(即，音量级别小于SGD的标准/默认音量级别)。这些示例是有利的，因为它允许SGD用户提供公共和谨慎/隐私通信途径的方法。
在某些示例中，一个或多个快捷键212可以是可编程的以访问和选择用于用户生成的通信的社交提示或情绪代理。例如，SGD用户可以选择图2中描绘的“表情符号”快捷键216，其中新的屏幕将显示有多个描绘的表情符号以供用户选择并且附接所生成的消息。
在附加示例中，快捷键212中的一个或多个可以是可编程的以允许SGD用户在对话伙伴与SGD用户连接时生成与一个或多个对话伙伴共享的异步或“离线”消息(例如，当由对话伙伴操作的计算设备与SGD连接时)。例如，SGD用户可以选择显示器屏幕206上的“共享”快捷键218，以打开用于在稍后日期与潜在对话伙伴共享消息的选项选择。下面通过图3提供用于生成异步消息的进一步讨论。
在其他示例中，快捷键212中的一个或多个可以是可编程的以允许SGD用户访问如何向对话伙伴提供消息或者哪些对话伙伴接收生成的消息的选项选择。例如，SGD用户可以选择显示器屏幕206上的“设置”快捷键220，以打开用于将通信引导到对话伙伴或用于定义对话伙伴可以在其显示设备(例如，第二显示设备)上看到的内容的选项选择。下面通过图4提供用于直接或谨慎通信的进一步讨论。
在某些示例中，快捷键212中的一个或多个可以是可编程的以允许SGD用户访问对话伙伴可以查看的有关SGD用户生成的过去消息的内容的选项选择(例如，对话伙伴是能够查看SGD用户生成的所有先前消息，能够查看SGD用户生成的最新消息，还是不能查看SGD用户生成的任何历史消息)。例如，SGD用户可以选择“设置”快捷键220以打开用于限制或授予对话伙伴对先前生成的消息的访问的选项选择。下面通过图5提供用于访问先前生成的消息的进一步讨论。
在某些示例中，对话伙伴可以谨慎地帮助SGD用户实时撰写消息。通过通信系统或网络中的连接的计算设备，在消息被撰写时，对话伙伴能够查看SGD用户生成的消息。在一些示例中，这可以允许对话伙伴在消息被逐字符、逐单词或逐句子撰写时查看消息。对话伙伴然后能够向用户提供下一单词、短语或句子的建议的提示。另外地或替代地，对话伙伴能够对错误键入的单词、短语或句子提供建议的修订或校正。
该过程可以使用连接的计算设备来谨慎地完成，其中对话伙伴在计算设备上输入单词、短语或句子并且经由通信网络(例如，经由服务器)将建议传输给连接的语音生成设备。SGD的处理器和兼容软件(例如，计算机程序代码)分析由一个或多个对话伙伴提供的一个或多个建议，并且确定是否要用对话伙伴建议的文本来替换一个或多个预测性文本快捷键212。
例如，如图2所示，SGD用户已经开始撰写消息“I am h...”(我h…)。对话伙伴可以为下一单词提供一个或多个建议。如该示例中所描绘的，左上角的快捷键214包括单词“hungry”(饿了)，其由对话伙伴在分离的计算设备上建议，被发送给SGD，被处理，并且插入左上角插槽中。附加建议的文本可以插入其余五个快捷键槽中的一个或多个。
建议的文本(用于预测或校正)可以由SGD的处理器或软件来调节。在某些示例中，SGD可以被配置为调节可能的建议的数目。例如，可以包括有限数目的建议(例如，来自对话伙伴的最多只有一个、两个或三个建议)。换言之，如果提供比可用槽更多的建议，则SGD可以被配置(例如，通过其处理器和软件应用)为分析和确定要包括或丢弃哪个建议的文本。例如，来自被分类为家庭成员的对话伙伴的建议可以比作为同事的人更重地加权。在其他示例中，SGD用户的物理位置可以指示哪个对话伙伴的建议被提供更多权重(例如，与家人或朋友相比，医院环境中的对话可以对来自医学专业人员的建议更重地加权)。
SGD还可以被配置为授予或限制某些对话伙伴提供建议。例如，被分类为家人或朋友的对话伙伴可以被授予提供建议的文本添加或校正的权限，而同事则可能不会。同样，SGD用户的物理位置可以指定是否允许对话伙伴提供建议。例如，当SGD用户分别在办公室或医院时，工作同事或医疗专业人员可以被授权提出建议的权限。
SGD还可以被配置为确定将哪个(些)快捷键将要替换为建议的单词、短语或句子(例如，在显示器屏幕206的左上角的第一快捷键、在显示器屏幕206的右上角的最后的快捷键、或者在左上角与右上角之间的内部快捷键)。
在某些示例中，对话伙伴的建议的单词、短语或句子可以以某种方式被突出或区别于其余的预测性文本快捷键212，以标识对话伙伴提供的建议(例如，字体、颜色或快捷输入键大小)。在某些示例中，针对所选择的数目的对话伙伴(例如，仅限家人和/或朋友)突出显示建议的文本。同样，SGD用户的物理位置可以指示是否在快捷键212之一中突出显示建议。例如，当SGD用户分别在办公室或在医院时，来自工作同事或医疗专业人员的建议可以被突出显示，因为他们的建议可以在这些环境中承担更多的权重。
在替代示例中，在预测性文本快捷键与建议文本快捷键之间不存在区别差异(例如，预测性文本快捷键和建议文本快捷键具有相同的字体、颜色或快捷键输入键大小)。这是有利的，因为这些建议似乎合并到SGD上的标准预测性文本选择中，因此允许用户保持选择键入的内容的自主性，同时提供上下文适当的建议文本选项和基于算法的预测性文本选项。
换言之，对话伙伴在SGD 202的显示器屏幕206上提供建议文本的能力是有利的，因为它提供了SGD用户与对话伙伴之间的微妙或谨慎的交互。SGD用户不会被猜测用户正在输入什么内容的对话伙伴中断。此外，SGD用户可以控制他们使用来自他们的对话伙伴的建议文本的程度。此外，SGD用户与对话伙伴之间的这种交互有利于通过向对话伙伴提供一种直接与生成的通信进行交互的方法来进一步吸引对话伙伴，因为生成的通信实时展开，而不仅仅是在听到系统生成的语音所说的一段通信之前等待一段通信完成。另外，在提供对SGD用户生成的消息中的印刷错误的建议校正的示例中，这可以允许SGD用户在发送消息或通过设备的扬声器播放消息之前更有效地更改所生成的消息。
如图2所示，输入设备208包括位于第一显示设备204下方的视线跟踪设备222。其他输入设备也是可能的(例如，跟踪板、键盘)，并且输入设备的位置是可配置的(例如，定位在显示设备上方，定位到显示设备的左侧或右侧，或者与显示设备本身集成)。无论是已经开发，正在开发，还是未来开发，输入设备208可以例如经由通用串行总线(USB)连接、IEEE1394(火线)连接、以太网连接、显示端口、微型显示端口或另一物理连接技术物理连接到第一显示设备204。
在一些示例中，输入设备208没有物理连接到语音生成设备202的第一显示设备204。相反，输入设备208可以与语音生成设备202远程或无线通信，或者连接到语音生成设备202。无线连接可以符合诸如蓝牙、IEEE 802.11(无线LAN)、超宽带(UWB)无线电链路或红外数据关联(IrDA)链路等标准。
就输入设备208包括视线跟踪设备222而言，可以相对于显示设备提供具有一个或多个光源和感测元件的眼睛控制器，以标识和捕捉用户的选择。第一显示设备204可以显示用户可以使用相关联的视线跟踪设备222选择的视觉对象。与语音生成设备相关联的处理器和视线跟踪软件分析来自视线跟踪设备222的数据并且选择显示在显示设备204的显示器屏幕206上的对象。跟踪软件可以包括结合一种或多种选择方法的算法，以通过采用用户的一个或两个眼睛的某个动作来选择语音生成设备202的显示器屏幕206上的对象。
可以使用视线跟踪设备222与显示设备204的显示器屏幕206交互而激活的选择方法可以包括视线跟踪软件，其分析眨眼、凝视、开关或其组合(例如，眨眼/凝视、眨眼/开关、凝视/开关)。使用眨眼选择方法，当用户注视显示器屏幕206上的对象并且然后眨眼特定时间长度时将执行选择。该系统还可以将“眨眼”解释为相关联的相机不能看到用户的眼睛的设定的持续时间。当用户的注视在显示器屏幕206上的对象上停留了最小定义的时间长度时，可以实现凝视选择方法。眨眼/凝视选择组合眨眼和凝视选择，使得当用户的视线聚焦在对象上指定的时间长度时或者在该长度的时间流逝之前用户眨眼时，选择语音生成设备202的显示器屏幕206上的对象。在开关选择方法中，当用户注视对象一段特定时间长度并且然后关闭外部开关时，选择对象。闪烁/开关选择组合闪烁和开关选择，使得当用户的视线在对象上闪烁并且用户然后关闭外部开关时，选择显示器屏幕206上的对象。任何数目的视线跟踪设备的商用示例都是适用的。视线跟踪设备的一个示例是Tobii EyeX传感器(从瑞典Danderyd的Tobii AB可获得)。
图3描绘了包括语音生成设备202的第一显示设备204的显示器屏幕206的环境300。在该非限制性示例中，显示器屏幕206描绘用于SGD用户生成和与对话伙伴或对话伙伴的群组共享消息302的选项。第一显示设备204的显示器屏幕206可以由SGD用户选择显示设备上的快捷键(例如，图2中描绘的“共享”快捷键218)来访问。在这样的示例中，在用户已经生成消息302之后，用户可以选择显示器屏幕206上的输入键(例如，“共享消息”键304或“保存为默认”键306)以与所选择的对话伙伴、所选择的对话伙伴的群组或所有对话伙伴共享所生成的消息。在某些示例中，消息在物理连接到SGD的第二显示设备上共享，使得在SGD的查看范围内(例如，在与SGD用户相同的房间内)的对话伙伴可以读取显示在第二显示设备上的所生成的消息。
在其他示例中，用户生成的消息可以在所选择的对话伙伴的一个或多个远程或无线连接的显示设备上共享。在一些示例中，当SGD用户使用SGD的第一显示设备请求与对话伙伴连接时，所生成的消息与对话伙伴共享。替代地，生成的消息可以与当前与SGD用户连接的一个或多个对话伙伴共享。
在某些示例中，当对话伙伴与SGD用户连接或使用第二显示设备请求与SGD用户连接时，所生成的消息与对话伙伴共享。在潜在对话伙伴进行初始连接请求的情况下，SGD用户可以批准或拒绝该请求。例如，图3描绘了来自潜在对话伙伴“Jamie Doe”的与SGD用户连接的未决请求。在接受请求之后，SGD用户可以定义放置对话伙伴的关系类别或社交圈。这可以包括选择关系类别或社交圈，例如“家人”、“朋友”、“工作”、“医疗”、“其他”或SGD用户可以用SGD创建的任何附加类别。在这种关系指定之后，可以将用户生成的消息发送给第二显示设备。在一些示例中，SGD用户可以为不同的对话伙伴或不同的社交圈生成不同的消息。在这种情况下，基于两个个体之间定义的关系，可以在与SGD用户连接时将定制消息发送给对话伙伴(例如，可以将一个消息发送给工作同事对话伙伴，同时可以将单独的消息发送给医疗人员对话伙伴)。
出于若干原因，由SGD用户生成的准备或异步消息可能是有利的。首先，异步消息允许SGD用户在同步交互发生之前准备通信内容。这可以允许在SGD用户正在为当前同步对话构造附加语音时，对话伙伴读取生成的消息，或者异步消息可以提供内容来填补由于通信的低处理量而可能出现的对话间隙。
在某些示例中，所生成的异步消息可以包括：(1)SGD用户的通信偏好，(2)用于发起特定主题的对话的预先撰写的文本块，(3)多媒体或，或者(4)SGD用户的活动数据。
关于“通信偏好”消息，这是用于SGD用户在通信时表达他们优选的交互和礼节的介质。例如，这可以包括如下信息：(1)“请只询问是或否的问题；”(2)“在我撰写消息时请不要从我的肩膀上看过去；”(3)“对于隐私对话，请在我的肩膀上阅读，这样我就不必向所有人展示我的想法；”(4)“请不要为我完成我的想法”，或者(5)“请帮助我通过您的移动电话应用构建我的消息。”
这些偏好作为对话伙伴教育形式特别有用，简化了在任何给定SGD用户的特定通信策略和偏好方面指导对话伙伴的过程。在某些示例中，通信偏好消息可以在对话伙伴第一次与SGD用户连接时显示在第二显示设备上。在其他示例中，每当对话伙伴与SGD用户连接时，或者每当对话伙伴在一段时间过去之后与SGD用户连接时，通信偏好显示或提供在第二显示设备上(作为SGD用户的通信偏好的提醒)。在某些示例中，可以基于SGD用户与对话伙伴之间定义的关系向不同的对话伙伴提供不同的通信偏好消息。例如，SGD用户可能对工作同事具有与医务人员的通信偏好不同的某些通信偏好。此外，SGD用户可以具有用于在用户实时撰写消息时请求帮助对他们的消息进行校正或建议的某些通信偏好(例如，通过与SGD通信的移动电话软件应用)。
第二种类型的异步消息是“预先撰写的块”消息。这些是SGD用户希望与对话伙伴共享但是希望在同步对话之前做好准备的一般通信。这些消息是有利的，因为它们允许SGD用户编写比在同步通信期间可能构建的更长或更复杂的想法。这些预先撰写的块消息可以显示在第二显示设备上以供对话伙伴查看。在一些示例中，在远程或无线连接的计算设备的情况下，当对话伙伴与SGD用户连接时，预先撰写的块消息可以显示在分离的计算设备的显示设备上。当对话伙伴打开计算设备上的应用以准备与SGD用户进行对话时，可能会发生这种连接。在某些示例中，可以基于SGD用户与对话伙伴之间的定义关系将不同的预先撰写的块消息提供给不同的对话伙伴。
第三种类型的异步消息是“多媒体”消息。多媒体消息允许SGD用户使用他们的SGD设备拍摄图片(例如，通过视线选择显示器屏幕上的相机图标键盘键)。多媒体消息还允许SGD用户选择任何形式的多媒体内容(例如，音频或视频内容)。多媒体内容(例如，图片)可以被显示在SGD的第二显示设备上，或被发送到操作具有显示设备的分离的计算设备的所选择的对话伙伴。这是有利的，因为多媒体消息为SGD用户提供与他人共享他们的体验的丰富渠道。这可以通过减少键入视觉场景描述的需要来增加对话处理量。换言之，“图片胜过千言万语。”在某些示例中，可以基于SGD用户与对话伙伴之间的定义关系向不同的对话伙伴提供不同的多媒体。
第四类异步消息是“活动数据”消息。活动数据可以包括例如在用户的SGD或连接的设备上的用户的最近的web浏览历史、电视或电影观看历史、书籍阅读或收听历史、音乐收听历史、文章阅读历史或应用使用历史。可以收集和存储定义的时间段(例如，最后1小时、2小时、4小时、8小时、12小时、24小时、1周)的活动数据。在一些示例中，定义的时间段可以是自SGD用户和对话伙伴最后连接以来的时间间隔。来自定义的时间段的活动数据可以显示在SGD的第二显示设备上或发送到操作具有显示设备的分离的计算设备的所选择的对话伙伴。这是有利的，因为活动数据消息向SGD用户提供用于与他人共享他们的最近体验的渠道。例如，对话伙伴可以看到SGD用户在它们最后连接之后在他们的设备上观看了电影。对话伙伴能够跳过“你在干什么？”的问题，并且直接开始关于电影的问题。这可以通过减少进行介绍式对话的需要来增加对话处理量。在某些示例中，可以基于SGD用户与对话伙伴之间的定义关系向不同的对话伙伴提供不同的活动数据消息。
图4描绘了包括语音生成设备202的第一显示设备204的显示器屏幕206的环境400。在该非限制性示例中，显示器屏幕206描绘了用于SGD用户定义当SGD用户生成消息时对话伙伴或对话伙伴的群组能够查看哪些内容的“共享级别”。第一显示设备204的显示器屏幕206可以通过SGD用户选择显示设备上的快捷键(例如，图2所示的“设置”快捷键220)来访问。
这种“共享级别”特征是有利的，因为它允许SGD用户决定对话伙伴能够在具有显示器屏幕的连接的计算设备上查看的通信数据的粒度。这为SGD用户提供了保持用户如何与他人通信的控制或自主性的能力。
另外，该特征提供了两个相互竞争的问题之间的平衡。首先，使用SGD生成消息可以相对缓慢和乏味。因此，要求SGD用户明确设置每个连接的对话伙伴的隐私权限可能会使系统过于乏味而无法使用。其次，SGD用户可能希望与不同类型的对话伙伴共享不同量的信息(例如，与家人共享更多信息，与普通熟人共享更少信息)。
因此，SGD用户可以将对话伙伴分类为社交圈，并且为整个圈子而不是个人伙伴设置隐私权限。如前所述，在通过通信系统进行通信的初始请求和接受之后，对话伙伴可以被初始分类为特定圈子。社交圈的示例包括“家人”、“朋友”、“工作”、“医疗”和“其他”。附加圈子可以由SGD用户使用SGD上安装的通信软件而可编程。
对话伙伴到圈子的这种分类可以用作用户管理特征和隐私特征。在某些示例中，潜在的对话伙伴必须通过其计算设备上的应用请求与SGD用户连接，并且然后SGD用户必须批准该请求并且将对话伙伴放入社交圈。只有在这个阶段，对话伙伴才能够看到SGD用户在连接的语音生成设备上生成的任何对话。在其他示例中，SGD用户可以进行与对话伙伴连接的初始请求，并且为潜在的对话伙伴建立社交圈。
如图4所示，SGD用户可以使用界面为整个对话伙伴的圈子设置权限。这允许SGD用户限制在对话伙伴的圈子的计算设备上的同步消息的实时视图中呈现的信息量。例如，SGD用户可以允许对话伙伴的特定群组或圈子查看逐字符、逐单词、逐句字、逐块地(例如，完全撰写的想法)生成的通信的更新，或者仅示出状态信息(例如，社交提示信息)并且根本不示出文本。在一些示例中，可以为每个圈子提供默认设置以便减少从SGD用户需要的工作量。例如，如图4所示，分类为“家人”的对话伙伴可以查看SGD用户的消息，因为它是逐字符生成的，而“朋友”和“医疗”可以逐单词接收更新，“工作”可以逐块接收更新，而“其他”可以只接收音频。
图5描绘了包括语音生成设备202的第一显示设备204的显示器屏幕206的环境500。在该非限制性示例中，显示器屏幕206描绘了历史或先前生成的消息的“共享级别”。在该示例中，SGD用户可以定义对话伙伴或对话伙伴的群组能够查看一个或多个什么先前消息(例如，“SGD”用户生成的消息中的“全部”、仅“最后”或最近的生成的消息、或用户生成的消息中“无”)。第一显示设备204的显示器屏幕206可以通过SGD用户选择显示设备上的快捷键(例如，图2所示的“设置”快捷键220)来访问。
SGD用户的历史的这种“共享级别”特征是有利的，因为它允许SGD用户决定提供给对话伙伴或对话伙伴的群组的上下文级别。这为SGD用户提供了保持用户如何与他人通信的控制或自主性的能力。该特征还提供了为更亲密的对话伙伴(例如，家人或朋友)更新SGD用户最近谈论的内容的能力，而无需重新生成消息。
例如，如图5所示，被指定为“家人”的对话伙伴能够查看SGD用户的生成的消息的整个历史，以允许家庭成员跟上用户最近生成的任何对话。另外，被指定为“朋友”的对话伙伴能够查看SGD用户的最后或最近生成的消息，以允许朋友查看SGD用户最近谈论的内容，可能允许朋友通过一些背景知识的理解适当地与SGD用户进行相同主题的对话。
图6至8描绘了通信系统的第二显示设备的各种非限制性示例。在某些示例中，第二显示设备物理连接到SGD并且是SGD的一部分。在其他示例中，第二显示设备与SGD分离并且与SGD远程或无线通信。
例如，图6描绘了位于SGD 602的表面上的第二显示设备604的环境600。第二显示设备604被定位成使得第二显示设备604面向与SGD 602的第一显示设备的方向不同的方向。在该示例中，第二显示设备604沿着xz平面定位，并且显示器沿着从页面延伸的y轴定向。第一显示设备可以在SGD 602的相对表面上，其中第一显示设备也沿着xz平面定位，并且来自第一显示设备的显示器也沿着y轴定向，但是延伸到页面中。
第二显示设备604包括照明元件阵列606。元件606可以是发光二极管(LED)(例如，有机LED)或其他发射技术，无论是已经开发，正在开发，还是未来开发。照明元件306的每个元件可以包括像素阵列(包括例如多个子像素)以显示各种颜色。
在该示例中，灯阵列606在SGD 602的表面上形成圆形形状。灯阵列606可以是LED灯带。其他形成也是可能的(例如，参见图4)。在图6所示的示例中，多个照明元件经由连接器608(例如，电缆)物理连接到SGD。电缆608可以外部连接在SGD 602的表面之上或上方，或者可以内部连接在SGD 602的表面之下。电缆608可以经由无论是已经开发、正在开发、还是未来开发的通用串行总线(USB)连接、IEEE 1394(火线)连接、以太网连接、显示端口、微型显示端口或其他物理连接技术连接到SGD 602。
在替代示例中，第二显示设备604没有物理连接到SGD 602。相反，第二显示设备604可以与语音生成设备602远程或无线通信、或者连接到语音生成设备602。无线连接可以符合诸如蓝牙、IEEE802.11(无线LAN)、超宽带(UWB)无线电链路或红外数据关联(IrDA)链路等标准。
第二显示设备604可以结合SGD的第一显示设备进行操作。当用户正在准备通信时，或者在用户已经通过SGD 602的扬声器完成并且“说出”或播放了通信之后，第二显示设备604可以标识和显示用于SGD用户关于通信的社交提示或情绪的代理。
例如，SGD用户的社交提示或情绪代理可以由不同的照明配置或颜色来提供。如图6所示，三个照明元件610被照亮并且围绕该圆圈旋转，这可以向对话伙伴提供用户正在键入消息的社交提示代理。下面将更详细地讨论社交提示和情绪代理的其他示例。
如上所述，第二显示设备604的定位可以允许对话伙伴像传统对话那样面对面地查看SGD 602的用户，而不是在他们操作SGD 602时从用户的肩膀上看过去。另外，通过在第二显示设备604上标识的社交提示或情绪代理，对话伙伴可以知道用户的通信状态或情绪。
图7描绘了位于SGD 702的表面上的第二显示设备704的附加环境700。图7中的环境类似于图6，除了照明元件706的设计为矩形。通过这种设计，社交提示代理和情绪代理可以以与图6的圆形设计中使用的代理不同或相似的布置来标识。如图7所示，照亮若干照明元件710以描绘微笑，其可以向对话伙伴提供用户很高兴或者消息是幽默的情绪代理。下面将更详细地讨论社交提示和情绪代理的其他示例。
在图7中的这个所描绘的示例中，多个照明元件706经由连接器708(例如，电缆)物理连接到SGD。电缆708可以外部连接在SGD702的表面之上或上方，或者内部连接在SGD 702的表面之下。电缆708可以经由无论是已经开发、正在开发、还是未来开发的通用串行总线(USB)连接、IEEE1394(火线)连接、以太网连接、显示端口、微型显示端口或其他物理连接技术连接到SGD 702，。
与图6中的示例类似，图7中的第二显示设备704被定位成使得第二显示设备704面向与SGD 702的第一显示设备的方向不同的方向。在该示例中，第二显示设备704沿着xz平面定位，并且显示器沿着从页面延伸的y轴定向。第一显示设备可以位于SGD 702的相对表面上，其中第一显示设备也沿着xz平面定位，并且来自第一显示设备的显示器也沿着y轴定向，但是延伸到页面中。
图8描绘了通信系统或SGD的第二显示设备804的环境800。在该示例中，第二显示设备804可以是SGD的一部分并且位于SGD的表面上。替代地，图8中所示的第二显示设备804可以是与SGD物理分离的设备的一部分，其中分离设备是通信系统的一部分并且与SGD远程或无线连接。无线连接可以符合诸如蓝牙、IEEE 802.11(无线LAN)、超宽带(UWB)无线电链路或红外数据关联(IrDA)链路等标准。
例如，第二显示设备804可以是与SGD分离的计算设备的一部分。计算设备可以是个人计算机(PC)、服务器计算机、平板计算机和其他手持计算设备、膝上型或移动计算机、诸如移动电话(例如，智能电话)等通信设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子装置、网络PC、小型计算机、大型计算机、或者音频或视频媒体播放器。在某些示例中，计算设备可以是可穿戴电子设备，其中该设备可以被佩戴或附接到人的身体或衣服。可穿戴设备可以附接到人的衬衫或夹克；穿戴在人的手腕、脚踝、腰部或头部上；或者穿戴在他们的眼睛或耳朵上。这种可穿戴设备可以包括手表、心率监测器、活动追踪器或头戴式显示器。
如图8所示，第二显示设备804包括显示器屏幕806。显示器屏幕806可以包括发光装置，诸如电子纸显示器、液晶显示器(LCD)、发光二极管(LED)(例如，有机发光二极管(OLED))或标准图形显示器。LCD或LED可以设置在薄膜中或配置为薄膜。发光器件的配置、构造、材料和其他方面可以变化。也可以使用非LED技术，例如精细调节的基于量子点的发射结构。可以使用其他薄形状因子发射技术，无论是已经开发，正在开发，还是未来开发。
第二显示设备804的显示器屏幕806可以包括用于显示图像的各种颜色的像素阵列(包括多个子像素)。在某些示例中，第二显示设备804可以与SGD的第一显示设备结合操作以显示用户的社交提示或情绪代理。例如，当用户正在准备通信时，或者在用户已经通过SGD的扬声器完成并且“说出”或播放了通信之后，第二显示设备804可以标识并且在显示器屏幕806上显示SGD用户的关于通信的社交提示或情绪。
社交提示或情绪代理可以通过显示器屏幕上的不同照明配置、颜色、表情符号、图像、图形或化身提供。例如，显示器屏幕806的背景808可以被改变为特定颜色(例如，红色)以用作SGD用户消息的情绪代理(例如，愤怒)。另外地或替代地，显示器屏幕806可以提供上下文，例如社交提示的文本810，例如“鲍勃正在键入”或“鲍勃正在说话”。在一些示例中，社交提示可以以独特的灯光或颜色模式来提供，例如上面通过图7和8所描述的那些。例如，SGD用户正在键入的指示可以由跨显示器屏幕806水平移动的一系列三个点812表示。下面讨论社交提示和情绪代理的其他示例。
第二显示设备804还可以向对话伙伴显示有用的信息814以帮助与SGD用户通信。例如，SGD用户可以生成一个或多个异步或“离线”消息814以在第二显示设备804的显示器屏幕806上共享。在某些示例中，异步消息在SGD的物理连接的第二显示设备804上共享。在其他示例中，当设备与SGD连接时(例如，通过安装在计算设备上的兼容应用，例如当对话伙伴打开应用以与SGD连接时)，异步消息在远程或无线连接的第二显示设备804上共享。
在某些示例中，如前面所讨论的，要在显示器屏幕806上显示的所生成的异步消息814可以包括：(1)SGD用户的通信偏好，(2)用于发起关于特定主体的对话的预先撰写的文本块(3)多媒体，或(4)活动数据。关于“通信偏好”消息，这是用于SGD用户在通信时表达他们偏好的交互和礼节的介质。这些作为对话伙伴教育的一种形式特别有用，简化了在任何给定SGD用户的特定通信策略和偏好方面指导对话伙伴的过程。关于“预先撰写的块”消息，这些消息是有利的，因为它们允许SGD用户撰写比在同步通信期间可能构建的更长或更复杂的想法。此外，“多媒体”消息可以允许SGD用户使用他们的SGD设备拍摄图片或视频，为SGD用户提供与他人共享他们的体验的丰富渠道，并且通过减少键入视觉场景描述的需要来增加对话处理量。此外，活动数据消息可以允许SGD用户与他人共享他们最近的体验。
在一些示例中，显示器屏幕806可以在消息正在由用户准备时或者在消息已经通过SGD或分离的计算设备的扬声器完成并且说出之后提供实时传送的消息。基于SGD用户与通信伙伴之间的定义关系或社交圈，可以在显示器屏幕上逐字符、逐单词、逐句子、逐块地(例如，完全撰写的想法)提供实时消息，或者仅示出状态信息(例如，社交提示信息)并且根本不显示文本。这是有利的，因为它允许某些对话伙伴在同步通信中更充分地与SGD用户互动。这为对话伙伴提供了正在进行的通信的准确心理模型，并且可能允许对话伙伴更好地理解SGD用户正在试图说的内容。此外，该特征还可以提供通信伙伴在不确定SGD用户正在视图写入的内容时不需要在SGD用户的肩膀上阅读。
如前所述，在某些示例中，第二显示设备804可以被配置为帮助SGD用户撰写同步消息。当第二显示设备804或计算设备连接到SGD时，对话伙伴能够在消息正在撰写时查看SGD用户生成的消息。在一些示例中，这可以允许对话伙伴在消息正在逐字符、逐单词或逐句子撰写时查看消息。对话伙伴然后能够向用户提供针对下一单词、短语或句子的建议的提示。换言之，对话伙伴可以在第二显示设备804上输入单词、短语或句子，并且将它们发送给SGD以供考虑。
例如，如图8所示，显示器屏幕806指示SGD用户已经开始撰写消息“I am h...”。对话伙伴可以使用第二显示设备804为下一单词输入一个或多个建议(例如，“hungry”(饿了)、“here”(在这里)、“hurt”(受伤了))，并且将这些建议发送给SGD。由于对话伙伴正在通过连接的设备向SGD用户提供“谨慎”建议，因此该过程是有利的。这尊重SGD用户的自主性，同时利用对话伙伴的上下文知识和共享历史来潜在地改善通信。
换言之，对话伙伴在SGD上提供建议的单词、短语或句子的能力是有利的，因为它提供了SGD用户与对话伙伴之间的微妙或谨慎的交互。SGD用户不会被猜测用户正在输入什么内容的对话伙伴中断。此外，SGD用户可以控制他们使用来自他们的对话伙伴的建议文本的程度。此外，SGD用户与对话伙伴之间的这种交互有利于通过向对话伙伴提供一种直接与生成的通信进行交互的方法来进一步吸引对话伙伴，因为该方法实时展开，而不仅仅是在听到系统生成的语音所说的一段通信之前等待一段通信完成。
在第二显示设备804是与SGD分离的计算设备的一部分的示例中，第二显示设备804或计算设备可以包括被配置为与SGD通信的其自己的处理器和/或软件(例如，计算机程序代码)。在某些示例中，可以将软件安装在与安装在SGD上的软件通信兼容的计算设备(例如，移动电话)上。在一些示例中，软件应用可以使用Apache Cordova框架中的HTML5和JavaScript来开发，从而允许其在Windows Phone、Android电话和iOS电话上运行。SGD软件与分离的通信设备上的软件应用之间的通信可以通过实时NoSQL数据库系统来实现。
另外，在第二显示设备804是与SGD分离的计算设备的一部分的示例中，第二显示设备804或计算设备可以包括被配置为播放由SGD用户在SGD上生成的消息的一个或多个扬声器。在其他示例中，第二显示设备804或计算设备可以连接到分离的音频播放设备的一个或多个扬声器(例如，耳机、有线或无线扬声器，诸如蓝牙音频扬声器)或与其通信以播放设备。这是有利的，因为计算设备(例如，移动电话)或连接的音频播放设备上的音频回放允许SGD用户选择他们生成的消息如何或在何处播放(例如，对话伙伴可以不一定在相同房间中)。在一些示例中，SGD用户可以选择在他们自己的设备上公开播放他们的消息，其中该消息对于相同房间内的他人或SGD的一个或多个特定距离扬声器是可听的。在其他示例中，SGD用户可以选择将他们生成的消息播放给所连接的通信伙伴或通信伙伴的群组(例如，在相同社交圈内)。这是有利的，因为它允许SGD用户决定他们是希望进行公共对话、在相同房间内进行隐私/侧面对话、还是在与用户不同的位置中的对话伙伴进行远程对话。换言之，与连接的通信伙伴接收用户生成的消息的实时视图的能力相结合，移动音频为SGD用户提供类似电话的长途通信。
社交提示代理
在某些示例中，语音生成设备的用户可以选择用于在第二显示器屏幕上显示的社交提示代理。在其他示例中，所显示的社交提示代理可以基于SGD处理器/软件分析来确定。如以下详细讨论的，社交提示代理可以(1)指示用户正在键入或撰写消息，(2)指示用户正在说话或即将说话，(3)指示用户正在请求说话，(4)请求帮助，(5)标识紧急情况，(6)指示用户正在校准SGD的输入设备(例如，校准视线跟踪设备)，(7)指示SGD是空闲的，或(8)指示SGD用户的眼睛闭合(例如，睡觉)。
首先，一个社交提示代理是SGD的用户正在撰写消息的指示器。该社交提示代理是有利的，因为它允许对话伙伴知道SGD用户正在主动参与对话，或者正在尝试与对话伙伴发起对话。对话伙伴可能已经向SGD用户询问了问题，并且可能无法从用户的面部表情或身体动作(或缺少)中判断用户是否正在试图对该问题进行响应。用户正在键入或回答问题的指示潜在地避免对话伙伴再次询问问题，询问新问题，移动以从用户的肩膀上看过去，或过早离开房间。此外，就第二显示设备不提供用户正在主动键入的代理而言，对话伙伴可以理解他或她需要重复该问题或检查用户的语音生成设备是否正常工作。
在一些示例中，用户可以选择要由第二显示设备显示的社交提示代理。替代地，SGD的处理器可以分析用户正在撰写消息并且显示指示用户正在撰写消息的社交提示代理。例如，一旦用户开始使用输入设备撰写消息，指示器或社交提示代理可以被显示在第二显示设备上。指示器可以是独特的颜色、闪烁的灯光或一系列光移动(例如，图3中围绕照明元件的圆形阵列旋转的三个灯)、或者指示(例如，“鲍勃正在键入”)的第二显示设备的屏幕上的消息。只要用户正在键入，指示器就可以保持显示在第二显示设备上。SGD的处理器或软件可以具有预定义的超时时段，其中只要用户正在预定时段内主动搜索下一单词、字符或图像(例如，在1分钟、30秒、15秒、10秒或5秒内的字符、单词或图像)，指示器就保持被显示。
第二社交提示代理是SGD的用户正在说话或即将说话的指示器(例如，用户即将通过SGD的扬声器播放消息)。这种社交提示代理是有利的，因为它提醒对话伙伴关注用户并且收听消息。在该示例中，用户可以选择要在第二显示设备上指示的社交提示代理，或者处理器可以提供用户正在说话或即将说话的指示(例如，在用户提交要通过SGD的扬声器播放的消息之后)。在某些示例中，一旦用户提交了消息，指示器就可以显示在第二显示设备上。该指示器可以是独特的颜色、闪烁的灯光或一系列光线运动、或者指示例如“鲍勃即将说话”或“鲍勃正在说话”的第二显示设备的屏幕上的消息。在一些示例中，第二显示设备包括单个颜色的多个照明灯(例如，LED)，其中在消息播放时，灯的强度升高和降低(例如，其中灯的强度与通过扬声器说出的单词一起流动)。在其他示例中，为了引起对话伙伴的注意，第二显示器可以提供用户即将说话的指示(例如，一个或多个闪光)。只要用户正在说话，指示器或代理就可以保持显示在第二显示设备上。
第三社交提示代理是说话请求。这个社交提示代理是有利的，因为它允许一个或多个对话伙伴知道SGD用户想要向对话添加某些内容。由于使用SGD的通信速度特别慢，因此用户可能会觉得不能与多于一个对话伙伴对话。用户可以向对话添加某些内容，但是很难“投入”。通过请求说话的社交提示代理，用户正在“举手”以被呼叫，以允许他们的意见被听到。像先前的示例一样，用户可以通过选择SGD的第一显示器屏幕上的某些文本或图像来直接进行说话请求，其中在第二显示设备上创建指示。替代地，SGD的软件或处理器可以确定用户想要与对话伙伴说话。在一些示例中，用户可以在用于说话请求的社交提示代理已经被发起之前、期间或之后撰写消息。因此，在一些示例中，在由一个或多个对话伙伴确认之后，用户可以通过SGD的扬声器播放他们撰写的消息，而不会显著延迟对话的速度。像先前描述的其他社交提示示例一样，用于说话请求的指示器可以是独特的颜色、闪烁的灯光或一系列光线运动、或者指示例如“Bob想要说话”的第二显示设备的屏幕上的消息。该指示器可以保持显示在第二显示设备上，直到被用户或对话伙伴/服务人员清除，或者直到预定的时间到期。
第四社交提示代理是帮助请求或从对话伙伴(例如，护士或医院管理员等服务人员)读取谨慎消息的请求。该社交提示代理是有利的，因为它允许对话伙伴知道SGD用户需要帮助或者想要与对话伙伴或服务人员私下交谈，而不必通过SGD的扬声器播放消息，其中消息可以被该区域的他人听到。在该示例中，用户可以直接请求帮助或请求对话伙伴通过第二显示设备上的指示来阅读谨慎消息，或者移动到单独的房间中进行隐私对话。替代地，SGD的软件或处理器可以确定用户需要来自对话伙伴的帮助。例如，SGD用户可以撰写请求帮助或谨慎对话的消息。SGD的软件和处理器可以分析该消息并且理解帮助或谨慎对话正在被请求。替代地，由于SGD中感知的错误，可以请求帮助。例如，语音生成设备可以不正确地操作(例如，语音生成软件程序可能被冻结，或者第一显示设备的显示器屏幕上的弹出窗口可能阻止用户撰写消息)。社交提示代理或指示器可以显示在第二显示设备上，以确认已经进行了帮助请求或对谨慎通信的请求。该指示器可以是独特的颜色(例如，蓝色)、闪烁的灯光或一系列光线运动、或者指示例如“Bob想要你的帮助”或“Bob想要与你私下说话”的第二显示设备的屏幕上的消息。该指示器可以保持显示在第二显示设备上，直到被用户或对话伙伴/服务人员清除，或者直到预定义的时间到期。
第五社交提示代理是存在需要立即关注的紧急情况的指示。该社交提示代理是有利的，因为它允许对话伙伴知道SGD用户需要立即帮助。同样，用户可以选择要在第二显示设备上显示的紧急情况指示，或者SGD的处理器可以确定存在紧急情况。例如，SGD可以是包括其他设备(诸如，心率监测器或其他健康监测设备)的通信系统的一部分。心率监测器或其他健康监测设备可以检测用户健康状况异常，并且SGD可以接收异常指示。SGD然后可以经由第二显示设备向对话伙伴提醒紧急情况问题。第二显示设备上的指示器可以是独特的颜色(例如，红色)、闪烁的灯光或一系列光线移动、或者指示例如“紧急情况”的第二显示设备的屏幕上的消息。指示器可以保持显示在第二显示设备上，直到被用户或服务人员清除，直到预定义的时间到期，或者直到健康监测设备指示非紧急情况阅读。
第六社交提示代理是用户正在试图校准SGD的输入设备的指示。例如，用户可能偶尔需要校准视线跟踪设备或触摸屏输入，例如以创建或保持准确的输入。该社交提示代理是有利的，因为它允许对话伙伴知道SGD忙，并且在用户能够生成消息或对来自对话伙伴的问题进行响应之前可能需要一段时间。在该示例中，SGD的处理器或软件可以确定设备正在进行校准测试。第二显示设备上的指示器可以是指示SGD的输入设备正在被校准的独特的颜色、闪烁的灯光或一系列光移动、或者指示例如“校准设备”的第二显示设备的屏幕上的消息。
第七社交提示代理是SGD空闲的指示。该社交提示代理是有利的，因为它允许对话伙伴知道SGD正确运行，并且SGD设备的用户没有提供任何其他社交提示代理(例如，用户未键入消息或请求帮助)。在该示例中，SGD的处理器或软件可以基于在预定时间段(例如，至少5秒、至少10秒、至少15秒、至少30秒、至少1分钟)缺少活动来确定设备空闲。第二显示设备上的指示器可以是指示SGD空闲的独特的颜色、闪烁的灯光或一系列光线移动、或者指示例如“空闲”的第二显示设备的屏幕上的消息。
第八社交提示代理是SGD用户的眼睛闭合(例如，睡眠)的指示。该社交提示代理可以使用视线跟踪设备或附接到SGD或其一部分的相机来确定，其中视线跟踪设备或相机监测用户的眼睛移动并且可以确定用户的眼睑是否在至少一段时间内闭合。这是有利的，因为它允许对话伙伴知道SGD用户没有注意或睡着了。在该示例中，SGD的处理器或软件可以基于监测到眼睛闭合预定义的时间段(例如，至少15秒、至少30秒、至少1分钟、至少5分钟)来确定SGD用户的眼睑闭合(例如，并且用户正在睡觉)。第二显示设备上的指示器可以是指示SGD用户正在睡眠的独特的颜色、闪烁的灯光或一系列光线运动、或者指示例如“睡觉”的第二显示设备的屏幕上的消息。
附加的社交提示代理示例也是可能的，并且可以基于用户的特定通信偏好编程到SGD软件中。
情绪代理
除了或者替代社交提示代理，语音生成设备的用户可以在SGD或通信系统的第二显示设备上显示用户情绪的代理。情绪代理可以由用户选择或者通过对用户生成的通信的分析来推断。
在某些示例中，当准备通信消息时，用户可以从显示在第一显示设备上的情绪图表或表格中进行选择。情绪图表或表格可以从SGD的数据库或软件程序中获取。为了简单和易于选择，图表或表格可以包括有限数目的情绪供选择。在一些示例中，用户可以基于用于标识某些情绪的偏好来修改数据库内的情绪图表。
在其他示例中，当准备通信消息时，用户可以选择在第一显示设备上显示的表情符号作为用户情绪的代理。例如，用户可以选择表示快乐的笑脸表情符号、表示悲伤的具有泪滴的悲伤脸表情符号、表示愤怒的愤怒红脸表情符号等。同样，为了简单和易于选择，可供选择的表情符号列表可以是从单个屏幕显示和选择的有限数目的选项。
在其他示例中，SGD的用户可以选择在第一显示设备上显示的图像、图形或化身作为用户情绪的代理。例如，用户可以选择表达愤怒的人叫喊的图像、表达快乐的人笑的形象、表达悲伤的暴雨的图像、表达冷静的安静海滩的图像等。为了简单和易于选择，图像或简单图形可以从有限数目的选项中选择。
替代地，代替用户提供情绪代理，可以从用户准备的消息中推断情绪。SGD设备的软件可以分析用户的消息，以获得可以与某些情绪相关的关键词或短语。例如，如果用户的消息说“我讨厌洋葱”，则软件可以标识单词“讨厌”来表示愤怒。然后，SGD可以标识可以在第二显示设备上显示用于愤怒的情绪代理。
在来自用户的输入或由SGD进行的推断之后，情绪代理可以被显示在第二显示设备上。例如，情绪代理可以通过独特的颜色、图像、图形、表情符号、化身或文本描述来显示或描绘。
在一个示例中，用户的选择或推断的情绪与特定颜色或颜色模式链接。例如，用户可以从第一显示设备上的图表、表情符号、图像、图形或化身中选择情绪，并且第二显示设备以独特的颜色的形式显示情绪代理。红色色调可以代表激情或愤怒；橙色色调可以代表温暖或欢乐；黄色色调可以代表能量或幸福；绿色色调可以代表和平或信任；青色色调可以代表冷静或悲伤；品红色调可以代表无聊或厌恶。如果第二显示设备是照明元件(例如，LED)的阵列，则利用所标识的颜色照亮LED。如果第二显示设备包括显示器屏幕，则利用所标识的颜色照亮显示器屏幕或其一部分。在某些示例中，随着用户的消息被播放，颜色的强度升高和降低(例如，其中灯光的强度随着通过扬声器说出的单词而流动)。所标识的颜色可以保持显示在第二显示设备上，直到被用户清除或者直到预定义的时间到期。
在另外的示例中，用户的选择或推断的情绪与表情符号、图像、图形或化身链接。例如，在用户已经在第一显示设备上选择了情绪或已经推断出情绪之后，第二显示设备可以以独特的表情符号、图像、图形或化身的形式来显示情绪代理。如果第二显示设备是照明元件(例如，LED)的阵列，则可以以诸如笑脸或眨眼的表情符号或图形的形式照亮LED。如果第二显示设备包括显示器屏幕，则显示器屏幕或其一部分可以显示表情符号、图像、图形或化身。所标识的情绪代理可以保持显示在第二显示设备上，直到被用户清除或者直到预定义的时间到期。
示例性方法
图9描绘了使用语音生成设备进行通信的示例性方法900。在动作S101，使用SGD的输入设备生成通信。输入设备可以是视线跟踪设备。在某些示例中，SGD的用户可以选择显示在第一显示设备上的图像、表情符号或图形来标识社交提示或情绪。
在动作S103，在SGD的第一显示设备上显示通信。
在动作S105，由SGD或通信系统的处理器分析通信。分析可以包括根据用户生成的文本或者根据用户选择的所选择的情绪图像、表情符号或图形来推断情绪。
在动作S107，在通信系统的第二显示设备上显示通信的社交提示代理或情绪代理。在一些示例中，第二显示设备是SGD的一部分并且物理连接到SGD。在其他示例中，第二显示设备远离SGD并且与SGD无线通信。
在某些示例中，由处理器在分析动作中标识情绪，并且标识的情绪作为情绪代理显示在第二显示设备上。在其他示例中，由处理器在分析动作中标识社交提示，并且所标识的社交提示作为社交提示代理显示在第二显示设备上。
图10描绘了用于使用语音生成设备进行通信的示例性方法1000。在动作S201，SGD接收与潜在对话伙伴的计算设备连接的请求。该过程可以包括在计算设备(例如，移动电话，平板计算机，膝上型计算机)上安装兼容的软件应用，并且通过该应用，做出通过无线通信网络(例如，经由服务器)与SGD的软件应用连接的请求。替代地，在一些示例中，SGD可以做出将该设备与潜在对话伙伴的计算设备连接的请求。
在动作S203，在语音生成设备与计算设备之间建立连接。在一些示例中，SGD用户批准对话伙伴的连接请求。在替代示例中，对话伙伴批准用户的连接请求。
在动作S205，SGD用户为计算设备(和计算设备的相关联的对话伙伴)指定对话组。对话群组可以是要在其中放置对话伙伴的关系类别或社交圈。这可以包括选择关系类别或社交圈，例如“家人”、“朋友”、“工作”、“医疗”、“其他”或SGD用户可以使用其SGD创建的任何附加类别。在一些示例中，SGD用户还可以为每个对话群组定义所生成的消息的实时更新的共享级别。在附加示例中，SGD用户可以为每个对话群组定义历史或先前生成的消息的共享级别。
在动作S207，SGD用户可以使用SGD生成消息。消息或通信可以使用SGD的输入设备生成。如上所述，输入设备可以是视线跟踪设备。
在动作S209，SGD用户可以将所生成的消息经由通信网络发送到所选择的对话群组以及指定为该群组的一部分的任何对话伙伴和计算设备。在一些示例中，传输是到当前通过通信网络与SGD连接的群组内的所有设备。在某些示例中，当设备在稍后时间连接时，当前未连接的计算设备可以接收传输。
图11描绘了用于使用语音生成设备进行通信的示例性方法1100。在动作S301，SGD用户撰写或生成异步或“离线”通信。所生成的通信可以被传输到通信网络内的服务器并且由其接收。在某些示例中，如前所述，所生成的异步消息可以包括(1)SGD用户的通信偏好，(2)用于发起关于特定主题的对话的预先撰写的文本块，(3)多媒体，或(4)活动数据。
在动作S303，语音生成设备(具有SGD用户)与至少一个计算设备(具有关联的对话伙伴)连接。该连接可以由服务器通过无线通信网络来建立，其中SGD的软件应用和计算设备的兼容软件应用被连接。在一些示例中，计算设备是移动电话(例如，智能电话)、平板计算机或膝上型计算机。
在动作S305，在进行连接时或在建立连接之后，经由通信网络从SGD或服务器将通信传输到计算设备。在一些示例中，SGD用户发起传输。在其他示例中，在服务器标识连接时或者在标识连接之后的一时间段处，服务器发起传输。
示例性计算环境
参考图12，如上所述的语音生成设备、分离的计算设备、服务器和/或通信系统可以是示例性计算环境1200或者并入示例性计算环境内。计算环境1200可以对应于多种计算设备之一，包括但不限于个人计算机(PC)、服务器计算机、平板计算机和其他手持计算设备、膝上型或移动计算机、通信设备(诸如，移动电话)、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子装置、网络PC、小型计算机、大型计算机、或者音频或视频媒体播放器。
计算环境1200具有足够的计算能力和系统存储器以实现基本的计算操作。在该示例中，计算环境1200包括一个或多个处理单元1210，其可以在本文中单独或统称为处理器。计算环境1200还可以包括一个或多个图形处理单元(GPU)1215。处理器1210和/或GPU1215可以包括集成存储器和/或与系统存储器1220通信。处理器1210和/或GPU 1215可以是专用微处理器，诸如数字信号处理器(DSP)、超长指令字(VLIW)处理器或其他微控制器，或者可以是具有一个或多个处理核的通用中央处理单元(CPU)。处理器1210、GPU 1215、系统存储器1220和/或计算环境1200的任何其他组件可以封装或以其他方式集成为片上系统(SoC)、专用集成电路(ASIC)或者其他集成电路或系统。
计算环境1200还可以包括其他组件，诸如例如通信接口1230。可以提供一个或多个输入设备1240(例如，视线跟踪设备；相机；指示设备，诸如手写笔、鼠标或操纵杆；键盘；音频输入设备；视频输入设备；触觉输入设备；或者用于接收有线或无线数据传输的设备)。输入设备1240可以包括一个或多个触敏表面，诸如跟踪板。还可以提供各种输出设备1250，包括触摸屏或一个或多个触敏显示器1255。输出设备1250可以包括各种不同的音频输出设备、视频输出设备和/或用于传输有线或无线数据传输的设备。输出设备1250还可以包括用于使用语音生成设备播放生成的消息的一个或多个扬声器。
计算环境1200还可以包括用于存储诸如计算机可读或计算机可执行指令、数据结构、程序模块或其他数据等信息的各种计算机可读介质。计算机可读介质可以是经由存储设备1260可访问的任何可用介质，并且包括易失性和非易失性介质两者，不管是在可移除存储装置1270和/或不可移除存储装置1280中。计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能光盘(DVD)或其他光盘存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或者可以用于存储所期望的信息并且可以由计算环境1200的处理单元访问的任何其他介质。
在上述示例中，通信网络可以包括有线网络、无线网络或其组合。通信网络可以包括被配置为从计算设备和语音生成设备接收和发射信号的服务器。无线网络可以是蜂窝电话网络、802.11、802.16、802.20或WiMax网络。此外，网络可以是公共网络(例如，因特网)、专用网络(例如，内联网)或其组合，并且可以利用现在可用或以后开发的各种网络协议，包括但不限于基于TCP/IP的网络协议。
虽然计算机可读介质被描述为单个介质，但是术语“计算机可读介质”包括单个介质或多个介质(诸如集中式或分布式数据库)和/或存储一个或多个指令集的相关联的高速缓存和服务器。术语“计算机可读介质”还应当包括能够存储、编码或携带由处理器执行的一组指令或者引起计算机系统执行本文中公开的任何一种或多种方法或操作的任何介质。
在特定的非限制性示例中，计算机可读介质可以包括固态存储器，诸如存储卡或者容纳一个或多个非易失性只读存储器的其他封装。此外，计算机可读介质可以是随机存取存储器或其他易失性可重写存储器。另外，计算机可读介质可以包括磁光或光学介质，诸如磁盘或磁带或其他存储设备，以捕获载波信号，例如通过传输介质传送的信号。电子邮件的数字文件附件或其他独立信息档案或档案集可以被认为是作为有形存储介质的分发介质。因此，本公开被认为包括其中可以存储数据或指令的计算机可读介质或分发介质以及其他等同物和后继介质中的任一个或多个。
在替代示例中，专用硬件实现(诸如专用集成电路、可编程逻辑阵列和其他硬件设备)可以被构造为实现本文中描述的一个或多个示例。可以包括各种示例的装置和系统的应用可以广泛地包括各种电子装置和计算机系统。本文中描述的一个或多个示例可以使用具有可以在模块之间或通过模块传送的相关控制和数据信号的两个或更多个特定互连硬件模块或设备来实现功能，或者实现功能作为专用集成电路的部分。因此，本系统包含软件、固件和硬件实现。
根据本公开的各种示例，本文中描述的方法可以通过计算机系统可执行的软件程序来实现。此外，在某些示例中，实现可以包括分布式处理、组件/对象分布式处理和并行处理。替代地，可以构建虚拟计算机系统处理以实现如本文中描述的一个或多个方法或功能。
尽管本说明书描述了可以参考特定标准和协议在特定示例中实现的组件和功能，但是本发明不限于这些标准和协议。例如，用于因特网和其他分组交换网络传输的标准(例如，TCP/IP、UDP/IP、HTML、HTTP、HTTPS)表示现有技术的示例。这些标准定期被具有基本上相同功能的更快或更有效的等同物所替换。因此，具有与本文中公开的相同或相似功能的替换标准和协议被认为是其等同物。
计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言撰写，包括编译或解释语言，并且可以以任何形式部署，包括作为独立程序或者作为适用于计算环境的模块、组件、子例程或其他单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中，在专用于所讨论的程序的单个文件中，或者在多个协调文件中(例如，存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以部署为在一个计算机上或在位于一个站点或跨多个站点分布并且通过通信网络互连的多个计算机上执行。
本说明书中描述的处理和逻辑流程可以由执行一个或多个计算机程序以通过对输入数据进行操作并且生成输出来执行功能的一个或多个可编程处理器执行。处理和逻辑流程也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))来执行，并且装置也可以被实现为专用逻辑电路。
如本申请中使用的，术语“电路(circuitry)”或“电路(circuit)”是指以下全部：(a)仅硬件电路实现(诸如仅在模拟和/或数字电路中的实现)和(b)硬件和软件(和/或固件)的组合，诸如(如适用)：(i)一个或多个处理器的组合或(ii)一个或多个处理器/软件的部分(包括一起工作以引起诸如移动电话或服务器等装置执行各种功能的一个或多个数字信号处理器、软件和一个或多个存储器)，以及(c)即使软件或固件没有物理存在也需要软件或固件进行操作的电路，诸如一个或多个微处理器或一个或多个微处理器的一部分。
“电路”的这个定义适用于该术语在本申请中的所有使用，包括任何权利要求。作为进一步的示例，如在本申请中使用的，术语“电路”还将涵盖仅仅一个或多个处理器或处理器的一部分及其伴随软件和/或固件的实现。例如并且如果适用于特定权利要求元素，则术语“电路”还将涵盖用于移动电话、或者服务器、蜂窝网络设备或其他网络设备中的类似集成电路的基带集成电路或应用处理器集成电路。
举例来说，适用于执行计算机程序的处理器包括通用和专用微处理器以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或者可操作地耦合以从这样的大容量存储设备接收数据或向其传输数据或两者。但是，计算机不需要具有这种设备。此外，计算机可以嵌入另一设备中，例如移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器等。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如包括半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移除磁盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入其中。
为了提供与用户的交互，本说明书中描述的主题的示例可以在以下设备上实现，该设备具有用于向用户显示信息的显示器(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户可以通过其向用户提供输入的键盘和指示设备(例如，鼠标或轨迹球)。其他类型的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可以以任何形式接收，包括声音、语音或触觉输入。
本说明书中描述的主题的示例可以在以下计算系统中实现，该计算系统包括后端组件(例如，作为数据服务器)或包括中间件组件(例如，应用服务器)或包括前端组件(例如，具有用户可以通过其与本说明书中描述的主题的实现交互的图形用户界面或Web浏览器的客户端计算机)或者一个或多个这样的后端、中间件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如因特网。
计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离并且通常通过通信网络交互。客户端与服务器的关系是通过在相应计算机上运行并且彼此具有客户端服务器关系的计算机程序产生的。
虽然本权利要求范围已经参考旨在仅用于说明而不是限制权利要求范围的具体示例进行描述，但是对于本领域普通技术人员来说清楚的是，可以在不脱离权利要求的精神和范围的情况下对所公开的实施例进行改变、添加和/或删除。
前面的描述仅仅是为了清楚理解而给出的，并且不应当从中理解不必要的限制，因为权利要求范围内的修改对于本领域普通技术人员来说可以是清楚的。
权利要求支持部分
在第一实施例中，一种通信系统包括被配置为通过通信网络与语音生成设备和计算设备无线通信的服务器，其中服务器被配置为：从语音生成设备接收生成的通信，在接收到所生成的通信之后，在语音生成设备与计算设备之间建立连接，并且向计算设备传输所生成的通信。
在第二实施例中，参考第一实施例，语音生成设备包括显示设备和被配置为生成要在显示设备上显示的通信的输入设备。
在第三实施例中，参考第一或第二实施例，所生成的通信从以下各项组成的组中被选择：通信偏好、预先撰写的文本块、多媒体、活动日志及其组合。
在第四实施例中，参考第三实施例，通信偏好是对以下各项的请求：(1)仅询问是或否的问题，(2)在语音生成设备的用户正在撰写消息时从或不从用户的肩膀上看过去，(3)在用户正在撰写消息时不完成用户的想法，或者(4)使用连接到语音生成设备的计算设备帮助用户完成或校正消息。
在第五实施例中，参考第三或第四实施例，多媒体包括由语音生成设备捕获的图像或视频。
在第六实施例中，参考实施例3至5中的任一个，活动日志包括因特网浏览历史、电视或电影查看历史、书籍阅读或收听历史、音乐收听历史、文章阅读历史、或者语音生成设备的用户在定义的时间段内的应用使用历史。
在第七实施例中，参考实施例1至6中的任一个，服务器被配置为基于计算设备是否被分类在特定对话群组中而向计算设备传输通信。
在第八实施例中，一种计算设备包括至少一个处理器和耦合到至少一个处理器的至少一个存储器，至少一个存储器包括用于一个或多个程序的计算机程序代码；至少一个存储器和计算机程序代码被配置为与至少一个处理器一起引起计算设备：经由通信网络与语音生成设备建立连接；并且接收由语音生成设备生成的传输，其中传输包括以下中的至少一项：(1)先前生成的通信，(2)实时生成的通信的片段，(3)实时通信的社交提示代理，或者(4)先前生成的通信或实时通信的情绪代理。
在第九实施例中，参考第八实施例，计算设备是个人计算机、平板计算机、膝上型计算机、移动电话或可穿戴电子设备。
在第十实施例中，参考第八或第九实施例，先前生成的通信是通信偏好、预先撰写的文本块、多媒体、活动日志或其组合。
在第十一实施例中，参考实施例8至10中的任一个，实时通信的片段是预定义片段长度，预定义片段长度是字符、单词、短语、句子或文本块，并且其中预定义片段长度基于语音生成设备的用户与计算设备的对话伙伴之间的关系。
在第十二实施例中，参考第十一实施例，至少一个存储器和计算机程序代码还被配置为引起计算设备：通过提交(1)对所接收的传输中的单词、短语或句子的一个或多个校正，和/或(2)下一单词、短语或句子的一个或多个建议，帮助语音生成设备的用户生成实时通信。
在第十三实施例中，参考实施例8至12中的任一个，社交提示代理是(1)语音生成设备的用户正在键入或撰写消息的指示，(2)用户正在说话或即将说话的指示，(3)用户正在请求说话的指示，(4)帮助请求，(5)紧急情况的标识，(6)用户正在校准语音生成设备的输入设备的指示，(7)语音生成设备空闲的指示，或(8)用户正在睡觉的指示。
在第十四实施例中，参考实施例8至13中的任一个，情绪代理或社交提示代理被显示为计算设备的显示器屏幕上的灯的颜色或布置，灯的颜色或布置被配置为标识情绪或社交提示。
在第十五实施例中，一种语音生成设备包括显示设备、被配置为生成要在显示设备上显示的通信的输入设备、以及耦合到显示设备和输入设备的至少一个处理器，其中具有至少一个处理器的语音生成设备被配置为：经由通信网络与一个或多个计算设备建立连接，在通信的生成期间从至少一个计算设备接收一个或多个建议；并且在显示设备上显示至少一个建议作为快捷输入键。
在第十六实施例中，参考第十五实施例，具有至少一个处理器的语音生成设备还被配置为：定义语音生成设备的用户与计算设备的对话伙伴之间的关系；并且基于所定义的关系来确定要在显示器屏幕上显示的一个或多个建议中的哪个。
在第十七实施例中，参考第十五或第十六实施例，具有至少一个处理器的语音生成设备还被配置为：定义语音生成设备的用户与计算设备的对话伙伴之间的关系；标识语音生成设备的地理位置；并且基于所定义的关系和地理位置来确定要在显示器屏幕上显示的一个或多个建议中的哪个。
在第十八实施例中，参考实施例15至17中的任一个，具有至少一个处理器的语音生成设备还被配置为：在显示器屏幕上提供文本预测作为附加的快捷输入键，其中至少一个建议在显示器屏幕上以与附加的快捷键输入键不同的字体、颜色或快捷键输入键大小被标识。
在第十九实施例中，参考第十八实施例，至少一个建议基于语音生成设备的用户与计算设备的对话伙伴之间的关系而以不同的字体、颜色或快捷输入键大小来被标识。
在第二十实施例中，参考实施例15至19中的任一个，具有至少一个处理器的语音生成设备还被配置为：在显示器屏幕上提供文本预测作为附加的快捷输入键，其中至少一个建议在显示器屏幕上以与附加的快捷输入键相同的字体、颜色和快捷键输入键大小被标识。

Claims (15)

1.一种通信系统，包括：
服务器，被配置为通过通信网络与语音生成设备和计算设备无线通信，其中所述服务器被配置为：
从所述语音生成设备接收生成的通信；
在接收到所述生成的通信之后，在所述语音生成设备与所述计算设备之间建立连接；以及
向所述计算设备传输所述生成的通信。
2.根据权利要求1所述的通信系统，其中所述语音生成设备包括显示设备和输入设备，所述输入设备被配置为生成要在所述显示设备上被显示的所述通信。
3.根据权利要求1所述的通信系统，其中所述生成的通信从以下各项组成的组中被选择：通信偏好、预先撰写的文本块、多媒体、活动日志及其组合。
4.根据权利要求1至3中任一项所述的通信系统，其中所述服务器被配置为基于所述计算设备是否被分类在特定对话群组中而向所述计算设备传输所述通信。
5.一种计算设备，包括：
至少一个处理器；以及
被耦合到所述至少一个处理器的至少一个存储器，所述至少一个存储器包括用于一个或多个程序的计算机程序代码；所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起引起所述计算设备：
经由通信网络与语音生成设备建立连接；以及
接收由所述语音生成设备生成的传输，其中所述传输包括以下中的至少一项：(1)先前生成的通信，(2)实时生成的通信的片段，(3)所述实时通信的社交提示代理，或(4)所述先前生成的通信或所述实时通信的情绪代理。
6.根据权利要求5所述的计算设备，其中所述计算设备是个人计算机、平板计算机、膝上型计算机、移动电话或可穿戴电子设备。
7.根据权利要求5所述的计算设备，其中所述先前生成的通信是通信偏好、预先撰写的文本块、多媒体、活动日志或其组合。
8.根据权利要求5至7中任一项所述的计算设备，其中所述实时通信的所述片段是预定义片段长度，所述预定义片段长度是字符、单词、短语、句子或文本块，以及
其中所述预定义片段长度基于所述语音生成设备的用户与所述计算设备的对话伙伴之间的关系。
9.根据权利要求8所述的计算设备，其中所述至少一个存储器和所述计算机程序代码还被配置为引起所述计算设备：
通过提交(1)对接收的所述传输中的单词、短语或句子的一个或多个校正，和/或(2)下一单词、短语或句子的一个或多个建议，帮助所述语音生成设备的所述用户生成所述实时通信。
10.一种语音生成设备，包括：
显示设备；
输入设备，被配置为生成要在所述显示设备上被显示的通信；以及
至少一个处理器，被耦合到所述显示设备和输入设备，
其中具有所述至少一个处理器的所述语音生成设备被配置为：
经由通信网络与一个或多个计算设备建立连接，
在所述通信的生成期间，从至少一个计算设备接收一个或多个建议；以及
在所述显示设备上显示至少一个建议作为快捷输入键。
11.根据权利要求10所述的语音生成设备，其中具有所述至少一个处理器的所述语音生成设备还被配置为：
定义所述语音生成设备的用户与所述计算设备的对话伙伴之间的关系；以及
基于定义的所述关系，来确定要在所述显示器屏幕上显示所述一个或多个建议中的哪个。
12.根据权利要求10所述的语音生成设备，其中具有所述至少一个处理器的所述语音生成设备还被配置为：
定义所述语音生成设备的用户与所述计算设备的对话伙伴之间的关系；
标识所述语音生成设备的地理位置；以及
基于定义的所述关系和所述地理位置，来确定要在所述显示器屏幕上显示所述一个或多个建议中的哪个。
13.根据权利要求10至12中任一项所述的语音生成设备，其中具有所述至少一个处理器的所述语音生成设备还被配置为：
在所述显示器屏幕上提供文本预测作为附加的快捷输入键，其中所述至少一个建议在所述显示器屏幕上以与所述附加的快捷输入键不同的字体、颜色或快捷键输入键大小被标识。
14.根据权利要求13所述的语音生成设备，其中所述至少一个建议基于所述语音生成设备的用户与所述计算设备的对话伙伴之间的关系以所述不同的字体、颜色或快捷输入键大小被标识。
15.根据权利要求10至12中任一项所述的语音生成设备，其中具有所述至少一个处理器的所述语音生成设备还被配置为：
在所述显示器屏幕上提供文本预测作为附加的快捷输入键，
其中所述至少一个建议在所述显示器屏幕上以与所述附加的快捷输入键相同的字体、颜色和快捷键输入键大小被标识。
CN201680059037.9A 2015-10-09 2016-09-17 在增强和替代通信系统中支持感知和对话处理量 Active CN108140045B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/880,061 2015-10-09
US14/880,061 US10262555B2 (en) 2015-10-09 2015-10-09 Facilitating awareness and conversation throughput in an augmentative and alternative communication system
PCT/US2016/052374 WO2017062165A1 (en) 2015-10-09 2016-09-17 Facilitating awareness and conversation throughput in an augmentative and alternative communication system

Publications (2)

Publication Number Publication Date
CN108140045A true CN108140045A (zh) 2018-06-08
CN108140045B CN108140045B (zh) 2021-09-24

Family

ID=57137240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680059037.9A Active CN108140045B (zh) 2015-10-09 2016-09-17 在增强和替代通信系统中支持感知和对话处理量

Country Status (4)

Country Link
US (1) US10262555B2 (zh)
EP (2) EP3360056B1 (zh)
CN (1) CN108140045B (zh)
WO (1) WO2017062165A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168782A (zh) * 2018-10-22 2021-07-23 2542202安大略公司 辅助沟通设备、方法和装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6943237B2 (ja) * 2016-04-12 2021-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US10305850B1 (en) * 2016-11-15 2019-05-28 Majid Aziz Enhanced instant messaging social network system
WO2020081054A1 (en) * 2018-10-16 2020-04-23 Convmind, Inc. Asynchronous role-playing system for dialog data collection
EP3959706A4 (en) * 2019-04-24 2023-01-04 Aacapella Holdings Pty Ltd AUGMENT AND REPLACEMENT (ACC) COMMUNICATION READING SYSTEM
US20220084504A1 (en) * 2020-09-11 2022-03-17 International Business Machines Corporation Artificial intelligence voice response system for speech impaired users

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050062726A1 (en) * 2003-09-18 2005-03-24 Marsden Randal J. Dual display computing system
CN1700692A (zh) * 2004-05-18 2005-11-23 阿尔卡特公司 提供多模态对话的方法和服务器
CN102088456A (zh) * 2009-12-08 2011-06-08 国际商业机器公司 允许在多个参与者之间进行实时通信的方法和系统
US20120173225A1 (en) * 2006-12-19 2012-07-05 Nuance Communications, Inc. Dialect translator for a speech application environment extended for interactive text exchanges
CN102957595A (zh) * 2011-08-19 2013-03-06 迪士尼企业公司 软发送聊天消息
US8706827B1 (en) * 2012-06-21 2014-04-22 Amazon Technologies, Inc. Customized speech generation
US20140253458A1 (en) * 2011-07-20 2014-09-11 Google Inc. Method and System for Suggesting Phrase Completions with Phrase Segments
CN104468323A (zh) * 2014-11-13 2015-03-25 深圳市玖昔物联科技发展有限公司 聊天室数据保存系统
CN104794609A (zh) * 2015-05-18 2015-07-22 北京北信源软件股份有限公司 一种支持企业协同办公的即时通信系统
CN104901871A (zh) * 2015-06-04 2015-09-09 腾讯科技（深圳）有限公司 即时通讯方法、装置及系统
WO2015137619A1 (ko) * 2014-03-11 2015-09-17 에스케이플래닛 주식회사 메신저 서비스 시스템, 그 시스템에서의 상용구를 이용한 메신저 서비스 방법 및 장치

Family Cites Families (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481622A (en) 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
JP3530591B2 (ja) 1994-09-14 2004-05-24 キヤノン株式会社 音声認識装置及びこれを用いた情報処理装置とそれらの方法
US6157403A (en) 1996-08-05 2000-12-05 Kabushiki Kaisha Toshiba Apparatus for detecting position of object capable of simultaneously detecting plural objects and detection method therefor
US6163281A (en) 1996-08-19 2000-12-19 Torch; William C. System and method for communication using eye movement
US6192396B1 (en) 1998-08-11 2001-02-20 Canon Kabushiki Kaisha Electronic mail with recipient-specific content
US7679534B2 (en) 1998-12-04 2010-03-16 Tegic Communications, Inc. Contextual prediction of user words and user actions
IL129399A (en) 1999-04-12 2005-03-20 Liberman Amir Apparatus and methods for detecting emotions in the human voice
US6775359B1 (en) 1999-12-28 2004-08-10 Comverse Ltd. Voice reply to incoming e-mail messages, via e-mail
US6785649B1 (en) 1999-12-29 2004-08-31 International Business Machines Corporation Text formatting from speech
US20030058267A1 (en) 2000-11-13 2003-03-27 Peter Warren Multi-level selectable help items
US20020085030A1 (en) 2000-12-29 2002-07-04 Jamal Ghani Graphical user interface for an interactive collaboration system
US7224774B1 (en) 2001-03-23 2007-05-29 Aol Llc Real-time call control system
US6993474B2 (en) 2001-05-17 2006-01-31 Curry David G Interactive conversational speech communicator method and system
US6868383B1 (en) 2001-07-12 2005-03-15 At&T Corp. Systems and methods for extracting meaning from multimodal inputs using finite-state devices
JP2003099570A (ja) 2001-09-21 2003-04-04 Fujitsu Ltd デジタル文書審議装置およびデジタル文書審議方法
US7254709B1 (en) 2001-10-23 2007-08-07 Avanza Technologies, Inc. Managed information transmission of electronic items in a network environment
US20040078445A1 (en) 2002-10-17 2004-04-22 Malik Dale W. Forwarding instant messaging (IM) messages
US7461352B2 (en) 2003-02-10 2008-12-02 Ronald Mark Katsuranis Voice activated system and methods to enable a computer user working in a first graphical application window to display and control on-screen help, internet, and other information content in a second graphical application window
US6988068B2 (en) 2003-03-25 2006-01-17 International Business Machines Corporation Compensating for ambient noise levels in text-to-speech applications
US20140019542A1 (en) 2003-08-20 2014-01-16 Ip Holdings, Inc. Social Networking System and Behavioral Web
US7963652B2 (en) 2003-11-14 2011-06-21 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US7809160B2 (en) 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US20060206310A1 (en) 2004-06-29 2006-09-14 Damaka, Inc. System and method for natural language processing in a peer-to-peer hybrid communications network
US20080154601A1 (en) 2004-09-29 2008-06-26 Microsoft Corporation Method and system for providing menu and other services for an information processing system using a telephone or other audio interface
US7307509B2 (en) 2004-11-02 2007-12-11 Custom Lab Software Systems, Inc. Assistive communication device
US20070002130A1 (en) 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication
US7518631B2 (en) 2005-06-28 2009-04-14 Microsoft Corporation Audio-visual control system
US7991764B2 (en) 2005-07-22 2011-08-02 Yogesh Chunilal Rathod Method and system for communication, publishing, searching, sharing and dynamically providing a journal feed
US20070055520A1 (en) 2005-08-31 2007-03-08 Microsoft Corporation Incorporation of speech engine training into interactive user tutorial
WO2007102053A2 (en) 2005-09-16 2007-09-13 Imotions-Emotion Technology Aps System and method for determining human emotion by analyzing eye properties
US7529772B2 (en) 2005-09-27 2009-05-05 Scenera Technologies, Llc Method and system for associating user comments to a scene captured by a digital imaging device
US9213404B2 (en) 2006-02-01 2015-12-15 Tobii Technology Ab Generation of graphical feedback in a computer system
US7774202B2 (en) 2006-06-12 2010-08-10 Lockheed Martin Corporation Speech activated control system and related methods
MX2009002419A (es) 2006-09-07 2009-03-16 Procter & Gamble Metodos para medir la respuesta emocional y preferencia de seleccion.
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080096533A1 (en) 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
EP2119205A2 (en) 2007-01-09 2009-11-18 Spinvox Limited Detection of unanswered call in order to give calling party the option to alternatively dictate a text message for delivery to the called party
US20110115798A1 (en) 2007-05-10 2011-05-19 Nayar Shree K Methods and systems for creating speech-enabled avatars
US20090012793A1 (en) 2007-07-03 2009-01-08 Dao Quyen C Text-to-speech assist for portable communication devices
US8194117B2 (en) 2007-08-08 2012-06-05 Qnx Software Systems Limited Video phone system
US8838476B2 (en) 2007-09-07 2014-09-16 Yp Interactive Llc Systems and methods to provide information and connect people for real time communications
US8275110B2 (en) 2007-09-28 2012-09-25 Ringcentral, Inc. Active call filtering, screening and dispatching
US8463594B2 (en) 2008-03-21 2013-06-11 Sauriel Llc System and method for analyzing text using emotional intelligence factors
US20090310762A1 (en) 2008-06-14 2009-12-17 George Alfred Velius System and method for instant voice-activated communications using advanced telephones and data networks
US20100010370A1 (en) 2008-07-09 2010-01-14 De Lemos Jakob System and method for calibrating and normalizing eye data in emotional testing
US10680840B2 (en) 2008-08-28 2020-06-09 Lawrence A. Jonas System for integrating multiple IM networks and social networking websites
US8224652B2 (en) 2008-09-26 2012-07-17 Microsoft Corporation Speech and text driven HMM-based body animation synthesis
US8280434B2 (en) 2009-02-27 2012-10-02 Research In Motion Limited Mobile wireless communications device for hearing and/or speech impaired user
US8386255B2 (en) 2009-03-17 2013-02-26 Avaya Inc. Providing descriptions of visually presented information to video teleconference participants who are not video-enabled
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
FR2947358B1 (fr) 2009-06-26 2013-02-15 Alcatel Lucent Un assistant-conseiller utilisant l'analyse semantique des echanges communautaires
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
TWI430189B (zh) 2009-11-10 2014-03-11 Inst Information Industry 訊息擬真處理系統、裝置及方法
US8515763B2 (en) 2009-11-24 2013-08-20 Honeywell International Inc. Methods and systems for utilizing voice commands onboard an aircraft
EP2343668B1 (en) 2010-01-08 2017-10-04 Deutsche Telekom AG A method and system of processing annotated multimedia documents using granular and hierarchical permissions
US9477667B2 (en) 2010-01-14 2016-10-25 Mobdub, Llc Crowdsourced multi-media data relationships
US20110191699A1 (en) 2010-02-02 2011-08-04 Dynavox Systems, Llc System and method of interfacing interactive content items and shared data variables
US9560206B2 (en) 2010-04-30 2017-01-31 American Teleconferencing Services, Ltd. Real-time speech-to-text conversion in an audio conference session
CN102939791B (zh) 2010-05-17 2015-09-23 塔塔咨询服务有限公司 用于具有听觉、言语和视觉障碍的人的手持式通信辅助器
US10398366B2 (en) 2010-07-01 2019-09-03 Nokia Technologies Oy Responding to changes in emotional condition of a user
CN102385858B (zh) 2010-08-31 2013-06-05 国际商业机器公司 情感语音合成方法和系统
EP2426902A1 (en) 2010-09-07 2012-03-07 Research In Motion Limited Dynamically manipulating an emoticon or avatar
US8655661B2 (en) 2010-10-08 2014-02-18 Blackberry Limited Methods and apparatus to audibly provide messages in a mobile device
US20120109835A1 (en) 2010-10-28 2012-05-03 International Business Machines Corporation User filtering in social networking applications
US8676891B2 (en) 2010-11-01 2014-03-18 Google Inc. Visibility inspector in social networks
US20120137254A1 (en) 2010-11-29 2012-05-31 Dynavox Systems Llc Context-aware augmented communication
US20120209654A1 (en) 2011-02-11 2012-08-16 Avaya Inc. Mobile activity assistant analysis
CN102131157A (zh) 2011-02-21 2011-07-20 李丽平 信息交互系统及方法
US8438233B2 (en) 2011-03-23 2013-05-07 Color Labs, Inc. Storage and distribution of content for a user device group
US8914446B2 (en) 2011-04-05 2014-12-16 Avaya Inc. IM continuation across SIP sessions and across clients for point-to-point and multi-user chat
US9251717B2 (en) 2011-04-27 2016-02-02 Heidi LoStracco Augmentative and alternative communication language system
US8914290B2 (en) 2011-05-20 2014-12-16 Vocollect, Inc. Systems and methods for dynamically improving user intelligibility of synthesized speech in a work environment
US20120324491A1 (en) 2011-06-17 2012-12-20 Microsoft Corporation Video highlight identification based on environmental sensing
US9443518B1 (en) 2011-08-31 2016-09-13 Google Inc. Text transcript generation from a communication session
US8825777B2 (en) 2011-10-05 2014-09-02 Blackberry Limited Selective delivery of social network messages within a social network
US8723798B2 (en) 2011-10-21 2014-05-13 Matthew T. Vernacchia Systems and methods for obtaining user command from gaze direction
US9009240B2 (en) 2011-12-15 2015-04-14 Microsoft Corporation Dynamic control of an electronic message system
EP2624165A1 (en) 2012-02-06 2013-08-07 Gface GmbH Live representation of users within online systems
US8538402B2 (en) 2012-02-12 2013-09-17 Joel Vidal Phone that prevents texting while driving
US8914014B2 (en) 2012-02-12 2014-12-16 Joel Vidal Phone that prevents concurrent texting and driving
GB2501067B (en) 2012-03-30 2014-12-03 Toshiba Kk A text to speech system
KR101278049B1 (ko) 2012-04-06 2013-06-24 주식회사 아이온커뮤니케이션즈 웹 페이지 상에서 만화 스토리 형식의 대화를 지원하는 모바일 채팅 시스템
US9094359B2 (en) 2012-05-09 2015-07-28 Salesforce.Com, Inc. Method and system for inter-social network communications
US9247306B2 (en) 2012-05-21 2016-01-26 Intellectual Ventures Fund 83 Llc Forming a multimedia product using video chat
US9173074B2 (en) 2012-05-27 2015-10-27 Qualcomm Incorporated Personal hub presence and response
US9767114B2 (en) 2012-08-14 2017-09-19 Cisco Technology, Inc. System and methods for automatically disseminating content based on contexual information
US9092642B2 (en) 2012-09-27 2015-07-28 Intel Corporation Managing personal privacy settings
US10453355B2 (en) 2012-09-28 2019-10-22 Nokia Technologies Oy Method and apparatus for determining the attentional focus of individuals within a group
US9450898B2 (en) 2012-10-19 2016-09-20 Futurewei Technologies, Inc. Shared resource and session model using presence data
US9264391B2 (en) 2012-11-01 2016-02-16 Salesforce.Com, Inc. Computer implemented methods and apparatus for providing near real-time predicted engagement level feedback to a user composing a social media message
US20140149884A1 (en) 2012-11-26 2014-05-29 William Joseph Flynn, III User-Based Interactive Elements
US8854447B2 (en) 2012-12-21 2014-10-07 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US9386020B2 (en) 2013-02-19 2016-07-05 Barry Gold Permission-based updating of contact information
US20140280603A1 (en) 2013-03-14 2014-09-18 Endemic Mobile Inc. User attention and activity in chat systems
US9177072B2 (en) 2013-03-14 2015-11-03 Facebook, Inc. Social cache
KR20150114530A (ko) 2013-03-15 2015-10-12 후아웨이 테크놀러지 컴퍼니 리미티드 모바일 디바이스 그룹 간의 정보의 동기화 및 협업
CA2897539C (en) 2013-04-04 2016-05-17 James S. RAND Unified communications system and method
US20140317660A1 (en) 2013-04-22 2014-10-23 LiveRelay Inc. Enabling interaction between social network users during synchronous display of video channel
IL226047A (en) 2013-04-29 2017-12-31 Hershkovitz Reshef May A method and system for giving personal expressions
US20160134737A1 (en) 2013-05-28 2016-05-12 Ravi PULLETIKURTY System having a miniature portable electronic device for command and control of a plurality of wireless devices
US10956433B2 (en) 2013-07-15 2021-03-23 Microsoft Technology Licensing, Llc Performing an operation relative to tabular data based upon voice input
US20150032238A1 (en) 2013-07-23 2015-01-29 Motorola Mobility Llc Method and Device for Audio Input Routing
US9305094B2 (en) 2013-08-03 2016-04-05 International Business Machines Corporation Real-time shared web browsing among social network contacts
US9400634B2 (en) 2013-10-28 2016-07-26 Google Technology Holdings LLC Systems and methods for communicating notifications and textual data associated with applications
US10157428B2 (en) 2014-01-07 2018-12-18 Google Llc Offline content sharing
US20150213214A1 (en) 2014-01-30 2015-07-30 Lance S. Patak System and method for facilitating communication with communication-vulnerable patients
US9672291B2 (en) 2014-02-19 2017-06-06 Google Inc. Summarizing social interactions between users
US9641481B2 (en) 2014-02-21 2017-05-02 Htc Corporation Smart conversation method and electronic device using the same
US20160014059A1 (en) 2015-09-30 2016-01-14 Yogesh Chunilal Rathod Presenting one or more types of interface(s) or media to calling and/or called user while acceptance of call
US11100242B2 (en) 2014-05-30 2021-08-24 Apple Inc. Restricted resource classes of an operating system
GB201415357D0 (en) 2014-08-29 2014-10-15 Microsoft Corp Sharing content
US20160086179A1 (en) 2014-09-23 2016-03-24 Transfer To Inc. Shared Electronic Wallet With Permissions
US20160140671A1 (en) 2014-11-17 2016-05-19 Jin Hong System and Method for Dynamically Generating A Content Correlated Service Based Mobile Social Network
US9794264B2 (en) 2015-01-26 2017-10-17 CodePix Inc. Privacy controlled network media sharing
US11216300B2 (en) 2015-03-04 2022-01-04 Nec Corporation Datacenter, communication apparatus, communication method, and communication control method in a communication system
US9704488B2 (en) 2015-03-20 2017-07-11 Microsoft Technology Licensing, Llc Communicating metadata that identifies a current speaker
US9684798B2 (en) 2015-05-01 2017-06-20 International Business Machines Corporation Audience-based sensitive information handling for shared collaborative documents
US10325076B2 (en) 2015-11-25 2019-06-18 Box, Inc. Personalized online content access experiences using online session attributes

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050062726A1 (en) * 2003-09-18 2005-03-24 Marsden Randal J. Dual display computing system
CN1700692A (zh) * 2004-05-18 2005-11-23 阿尔卡特公司 提供多模态对话的方法和服务器
US20120173225A1 (en) * 2006-12-19 2012-07-05 Nuance Communications, Inc. Dialect translator for a speech application environment extended for interactive text exchanges
CN102088456A (zh) * 2009-12-08 2011-06-08 国际商业机器公司 允许在多个参与者之间进行实时通信的方法和系统
US20140253458A1 (en) * 2011-07-20 2014-09-11 Google Inc. Method and System for Suggesting Phrase Completions with Phrase Segments
CN102957595A (zh) * 2011-08-19 2013-03-06 迪士尼企业公司 软发送聊天消息
US8706827B1 (en) * 2012-06-21 2014-04-22 Amazon Technologies, Inc. Customized speech generation
WO2015137619A1 (ko) * 2014-03-11 2015-09-17 에스케이플래닛 주식회사 메신저 서비스 시스템, 그 시스템에서의 상용구를 이용한 메신저 서비스 방법 및 장치
CN104468323A (zh) * 2014-11-13 2015-03-25 深圳市玖昔物联科技发展有限公司 聊天室数据保存系统
CN104794609A (zh) * 2015-05-18 2015-07-22 北京北信源软件股份有限公司 一种支持企业协同办公的即时通信系统
CN104901871A (zh) * 2015-06-04 2015-09-09 腾讯科技（深圳）有限公司 即时通讯方法、装置及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113168782A (zh) * 2018-10-22 2021-07-23 2542202安大略公司 辅助沟通设备、方法和装置

Also Published As

Publication number Publication date
EP3360056B1 (en) 2022-02-09
US20170103679A1 (en) 2017-04-13
US10262555B2 (en) 2019-04-16
WO2017062165A1 (en) 2017-04-13
EP3693847B1 (en) 2023-09-06
EP3693847A1 (en) 2020-08-12
EP3360056A1 (en) 2018-08-15
CN108140045B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
US11037545B2 (en) Interactive personal assistive devices and systems with artificial intelligence, and related methods
US9679497B2 (en) Proxies for speech generating devices
CN108140045A (zh) 在增强和替代通信系统中支持感知和对话处理量
US20160193732A1 (en) Engaging in human-based social interaction with members of a group using a persistent companion device
US10148808B2 (en) Directed personal communication for speech generating devices
CN110996796B (zh) 信息处理设备、方法和程序
JP2019521449A (ja) 永続的コンパニオンデバイス構成及び配備プラットフォーム
CN107000210A (zh) 用于提供持久伙伴装置的设备和方法
CN106663219A (zh) 处理与机器人的对话的方法和系统
CN105409197A (zh) 用于提供持久伙伴装置的设备和方法
US10848711B2 (en) Communication system for use with protected persons
US20230260534A1 (en) Smart glass interface for impaired users or users with disabilities
US20240119937A1 (en) Personal presentation of prevocalization to improve articulation
US20240071364A1 (en) Facilitating silent conversation
Gilmore Knowing the Everyday: Wearable Technologies and the Informatic Domain
Harg Augmented postphenomenology: a (post) phenomenological and ethical exploration of Google Glass

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant