CN104303177A - 即时翻译系统 - Google Patents

即时翻译系统 Download PDF

Info

Publication number
CN104303177A
CN104303177A CN201380022177.5A CN201380022177A CN104303177A CN 104303177 A CN104303177 A CN 104303177A CN 201380022177 A CN201380022177 A CN 201380022177A CN 104303177 A CN104303177 A CN 104303177A
Authority
CN
China
Prior art keywords
language
text
earphone
computing machine
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380022177.5A
Other languages
English (en)
Other versions
CN104303177B (zh
Inventor
克里斯多福·帕金森
杰佛瑞·J.·贾寇伯森
大卫·布鲁斯·菲古森
史帝芬·A·庞博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kopin Corp
Original Assignee
Kopin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kopin Corp filed Critical Kopin Corp
Publication of CN104303177A publication Critical patent/CN104303177A/zh
Application granted granted Critical
Publication of CN104303177B publication Critical patent/CN104303177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

本发明揭示一种执行即时语音翻译的方法以及用于执行即时语音翻译的对应耳机计算机，所述方法包含：建立包含第一耳机计算机与第二耳机计算机之间的链路的本地网，其中每个耳机计算机的优选语言设置被更换；将所捕获的第一语言的语音从第一耳机计算机传输到基于网络的语音识别服务以将所述所捕获的语音识别和转录为文本；在所述第一耳机计算机处接收所述文本；通过所述本地网将所述文本广播到至少所述第二耳机计算机；在所述第二耳机计算机处接收所述文本；将所述接收到的文本从所述第二耳机计算机传输到基于网络的文本翻译服务以将所述文本翻译成第二语言的文本；在所述第二耳机计算机处从所述基于网络的文本翻译服务接收所述第二语言的所述文本；以及在所述第二耳机计算机处显示所述经翻译文本。

Description

即时翻译系统
相关申请案
本申请案主张2012年4月25日提交的第61/638,419号美国临时申请案以及2012年6月15日提交的第61/660,478号美国临时申请案的权益。以上申请案的全部教示以引用的方式并入本文中。
背景技术
本申请案涉及人/计算机接口，且更确切地说，涉及一种耳机计算装置，所述耳机计算装置接受话音命令并且追踪头部运动以向经执行的软件应用程序提供命令输入并且从所述经执行的软件应用程序接收显示信息。
如今在商业和个人生活中，例如笔记本式个人计算机(PC)的移动计算装置、智能电话以及平板计算装置是用于产生、分析、传送以及使用数据的常用工具。由于随着高速无线通信技术变得随处可见而更加易于存取数字信息，因此消费者继续乐于接受移动数字生活方式。移动计算装置的普遍用途包含呈现大量高分辨率计算机图形信息和视频内容，这些计算机图形信息和视频内容通常无线串流到所述装置。尽管这些装置通常包含显示屏，但是在此类移动装置中不易复制高分辨率的大型显示器的优选视觉体验，因为此类装置的物理大小受到限制以促进移动性。前述装置类型的另一缺点是用户接口是依赖于手的，其通常需要用户键入数据或使用键盘(物理或虚拟的)或触摸屏显示器来作出选择。因此，消费者现在正寻求一种用以加强或替换依赖于他们的手的移动装置的免提高质量、便携式彩色显示屏解决方案。
发明内容
本发明的实施例通过使用不需要用户手动键入的输入的耳机计算机来提供从源语言或第一语言到目标语言或第二语言的自动即时翻译。耳机计算机采用自动的即时翻译处理，其中自动的即时翻译过程可以基于当前环境以及预定义的用户语言，例如，默认或优选的语言设置。因此，用户不需要提供需要翻译的注释或参数输入(话音或键入)；相反地，在用户提供用以开始所述过程的单次确认之后，即时翻译可以基于当前环境以及预定义的用户(语言默认或优先权)设置。
实例实施例包含执行即时语音翻译的方法，所述方法包含：在至少第一耳机计算机与第二耳机计算机之间建立包含链路的本地通信网；在第一耳机计算机处捕获第一语言的语音；将所捕获的第一语言的语音从第一耳机计算机传输到基于网络的语音识别服务以将所捕获的语音识别和转录为第一语言的文本；在第一耳机计算机处从基于网络的语音识别服务接收第一语言的文本；通过本地网将第一语言的文本广播到至少第二耳机计算机；在第二耳机计算机处接收第一语言的文本；将所接收的经广播的第一语言的文本从第二耳机计算机传输到基于网络的文本翻译服务以将第一语言的文本翻译成第二语言的文本；在第二耳机计算机处从基于网络的文本翻译服务接收第二语言的文本；以及将第二语言的文本显示在第二耳机计算机的显示器上。
实例实施例可以进一步包含：在第二耳机计算机处根据第二语言的文本合成语音并且通过第二耳机计算机的音频扬声器呈现经合成的语音；在建立本地通信网之前，分别将第一语言和第二语言设置为第一耳机计算机和第二耳机计算机的优选操作语言。建立本地网可以进一步包含广播包含每个耳机计算机的优选操作语言的询问。
实例实施例可以进一步包含使用至少话音命令、头部运动命令、手势命令或其组合选择屏幕上的选项以开始即时语音翻译的方法。本地通信网可以使用蓝牙个人区域网(PAN)分布。本地通信网可以进一步包含至少一个耳机计算机与至少一个主机装置之间的通信链路，所述主机装置作为至少一个耳机计算机与基于网络的语音识别服务和基于网络的文本翻译服务之间的中继器操作。主机装置可以进一步包含用以呈现第二语言的文本的显示器。主机装置可以进一步包含至少短程无线电和远程无线电，所述主机装置可以利用至少一个耳机计算机将短程无线电用于包含通信链路的本地通信网并且使用远程无线电来访问基于网络的语音识别服务和基于网络的文本翻译服务。远程无线电可以是3G蜂窝无线电，例如，全球移动通信系统(GSM)、分码多工存取(CDMA)或4G长期演进(LTE)无线电。
其他实例实施例包含用以执行即时语音翻译的耳机计算装置，所述装置可以包含：语音捕获模块，用以捕获第一语言的语音；通信模块，用以利用至少第二耳机计算机建立包含链路的本地通信网、将所捕获的第一语言的语音传输到基于网络的语音识别服务以将所捕获的语音识别和转录为第一语言的文本、从基于网络的语音识别服务接收第一语言的文本，以及通过本地网将第一语言的文本广播到至少第二耳机计算机、从所述至少第二耳机计算机接收第二语言的文本、将接收到的第二语言的文本传输到基于网络的文本翻译服务以将第二语言的文本翻译成第一语言的文本，以及从基于网络的文本翻译服务接收第一语言的文本；以及微显示器，用以显示经翻译的第一语言的文本。
实例实施例可以进一步包含：语音合成器，用以合成第一语言的文本；以及音频扬声器，用以播放经合成的语音、优选的操作语言，在耳机计算机的初始设定期间并且至少在建立本地通信网之前设置优选的操作语言。
通信模块可以广播包含耳机计算机的优选操作语言的询问作为利用至少第二耳机计算机建立包含链路的本地通信网的一部分。
实例实施例可以进一步包含用以开始即时语音翻译的方法的屏幕上的选项，所述屏幕上的选项通过至少话音命令、头部运动命令、手势命令或其组合选择。通信模块可以使用蓝牙PAN分布来建立本地通信网。通信模块可以通过本地通信网利用至少一个主机装置进一步建立通信链路，所述主机装置可以作为耳机计算机与基于网络的语音识别服务和基于网络的文本翻译服务之间的中继器操作。主机装置可以进一步包含用以呈现第二语言的文本的显示器。通信模块可以进一步包含至少短程无线电和远程无线电，所述主机装置利用至少一个耳机计算机将短程无线电用于包含通信链路的本地通信网并且使用远程无线电来访问基于网络的语音识别服务和基于网络的文本翻译服务。远程无线电可以是3G蜂窝无线电，例如，GSM、CDMA或4G LTE无线电。
其他实例实施例可以包含用于控制耳机计算机的操作的非暂时性计算机程序产品，所述计算机程序产品包括具有存储于其上的计算机可读指令的计算机可读媒体，当由处理器加载和执行时，所述计算机可读指令使所述处理器能够在至少第一耳机计算机与第二耳机计算机之间建立包含链路的本地通信网、在第一耳机计算机处捕获第一语言的语音、将所捕获的第一语言的语音从第一耳机计算机传输到基于网络的语音识别服务以将所捕获的语音识别和转录为第一语言的文本、在第一耳机计算机处从基于网络的语音识别服务接收第一语言的文本、通过本地网将第一语言的文本广播到至少第二耳机计算机、在第一耳机计算机处从第二耳机计算机接收第二语言的文本、将接收到的第二语言的文本传输到基于网络的文本翻译服务以将第二语言的文本翻译成第一语言的文本、在第一耳机计算机处从基于网络的文本翻译服务接收第一语言的文本，以及将第一语言的文本显示在第一耳机计算机的微显示器上。
其他实例实施例可以包含执行即时语音翻译的方法，所述方法包含：在耳机计算机处检测源语言的语音输入；识别包含自动语言标识的检测到的语音以标识源语言；将语音转录成源语言的文本；将所述文本翻译成目标语言；将目标语言和/或源语言的文本显示在耦合到耳机计算机上的微显示器上；根据目标语言的文本合成目标语言的语音；以及使用耦合到耳机计算机上的音频扬声器播放经合成的语音。
其他实例实施例可以包含执行即时语音翻译的方法，所述方法包含：使用耦合到耳机计算机上的相机检测源语言的文本图像；使用光学字符识别来识别源语言的文本；将源语言的文本翻译成目标语言的文本；将目标语言的文本显示在耦合到耳机计算机上的微显示器上；根据目标语言的文本合成目标语言的语音；以及使用耦合到耳机计算机上的音频扬声器播放经合成的语音。
附图说明
以上内容将从本发明的实例实施例的以下更具体描述中显而易见，如附图中所示，其中相同的参考符号在不同视图中始终指代相同的部分。附图不必按比例绘制，而是强调展示本发明的实施例。
图1和图1A是本发明的实施例中采用的耳机计算机的透视图。
图2是本发明的实施例的示意性说明。
图3是即时翻译实施例的流程图。
图4是另一实施例的示意图。
图5A和图5B是图4实施例中的即时翻译的流程图。
图6A和图6B是图4实施例的用途的说明。
具体实施方式
实例实施例的描述如下。
图1描绘含有微显示器、本地处理器、用于数据通信的无线收发器的耳机计算机(HC)(或者称为无线免提视频计算耳机、耳机计算装置或头戴装置(HMD))，所述数据可以包含音频和/或图形数据(音频和/或图形数据分别可以进一步包含话音和/或视频数据)。HC可以进一步用一个或多个外围装置集成，此类集成的外围装置的实例包含(但不限于)麦克风、扬声器、3轴到9轴的自由度定向感测、地理位置接收器(GPS)、大气传感器、健康状况传感器、数字罗盘(多轴线磁力计)、闪光灯、高度计、压力传感器、各种环境传感器、个人传感器、能量传感器、光学传感器和/或相机。
HC可以包含一个或多个微显示器装置，以将信息以图形方式呈现给用户，并且可以使用输入装置(例如，头部追踪加速计、陀螺仪或一个或多个相机)以及任选的话音命令来检测移动，例如，头部移动、手运动和/或手势，以通过各种方式对在本地处理器或远程主机处理器上运行的应用程序提供远程控制。
图1中所描绘的实例实施例示出HC 100(在本文中还称为装置100)，所述HC 100并入有微显示器(WQVGA或更好)元件1010以及下文描述的其他特征。输入和/或输出装置，包含一个或多个麦克风；输入以及输出扬声器；地理位置感测；3轴到9轴自由度定向感测；大气传感器；健康状况传感器；GPS；数字罗盘；压力传感器；环境传感器；能量传感器；加速度、位置、海拔、运动、速度或光学传感器；相机(可见光、红外光(IR)、紫外光(UV)等)；额外的无线电(3G或4G LTE蜂窝式、FM等)；辅助照明；测距仪或类似者，和/或传感器阵列经由一个或多个外围端口嵌入在耳机中和/或附接到所述装置上以控制HC 100以及其他装置的操作。(Bluetooth是华盛顿柯克兰的蓝牙技术联盟有限公司的注册商标；Wi-Fi是德克萨斯奥斯汀的Wi-Fi联盟公司的注册商标。)
此外，各种电子电路通常位于HC 100的壳体内，包含(如不久将理解)微型计算机(单核或多核)、一个或多个有线或无线接口和/或光学界面、相关联的存储器和/或存储装置、各种传感器以及例如“附件插座”1020的一个或多个外围支架。
图1是示出耳机计算机(HC)100的实例实施例的一些细节的透视图。HC 100大体上包含框架1000、固夹带1002、后部区1004、扬声器1006、悬臂或臂1008以及微显示器子组合件1010。
图1A图示了HC 100可以使用的各种方式的实例。HC 100可以用作用于由远程主机计算装置200(还称为远程计算装置200)提供的流媒体视频信号的远程显示器。主机200可以是(例如)膝上型电脑、蜂窝电话、 基于云的服务器，或甚至另一HC 100，或比无线遥控器HC 100具有更小或更大计算复杂性的任何其他计算装置。主机200可以(例如)通过到因特网120的有线或无线连接210进一步连接到其他网络。另外，HC 100可以(例如)通过到因特网120的有线或无线连接160进一步连接到其他网络。HC 100以及主机200彼此连接和/或经由(例如)由蓝牙、Wi-Fi、蜂窝、LTE、WiMax或其他无线的无线电链路150提供的一个或多个合适的无线连接而连接到其他网络。(BlackBerry是加拿大安大略省滑铁卢市菲力浦大街295号的移动通讯咨询有限公司的注册商标；iPhone是加利福尼亚库比蒂诺无限循环路1号的苹果公司的注册商标。)
HC 100还可以用作主机200的遥控器。例如，HC 100可以使用户能够在由主机200上的虚拟显示器400界定的大得多的区域内选择视野300。用户通常可以使用头部移动或手移动或身体姿势或以其他方式(例如，利用如通过HC 100检测到的话音命令)来控制视野300的位置、广度(例如，X-Y或3D范围)和/或扩大。因此HC 100可以具有专门的用户输入外围设备以及处理，以(例如)获得和缩放以及控制显示器的视野。
此外，电路位于HC 100内，包含(如不久将理解)微型计算机(单核或多核)、一个或多个无线接口、相关联的存储器或其他存储装置、一个或多个相机(光学传感器)和/或先前提到的各种传感器。相机、运动传感器和/或位置传感器用于追踪用户的头部在110、111、112处、手在113处和/或身体在至少第一轴110、111(水平)，但优选地还在第二轴(垂直)112、第三轴(深度)113、第四轴(间距)、第五轴(摇晃)和第六轴(偏航)中的运动和/或位置。可以添加三轴磁强计(数字罗盘)，从而以完全的9轴自由度位置精确性提供无线计算耳机或外围装置。
HC 100还包含至少一个麦克风以及对应的电子设备，例如，存储器或其他存储设备和/或用于语音识别的可编程处理器。HC 100检测用户的话音，并且通过使用语音识别技术来导出命令和/或指示。HC 100使用从所述语音识别导出的命令来执行通过所述命令指示的功能。
在一个实例实施例中，两个或两个以上HC 100可以执行从第一口头人类语言(即，源语言)到第二口头人类语言(即，目标语言)的即时翻译。此种实例使HC 100的两个或两个以上用户能够彼此通信，同时每个用户在说不同语言并且与所述用户所交谈的人保持目光接触。翻译的格式可以包含从第一(源)语言的语音到文本以及第二(目标)语言的语音，或反之亦然。
图2图示了即时翻译的实例实施例，所述即时翻译包含建立一起的两个或两个以上HC 100之间的通信链路以及每个HC 100与基于云的网络资源401之间的链路。HC 100可以由微显示器210、一个或多个麦克风(麦克风1以及麦克风2)220、一个或多个音频扬声器(扬声器1以及扬声器2)230、主板101以及无线通信模块208组成，所述主板进一步由可操作地耦合的处理器205、噪音消除模块(NCS)225、命令和控制模块250、语音识别捕获模块255、语音合成模块260组成。HC 100可以进一步由根据本发明的原则启用即时语音翻译的额外元件组成。
此外，在HC 100的一些实施例中，用户可以针对优选的性能定制HC 100的配置和操作。定制可以包含在建立用于即时翻译会话的本地通信网之前，将第一语言设置为HC 100的优选操作语言。例如，在HC 100上的计算机软件应用程序产品的初始安装和配置期间，可以设置优选的(或默认)语言。将理解，在一些情况下优选的语言可以是源语言(例如，当HC 100的用户在说话时)，或目标语言(例如，当HC 100接收除了优选的语言之外的语言的文本)。
HC 100与基于云的网络资源401之间的通信可以通过将外围主机装置200(例如，智能手机)用作无线中继器的各种无线通信方法来启用。在一些实施例中，HC 100可以使用各种无线通信方法直接与基于云的网络资源401通信，所述无线通信方法例如，Wi-Fi、3G(GSM、CDMA等)或4G LTE蜂窝或WiFi-Direct。基于云的网络资源401可以包含基于云的语音识别/指示模块405以及文本翻译模块410。
图2图示了即时翻译的实例实施例，所述即时翻译包含建立一起的两个或两个以上HC 100之间的通信链路以及每个HC 100与基于云的网络资源401之间的链路。可以建立包含每个HC 100之间的通信链路的本地通信网。使用例如蓝牙个人区域网(PAN)分布的协议的短程无线电可以用于本地网。指示每个HC 100的优选的(或默认)语言设置的数据可以包含在讯问消息中。例如，考虑图2的两个HC 100A和HC 100B；HC 100A由讲英语的人301A(还称为用户)使用并且经配置以留神听(即，识别)英语语音，而HC 100B由讲法语的人301B(还称为用户)使用并且经配置以留神听法语语音。换言之，语音识别捕获模块255经由软件经配置以识别每个HC 100的相应用户的语音。
在由HC 100安装或执行的软件产品应用程序的初始设定期间，用户可以设置优选的语言，使得优选的语言设置涉及到并且用于自动即时语音翻译而不需要除了在会话之前确认开始即时翻译会话的请求之外的额外用户输入。
此外如图2所图示，每个HC 100A和100B连续地传输短程(即，约100英尺或更小)网络询问305，例如，蓝牙注册包。此类网络询问使HC 100A和100B能够在装置处于传输范围内时即时地且自动地形成本地网310，而不需要通过相应用户301A和301B的努力。询问305传送和提供相应HC 100的标识数据，例如，优选的或默认语言以及其他工作特性。在标识和形成此种网络310之后，HC 100A察觉到不仅HC 100B在附近，而且HC 100B配置用于讲法语的用户301B。类似地，在标识和形成此种本地通信网310之后，HC100B察觉到HC 100A在附近并且配置用于讲英语的用户301A。此外，每个HC 100(100A以及100B)向每个用户提供用以允许即时语音翻译会话开始的选项。例如，HC 100可以通过微显示器向用户呈现用于开始即时翻译会话的屏幕上的选项。用户可以使用话音、头部运动、手势命令或其一些组合来确认或拒绝即时翻译会话请求。
在每个用户301A和301B已启用即时语音翻译会话之后，所述会话可以开始。例如，讲英语的人301A对着装置100A讲英语短语。HC 100A结合麦克风220使用语音识别捕获模块255以捕获英语语音音频输入。使用无线通信模块208经由网络连接415(例如，Wi-Fi或4G LTE)将所捕获的语音传输到基于云的语音识别服务405。基于云的语音识别服务405(经由连接415)通常在小于几秒钟的时间内将作为书面英语文本的语音音频输入返回到HC100A。
所返回的书面英语文本随后通过本地网链路310由第一耳机计算机HC100A传输到第二耳机计算机HC 100B，所述本地网链路可以是(例如)蓝牙连接。在接收书面英语文本之后，HC 100B(使用无线通信模块208通过网络连接420)将书面英语文本传输到基于云的文本翻译服务410，使得所述书面英语文本可以被翻译成书面法语文本。在基于云的文本翻译服务410完成将接收到的书面英语文本翻译成书面法语文本之后，所述书面法语文本通过网络连接420返回到HC 100B。在接收书面法语文本之后，HC 100B将所述书面法语文本显示在其微显示器210上并且语音合成模块260与音频扬声器230结合使用以产生对应的经合成的法语语音。
所属领域的技术人员将认识到，该过程可以被交替，使得法语语音(通过法语用户301B)被翻译成英语文本和语音(在英语用户301端)，因此实现双向翻译服务。所属领域的技术人员将进一步认识到，上述方法可以扩展成多个HC 100，从而实现群组翻译的音频广播系统。换言之，例如，讲英语的人301A可以讲英语并且将书面英语文本广播到多个其他HC 100(所述HC 100中的每一者可以配置用于不同的语言)，从而建立多种语言的即时翻译系统。每个HC100接收书面英语文本(例如，源语言文本或第一语言(语言1))并且根据配置用于视觉显示器和经合成的语音的每个HC的优选(或默认)语言配置将书面英语文本独立地翻译成不同于第一语言/源语言/一种语言的适当语言(例如，目标语言或第二语言(或第三语言或更多语言，例如，语言2或3等))。
图3是根据本发明的HC 100在即时翻译系统1001中执行的实例程序的流程图。在开始之后，在1003处HC 100A配置用于在第一语言(语言1)中操作。接下来，在1005处HC 100A通过(例如)蓝牙注册包的本地网广播询问305。在标识出本地网由至少一个额外HC(例如，HC 100B)组成之后，HC 100A和HC 100B形成或加入1007本地网，例如，本地蓝牙网络310。接下来，HC 100A和HC 100B的用户(用户301A和301B)选择在其相应HC 100上开始即时翻译会话1009。例如，响应于屏幕上的选项，每个用户301A和301B使用话音、头部运动、手势命令或其任何组合来确认即时翻译会话。
在初始软件应用程序产品安装期间，HC 100可以经配置使得第一语言(语言1)为优选的语言，步骤1003。尽管HC 100在运行，但是可以广播包含优选的语言设置的本地网询问，步骤1005。当HC 100处于另一(第二)HC 100的范围(短程，例如在100英尺以下)内时，标识和建立本地通信网，步骤1007。接下来，屏幕上的(和/或音频)提示被呈现给用户以开始即时翻译会话，步骤1008。
下文将从起始与HC 100B的用户的对话的HC 100A的用户的视角进行描述。在1011处，HC 100A捕获第一语言的话音输入，即，由用户301A产生的语音。接下来，步骤1013通过网络连接(例如，Wi-Fi或4G LTE)将所捕获的语音传输到基于云的语音识别服务401、405。语音识别服务405将语音转录且识别成第一语言的文本并且将经转录的第一语言的文本返回到HC100A。作为响应，HC 100A通过本地网310接收1015并且随后广播1017作为第一语言的文本数据的经转录文本，此种本地网可以是蓝牙本地网。
在1021处，HC 100B随后可以接收经广播的第一语言的文本。接下来，HC 100B将第一语言的文本传输1023到基于云的翻译服务410，从而被翻译成第二语言的文本。基于云的翻译服务410将经翻译的第二语言的文本返回到HC 100B(在1025处)。HC 100B随后将翻译成第二语言的接收到的文本显示1027在微显示器210、1010上并且在HC 100B处使用音频扬声器230向用户301B合成第二语言的文本的语音1029(例如，以自动方式地阅读、叙述、陈述、念出)。
所属领域的技术人员将认识到，每个HC 100可以执行上述程序并且所述程序将交替并且使用户300A和300B能够转换。
上述即时翻译系统1001的优点包含以下事实：能够查看输入的文本而不是单独依赖于仅文本到语言的合成通常是非常有用的。具体来说，在一个人想要在进行中的对话中参考前述注解的情况下。此外，将微显示器210、1010定位在靠近眼睛的位置中而不阻碍用户的视野会使用户能够与所述用户正在对话的人保持目光接触，并且因此使用户能够遵守人际沟通的基本规则-保持目光接触。
在其他实施例中，遵循本发明的原则执行从(第一或源)语言到(第二或目标)语言的即时翻译。即时翻译可以包含即时语音翻译，以多种格式的一种口头人类语言到另一种口头人类语言的转换包含从语音到语音(STS)、从语音到文本(STT)、从文本到语音(TTS)和/或从文本到文本(TTT)的翻译。在实例实施例中，语音可以通过可操作地耦合到HC 100上的一个或多个麦克风检测到并且即时地从原始语言翻译到经翻译语言。经翻译的语音可以呈现为文本和/或经合成的语音。在另一实例实施例中，含有嵌入文本的图像可以通过可操作地耦合到HC 100上的一个或多个相机160(图4)捕获，所述嵌入文本可以被识别并且即时地从原始语言翻译到经翻译语言。经识别和翻译的文本可以呈现为经合成的语音和/或文本。
所属领域的技术人员应认识到，即时翻译可以进一步启用即时格式转换；将检测到的话音输入转换成相同语言的文本或将经识别的文本转换成经合成的语音。换言之，实例实施例可以启用免提即时STT转换，即，指示，而另一实例实施例可以启用免提即时TTS转换，即，读取(念出)经识别文本的经合成语音。
图4图示了用于即时语音翻译中的HC 100、外围主机装置200以及基于云的网络资源505的另一实施例。HC 100可以由微显示器210、一个或多个麦克风(麦克风1和麦克风2)220、一个或多个音频扬声器(扬声器1和扬声器2)230、相机160、主板101以及无线通信模块208组成，所述主板进一步由可操作地耦接的处理器205、存储器或其他存储设备(未图示)、噪音消除模块(NCS)225、命令和控制模块250、语音识别/指示模块255、语音合成模块260、光学字符识别(OCR)模块165组成。HC 100可以进一步由启用即时语音翻译的额外元件组成。模块250、255、260、225如上所述。
此外，在HC 100的一些实施例中，用户可以针对优选的性能定制HC 100的配置和操作。HC 100与基于云的网络资源205之间的通信可以通过将外围主机装置200(例如，智能手机)用作无线中继器的各种无线通信方法来启用。换言之，HC 100可以利用主机装置200形成包含通信链路的本地通信网。主机装置可以将第一语言或源语言(或第二语言或目标语言)的文本数据转播到网络服务语音识别模块555(或文本翻译模块570)。在一些实施例中，HC 100可以使用各种无线通信方法直接与基于云的网络资源505通信，所述无线通信方法例如，上文在图2中描述的Wi-Fi、3G(GSM、CDMA等)或4G LTE蜂窝或WiFi-Direct。基于云的网络资源505可以包含基于云的语音识别/指示模块555、OCR模块565、语音合成模块560以及文本翻译模块570。
在一个实施例中，即时语音翻译可以在HC 100处局部出现。麦克风(麦克风1和麦克风2)220接收话音输入，即，语音输入。噪音消除模块(NCS)225可以用于消除背景噪音，使得可以向本地语音识别模块255提供通过麦克风220接收的话音/语音输入的更准确表示。NCS 125可以使用任何噪音消除技术，例如，主动噪音消除(ANC)。可以向语音识别/指示模块255提供经处理或未经处理的(噪音消除方式的)话音/语音输入，所述语音识别/指示模块随后对数字音频信号执行语音识别，从而将经识别的语音转换成文本。任选地，经转录的文本可以显示在微显示器210上，从而提供经识别语音的转录。经转录的文本可以提供到本地翻译模块(未图示)。本地翻译模块可以将经转录文本从一种自然语言翻译成另一种自然语言，从而产生经翻译的文本。任选地，经翻译文本可以显示在微显示器210上。经翻译文本可以供应到语音合成模块260并且使用HC 100的一个或多个音频扬声器230响亮地读出(念出)。主板101上的本地翻译模块或其他模块250、255、260具有每个用户的默认语言设置并且可以根据默认语言自动地确定目标语言。
实例实施例以及定制的配置可以包含设置与不同麦克风220相关联的不同的噪音水平阈值，使得可以识别和翻译除了HC 100的用户/佩戴者之外的人所发出的语音(通常为第二(外国)语)。当HC 100在监听和监视接收到的语音的音频信号时，一些实例实施例不可以使用任何噪音消除技术来处理接收到的音频信号。当向用户/佩戴者读出/念出经合成的语音时，一些实例实施例可以使用噪音消除技术，尤其在包含用于用户的每个耳朵的至少一个音频扬声器230的HC的实例实施例中。
在优选实施例中，即时语音翻译可以使用基于云的网络资源505。HC 100可以使用已知的无线协议(例如，蓝牙或Wi-Fi Direct)经由无线通信模块208与外围主机装置200(例如，智能手机)通信。智能手机200可以充当无线中继器，从而启用HC 100与基于云的网络资源505之间的通信。HC 100的一些实施例可以包含无线通信模块208，所述无线通信模块包含多个无线电(例如，4G LTE和Wi-Fi)，所述无线电在不需要使用无线中继装置(例如，主机200)的情况下启用与基于云的网络资源505的通信。
麦克风(麦克风1和麦克风2)220接收一种语言的话音/音频输入，即，语音输入。噪音消除模块(NCS)225可以用于消除背景噪音，使得可以向本地语音识别模块255提供通过麦克风220接收的话音/语音输入的更准确表示。NCS 225可以使用任何噪音消除技术，例如，主动噪音消除(ANC)。向本地语音识别/指示模块255提供一种(源)语言的经处理或未经处理的话音/语音输入。语音识别模块255对接收到的数字音频输入信号执行语音识别，从而将经识别语音(源语言)转换成源语言的文本。所得的经识别文本(一种语言/源语言)被传输到远程基于云的翻译模块570。
远程基于云的翻译模块570翻译接收到的源语言文本，从而产生经翻译文本(即，将文本从一种/源语言翻译到第二/目标语言文本)。基于云的网络服务器505(例如)通过主机200中继器将所述经翻译文本传送到HC 100。在所述经翻译文本通过HC 100接收之后，处理器执行命令以将接收到的目标语言文本显示在微显示器210上。经翻译文本随后可以供应到语音合成模块260并且使用HC 100的一个或多个音频扬声器230响亮地读出(念出)。HC 100命令/控制模块250或语音/文本处理模块(STT 255、TTS 260)可以具有每个用户的默认(或偏好)语言设置。以此方式，来自HC 100的通过主机200转播的翻译请求基于用户默认(偏好)语言设置自动地设置目标语言。用户不需要插入或以其他方式输入在HC 100与基于云的网络服务505之间传送的每个翻译请求的目标语言的指示。
所属领域的技术人员将认识到，其中其他过程从HC 100中卸载的其他配置也是可能的。例如，HC 100可以提供各种到基于云的网络资源505的输入，例如，包含话音/语音输入并且可以向基于云的网络语音识别/指示模块555提供自动指示(用户优选的/默认的)目标语言，以对数字音频信号执行语音识别，从而将语音转换成相同语言的文本。经识别文本随后可以由基于云的网络翻译模块570处理以产生经翻译文本(从源语言自动到默认目标语言)。经翻译文本随后可以被传送回HC 100，其中所述经翻译文本可以作为文本显示在微显示器210上并且被供应到语音合成模块260并且使用一个或多个扬声器230以目标语言响亮地读出(念出)。至少从用户不需要在即时翻译请求中输入目标语言的指示的意义来说，前述内容是自动的。
或者，HC 100可以将检测到的语音信号(以及用户目标语言的自动指示)发送到基于云的语音识别模块555，所述基于云的语音识别模块将经识别语音转换成文本。所述经识别文本随后可以由基于云的网络翻译模块570处理以在不需要(免于)特定的语言请求的用户输入的情况下自动地产生目标语言的经翻译文本。所述经翻译文本随后可以由基于云的网络语音合成模块560使用以产生目标语言的经翻译语音。所述经翻译语音可以被发送到HC 100，其中在被接收之后，可以使用扬声器230向用户播放所述经翻译语音。
下文将结合图4描述启用即时翻译的实例实施例。
在实例实施例中，含有嵌入文本的图像可以通过HC 100的相机160来捕获。使用OCR模块165可以局部出现所述嵌入文本的识别。经识别文本(源语言)随后可以被提供到本地翻译模块(未图示)以自动地产生(如通过默认语言设置指示的用户偏好的)目标语言的经翻译文本。所述经翻译文本可以显示在微显示器210上，和/或使用语音合成模块260和扬声器230向用户陈述。前述内容‘自动地’实现意味着用户不需要向即时翻译处理输入目标语言指示。
在优选的实施例中，通过相机160捕获的具有嵌入文本的图像可以经由充当无线中继器的外围主机装置200(例如，智能手机200)或直接使用无线通信模块208从HC 100传输到基于网络的OCR模块565。具有嵌入文本的所捕获图像可以被发送到基于云的网络服务505，其中可以使用基于云的OCR模块565来执行嵌入文本的识别。经识别文本以及来自HC 100的目标语言的自动指示(根据用户偏好/默认设置供应)随后可以被提供到基于云的翻译模块570以产生目标语言的经翻译文本。所述经翻译文本随后可以被发送到HC 100。在HC 100处接收到所述经翻译文本之后，所述经翻译文本可以显示在微显示器210上，和/或使用本地语音合成模块260转换成语音并且使用扬声器230念出。
接下来将结合图5A和5B分别描述即时翻译过程1001A、1001B的实例实施例。
图5A描绘了本发明的语音到语音(STS)以及语音到文本(STT)的即时翻译的实例实施方案1001A。图5A中列出的各种功能可以通过机载(即，局部地)HC 100实施或卸载到其他处理装置(即，远程地)，例如，主机200或基于云的网络资源505(如图4中所示)。在优选的实施例中，卸载密集型处理(CPU处理)活动以及其他资源密集型操作，使得HC 100更经济地且更有效地操作。卸载此类处理使HC 100能够通过导出功率消耗成本而保存电池功率。此外，利用网络资源来执行此类处理使HC 100机载资源能够被重新分配。
图5A中描绘的语音到语音(STS)以及语音到文本(STT)的翻译的实例实施方案1001A以通过麦克风220检测话音输入开始，步骤4201。在检测到话音输入之后，识别包含在输入内的语音，步骤4203。语音识别可以包含自动语言标识。经识别的语音随后可以被转录成文本，步骤4205。在所述经识别语音已被转录成文本之后，经转录文本任选地可以在微显示器210上显示给用户(即，在微显示器210上的指示的转录)，步骤4211。接下来，在步骤4207处所述经转录文本可以被自动地翻译成预选择的语言(预定义目标语言)，例如，用户的优选语言，例如英语。用户不需要将目标语言的指示输入到步骤4207，并且因此系统1001A执行即时自动翻译。在进行自动翻译(从源语言到用户的默认/目标语言)之后，在步骤4211处所述经翻译文本任选地可以在微显示器210上显示给用户(即，作为用户的优选语言的翻译)。并行地在步骤4209处，所述经翻译文本可以合成为语音。在合成语音之后，在步骤4213处，系统1001A随后可以通过音频扬声器230向用户响亮地读出(念出)与所述经翻译文本相对应的语音。
图5B描绘了文本到语音(TTS)以及文本到文本(TTT)的即时翻译的实例实施方案1001B。类似于图5A的各种功能，图5B中列出的各种功能可以通过机载HC 100实施或卸载到其他处理装置，例如，主机装置200或基于云的网络资源505(如图4中所示)。在优选的实施例中，关于图5A描述所述优选实施例的益处，密集型CPU处理以及其他资源密集型的操作被卸载，使得HC 100更经济地且更有效地操作。
图5B中所描绘的文本到语音(TTS)以及文本到文本(TTT)的即时翻译的实例实施方案1001B以接收图像输入(例如，通过相机160)开始，步骤4301。在输入图像之后，使用例如光学字符识别(OCR)的技术识别嵌入到图像内的文本，步骤4303。在识别嵌入文本之后，所述嵌入文本任选地可以合成为语音，步骤4307并且随后通过耦合到HC 100上的音频扬声器230向用户响亮地读出(念出)，步骤4311。另外或或者，在步骤4305处经识别的嵌入文本可以被翻译成预选择的(或预定义目标)语言，例如，用户的优选语言，例如，英语。用户不需要将目标语言的指示输入到步骤44305，并且因此系统1001B执行即时自动翻译。在进行自动翻译之后，在步骤4309处所述经翻译文本任选地可以在微显示器210上显示给用户(即，作为变成用户的优选/目标语言的翻译)。并行地在步骤4307处，所述经翻译文本可以合成为语音。在合成语音之后，在步骤4311处系统1001B随后可以通过音频扬声器230向用户响亮地读出(念出)经翻译文本。
在许多情形中，系统1001A、1001B STS和/或STT翻译可能是非常有用的。图6A图示了一个实例，HC 100的用户351或佩戴者可以与仅能够讲外语的人360互动。系统1001A、1001B通过麦克风220(在中图4示出)检测并且识别讲外语的人360的语音，例如，西班牙语音，并且对检测到的西班牙话音输入执行话音识别。经识别语音随后可以被翻译成多种语言，包含用户(351)的优选或目标语言，例如英语。经翻译语音的文本可以在微显示器210处提供给用户351。或者或另外，可以使用语音合成技术通过扬声器230向用户351读出所述经翻译语音。HC 100的实例实施例可以配备有两个扬声器230，除了多个麦克风220以外，一个用于用户351的每个耳朵以任选地通过主动噪音消除(ANC)225来提供噪音消除，使得用户351听不到不必要的环境声音，包含说外语的人360的语音。此类噪音消除特征225可能是有用的，使得HC100的用户351仅听到经系统翻译的语音(经合成的4209、4307)并且听不到正在翻译的外语语音(人360的话音)。
此外，正在翻译的外语语音也可以作为外语(源)语言或用户需要的另一种语言的文本(通过微显示器210)显示给用户351。例如，西班牙语音可以被翻译成英语并且作为英语文本呈现。
HC 100(系统1001A、B)启用的即时翻译对于学习外语是非常有用的。在这种用途情况下，‘目标’语言是外语(与用户的默认/优选设置语言不同的语言)。例如，佩戴者351可以决定使系统将他的本土语言(例如，英语)翻译成所需要的外语(目标)语言，例如，法语。在每天的对话中通过使用即时翻译装置100/系统1001A、B，佩戴者351可以将英语语音(其话音输入)翻译成法语并且使用ANC 225通过扬声器230仅听到法语。因此用户351可以将他/她自己沉浸于他/她想学习的(目标)语言中。佩戴者351还可以通过微显示器210看到经翻译语音的文本以促进书面(目标)语言的学习。通过他们本身或除了文本之外的图像还可以同时利用音频呈现给用户。
在图6A所图示的又另一实例中，HC 100不仅可以以可听见的语音的形式从HC扬声器230输出经翻译(目标)文本，但是HC 100还可以将所述经翻译(目标)文本输出到外部装置，例如，智能手机200。例如，用户351可能到达外国并且需要使用HC 100来与外国出租车司机(例如，在360)沟通。替代于将经翻译(目标)文本从扬声器230输出到微显示器210或语音，HC 100可以将所述经翻译(目标)文本输出到与驾驶员360相关联的外围装置200，例如，出租车司机的蜂窝电话。外围装置200可以可操作地耦合到扬声器或能够显示文本的屏幕上。例如，在最初开始使用时，HC 100可以包含用以询问外部装置的程序指令，所述外部装置例如，监视器、个人数字助理、笔记本计算机、便携式音乐播放器、远程扬声器、蜂窝电话、智能手机或具有收发器或接收器并且能够接收数据的无线通信的任何其他装置。HC 100可以使用已知协议标准(例如，蓝牙)或所属领域中已知的任何其他无线通信协议与外部装置200配对。
图6B描绘了其中TTT翻译有用的实例。例如，用户351在外国旅行并且不理解一种(源)语言的指示牌350。如先前在图5B中描述，HC 100和系统1001B可以对指示牌350的相机160图像执行即时TTT翻译。具体地说，系统1001B将输入图像文本即时地/自动地从一种(源)外语翻译成用户的默认(目标)语言，使得用户351在微显示器210上具有(用户的目标语言的)经翻译文本。
可以使用计算机程序产品配置本发明的其他实例实施例；例如，控制件可以在软件中进行编程以实施本发明的实例实施例。本发明的其他实例实施例可以包含含有指令的非暂时性计算机可读媒体，所述指令可以由处理器执行并且当执行时，所述指令使处理器能够完成本文所描述的方法。应理解，本文所描述的框和流程图中的元件可以以软件、硬件、固件或未来确定的其他类似实施方案来实施。另外，本文所描述的框和流程图中的元件可以以任何方式在软件、硬件或固件中组合或分割。如果在软件中实施，那么软件可以用可以支持本文中所揭示的实例实施例的任何语言写出。软件可以存储在任何形式的计算机可读媒体中，例如，随机存取存储器(RAM)、只读存储器(ROM)、光盘只读存储器(CD-ROM)等。在操作中，通用或应用程序特定的处理器以所属领域中很好地理解的方式加载并且执行软件。应理解，框和流程图可以包含不同地布置或定向或不同地呈现的更多或更少的元件。应理解，实施方案可以指示图示了本发明的实施例的执行的框、流和/或网络图以及框和流程图的数目。
虽然本发明已经参考其示范实施例进行特定展示和描述，但所属领域的技术人员应理解，在不脱离由所附权利要求书涵盖的本发明的范围的情况下，可以在其中进行形式和细节的各种改变。

Claims (21)

1.一种执行即时语音翻译的方法，所述方法包括：
建立包含至少第一耳机计算机与第二耳机计算机之间的链路的本地通信网；
在所述第一耳机计算机处捕获第一语言的语音；
将所述所捕获的所述第一语言的语音从所述第一耳机计算机传输到基于网络的语音识别服务以将所述所捕获的语音识别和转录为所述第一语言的文本；
在所述第一耳机计算机处从所述基于网络的语音识别服务接收所述第一语言的所述文本；
通过所述本地网将所述第一语言的所述文本广播到至少所述第二耳机计算机；
在所述第二耳机计算机处接收所述第一语言的所述文本；
将所述接收到的所述第一语言的经广播文本从所述第二耳机计算机传输到基于网络的文本翻译服务以将所述第一语言的所述文本翻译成第二语言的文本；
在所述第二耳机计算机处从所述基于网络的文本翻译服务接收所述第二语言的所述文本；以及
将所述第二语言的所述文本显示在所述第二耳机计算机的显示器上。
2.根据权利要求1所述的方法，其进一步包含在所述第二耳机计算机处根据所述第二语言的所述文本来合成语音，并且通过所述第二耳机计算机的音频扬声器呈现所述经合成文本。
3.根据权利要求1所述的方法，其进一步包含在建立所述本地通信网之前，分别将所述第一语言和所述第二语言设置为所述第一耳机计算机和所述第二耳机计算机的优选操作语言。
4.根据权利要求3所述的方法，其中所述建立所述本地网进一步包含广播包含每个耳机计算机的所述优选操作语言的询问。
5.根据权利要求1所述的方法，其进一步包含使用至少话音命令、头部运动命令、手势命令或其组合来选择屏幕上的选项，以开始即时语音翻译的方法。
6.根据权利要求1所述的方法，其中所述本地通信网使用蓝牙个人区域网(PAN)分布。
7.根据权利要求1所述的方法，其中所述本地通信网进一步包含在至少一个耳机计算机与至少一个主机装置之间的通信链路，所述主机装置配置为所述至少一个耳机计算机与所述基于网络的语音识别服务和所述基于网络的文本翻译服务之间的中继器。
8.根据权利要求7所述的方法，其中所述主机装置进一步包含显示器以呈现所述第二语言的所述文本。
9.根据权利要求7所述的方法，其中所述主机装置进一步包含至少短程无线电和远程无线电，所述主机装置利用所述至少一个耳机计算机将所述短程无线电用于包含所述通信链路的所述本地通信网，并且使用所述远程无线电来访问所述基于网络的语音识别服务和所述基于网络的文本翻译服务。
10.根据权利要求9所述的方法，其中所述远程无线电是全球移动通信系统(GSM)、分码多工存取(CDMA)或4G长期的演进(LTE)无线电。
11.一种用以执行即时语音翻译的耳机计算装置，所述装置包括：
语音捕获模块，用以捕获第一语言的语音；
通信模块，用以利用至少第二耳机计算机建立包含链路的本地通信网、将所述所捕获的所述第一语言的语音传输到基于网络的语音识别服务以将所述所捕获的语音识别和转录为所述第一语言的文本、从所述基于网络的语音识别服务接收所述第一语言的所述文本，以及通过所述本地网将所述第一语言的所述文本广播到所述至少第二耳机计算机、从所述至少第二耳机计算机接收第二语言的文本、将所述接收到的所述第二语言的文本传输到基于网络的文本翻译服务以将所述第二语言的所述文本翻译成所述第一语言的文本，以及从所述基于网络的文本翻译服务接收所述第一语言的所述文本；以及
微显示器，用以显示所述第一语言的所述经翻译文本。
12.根据权利要求11所述的耳机计算装置，其进一步包括语音合成器，用以合成所述第一语言的所述文本；以及音频扬声器，用以播放所述经合成语音。
13.根据权利要求11所述的耳机计算装置，其进一步包含优选操作语言，在所述耳机计算机的初始设定期间并且至少在建立所述本地通信网之前，设置所述优选操作语言。
14.根据权利要求13所述的耳机计算装置，其中所述通信模块广播包含所述耳机计算机的所述优选操作语言的询问，作为利用所述至少第二耳机计算机建立包含所述链路的所述本地通信网的一部分。
15.根据权利要求11所述的耳机计算装置，其进一步包含屏幕上的选项以开始即时语音翻译的所述方法，所述屏幕上的选项通过至少话音命令、头部运动命令、手势命令或其组合选择。
16.根据权利要求11所述的耳机计算装置，其中所述通信模块使用蓝牙个人区域网(PAN)分布来建立所述本地通信网。
17.根据权利要求11所述的耳机计算装置，其中所述通信模块利用至少一个主机装置通过所述本地通信网来进一步建立通信链路，所述主机装置配置为所述耳机计算机与所述基于网络的语音识别服务和所述基于网络的文本翻译服务之间的中继器。
18.根据权利要求17所述的耳机计算装置，其中所述主机装置进一步包含显示器，以呈现所述第二语言的所述文本。
19.根据权利要求11所述的耳机计算装置，其中所述通信模块进一步包含至少短程无线电和远程无线电，所述主机装置利用所述至少一个耳机计算机将所述短程无线电用于包含所述通信链路的所述本地通信网并且使用所述远程无线电来访问所述基于网络的语音识别服务和所述基于网络的文本翻译服务。
20.根据权利要求19所述的耳机计算装置，其中所述远程无线电是全球移动通信系统(GSM)、分码多工存取(CDMA)或4G长期演进(LTE)无线电。
21.一种用于控制耳机计算机的操作的非暂时性计算机程序产品，所述计算机程序产品包括具有存储于其上的计算机可读指令的计算机可读媒体，当通过处理器加载和执行时，所述计算机可读指令使所述处理器能够：
建立包含至少第一耳机计算机与第二耳机计算机之间的链路的本地通信网；
在所述第一耳机计算机处捕获第一语言的语音；
将所述所捕获的所述第一语言的语音从所述第一耳机计算机传输到基于网络的语音识别服务以将所述所捕获的语音识别和转录为所述第一语言的文本；
在所述第一耳机计算机处从所述基于网络的语音识别服务接收所述第一语言的所述文本；
通过所述本地网将所述第一语言的所述文本广播到至少所述第二耳机计算机；
在所述第一耳机计算机处从所述第二耳机计算机接收第二语言的文本；
将所述接收到的所述第二语言的文本传输到基于网络的文本翻译服务以将所述第二语言的所述文本翻译成所述第一语言的文本；
在所述第一耳机计算机处从所述基于网络的文本翻译服务接收所述第一语言的所述文本；以及
将所述第一语言的所述文本显示在所述第一耳机计算机的微显示器上。
CN201380022177.5A 2012-04-25 2013-04-24 执行即时语音翻译的方法及耳机计算装置 Active CN104303177B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261638419P 2012-04-25 2012-04-25
US61/638,419 2012-04-25
US201261660478P 2012-06-15 2012-06-15
US61/660,478 2012-06-15
PCT/US2013/037988 WO2013163293A1 (en) 2012-04-25 2013-04-24 Instant translation system

Publications (2)

Publication Number Publication Date
CN104303177A true CN104303177A (zh) 2015-01-21
CN104303177B CN104303177B (zh) 2018-08-17

Family

ID=48289686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380022177.5A Active CN104303177B (zh) 2012-04-25 2013-04-24 执行即时语音翻译的方法及耳机计算装置

Country Status (5)

Country Link
US (1) US9507772B2 (zh)
EP (1) EP2842055B1 (zh)
JP (1) JP6289448B2 (zh)
CN (1) CN104303177B (zh)
WO (1) WO2013163293A1 (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835491A (zh) * 2015-04-01 2015-08-12 成都慧农信息技术有限公司 一种多传输方式的tts语音合成系统及方法
CN106060272A (zh) * 2016-07-12 2016-10-26 魏喜国 以智能手机为载体的双语即时翻译装置
CN106131349A (zh) * 2016-09-08 2016-11-16 刘云 一种具有自动翻译功能的手机、蓝牙耳机组件
CN106412813A (zh) * 2016-11-30 2017-02-15 深圳市高为通信技术有限公司 一种利用蓝牙耳机进行实时通讯翻译的方法
CN106708343A (zh) * 2016-12-30 2017-05-24 天津神工科技有限公司 一种用于幼儿教育的感应式输入设备
CN106851450A (zh) * 2016-12-26 2017-06-13 歌尔科技有限公司 一种无线耳机对及电子设备
WO2017143765A1 (zh) * 2016-02-24 2017-08-31 苏州龙诺法智能科技有限公司 智能会议翻译系统
CN107222833A (zh) * 2017-05-22 2017-09-29 深圳市沃特沃德股份有限公司 实现同声翻译的方法、系统和装置
CN107241681A (zh) * 2017-05-24 2017-10-10 深圳市沃特沃德股份有限公司 同声翻译的实现方法和装置
CN107247711A (zh) * 2017-06-28 2017-10-13 努比亚技术有限公司 一种双向翻译方法、移动终端以及计算机可读存储介质
CN107341148A (zh) * 2017-06-27 2017-11-10 深圳市沃特沃德股份有限公司 翻译方法、翻译设备及翻译系统
CN107924395A (zh) * 2015-08-24 2018-04-17 微软技术许可有限责任公司 个人翻译器
CN107993646A (zh) * 2016-10-25 2018-05-04 北京分音塔科技有限公司 一种实现实时语音互译的方法
CN108280067A (zh) * 2018-02-26 2018-07-13 深圳市百泰实业股份有限公司 耳机翻译方法和系统
CN108345591A (zh) * 2018-01-26 2018-07-31 歌尔股份有限公司 基于移动终端双耳无线耳机的语音实时翻译方法及系统
CN108572950A (zh) * 2017-03-08 2018-09-25 捷音特科技股份有限公司 耳麦翻译系统
CN108694036A (zh) * 2017-03-29 2018-10-23 京瓷办公信息系统株式会社 语音输入系统、语音输入装置及其记录介质
CN109033092A (zh) * 2018-06-13 2018-12-18 深圳市思创达塑胶模具有限公司 一种实时翻译系统、方法及翻译设备
CN109121123A (zh) * 2018-07-03 2019-01-01 Oppo广东移动通信有限公司 信息处理方法及相关产品
CN109151789A (zh) * 2018-09-30 2019-01-04 Oppo广东移动通信有限公司 翻译方法、装置、系统以及蓝牙耳机
CN109218883A (zh) * 2018-08-27 2019-01-15 深圳市声临科技有限公司 一种翻译方法、翻译系统、tws耳机及终端
CN109257707A (zh) * 2017-07-13 2019-01-22 空中客车防卫及太空有限公司 群组通信
WO2019090532A1 (zh) * 2017-11-08 2019-05-16 深圳市沃特沃德股份有限公司 语音翻译方法、系统、装置和翻译设备
CN110073437A (zh) * 2016-07-21 2019-07-30 欧斯拉布斯私人有限公司 一种用于将文本数据转换为多种语音数据的系统和方法
WO2019148564A1 (zh) * 2018-02-05 2019-08-08 深圳市沃特沃德股份有限公司 实现语音翻译的方法、装置和语音翻译设备
CN110365371A (zh) * 2019-07-05 2019-10-22 深圳市声临科技有限公司 基于蓝牙设备提供触发信号实现翻译系统控制的方法及其系统、电子设备
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
CN111046680A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 一种翻译方法及电子设备
CN111448567A (zh) * 2017-10-20 2020-07-24 Tap声音系统公司 实时语音处理
CN112119641A (zh) * 2018-09-20 2020-12-22 华为技术有限公司 通过转发模式连接的多tws耳机实现自动翻译的方法及装置
TWI717722B (zh) * 2019-04-15 2021-02-01 宏碁股份有限公司 多媒體處理方法以及電子系統
US10971132B2 (en) 2018-08-28 2021-04-06 Acer Incorporated Multimedia processing method and electronic system
CN113591499A (zh) * 2021-09-03 2021-11-02 邓求易 一种支持自动识别的便携式翻译器
CN114127735A (zh) * 2019-07-23 2022-03-01 瑞典爱立信有限公司 通信网络中的用户设备、网络节点和方法
US11482229B2 (en) 2018-08-28 2022-10-25 Acer Incorporated Multimedia processing circuit and electronic system

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9235262B2 (en) * 2009-05-08 2016-01-12 Kopin Corporation Remote control of host application using motion and voice commands
US8855719B2 (en) 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
US8870950B2 (en) 2009-12-08 2014-10-28 Mitral Tech Ltd. Rotation-based anchoring of an implant
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
WO2013163293A1 (en) 2012-04-25 2013-10-31 Kopin Corporation Instant translation system
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
US9966075B2 (en) * 2012-09-18 2018-05-08 Qualcomm Incorporated Leveraging head mounted displays to enable person-to-person interactions
US9047873B2 (en) * 2012-12-21 2015-06-02 Draeger Safety, Inc. Self contained breathing and communication apparatus
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio
US9818397B2 (en) * 2013-08-26 2017-11-14 Google Technology Holdings LLC Method and system for translating speech
US9640173B2 (en) * 2013-09-10 2017-05-02 At&T Intellectual Property I, L.P. System and method for intelligent language switching in automated text-to-speech systems
KR102256291B1 (ko) * 2013-11-15 2021-05-27 삼성전자 주식회사 번역 상황을 인지하고 번역 기능을 수행하는 방법 및 이를 구현하는 전자장치
US10878721B2 (en) 2014-02-28 2020-12-29 Ultratec, Inc. Semiautomated relay method and apparatus
US10389876B2 (en) 2014-02-28 2019-08-20 Ultratec, Inc. Semiautomated relay method and apparatus
US20180034961A1 (en) 2014-02-28 2018-02-01 Ultratec, Inc. Semiautomated Relay Method and Apparatus
US20180270350A1 (en) 2014-02-28 2018-09-20 Ultratec, Inc. Semiautomated relay method and apparatus
US10748523B2 (en) 2014-02-28 2020-08-18 Ultratec, Inc. Semiautomated relay method and apparatus
US9514376B2 (en) 2014-04-29 2016-12-06 Google Inc. Techniques for distributed optical character recognition and distributed machine language translation
US9514377B2 (en) 2014-04-29 2016-12-06 Google Inc. Techniques for distributed optical character recognition and distributed machine language translation
US9390725B2 (en) 2014-08-26 2016-07-12 ClearOne Inc. Systems and methods for noise reduction using speech recognition and speech synthesis
KR102281341B1 (ko) * 2015-01-26 2021-07-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
US10152476B2 (en) 2015-03-19 2018-12-11 Panasonic Intellectual Property Management Co., Ltd. Wearable device and translation system
US9495768B1 (en) * 2015-03-24 2016-11-15 Robert Elliott Modular display and controller
CH711334A2 (fr) * 2015-07-15 2017-01-31 Cosson Patrick Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel.
JP6471074B2 (ja) * 2015-09-30 2019-02-13 株式会社東芝 機械翻訳装置、方法及びプログラム
JP2017097422A (ja) * 2015-11-18 2017-06-01 鹿島建設株式会社 送受信機及び送受信方法
JP6198879B1 (ja) * 2016-03-30 2017-09-20 株式会社リクルートライフスタイル 音声翻訳装置、音声翻訳方法、及び音声翻訳プログラム
JP6364629B2 (ja) 2016-07-08 2018-08-01 パナソニックＩｐマネジメント株式会社 翻訳装置および翻訳方法
US9497315B1 (en) * 2016-07-27 2016-11-15 Captioncall, Llc Transcribing audio communication sessions
US10430042B2 (en) 2016-09-30 2019-10-01 Sony Interactive Entertainment Inc. Interaction context-based virtual reality
US10104221B2 (en) 2016-09-30 2018-10-16 Sony Interactive Entertainment Inc. Language input presets for messaging
US20180182375A1 (en) * 2016-12-22 2018-06-28 Essential Products, Inc. Method, system, and apparatus for voice and video digital travel companion
TW201834438A (zh) * 2017-03-08 2018-09-16 捷音特科技股份有限公司 耳麥翻譯系統
CN108804426A (zh) * 2017-05-03 2018-11-13 捷音特科技股份有限公司 互动翻译系统
US10936830B2 (en) 2017-06-21 2021-03-02 Saida Ashley Florexil Interpreting assistant system
US10453459B2 (en) * 2017-06-21 2019-10-22 Saida Ashley Florexil Interpreting assistant system
KR102161554B1 (ko) * 2017-06-29 2020-10-05 네이버 주식회사 이어셋을 이용한 통역기능 제공 방법 및 장치
JP7197259B2 (ja) * 2017-08-25 2022-12-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置およびプログラム
KR102397114B1 (ko) 2017-09-29 2022-05-13 삼성전자주식회사 외부 마이크로폰의 그라운드 단자와 전기적으로 연결될 수 있는 커넥터에 포함된 지정된 핀이 회로 기판의 지정된 그라운드와 전기적으로 연결된 회로 구조를 갖는 전자 장치
WO2019084962A1 (zh) * 2017-11-06 2019-05-09 深圳市沃特沃德股份有限公司 语音翻译方法、装置和翻译机
CN107885731A (zh) * 2017-11-06 2018-04-06 深圳市沃特沃德股份有限公司 语音翻译方法和装置
US20200012724A1 (en) * 2017-12-06 2020-01-09 Sourcenext Corporation Bidirectional speech translation system, bidirectional speech translation method and program
WO2019157069A1 (en) * 2018-02-09 2019-08-15 Google Llc Concurrent reception of multiple user speech input for translation
WO2019160953A1 (en) * 2018-02-13 2019-08-22 SentiAR, Inc. Intercom system for multiple users
US10747500B2 (en) * 2018-04-03 2020-08-18 International Business Machines Corporation Aural delivery of environmental visual information
US20190324447A1 (en) * 2018-04-24 2019-10-24 Kevin Michael Ryan Intuitive Controller Device for UAV
CN108650419A (zh) * 2018-05-09 2018-10-12 深圳市知远科技有限公司 基于智能手机的电话翻译系统
JP1621612S (zh) 2018-05-25 2019-01-07
US10817674B2 (en) * 2018-06-14 2020-10-27 Chun-Ai Tu Multifunction simultaneous interpretation device
US10334349B1 (en) * 2018-07-12 2019-06-25 Mark Crowder Headphone-based language communication device
CN109005480A (zh) * 2018-07-19 2018-12-14 Oppo广东移动通信有限公司 信息处理方法及相关产品
US20200075000A1 (en) * 2018-08-31 2020-03-05 Halloo Incorporated System and method for broadcasting from a group of speakers to a group of listeners
CN109344411A (zh) * 2018-09-19 2019-02-15 深圳市合言信息科技有限公司 一种自动侦听式同声传译的翻译方法
CN110914828B (zh) * 2018-09-19 2023-07-04 深圳市合言信息科技有限公司 语音翻译方法及翻译装置
US11188721B2 (en) * 2018-10-22 2021-11-30 Andi D'oleo Headphones for a real time natural language machine interpretation
US11068668B2 (en) * 2018-10-25 2021-07-20 Facebook Technologies, Llc Natural language translation in augmented reality(AR)
US11282259B2 (en) 2018-11-26 2022-03-22 International Business Machines Corporation Non-visual environment mapping
CN111841006A (zh) * 2019-04-19 2020-10-30 宏碁股份有限公司 多媒体处理方法以及电子系统
CN110083844B (zh) * 2019-04-19 2023-07-11 南京东方翻译院有限公司 一种携带方便的多国语言翻译器及用户端智能交互系统
US10977451B2 (en) * 2019-04-23 2021-04-13 Benjamin Muiruri Language translation system
CN112562430B (zh) * 2019-09-26 2022-12-13 阿里巴巴集团控股有限公司 辅助阅读方法、视频播放方法、装置、设备及存储介质
US11539900B2 (en) 2020-02-21 2022-12-27 Ultratec, Inc. Caption modification and augmentation systems and methods for use by hearing assisted user

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1250915A (zh) * 1998-10-09 2000-04-19 英业达股份有限公司 即时翻译系统
CN1425158A (zh) * 1999-11-23 2003-06-18 高通股份有限公司 语音控制外语翻译设备用的方法和装置
US20040267527A1 (en) * 2003-06-25 2004-12-30 International Business Machines Corporation Voice-to-text reduction for real time IM/chat/SMS
DE10344062A1 (de) * 2003-09-23 2005-04-21 Zeiss Carl Am Kopf zu tragende Anzeigevorrichtung
CN1645363A (zh) * 2005-01-04 2005-07-27 华南理工大学 便携式即时方言互译装置及其方法
CN101072168A (zh) * 2007-06-22 2007-11-14 腾讯科技（深圳）有限公司 一种多语言即时通讯终端及其系统和方法
CN101494621A (zh) * 2009-03-16 2009-07-29 西安六度科技有限公司 一种多语言即时通讯终端翻译系统和翻译方法
CN101809651A (zh) * 2007-07-31 2010-08-18 寇平公司 提供语音到语音翻译和模拟人类属性的化身的移动无线显示器
CN101957814A (zh) * 2009-07-16 2011-01-26 刘越 一种即时语音翻译系统和翻译方法
US20110238405A1 (en) * 2007-09-28 2011-09-29 Joel Pedre A translation method and a device, and a headset forming part of said device
CN102340457A (zh) * 2010-07-22 2012-02-01 英业达股份有限公司 提供多种语言同时进行翻译转换的即时通讯系统及其方法

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005213A (en) 1986-07-10 1991-04-02 Varo, Inc. Head mounted video display and remote camera system
US5208449A (en) * 1991-09-09 1993-05-04 Psc, Inc. Portable transaction terminal
US5698834A (en) * 1993-03-16 1997-12-16 Worthington Data Solutions Voice prompt with voice recognition for portable data collection terminal
US5642129A (en) 1994-03-23 1997-06-24 Kopin Corporation Color sequential display panels
US9513744B2 (en) 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US6198462B1 (en) 1994-10-14 2001-03-06 Hughes Electronics Corporation Virtual display screen system
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US6369952B1 (en) 1995-07-14 2002-04-09 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
JPH0934895A (ja) * 1995-07-14 1997-02-07 Sony Corp 翻訳システム
US6127990A (en) 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
JPH1020867A (ja) * 1996-07-05 1998-01-23 Masanobu Kujirada 口対向型消音装置
JP3771989B2 (ja) 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
WO1999001838A2 (en) 1997-07-03 1999-01-14 Koninklijke Philips Electronics N.V. Apparatus and method for creating and controlling a virtual workspace of a windowing system
US6270414B2 (en) 1997-12-31 2001-08-07 U.S. Philips Corporation Exoskeletal platform for controlling multi-directional avatar kinetics in a virtual environment
US7860725B2 (en) 1998-05-26 2010-12-28 Ineedmd.Com, Inc. Method for remote medical consultation and care
WO2000017848A1 (en) 1998-09-22 2000-03-30 Vega Vista, Inc. Intuitive control of portable data displays
US7035897B1 (en) 1999-01-15 2006-04-25 California Institute Of Technology Wireless augmented reality communication system
US20060061551A1 (en) 1999-02-12 2006-03-23 Vega Vista, Inc. Motion detection and tracking system to control navigation and display of portable displays including on-chip gesture detection
US7158096B1 (en) 1999-06-21 2007-01-02 The Microoptical Corporation Compact, head-mountable display device with suspended eyepiece assembly
US6408257B1 (en) 1999-08-31 2002-06-18 Xerox Corporation Augmented-reality display method and system
JP2001100878A (ja) 1999-09-29 2001-04-13 Toshiba Corp マルチモーダル入出力装置
US6538676B1 (en) 1999-10-04 2003-03-25 Intel Corporation Video token tracking system for overlay of metadata upon video data
US6532446B1 (en) * 1999-11-24 2003-03-11 Openwave Systems Inc. Server based speech recognition user interface for wireless devices
JP2001216069A (ja) 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
US6981229B1 (en) 2000-04-28 2005-12-27 Alias Systems Corp. System for dynamically mapping input device movement as a user's viewpoint changes
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
WO2002033541A2 (en) 2000-10-16 2002-04-25 Tangis Corporation Dynamically determining appropriate computer interfaces
JP4649050B2 (ja) 2001-03-13 2011-03-09 キヤノン株式会社 画像処理装置、画像処理方法、及び制御プログラム
US6961912B2 (en) 2001-07-18 2005-11-01 Xerox Corporation Feedback mechanism for use with visual selection methods
US6778906B1 (en) 2001-08-14 2004-08-17 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for ensuring retention of situational awareness by employing an active network guidance and emergency logic (angel) system
US6583808B2 (en) 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
WO2003048838A1 (en) 2001-12-05 2003-06-12 Kopin Corporation Head-mounted display system
US6965862B2 (en) * 2002-04-11 2005-11-15 Carroll King Schuller Reading machine
TW200417228A (en) * 2002-09-17 2004-09-01 Ginganet Corp Sign language image presentation apparatus, sign language image input/output apparatus, and system for sign language translation
US7330740B2 (en) * 2002-10-22 2008-02-12 Broadcom Corporation Cell phone wireless speaker-microphone sleep modes
EP1576586A4 (en) * 2002-11-22 2006-02-15 Transclick Inc LANGUAGE TRANSLATION SYSTEM AND METHOD
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP4197271B2 (ja) * 2003-06-17 2008-12-17 シャープ株式会社 通信端末、通信端末の制御方法、音声認識処理装置、音声認識処理装置の制御方法、通信端末制御プログラム、通信端末制御プログラムを記録した記録媒体、音声認識処理装置制御プログラム、および、音声認識処理装置制御プログラムを記録した記録媒体
ITTO20030640A1 (it) 2003-08-19 2005-02-20 Luigi Giubbolini Apparato d'interfaccia uomo- macchina mediante
US20050114140A1 (en) 2003-11-26 2005-05-26 Brackett Charles C. Method and apparatus for contextual voice cues
CN101770073B (zh) 2003-12-03 2013-03-27 株式会社尼康 信息显示装置
KR20050102803A (ko) 2004-04-23 2005-10-27 삼성전자주식회사 가상입력장치, 시스템 및 방법
US20050261890A1 (en) * 2004-05-21 2005-11-24 Sterling Robinson Method and apparatus for providing language translation
ATE518343T1 (de) 2004-06-04 2011-08-15 Qualcomm Inc Schnittstellenvorrichtung und -verfahren für hohe datenraten
US7284192B2 (en) 2004-06-24 2007-10-16 Avaya Technology Corp. Architecture for ink annotations on web documents
CN1993688B (zh) 2004-08-03 2012-01-18 西尔弗布鲁克研究有限公司 走近启动的打印
US7501995B2 (en) 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
CN100399247C (zh) 2004-12-22 2008-07-02 联想(北京)有限公司 一种显示设备的光标的控制系统及方法
US8083569B2 (en) 2005-02-04 2011-12-27 Nicholas Sotereanos Remotely controlled vehicle
US8606333B2 (en) 2005-06-10 2013-12-10 At&T Mobility Ii Llc Push to lower hearing assisted device
US7437223B2 (en) 2005-08-05 2008-10-14 The Boeing Company Heading reference command and control algorithm and cueing systems and methods for aircraft turn-to-target maneuvers
WO2007020591A2 (en) 2005-08-15 2007-02-22 Koninklijke Philips Electronics N.V. System, apparatus, and method for augmented reality glasses for end-user programming
JP2007079978A (ja) * 2005-09-14 2007-03-29 Fuji Xerox Co Ltd 翻訳システムおよび翻訳方法
US20080144854A1 (en) 2006-12-13 2008-06-19 Marcio Marc Abreu Biologically fit wearable electronics apparatus and methods
US20070265495A1 (en) 2005-12-15 2007-11-15 Medivision, Inc. Method and apparatus for field of view tracking
US7732694B2 (en) 2006-02-03 2010-06-08 Outland Research, Llc Portable music player with synchronized transmissive visual overlays
US20070220108A1 (en) 2006-03-15 2007-09-20 Whitaker Jerry M Mobile global virtual browser with heads-up display for browsing and interacting with the World Wide Web
US8947531B2 (en) 2006-06-19 2015-02-03 Oshkosh Corporation Vehicle diagnostics based on information communicated between vehicles
JP4267648B2 (ja) 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
US20080055194A1 (en) 2006-08-31 2008-03-06 Motorola, Inc. Method and system for context based user interface information presentation and positioning
US8611889B2 (en) 2006-09-26 2013-12-17 Samsung Electronics Co., Ltd. Remote handset diagnostics
US8036917B2 (en) 2006-11-22 2011-10-11 General Electric Company Methods and systems for creation of hanging protocols using eye tracking and voice command and control
KR101304461B1 (ko) 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
JP4395792B2 (ja) 2007-01-29 2010-01-13 セイコーエプソン株式会社 プロジェクタ
US9044136B2 (en) 2007-02-16 2015-06-02 Cim Technology Inc. Wearable mini-size intelligent healthcare system
US8949130B2 (en) * 2007-03-07 2015-02-03 Vlingo Corporation Internal and external speech recognition use with a mobile communication facility
US20080239080A1 (en) 2007-03-26 2008-10-02 Moscato Jonathan D Head-mounted rear vision system
US8352264B2 (en) * 2008-03-19 2013-01-08 Canyon IP Holdings, LLC Corrective feedback loop for automated speech recognition
US9235262B2 (en) 2009-05-08 2016-01-12 Kopin Corporation Remote control of host application using motion and voice commands
US8909296B2 (en) 2007-05-14 2014-12-09 Kopin Corporation Mobile wireless display software platform for controlling other systems and devices
US8855719B2 (en) 2009-05-08 2014-10-07 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
CA2685947A1 (en) 2007-05-14 2008-11-27 Kopin Corporation Mobile wireless display for accessing data from a host and method for controlling
FR2916541B1 (fr) 2007-05-25 2014-11-21 Thales Sa Dispositif de visualisation tete haute pour aeronef comprenant des moyens d'affichage d'une symbologie dediee a l'evitement d'obstacles.
KR20080114391A (ko) 2007-06-27 2008-12-31 삼성전기주식회사 레이저 광원을 이용한 디스플레이 장치, 디스플레이 방법및 디스플레이 방법을 구현하기 위한 프로그램이 기록된기록매체
US8825468B2 (en) 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
EP4362441A3 (en) * 2007-07-31 2024-06-05 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
JP5116424B2 (ja) 2007-10-09 2013-01-09 任天堂株式会社 ゲームプログラムおよびゲーム装置
US20090182562A1 (en) 2008-01-14 2009-07-16 Garmin Ltd. Dynamic user interface for automated speech recognition
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
US9886231B2 (en) 2008-03-28 2018-02-06 Kopin Corporation Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
JP2009294728A (ja) 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
WO2009152614A1 (en) * 2008-06-19 2009-12-23 E-Lane Systems Inc. Communication system with voice mail access and call by spelling functionality
JP2010015238A (ja) 2008-07-01 2010-01-21 Sony Corp 情報処理装置、及び補助情報の表示方法
US8498425B2 (en) * 2008-08-13 2013-07-30 Onvocal Inc Wearable headset with self-contained vocal feedback and vocal command
CN101349944A (zh) 2008-09-03 2009-01-21 宏碁股份有限公司 手势引导系统及以触控手势控制计算机系统的方法
US8249243B2 (en) 2008-11-13 2012-08-21 Aspect Software, Inc. Method of remotely operating contact center systems
US8547342B2 (en) 2008-12-22 2013-10-01 Verizon Patent And Licensing Inc. Gesture-based delivery from mobile device
US20100169073A1 (en) * 2008-12-31 2010-07-01 Voice Muffler Corporation Foldable Wireless Device for Language Translation
US20100171696A1 (en) 2009-01-06 2010-07-08 Chi Kong Wu Motion actuation system and related motion database
US8326601B2 (en) * 2009-02-11 2012-12-04 Microsoft Corporation Queue based mechanism to support multi-language chat rooms
EP2401865B1 (en) 2009-02-27 2020-07-15 Foundation Productions, Llc Headset-based telecommunications platform
US20100250231A1 (en) * 2009-03-07 2010-09-30 Voice Muffler Corporation Mouthpiece with sound reducer to enhance language translation
KR101589433B1 (ko) * 2009-03-11 2016-01-28 삼성전자주식회사 동시 통역 시스템
JP2009179062A (ja) 2009-05-14 2009-08-13 Seiko Epson Corp 露光装置および画像形成装置
US8581856B2 (en) 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
WO2010141870A1 (en) 2009-06-04 2010-12-09 Kopin Corporation 3d video processor integrated with head mounted display
US8279861B2 (en) * 2009-12-08 2012-10-02 International Business Machines Corporation Real-time VoIP communications using n-Way selective language processing
WO2011097226A1 (en) 2010-02-02 2011-08-11 Kopin Corporation Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
GB2478738A (en) 2010-03-16 2011-09-21 Belron Hungary Kft Zug Branch Eye level display in communication with electronic device
US20150279354A1 (en) * 2010-05-19 2015-10-01 Google Inc. Personalization and Latency Reduction for Voice-Activated Commands
US9316827B2 (en) 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US8706170B2 (en) 2010-09-20 2014-04-22 Kopin Corporation Miniature communications gateway for head mounted display
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US9122307B2 (en) 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US8862186B2 (en) 2010-09-21 2014-10-14 Kopin Corporation Lapel microphone micro-display system incorporating mobile information access system
US20120089392A1 (en) 2010-10-07 2012-04-12 Microsoft Corporation Speech recognition user interface
US20120110456A1 (en) 2010-11-01 2012-05-03 Microsoft Corporation Integrated voice command modal user interface
US8184983B1 (en) 2010-11-12 2012-05-22 Google Inc. Wireless directional identification and subsequent communication between wearable electronic devices
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
WO2013101438A1 (en) 2011-12-29 2013-07-04 Kopin Corporation Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair
US8929954B2 (en) 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
WO2013163293A1 (en) 2012-04-25 2013-10-31 Kopin Corporation Instant translation system
US9442290B2 (en) 2012-05-10 2016-09-13 Kopin Corporation Headset computer operation using vehicle sensor feedback for remote control vehicle
US9301085B2 (en) 2013-02-20 2016-03-29 Kopin Corporation Computer headset with detachable 4G radio

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1250915A (zh) * 1998-10-09 2000-04-19 英业达股份有限公司 即时翻译系统
CN1425158A (zh) * 1999-11-23 2003-06-18 高通股份有限公司 语音控制外语翻译设备用的方法和装置
US20040267527A1 (en) * 2003-06-25 2004-12-30 International Business Machines Corporation Voice-to-text reduction for real time IM/chat/SMS
DE10344062A1 (de) * 2003-09-23 2005-04-21 Zeiss Carl Am Kopf zu tragende Anzeigevorrichtung
CN1645363A (zh) * 2005-01-04 2005-07-27 华南理工大学 便携式即时方言互译装置及其方法
CN101072168A (zh) * 2007-06-22 2007-11-14 腾讯科技（深圳）有限公司 一种多语言即时通讯终端及其系统和方法
CN101809651A (zh) * 2007-07-31 2010-08-18 寇平公司 提供语音到语音翻译和模拟人类属性的化身的移动无线显示器
US20110238405A1 (en) * 2007-09-28 2011-09-29 Joel Pedre A translation method and a device, and a headset forming part of said device
CN101494621A (zh) * 2009-03-16 2009-07-29 西安六度科技有限公司 一种多语言即时通讯终端翻译系统和翻译方法
CN101957814A (zh) * 2009-07-16 2011-01-26 刘越 一种即时语音翻译系统和翻译方法
CN102340457A (zh) * 2010-07-22 2012-02-01 英业达股份有限公司 提供多种语言同时进行翻译转换的即时通讯系统及其方法

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474418B2 (en) 2008-01-04 2019-11-12 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US10579324B2 (en) 2008-01-04 2020-03-03 BlueRadios, Inc. Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
CN104835491A (zh) * 2015-04-01 2015-08-12 成都慧农信息技术有限公司 一种多传输方式的tts语音合成系统及方法
CN107924395A (zh) * 2015-08-24 2018-04-17 微软技术许可有限责任公司 个人翻译器
WO2017143765A1 (zh) * 2016-02-24 2017-08-31 苏州龙诺法智能科技有限公司 智能会议翻译系统
CN106060272A (zh) * 2016-07-12 2016-10-26 魏喜国 以智能手机为载体的双语即时翻译装置
CN110073437A (zh) * 2016-07-21 2019-07-30 欧斯拉布斯私人有限公司 一种用于将文本数据转换为多种语音数据的系统和方法
CN106131349A (zh) * 2016-09-08 2016-11-16 刘云 一种具有自动翻译功能的手机、蓝牙耳机组件
CN107993646A (zh) * 2016-10-25 2018-05-04 北京分音塔科技有限公司 一种实现实时语音互译的方法
CN106412813A (zh) * 2016-11-30 2017-02-15 深圳市高为通信技术有限公司 一种利用蓝牙耳机进行实时通讯翻译的方法
CN106851450A (zh) * 2016-12-26 2017-06-13 歌尔科技有限公司 一种无线耳机对及电子设备
CN106708343A (zh) * 2016-12-30 2017-05-24 天津神工科技有限公司 一种用于幼儿教育的感应式输入设备
CN108572950A (zh) * 2017-03-08 2018-09-25 捷音特科技股份有限公司 耳麦翻译系统
CN108694036B (zh) * 2017-03-29 2021-02-19 京瓷办公信息系统株式会社 语音输入系统、语音输入装置及其记录介质
CN108694036A (zh) * 2017-03-29 2018-10-23 京瓷办公信息系统株式会社 语音输入系统、语音输入装置及其记录介质
CN107222833A (zh) * 2017-05-22 2017-09-29 深圳市沃特沃德股份有限公司 实现同声翻译的方法、系统和装置
WO2018214314A1 (zh) * 2017-05-24 2018-11-29 深圳市沃特沃德股份有限公司 同声翻译的实现方法和装置
CN107241681A (zh) * 2017-05-24 2017-10-10 深圳市沃特沃德股份有限公司 同声翻译的实现方法和装置
CN107341148A (zh) * 2017-06-27 2017-11-10 深圳市沃特沃德股份有限公司 翻译方法、翻译设备及翻译系统
CN107247711A (zh) * 2017-06-28 2017-10-13 努比亚技术有限公司 一种双向翻译方法、移动终端以及计算机可读存储介质
CN109257707A (zh) * 2017-07-13 2019-01-22 空中客车防卫及太空有限公司 群组通信
CN111448567A (zh) * 2017-10-20 2020-07-24 Tap声音系统公司 实时语音处理
WO2019090532A1 (zh) * 2017-11-08 2019-05-16 深圳市沃特沃德股份有限公司 语音翻译方法、系统、装置和翻译设备
CN108345591A (zh) * 2018-01-26 2018-07-31 歌尔股份有限公司 基于移动终端双耳无线耳机的语音实时翻译方法及系统
WO2019148564A1 (zh) * 2018-02-05 2019-08-08 深圳市沃特沃德股份有限公司 实现语音翻译的方法、装置和语音翻译设备
CN108280067B (zh) * 2018-02-26 2023-04-18 深圳市百泰实业股份有限公司 耳机翻译方法和系统
CN108280067A (zh) * 2018-02-26 2018-07-13 深圳市百泰实业股份有限公司 耳机翻译方法和系统
CN109033092A (zh) * 2018-06-13 2018-12-18 深圳市思创达塑胶模具有限公司 一种实时翻译系统、方法及翻译设备
CN109121123A (zh) * 2018-07-03 2019-01-01 Oppo广东移动通信有限公司 信息处理方法及相关产品
CN109218883A (zh) * 2018-08-27 2019-01-15 深圳市声临科技有限公司 一种翻译方法、翻译系统、tws耳机及终端
US10971132B2 (en) 2018-08-28 2021-04-06 Acer Incorporated Multimedia processing method and electronic system
US11699429B2 (en) 2018-08-28 2023-07-11 Acer Incorporated Multimedia processing method and electronic system
US11948581B2 (en) 2018-08-28 2024-04-02 Acer Incorporated Smart interpreter engine and electronic system
US11482229B2 (en) 2018-08-28 2022-10-25 Acer Incorporated Multimedia processing circuit and electronic system
CN112119641A (zh) * 2018-09-20 2020-12-22 华为技术有限公司 通过转发模式连接的多tws耳机实现自动翻译的方法及装置
CN112119641B (zh) * 2018-09-20 2022-04-22 华为技术有限公司 通过转发模式连接的多tws耳机实现自动翻译的方法及装置
CN109151789B (zh) * 2018-09-30 2021-08-17 Oppo广东移动通信有限公司 翻译方法、装置、系统以及蓝牙耳机
CN109151789A (zh) * 2018-09-30 2019-01-04 Oppo广东移动通信有限公司 翻译方法、装置、系统以及蓝牙耳机
CN111046680A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 一种翻译方法及电子设备
US11843716B2 (en) 2018-10-15 2023-12-12 Huawei Technologies Co., Ltd. Translation method and electronic device
CN111046680B (zh) * 2018-10-15 2022-05-24 华为技术有限公司 一种翻译方法及电子设备
US11570299B2 (en) 2018-10-15 2023-01-31 Huawei Technologies Co., Ltd. Translation method and electronic device
TWI717722B (zh) * 2019-04-15 2021-02-01 宏碁股份有限公司 多媒體處理方法以及電子系統
CN110365371A (zh) * 2019-07-05 2019-10-22 深圳市声临科技有限公司 基于蓝牙设备提供触发信号实现翻译系统控制的方法及其系统、电子设备
CN114127735A (zh) * 2019-07-23 2022-03-01 瑞典爱立信有限公司 通信网络中的用户设备、网络节点和方法
CN113591499A (zh) * 2021-09-03 2021-11-02 邓求易 一种支持自动识别的便携式翻译器

Also Published As

Publication number Publication date
EP2842055B1 (en) 2018-06-27
US9507772B2 (en) 2016-11-29
EP2842055A1 (en) 2015-03-04
CN104303177B (zh) 2018-08-17
WO2013163293A1 (en) 2013-10-31
JP2015521404A (ja) 2015-07-27
US20130289971A1 (en) 2013-10-31
JP6289448B2 (ja) 2018-03-07

Similar Documents

Publication Publication Date Title
CN104303177B (zh) 执行即时语音翻译的方法及耳机计算装置
CN104520787B (zh) 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
CN108428452B (zh) 终端支架和远场语音交互系统
WO2020029906A1 (zh) 一种多人语音的分离方法和装置
US11482237B2 (en) Method and terminal for reconstructing speech signal, and computer storage medium
CN105719659A (zh) 基于声纹识别的录音文件分离方法及装置
WO2021184952A1 (zh) 增强现实处理方法及装置、存储介质和电子设备
CN109040641B (zh) 一种视频数据合成方法及装置
CN112312297B (zh) 音频带宽减小
JP6348732B2 (ja) 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
JP2019533181A (ja) 通訳装置及び方法（ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｏｆ ｔｒａｎｓｌａｔｉｎｇ ａ ｌａｎｇｕａｇｅ）
JPWO2018155116A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN115699036A (zh) 支持跨平台、边缘-云混合人工智能服务的智能层
CN111370018A (zh) 音频数据的处理方法、电子设备及介质
CN111739517A (zh) 语音识别方法、装置、计算机设备及介质
CN110430475A (zh) 一种互动方法和相关装置
CN111081275B (zh) 基于声音分析的终端处理方法、装置、存储介质及终端
CN109686359B (zh) 语音输出方法、终端及计算机可读存储介质
KR102387355B1 (ko) 증강현실 기반 공연 컨텐츠 제공 방법 및 장치
US20240121501A1 (en) Electronic apparatus and method of controlling the same
CN113763940A (zh) 一种用于ar眼镜的语音信息处理方法及系统
KR20150029197A (ko) 이동 단말기 및 그 동작 방법
CN115641867A (zh) 语音处理方法和终端设备
KR20160142079A (ko) 근거리 무선 통신망을 기반으로 청각 장애인의 음성 대화를 지원하는 청각 장애인용 언어통역 보조장치, 음성합성서버, 음성인식서버, 알람 장치, 강연장 로컬 서버, 및 음성 통화 지원 어플리케이션
CN115698949A (zh) 用于ai服务的通用客户端api

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant