CN107005739B - 用于基于语音的设备的外部视觉交互 - Google Patents

用于基于语音的设备的外部视觉交互 Download PDF

Info

Publication number
CN107005739B
CN107005739B CN201580066119.1A CN201580066119A CN107005739B CN 107005739 B CN107005739 B CN 107005739B CN 201580066119 A CN201580066119 A CN 201580066119A CN 107005739 B CN107005739 B CN 107005739B
Authority
CN
China
Prior art keywords
external device
wireless communication
communication protocol
computing device
instructions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580066119.1A
Other languages
English (en)
Other versions
CN107005739A (zh
Inventor
W·赵
G·卡尔德维尔
R·巴尔加瓦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107005739A publication Critical patent/CN107005739A/zh
Application granted granted Critical
Publication of CN107005739B publication Critical patent/CN107005739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transceivers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本文公开了涉及按需向基于音频的可穿戴设备提供扩展功能的示例。一个示例提供了一种可穿戴计算设备，包括被配置成接收语音输入的声音接收机、被配置成呈现音频输出的扬声器、被配置成连接到外部设备的通信子系统、被配置成执行指令的逻辑子系统、以及具有指令的存储子系统，这些指令可由逻辑子系统执行以执行程序，经由无线通信协议连接到外部设备，经由在声音接收机处接收到的语音输入以及由扬声器提供的音频输出来进行该程序的基于音频的交互，在到达该程序的基于屏幕的交互之际经由扬声器通知用户与该外部设备交互，并且向外部设备提供图像数据以供经由外部设备的屏幕呈现。

Description

用于基于语音的设备的外部视觉交互
背景
用户可以使用各种不同的用户接口机制来与电子设备交互。许多计算设备现在利用被配置成接受自然、直观的人类交互作为输入的用户接口。例如，一些此类用户接口利用显示器以及位于显示器上的触摸传感器来进行视觉和触觉交互，而其它此类用户接口可利用扬声器和话筒来进行语音/声音交互。
概述
本文公开了涉及向基于语音的计算设备提供扩展功能的示例。一个示例提供了一种计算设备，包括被配置成接收语音输入的声音接收机、被配置成呈现音频输出的扬声器、被配置成连接到外部设备的通信子系统、被配置成执行指令的逻辑子系统、以及包括指令的存储子系统，这些指令可由逻辑子系统执行以执行程序，经由无线通信协议连接到外部设备，经由在声音接收机处接收到的语音输入以及由扬声器提供的音频输出来进行该程序的基于音频的交互，在到达该程序的基于屏幕的交互之际经由扬声器通知用户与该外部设备交互，并且向外部设备提供图像数据以供经由外部设备的屏幕呈现。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
附图简述
图1示出了示例基于语音的计算设备的框图。
图2示出了示例基于语音的计算设备以及示例扩展显示设备。
图3示出了包括基于语音的计算设备的示例系统的框图。
图4示出了描绘更新关于扩展显示设备的信息的示例的流程图。
图5示出了提供用于基于语音的计算设备的基于显示器的交互的示例方法。
图6示出了示例计算系统的框图。
详细描述
计算设备可被配置成将声音交互(例如，语音输入和声音输出)用作主用户接口体验。此类基于语音的计算设备可允许用户在将视觉注意力保持在其它事物上的同时和/或在执行其它任务的同时与计算设备交互。此外，相比于利用触敏显示器的设备，此类设备可允许使用小得多的显示器，或甚至省略显示器。这可允许该设备具有比基于显示器的设备更小的形状因子，以便穿戴在用户不可见的位置(例如，耳朵中)，并且还可帮助降低该设备的功耗。
然而，用户在计算设备交互期间访问的一些数据可能较不适合声音呈现。例如，在视觉上可以用比声学上更丰富的数据呈现地图数据。作为另一示例，在声音交互执行的搜索产生包括视听数据的搜索结果的情况下用户可能希望将该数据的视频部分与音频部分一起呈现，而不是仅仅音频部分。此外，用户还可能希望执行非语音交互以维护隐私。
由此，本文公开的示例涉及使用外置于基于语音的计算设备的设备来呈现可视信息并进行视觉交互。图1示出了示例基于语音的计算设备100的框图。基于语音的计算设备100包括耳机102以及可被配置成穿戴在用户上的可任选的主机104。例如，主机104可以夹在用户的身体和/或衣服上、携带在口袋中、或者以任何其它合适的方式穿戴。将理解，在一些示例中基于语音的计算设备100还可被实现为不具有单独的主机设备的单个可穿戴计算设备。
耳机102包括用于接收用户输入的一个或多个传感器。此类传感器可以包括，但不局限于，运动传感器103、触摸传感器105、机械输入机构106和话筒108。任何合适的运动传感器可以被使用，包括但不局限于一个或多个陀螺仪、加速度计、磁力计和/或检测在一个或多个轴中的运动的其它传感器。类似地，任何合适的触摸传感器可以被使用，包括但不限于电容性、电阻性和光学触摸传感器。合适的机械输入机构106的示例包括但不限于滚轮、按键、转盘和/或其它合适的机械输入机构。耳机102还包括用于将信息呈现给用户的一个或多个输出，例如一个或多个扬声器110以及可能的其它输出机构112，例如触觉输出(例如振动输出系统)。
耳机102还包括主机通信系统114，其被配置为允许与主机104或其它个人助理计算设备组件的通信。主机通信系统114可以通过任何合适的有线或无线通信协议与主机104通信。
主机104还包括一个或多个用于接收用户输入的输入机制。例如，主机可以包括一个或多个运动传感器124、触摸传感器126以及机械输入机构128，例如如上针对耳机102所述的那些。主机104还包括用于与耳机102通信的耳机通信系统130以及用于与外部设备通信的外部网络通信系统132。例如，主机104可被配置成经由网络(例如，计算机网络、移动电话网络和/或其它合适的外部网络)并且还经由直接联接(例如，使用直接无线协议，诸如蓝牙或WiFi直连)来与外部设备通信。
如上所述，可能在使用基于语音的计算设备时遇到的一些计算设备交互可包括用户可能希望体验的视觉分量。作为一个非限制性示例，用户可使用基于语音的计算设备来联系出租车服务并要求出租车，并且然后可能希望经由地图来跟踪预订的出租车的位置。
因此，本文公开了涉及通过连接到扩展设备(例如，具有显示器的附近的外部计算设备)以按需启用可视内容呈现并启用与其的用户交互来向基于语音的计算设备提供扩展视觉功能。通过连接到这一设备并与这一设备通信，基于语音的计算系统可允许按需呈现可视内容(例如，图形用户界面、视频数据、地图数据等)，同时保持诸如以上提及的基于语音的交互的优点。
图2阐示了基于语音的计算设备100的示意性描绘，并且示出了可被用作基于语音的计算设备100的扩展设备的各种外部设备，即移动设备205和平板计算设备208。取决于用户穿戴基于语音的计算设备100的位置，其它外部设备可供用作扩展设备。例如，家庭环境可包括基于语音的计算设备100可以连接到以用于基于屏幕的交互的电视机和/或视频游戏系统。同样，汽车环境可包括用于车载计算系统的嵌入式显示器。将理解，基于语音的计算设备100可被配置成连接到任何合适类型和数目的外部设备。
图3描绘了用于基于语音的计算设备100的示例系统环境300。基于语音的计算设备100可被配置成执行被示为应用1 304和应用N 307的一个或多个应用302。这些应用中的一个或多个应用可包括视觉交互组件305以及基于语音的交互组件306。基于语音的计算设备100还包括被配置成经由被示为连接1 312到连接N 314的一个或多个无线协议连接到扩展设备310以提供供经由显示器316显示的图像内容的扩展模块308。无线通信协议的示例包括蓝牙协议和Wi-Fi协议。基于语音的计算设备100可以直接或经由其它网络组件连接到控制设备310。
控制设备310同样包括被配置成与基于语音的计算设备100的扩展模块308通信的扩展应用318。所描绘的扩展应用318包括用于接收并处理接收自基于语音的计算设备100的图像数据以呈现在显示器316上的图像呈现模块320。扩展设备310还包括用户可用来与来自基于语音的计算设备100的所显示的内容交互的一个或多个用户输入设备323。示例输入设备包括但不限于触摸传感器(例如，触敏显示器)、机械按钮和运动传感器。扩展应用318还可包括将经由用户输入设备323接收到的用户输入重定向到基于语音的计算设备100的输入重定向模块322。
在一些示例中，基于语音的计算设备100以及扩展设备310可利用智能多传输切换，其中通信可取决于诸如连接性能、带宽需求、功率考虑事项等因素而在各连接之间切换。在某些情况下，通信可以按时间上重叠的方式跨多个信道进行，而在其它实施例中数据可一次经由单个信道发送。在任一情形中，使用多传输切换可允许基于语音的计算设备100动态地平衡网络话务负载。
作为非限制性示例，连接1 312可表示蓝牙连接，而连接N 314可表示Wi-Fi连接。基于语音的计算设备100可监视每一连接以获悉网络性能特性(诸如重传率)，并且基于性能特性和/或在设备之间传递的数据的特性的变化来在连接之间动态切换。在另一示例中，基于语音的计算设备100可被配置成在可用时默认经由一个连接(例如，WiFi)连接到扩展设备310并且在Wi-Fi不可用时经由另一连接(例如，蓝牙)连接。一旦经由蓝牙连接，基于语音的计算设备100仍然可以监视Wi-Fi的可用性并且在检测到时自动切换至Wi-Fi。在又一示例中，基于语音的计算设备100可被配置成经由用户选择的连接和/或基于用户偏好来连接到扩展设备310。
基于语音的计算设备100可被配置成以任何合适的方式连接到一个或多个扩展设备。例如，基于语音的计算设备100可被配置成通过检测由一个或多个扩展设备中的每一个扩展设备发射出的信标信号来发现一个或多个扩展设备。此外，在不止一个扩展设备被确定为可用的情况下，基于语音的计算设备100可被配置成优选地连接到默认扩展设备(例如由用户指定)、基于扩展设备的能力(例如，计算资源、通信资源、显示器特性等)来连接和/或基于任何其他合适的因素来连接。
同样，基于语音的计算设备100可被配置成基于任何合适的触发事件或情况来连接到一个或多个扩展设备。例如，基于语音的计算设备100可以在检测到扩展设备310之际、在被用户输入指示时和/或在正在基于语音的计算设备100上执行的应用中出现基于显示器的交互时连接到该扩展设备。一旦连接到扩展设备310，基于语音的计算设备100然后就可以在正在基于语音的计算设备100上执行的应用中出现基于图像的交互时向扩展设备310提供图像数据以供显示。
在一些示例中，由基于语音的计算设备100提供给扩展设备310的图像数据可基于关于扩展设备310的显示器316的信息，以使得该图像数据被恰当地渲染以供显示在扩展设备310上。此类信息的示例包括但不限于扩展设备显示器316的帧率和分辨率。
基于语音的计算设备100可被进一步配置成生成并提供基于扩展设备显示器316的当前定向的图像数据。显示器316的显示定向可取决于扩展设备310当前被用户放置或拿握的位置，并且可以在基于屏幕的交互期间改变。由此，关于显示器316的定向的信息可以在使用会话期间更新，如以下更详细地描述的。
在一些实现中，基于语音的计算设备100可利用远程服务326来经由网络324向扩展设备310发送图像数据。例如，在基于语音的计算设备100上执行的应用302还可由远程服务326执行。在到达屏幕交互之际，基于语音的计算设备100可以向扩展设备310通知远程服务326的网络地址，并且扩展设备310然后可以与远程服务326交互以获取供显示的图像数据。相对于在基于语音的计算设备100处渲染和压缩图像数据，经由远程服务326来渲染并压缩图像数据可有助于降低基于语音的计算设备100的功耗。此外，输入重定向模块322可被配置成将扩展设备310处的关于用户输入的信息重定向到远程服务326，而不是直接回到基于语音的计算设备100。在其它示例中，用户输入被定向至基于语音的计算设备100，并且然后被转发至远程服务326。以此方式，在远程服务326和基于语音的计算设备100上运行的应用的状态可被同步。
图4示出了阐示在基于语音的计算设备100处更新关于扩展设备310的显示器的定向的信息的流程图。在402，扩展设备310将对应于扩展设备显示器的第一定向的定向信号发送到(例如，经由输入重定向模块)基于语音的计算设备(例如，纵向定向)。在404，基于语音的计算设备100接收定向信号，在406渲染用于第一定向的图像数据，并且在408将该图像数据提供给扩展设备310。扩展设备310然后在410向显示器呈现图像数据。在412，扩展设备310从第一定向变为第二定向(例如，横向定向)，并且在414发送第二定向的定向信号。基于语音的计算设备100在416接收经更新的定向信号。基于语音的计算设备100然后可以在418渲染用于第二定向的图像数据，并且在420提供经更新的图像数据以供在422呈现在扩展设备310上。将理解，在扩展设备310上运行的扩展应用可被配置成在周期性的基础上发送定向信号，而不管该信号是否指示改变，或者可被配置成分析定向信号并且在检测到定向改变时发送定向信息。
图5示出了阐示提供用于基于语音的计算设备的基于显示器的交互的示例方法500的流程图。方法500包括在502执行被配置成在基于语音的计算设备上运行的程序，诸如应用。方法500还包括在504通过接收语音输入和/或提供音频输出(分别在506和508示出)进行该程序的基于声音的交互。
方法500还包括在510检测该程序的基于屏幕的交互，并且在512连接到具有显示屏的外部设备。到外部设备的连接可通过检测到基于屏幕的交互来触发或者可以在检测到该交互之前执行。如上所述，基于语音的计算设备可经由一个或多个无线通信协议连接到外部设备(如在514示出的)，并且在一些示例中可经由多个连接来连接以使得能够对基于语音的计算设备与扩展设备之间的话务进行动态负载平衡。此外，当连接到外部设备时，基于语音的计算设备可接收到关于扩展设备的各方面的信息，诸如该扩展设备的定向、分辨率和/或帧率。
此外，在一些示例中，方法500还可包括在516连接到可以向外部设备提供图像数据以供显示的远程服务，相比于在基于语音的计算设备上渲染和压缩图像数据这可有助于在基于语音的计算设备上节省计算资源并降低功耗。此类远程服务可被配置成运行也正在基于语音的计算设备上运行的应用以产生对应于基于屏幕的交互的图像数据。可以按任何合适的方式在基于语音的计算设备上的应用与远程服务上的应用之间交换状态信息。
方法500还包括在520向用户通知基于屏幕的交互以及在522向扩展设备提供图像数据以供呈现。图像数据可以直接从基于语音的计算设备提供或者可通过向扩展设备发送连接到远程服务并从其获取图像数据的指令来提供(如在524指示的)。
在基于语音的计算设备和扩展设备经由多个连接来连接的情况下，方法500还可包括在526监视每一个无线通信连接的一个或多个性能特性，以及在528基于一个或多个性能特性来选择用于通信的无线连接。所选无线连接可被动态地改变以促进设备之间的数据传输。
此外，在扩展设备包括运动传感器和/或定向传感器的情况下，方法500还可包括在530接收经更新的定向信息并基于该定向信息来提供图像数据。这可允许在基于语音的计算设备和/或远程服务处渲染的图像数据基于扩展设备的当前定向来被渲染。
如上所述，在扩展设备处接收到的用户输入可由扩展设备作为与正在扩展设备上执行的程序的交互被重定向到基于语音的计算设备。由此，方法500包括在532从外部设备接收用户输入信息。在远程服务被用来渲染图像数据的情况下，该输入可以从远程服务接收到(如在534指示的)，或者直接从扩展设备接收到并被转发到远程服务。这些输入可采取与外部设备的触摸传感器上的触摸输入相对应的位置信号的形式(如在536指示的)和/或可采取任何其它合适的形式。
如果或者当不再需要显示器交互时，则基于语音的计算设备可被配置成自动与扩展设备断开连接或者更持久地维持该连接。在每一次基于屏幕的交互后断开连接可有助于降低功耗，但也可能在基于屏幕的体验中引入某一迟滞，这取决于能多快地建立连接。
在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图6示意性地示出了可执行上述方法和过程中的一个或多个的计算系统600的非限制性实施例。以简化形式示出了计算系统600。计算系统600可采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)，和/或其他计算设备，这些计算设备包括但不限于本文公开的基于语音的计算设备和/或扩展计算设备。
计算系统600包括逻辑子系统602和存储子系统604。计算系统600可任选地包括显示子系统606、输入子系统608、通信子系统610和/或在图6中未示出的其他组件。
逻辑子系统602包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。
逻辑子系统602可包括被配置成执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统602可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统604包括被配置成保持可由逻辑机执行的指令以实现此处描述的方法和过程的一个或多个物理设备。在实现此类方法和过程时，存储子系统604的状态可以被变换——例如，以保持不同的数据。
存储子系统604可以包括可移动和/或内置设备。存储子系统604可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光碟等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁性存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)、等等。存储子系统604可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储子系统604包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑子系统602和存储子系统604的各方面可以被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“模块”和“程序”可用于描述被实现为执行一个特定功能的计算系统600的一方面。在某些情况下，可以通过执行由存储子系统604所保持的指令的逻辑子系统602来实例化模块或程序。将领会，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的模块和/或程序。同样，可以由不同的应用程序、服务、代码块、对象、例程、API、函数等实例化同一模块和/或程序。术语“模块”和“程序”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
应该理解，在此使用的“服务”是跨多个用户会话可执行的应用程序。服务可用于一个或多个系统组件、程序和/或其它服务。在某些实现中，服务可以在一个或多个服务器计算设备上运行。
当被包括时，显示子系统606可被用来呈现由存储子系统604保持的数据的视觉表示。此视觉表示可采取图形用户界面(GUI)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子系统606的状态以视觉地表示底层数据的改变。显示子系统606可包括使用实质上任何类型的技术的一个或多个显示设备。可以将此类显示设备与逻辑子系统602和/或存储子系统604一起组合在共享封装中，或者此类显示设备可以是外围触摸显示设备。
在包括输入子系统608时，输入子系统608包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)组件或与其对接。这样的组件可以是集成的或外围的，并且输入动作的转换和/或处理可以在板上或板外被处理。NUI组件的示例可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测组件。
当包括通信子系统610时，通信子系统610可被配置成将计算系统600与一个或多个其他计算设备通信地耦合。通信子系统610可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统600经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。
另一示例提供了一种可穿戴计算设备，包括被配置成接收语音输入的声学接收机、被配置成呈现音频输出的扬声器、被配置成连接到外部设备的通信子系统、被配置成执行指令的逻辑子系统、以及包括指令的存储子系统，这些指令可由逻辑子系统执行以执行程序，经由无线通信协议连接到外部设备，经由在声学接收机处接收到的语音输入以及由扬声器提供的音频输出来进行该程序的基于音频的交互，在到达该程序的基于屏幕的交互之际经由扬声器通知用户与该外部设备交互，并且向外部设备提供图像数据以供经由外部设备的屏幕呈现。这些指令可以另外地或另选地由逻辑子系统执行，其中无线通信协议是第一无线通信协议，还经由第二无线通信协议连接到外部设备。这些指令可另外地或另选地可被执行以监视第一无线通信协议和第二无线通信协议中的每一者的一个或多个性能特性，并且基于该一个或多个性能特性来经由第一无线通信协议和第二无线通信协议之一与外部设备通信。这些指令可另外地或另选地可被执行以通过检测由外部设备发出的信标信号来连接到外部设备。这些指令可另外地或另选地可被执行以连接到一个或多个附加外部设备。这些指令可另外地或另选地可被执行以从外部设备接收关于该外部设备的屏幕的定向、帧率和分辨率中的一者或多者的信息。这些指令可另外地或另选地可被执行以接收经由外部设备做出的针对程序的用户输入，其中用户输入可包括对应于外部设备上的触摸输入的位置信号。
另一示例提供了一种可穿戴计算设备，包括被配置成接收语音输入的声学接收机、被配置成呈现音频输出的扬声器、被配置成连接到外部设备和远程服务的通信子系统、被配置成执行指令的逻辑子系统、以及包括指令的存储子系统，这些指令可由逻辑子系统执行以经由计算机网络连接到远程服务，连接到外部设备，在可穿戴计算设备上本地地执行程序，经由在声音接收机处接收到的语音输入以及由扬声器提供的音频输出来进行该程序的基于音频的交互，在到达该程序的基于屏幕的交互之际通知用户与该外部设备交互，指令外部设备从远程服务获取用于基于屏幕的交互的图像数据，并且在基于屏幕的交互期间从外部设备接收用户输入信息。这些指令可被另外地或另选地执行以经由第一无线通信协议和第二无线通信协议连接到外部设备，监视第一无线通信协议和第二无线通信协议中的每一者的一个或多个性能特性，并且基于该一个或多个性能特性来经由第一无线通信协议和第二无线通信协议之一与外部设备通信。这些指令可被另外地或另选地执行以经由远程服务从外部设备接收用户输入信息。这些指令可被另外地或另选地执行以直接从外部设备接收用户输入信息，并且将直接从外部设备接收到的用户输入信息转发至远程服务。这些指令可另外地或另选地可被执行以从外部设备接收关于该外部设备的屏幕的定向、帧率和分辨率中的一者或多者的信息。另外地或另选地，用户输入信息可包括对应于外部设备上的触摸输入的位置信号。
另一示例在包括声音接收机和扬声器的可穿戴计算设备上提供一种方法，包括执行程序，经由无线通信协议连接到外部设备，经由在声音接收机处接收到的语音输入以及由扬声器提供的音频输出来进行该程序的基于音频的交互，在到达该程序的基于屏幕的交互之际经由扬声器通知用户与外部设备交互，从外部设备接收关于该外部设备的屏幕的定向的信息，基于定向信息向外部设备提供图像数据以供经由该外部设备的屏幕呈现，以及在基于屏幕的交互期间从外部设备接收用户输入信息。该方法可以另外地或另选地包括,其中无线通信协议是第一无线通信协议，还经由第二无线通信协议连接到外部设备。该方法可另外地或另选地包括监视第一无线通信协议和第二无线通信协议中的每一者的一个或多个性能特性，并且基于该一个或多个性能特性来经由第一无线通信协议和第二无线通信协议之一与外部设备通信。该方法可另外地或另选地包括,其中用户输入信息包括对应于外部设备上的触摸输入的位置信号。该方法可另外地或另选地包括经由计算机网络连接远程服务，其中从外部设备接收用户输入信息包括经由该远程服务接收用户输入信息。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。

Claims (21)

1.一种可穿戴计算设备，包括：
被配置成接收语音输入的声音接收机；
被配置成呈现音频输出的扬声器；
被配置成连接到外部设备的通信子系统；
被配置成执行指令的逻辑子系统；以及
包括指令的存储子系统，所述指令能由所述逻辑子系统执行以：
执行程序，
经由无线通信协议连接到所述外部设备，
经由在所述声音接收机处接收到的所述语音输入以及由所述扬声器提供的所述音频输出来进行所述程序的基于音频的交互，在到达所述程序的基于屏幕的交互之际，经由所述扬声器通知用户与所述外部设备交互，以及
向所述外部设备提供图像数据以供经由所述外部设备的屏幕来呈现。
2.如权利要求1所述的可穿戴计算设备，其特征在于，所述无线通信协议是第一无线通信协议，并且其中所述指令能由所述逻辑子系统执行以便还经由第二无线通信协议连接到所述外部设备。
3.如权利要求2所述的可穿戴计算设备，其特征在于，所述指令能由所述逻辑子系统执行以监视所述第一无线通信协议和所述第二无线通信协议中的每一者的一个或多个性能特性，并且基于所述一个或多个性能特性来经由所述第一无线通信协议和所述第二无线通信协议之一与所述外部设备通信。
4.如权利要求1所述的可穿戴计算设备，其特征在于，所述指令能由所述逻辑子系统执行以通过检测所述外部设备发出的信标信号来连接到所述外部设备。
5.如权利要求1所述的可穿戴计算设备，其特征在于，所述指令能由所述逻辑子系统执行以连接到一个或多个附加外部设备。
6.如权利要求1所述的可穿戴计算设备，其特征在于，所述指令能由所述逻辑子系统执行以从所述外部设备接收关于所述外部设备的屏幕的定向、帧率和分辨率中的一者或多者的信息。
7.如权利要求1所述的可穿戴计算设备，其特征在于，所述指令能由所述逻辑子系统执行以接收经由所述外部设备做出的针对所述程序的用户输入。
8.如权利要求7所述的可穿戴计算设备，其特征在于，所述用户输入包括对应于所述外部设备上的触摸输入的位置信号。
9.一种可穿戴计算设备，包括：
被配置成接收语音输入的声音接收机；
被配置成呈现音频输出的扬声器；
被配置成连接到外部设备和远程服务的通信子系统；
被配置成执行指令的逻辑子系统；以及
包括指令的存储子系统，所述指令能由所述逻辑子系统执行以便：
经由计算机网络连接到所述远程服务，
连接到所述外部设备，
在所述可穿戴计算设备上本地地执行程序，
经由在所述声音接收机处接收到的所述语音输入以及由所述扬声器提供的所述音频输出来进行所述程序的基于音频的交互，
在到达所述程序的基于屏幕的交互之际，通知用户与所述外部设备交互，
指令所述外部设备从所述远程服务获取图像数据以用于所述基于屏幕的交互，以及
在所述基于屏幕的交互期间从所述外部设备接收用户输入信息。
10.如权利要求9所述的可穿戴计算设备，其特征在于，所述指令能由所述逻辑子系统执行以经由第一无线通信协议和第二无线通信协议连接到所述外部设备，监视所述第一无线通信协议和所述第二无线通信协议中的每一者的一个或多个性能特性，并且基于所述一个或多个性能特性来经由所述第一无线通信协议和所述第二无线通信协议之一与所述外部设备通信。
11.如权利要求9所述的可穿戴计算设备，其特征在于，所述指令能由所述逻辑子系统执行以经由所述远程服务从所述外部设备接收所述用户输入信息。
12.如权利要求9所述的可穿戴计算设备，其特征在于，所述指令能由所述逻辑子系统执行以直接从所述外部设备接收所述用户输入信息。
13.如权利要求12所述的可穿戴计算设备，其特征在于，所述指令能由所述逻辑子系统执行以将直接从所述外部设备接收到的所述用户输入信息转发到所述远程服务。
14.如权利要求9所述的可穿戴计算设备，其特征在于，所述指令能由所述逻辑子系统执行以从所述外部设备接收关于所述外部设备的屏幕的定向、帧率和分辨率中的一者或多者的信息。
15.如权利要求9所述的可穿戴计算设备，其特征在于，所述用户输入信息包括对应于所述外部设备上的触摸输入的位置信号。
16.一种包括声音接收机和扬声器的可穿戴计算设备上的方法，包括：
执行程序；
经由无线通信协议连接到外部设备；
经由在所述声音接收机处接收到的语音输入以及由所述扬声器提供的音频输出来进行所述程序的基于音频的交互；
在到达所述程序的基于屏幕的交互之际，经由所述扬声器通知用户与所述外部设备交互；以及
从所述外部设备接收关于所述外部设备的屏幕的定向的定向信息；
基于所述定向信息来向所述外部设备提供图像数据以供经由所述外部设备的屏幕来呈现；以及
在所述基于屏幕的交互期间从所述外部设备接收用户输入信息。
17.如权利要求16所述的方法，其特征在于，所述无线通信协议是第一无线通信协议，并且所述方法进一步包括还经由第二无线通信协议连接到所述外部设备。
18.如权利要求17所述的方法，其特征在于，进一步包括监视所述第一无线通信协议和所述第二无线通信协议中的每一者的一个或多个性能特性，并且基于所述一个或多个性能特性来经由所述第一无线通信协议和所述第二无线通信协议之一与所述外部设备通信。
19.如权利要求16所述的方法，其特征在于，所述用户输入信息包括对应于所述外部设备上的触摸输入的位置信号。
20.如权利要求16所述的方法，其特征在于，进一步包括经由计算机网络连接远程服务，其中从所述外部设备接收所述用户输入信息包括经由所述远程服务接收所述用户输入信息。
21.一种具有指令的计算机可读存储介质，所述指令在被执行时使机器执行如权利要求16-20中的任一项所述的方法。
CN201580066119.1A 2014-12-05 2015-11-28 用于基于语音的设备的外部视觉交互 Active CN107005739B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/562,491 2014-12-05
US14/562,491 US11327711B2 (en) 2014-12-05 2014-12-05 External visual interactions for speech-based devices
PCT/US2015/062850 WO2016089713A1 (en) 2014-12-05 2015-11-28 External visual interactions for speech-based devices

Publications (2)

Publication Number Publication Date
CN107005739A CN107005739A (zh) 2017-08-01
CN107005739B true CN107005739B (zh) 2020-09-29

Family

ID=55024236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580066119.1A Active CN107005739B (zh) 2014-12-05 2015-11-28 用于基于语音的设备的外部视觉交互

Country Status (6)

Country Link
US (1) US11327711B2 (zh)
EP (1) EP3227886A1 (zh)
JP (1) JP2018505463A (zh)
KR (1) KR102542734B1 (zh)
CN (1) CN107005739B (zh)
WO (1) WO2016089713A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9843853B2 (en) 2015-08-29 2017-12-12 Bragi GmbH Power control for battery powered personal area network device system and method
US9949013B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Near field gesture control system and method
US9972895B2 (en) 2015-08-29 2018-05-15 Bragi GmbH Antenna for use in a wearable device
US9949008B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Reproduction of ambient environmental sound for acoustic transparency of ear canal device system and method
US9905088B2 (en) 2015-08-29 2018-02-27 Bragi GmbH Responsive visual communication system and method
US9866941B2 (en) 2015-10-20 2018-01-09 Bragi GmbH Multi-point multiple sensor array for data sensing and processing system and method
US9980189B2 (en) 2015-10-20 2018-05-22 Bragi GmbH Diversity bluetooth system and method
US10104458B2 (en) 2015-10-20 2018-10-16 Bragi GmbH Enhanced biometric control systems for detection of emergency events system and method
US9653075B1 (en) * 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
US9980033B2 (en) 2015-12-21 2018-05-22 Bragi GmbH Microphone natural speech capture voice dictation system and method
US9939891B2 (en) 2015-12-21 2018-04-10 Bragi GmbH Voice dictation systems using earpiece microphone system and method
US10085091B2 (en) 2016-02-09 2018-09-25 Bragi GmbH Ambient volume modification through environmental microphone feedback loop system and method
US10085082B2 (en) 2016-03-11 2018-09-25 Bragi GmbH Earpiece with GPS receiver
US10045116B2 (en) 2016-03-14 2018-08-07 Bragi GmbH Explosive sound pressure level active noise cancellation utilizing completely wireless earpieces system and method
US10052065B2 (en) 2016-03-23 2018-08-21 Bragi GmbH Earpiece life monitor with capability of automatic notification system and method
US10015579B2 (en) 2016-04-08 2018-07-03 Bragi GmbH Audio accelerometric feedback through bilateral ear worn device system and method
US10013542B2 (en) 2016-04-28 2018-07-03 Bragi GmbH Biometric interface system and method
US10045110B2 (en) 2016-07-06 2018-08-07 Bragi GmbH Selective sound field environment processing system and method
US10201309B2 (en) 2016-07-06 2019-02-12 Bragi GmbH Detection of physiological data using radar/lidar of wireless earpieces
US10205814B2 (en) 2016-11-03 2019-02-12 Bragi GmbH Wireless earpiece with walkie-talkie functionality
US10062373B2 (en) 2016-11-03 2018-08-28 Bragi GmbH Selective audio isolation from body generated sound system and method
US10063957B2 (en) * 2016-11-04 2018-08-28 Bragi GmbH Earpiece with source selection within ambient environment
US10058282B2 (en) 2016-11-04 2018-08-28 Bragi GmbH Manual operation assistance with earpiece with 3D sound cues
US10045112B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with added ambient environment
US10045117B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with modified ambient environment over-ride function
US10506327B2 (en) 2016-12-27 2019-12-10 Bragi GmbH Ambient environmental sound field manipulation based on user defined voice and audio recognition pattern analysis system and method
US10405081B2 (en) 2017-02-08 2019-09-03 Bragi GmbH Intelligent wireless headset system
US10582290B2 (en) 2017-02-21 2020-03-03 Bragi GmbH Earpiece with tap functionality
US10771881B2 (en) 2017-02-27 2020-09-08 Bragi GmbH Earpiece with audio 3D menu
US11380430B2 (en) 2017-03-22 2022-07-05 Bragi GmbH System and method for populating electronic medical records with wireless earpieces
US11544104B2 (en) 2017-03-22 2023-01-03 Bragi GmbH Load sharing between wireless earpieces
US10575086B2 (en) 2017-03-22 2020-02-25 Bragi GmbH System and method for sharing wireless earpieces
US11694771B2 (en) 2017-03-22 2023-07-04 Bragi GmbH System and method for populating electronic health records with wireless earpieces
US10708699B2 (en) 2017-05-03 2020-07-07 Bragi GmbH Hearing aid with added functionality
US11116415B2 (en) 2017-06-07 2021-09-14 Bragi GmbH Use of body-worn radar for biometric measurements, contextual awareness and identification
US11013445B2 (en) 2017-06-08 2021-05-25 Bragi GmbH Wireless earpiece with transcranial stimulation
US10075539B1 (en) 2017-09-08 2018-09-11 Google Inc. Pairing a voice-enabled device with a display device
US10344960B2 (en) 2017-09-19 2019-07-09 Bragi GmbH Wireless earpiece controlled medical headlight
US11272367B2 (en) 2017-09-20 2022-03-08 Bragi GmbH Wireless earpieces for hub communications
US20190340568A1 (en) * 2018-05-04 2019-11-07 Microsoft Technology Licensing, Llc Inventory tracking via wearable device
JP7250900B2 (ja) * 2018-08-09 2023-04-03 グーグル エルエルシー ホットワード認識および受動的支援
KR20200091278A (ko) * 2019-01-22 2020-07-30 삼성전자주식회사 음성 입력과 관련된 비주얼 정보를 표시하는 방법 및 이를 지원하는 전자 장치
KR20200095651A (ko) 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
CN109767773A (zh) * 2019-03-26 2019-05-17 北京百度网讯科技有限公司 基于语音交互终端的信息输出方法和装置
US11769134B2 (en) * 2021-03-22 2023-09-26 International Business Machines Corporation Multi-user interactive ad shopping using wearable device gestures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102668391A (zh) * 2009-12-18 2012-09-12 三星电子株式会社 用于控制移动装置的外部输出的方法和系统
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络
CN103533148A (zh) * 2012-07-03 2014-01-22 华移联科（沈阳）技术有限公司 一种变屏手机及其使用方法
CN103535051A (zh) * 2012-08-02 2014-01-22 庞博文 带互动显示屏的耳机

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526314B2 (en) * 2002-02-20 2009-04-28 Hewlett-Packard Development Company, L.P. Remote data storage and retrieval for portable electronics
US20050182847A1 (en) * 2004-01-21 2005-08-18 Dell Products L.P. System and method for dynamic switching between wireless network protocols
US7613478B2 (en) * 2004-03-15 2009-11-03 General Electric Company Method and system for portability of clinical images using a high-quality display and portable device
US20060203758A1 (en) 2005-03-11 2006-09-14 Samsung Electronics Co., Ltd. Mobile terminal for relaying multimedia data to an external display device
US20070238484A1 (en) * 2006-03-28 2007-10-11 Sony Ericsson Mobile Communications Ab Wireless peripheral with a multi-function control
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20090017910A1 (en) 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US8055296B1 (en) * 2007-11-06 2011-11-08 Sprint Communications Company L.P. Head-up display communication system and method
US8594467B2 (en) 2008-12-19 2013-11-26 Microsoft Corporation Interactive virtual display system for ubiquitous devices
US8436789B2 (en) 2009-01-16 2013-05-07 Microsoft Corporation Surface puck
CN105717989B (zh) * 2009-02-27 2020-02-21 艾卡姆有限公司 基于耳机的电信平台
US20100302141A1 (en) 2009-05-28 2010-12-02 Subramonian Shankar Display and Interaction Environment for Mobile Devices
US20120311585A1 (en) * 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US8743696B2 (en) 2009-08-07 2014-06-03 Cisco Technology, Inc. Mobile transport solution for offloading to an alternate network
US10705794B2 (en) * 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
GB201010821D0 (en) 2010-06-28 2011-03-30 Nokia Oyj Mehtod and apparatus for communicating via a gateway
US8725133B2 (en) * 2011-02-15 2014-05-13 Lg Electronics Inc. Method of transmitting and receiving data, display device and mobile terminal using the same
US20120229270A1 (en) 2011-03-11 2012-09-13 Christopher Morley Wearable biofeedback system
US10627860B2 (en) * 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US8590023B2 (en) 2011-06-30 2013-11-19 Intel Corporation Mobile device and method for automatic connectivity, data offloading and roaming between networks
KR101315303B1 (ko) * 2011-07-11 2013-10-14 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
US20130018659A1 (en) 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
EP2575128A3 (en) 2011-09-30 2013-08-14 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
WO2013050070A1 (en) 2011-10-05 2013-04-11 Nokia Siemens Networks Oy Mechanism for triggering offloading procedure in case of traffic congestion
US9159322B2 (en) * 2011-10-18 2015-10-13 GM Global Technology Operations LLC Services identification and initiation for a speech-based interface to a mobile device
KR20130064548A (ko) 2011-12-08 2013-06-18 주식회사 온비트 목적지 정보 제공 시스템 및 방법과 이를 위한 착용형 무선통신장치
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US9203563B2 (en) 2012-07-02 2015-12-01 Intel Corporation Devices and methods for radio communication network guided traffic offload
US8971182B2 (en) 2012-08-07 2015-03-03 Lg Electronics Inc. Method for data traffic offloading and apparatus using the same
US20140116085A1 (en) 2012-10-30 2014-05-01 Bin Lam Methods, systems, and apparatuses for incorporating wireless headsets, terminals, and communication devices into fashion accessories and jewelry
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11237719B2 (en) * 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US20140198034A1 (en) 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
WO2014113891A1 (en) 2013-01-25 2014-07-31 Hu Hai Devices and methods for the visualization and localization of sound
US9606635B2 (en) 2013-02-15 2017-03-28 Microsoft Technology Licensing, Llc Interactive badge
US9807495B2 (en) * 2013-02-25 2017-10-31 Microsoft Technology Licensing, Llc Wearable audio accessories for computing devices
US11334314B2 (en) * 2013-10-25 2022-05-17 Voyetra Turtle Beach, Inc. Networked gaming headset with automatic social networking
US9400634B2 (en) * 2013-10-28 2016-07-26 Google Technology Holdings LLC Systems and methods for communicating notifications and textual data associated with applications
EP4365725A2 (en) * 2014-05-30 2024-05-08 Apple Inc. Continuity
US10015234B2 (en) * 2014-08-12 2018-07-03 Sony Corporation Method and system for providing information via an intelligent user interface
US9564130B2 (en) * 2014-12-03 2017-02-07 Samsung Electronics Co., Ltd. Wireless controller including indicator
US10992719B2 (en) * 2017-11-14 2021-04-27 Rovi Guides, Inc. Systems and methods for establishing a voice link between users accessing media

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102668391A (zh) * 2009-12-18 2012-09-12 三星电子株式会社 用于控制移动装置的外部输出的方法和系统
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络
CN103533148A (zh) * 2012-07-03 2014-01-22 华移联科（沈阳）技术有限公司 一种变屏手机及其使用方法
CN103535051A (zh) * 2012-08-02 2014-01-22 庞博文 带互动显示屏的耳机

Also Published As

Publication number Publication date
WO2016089713A1 (en) 2016-06-09
US11327711B2 (en) 2022-05-10
KR20170092668A (ko) 2017-08-11
JP2018505463A (ja) 2018-02-22
KR102542734B1 (ko) 2023-06-12
EP3227886A1 (en) 2017-10-11
US20160162259A1 (en) 2016-06-09
CN107005739A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
CN107005739B (zh) 用于基于语音的设备的外部视觉交互
KR102415870B1 (ko) 적응적으로 작업 수행의 주체를 변경하기 위한 장치 및 방법
JP6177883B2 (ja) Ａｓｒおよびｈｔ入力を有する補助ディスプレイとしてのヘッドセットコンピュータ（ｈｓｃ）
KR20200138511A (ko) 복수의 전자 장치들 사이에서 네트워크 연결을 전환하기 위한 전자 장치 및 방법
US20160320856A1 (en) Devices and Methods for Establishing a Communicative Coupling in Response to a Gesture
JP2022542295A (ja) コンピューティングデバイスとエクステンデッドリアリティとの統合
US11032532B2 (en) Electronic device and method for providing virtual device via at least portion of content
KR102058043B1 (ko) 영상표시장치, 및 그 동작방법
US20170085698A1 (en) Electronic apparatus, audio device, and method that is performable by the electronic apparatus to set network of the audio device
US11051147B2 (en) Electronic apparatus and method of outputting content by the electronic apparatus
US10402153B2 (en) Creation and control of channels that provide access to content from various audio-provider services
EP3502838B1 (en) Apparatus, method and system for identifying a target object from a plurality of objects
KR20150107416A (ko) 오디오 처리 방법 및 그 전자 장치
JP2018032440A (ja) 制御可能なヘッドセットコンピュータディスプレイ
CN110083486B (zh) 与外部终端交互的方法、装置和记录介质
EP2991289B1 (en) Electronic device and method for sending messages using the same
KR20160016397A (ko) 이동 단말기 및 그 제어방법
WO2022247363A1 (zh) 内容处理方法、装置、系统、存储介质和电子设备
US20240144938A1 (en) Quick audio profile using voice assistant
KR101668242B1 (ko) 휴대 단말기 및 그 동작 방법
CN109460149B (zh) 系统管理工具、显示方法、vr设备和计算机可读介质
KR20170038569A (ko) 이동 단말기 및 그 제어방법
WO2024030841A1 (en) Haptics support for ui navigation
CN114513479A (zh) 消息收发方法、装置、终端、服务器及存储介质
CN111246281A (zh) 信息处理方法、信息处理设备和用于信息处理的产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant