CN112947683A - 媒体输出设备之间的媒体传送 - Google Patents

媒体输出设备之间的媒体传送 Download PDF

Info

Publication number
CN112947683A
CN112947683A CN202110178882.0A CN202110178882A CN112947683A CN 112947683 A CN112947683 A CN 112947683A CN 202110178882 A CN202110178882 A CN 202110178882A CN 112947683 A CN112947683 A CN 112947683A
Authority
CN
China
Prior art keywords
media
voice
output system
electronic device
media output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110178882.0A
Other languages
English (en)
Inventor
劳纳克·沙阿
马特·范德斯塔埃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/592,128 external-priority patent/US10332516B2/en
Application filed by Google LLC filed Critical Google LLC
Publication of CN112947683A publication Critical patent/CN112947683A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/18—Packaging or power distribution
    • G06F1/181—Enclosures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1094—Inter-user-equipment sessions transfer or sharing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02—Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H04R2201/028—Structural combinations of loudspeakers with built-in power amplifiers, e.g. in the same acoustic enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005—Audio distribution systems for home, i.e. multi-room use

Abstract

本公开涉及媒体输出设备之间的媒体传送。一种方法被实施以在两个媒体输出设备之间移动媒体内容显示。服务器系统在由电子设备记录的语音消息中确定媒体传送请求，该媒体传送请求包括用于将媒体内容传送到目的地媒体输出设备的用户语音命令以及对目的地媒体输出设备的用户语音指定。服务器系统然后从源投射设备获得包括媒体播放应用的信息、正在播放的媒体内容以及时间位置的即时媒体播放信息。服务器系统进一步识别用户域中与目的地媒体输出设备耦合的相关联的目的地投射设备，并且向目的地投射设备发送包括即时媒体播放信息的媒体播放请求，从而使得目的地投射设备能够执行用于从时间位置播放媒体内容的媒体播放应用。

Description

媒体输出设备之间的媒体传送
分案说明
本申请属于申请日为2017年5月11日的中国发明专利申请 201780011381.5的分案申请。
技术领域
本申请一般涉及计算机技术，包括但不限于用于使用语音激活的 电子设备来在智能媒体环境中的不同媒体输出设备之间发起媒体内容 传输的方法和系统。
背景技术
集成有麦克风的电子设备已被广泛用于收集来自用户的语音输入 并根据语音输入实现不同的语音激活功能。例如，许多先进的移动设 备包括配置为使用语音输入来发起电话呼叫、进行餐馆搜索、在地图 上开始路线选择、创建日历活动、向社交网络添加帖子、识别歌曲并 完成许多其他任务的语音助理系统(例如，Siri和Google助理)。移 动设备通常包括显示屏，其允许提供语音输入的用户检查通过语音输 入请求的任务的状态。然而，当应用具有相对简单的结构并且以低成 本制造的电子设备来实现与移动设备类似的语音激活功能时，使用显 示屏将显著增加电子设备的成本。因此，需要使用简单且低成本的用户界面来指示包括一个或多个麦克风并且用作语音接口的电子设备中 的语音输入处理的状态。
另外，当前在移动设备中实现的语音激活功能限于涉及远程服务 器(例如，搜索引擎、社交网络服务器或语音辅助服务器)的基于互 联网的功能。语音激活功能的结果显示在或用于控制移动设备本身， 并且不影响用户可访问的任何其他远程或本地电子设备。鉴于语音输 入对于用户来说是方便的，除了请求限制在远程服务器和移动设备之 间的基于互联网的功能之外，允许用户使用语音输入来控制用户可访 问的其他电子设备是有益的。
发明内容
因此，需要创建智能媒体环境或智能家庭环境，其中电子设备提 供免视和免提语音界面以激活耦合在智能媒体或家庭环境内的其他媒 体播放设备或智能家庭设备上的语音激活功能。在本申请的一些实施 方式中，智能媒体环境包括一个或多个语音激活电子设备和多个媒体 显示设备，每个媒体显示设备设置在不同的位置并耦合到投射设备(例 如机顶盒)。每个语音激活电子设备被配置为记录由云投射服务服务 器为其确定用户语音请求(例如，媒体播放请求、媒体传送请求或隐 藏字幕发起请求)的语音消息。如由语音消息所指示的，云投射服务 服务器然后将用户语音请求引导到目的地投射设备。语音激活电子设 备还被配置为经由指示相应的语音处理状态的全色LED阵列来显示视 觉图案。可以使用类似的布置来控制智能家庭设备以在智能家庭环境 中实施语音激活功能。这些方法可选地补充或替代要求用户使用遥控 器或客户端设备来控制智能媒体或家庭环境中的媒体设备或智能家庭 设备的常规方法。
根据本申请的一个方面，一种方法在电子设备处实现，用于视觉 地指示语音处理状态。电子设备包括全色LED阵列、一个或多个麦克 风、扬声器、处理器和存储用于由处理器执行的至少一个程序的存储 器。该方法包括经由一个或多个麦克风收集来自电子设备附近的环境 的音频输入，并处理音频输入。处理包括识别和响应来自环境中的用 户的语音输入中的一个或多个。该方法进一步包括从多个预定义的语 音处理状态中确定处理的状态，并且对于每个全色LED识别与所确定 的语音处理状态相关联的相应的预定LED照明规范。照明规范包括 LED照明持续时间、脉冲率、占空比、颜色顺序和亮度中的一个或多个。该方法还包括根据所识别的全色LED的LED照明规范，同步全色LED阵列的照明以提供指示所确定的语音处理状态的视觉图案。
根据本申请的一个方面，在包括处理器和存储器的服务器系统处 执行一种方法，该存储器存储由处理器执行的至少一个程序，用于在 媒体输出设备上播放媒体内容。媒体内容播放方法包括接收电子设备 记录的语音消息，并确定语音消息包括第一媒体播放请求。第一媒体 播放请求包括播放目的地媒体输出设备上的媒体内容的用户语音命令 和对媒体输出设备的用户语音指定，并且用户语音命令至少包括第一 媒体播放应用的信息和需要播放的媒体内容。媒体内容播放方法还包 括根据对媒体输出设备的语音指定，识别(例如，在设备注册表中) 在用户域中与电子设备关联并且耦合到媒体输出设备的投射设备。该 投射设备被配置为执行一个或多个媒体播放应用，所述媒体播放应用 用于控制媒体输出设备播放从一个或多个媒体内容托管(host)接收的 媒体内容。媒体内容播放方法还包括向投射设备发送包括第一媒体播 放应用的信息和需要播放的媒体内容的第二媒体播放请求，从而使投 射设备能够执行控制媒体输出设备播放媒体内容的第一媒体播放应用。
根据本申请的另一方面，一种方法在包括处理器和存储器的服务 器系统处执行，该存储器存储由处理器执行的至少一个程序，用于通 过语音来发起对媒体内容的隐藏字幕(CC)的显示。CC显示媒体方法 包括接收由电子设备记录的语音消息，并确定该语音消息是第一隐藏 字幕发起请求。第一隐藏字幕发起请求包括发起隐藏字幕的用户语音 命令和播放隐藏字幕将被激活的媒体内容的显示设备的用户语音指 定。CC显示方法进一步包括根据对显示设备的指定，识别(例如，在 设备注册表中)在用户域中与电子设备相关联并且耦合到指定的显示 设备的投射设备。投射设备被配置为执行媒体播放应用，媒体播放应用用于控制指定的显示设备显示从媒体内容托管接收的媒体内容。CC 显示方法进一步包括向耦合到指定显示设备的投射设备发送第二隐藏 字幕发起请求，由此使得投射设备能够执行媒体播放应用，其根据第 二隐藏字幕发起请求控制指定的显示设备打开当前显示在指定的显示 设备上的媒体内容的隐藏字幕并且显示隐藏字幕。
根据本申请的另一方面，一种方法在包括处理器和存储器的服务 器系统处执行，该存储器存储用于由处理器执行的至少一个程序，所 述程序用于将媒体内容显示从源媒体输出设备移动到目的地媒体输出 设备。媒体传送方法包括接收电子设备记录的语音消息，并确定语音 消息包括媒体传送请求。媒体传送请求包括用于将正在播放的媒体内 容传送到目的地媒体输出设备的用户语音命令和对目的地媒体输出设 备的用户语音指定。媒体传送方法还包括从源投射设备获得当前正在 播放的媒体内容的即时媒体播放信息。即时播放信息至少包括第一媒 体播放应用的信息、当前播放的媒体内容以及与播放媒体内容相关的 时间位置。该媒体传送方法还包括根据对目的地媒体输出设备的语音 指定，识别(例如，在设备注册表中)在用户域中与电子设备相关联 并且耦合到目的地媒体输出设备的目的地投射设备，并且目的地投射 设备被配置为执行一个或多个媒体播放应用，用于控制目的地媒体输 出设备播放从一个或多个媒体内容托管接收的媒体内容。媒体传送方 法还包括向目的地投射设备发送包括即时媒体播放信息的媒体播放请 求，由此使得目的地投射设备能够执行控制目的地媒体输出设备从时 间位置播放媒体内容的第一媒体播放应用。
根据一些实施方式，投射设备包括用于执行上述任何方法的操作 的装置。
附图说明
为了更好地理解各种所描述的实施方式，应结合以下附图参考下 面的实施方式的描述，其中相同的附图标记在全部附图中表示相应的 部分。
图1是根据一些实施方式的示例智能媒体环境。
图2A是根据一些实施方式的其中语音激活电子设备与智能媒体 环境的投射设备、客户端设备或服务器系统交互的示例操作环境。
图2B是根据图2A中所示的控制路径B控制投射设备及其相关联 的媒体播放活动的媒体播放控制过程的示例流程图。
图3是根据一些实施方式的其中投射设备与智能媒体环境的客户 端设备、语音激活电子设备或服务器系统交互的另一示例操作环境。
图4A和图4B是根据一些实施方式的语音激活电子设备的前视图 和后视图。
图4C是根据一些实施方式的以开放构造示出了包含在电子设备 190的底座中的扬声器的语音激活电子设备190的透视图。
图4D和图4E分别是根据一些实施方式的示出了包含在其中的电 子组件的语音激活电子设备的侧视图和放大图。
图4F(1)-图4F(4)示出了根据一些实施方式在语音激活电子 设备的触摸感测阵列上检测到的四个触摸事件。
图4F(5)根据一些实施方式示出了用户按压语音激活电子设备 的后侧上的按钮。
图4G是根据一些实施方式的语音激活电子设备的顶视图，并且图 4H示出了根据一些实施方式的由全色LED阵列显示的用于指示语音 处理状态的六个示例视觉图案。
图5是示出根据一些实施方式的作为语音接口应用以在智能媒体 环境中收集用户语音命令的示例电子设备的框图。
图6是示出根据一些实施方式的应用于智能媒体环境中的媒体内 容的显示的自动控制的示例投射设备的框图。
图7是示出根据一些实施方式的智能媒体环境中的服务器系统 140中的示例服务器的框图。示例服务器是云投射服务服务器之一。
图8是示出根据一些实施方式的应用于智能媒体环境中的媒体显 示的自动控制的示例客户端设备的框图。
图9是示出根据一些实施方式的智能媒体环境中的示例智能家庭 设备的框图。
图10是示出根据一些实施方式的视觉指示语音处理状态的方法 的流程图。
图11是示出根据一些实施方式的通过语音来发起显示媒体内容 的隐藏字幕的方法的流程图。
图12是示出根据一些实施方式的通过媒体输出设备上的媒体内 容的语音播放来发起的方法的流程图。
图13是示出根据一些实施方式的将媒体内容的播放从源媒体输 出设备移动到目的地媒体输出设备的方法的流程图。
贯穿附图的多个视图，相似的附图标记指代对应的部分。
具体实施方式
虽然数字革命提供了从公开分享信息到全球社区意义的许多益 处，但新兴技术经常引起消费者中的混淆、怀疑和恐惧，从而阻止消 费者从技术中受益。电子设备可方便地用作语音接口，以接收来自用 户的语音输入并发起语音激活功能，从而提供免视(eyes-free)和免提 (hands-free)的解决方案来处理现有技术和新兴技术。具体地，即使 用户的视线被遮挡并且他的手已满，在电子设备处接收到的语音输入 也可以携带指令和信息。为了实现免提和免视的体验，语音激活电子 设备不断地或仅在被触发时收听环境(即，处理从环境收集的音频信 号)。另一方面，用户身份与用户的语音和用户使用的语言链接。为了保护用户身份，语音激活电子设备通常用于受保护、受控和私密空 间(如家庭和汽车)的非公共场所。
根据本发明的一些实施方式，语音激活电子设备包括全色发光二 极管(LED)阵列。在电子设备处理从一个或多个麦克风收集的音频输 入时，全LED的阵列被照明以根据根据处理状态确定的LED照明规范 提供视觉图案。全色LED阵列被配置为提供各自对应于语音处理状态 (例如，热词检测、收听、思考和讲话)的多个视觉图案。这种用于 创建视觉图案的LED设计语言应用于至少部分地解决用户困惑、忧虑 和不安的问题，并促进对相应语音界面体验的理解、采用和享受。
此外，根据本发明的一些实施方式，语音激活电子设备使用语音 输入来发起和控制显示设备上的视频回放。具体地，服务器系统(例 如，云投射服务服务器)接收由语音激活电子设备记录的语音消息， 并且确定语音消息包括进一步包括播放媒体输出设备上的媒体内容的 用户语音命令(可选地包括语音激活电子设备本身)和对媒体输出设 备的用户语音指定的媒体播放请求。用户语音命令至少包括第一媒体 播放应用的信息和需要播放的媒体内容。根据对媒体输出设备的语音 指定，服务器系统识别在用户域中与电子设备相关联并且耦合到媒体 输出设备的投射设备，并且投射设备被配置为执行一个或多个媒体播 放应用，用于控制媒体输出设备播放从一个或多个媒体内容托管接收 的媒体内容。然后服务器系统向投射设备发送第一媒体播放应用的信 息和需要播放的媒体内容，从而使投射设备能够执行控制媒体输出设 备播放媒体内容的第一媒体播放应用。
在一些实施方式中，当媒体内容被显示在媒体输出设备上时，语 音激活电子设备允许用户使用他们的语音打开和关闭电视上的字幕， 而不涉及与遥控器或第二屏幕设备(例如，移动电话、平板计算机和 膝上型计算机)的任何用户交互。具体地，服务器系统被配置为从语 音消息中确定第一隐藏字幕发起请求，该第一隐藏字幕发起请求包括 发起隐藏字幕的用户语音命令以及播放隐藏字幕将被激活的媒体内容 的显示设备的用户语音指定。在识别在用户域中与电子设备相关联并 且耦合到指定的显示设备的投射设备之后，服务器系统向投射设备发 送第二隐藏字幕发起请求，从而使投射设备能够执行媒体播放应用， 所述媒体播放应用控制指定的显示设备打开当前显示在指定的显示设 备上的媒体内容的隐藏字幕，并根据第二隐藏字幕发起请求显示隐藏 字幕。
此外，根据本发明的一些实施方式，当媒体内容被显示在第一媒 体输出设备上时，语音激活电子设备允许用户使用他们的语音来发起 媒体内容从第一媒体输出设备到第二媒体输出设备的媒体传送。至少 通过在已经在第一媒体输出设备上播放的媒体内容的确切点处恢复第 二媒体输出设备上的媒体内容，传送保持对应的媒体播放状态。
具体地，服务器系统被配置为从语音消息中确定媒体传送请求， 该媒体传送请求包括将正在播放的媒体内容传送到目的地媒体输出设 备的用户语音命令以及对目的地媒体输出设备的用户语音指定。然后 服务器系统从源投射设备获取当前正在播放的媒体内容的即时媒体播 放信息，该即时播放信息至少包括第一媒体播放应用的信息，当前正 在播放的媒体内容以及与播放媒体内容有关的时间位置。在识别在用 户域中与电子设备相关联并且耦合到指定的显示设备的目的地投射设 备之后，服务器系统向目的地投射设备发送包括即时媒体播放信息的 媒体播放请求，从而使目的地投射设备能够执行控制目的地媒体输出 设备从该时间位置播放媒体内容的第一媒体播放应用。在一些实施方 式中，目的地投射设备在设备注册表中被识别。
现在将详细参考实施例，其示例在附图中示出。在以下详细描述 中，阐述了许多具体细节以便提供对各种所描述的实施方式的透彻理 解。然而，对于本领域的普通技术人员来说显而易见的是，可以在没 有这些具体细节的情况下实践各种所描述的实现。在其他情况下，没 有详细描述公知的方法、过程、组件、电路和网络，以免不必要地模 糊实施方式的各方面。
智能媒体/家庭环境
图1是根据一些实施方式的示例智能媒体环境100。智能媒体环 境100包括具有各种集成设备的结构150(例如，房屋、办公楼、车库 或移动房屋)。应该理解的是，设备也可以被集成到不包括整个结构 150的智能媒体环境100中，诸如公寓、共管公寓或办公空间。所描绘 的结构150包括经由墙壁154彼此至少部分地分离的多个房间152。墙 壁154可以包括内壁或外壁。每个房间还可以包括地板156和天花板 158。
一个或多个媒体设备被布置在智能媒体环境100中以提供存储在 本地内容源处或从远程内容源(例如，内容托管114)流式传送的媒体 内容。媒体设备可以分为两类：直接向观众输出媒体内容的媒体输出 设备106，以及联网以将媒体内容流式传送到媒体输出设备108的投射 设备108。媒体输出设备106的示例包括但不限于电视(TV)显示设 备和音乐播放器。投射设备108的示例包括但不限于机顶盒(STB)、 DVD播放器和电视盒。在示例智能媒体环境100中，媒体输出设备106 被布置在多于一个位置中，并且每个媒体输出设备106被耦合到相应 的投射设备108或者包括嵌入式投射单元。媒体输出设备106-1包括硬 连线到DVD播放器或机顶盒108-1的电视显示器。媒体输出设备106-2 包括智能TV设备，该智能TV设备集成嵌入式投射单元以流式传送媒 体内容以向其观众显示。媒体输出设备106-3包括耦合到电视盒108-3 (例如，Google TV或Apple TV产品)的常规TV显示器，并且这样 的电视盒108-3流式传送从媒体内容托管服务器114接收的媒体内容并 且提供对互联网的访问以在媒体输出设备106-3上显示基于互联网的 内容。
除了媒体设备106和108之外，一个或多个电子设备190被布置 在智能媒体环境100中以收集用于发起媒体设备的各种媒体播放功能 的音频输入。在一些实施方式中，这些语音激活电子设备190(例如， 设备1901-1、190-2和190-3)被布置在媒体设备附近，例如与投射设 备108和媒体输出设备106相同的房间中。可替选地，在一些实施方 式中，语音激活电子设备190-4被布置在具有一个或多个智能家庭设备 而不是任何媒体设备的房间中。可替选地，在一些实施方式中，语音 激活电子设备190被布置在没有联网的电子设备的位置。
电子设备190包括至少一个或多个麦克风、扬声器、处理器和存 储至少一个用于由处理器执行的程序的存储器。扬声器被配置为允许 电子设备190将语音消息传输到电子设备190在智能媒体环境100中 所处的位置，从而广播音乐，报告音频输入处理的状态，与电子设备190的用户对话或给出指令到电子设备190的用户。作为语音消息的替 代，视频信号也可以用于向电子设备190的用户提供关于音频输入处 理的状态的反馈。当电子设备190是传统的移动设备(例如，移动电 话或平板计算机)时，其显示屏幕被配置为显示关于音频输入处理的 状态的通知。
根据一些实施方式，电子设备190是语音接口设备，其被网络连 接以借助云投射服务服务器116和/或语音辅助服务器112来提供语音 识别功能。例如，电子设备190包括智能扬声器，其向用户提供音乐 并且允许免视和免提访问语音助理服务(例如，Google助理)。可选 地，电子设备190是包括麦克风的台式或膝上型计算机、平板计算机 和移动电话中的一个。可选地，电子设备190是简单且低成本的语音 接口设备。鉴于电子设备190的简单性和低成本，电子设备190包括 全色发光二极管(LED)阵列而不是全显示屏，并且在全色LED上显 示视觉图案以指示音频输入处理的状态。
当来自电子设备190的语音输入被用于经由投射设备108来控制 媒体输出设备106时，电子设备190有效地实现了投射使能媒体设备 的新级别的控制。在具体示例中，电子设备190包括具有远场语音访 问的休闲享受扬声器并且用作Google助理的语音接口设备。电子设备 190可以布置在智能媒体环境100中的任何房间中。当多个电子设备 190分布在多个房间中时，它们变成投射音频接收器，其被同步以提供 来自所有这些房间的语音输入。
具体地，在一些实施方式中，电子设备190包括具有连接到语音 激活的个人助理服务(例如Google助理)的麦克风的WiFi扬声器。 用户可以通过电子设备190的麦克风发出媒体播放请求，并请求个人 助理服务在电子设备190本身或另一个连接的媒体输出设备106上播 放媒体内容。例如，用户可以通过对WiFi扬声器说“OK Google，在 我的客厅电视上播放猫视频(OK Google,Play cat videos on my Living room TV.)”来发布媒体播放请求。然后个人助理服务通过使用默认 或指定的媒体应用在所请求的设备上播放所请求的媒体内容来实现媒 体播放请求。
用户还可以经由电子设备190的麦克风发出关于已经在显示设备 上播放的媒体内容的语音请求。在一些实施方式中，当没有远程控制 或第二屏幕设备对用户可用时，通过语音在显示设备上发起或停用当 前显示的媒体内容的隐藏字幕。因此，用户可以在不涉及具有物理用 户界面的任何其他设备的情况下通过免视和免提语音激活电子设备 190打开显示设备上的隐藏字幕，并且这种语音激活电子设备190满足 对有听力残疾的用户的联邦辅助功能要求。
在一些实施方式中，用户可能想要在他们穿过房屋时与他们进行 当前媒体会话。这需要个人助理服务将当前媒体会话从第一投射设备 传送到第二投射设备，该第二投射设备不直接连接到第一投射设备或 不知道第一投射设备的存在。在媒体内容传送之后，耦合到第二投射 设备108的第二输出设备106继续从音乐轨道或视频剪辑内的确切点 播放先前耦合到第一投射设备108的第一输出设备106的媒体内容， 其中媒体内容的播放在第一输出设备106上被放弃。
在一些实施方式中，除了媒体设备(例如输出设备106和投射设 备108)和语音激活电子设备190之外，智能家庭设备也可以通过智能 媒体环境100的墙壁154、地板156或天花板158安装、集成和/或支 持(鉴于智能家庭设备的存在而广泛称为智能家庭环境)。集成智能 家庭设备包括智能多传感网络连接设备，其可以在智能家庭网络和/或 中央服务器或云计算系统中相互无缝集成，以提供各种有用的智能家 庭功能。在一些实施方式中，智能家庭设备被布置在与投射设备108 和/或输出设备106的智能家庭环境100的相同的位置处，并且因此相 对于投射设备108和输出设备106位于附近或已知距离。
智能媒体环境100中的智能家庭设备可以包括但不限于一个或多 个智能多传感网络连接的恒温器122、一个或多个智能网络连接的多传 感危险检测器、一个或多个智能多传感网络连接的入口通道接口设备 126和128(以下称为“智能门铃126(smartdoorbells 126)”和“智 能门锁128(smart door locks 128)”)、一个或多个智能多传感网络 连接的报警系统130、一个或多个智能多传感网络连接的相机系统132 以及一个或多个智能多传感网络连接的墙壁开关136。在一些实施方式 中，图1的智能媒体环境100中的智能家庭设备包括多个智能多传感 网络连接设备138(以下称为“智能器具138(smartappliances 138)”)， 诸如冰箱、炉子、烤箱、电视机、洗衣机、烘干机、灯、对讲系统阀 杆、车库门开启器、落地风扇、吊扇、壁挂式空调、泳池加热器、灌 溉系统、安全系统、空间加热器、车窗交流单元、机动管道通风口等 等。
智能媒体环境100中的智能家庭设备可以附加地或可替选地包括 一个或多个其他占用传感器(例如，触摸屏、IR传感器、环境光传感 器和运动检测器)。在一些实施方式中，智能媒体环境100中的智能 家庭设备包括基于位于占用者上或嵌入占用者的RFID标签来确定占 用的射频识别(RFID)读取器(例如，在每个房间152或其一部分中)。 例如，RFID读取器可以被集成到智能危险检测器104中。
在一些实施方式中，除了包含感测能力之外，设备122、124、126、 128、130、132、136和138(其统称为“智能家庭设备(the smart home devices)”或“智能家庭设备120(thesmart home devices 120)”) 能够与其他智能家庭设备、中央服务器或云计算系统和/或网络连接的 其他设备(例如客户端设备104、投射设备108和语音激活电子设备 190)共享数据通信和信息。类似地，投射设备108和语音激活电子设 备190中的每一个还能够与其他投射设备108、语音激活电子设备190、 智能家庭设备、中央服务器或云计算系统和/或网络连接的其他设备(例 如，客户端设备104)共享数据通信和信息140。数据通信可以使用各种定制或标准无线协议(例如，IEEE 802.15.4、Wi-Fi、ZigBee、 6LoWPAN、线程、Z-Wave、蓝牙智能、ISA100.11a、WirelessHART、 MiWi等等)和/或各种定制或标准有线协议(例如，以太网、HomePlug 等)或任何其他合适的通信协议(包括在本文档的提交日期之前尚未 开发的通信协议)中的任何一种执行。
在一些实施方式中，投射设备108、电子设备190和智能家庭设 备用作无线或有线中继器。在一些实施方式中，投射设备108中的第 一个投射设备经由无线路由器与投射设备108中的第二个投射设备和 智能家庭设备通信。投射设备108、电子设备190和智能家庭设备可进 一步经由连接(例如，网络接口160)与诸如互联网110的网络彼此通 信。投射设备108、电子设备190和智能家庭设备可以通过互联网110 与智能服务器系统140(在本文中也称为中央服务器系统和/或云计算 系统)通信。可选地，智能服务器系统140可以与与投射设备108相 关联的制造商、支持实体或服务提供商以及向用户显示的媒体内容相 关联。
因此，智能服务器系统140可以包括处理由语音激活电子设备收 集的音频输入的语音辅助服务器112、提供所显示的媒体内容的一个或 多个内容托管104、创建基于分布式设备终端的虚拟用户域的云投射服 务服务器以及保持虚拟用户环境中的分布式设备终端的记录的设备注 册表118。分布式设备终端的示例包括但不限于投射设备108、媒体输 出设备106、电子设备190和智能家庭设备。在一些实施方式中，这些 分布式设备终端链接到虚拟用户域中的用户账户(例如，Google用户 账户)。
在一些实施方式中，网络接口160包括常规网络设备(例如，路 由器)。图1的智能媒体环境100还包括直接或经由网络接口160可 通信地耦合到网络110的集线器设备180。集线器设备180进一步通信 地耦合到以上智能多传感网络连接设备(例如，投射设备108、电子设 备190、智能家庭设备和客户端设备104)。这些网络连接的设备中的 每一个可选地使用至少在智能媒体环境100中可用的一个或多个无线 电通信网络(例如ZigBee、Z-Wave、Insteon、蓝牙、Wi-Fi和其他无 线电通信网络)与集线器设备180通信。在一些实施方式中，集线器 设备180和与集线器设备耦合/耦合到集线器设备的设备可经由智能电 话、家用控制器、膝上型计算机、平板计算机、游戏控制台或类似电 子设备上运行的应用来控制和/或交互。在一些实施方式中，这样的控 制器应用的用户可以查看集线器设备或耦合的网络连接设备的状态， 将集线器设备配置为与新引入到家庭网络的设备互操作，调试新设备 以及调整或查看所连接的设备的设置等。
图2A是根据一些实施方式的其中语音激活电子设备190与智能媒 体环境100的投射设备108、客户端设备104或服务器系统140交互的 示例操作环境。语音激活电子设备190被配置为从接近语音激活电子 设备190的环境接收音频输入。可选地，电子设备190存储音频输入 并至少部分地在本地处理音频输入。可选地，电子设备190经由通信 网络110将接收到的音频输入或部分处理的音频输入发送到语音辅助 服务器112以用于进一步处理。投射设备108被配置为从一个或多个 内容托管114获得媒体内容或互联网内容以用于显示在耦合到投射设 备108的输出设备106上。如上所述，投射设备108和语音激活电子 设备190在用户域中彼此链接，并且更具体地，经由用户域中的用户 账户彼此关联。投射设备108的信息和电子设备190的信息与用户账 户相关联地存储在设备注册表118中。
在一些实施方式中，投射设备108和语音激活电子设备190不包 括任何显示屏幕，并且必须依赖于客户端设备104在调试过程期间提 供用户界面。具体地，客户端设备104安装有应用，该应用使得用户 界面能够促进调适布置在客户端设备104附近的新的投射设备108或 新的语音激活电子设备190。用户可以在客户端设备104的用户界面上 发起对需要调适的新投射设备108或电子设备190的调适过程。在接 收调适请求之后，客户端设备104建立与需要调适的新投射设备108 或电子设备190的短程通信链路。可选地，基于近场通信(NFC)、蓝 牙、低功耗蓝牙(BLE)等建立短程通信链路。客户端设备104然后将 与无线局域网(WLAN)相关联的无线配置数据传递到新投射设备108 或电子设备190。无线配置数据至少包括WLAN安全码(即，服务集 识别符(SSID)密码)，并且可选地包括SSID、互联网协议(IP)地 址、代理配置和网关配置。在经由短程通信链路接收到无线配置数据 之后，新投射设备108或电子设备190解码并恢复无线配置数据，并 且基于无线配置数据加入WLAN。
附加用户域信息被输入在客户端设备104上显示的用户界面上， 并且用于将新投射设备108或电子设备190链接到用户域中的账户。 可选地，附加用户域信息经由短程通信链路连同无线通信数据被传输 到新投射设备108或电子设备190。可选地，在新设备已经加入WLAN 之后，附加用户域信息经由WLAN被传输到新投射设备108或电子设 备190。
一旦投射设备108和电子设备190已被调适进入用户域，投射设 备108、输出设备106及其相关联的媒体播放活动可以经由两个控制路 径(控制路径A和控制路径B)控制。根据控制路径A，安装在客户 端设备104上的投射设备应用或一个或多个媒体播放应用被用于控制 投射设备108及其相关联的媒体播放活动。可替选地，根据控制路径B， 电子设备190被用于实现投射设备108及其相关联的媒体播放活动的 免视和免提控制(例如，在输出设备106上媒体内容播放的回放，以 及激活当前显示在输出设备106上的媒体内容的隐藏字幕)。
图2B是媒体播放控制过程250的示例流程图，其根据图2A中所 示的控制路径B控制投射设备108及其相关的媒体播放活动。助理服 务器(例如语音辅助服务器112)被配置为支持语音激活电子设备190， 控制与搜索栈的交互并且根据由电子设备190收集的未加工语音输入 来解析需要执行哪个媒体动作。助理服务器向云投射服务服务器116 发送(202)请求，云投射服务服务器116将媒体动作转换为动作脚本， 然后该动作脚本可以由目标投射设备108执行。动作脚本有两种可能 的执行路径。根据第一执行路径A，它在对助理服务器的响应中返回。 这是“本地路径(local path.)”。如果目标投射设备108是语音激活电子设备190本身，则动作脚本容易从助理服务器获得。可替选地， 根据第二执行路径B，云投射服务服务器116经由云消息传递服务将动 作脚本分派给设备。这是远程执行路径。在一些实施方式中，两个执 行路径并行进行，并且目标投射设备108忽略第二个到达的动作脚本。 unique_command_id与每个ExecuteCloudCastCommand相关联。
在一些实施方式中，语音辅助服务器使用CloudCastCommand进 行executeCastCommand的远程过程调用(RPC)，如下所示：
message CloudCastCommand{
optional string unique_command_id＝1；
optional stting source_device_id＝2；
optional string target_device_id＝3；
optional string app_id＝4；
optional string content_id＝5；
optional string content_auth_token＝6；
}
message ExecuteCastCommandRequest{
optional CloudCastCommand cast_command＝1：
}
message ExecuteCastCommandResponse{
optional CloudCastCommand cast_command＝1；
optional string cast_action_script＝2；
}
一旦获得命令，云投射服务服务器116就将该CloudCastCommand 维护在由unique_command_id和target_device_id键控的永久存储中。 当针对相同的目标投射设备108或电子设备190发出另一命令时或当/ executionReport端点接收到成功/错误状态时，CloudCastCommand将被 替换或移除。云投射服务服务器116然后清理陈旧的(在特定时间段 内尚未完成的)命令，并生成投射动作脚本(Cast Action Script)。一 旦生成投射动作脚本，云投射服务服务器116在RPC响应中返回脚本， 并且如果(source_device_id！＝target_device_id)则使用Google云消息 服务发送响应。
在一些实施方式中，投射设备108在执行投射动作脚本期间和之 后报告(204)其状态，如下：
message ReportExecutionStatusRequest{
enum StatusCode{
UNKNOWN＝0；
SUCCESS＝1；
ERROR＝2；
QUEUED＝3；
IN_PROGRESS＝4；
}
optional string device_id＝1；
optional string unique_command_id＝2；
optional StatusCode status_code＝3；
//在该请求中报告的动作脚本中的单个动作。
optional string last_action＝4；
//包含基于状态代码或错误代码的定制设备状态数据。
//例如，针对“CAST::EINJECTWRAPPED”错误代码将在本字节中设 置定制错误字符串.
optional string custom_data＝5；
//错误代码是在go/castactionscript中定义的字符串。
optional string error_code＝6；
}
message ExecutionReportResponse{
//TBD
}
在一些实施方式中，只要其状态改变，投射设备108利用状态消 息来更新其状态。在一些实施方式中，投射设备108周期性地发送心 跳以通知云投射服务服务器116他们的存在，并且云投射服务服务器 116将last_action_time字段更新为自时代以来的时间(秒)。云投射服 务服务器116可选地经由云消息服务将执行状态消息发送到源设备(例 如语音激活电子设备190)。语音激活电子设备190然后将针对TTS 和回放调用S3。
在媒体输出设备上的语音激活媒体播放
参照图2A，在投射设备108和语音激活电子设备190都被调适并 链接到公共用户域之后，语音激活电子设备190可以被用作语音用户 界面以启用将媒体内容流式传送到不涉及遥控器、客户端设备104或 其他第二屏幕设备的投射设备108的免视和免提控制。例如，用户可 以给出语音命令，诸如“在客厅扬声器上播放Lady Gaga(Play Lady Gaga onLiving Room speakers.)”。Lady Gaga音乐曲目或视频剪辑被 流式传送到与“客厅扬声器(Living Room speakers.)”相关联的投射 设备108。不涉及客户端设备104，也不涉及在客户端设备104上加载 的任何投射设备应用或媒体播放应用。
云投射服务116是代理服务，其将语音激活电子设备通信地链接 到投射设备108，并且可以在不涉及客户端设备104上的任何应用的情 况下投射到投射设备108。具体地，语音消息由电子设备190记录，并 且语音消息被配置为请求在媒体输出设备106上的媒体播放。可选地， 电子设备190在本地部分地处理语音消息。可选地，电子设备190经 由通信网络110将语音消息或部分处理的语音消息发送到语音辅助服 务器112以用于进一步处理。云投射服务服务器116确定语音消息包 括第一媒体播放请求，并且第一媒体播放请求包括在媒体输出设备106 上播放媒体内容的用户语音命令和对媒体输出设备的用户语音指定106。用户语音命令还至少包括需要播放的第一媒体播放应用(例如， YouTube和Netflix)的信息和媒体内容(例如Lady Gaga音乐)。
根据对媒体输出设备的语音指定，设备注册表118中的云投射服 务服务器116包括在用户域中与电子设备190相关联并且耦合到媒体 输出设备106的投射设备。投射设备108被配置为执行一个或多个媒 体播放应用以用于控制媒体输出设备106播放从一个或多个媒体内容 托管114接收的媒体内容。然后，云投射服务服务器116向投射设备 108发送第二媒体播放请求，其包括第一媒体播放应用的信息和需要播 放的媒体内容。一旦接收到由云投射服务服务器116发送的信息，投 射设备108执行第一媒体播放应用并控制媒体输出设备106播放所请 求的媒体内容。
在一些实施方式中，对媒体输出设备106的用户语音指定包括目 的地媒体输出设备的描述。云投射服务服务器116根据对目的地媒体 输出设备的描述在注册表中识别多个媒体输出设备当中的目的地媒体 输出设备。在一些实施方式中，目的地媒体输出设备的描述至少包括 媒体输出设备106的品牌(“三星电视(Samsung TV)”)或位置(“我 的客厅电视(Samsung TV)”)。
语音激活隐藏字幕显示
美国联邦无障碍法律要求电子通信和信息技术(诸如网站，电子 邮件或网络文档)是可访问的，并且必须为失聪或听力不好的用户提 供隐藏字幕选项。参考图2A，在投射设备108和语音激活电子设备190 都被调适并链接到公共用户域之后，语音激活电子设备190可以被用 作语音用户界面以使得能够免视以及免提控制当前在媒体输出设备 106上显示的具有媒体内容的隐藏字幕。具体地，语音识别系统将语音 命令翻译成将字幕打开为发送到云投射服务的可识别消息。云投射服 务解释该消息并将命令发送到安装在投射设备上的媒体播放应用(例 如，YouTube)。媒体播放应用接收该命令并基于该消息呈现字幕轨道。 这样，用户就可以使用语音在媒体输出设备上打开和关闭字幕。隐藏 字幕显示的这种控制不涉及任何遥控器、客户端设备104或其他第二 屏幕设备，也不涉及加载在客户端设备104上的任何投射设备应用或 媒体播放应用。因此，隐藏字幕显示的语音激活控制符合联邦无障碍 要求，特别适用于聋人或听力障碍的用户。
当用户想要发起对当前显示的媒体内容的隐藏字幕的显示时，用 户发送由电子设备190记录的语音消息(例如，“打开隐藏字幕(Turn on closed captioning.)”)。可选地，电子设备190部分地在本地处理 语音消息。可选地，电子设备190将语音消息或部分处理的语音消息 发送到语音辅助服务器112以供进一步处理。云投射服务服务器116 确定语音消息是第一隐藏字幕发起请求，并且第一隐藏字幕发起请求 包括发起隐藏字幕的用户语音命令和播放为其要激活隐藏字幕的媒体 内容的对显示设备106的用户语音指定。在一些实施方式中，电子设 备190直接将所记录的语音消息发送到云投射服务服务器116。云投射 服务服务器116通过将语音消息转发到语音辅助服务器112来解析语 音消息并识别用户语音命令和对目的地媒体设备的用户语音指定来确 定语音消息是第一隐藏字幕发起请求以及从语音辅助服务器112接收 用户语音命令和对目的地媒体设备的用户语音指定。
根据对显示设备的指定，云投射服务服务器116在设备注册表118 中识别在用户域中与电子设备190相关联并且耦合到指定的显示设备 106的投射设备108。投射设备108被配置为执行媒体播放应用，用于 控制指定的显示设备显示从媒体内容托管接收的媒体内容。在一些实 施方式中，电子设备190和投射设备108都与用户域的用户账户相关 联。用户帐户可以是Google用户帐户。
然后，云投射服务服务器116将第二隐藏字幕发起请求发送到与 指定的显示设备耦合的投射设备。一旦接收到由云投射服务服务器116 发送的信息，投射设备108执行媒体播放应用以控制指定的显示设备 106打开当前显示在指定的显示设备106上的媒体内容的隐藏字幕并根 据第二隐藏字幕发起请求显示隐藏字幕。在一些实施方式中，隐藏字 幕根据默认隐藏字幕显示规范显示在指定的显示设备上。
在一些实施方式中，根据第一隐藏字幕发起请求，云投射服务服 务器116确定隐藏字幕的显示规范。第二隐藏字幕发起请求包括隐藏 字幕的显示规范，并且投射设备被配置为执行媒体播放应用以控制显 示设备根据显示规范显示隐藏字幕。此外，在一些实施方式中，隐藏 字幕的显示规范包括字体(例如Arial)、字体大小(例如12)、字体 颜色(例如白色)和背景色(例如，黑色)中的至少一个。此外，在 一些实施方式中，经由云投射服务服务器116发送隐藏字幕的显示规 范允许用户通过将自定义语音命令(诸如“较大字幕(largercaptions)” 或“将背景颜色改变为蓝色(change the background color to blue)”) 来调整其隐藏字幕的格式以更新发送到投射设备108的隐藏字幕发起 请求。另外，隐藏字幕显示的这种语音激活控制允许具有麦克风(例 如，移动电话)的任何电子设备发起媒体内容的回放并且调整媒体显 示设备106上的隐藏字幕。
在一些实施方式中，电子设备、投射设备和指定的显示设备被布 置为彼此接近，但位于远离云投射服务系统116、语音辅助服务器112 和设备注册表118。在一些实施方式中，云投射服务系统116、语音辅 助服务器112和设备注册表118中的两个或更多个被集成在单个服务 器中。在一些实施方式中，云投射服务系统116、语音辅助服务器112 和设备注册表118不同于内容托管114，内容托管114将媒体内容提供 给投射设备108以用于显示在指定的显示设备106上。
在一些实施方式中，对媒体输出设备106的用户语音指定包括目 的地媒体输出设备的描述。云投射服务服务器116根据目的地媒体输 出设备的描述在注册表中识别多个媒体输出设备当中的目的地媒体输 出设备。在一些实施方式中，目的地媒体输出设备的描述至少包括媒 体输出设备106的品牌(“三星电视(Samsung TV)”)或位置(“我 的客厅电视(my Living Room TV)”)。
媒体输出设备之间的语音激活媒体传送
图3是根据一些实施方式的其中投射设备108与客户端设备104、 语音激活电子设备190或智能媒体环境100的服务器系统交互的另一 示例操作环境。智能媒体环境100包括第一投射设备108-1和耦合到第 一投射设备的第一输出设备106-1。智能媒体环境100还包括第二投射 设备108-2和耦合到第一投射设备的第二输出设备106-2。投射设备 108-1和108-2可选地位于与智能媒体环境100中的相同位置(例如客 厅)或两个不同位置(例如两个房间)中。投射设备108-1和108-2中 的每一个108-2被配置为从媒体托管114获得媒体内容或互联网内容以 用于显示在耦合到相应投射设备108-1或108-2的输出设备106上。第一和第二投射设备都可通信地耦合到云投射服务服务器116和内容托 管114。
智能媒体环境100还包括通信地耦合到云投射服务服务器116和 语音辅助服务器112的一个或多个语音激活电子设备190。在一些实施 方式中，语音激活电子设备190被布置独立于投射设备108和输出设 备106。例如，如图1所示，电子设备190-4布置在没有投射设备108 或输出设备106所在的房间中。在一些实施方式中，第一电子设备190-1 被布置为接近第一投射设备108-1和第一输出设备106-1，例如第一电 子设备190-1，第一投射设备108-1和第一输出设备106-1位于相同房 间中。可选地，第二电子设备190-2被布置独立于或接近第二投射设备 108-2和第二输出设备106-2。
当媒体内容在第一输出设备106-1上播放时，用户可以向任何电 子设备190发送语音命令以请求播放要传送到第二输出设备106-2的媒 体内容。语音命令包括媒体播放传送请求。在一种情况下，用户可以 在用户移动到目的地位置之前向位于第一投射设备108-1附近的电子 设备190-1发出语音命令。可替选地，在另一种情况下，用户可以在用 户到达目的地位置之后向位于第二设备108-2附近的电子设备190-2发 出语音命令。
语音命令被发送到云投射服务服务器116。云投射服务服务器116 向第一投射设备108-1发送媒体显示信息请求以请求在耦合到第一投 射设备108-1的第一输出设备106-1上当前正在播放的媒体内容的即时 媒体播放信息。第一投射设备108-1然后向云投射服务服务器116返回 所请求的即时播放信息，其至少包括第一媒体播放应用的信息(例如，YouTube)、当前播放的媒体内容(例如“Lady Gaga-国歌-超级碗2016 (Lady Gaga–National Anthem–Super Bowl 2016)”)以及与播放媒 体内容有关的时间位置。第二投射设备108-2然后从云投射服务服务器 116接收包括即时播放信息的媒体显示请求，并且根据即时播放信息， 执行第一媒体播放应用，其控制第二输出设备106-2从时间位置播放媒体内容。
在具体示例中，当在第一输出设备106-1上播放音乐播放列表时， 用户说“在我的客厅扬声器上播放(Play on my living room speakers.)”。 第一输出设备106-1停止播放当前播放的歌曲，并且停止的歌曲在客厅 扬声器上重新开始。当歌曲完成时，客厅扬声器继续播放先前在第一 输出设备106-1上播放的音乐播放列表上的下一首歌曲。这样，当用户 在智能家庭环境100中四处移动时，媒体内容的播放将无缝跟随用户， 同时仅涉及有限的用户干预(即，给出语音命令)。媒体内容的这种 无缝传送根据一个或多个以下操作来完成：
·语音助理服务(例如，语音辅助服务器112)识别出它是将媒体 从一个输出设备(源)传送到另一个输出设备(目的地)的用户语音 命令；
·助理服务将包括用户语音命令的消息传递给云投射服务服务器 116；
·云投射服务服务器116然后请求源输出设备106-1提供传送媒 体流所需的数据块；
·数据块的内容依赖于合作伙伴，但通常包含正在播放的当前媒 体内容、当前媒体内容的位置以及当前媒体内容的流量；
·可选地，数据块的内容包括当前媒体内容的容器(例如，媒体 内容所属的播放列表)的信息以及当前媒体内容在播放列表内的位置；
·云投射服务服务器116通知源设备停止播放媒体内容；
·然后，云投射服务服务器116在目的地(即，在源输出设备上 运行的相同的接收器应用)上加载适当的接收器应用(例如，媒体播 放应用)。
·云投射服务服务器116将该数据块连同对接收器应用的指令一 起发送到目的地投射设备108-2以重新开始媒体内容的传送；以及
·接收器应用解释数据块以相应地重新开始媒体内容。
具体地，在服务器端，由云投射服务服务器116实施用于将媒体 内容显示的播放从源媒体输出设备移动到目的地媒体输出设备的方 法。云投射服务服务器116接收由电子设备190-1或190-2记录的语音 消息，并确定语音消息包括媒体传送请求。如上所解释的，电子设备 可以被布置为位于第一位置处的源投射设备108-1附近，位于第二位置 处的目的地投射设备108-2附近，或者独立于源和目的地投射设备两 者。在一些实施方式中，电子设备190、源投射设备108-1和目的地投 射设备108-2与由云投射服务服务器116管理的用户域中的用户账户相 关联。用户账户可以是Google用户帐户。
用户语音命令中的媒体传送请求包括将正在播放的媒体内容传送 到目的地媒体输出设备190-2的用户语音命令和对目的地媒体输出设 备190-2的用户语音指定。在一些实施方式中，在接收到由电子设备 190-1或190-2记录的语音消息之后，云投射服务服务器116将语音消 息转发到语音辅助服务器112，语音辅助服务器112解析语音消息并识 别用户语音命令以及对目的地媒体输出设备的语音指定，并且从语音 辅助服务器112接收用户语音命令和对目的地媒体输出设备106-2的语 音指定。
云投射服务服务器116从源投射设备108-1获得当前正在播放的 媒体内容的即时媒体播放信息。即时播放信息至少包括第一媒体播放 应用的信息、当前播放的媒体内容以及与播放媒体内容相关的时间位 置。当用户请求将媒体内容移动到目的地输出设备106-2时，可以记录 时间位置。在一些实施方式中，云投射服务服务器116识别当前正在 源媒体输出设备106-1处正在播放的媒体内容。云投射服务服务器116 在设备注册表118中识别在用户域中与电子设备190相关联并且耦合 到源媒体输出设备106-1的源投射设备108-1。然后，云投射服务服务 器116向源投射设备108-1发送媒体信息请求，从而从源投射设备108-1 接收即时媒体播放信息。
根据对目的地媒体输出设备的语音指定，云投射服务服务器116 在设备注册表118中识别在用户域中与电子设备相关联并且耦合到目 的地媒体输出设备106-2的目的地投射设备108-2。目的地投射设备 108-2被配置为执行一个或多个媒体播放应用程序，用于控制目的地媒 体输出设备106-2播放从一个或多个媒体内容托管114接收的媒体内 容。在一些实施方式中，对目的地媒体输出设备106-2的用户语音指定 包括目的地媒体输出设备106-2的描述(例如，输出设备106-2的品牌 和位置)。根据目的地媒体输出设备106-2的描述，云投射服务服务器 116在注册表112中识别多个媒体输出设备中的目的地媒体输出设备 106-2。因此，用户不必提供与设备注册表112中的记录匹配的精确设 备识别，并且云投射服务服务器116可以基于目的地媒体输出设备 106-2的描述来确定目的地媒体输出设备106-2。
在获得即时播放信息并识别目的地投射设备108-2之后，云投射 服务服务器116向目的地投射设备108-2发送包括即时媒体播放信息的 媒体播放请求，由此启用目的地投射设备108-2执行控制目的地媒体输 出设备106-2从该时间位置播放媒体内容的第一媒体播放应用。在一些 实施方式中，根据用户语音命令，云投射服务服务器116还将媒体停 止请求发送到源投射设备108-1，从而使源投射设备108-1能够执行控 制与其耦合的源投射设备108-1以放弃源媒体输出设备106-1上的媒体 内容的播放的第一媒体播放应用。
该媒体传送方法抽取将媒体流传送离开服务所需的数据，并将其 直接与流式传送服务提供商放置，以便它们可以定义传送当前正在播 放的流所需的参数(例如，Google投射协议)。这使得本发明的设计 非常灵活，以适应任何类型的媒体合作伙伴或媒体流。此外，它还利 用云基础设施(通过云投射服务)传送消息并协调源设备和目的地设 备之间的回放。这允许这种传送在没有彼此的任何知识或处于相同无 线局域网的这些投射设备的情况下发生。
经由云投射服务服务器116的媒体传送还实现可伸缩性、灵活性 和数据安全性。传送媒体所需的数据块特别松散地定义，以适应内容 提供商合作伙伴的数量和流类型的数量。流可能是单个曲目、播放列 表、直播流、广告、自动播放视频和许多其他内容格式。保持数据块 的灵活性和合作伙伴的依赖性，可以允许单一方法适用于所有类型的 媒体流。此外，通过让云投射服务独立地连接源和目的地投射设备， 不需要这些设备彼此连接，处于相同的WLAN或者彼此具有知识。另 外，CCS没有非中介化。在源和目的地上的接收器应用之间发送的数 据对于云投射服务服务器116是不透明的。这允许关于传送的媒体会 话的机密细节留给使用该云投射服务的合作伙伴。
语音激活电子设备的物理特征
图4A和图4B是根据一些实施方式的语音激活电子设备190的前 视图400和后视图420。电子设备190被设计为温暖且诱人，并且自然 地适合于家庭的许多区域。电子设备190包括一个或多个麦克风402 和全色LED404的阵列。全色LED404可隐藏在电子设备190的顶表面 下方，并且当用户不点亮时对用户不可见。在一些实施方式中，全色 LED阵列404物理上排列成环状。此外，电子设备190的后侧可选地 包括被配置为耦合到电源的电源连接器408。
在一些实施方式中，电子设备190呈现没有可见按钮的干净外观， 并且与电子设备190的交互基于语音和触摸手势。可替选地，在一些 实施方式中，电子设备190包括有限数量的物理按钮(例如，在其后 侧的按钮406)，并且与电子设备190的交互进一步基于除了语音之外 按下按钮和触摸手势。
一个或多个扬声器布置在电子设备190中。图4C是语音激活电子 设备190的透视图440，其示出了根据一些实施方式的包含在电子设备 190的基座410中的处于开放构造的扬声器422。图4D和图4E分别是 语音激活电子设备190的侧视图450和展开图460，其示出了根据一些 实施方式的包含在其中的电子组件。电子设备190包括全色LED阵列 404、一个或多个麦克风402、扬声器422、双频带WiFi 802.11ac无线 电、蓝牙LE无线电、环境光传感器、USB端口、处理器以及存储用于 由处理器执行的至少一个程序的存储器。
此外，在一些实施方式中，电子设备190还包括被配置为检测电 子设备190的顶表面上的触摸事件的触摸感测阵列424。触摸感测阵列 424被布置并隐藏在电子设备190的顶表面下方。在一些实施方式中， 触摸感测阵列424设置在包括通孔阵列的电路板的顶表面上，并且全 色LED布置在电路板的通孔内。当电路板位于电子设备190的顶表面 正下方时，全色LED404和触摸感测阵列424也都布置在电子设备190 的顶表面的正下方。
图4F(1)-图4F(4)示出了根据一些实施方式在语音激活电子 设备190的触摸感测阵列424上检测到的四个触摸事件。参考图4F(1) 和图4F(2)，触摸感测阵列424检测语音激活电子设备190的顶表面 上的旋转滑动。响应于检测到顺时针滑动，语音激活电子设备190增 加其音频输出的音量，并且响应于检测到逆时针滑动，语音激活电子 设备190减小其音频输出的音量。参考图4F(3)，触摸感测阵列424 检测语音激活电子设备190的顶表面上的单击触摸。响应于检测到第 一轻击触摸，语音激活电子设备190实施第一媒体控制操作(例如， 播放特定媒体内容)，并且响应于检测到第二轻击触摸，语音激活电 子设备190实施第二媒体控制操作(例如，暂停当前正在播放的特定 媒体内容)。参考图4F(4)，触摸感测阵列424检测语音激活电子设 备190的顶表面上的双击触摸(例如，两个连续触摸)。两个连续触摸分开的时间长度小于预定长度。然而，当它们以大于预定长度的持 续时间分开时，两个连续触摸被认为是两次单击触摸。响应于检测到 双击触摸，语音激活电子设备190发起热词检测状态，其中电子设备 190收听并识别一个或多个热词(例如，预定义的关键词)。在电子设 备190识别出热词之前，电子设备190不向语音辅助服务器112或云 投射服务服务器118发送任何音频输入。
在一些实施方式中，全色LED阵列404被配置为根据LED设计 语言显示视觉图案集合，其指示检测到在语音激活电子设备190的顶 表面上的顺时针滑动、逆时针滑动、单击或双击。例如，全色LED阵 列404可以顺序点亮以分别跟踪如图4F(1)和图4F(2)所示的顺时针或逆时针滑动。下面参考图4G和图4H(1)-图4H(8)解释关于 与电子设备190的语音处理状态相关联的视觉图案的更多细节。
图4F(5)示出了根据一些实施方式的在语音激活电子设备190 的后侧上的按钮406上的示例性用户触摸或按压。响应于第一用户触 摸或按压按钮406，电子设备190的麦克风被静音，并且响应于第二用 户触摸或按压按钮406，电子设备190的麦克风被激活。
用于语音用户界面的视觉效果的LED设计语言
在一些实施方式中，给定电子设备190的简单性和低成本，电子 设备190包括全色发光二极管(LED)阵列而不是全显示屏幕。采用 LED设计语言来配置全色LED阵列的照明，并启用指示电子设备190 的不同语音处理状态的不同视觉图案。LED设计语言包括颜色、图案 和特定运动的语法，其应用于全色LED的固定集合。语言中的元素被 组合以在使用电子设备190期间在视觉上指示特定的设备状态。在一 些实施方式中，全色LED的照明旨在清楚地描绘在其他重要的状态中 的电子设备190的被动收听和主动收听状态。全色LED的放置符合电 子设备190的物理约束，并且全色LED阵列可以用于由第三方未加工 设备制造商(OEM)基于特定技术(例如，Google助理)制造的扬声 器。
当基于特定技术在由第三方OEM制造的扬声器中使用全色LED 阵列时，全色LED和LED设计语言被配置为适合OEM扬声器的对应 物理用户接口。在这种情况下，OEM扬声器的设备状态保持相同，而 代表设备状态的特定视觉图案可能会有所不同(例如，全色LED的颜色可能不同，但会以相似的动画效果显示)。
在语音激活电子设备190中，当电子设备190处理从其周围环境 收集的音频输入但不存储音频输入或将音频输入发送到任何远程服务 器时，发生被动收听。相反，当电子设备190存储从其周围环境收集 的音频输入和/或与远程服务器共享音频输入时，发生主动收听。根据 本申请的一些实施方式，电子设备190在不会破坏电子设备190的用 户的隐私的情况下仅被动地收听其周围环境中的音频输入。
图4G是根据一些实施方式的语音激活电子设备190的顶视图，并 且图4H示出了根据一些实施方式的由全色LED阵列显示的用于指示 语音处理状态的六个示例视觉图案。在一些实施方式中，电子设备190 不包括任何显示屏幕，并且与全显示屏幕相比，全色LED404提供简 单且低成本的视觉用户界面。全色LED可以隐藏在电子设备的顶表面 下方，并且当不被点亮时对用户不可见。参照图4G和图4H，在一些 实施方式中，全色LED阵列404物理地设置在环中。例如，如图4H (6)所示，全色LED阵列404可以顺序点亮以分别跟踪图4F(1)和 图4F(2)所示的顺时针或逆时针滑动。
一种方法在电子设备190处实现以用于视觉地指示语音处理状 态。电子设备190经由一个或多个麦克风402收集来自电子设备附近 的环境的音频输入，并处理音频输入。处理包括识别和响应来自环境 中的用户的语音输入中的一个或多个。电子设备190从多个预定义的 语音处理状态中确定处理的状态。对于全色LED 404中的每一个，电 子设备190识别与所确定的语音处理状态相关联的相应的预定LED照 明规范。照明规范包括LED照明持续时间、脉冲率、占空比、颜色顺 序和亮度中的一个或多个。在一些实施方式中，电子设备190通过定 制全色LED 404的至少一个预定LED照明规范(例如，颜色序列)根 据多个用户中的一个的身份来确定语音处理状态与多个用户中的一个 相关联，并且识别全色LED404的预定LED照明规范。
此外，在一些实施方式中，根据所确定的语音处理状态，全色LED 的颜色包括颜色的预定集合。例如，参照图4H(2)、图4H(4)和图 4H(7)-(10)，颜色的预定集合包括Google品牌颜色，包括蓝色、 绿色、黄色和红色，以及全色LED阵列分为四个象限，每个象限与Google品牌颜色的一种相关联。
根据全色LED的所识别的LED照明规范，电子设备190同步全 色LED阵列的照明以提供指示所确定的语音处理状态的视觉图案。在 一些实施方式中，指示语音处理状态的视觉图案包括多个分立的LED 照明像素。在一些实施方式中，视觉图案包括开始片段、循环片段和 终止片段。循环片段持续与全色LED的LED照明持续时间相关联的时 间长度并被配置为匹配语音处理状态的长度。
在一些实施方式中，电子设备190具有由LED设计语言表示的多 于二十个不同的设备状态(包括多个预定义的语音处理状态)。可选 地，多个预定义的语音处理状态包括热词检测状态、收听状态、思考 状态和响应状态中的一个或多个。
1.热词检测状态和收听状态
在一些实施方式中，电子设备190收听并识别热词检测状态中的 一个或多个热词(例如，预定义的关键词)。在电子设备190识别出 热词之前，电子设备190不向音频辅助服务器112或云投射服务服务 器118发送任何音频输入。在检测到热词时，当麦克风记录进一步发 送到云进行进一步处理的音频输入时电子设备190开始在收听状态中 操作。在收听模式中，从预定时间位置(例如，在检测到热词之前两 秒钟)开始的音频输入被发送到语音辅助服务器112或云投射服务服 务器118，由此促进对于更自然谈话式流程的无缝查询。
因此，在一些实施方式中，根据确定所确定的语音处理状态是当 检测到一个或多个预定热词时发生的热词检测状态，全色LED的阵列 被分为交替设置并配置为顺序点亮的多个二极管组，并且多个二极管 组中的每一个中的二极管以不同颜色点亮。此外，在一些实施方式中， 根据确定所确定的语音处理状态是当电子设备正在主动接收来自环境 的语音输入并将接收到的语音输入提供给远程服务器时发生的收听状 态，所有全色LED以单一颜色点亮，并且每个全色LED以不同的和变 化的亮度照明。
如图4H(1)、(3)和(5)所示，视觉图案可以被配置为与与 语音处理状态相关联的人类反应(例如，呼吸、闪烁、眨眼和滑动) 一致。例如，使用Google品牌颜色的最具影响力的地方之一，柔和的 呼吸动画之后的细心的唤醒旋转表示耐心、热切而恭敬地倾听。这些颜色本身让人联想到Google语音助理的品牌感和实施例。这些元素与 设备的死角形成对比，以示出非常清晰的记录和记录状态。
2.思考模式或工作模式
具体地，在一些实施方式中，根据确定语音处理状态是当电子设 备正在处理从用户接收到的语音输入时发生的思考状态，越来越多数 量的RGB二极管在LED照明持续时间的第一照明周期被点亮，越来 越少数量的RGB二极管在第一照明周期之后的第二照明周期期间被点 亮。这种视觉图案与人们正在思考的人类反应一致。可选地，麦克风 402在思考模式中关闭。
参照图4H(3)、图4H(5)和图4H(6)，在视觉图案中使用 与进度条和其他类型的数字等待信号最相似的运动来指示思考模式。 在一些实施方式中，白色与追逐动画一起使用。品牌颜色故意在这里 不使用以提供对于其他语音处理状态更好的区分对比度和突出显示。
3.响应模式或讲话模式
可替选地，在一些实施方式中，根据确定语音处理状态是当电子 设备响应于从用户接收到的语音输入而广播语音消息时发生的响应状 态，全色LED的子集以不同和变化亮度的单一颜色点亮，并且全色LED 的每个子集的亮度变化与与来自用户的语音输入相关联的语音速度一 致。在一些实施方式中，讲话模式是语音助手示出其印章的地方。以 视觉图案使用颜色集合(例如，Google品牌颜色)，使得全色LED在 视觉上表示对语音查询的封闭，即该问题已被回答。
智能媒体环境中涉及的各个设备
图5是示出根据一些实施方式的作为语音接口应用以收集智能媒 体环境100中的用户语音命令的示例电子设备190的框图。电子设备 190通常包括一个或多个处理单元(CPU)502、一个或多个网络接口 504、存储器506以及用于互连这些组件(有时称为芯片集)的一个或 多个通信总线508。电子设备190包括便于用户输入的一个或多个输入 设备510，诸如图4A-图4H所示的按钮406、触摸感测阵列和一个或 多个麦克风402。电子设备190还包括一个或多个输出设备512，其包 括一个或多个扬声器422和全色LED阵列404。
存储器506包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且可选地包括非易失性存储 器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个 或多个闪存设备或一个或多个其他非易失性固态存储器设备。存储器 506可选地包括远离一个或多个处理单元502的一个或多个存储设备。 存储器506或可替选地存储器506内的非易失性存储器包括非临时性 计算机可读存储介质。在一些实施方式中，存储器506或存储器506 的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其 子集或超集：
·操作系统516，其包括用于处理各种基本系统服务并执行硬件相 关任务的过程；
·网络通信模块518，用于经由一个或多个网络接口504(有线或 无线)以及一个或多个网络110(诸如互联网、其他广域网、局域网、 城域网等)将电子设备190连接到其他设备(例如，服务器系统140、 投射设备108、客户端设备104、智能家庭设备120和其他电子设备 190)；
·输入/输出控制模块，用于经由一个或多个输入设备510接收输 入，经由一个或多个输出设备512在电子设备190处启用信息的呈现， 包括：
ο语音处理模块522，用于处理在电子设备190周围的环境中收 集的音频输入或语音消息，或准备收集的音频输入或语音消息以用于 在语音辅助服务器112或云投射服务服务器118处处理；
οLED控制模块524，用于根据电子设备190的设备状态在全色 LED 404上生成视觉图案；
ο触摸感测模块526，用于感测电子设备190的顶表面上的触摸 事件；以及
·至少存储与电子设备190相关联的数据的语音激活设备数据 530，包括：
ο语音设备设置532，用于存储与电子设备190本身相关联的信 息，包括公共设备设置(例如，服务层、设备型号、存储容量、处理 能力、通信能力等)、用户域中的用户账户的信息以及与由全色LED 显示的一个或多个视觉图案相关联的显示规范536；以及
ο语音控制数据534，用于存储与电子设备190的语音接口功能 有关的音频信号、语音消息、响应消息和其他数据。
具体地，与由全色LED显示的一个或多个视觉图案相关联的显示 规范536包括与一个或多个视觉图案中的每一个相关联的预定LED照 明规范。对于全色LED中的每一个，照明规范包括与相应视觉图案相 关联的LED照明持续时间、脉冲速率、占空比、颜色序列和亮度中的 一个或多个。每个视觉图案对应于至少一个语音处理状态。
以上识别的元素中的每一个可以存储在前面提到的存储器设备中 的一个或多个中，并且对应于用于执行上述功能的指令集合。以上识 别的模块或程序(即，指令集合)不需要被实现为单独的软件程序、 过程、模块或数据结构，并且因此这些模块的各种子集可以在各种实 施方式中被组合或以其他方式重新布置。在一些实施方式中，存储器 506可选地存储以上识别的模块和数据结构的子集。此外，存储器506 可选地存储上面未描述的附加模块和数据结构。
图6是示出根据一些实施方式的应用于智能媒体环境100中的媒 体内容的显示的自动控制的示例投射设备108的框图。典型地，投射 设备108包括一个或多个处理单元(CPU)602、一个或多个网络接口 604、存储器606以及用于互连这些组件(有时称为芯片集)的一个或 多个通信总线608。
存储器606包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且可选地包括非易失性存储 器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个 或多个闪存设备或一个或多个其他非易失性固态存储器设备。存储器 606可选地包括远离一个或多个处理单元602的一个或多个存储设备。 存储器606或可替选地存储器606内的非易失性存储器包括非临时性 计算机可读存储介质。在一些实施方式中，存储器606或存储器606 的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其 子集或超集：
·操作系统616，其包括处理各种基本系统服务和执行硬件相关 任务的过程；
·网络通信模块618，用于经由一个或多个网络接口604(有线或 无线)和一个或多个网络110(诸如互联网、其他广域网、局域网、城 域网、有线电视系统、卫星电视系统、IPTV系统等)将投射设备108 连接到其他计算机或系统(例如，服务器系统140、智能家庭设备120 和客户端设备104)；
·内容解码模块620，用于对从一个或多个内容源114接收的内容 信号进行解码，并将解码后的信号中的内容输出到耦合到投射设备108 的输出显示设备106；
·自动媒体显示模块624，其包括一个或多个媒体播放应用624， 用于控制媒体显示，例如根据从云投射服务服务器116接收到的即时 媒体播放信息使媒体输出到输出设备106；以及
·投射设备数据626，其至少存储与媒体显示的自动控制相关联的 数据(例如，以自动媒体输出模式和后续模式)，包括：
ο投射设备设置628，用于存储与投射设备应用的用户账户相关 联的信息，包括账户访问信息、用于设备设置的信息(例如，服务层、 设备型号、存储容量、处理能力、通信能力等)和用于自动媒体显示 控制的信息中的一个或多个；
ο媒体播放器应用设置630，用于存储与一个或多个媒体播放器 应用的用户帐户相关联的信息，包括帐户访问信息、媒体内容类型的 用户偏好、评论历史数据和用于自动媒体显示控制的信息中的一个或 多个。
每个以上识别的元素可以存储在一个或多个前述存储器设备中， 并且对应于用于执行上述功能的指令集合。以上识别的模块或程序 (即，指令集)不需要被实现为单独的软件程序、过程、模块或数据 结构，并且因此这些模块的各种子集可以在各种实施方式中被组合或 以其他方式重新布置。在一些实施方式中，存储器606可选地存储以 上识别的模块和数据结构的子集。此外，存储器606可选地存储未在 上文中描述的附加模块和数据结构。
图7是示出根据一些实施方式的智能媒体环境100的服务器系统 140中的示例服务器的框图。示例服务器是云投射服务服务器116中的 一个。服务器140通常包括一个或多个处理单元(CPU)702、一个或 多个网络接口704、存储器706和用于互连这些组件(有时称为芯片组) 的一个或多个通信总线708。服务器140可以包括便于用户输入的一个 或多个输入设备710，诸如键盘、鼠标、语音命令输入单元或麦克风、 触摸屏显示器、触敏输入板、手势捕捉相机、或其他输入按钮或控件。 此外，服务器140可以使用麦克风和语音识别或相机和手势识别来补 充或替换键盘。在一些实施方式中，服务器140包括用于捕捉例如印 刷在电子设备上的图形系列代码的图像的一个或多个相机、扫描仪或 光传感器单元。服务器140还可以包括一个或多个输出设备712，其能 够呈现用户界面和显示内容，包括一个或多个扬声器和/或一个或多个 视觉显示器。
存储器706包括高速随机存取存储器，例如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且可选地包括非易失性存储 器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个 或多个闪存设备或一个或多个其他非易失性固态存储器设备。存储器 706可选地包括远离一个或多个处理单元702的一个或多个存储设备。 存储器706或可替选地存储器706内的非易失性存储器包括非临时性 计算机可读存储介质。在一些实施方式中，存储器706或存储器706 的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其 子集或超集：
·操作系统716，其包括处理各种基本系统服务和执行硬件相关 任务的过程；
·网络通信模块718，用于经由一个或多个网络接口704(有线或 无线)以及一个或多个网络110(诸如互联网、其他广域网、局域网、 城域网等)将服务器系统140连接到其他设备(例如，服务器系统140 中的各种服务器、投射设备108以及智能家庭设备120)；
·用户界面模块720，用于在客户端设备104处启用信息的呈现(例 如，用于呈现应用826-830、小部件、其网站和网页、和/或游戏、音频 和/或视频内容、文本等的图形用户界面)；
·用于在服务器端执行的命令执行模块721(例如，游戏、社交网 络应用、智能家庭应用和/或其他基于web或非web的应用，用于控制 客户端设备104、投射设备108、电子设备190和智能家庭设备120并 且检查由这样的设备捕获的数据)，包括以下中的一个或多个：
ο投射设备应用722，其被执行以提供用于设备提供、设备控制 以及与投射设备108相关联的用户账户管理的服务器端功能；
ο一个或多个媒体播放器应用724，其被执行以提供用于与对应 媒体源相关联的媒体显示和用户帐户管理的服务器端功能；
ο一个或多个智能家庭设备应用726，其被执行以提供用于对应 的智能家庭设备120的设备提供、设备控制、数据处理和数据查看的 服务器端功能；以及
ο语音辅助应用728，其被执行以设置从电子设备190接收的语 音消息的语音处理或者直接处理语音消息以提取用户语音命令以及投 射设备108或另一电子设备190的指定；以及
·服务器系统数据730至少存储与媒体显示的自动控制(例如， 在自动媒体输出模式和后续模式中)相关联的数据，包括以下中的一 个或多个：
ο客户端设备设置732，用于存储与客户端设备104相关联的信 息(包括公共设备设置(例如，服务层、设备型号、存储容量、处理 能力、通信能力等))以及用于自动媒体显示控制的信息；
ο投射设备设置734，用于存储与投射设备应用722的用户账户 相关联的信息，包括账户访问信息、用于设备设置的信息(例如，服 务层、设备型号、存储容量、处理能力、通信能力等)以及用于自动 媒体显示控制的信息中的一个或多个；
ο媒体播放器应用设置736，用于存储与一个或多个媒体播放器 应用724的用户账户相关联的信息，包括账户访问信息、媒体内容类 型的用户偏好、评论历史数据以及用于自动媒体显示控制的信息中的 一个或多个；
ο智能家庭设备设置738，用于存储与智能家庭应用726的用户 账户相关联的信息，包括账户访问信息、用于一个或多个智能家庭设 备120的信息(例如，服务层、设备型号、存储容量、处理能力、通 信能力等)中的一个或多个；以及
ο语音辅助数据740，用于存储与语音辅助应用728的用户账户 相关联的信息，包括账户访问信息、用于一个或多个电子设备190的 信息(例如，服务层、设备型号、存储容量、处理能力、通信能力等) 中的一个或多个。
当服务器140包括云投射服务服务器116、存储器706或存储器 706的非暂时性计算机可读存储介质时，存储以下程序、模块和数据结 构或其子集或超集：
·设备注册模块750，用于管理耦合到云投射服务服务器116的设 备注册表118；
·云投射应用760，用于将在语音消息中识别的用户语音命令中继 到在云投射用户域中耦合的投射设备180、电子设备190和智能家庭设 备120中的一个或多个；和
·状态报告模块770，用于维护在云投射用户域中耦合的投射设备 180、电子设备190和智能家庭设备120的状态。
以上每个元素可以存储在一个或多个前述存储器设备中，并且对 应于用于执行上述功能的指令集合。以上识别的模块或程序(即，指 令集合)不需要被实现为单独的软件程序、过程、模块或数据结构， 并且因此这些模块的各种子集可以在各种实施方式中被组合或以其他 方式重新布置。在一些实施方式中，存储器706可选地存储以上识别 的模块和数据结构的子集。此外，存储器706可选地存储以上未描述 的附加模块和数据结构。
图8是示出根据一些实施方式的应用于智能媒体环境100中的媒 体显示的自动控制的示例客户端设备104的框图。客户端设备的示例 包括但不限于移动电话、平板计算机和可穿戴个人设备。客户端设备 104通常包括一个或多个处理单元(CPU)802、一个或多个网络接口 804、存储器806以及用于互连这些组件(有时称为芯片集)的一个或 多个通信总线808。客户端设备104包括便于用户输入的一个或多个输 入设备810，诸如键盘、鼠标、语音命令输入单元或麦克风，触摸屏显 示器，触敏输入板、手势捕捉相机、或其他输入按钮或控件。此外， 一些客户端设备104使用麦克风和语音识别或相机和手势识别来补充 或替换键盘。在一些实施方式中，客户端设备104包括用于捕获例如 打印在电子设备上的图形系列代码的图像的一个或多个相机、扫描仪 或光传感器单元。客户端设备104还包括一个或多个输出设备812，其 允许呈现用户界面和显示内容，包括一个或多个扬声器和/或一个或多 个视觉显示器。可选地，客户端设备104包括用于确定客户端设备104 的位置的位置检测设备814，诸如GPS(全球定位卫星)或其他地理位 置接收器。
存储器806包含高速随机存取存储器，例如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备；并且可选地包括非易失性存储 器，诸如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个 或多个闪存设备或一个或多个其他非易失性固态存储器设备。存储器 806可选地包括远离一个或多个处理单元802的一个或多个存储设备。 存储器806或可替选地存储器806内的非易失性存储器包括非临时性 计算机可读存储介质。在一些实施方式中，存储器806或存储器806 的非暂时性计算机可读存储介质存储以下程序、模块和数据结构或其 子集或超集：
·操作系统816，其包括用于处理各种基本系统服务并执行硬件相 关任务的过程；
·网络通信模块818，用于经由一个或多个网络接口804(有线或 无线)和一个或多个网络110(例如互联网、其他广域网、局域网、城 域网等)将客户端设备104连接到其他设备(例如，服务器系统140、 投射设备108、电子设备190、智能家庭设备120和其他客户端设备 104)；
·用户界面模块820，用于经由一个或多个输出设备812(例如， 显示器、扬声器等)在客户端设备104处启用信息的呈现(例如，用 于呈现应用826-830、小部件、其网站和网页、和/或游戏、音频和/或 视频内容、文本等的图形用户界面)；
·输入处理模块822，用于检测来自一个或多个输入设备810的一 个或多个用户输入或交互并解释检测到的输入或交互；
·Web浏览器模块824，用于导航、请求(例如，通过HTTP)以 及显示其网站和网页，包括用于登录与投射设备108、电子设备190、 媒体应用或智能家庭设备120，如果与用户账户相关联，则控制投射设 备108、电子设备190或智能家庭设备120，以及编辑和查看与用户账 户相关联的设置和数据；
·用于由客户端设备执行的一个或多个应用(例如游戏、社交网 络应用、智能家庭应用和/或其他基于web或非web的应用，用于控制 投射设备108、电子设备190和/或智能家庭设备120以及查看由这样 的设备捕获的数据)，包括以下中的一个或多个：
ο投射设备应用826，其被执行以提供客户端功能以用于与投射 设备108相关联的设备提供、设备控制和用户账户管理；
ο语音激活设备应用827，其被执行以提供客户端功能以用于与 电子设备190相关联的设备提供、设备控制和用户账户管理；
ο一个或多个媒体播放器应用828，其被执行以提供用于与对应 媒体源相关联的媒体显示和用户帐户管理的客户端功能；以及
ο一个或多个智能家庭设备应用830，其被执行以用于提供相应 的智能家庭设备120的设备供应、设备控制、数据处理和数据查看的 客户端功能；以及
·至少存储与媒体显示的自动控制(例如，在自动媒体输出模式 或后续模式中)相关联的数据的客户端数据832，其包括：
ο客户端设备设置834，用于存储与客户端设备104本身相关联 的信息，包括常见的设备设置(例如，服务层、设备型号、存储容量、 处理能力、通信能力等)以及用于自动媒体显示控制的信息；
ο投射设备设置836，用于存储与投射设备应用826的用户账户 相关联的信息，包括账户访问信息，用于设备设置的信息(例如，服 务层，设备型号，存储容量，处理能力，通信能力，等等)以及用于 自动媒体显示控制的信息；
ο媒体播放器应用设置838，用于存储与一个或多个媒体播放器 应用828的用户账户相关联的信息，包括账户访问信息、媒体内容类 型的用户偏好、评论历史数据以及用于自动媒体显示控制的信息中的 一个或多个；
ο智能家庭设备设置840，用于存储与智能家庭应用830的用户 账户相关联的信息，包括账户访问信息、用于智能家庭设备设置的信 息(例如，服务层、设备型号、存储容量、处理能力、通信能力等)； 以及
ο语音激活设备设置842，用于存储与语音激活设备应用827的 用户账户相关联的信息，包括账户访问信息、用于电子设备设置的信 息(例如，服务层、设备型号、存储容量、处理能力、通信能力等)。
在一些实施方式中，投射设备应用826、语音激活设备应用827、 媒体播放器应用828和智能家庭设备应用830中的每一个导致在客户 端设备的输出设备812上显示相应的用户界面104。在一些实施方式中， 与投射设备应用826、语音激活设备应用827、媒体播放器应用828和 智能家庭设备应用830相关联的用户的用户账户链接到单个云投射服 务账户。用户可以使用云投射服务账户信息来登录到所有投射设备应 用826、语音激活设备应用827、媒体播放器应用828和智能家庭设备 应用830。在一些实施方式中，存储器806或存储器806的非暂时性计 算机可读存储介质存储云投射应用844，其被执行以提供与链接到相同 的云投射服务帐户(例如，Google用户帐户)的投射设备108、智能 家庭设备120和电子设备相关联的功能控制和用户账户管理的客户端 功能190。
以上识别的元素中的每一个可以存储在一个或多个前述存储器设 备中，并且对应于用于执行上述功能的指令集合。以上识别的模块或 程序(即，指令集合)不需要被实现为单独的软件程序、过程、模块 或数据结构，并且因此这些模块的各种子集可以在各种实施方式中被 组合或以其他方式重新布置。在一些实施方式中，存储器806可选地 存储以上识别的模块和数据结构的子集。此外，存储器806可选地存 储上面未描述的附加模块和数据结构。
图9是示出根据一些实施方式方式的智能媒体环境100中的示例 智能家庭设备120的框图。通常，智能家庭设备120包括一个或多个 处理单元(CPU)902、一个或多个网络接口904、存储器906以及用 于互连这些组件(有时称为芯片集)的一个或多个通信总线908。存储 器906包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或 其他随机存取固态存储器设备；并且可选地包括非易失性存储器，诸 如一个或多个磁盘存储设备、一个或多个光盘存储设备、一个或多个 闪存设备或一个或多个其他非易失性固态存储器设备。存储器906可 选地包括远离一个或多个处理单元902的一个或多个存储设备。存储 器906或可替选地存储器906内的非易失性存储器包括非临时性计算 机可读存储介质。在一些实施方式中，存储器906或存储器906的非 暂时性计算机可读存储介质存储以下程序、模块和数据结构或其子集 或超集：
·操作系统916，其包括用于处理各种基本系统服务和用于执行智 能家庭设备120的硬件相关任务的过程；
·网络通信模块918，用于经由一个或多个网络接口904(有线或 无线)以及一个或多个网络110(诸如互联网、其他广域网、局域网、 城域网等)将智能家庭设备120连接到其他计算机或系统(例如服务 器系统140、客户端设备104、投射设备108、电子设备190和其他智 能家庭设备120)；
·智能家庭设备模块922，用于使智能家庭设备120能够实现其指 定的功能(例如，当智能家庭设备120包括相机132时，用于捕获和 生成多媒体数据流并将该多媒体数据流作为连续馈送或以短阵发发送 给客户端设备104或服务器系统140)。
·至少存储与设备设置926相关联的数据的智能家庭设备数据 924。
在一些实施方式中，智能家庭设备120由语音来控制。具体地， 云投射服务服务器116接收电子设备190记录的语音消息，并确定该 语音消息包括智能设备控制请求(例如，放大或缩小相机，关闭虚假 警报和询问从智能恒温器测量的温度)。智能设备控制请求包括控制 智能家庭设备120的用户语音命令和对智能家庭设备的用户语音指定。 根据对智能家庭设备的语音指定，云投射服务服务器116在设备注册 表118中识别在用户域中与电子设备相关联的智能家庭设备120。云投 射服务服务器116然后向智能家庭设备1290发送另一个设备控制请 求，借此使智能家庭设备120的智能家庭设备模块922能够根据用户 语音指令来控制智能家庭设备120。
以上识别的元素中的每一个可以存储在一个或多个前述存储器设 备中，并且对应于用于执行上述功能的指令集合。以上识别的模块或 程序(即，指令集合)不需要被实现为单独的软件程序、过程、模块 或数据结构，并且因此这些模块的各种子集可以在各种实施方式中被 组合或以其他方式重新布置。在一些实施方式中，存储器906可选地 存储以上识别的模块和数据结构的子集。此外，存储器906可选地存 储上面没有描述的附加模块和数据结构。
智能媒体环境中基于语音的LED显示和媒体控制方法
图10是示出根据一些实施方式的视觉地指示语音处理状态的方 法1000的流程图。方法1000在具有全色LED阵列、一个或多个麦克 风、扬声器、处理器和存储至少一个程序以供处理器执行的存储器的 电子设备190处实现。电子设备190经由一个或多个麦克风402收集 来自电子设备190附近的环境的音频输入(1002)，并且处理(1004) 音频输入。该处理在语音处理模块522处实现，并且包括识别和响应 来自环境中的用户的语音输入中的一个或多个。电子设备190然后从 多个预定义语音处理状态中确定(1006)处理的状态。对于全色LED 中的每一个，电子设备190识别(1008)与确定的语音处理状态相关 联的相应的预定LED照明规范，并且相应的照明规范包括(1010)LED 照明持续时间、脉冲速率、占空比、颜色顺序和亮度中的一个或多个。 根据全色LED的所识别的LED照明规范，电子设备190(具体地，LED 控制模块524)使全色LED阵列的照明同步，以提供指示所确定的语 音处理状态的视觉图案。以上参照图4A-图4H和图5已经解释了关于 方法1000的更多细节。
方法1000可选地由存储在非暂时性计算机可读存储介质中并由 语音激活电子设备190的一个或多个处理器执行的指令来管理。图10 中所示的每个操作可对应于存储在计算机存储器或计算机可读存储介 质(例如，图5中的电子设备190的存储器506)中的指令。计算机可 读存储介质可以包括磁或光盘存储设备，诸如闪存的固态存储器设备， 或其他非易失性存储器设备。存储在计算机可读存储介质上的计算机 可读指令可以包括以下中的一个或多个：源代码、汇编语言代码、目 标代码或由一个或多个处理器解释的其他指令格式。方法1000中的一 些操作可以被组合和/或一些操作的顺序可以被改变。
图11是示出根据一些实施方式的通过语音来发起显示媒体内容 的隐藏字幕的方法1100的流程图。方法1100在服务器系统(例如， 云投射服务服务器116)处实现，该服务器系统包括处理器和存储用于 由处理器执行的至少一个程序(例如，云投射应用760)的存储器。服 务器系统接收(1102)由电子设备190记录的语音消息，并确定(1104) 该语音消息是第一隐藏字幕发起请求。第一隐藏字幕发起请求包括 (1106)发起隐藏字幕的用户语音命令以及播放隐藏字幕将被激活的 媒体内容的对显示设备106的用户语音指定。根据对显示设备的指定， 服务器系统在设备注册表118中识别(1108)在用户域中与电子设备190相关联并且耦合到指定的显示设备106的投射设备108。投射设备 108被配置(1110)为执行媒体播放应用，用于控制指定的显示设备显 示从媒体内容托管接收的媒体内容。然后，服务器系统(具体地，云 投射应用760)向耦合到指定显示设备的投射设备发送(1112)第二隐 藏字幕发起请求，从而使投射设备能够执行媒体播放应用，其控制指 定显示设备打开当前显示在指定显示设备上的媒体内容的隐藏字幕， 并根据第二隐藏字幕发起请求显示隐藏字幕。以上参考图2A、图2B 和图5-图7已经解释了关于方法1100的更多细节。
图12是示出根据一些实施方式的通过媒体输出设备上的媒体内 容的语音播放来发起的方法1200的流程图。方法1200在服务器系统 (例如，云投射服务服务器116)处实现，该服务器系统包括处理器和 存储由处理器执行的至少一个程序的存储器。服务器系统接收(1202) 由电子设备记录的语音消息，并且确定(1204)该语音消息包括第一 媒体播放请求。第一媒体播放请求包括(1206)在媒体输出设备上播 放媒体内容的用户语音命令和媒体输出设备106的用户语音指定，并 且用户语音命令至少包括第一媒体播放应用的信息和需要播放的媒体 内容。根据对媒体输出设备的语音指定，服务器系统在设备注册表118 中识别(1208)在用户域中与电子设备190相关联并且耦合到媒体输 出设备106的投射设备108。投射设备108被配置为(1210)执行一个 或多个媒体播放应用，用于控制媒体输出设备106播放从一个或多个 媒体内容托管接收的媒体内容。然后，服务器系统(具体地，云投射应用760)向投射设备108发送包括第一媒体播放应用的信息和需要播 放的媒体内容的第二媒体播放请求(1212)，由此使投射设备108能 够执行控制媒体输出设备106播放媒体内容的第一媒体播放应用。以 上参考图2A、图2B和图5-图7已经解释了关于方法1200的更多细节。
图13是示出根据一些实施方式的将媒体内容的播放从源媒体输 出设备移动播放到目的地媒体输出设备的方法1300的流程图。方法 1200在服务器系统(例如，云投射服务服务器116)处实现，该服务 器系统包括处理器和存储由处理器执行的至少一个程序的存储器。
服务器系统接收(1302)由电子设备190记录的语音消息，并且 确定(1304)该语音消息包括媒体传送请求。媒体传送请求包括(1306) 将正在播放的媒体内容传送到目的地媒体输出设备的用户语音命令以 及对目的地媒体输出设备的用户语音指定。服务器系统从源投射设备 (例如，图3的投射设备108-1)获得当前正在播放的媒体内容的即时 媒体播放信息(1308)。即时播放信息包括(1310)至少第一媒体播 放应用的信息、当前正播放的媒体内容以及与播放媒体内容有关的时 间位置。
根据对目的地媒体输出设备的语音指定，服务器系统在设备注册 表118中识别(1312)在用户域中与电子设备190相关联并且耦合到 目的地媒体输出设备(例如，图3的输出设备106-2)的目的地投射设 备(例如，图3的投射设备108-2)。目的地投射设备被配置为(1314) 执行一个或多个媒体播放应用，用于控制目的地媒体输出设备播放从 一个或多个媒体内容托管接收的媒体内容。然后，服务器系统(具体 地，云投射应用760)向目的地投射设备发送包括即时媒体播放信息的 媒体播放请求(1316)，由此使目的地投射设备能够执行第一媒体播 放应用，其控制目的地媒体输出设备从时间位置播放媒体内容。以上 参照图3和图5-图7已经解释了关于方法1300的更多细节。
方法1100、1200和1300可选地由存储在非暂时性计算机可读存 储介质中并由云投射服务服务器116的一个或多个处理器执行的指令 来管理。图11-图13中所示出的每个操作可以对应于存储在计算机存 储器或计算机可读存储介质(例如，图7中的服务器系统的存储器706) 中的指令。计算机可读存储介质可以包括磁或光盘存储设备，诸如闪 存的固态存储器设备，或其他非易失性存储器设备。存储在计算机可 读存储介质上的计算机可读指令可以包括以下中的一个或多个：源代 码、汇编语言代码、目标代码或由一个或多个处理器解释的其他指令 格式。方法1100、1200和1300中的每一个中的一些操作可以被组合和/或一些操作的顺序可以被改变。
在此描述的各种所描述的实施方式中使用的术语仅用于描述特定 实施方式的目的，而不旨在限制。如在各种所描述的实施方式和所附 权利要求的描述中所使用的，除非上下文另外清楚地指出，否则单数 形式“一”、“一个”和“该”旨在也包括复数形式。还将理解的是， 本文所使用的术语“和/或”是指并且包含一个或多个相关所列项目的 任何和所有可能的组合。将进一步理解的是，当在本说明书中使用时， 术语“包括”、“包含”、“包含”和/或“包含”指明所述特征、整 体、步骤、操作、元件和/或部件，但不排除一个或多个其他特征、整 体、步骤、操作、元件、部件和/或其组合的存在或添加。
如本文中所使用的，术语“如果”可选地被解释为取决于上下文 意指“何时”或“之后”或“响应于确定”或“响应于检测”或“根 据确定”。类似地，短语“如果确定”或“如果[检测到所述条件或事 件]”被可选地解释为取决于上下文意指“确定”或“响应于确定”或 “在检测到[所述状况或事件]”或“响应于检测到[所述状况或事件]” 或“根据确定[所述状况或事件]被检测到”。
应该理解的是，“智能媒体环境”可以是指用于诸如单户住宅的 家庭的智能环境，但是本教导的范围不限于此。本教导也适用于(但 不限于)双工房、联排别墅、多单元公寓楼、宾馆、零售店、写字楼、 工业建筑以及更普遍的任何生活空间或工作空间。
还应当认识到，尽管术语用户、顾客、安装者、房主、占有者、 客人、租户、房东、维修人员等等可以用于指代在此描述的一些特别 情况的场境中行动的一个或多个人，但是这些参考文献不限制对于正 在执行这样的动作的一个或多个人的本教导的范围。因此，例如，在 单户家庭住宅的情况下，用户、客户、购买者、安装者、订户和房主 的用语通常可以指相同个人，因为家庭的主管通常是进行购买决定、 购买设备、安装和配置设备，也是单元的用户之一。然而，在诸如房 东租户环境的其他情况下，客户可能是购买该单元的房东，安装者可 能是当地的公寓主管，第一用户可能是租户，并且第二用户可能在遥 控功能方面再次是房东。重要的是，虽然执行动作的人的身份可能与 一个或多个实施方式提供的特定优势有密切关系，但这样的身份不应 被解释为必须将本教导的范围限制为那些具有这些特定身份的特定个 人的随后的描述。
尽管各种附图以特定顺序示出了多个逻辑阶段，但不依赖顺序的 阶段可以被重新排序并且其他阶段可以被组合或者分解。虽然具体提 到了一些重新排序或其他分组，但是其他对于本领域的普通技术人员 而言将是显而易见的，因此本文中呈现的排序和分组不是详尽的备选 方案列表。此外，应该认识到，这些阶段可以用硬件、固件、软件或 其任何组合来实现。
为了解释的目的，前面的描述已经参考具体实施方式进行了描述。 然而，上面的说明性讨论并不是穷尽性的或将权利要求的范围限制为 所公开的确切形式。鉴于上述教导，许多修改和变化是可能的。选择 这些实施方式是为了最好地解释权利要求及其实际应用的基础原理， 从而使本领域的其他技术人员能够最佳地使用具有适合于预期的特定 用途的各种修改的实施方式。
应注意的是，在与本申请一起提交的附录中还公开了关于上述实 施方式和替代实施方式的更多细节。在附录中，OOBE是指开箱即用的 体验(out-of-box experience)。

Claims (20)

1.一种用于由语音控制媒体内容的播放的方法，包括：
在包括处理器和存储用于由所述处理器执行的至少一个程序的存储器的服务器系统处：
经由电子设备接收语音消息；
确定所述语音消息包括第一媒体播放请求，其中，所述第一媒体播放请求包括用于播放媒体内容的用户语音命令和对媒体输出系统的用户语音指定，所述用户语音命令至少包括请求播放的所述媒体内容的信息，其中，所述媒体输出系统与所述电子设备不同并且在虚拟用户域中与所述电子设备相关联；
根据对所述媒体输出系统的所述语音指定，在设备注册表中识别在所述虚拟用户域中与所述电子设备相关联的所述媒体输出系统，其中，所述媒体输出系统被配置为执行一个或多个媒体播放应用以播放从一个或多个媒体内容托管接收的媒体内容；以及
向所识别的媒体输出系统发送第二媒体播放请求，所述第二媒体播放请求包括第一媒体播放应用的信息和请求播放的所述媒体内容的信息，从而使所述媒体输出系统能够执行控制所述媒体输出系统的所述第一媒体播放应用以播放所请求的媒体内容。
2.根据权利要求1所述的方法，其中，所述媒体输出系统包括媒体输出设备和与所述媒体输出设备通信耦合的投射设备，并且所述投射设备被配置为执行所述一个或多个媒体播放应用以便控制所述媒体播放设备播放从所述一个或多个媒体内容托管接收的媒体内容，所述一个或多个媒体播放应用包括所述第一媒体播放应用，并且其中，识别所述媒体输出系统还包括：
根据对所述媒体输出系统的所述语音指定，识别被配置为播放所请求的媒体内容的所述媒体输出设备；以及
在所述设备注册表中识别与所述媒体输出设备通信耦合的所述投射设备，其中，所述第二媒体播放请求被发送到所述投射设备。
3.根据权利要求1所述的方法，其中，所述服务器系统被配置为管理所述虚拟用户域，在所述虚拟用户域中所述电子设备和所识别的媒体输出系统被注册并且经由用户账户彼此链接。
4.根据权利要求3所述的方法，其中，至少一个或多个其他客户端设备在所述虚拟用户域中被注册并且被链接到所述用户账户。
5.根据权利要求1所述的方法，其中，所述用户语音命令还包括所述第一媒体播放应用的信息，还包括：
从所述用户语音命令中获取所述第一媒体播放应用的所述信息。
6.根据权利要求1所述的方法，其中，所述媒体输出系统包括第二媒体输出系统，并且所述用户语音命令不包括所述第一媒体播放应用的信息，还包括：
从与所述第二媒体输出系统不同的第一媒体输出系统获取即时播放信息，所述即时播放信息至少包括所述第一媒体播放应用的信息。
7.根据权利要求6所述的方法，其中，所述即时播放信息还包括与所请求的媒体内容的播放有关的时间位置，还包括：
响应于接收到所述语音消息，在所请求的媒体内容的所述时间位置处在所述第一媒体输出系统处停止所请求的媒体内容的播放。
8.根据权利要求1所述的方法，其中，所述电子设备被布置为接近所述媒体输出系统，并且所述电子设备和所述媒体输出系统被耦合到局部通信网络。
9.根据权利要求1所述的方法，其中，所述电子设备被布置为接近所述媒体输出系统，并且所述电子设备和所述媒体输出系统被耦合到两个不同的局部通信网络。
10.根据权利要求1所述的方法，其中，所述电子设备和所识别的媒体输出系统在所述虚拟用户域中被注册并且经由用户账户彼此链接，还包括：
响应于由所述用户账户进行的请求而确定所请求的媒体内容是先前被播放的；
获得即时播放信息，所述即时播放信息包括所请求的媒体内容先前被停止的时间位置；以及
将所述即时播放信息以及所述第二媒体播放请求发送给所识别的媒体输出系统，其中，所述媒体输出系统包括投射设备和媒体输出设备，并且所述投射设备被配置为执行所述第一媒体播放应用以控制所述媒体输出设备根据所述即时播放信息来播放所请求的媒体内容。
11.一种服务器系统，包括：
一个或多个处理器；以及
其上存储指令的存储器，所述指令在被所述一个或多个处理器执行时，使所述处理器执行以下操作：
经由电子设备接收语音消息；
确定所述语音消息包括第一媒体播放请求，其中，所述第一媒体播放请求包括用于播放媒体内容的用户语音命令和对媒体输出系统的用户语音指定，所述用户语音命令至少包括请求播放的所述媒体内容的信息，其中，所述媒体输出系统与所述电子设备不同并且在虚拟用户域中与所述电子设备相关联；
根据对所述媒体输出系统的所述语音指定，在设备注册表中识别在所述虚拟用户域中与所述电子设备相关联的所述媒体输出系统，其中，所述媒体输出系统被配置为执行一个或多个媒体播放应用以播放从一个或多个媒体内容托管接收的媒体内容；以及
向所识别的媒体输出系统发送第二媒体播放请求，所述第二媒体播放请求包括第一媒体播放应用的信息和请求播放的所述媒体内容的信息，从而使所述媒体输出系统能够执行控制所述媒体输出系统的所述第一媒体播放应用以播放所请求的媒体内容。
12.根据权利要求11所述的服务器系统，其中，所述电子设备和所识别的媒体输出系统在所述虚拟用户域中被注册并经由用户账户彼此链接，并且所述存储器还包括用于以下的指令：
确定所请求的媒体内容当前正在源媒体输出系统处播放；
根据所述设备注册表，确定所述源媒体输出系统在所述用户域中与所述电子设备和所述目的地媒体输出系统相关联；
向所述源媒体输出系统发送媒体信息请求；以及
从所述源媒体输出系统接收所述第一媒体应用的信息。
13.根据权利要求11所述的服务器系统，其中，所述存储器还包括用于以下的指令：
将所述语音消息转发到语音辅助服务器，所述语音辅助服务器解析所述语音消息并识别所述用户语音命令和对所述媒体输出系统的所述语音指定；以及
从所述语音辅助服务器接收所述用户语音命令和对所述媒体输出系统的所述语音指定。
14.根据权利要求11所述的服务器系统，其中，所述服务器系统与将所请求的媒体内容提供给所识别的媒体输出系统以便由所述媒体输出系统播放的内容托管不同。
15.根据权利要求11所述的服务器系统，其中，所述电子设备和所识别的媒体输出系统远离所述服务器系统并且经由一个或多个无线通信网络通信耦合到所述服务器系统。
16.一种具有存储在其上的指令的非暂时性计算机可读介质，所述指令在由服务器系统的一个或多个处理器执行时，使所述处理器执行操作，所述操作包括：
经由电子设备接收语音消息；
确定所述语音消息包括第一媒体播放请求，其中，所述第一媒体播放请求包括用于播放媒体内容的用户语音命令和对媒体输出系统的用户语音指定，所述用户语音命令至少包括请求播放的所述媒体内容的信息，其中，所述媒体输出系统与所述电子设备不同并且在虚拟用户域中与所述电子设备相关联；
根据对所述媒体输出系统的所述语音指定，在设备注册表中识别在所述虚拟用户域中与所述电子设备相关联的所述媒体输出系统，其中，所述媒体输出系统被配置为执行一个或多个媒体播放应用以播放从一个或多个媒体内容托管接收的媒体内容；以及
向所识别的媒体输出系统发送第二媒体播放请求，所述第二媒体播放请求包括第一媒体播放应用的信息和请求播放的所述媒体内容的信息，从而使所述媒体输出系统能够执行控制所述媒体输出系统的所述第一媒体播放应用以播放所请求的媒体内容。
17.根据权利要求16所述的非暂时性计算机可读介质，其中，所述电子设备是包括麦克风和扬声器的语音接口设备，并且所述语音接口设备不具有显示器。
18.根据权利要求16所述的非暂时性计算机可读介质，其中，所述电子设备是被配置为执行语音助理程序的移动电话。
19.根据权利要求16所述的非暂时性计算机可读介质，其中，所述媒体输出系统包括媒体输出设备和投射设备，并且对所述目的地媒体输出系统的所述用户语音指定包括对所述媒体输出设备的描述，还包括用于以下的指令：
根据对所述媒体输出设备的所述描述，在所述设备注册表中识别多个媒体输出设备当中的所述媒体输出设备。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，对所述媒体输出设备的所述描述至少包括所述媒体输出设备的品牌或位置。
CN202110178882.0A 2016-05-13 2017-05-11 媒体输出设备之间的媒体传送 Pending CN112947683A (zh)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201662336551P 2016-05-13 2016-05-13
US201662336565P 2016-05-13 2016-05-13
US201662336566P 2016-05-13 2016-05-13
US201662336569P 2016-05-13 2016-05-13
US62/336,565 2016-05-13
US62/336,569 2016-05-13
US62/336,566 2016-05-13
US62/336,551 2016-05-13
US15/592,128 US10332516B2 (en) 2016-05-10 2017-05-10 Media transfer among media output devices
US15/592,120 2017-05-10
US15/592,128 2017-05-10
US15/592,126 2017-05-10
US15/592,120 US10304450B2 (en) 2016-05-10 2017-05-10 LED design language for visual affordance of voice user interfaces
US15/592,126 US10235997B2 (en) 2016-05-10 2017-05-10 Voice-controlled closed caption display
CN201780011381.5A CN108604181B (zh) 2016-05-13 2017-05-11 媒体输出设备之间的媒体传送

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780011381.5A Division CN108604181B (zh) 2016-05-13 2017-05-11 媒体输出设备之间的媒体传送

Publications (1)

Publication Number Publication Date
CN112947683A true CN112947683A (zh) 2021-06-11

Family

ID=60295267

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202210299423.2A Pending CN114758655A (zh) 2016-05-13 2017-05-11 语音控制的隐藏字幕显示
CN201780011386.8A Active CN108604254B (zh) 2016-05-13 2017-05-11 语音控制的隐藏字幕显示
CN202110178882.0A Pending CN112947683A (zh) 2016-05-13 2017-05-11 媒体输出设备之间的媒体传送
CN201780011357.1A Pending CN108604180A (zh) 2016-05-13 2017-05-11 用于语音用户界面的视觉效果的led设计语言
CN201780011381.5A Active CN108604181B (zh) 2016-05-13 2017-05-11 媒体输出设备之间的媒体传送
CN201780009235.9A Active CN108604178B (zh) 2016-05-13 2017-05-12 个性化和场境化的音频简报

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202210299423.2A Pending CN114758655A (zh) 2016-05-13 2017-05-11 语音控制的隐藏字幕显示
CN201780011386.8A Active CN108604254B (zh) 2016-05-13 2017-05-11 语音控制的隐藏字幕显示

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201780011357.1A Pending CN108604180A (zh) 2016-05-13 2017-05-11 用于语音用户界面的视觉效果的led设计语言
CN201780011381.5A Active CN108604181B (zh) 2016-05-13 2017-05-11 媒体输出设备之间的媒体传送
CN201780009235.9A Active CN108604178B (zh) 2016-05-13 2017-05-12 个性化和场境化的音频简报

Country Status (5)

Country Link
US (2) US10402450B2 (zh)
EP (5) EP3455721B1 (zh)
JP (2) JP6797938B2 (zh)
KR (2) KR102114003B1 (zh)
CN (6) CN114758655A (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10515637B1 (en) * 2017-09-19 2019-12-24 Amazon Technologies, Inc. Dynamic speech processing
US11526518B2 (en) 2017-09-22 2022-12-13 Amazon Technologies, Inc. Data reporting system and method
US20190095444A1 (en) * 2017-09-22 2019-03-28 Amazon Technologies, Inc. Voice driven analytics
JP6943192B2 (ja) * 2018-01-24 2021-09-29 沖電気工業株式会社 家電機器および場所検索システム
CN111903138A (zh) * 2018-03-29 2020-11-06 索尼公司 信息处理装置、信息处理方法、发送装置以及发送方法
CN117056947A (zh) * 2018-05-07 2023-11-14 谷歌有限责任公司 在计算设备之间同步访问控制
US11085777B2 (en) * 2018-07-27 2021-08-10 Adobe Inc. Generating digital event sequences utilizing a dynamic user preference interface to modify recommendation model reward functions
US11231975B2 (en) * 2018-09-29 2022-01-25 Apple Inc. Devices, methods, and user interfaces for providing audio notifications
US20200127988A1 (en) * 2018-10-19 2020-04-23 Apple Inc. Media intercom over a secure device to device communication channel
US10867603B2 (en) * 2018-10-24 2020-12-15 Sony Corporation Audio-video reproduction device setup using interview-based voice control
US10878805B2 (en) * 2018-12-06 2020-12-29 Microsoft Technology Licensing, Llc Expediting interaction with a digital assistant by predicting user responses
FR3093840B1 (fr) 2019-03-14 2021-02-19 Psa Automobiles Sa Procédé et dispositif d’assistance à l’utilisation d’un véhicule automobile
US10990939B2 (en) 2019-04-15 2021-04-27 Advanced New Technologies Co., Ltd. Method and device for voice broadcast
US10802843B1 (en) * 2019-05-31 2020-10-13 Apple Inc. Multi-user configuration
CN110501988B (zh) * 2019-09-25 2020-06-09 北京金茂绿建科技有限公司 一种实现物联网设备融合控制方法及其装置
JP2021091182A (ja) * 2019-12-12 2021-06-17 コニカミノルタ株式会社 画像処理装置及び制御方法
US11322150B2 (en) * 2020-01-28 2022-05-03 Amazon Technologies, Inc. Generating event output
US11036466B1 (en) 2020-02-28 2021-06-15 Facebook, Inc. Social media custom audio program
CN113365124B (zh) * 2020-03-06 2023-01-20 海信视像科技股份有限公司 一种显示设备及显示方法
KR20220155443A (ko) 2020-03-13 2022-11-23 구글 엘엘씨 지식-기반 미디어 컨텐츠 추천들 및 통합형 사용자 인터페이스들을 갖는 네트워크-연결된 텔레비전 디바이스들
WO2021183148A2 (en) * 2020-03-13 2021-09-16 Google Llc Media content casting in network-connected television devices
CN112735419A (zh) * 2021-01-28 2021-04-30 东莞维升电子制品有限公司 智能语音唤醒控制方法及及其控制装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060075429A1 (en) * 2004-04-30 2006-04-06 Vulcan Inc. Voice control of television-related information
US7721313B2 (en) * 2006-06-30 2010-05-18 Microsoft Corporation Multi-DVR node communication
US20110283243A1 (en) * 2010-05-11 2011-11-17 Al Squared Dedicated on-screen closed caption display
US20120260192A1 (en) * 2011-04-11 2012-10-11 Detweiler Sean D Automated browser mode based on user and access point
US20150154976A1 (en) * 2013-12-02 2015-06-04 Rawles Llc Natural Language Control of Secondary Device

Family Cites Families (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659665A (en) 1994-12-08 1997-08-19 Lucent Technologies Inc. Method and apparatus for including speech recognition capabilities in a computer system
US5774859A (en) 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US5760754A (en) 1995-12-04 1998-06-02 Motorola, Inc. Light pipe assembly and electrical device using same
US6195641B1 (en) 1998-03-27 2001-02-27 International Business Machines Corp. Network universal spoken language vocabulary
US7050977B1 (en) 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US6397186B1 (en) 1999-12-22 2002-05-28 Ambush Interactive, Inc. Hands-free, voice-operated remote control transmitter
US6681380B1 (en) * 2000-02-15 2004-01-20 International Business Machines Corporation Aggregating constraints and/or preferences using an inference engine and enhanced scripting language
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
US7426505B2 (en) * 2001-03-07 2008-09-16 International Business Machines Corporation Method for identifying word patterns in text
US7302634B2 (en) * 2001-03-14 2007-11-27 Microsoft Corporation Schema-based services for identity-based data access
US20030120744A1 (en) * 2001-12-20 2003-06-26 Gordon Kessler Method and apparatus for providing downlaoded audio data
US7493259B2 (en) * 2002-01-04 2009-02-17 Siebel Systems, Inc. Method for accessing data via voice
US7260538B2 (en) 2002-01-08 2007-08-21 Promptu Systems Corporation Method and apparatus for voice control of a television control device
US20040001095A1 (en) 2002-07-01 2004-01-01 Todd Marques Method and apparatus for universal device management
JP2004102415A (ja) * 2002-09-05 2004-04-02 Toshiba Corp データ伝送装置およびデータ伝送方法並びに車載用電子機器
US20060276230A1 (en) * 2002-10-01 2006-12-07 Mcconnell Christopher F System and method for wireless audio communication with a computer
US7911358B2 (en) * 2002-10-08 2011-03-22 Johnson Controls Technology Company System and method for enrollment of a remotely controlled device in a trainable transmitter
JP4292789B2 (ja) 2002-11-20 2009-07-08 日本電気株式会社 ブラウザ機能拡張方法
US7925754B2 (en) * 2003-11-21 2011-04-12 Microsoft Corporation Method and computer program product to provide synch notifications to client devices
US7660715B1 (en) * 2004-01-12 2010-02-09 Avaya Inc. Transparent monitoring and intervention to improve automatic adaptation of speech models
US20050164681A1 (en) * 2004-01-22 2005-07-28 Jenkins William W. Voice message storage in a push-to-talk communication system
US20050212684A1 (en) 2004-03-23 2005-09-29 Flora Huang Indicating apparatus combined with flash
TWM260059U (en) * 2004-07-08 2005-03-21 Blueexpert Technology Corp Computer input device having bluetooth handsfree handset
JP2006286275A (ja) 2005-03-31 2006-10-19 Koizumi Sangyo Corp 照明器具の制御装置
EP1750253B1 (en) 2005-08-04 2012-03-21 Nuance Communications, Inc. Speech dialog system
US8104054B2 (en) * 2005-09-01 2012-01-24 At&T Intellectual Property I, L.P. Methods, systems, and devices for bandwidth conservation
US7996228B2 (en) 2005-12-22 2011-08-09 Microsoft Corporation Voice initiated network operations
US8516087B2 (en) 2006-02-14 2013-08-20 At&T Intellectual Property I, L.P. Home automation system and method
US20080010652A1 (en) 2006-07-07 2008-01-10 General Instrument Corporation Association of Network Terminals to a Common Account
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8073697B2 (en) * 2006-09-12 2011-12-06 International Business Machines Corporation Establishing a multimodal personality for a multimodal application
US8056070B2 (en) 2007-01-10 2011-11-08 Goller Michael D System and method for modifying and updating a speech recognition program
US20080180572A1 (en) 2007-01-29 2008-07-31 Microsoft Corporation Enabling access to closed captioning data present in a broadcast stream
JP4315986B2 (ja) * 2007-02-08 2009-08-19 富士通株式会社 発光ダイオードを備えた電子機器
US8219406B2 (en) * 2007-03-15 2012-07-10 Microsoft Corporation Speech-centric multimodal user interface design in mobile technology
CN101309390B (zh) * 2007-05-17 2012-05-23 华为技术有限公司 视讯通信系统、装置及其字幕显示方法
US8538757B2 (en) 2007-05-17 2013-09-17 Redstart Systems, Inc. System and method of a list commands utility for a speech recognition command system
US8150699B2 (en) 2007-05-17 2012-04-03 Redstart Systems, Inc. Systems and methods of a structured grammar for a speech recognition command system
US8160426B2 (en) 2007-10-12 2012-04-17 Rovi Guides, Inc. Storage management of a recording device in a multi-user system
US8521766B1 (en) * 2007-11-12 2013-08-27 W Leo Hoarty Systems and methods for providing information discovery and retrieval
US8543622B2 (en) 2007-12-07 2013-09-24 Patrick Giblin Method and system for meta-tagging media content and distribution
US8385536B2 (en) 2008-01-09 2013-02-26 Verizon Patent And Licensing Inc. Automatic telephone number favorites list
US9135809B2 (en) 2008-06-20 2015-09-15 At&T Intellectual Property I, Lp Voice enabled remote control for a set-top box
US8898568B2 (en) * 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8244531B2 (en) * 2008-09-28 2012-08-14 Avaya Inc. Method of retaining a media stream without its private audio content
JP5334178B2 (ja) 2009-01-21 2013-11-06 クラリオン株式会社 音声認識装置およびデータ更新方法
US8423353B2 (en) 2009-03-25 2013-04-16 Microsoft Corporation Sharable distributed dictionary for applications
US20100265397A1 (en) 2009-04-20 2010-10-21 Tandberg Television, Inc. Systems and methods for providing dynamically determined closed caption translations for vod content
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US20120253822A1 (en) 2009-12-11 2012-10-04 Thomas Barton Schalk Systems and Methods for Managing Prompts for a Connected Vehicle
US20110161085A1 (en) * 2009-12-31 2011-06-30 Nokia Corporation Method and apparatus for audio summary of activity for user
US8750687B2 (en) * 2010-06-16 2014-06-10 Verizon Patent And Licensing Inc. Method and apparatus for managing digital video recorders
US9633656B2 (en) 2010-07-27 2017-04-25 Sony Corporation Device registration process from second display
US8473289B2 (en) * 2010-08-06 2013-06-25 Google Inc. Disambiguating input based on context
US20120096497A1 (en) 2010-10-14 2012-04-19 Sony Corporation Recording television content
CN102064985B (zh) * 2010-11-24 2013-04-24 深圳市同洲电子股份有限公司 基于互动电视应用的数字智能家电远程控制系统和方法
TW201224966A (en) * 2010-12-03 2012-06-16 Accton Technology Corp Interactive media player system and method thereof
US10382509B2 (en) 2011-01-28 2019-08-13 Amazon Technologies, Inc. Audio-based application architecture
US20120226981A1 (en) 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
CN102148031A (zh) 2011-04-01 2011-08-10 无锡大核科技有限公司 语音识别与交互系统及方法
CN102196207B (zh) * 2011-05-12 2014-06-18 深圳市车音网科技有限公司 语音控制电视机的方法、装置和系统
WO2013012107A1 (ko) 2011-07-19 2013-01-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
US20130046773A1 (en) 2011-08-18 2013-02-21 General Instrument Corporation Method and apparatus for user-based tagging of media content
CN102289374B (zh) 2011-08-31 2017-06-30 南京中兴新软件有限责任公司 一种构建跨平台软件运行环境的方法及装置
US9495331B2 (en) * 2011-09-19 2016-11-15 Personetics Technologies Ltd. Advanced system and method for automated-context-aware-dialog with human users
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US8340975B1 (en) 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
SG11201402257SA (en) 2011-10-11 2014-07-30 Serge Media Inc System and methods for content-search carousel for mobile-computing devices
US9326088B2 (en) 2011-10-21 2016-04-26 GM Global Technology Operations LLC Mobile voice platform architecture with remote service interfaces
US9847083B2 (en) 2011-11-17 2017-12-19 Universal Electronics Inc. System and method for voice actuated configuration of a controlling device
US8954330B2 (en) * 2011-11-28 2015-02-10 Microsoft Corporation Context-aware interaction system using a semantic model
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
US8793136B2 (en) * 2012-02-17 2014-07-29 Lg Electronics Inc. Method and apparatus for smart voice recognition
US9836545B2 (en) * 2012-04-27 2017-12-05 Yahoo Holdings, Inc. Systems and methods for personalized generalized content recommendations
CN102685579B (zh) * 2012-05-02 2015-03-25 合一网络技术(北京)有限公司 一种实现本地网络中多装置间媒体分享及控制的方法
US10156455B2 (en) * 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
US20130332159A1 (en) 2012-06-08 2013-12-12 Apple Inc. Using fan throttling to enhance dictation accuracy
US9679330B2 (en) * 2012-06-10 2017-06-13 Apple Inc. Interface for enhanced continuity of browsing experience
KR20130140423A (ko) * 2012-06-14 2013-12-24 삼성전자주식회사 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US10620797B2 (en) * 2012-06-29 2020-04-14 Spotify Ab Systems and methods for multi-context media control and playback
US9195383B2 (en) 2012-06-29 2015-11-24 Spotify Ab Systems and methods for multi-path control signals for media presentation devices
US9786294B1 (en) 2012-07-30 2017-10-10 Amazon Technologies, Inc. Visual indication of an operational state
US9779757B1 (en) 2012-07-30 2017-10-03 Amazon Technologies, Inc. Visual indication of an operational state
US9106957B2 (en) 2012-08-16 2015-08-11 Nuance Communications, Inc. Method and apparatus for searching data sources for entertainment systems
US10026394B1 (en) * 2012-08-31 2018-07-17 Amazon Technologies, Inc. Managing dialogs on a speech recognition platform
US9576574B2 (en) * 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
JP5986468B2 (ja) 2012-09-25 2016-09-06 富士通テン株式会社 表示制御装置、表示システム及び表示制御方法
US9043210B1 (en) * 2012-10-02 2015-05-26 Voice Security Systems, Inc. Biometric voice command and control switching device and method of use
US9230560B2 (en) 2012-10-08 2016-01-05 Nant Holdings Ip, Llc Smart home automation systems and methods
WO2014064531A1 (en) 2012-10-22 2014-05-01 Spotify Ab Systems and methods for pre-fetching media content
PL401346A1 (pl) * 2012-10-25 2014-04-28 Ivona Software Spółka Z Ograniczoną Odpowiedzialnością Generowanie spersonalizowanych programów audio z zawartości tekstowej
US9337674B2 (en) 2012-11-02 2016-05-10 Chen-Source Inc. Desktop charger
US9704486B2 (en) 2012-12-11 2017-07-11 Amazon Technologies, Inc. Speech recognition power management
US9672822B2 (en) * 2013-02-22 2017-06-06 Next It Corporation Interaction with a portion of a content item through a virtual assistant
US9292832B2 (en) 2013-02-25 2016-03-22 Qualcomm Incorporated Collaborative intelligence and decision-making in an IoT device group
US9361885B2 (en) 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US10445115B2 (en) 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
US9304736B1 (en) 2013-04-18 2016-04-05 Amazon Technologies, Inc. Voice controlled assistant with non-verbal code entry
US9116619B2 (en) 2013-05-10 2015-08-25 Seagate Technology Llc Displaying storage device status conditions using multi-color light emitting diode
US9811087B2 (en) * 2013-05-15 2017-11-07 Deere & Company Method for controlling a vehicle and a vehicle guidance system
US9843623B2 (en) * 2013-05-28 2017-12-12 Qualcomm Incorporated Systems and methods for selecting media items
WO2014197336A1 (en) * 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US20140365887A1 (en) * 2013-06-10 2014-12-11 Kirk Robert CAMERON Interactive platform generating multimedia from user input
US9324322B1 (en) 2013-06-18 2016-04-26 Amazon Technologies, Inc. Automatic volume attenuation for speech enabled devices
US9554632B2 (en) 2013-06-21 2017-01-31 Logitech Europe S.A. Portable device case and accessories
US9997160B2 (en) 2013-07-01 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for dynamic download of embedded voice components
CN103474068B (zh) 2013-08-19 2016-08-10 科大讯飞股份有限公司 实现语音命令控制的方法、设备及系统
US9431004B2 (en) * 2013-09-05 2016-08-30 International Business Machines Corporation Variable-depth audio presentation of textual information
KR20150029974A (ko) 2013-09-11 2015-03-19 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN103501382B (zh) 2013-09-17 2015-06-24 小米科技有限责任公司 语音服务提供方法、装置和终端
US9240182B2 (en) 2013-09-17 2016-01-19 Qualcomm Incorporated Method and apparatus for adjusting detection threshold for activating voice assistant function
US9443527B1 (en) 2013-09-27 2016-09-13 Amazon Technologies, Inc. Speech recognition capability generation and control
US9520054B2 (en) 2013-10-07 2016-12-13 Google Inc. Mobile user interface for smart-home hazard detector configuration
US9484025B2 (en) 2013-10-15 2016-11-01 Toyota Jidosha Kabushiki Kaisha Configuring dynamic custom vocabulary for personalized speech recognition
US9706007B2 (en) * 2013-10-17 2017-07-11 Blue Syntax Consulting LLC System and method for querying disparate data sources in real time
US9900177B2 (en) 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
US9804820B2 (en) 2013-12-16 2017-10-31 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US9721570B1 (en) * 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9430186B2 (en) 2014-03-17 2016-08-30 Google Inc Visual indication of a recognized voice-initiated action
CA2891742C (en) 2014-05-15 2023-11-28 Tyco Safety Products Canada Ltd. System and method for processing control commands in a voice interactive system
WO2015187048A1 (en) * 2014-06-06 2015-12-10 Obschestvo S Ogranichennoy Otvetstvennostiyu "Speactoit" Proactive environment-based chat information system
US10440499B2 (en) 2014-06-16 2019-10-08 Comcast Cable Communications, Llc User location and identity awareness
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN104135697A (zh) * 2014-07-31 2014-11-05 上海素控控制技术有限公司 基于蓝牙的智能共振音箱及其控制方法
US9767794B2 (en) * 2014-08-11 2017-09-19 Nuance Communications, Inc. Dialog flow management in hierarchical task dialogs
KR101579292B1 (ko) 2014-08-29 2015-12-21 서울대학교 산학협력단 범용 음성인식 제어 장치 및 제어 방법
CA2962636A1 (en) 2014-10-01 2016-04-07 XBrain, Inc. Voice and connection platform
WO2016068960A1 (en) * 2014-10-30 2016-05-06 Adaptive Spectrum And Signal Alignment, Inc. Method and apparatus for providing performance and usage information for a wireless local area network
WO2016066760A1 (en) * 2014-10-31 2016-05-06 Piksel, Inc Personalised channel
CN104506944B (zh) 2014-11-12 2018-09-21 科大讯飞股份有限公司 基于电视场景及语音助手的语音交互辅助方法及系统
US20170329766A1 (en) * 2014-12-09 2017-11-16 Sony Corporation Information processing apparatus, control method, and program
US9811312B2 (en) 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
US10284618B2 (en) * 2015-04-28 2019-05-07 Apple Inc. Dynamic media content
US10038757B2 (en) * 2015-04-29 2018-07-31 Microsoft Technology Licensing, Llc Providing personalized greetings on a digital assistant
US9766596B2 (en) 2015-07-08 2017-09-19 Google Inc. Wake up to a cast alarm or an alarm plus content prompt
CN105163298B (zh) * 2015-08-24 2019-01-15 努比亚技术有限公司 一种通信方法及终端
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671665B2 (en) * 2015-09-25 2020-06-02 Oath Inc. Personalized audio introduction and summary of result sets for users
JP6532021B2 (ja) 2015-09-29 2019-06-19 本田技研工業株式会社 音声処理装置及び音声処理方法
US9961431B2 (en) 2015-09-30 2018-05-01 Apple Inc. Earbud case with wireless radio shutdown feature
US10102201B2 (en) 2015-11-30 2018-10-16 Soundhound, Inc. Natural language module store
US10026401B1 (en) 2015-12-28 2018-07-17 Amazon Technologies, Inc. Naming devices via voice commands
US20170221322A1 (en) 2016-02-01 2017-08-03 Brian M. Ignomirello System and method of multimodal status indication
US10623518B2 (en) * 2016-02-04 2020-04-14 Spotify Ab System and method for ordering media content for shuffled playback based on user preference
US9858927B2 (en) 2016-02-12 2018-01-02 Amazon Technologies, Inc Processing spoken commands to control distributed audio outputs
US20170259121A1 (en) * 2016-03-08 2017-09-14 Your Trainer Inc. Science engine operative to select workout segments responsive to user-supplied information about their physical state
US20170262537A1 (en) * 2016-03-14 2017-09-14 Amazon Technologies, Inc. Audio scripts for various content
CN114357128A (zh) 2016-04-18 2022-04-15 谷歌有限责任公司 适当的代理的自动化助理调用
US9990002B2 (en) 2016-05-25 2018-06-05 Lg Electronics Inc. Sound output apparatus and hub for communication network
WO2017203366A1 (en) 2016-05-27 2017-11-30 Mobile Synergy 26 International Limited Multifunctional connection systems for various devices and methods of use thereof
US10832684B2 (en) * 2016-08-31 2020-11-10 Microsoft Technology Licensing, Llc Personalization of experiences with digital assistants in communal settings through voice and query processing
US11085777B2 (en) * 2018-07-27 2021-08-10 Adobe Inc. Generating digital event sequences utilizing a dynamic user preference interface to modify recommendation model reward functions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060075429A1 (en) * 2004-04-30 2006-04-06 Vulcan Inc. Voice control of television-related information
US7721313B2 (en) * 2006-06-30 2010-05-18 Microsoft Corporation Multi-DVR node communication
US20110283243A1 (en) * 2010-05-11 2011-11-17 Al Squared Dedicated on-screen closed caption display
US20120260192A1 (en) * 2011-04-11 2012-10-11 Detweiler Sean D Automated browser mode based on user and access point
US20150154976A1 (en) * 2013-12-02 2015-06-04 Rawles Llc Natural Language Control of Secondary Device

Also Published As

Publication number Publication date
EP3455722A1 (en) 2019-03-20
EP3455720B1 (en) 2023-12-27
CN108604181B (zh) 2021-03-09
EP3455747A1 (en) 2019-03-20
KR20190014515A (ko) 2019-02-12
CN108604181A (zh) 2018-09-28
JP2021052403A (ja) 2021-04-01
CN108604254A (zh) 2018-09-28
US20190391998A1 (en) 2019-12-26
EP3455747B1 (en) 2021-07-28
JP7293180B2 (ja) 2023-06-19
CN108604254B (zh) 2022-04-12
JP2019526177A (ja) 2019-09-12
KR102177786B1 (ko) 2020-11-12
CN108604178B (zh) 2021-09-03
US10402450B2 (en) 2019-09-03
EP3455721B1 (en) 2020-09-16
EP3757753A1 (en) 2020-12-30
EP3455721A1 (en) 2019-03-20
KR20190006975A (ko) 2019-01-21
CN108604178A (zh) 2018-09-28
KR102114003B1 (ko) 2020-05-25
US20170329848A1 (en) 2017-11-16
US11860933B2 (en) 2024-01-02
EP3455720A1 (en) 2019-03-20
CN114758655A (zh) 2022-07-15
CN108604180A (zh) 2018-09-28
JP6797938B2 (ja) 2020-12-09

Similar Documents

Publication Publication Date Title
US11341964B2 (en) Voice-controlled media play in smart media environment
CN108604181B (zh) 媒体输出设备之间的媒体传送
KR102254021B1 (ko) 결합된 어쿠스틱 도파관 및 방열판을 갖는 콤팩트 홈 어시스턴트에 대한 설계
CN108022590B (zh) 语音接口设备处的聚焦会话
WO2017197186A1 (en) Voice-controlled closed caption display
CN111630413B (zh) 基于置信度的应用特定的用户交互

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination