CN108604178A - 个性化和场境化的音频简报 - Google Patents

个性化和场境化的音频简报 Download PDF

Info

Publication number
CN108604178A
CN108604178A CN201780009235.9A CN201780009235A CN108604178A CN 108604178 A CN108604178 A CN 108604178A CN 201780009235 A CN201780009235 A CN 201780009235A CN 108604178 A CN108604178 A CN 108604178A
Authority
CN
China
Prior art keywords
response
user
electronic equipment
information
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780009235.9A
Other languages
English (en)
Other versions
CN108604178B (zh
Inventor
迈克尔·安德鲁·古德曼
徐碧波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/592,120 external-priority patent/US10304450B2/en
Application filed by Google LLC filed Critical Google LLC
Priority claimed from PCT/US2017/032511 external-priority patent/WO2017197329A1/en
Publication of CN108604178A publication Critical patent/CN108604178A/zh
Application granted granted Critical
Publication of CN108604178B publication Critical patent/CN108604178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/18Packaging or power distribution
    • G06F1/181Enclosures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/243Natural language query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1094Inter-user-equipment sessions transfer or sharing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147PVR [Personal Video Recorder]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/02Details casings, cabinets or mounting therein for transducers covered by H04R1/02 but not provided for in any of its subgroups
    • H04R2201/028Structural combinations of loudspeakers with built-in power amplifiers, e.g. in the same acoustic enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005Audio distribution systems for home, i.e. multi-room use

Abstract

一种在具有音频输入设备和音频输出设备的电子设备处的方法,包括:通过该音频输入设备接收来自用户的口头输入;将与该口头输入相对应的信息传送至远程系统;从该远程系统接收响应于该口头输入的响应,该响应包括依据一个或多个准则的信息;以及通过该音频输出设备输出该响应。

Description

个性化和场境化的音频简报
技术领域
本申请总体上涉及计算机技术,包括但并不局限于个性化和场境化(contextualized)的音频简报。
背景技术
通过音频/视频输入和输出与用户交互的基于语音的助理已经随着互联网和云计算的成长而日益流行。这些助理能够提供用于数字媒体的消费的接口,以及提供各种类型的信息,举几个示例,所述信息包括新闻、体育比分、天气和股票。
信息可以以音频简报的形式来呈现,其中该信息被大声向用户讲出。然而,音频简报可能是灌录的(canned),所具有的定制选项有限。例如,用户可以选择特定新闻源来得到新闻音频简报,并且所得到的音频简报包括朗读来自那些源的新闻文章,其中的一些可能是与用户无关的或者其不感兴趣的。包括大量无关和乏味的信息的音频简报抑制了用户对收听该音频简报的兴趣。
发明内容
本说明书中所描述的实施方式涉及提供针对用户进行定制的、在用户征询该信息的时刻高度相关的、并且针对该用户从各种来源所汇总的信息。
依据一些实施方式,个性化和场境化的音频简报以音频格式向用户提供有用、及时的信息。该音频简报例如可以提供与用户所在区域的天气,去往用户办公室的交通,用户日历上的事件,有关用户需要做的事情的提醒,来自用户喜爱的运动队的近期活动,用户在当天的航班的航班状态,有关用户感兴趣的主题的新闻等相关的信息。该音频简报针对用户进行定制。该音频简报汇总该信息并且呈现在用户征询简报的时刻相关的内容。
在一些实施方式中,该音频简报包括(在用户许可的情况下)基于关于对用户有何了解的信息以显现用户尚未专门征询的相关信息。例如,如果用户经常收听特定艺术家的音乐,则该简报可以自动通知用户该艺术家何时将来到该用户的当地。
在一些实施方式中,该音频简报充当广告和促销的平台。在以上示例中,该简报能够询问用户他或她是否想要购买门票以去音乐会观看该艺术家并且允许他或她当时通过赞助整合(sponsored integration)来购票。
依据一些实施方式,一种方法,包括在具有一个或多个处理器、存储器、音频输入设备和音频输出设备的电子设备处:通过该音频输入设备接收来自用户的口头输入;将与所述口头输入相对应的信息传送至远程系统;从该远程系统接收响应于该口头输入的响应,该响应包括依据一个或多个准则的信息;并且通过该音频输出设备输出该响应。
依据一些实施方式,一种电子设备包括音频输入设备、音频输出设备、一个或多个处理器,和存储要由该一个或多个处理器执行的一个或多个程序的存储器。该一个或多个程序包括指令以用于:通过该音频输入设备接收来自用户的口头输入;将与所述口头输入相对应的信息传送至远程系统;从该远程系统接收响应于该口头输入的响应,该响应包括依据一个或多个准则的信息;以及通过该音频输出设备输出该响应。
依据一些实施方式,一种非暂时性计算机可读存储介质存储一个或多个程序。该一个或多个程序包括指令,所述指令在由具有音频输入设备、音频输出设备以及一个或多个处理器的电子设备所执行时使得该电子设备:通过该音频输入设备接收来自用户的口头输入;将与所述口头输入相对应的信息传送至远程系统;从该远程系统接收响应于该口头输入的响应,该响应包括依据一个或多个准则的信息;以及通过该音频输出设备输出该响应。
附图说明
图1是依据一些实施方式的示例网络环境。
图2是依据一些实施方式的示例客户端设备。
图3是依据一些实施方式的示例服务器系统。
图4是依据一些实施方式的用于呈现音频简报的方法的流程图。
各附图中相似的附图标记指代相对应的部分。
具体实施方式
现在将详细参考各个实施方式,其示例在附图中有所图示。在以下详细描述中,给出了许多具体细节以便提供对本发明和所描述实施方式的全面连接。然而,本发明可以在没有这些具体细节的情况下来实践。在其它实例中,并未对公知的方法、流程、组件和电路进行详细描述以免不必要地模糊实施方式的多个方面。
图1图示了依据一些实施方式的网络环境100。网络环境100包括客户端设备102。客户端设备102耦合至音频输入设备108(例如,麦克风)和音频输出设备110(例如,一个或多个扬声器)。在一些实施方式中,音频输入设备108和音频输出设备110二者都是客户端设备102(例如,语音命令设备、具有麦克风的无线扬声器、智能电话、平板设备、膝上计算机、可穿戴设备)的组件。在一些实施方式中,音频输入设备108是客户端设备102的组件,而音频输出设备110则是客户端设备102与之耦合的单独设备,或者反之亦然。在一些实施方式中,音频输入设备108和音频输出设备110是客户端设备102(例如,铸造设备)与之耦合的单独设备。在一些实施方式中,客户端设备102是移动电话、平板计算机、膝上计算机、台式计算机、无线扬声器、语音命令设备或语音助手设备、电视机、条式音箱、投播设备(castingdevice)、车载系统,以及可穿戴个人设备。
在一些实施方式中,客户端设备102通信耦合至另一个客户端设备104(例如,智能电话、平板设备、膝上计算机、台式计算机)。客户端设备104包括可以由用户用来配置客户端设备102以及客户端设备102上的特征和功能的应用(例如,设置或配置app)(未示出)。应当意识到的是,并非所有客户端设备102为了配置的目的都需要第二客户端设备(例如,客户端设备104)。
在一些实施方式中,客户端设备102和/或104分别包括或耦合至显示设备(未示出)。
在一些实施方式中,客户端设备102和/或104分别包括一个或多个视觉指示器(例如,LED灯)(未示出)。有关客户端设备和/或语音助理功能的状况或状态的信息——包括该语音助理功能的音频简报特征——可以(例如,以文本或图形格式)在该显示设备和/或(例如,作为LED灯上的灯光模式)在该视觉指示器上进行显示。例如,在LED灯上显示的灯光模式可以指示音频简报的状态。
客户端设备102以及可选地客户端设备104通过一个或多个通信网络112(例如,局域网、广域网、互联网)通信耦合至服务器系统114。
客户端设备102包括语音助理模块106。语音助理模块106执行语音助理操作(例如,检测音频输入设备108所接收的口头输入中的热词,处理口头输入,将口头输入或者与口头输入相对应的信息传输至服务器系统114,从服务器系统114接收并处理针对口头输入的响应,等等)。在一些实施方式中,语音助理模块106包括或链接至设备无关库(device-agnostic library),该库可以安装在各种设备上并且实现跨各种设备一致的语音助理功能。在一些实施方式中,取决于客户端设备102的类型,语音助理模块106被包括在安装于该设备中的应用中,被包括在该设备的操作系统中,或者被嵌入在该设备中(例如,嵌入在固件中)。
在一些实施方式中,语音助理模块106检测音频输入设备108所接收的第一口头输入中的热词,所述热词“唤醒”语音助理并且使语音助理模块106准备接收可以包括请求或命令的第二口头输入。在接收到第二口头输入之后,语音助理模块106可选地处理该口头输入以确定与该口头输入相对应的信息,并且将该口头输入和/或与该口头输入相对应的信息传送至服务器114。服务器114接收该口头输入或者与所述口头输入相对应的信息,并且处理所接收到的口头输入或相对应的信息(例如,在处理后端116处处理,其可以是服务器系统114的一部分)以确定适当响应。该适当响应可以包括用于客户端设备102来执行功能或操作的内容、信息或者指令或元数据。服务器114从一个或多个内容/信息源118获得响应的内容/信息。服务器114将该响应传送至客户端设备102,所述客户端设备102通过音频输出设备110输出该内容或信息和/或执行该功能或操作。在一些实施方式中,该响应包括处于口述音频格式的内容和信息,并且语音助理模块106播放该口述音频。在一些其它实施方式中,该响应包括处于文本格式的内容和信息,并且语音助理模块106对该文本内容和信息执行文本转话音转换从而大声讲出该内容和信息。
在一些实施方式中,语音助理模块106的功能和设置是能够直接在客户端设备102处配置的或者是能够通过客户端设备104来配置的。例如,该配置例如可以包括与(例如,电子邮件服务,在线日历、在线音乐服务等的)一个或多个用户账户的关联以及对访问那些账户中的信息的授权,指定内容或信息源,指定内容或信息的类别,等等。
用户能够请求语音助理提供音频简报(在本文也称作“每日简报”),其是通过音频输出设备110输出的。在一些实施方式中,在讲出热词以唤醒语音助理之后,用户讲出包括与针对音频简报的请求相关联的一个或多个预定义关键字的口头输入。该音频简报包括各种内容和信息。在一些实施方式中,音频简报的内容和信息针对用户被个性化;该用户能够预先规定要包括在简报中的内容/信息的类别和来源(例如,在配置语音助理模块106时)。
在一些实施方式中,内容和信息也可以基于一个或多个准则而被选择或过滤以供包括在响应中或者从响应中省去。这些准则例如包括日内时间、设备的类型、设备的位置,以及用户的设备使用历史。例如,如果日内时间是中午大约12点并且用户已经指定了通勤交通信息作为用于音频简报的指定信息类别之一,则通勤交通信息仍然可以从响应中被省略,因为该日内时间提供了这样的场景:此时通勤交通信息的状况对于用户来说并没有用处或者用户对此并不感兴趣。因此,基于这些准则的包括或省略能够补充或越过用户对来源和类别的预先指定。
在一些实施方式中,音频简报内的内容和信息被说出的顺序(例如,天气接着是通勤交通接着是约见接着是新闻)也由用户预先指定。在一些实施方式中,该顺序可以基于一个或多个准则而被修改。例如,如果用户具有紧急约见(例如,剩余不到一个小时),则音频简报内的内容/信息被说出的顺序可以被重新排列而使得该约见在音频简报内被更早地说出。
在一些实施方式中,该音频简报可以包括基于用户的历史(如服务器114已知的基于用户给予的对访问的授权)而被插入的内容/信息。例如,如果用户的历史指示该用户频繁地命令客户端设备102播放来自特定艺术家的歌曲,则服务器114能够识别该艺术家即将演出的日期和位置,并且将接近于客户端设备102的位置(例如,在用户的城市区内,在距客户端设备102的位置的某个距离阈值之内)的演出包括在音频简报中。
另外,在一些实施方式中,与音频简报中的内容/信息相关的促销和广告可以被包括在音频简报中。例如,继续上文有关艺术家演出的示例,服务器114可以在音频简报中包括购买该艺术家的演出的门票的促销或广告。
因此,音频简报中的内容/信息可以基于一个或多个准则而被场境化。例如,该场境化包括省略本来将会包括在音频简报中的内容/信息,和/或对音频简报内的内容/信息重新排序。
在一些实施方式中,音频简报包括默认类别的内容/信息。例如,音频简报可以默认地包括当前时间和问候。在一些实施方式中,默认的内容/信息甚至也可以被场境化。例如,问候(例如,“早上好”、“晚上好”等)可以基于日内时间而有所不同。
在一些实施方式中,音频简报可以包括“音频涂鸦(audio doodle)”。音频涂鸦例如可以是作为音频简报的一部分而大声说出的引述或“有意思的”事实。音频简报例如可以每天或每简报地有所变化。用户可以选择或不选择在音频简报中包括音频涂鸦(即,音频简报是用户能够预先指定以供包括/省略的另一种类别的内容/信息)。在一些实施方式中,音频涂鸦跨跨多个用户而相同(即,选择音频涂鸦的用户在他们相应的音频简报中都得到相同的音频涂鸦)。
在一些实施方式中,能够包括在音频简报中的内容/信息包括但并不局限于以下的一个或多个:当前时间、问候、音频涂鸦、即将到来的生日、航班状态、消息(电子邮件、文本消息、即时消息)、天气、通勤交通、日历事件、提醒、任务、财经信息(例如,股票)、体育信息(例如,比分、赛程)、星座、新闻、音乐,以及有关语音助理特征的信息(例如,新的或即将到来的特征的新闻,有关如何使用语音助理的提示)。
在一些实施方式中,内容/信息源118包括以下中的一个或多个:网站、数据库、用户账户和相关联信息(例如,电子邮件、日历、使用历史等)、在线音乐服务,等等。
在一些实施方式中,音频简报可以通过动作来发起。例如,如果客户端设备102是可穿戴设备,则客户端设备102可以检测该设备何时被用户穿戴,并且响应于检测到它被用户所穿戴而发起音频简报。
图2是图示依据一些实施方式的网络环境100的示例客户端设备102的框图。客户端设备的示例包括但并不局限于移动电话、平板计算机、膝上计算机、台式计算机、无线扬声器、语音命令设备、电视机、条式音箱、投播设备、车载系统和可穿戴个人设备。典型地,客户端设备102包括一个或多个处理单元(CPU)202,一个或多个网络接口204、存储器206,以及用于将这些组件(有时被称作芯片组)互连的一个或多个通信总线208。客户端设备102包括促进用户输入的一个或多个输入设备210,包括音频输入设备108(例如,语音命令输入单元或麦克风),以及可选地包括其它输入设备,诸如键盘、鼠标、触摸屏显示器、触摸敏感输入板、手势捕捉相机,或者其它输入按钮或控件。此外,一些客户端设备102使用麦克风和语音辨识或者相机和手势辨识来作为键盘的补充或替代。客户端设备102还包括一个或多个输出设备212,包括音频输出设备110(例如,一个或多个扬声器、头戴式耳机等),以及可选地包括一个或多个视觉显示器和/或一个或多个视觉指示器(例如,LED),其使得能够呈现用户界面和显示内容。可选地,客户端设备102包括位置检测设备214,诸如GPS(全球定位卫星)或其它地理位置接收器,以供确定客户端设备102的位置。客户端设备102可选地还可以包括接近度检测设备215,例如IR传感器,以用于确定客户端设备102与其它对象(例如,可穿戴个人设备的情况下的用户穿戴者)的接近度。可选地,客户端设备102包括传感器213(例如,加速计、陀螺仪等)。
存储器206包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM,或者其它随机存取固态存储器设备;以及可选地,包括非易失性存储器,诸如一个或多个磁盘存储设备,一个或多个光盘存储设备,一个或多个闪存设备,或者一个或多个其它非易失性固态存储设备。可选地,存储器206包括距一个或多个处理单元202随机定位的一个或多个存储设备。存储器206或者替选地存储器206内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中,存储器206或者存储器206的非暂时性计算机可读存储介质存储以下的程序、模块和数据结构,或者它们的子集或超集:
·操作系统216,包括用于处置各种基本系统服务以及用于执行依赖于硬件的任务的流程;
·网络通信模块218,用于经由一个或多个网络接口204(有线或无线)以及一个或多个网络112将客户端设备102连接至其它设备(例如,服务器系统114、客户端设备104、其他客户端设备102),所述网络诸如互联网、其它广域网、局域网、城域网等;
·用户接口模块220,用于使得能够经由一个或多个输出设备212(例如,显示器、扬声器等)在客户端设备102处呈现信息;
·输入处理模块222,用于检测来自一个或多个输入设备210的用户输入或交互并且解释所检测到的输入或交互;
·语音助理模块106,用于处理口头输入,从服务器114接收包括音频简报的响应,并且输出该响应;以及
·客户端数据226,其至少存储与语音助理模块106相关联的数据,包括:
ο语音助理设置228,用于存储与语音助理功能的设置和配置相关联的信息;
ο内容/信息源230和类别232,用于存储用户指定的要包括在音频简报中的内容/信息的源和类别;
ο使用历史234,用于存储与语音助理的使用相关联的信息,诸如所接收到的命令和请求,响应于命令和请求所执行的操作,等等;以及
ο用户账户和授权236,用于存储用户针对访问内容/信息源230处的用户账户的授权以及那些被授权账户的账户信息。
以上所标识的要素中的每一个都可以被存储在一个或多个之前所提到的存储器设备中,并且对应于用于执行以上所描述功能的指令集合。以上所标识的模块或程序(即,指令集合)并不需要被实现为单独的软件程序、流程、模块或数据结构,并且这些模块的各种子集在各种实施方式中可以被组合或者以其它方式重新排列。在一些实施方式中,存储器206可选地存储以上所标识的模块和数据结构的子集。此外,存储器206可选地存储以上并未描述的附加模块和数据结构。
图3是图示依据一些实施方式的网络环境100的示例服务器系统114的框图。典型地,服务器114包括一个或多个处理单元(CPU)302、一个或多个网络接口304、存储器306,以及用于将这些组件(有时被称作芯片组)互连的一个或多个通信总线308。服务器114可选地包括促进用户输入的一个或多个输入设备310,诸如键盘、鼠标、语音命令输入单元或麦克风、触摸屏显示器、触摸敏感输入板、手势捕捉相机,或者其它输入按钮或控件。此外,服务器114可以使用麦克风和语音辨识或者相机和手势辨识来作为键盘的补充或替代。在一些实施方式中,服务器114可选地包括一个或多个相机、扫描仪,或者用于捕捉图像的照片传感器,所述图像例如印刷在电子设备上的图形序列码的图像。服务器114可选地还包括一个或多个使得能够呈现用户界面和显示内容的输出设备312,包括一个或多个扬声器和/或一个或多个视觉显示器。
存储器306包括高速随机存取存储器,诸如DRAM、SRAM、DDR RAM,或者其它随机存取固态存储器设备;以及可选地,包括非易失性存储器,诸如一个或多个磁盘存储设备,一个或多个光盘存储设备,一个或多个闪存设备,或者一个或多个其它非易失性固态存储设备。可选地,存储器306包括距一个或多个处理单元302随机定位的一个或多个存储设备。存储器306或者替选地存储器306内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施方式中,存储器306或者存储器306的非暂时性计算机可读存储介质存储以下的程序、模块和数据结构,或者它们的子集或超集:
·操作系统316,包括用于处置各种基本系统服务以及用于执行依赖于硬件的任务的流程;
·网络通信模块318,用于经由一个或多个网络接口304(有线或无线)以及一个或多个网络112将服务器系统114连接至其它设备(例如,客户端设备102和/或104),所述网络诸如互联网、其它广域网、局域网、城域网等;
·接近度/位置确定模块320,用于基于客户端设备102和/或104的位置信息来确定客户端设备102的接近度和/或位置;
·语音助理后端116,用于处理来自客户端设备102的语音助理口头输入,包括以下中的一个或多个:
ο口头输入处理模块324,用于处理口头输入以识别该口头输入中的命令和请求;
ο内容/信息采集模块326,用于采集对命令和请求响应的内容和信息;以及
ο响应生成模块328,用于响应于命令和请求而生成口头输出(例如,音频简报)并且利用响应内容和信息来填充口头输出;以及
·服务器系统数据330,其至少存储与语音助理平台的操作相关联的信息,包括:
ο用户语音助理设置334,用于存储与语音助理设置228相对应的语音助理设置信息,包括内容/信息源230和类别232;
ο用户历史336,用于存储用户在语音助理的历史,包括命令和请求以及相对应的响应的历史;以及
ο用户账户和授权338,用于存储用户针对访问内容/信息源230处的用户的相应账户的授权以及那些被授权账户的账户信息,其对应于用户账户和授权236。
在一些实施方式中,服务器114还在存储器306中包括用于生成音频简报的每日简报模块340,包括确定什么内容和信息要被包括以及包括在音频简报中的顺序。在一些实施方式中,每日简报模块328是语音助理后端116的一部分。
以上所标识的要素中的每一个都可以被存储在一个或多个之前所提到的存储器设备中,并且对应于用于执行以上所描述功能的指令集合。以上所标识的模块或程序(即,指令集合)并不需要被实现为单独的软件程序、流程、模块或数据结构,并且这些模块的各种子集在各种实施方式中可以被组合或者以其它方式重新排列。在一些实施方式中,存储器306可选地存储以上所标识的模块和数据结构的子集。此外,存储器306可选地存储以上并未描述的附加模块和数据结构。
在一些实施方式中,音频简报通过呈现针对用户定制的、有用的、娱乐性的以及与当天相关的信息而与用户接涉(engage)达相对短的时间量(例如,几分钟)。音频简报中的信息可以包括音频涂鸦、(例如,用户联系人的)即将到来的生日、航班状态、消息(例如,电子邮件、文本消息)、天气、交通状况、日历、提醒、财经信息(例如,当天的股票信息)、体育信息、星座、新闻、音乐,以及音频简报或基于语音的助理特征的提示和特征更新。
在一些实施方式中,音频简报取决于日内时间而有所变化。例如,问候可能由于日内时间而有所不同,或者某些信息由于日内时间而被包括或不被包括(例如,通勤交通在早晨被包括而在晚上不被包括在简报中)。作为另一个示例,如果针对简报的请求是在晚上的晚些时候作出,则简报可以被推迟到第二天早晨。
在一些实施方式中,音频简报是可配置的,因为用户可以定义和指定哪些类别的信息以及该类别内的具体参数将被包括在送往用户的简报中。例如,该用户可以针对天气信息指定多个城市和/或邮政编码,针对财经信息指定多个股票或股票指数,针对体育信息指定多个运动队,以及针对新闻指定多个新闻提供者。在一些实施方式中,针对每个类别有默认参数可用,并且任何用户规定都被存储在用户数据332中。
在一些实施方式中,音频简报具有可以逐简报地有所变化。例如,送往特定用户的音频简报可以在发音、所使用语音、声音效果、伴随音乐、类别之间的过渡词、停顿的定时和问候等方面逐简报地有所变化。在一些实施方式中,音频简报包括用户的姓名并且按照姓名来称呼用户。在一些实施方式中,音频简报可以随听觉标志(earcon)开始和/或结束,所述听觉标志不同于来自语音助理的其它口述响应的听觉标志。
在一些实施方式中,音频简报告知用户与当天有关的有用且娱乐性的信息。所呈现的信息针对个体用户进行定制。以这种方式,该音频简报对于每个用户是唯一且相关的。
用户可以通过利用活动的语音助理功能向客户端设备102讲出“每日简报”而请求音频简报。用户可以听到针对该用户定制的有关天气、交通、日历事件、提醒、新闻等的内容。用户能够配置音频简报呈现哪些信息类别(例如,通过改变源630和类别232)。在一些实施方式中,针对每种类别所呈现的信息可以取决于日内时间而有所变化。
在一些实施方式中,目标信息可以在不需要任何用户配置的情况下被自动包括在音频简报中。例如,如果用户每天都听一次特定歌手,则音频简报将在该歌手要来该地时通知用户并且允许用户购票。
在一些实施方式中,音频简报包括表示音频简报的开始和/或结束的听觉标志。
在一些实施方式中,客户端设备102可以显示用户界面,其告知音频简报正在进行中,而不告知音频简报中所包括的实际信息。在一些实施方式中,该用户界面包括允许用户停止音频简报的可供性(affordance)。
在一些实施方式中,某些口头输入被解释为针对音频简报的请求。这些口头输入可以被预定义为特定短语或者针对某些事物或具有某些关键字的短语。
在一些实施方式中,如果客户端设备102是可穿戴设备,则音频简报可以由用户在早晨第一次穿戴该可穿戴设备时被触发。
在一些实施方式中,用户可以通过讲出预定义命令或者激活用户界面中的预定义可供性而停止正在进行的音频简报。
在一些实施方式中,多种类别的信息可以被包括在音频简报中。用户可以配置至少一些类别。在一些实施方式中,类别中的一个或多个始终被包括在音频简报中。例如,音频简报可以始终包括问候、当前时间和用户的生日(例如,祝愿用户生日快乐)。
在一些实施方式中,音频简报包括音频涂鸦(例如,当天和/或与当天相关的事实或引用)。用户可以配置是否在音频简报中包括音频涂鸦。
在一些实施方式中,音频简报包括有关用户的联系人的生日的信息。用户可以配置是否在音频简报中包括联系人的生日,以及管理从其检索联系人的生日的指向联系人信息的链接。
在一些实施方式中,音频简报包括有关用户的航班状态的信息以及针对用户的航班提醒。用户可以配置是否在音频简报中包括航班状态信息。来自用户的航班信息可以在用户授权的情况下从用户的电子邮件检索,所述电子邮件可以包括对用户所作出的航班预定的确认。用户的航班可以与可公开访问的航班状态信息进行交叉比对。
在一些实施方式中,音频简报包括用户的未读消息(例如,电子邮件、即时消息、文本消息等)。用户可以配置是否将未读消息包括在音频简报中,并且还可以配置哪些类型的消息被包括在简报中(例如,用户可能不想包括电子邮件但是想包括即时消息)。
在一些实施方式中,音频简报可以包括一个或多个位置(在一些实施方式中,多达两个位置)的天气信息。用户可以配置天气信息是否被包括在音频简报中,以及指定期望其天气信息的位置(按照城市名称或邮政编码)。包括在音频简报中的天气信息可以包括每个指定位置的当前天气以及当前的预报,音频简报可以包括设备的当前位置的天气信息,即使该位置并未被用户预先指定。
在一些实施方式中,音频简报可以包括用户工作通勤的状态或概要。该状态或概要可以以概要形式来表达(例如,“轻度”、“正常”、“重度”、估计通勤时间)和/或具有细节(例如,有关用户前去工作所搭乘的公共运输的延误的信息)。如果用户坐飞机,则简报可以包括有关前往机场而不是去上班的信息。用户可以配置是否在音频简报中包括通勤/交通信息,以及将工作地址指定为目标目的地以及优选的运输模式。
在一些实施方式中,音频简报可以包括用户的日历事件(例如,用户的下一个约见,约见的出席者)。用户可以配置是否在音频简报中包括日历事件,以及指定从其检索事件以供包括在音频简报中的日历。
在一些实施方式中,音频简报包括针对当天所设置的提醒(例如,任务)。用户可以配置是否在音频简报中包括提醒。
在一些实施方式中,音频简报可以包括财经信息(例如,股票的最新价格、交易所和股票指数)。用户可以配置是否在音频简报中包括财经信息,以及指定要将其信息包括在音频简报中的股票(按照公司名称或股票代码)、股票指数和交易所。
在一些实施方式中,音频简报可以包括体育信息(例如,体育比分)。用户可以配置是否在音频简报中包括体育信息,以及指定其体育信息要被包括在简报中的运动、联赛角逐、和/或团队。
在一些实施方式中,音频简报可以包括有关语音助理的提示和特征更新。用户可以配置是否在音频简报中包括这些提示和更新。在一些实施方式中,这些提示和更新可以每周最多一次被包括在音频简报中(例如,特征更新的每周综述、每周语音助理使用提示)。在一些实施方式中,语音助理可以延后将提示和特征更新包括在送往特定用户的音频简报中直至该用户已经多次听到该简报或者多次使用了语音助理。
在一些实施方式中,音频简报可以包括新闻和/或音乐。在一些实施方式中,新闻或音乐中的任一种而不是它们二者被包括在音频简报中。用户可以配置是否将新闻和/或音乐包括在音频简报中,以及指定要包括在音频简报中的新闻和/或音乐的类别。
在一些实施方式中,对于要在音频简报中包括什么的默认配置包括以下:开始音频简报的听觉标志,问候或打招呼(例如,“早上好”等)、当前时间、音频涂鸦、航班状态(如果用户当天坐飞机)、未读消息、天气、工作通勤、日历、提醒、语音助理提示和特征更新和新闻。
在一些实施方式中,音频简报中所包括的内容和信息基于日内时间而有所变化。例如,工作通勤信息可以从夜间音频简报中被省略,在此时工作通勤信息不太相关。
在一些实施方式中,音频简报中所包括的内容和信息基于设备能力而有所变化。例如,未读消息可以被包括在被传送至能够与消息交互的设备的音频简报中,但是在被传送至无法与消息交互的设备的音频简报中则被省略。
在一些实施方式中,音频简报由服务器114实时生成并且被实时呈现(例如,在服务器114生成音频简报的后续部分时被流送至客户端设备102)。
图4图示了依据一些实施方式的用于呈现音频简报的方法400的流程图。方法400可以由具有音频输入设备(例如,音频输入设备108)和音频输出设备(例如,音频输出设备110)的电子设备(例如,客户端设备102)所执行。在一些实施方式中,电子设备包括音频输入设备(例如,音频输入设备108)、音频输出设备(例如,音频输出设备110)、一个或多个处理器(例如,处理单元202),以及存储要由一个或多个处理器执行的一个或多个程序的存储器(例如,存储器206),该一个或多个程序包括用于执行方法400的指令。在一些实施方式中,一种非暂时性计算机可读存储介质存储一个或多个程序,所述一个或多个程序包括指令,所述指令在被具有音频输入设备(例如,音频输入设备108)和音频输出设备(例如,音频输出设备110)以及一个或多个处理器(例如,处理单元202)的电子设备执行时使得该电子设备执行方法400。
该设备通过音频输入设备接收(402)来自用户的口头输入。客户端设备102经由音频输入设备108(例如,麦克风)捕捉来自用户的口头输入。该口头输入可以是用于触发音频简报的输入(例如,“daily brief(每日简报)”、“what does my day looks like?(我的一天是什么样?)”)。
该设备将与所述口头输入相对应的信息传送(404)至远程设备。客户端设备102(例如,语音助理模块106)可以对该口头输入执行处理以从该口头输入提取或确定信息。客户端设备102将从该处理和/或口头输入自身所获得的信息(例如,作为音频数据)传送至服务器114。该传输还可以包括对于服务器114处理该口头输入而言有用的其它信息(例如,客户端设备102的位置、客户端设备102的类型)。
该设备从远程系统接收(406)响应于该口头输入的响应,该响应包括依据一个或多个准则的信息。在接收到从该预处理和/或口头输入自身所获得的信息之后,服务器114处理该口头输入并且生成响应。如果服务器114确定该口头输入是用于触发音频简报的输入,则每日简报模块340基于一个或多个准则而生成音频简报。该音频简报被传送至客户端设备102并且被它所接收。
该设备通过音频输出设备输出(408)该响应。客户端设备102通过音频输出设备110(例如,扬声器)输出音频简报。
在一些实施方式中,该一个或多个准则包括日内时间。服务器114可以包括在音频简报中的内容和信息可以基于日内时间而有所变化。例如,工作通勤交通信息可以在用户区域中的晚间所生成的音频简报中被省略。
在一些实施方式中,该一个或多个准则包括电子设备的类型。服务器114可以包括在音频简报中的内容和信息可以基于客户端设备102的设备类型而有所变化。一些类型的设备允许与消息进行交互,而一些则并不允许。未读消息可以被包括在针对允许与消息交互的设备所生成的音频简报中,而在针对并不允许与消息交互的设备所生成的音频简报中则被省略。
在一些实施方式中,该一个或多个准则包括电子设备的位置。服务器114可以包括在音频简报中的内容和信息可以基于客户端设备102的设备位置而有所变化。例如,如果客户端设备102已经处于用户的工作场所,则工作通勤信息可以被省略。作为另一个示例,客户端设备的当前位置的天气信息可以被包括在音频简报中,即使用户并未将该位置预先指定为期望获得天气信息的位置。
在一些实施方式中,该一个或多个准则包括用户对电子设备的使用历史。例如,有关语音助理的提示和特征更新可以从音频简报中被省略直至用户已经多次听到音频简报或者多次使用语音助理。
在一些实施方式中,信息包括来源于用户所指定的一个或多个源的信息。例如,用户可以指定服务器114可以从其获得新闻和/或音乐以供包括在音频简报中的新闻和音乐的源。作为另一个示例,用户可以指定服务器114从其获得事件以供包括在音频简报中的日历。
在一些实施方式中,信息包括与用户所指定的一个或多个类别相关联的信息。用户可以指定供包括在音频简报中或者从中排除的信息类别(例如,体育信息、财经信息、日历事件、提醒、未读消息、联系人生日等)。
在一些实施方式中,响应由远程系统实时或近实时地生成。在一些实施方式中,响应实时或近实时地从远程系统流送至电子设备,并且从远程系统接收响应于口头输入的响应包括:实时或近实时地接收所流送的响应并且输出所流送的响应。服务器114可以实时或近实时地生成音频简报,并且将音频简报流送至客户端设备102(例如,连续生成和流送直至完成)。客户端设备102在音频简报从服务器114流送时接收并输出(例如,播放)该简报。
将要理解的是,虽然术语“第一”、“第二”等可以在这里被用来描述各个要素,但是这些要素并不应当被这些要素所限制。这些术语仅用来将一个要素与另一个要素加以区分。例如,第一联系人可以被称作第二联系人,并且类似地,第二联系人可以被称作第一联系人,其并不改变描述的含义,只要所有“第一联系人”的出现被一致地重新命名且所有“第二联系人”的出现被一致地重新命名。第一联系人和第二联系人二者都是联系人,但是他们并不是相同联系人。
这里所使用的术语仅是出于描述特定实施例的目的而并非意在对权利要求书进行限制。如实施例的描述和所附权利要求书中所使用的,除非语境明确另外指出,否则单数形式“一个”、“一”和“所述”、“该”意在还包括复数形式。还将要理解的是,如这里所使用的术语“和/或”指代并包含一个或多个相关联列举项目的任意且所有的可能组合。将要进一步理解的是,当在该说明书中使用时,术语“包括”指定存在所提到的特征、整数、步骤、操作、要素和/或组件,但是并不排除存在或增加一个或多个其它特征、整数、步骤、操作、要素、组件和/或其群组。
如这里所使用的,根据语境,术语“如果”可以被理解为表示“当…时”或“在…时”或“响应于确定了”或“依据确定了”或“响应于检测到”所提到的先决条件为真。类似地,根据语境,短语“如果确定了[所提到的先决条件为真]”或者“如果[所提到的先决条件为真]”或者“当[所提到的先决条件为真]时”可以被理解为表示“在确定”或“当确定”所提到的先决条件为真“时”或者“响应于确定了”或者“依据确定了”或者“响应于检测到”所提到的先决条件为真。
现在将详细参考各种实施方式,其示例在附图中有所图示。在以下详细描述中,给出了许多具体细节以便提供对本发明和所描述实施方式的全面理解。然而,本发明可以在没有这些具体细节的情况下来实践。在其它实例中,并未对公知的方法、流程、组件和电路进行详细描述以免不必要地模糊实施方式的多个方面。
已经出于解释的目的参考具体实施例对以上描述进行了描述。然而,以上的说明性讨论并非意在是穷举的或者将实施例限制为所公开的确切形式。可能鉴于以上教导而进行许多修改和变化。实施例被选择和描述以便对本发明的原理及其实际应用进行最佳解释以因此使得本领域技术人员能够因为适于所设想的特定使用而最佳地对发明以及具有各种修改的实施方式加以利用。

Claims (29)

1.一种方法,包括:
在包括存储器、一个或多个处理器、音频输入设备和音频输出设备的电子设备处:
通过所述音频输入设备接收来自用户的口头输入;
将与所述口头输入相对应的信息传送至远程系统;
从所述远程系统接收响应于所述口头输入的响应,所述响应包括依据一个或多个准则的信息;以及
通过所述音频输出设备输出所述响应。
2.根据权利要求1所述的方法,其中,所述一个或多个准则包括日内时间。
3.根据前述任一项权利要求所述的方法,其中,所述一个或多个准则包括所述电子设备的类型。
4.根据前述任一项权利要求所述的方法,其中,所述一个或多个准则包括所述电子设备的位置。
5.根据前述任一项权利要求所述的方法,其中,所述一个或多个准则包括所述用户对所述电子设备的使用历史。
6.根据前述任一项权利要求所述的方法,其中,所述信息包括来源于所述用户所指定的一个或多个源的信息。
7.根据前述任一项权利要求所述的方法,其中,所述信息包括与所述用户所指定的一个或多个类别相关联的信息。
8.根据前述任一项权利要求所述的方法,其中,所述响应是由所述远程系统实时或近实时地生成的。
9.根据前述任一项权利要求所述的方法,其中,所述响应是实时或近实时地从所述远程系统流送至所述电子设备的,并且从所述远程系统接收响应于所述口头输入的响应包括:实时或近实时地接收所流送的响应并且输出所流送的响应。
10.一种电子设备,包括:
音频输入设备;
音频输出设备;
一个或多个处理器;以及
存储器,所述存储器存储要由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括指令以用于:
通过所述音频输入设备接收来自用户的口头输入;
将与所述口头输入相对应的信息传送至远程系统;
从所述远程系统接收响应于所述口头输入的响应,所述响应包括依据一个或多个准则的信息;以及
通过所述音频输出设备输出所述响应。
11.根据权利要求10所述的电子设备,其中,所述一个或多个准则包括日内时间。
12.根据权利要求10至11中的任一项所述的电子设备,其中,所述一个或多个准则包括所述电子设备的类型。
13.根据权利要求10至12中的任一项所述的电子设备,其中,所述一个或多个准则包括所述电子设备的位置。
14.根据权利要求10至13中的任一项所述的电子设备,其中,所述一个或多个准则包括所述用户对所述电子设备的使用历史。
15.根据权利要求10至14中的任一项所述的电子设备,其中,所述信息包括来源于所述用户所指定的一个或多个源的信息。
16.根据权利要求10至15中的任一项所述的电子设备,其中,所述信息包括与所述用户所指定的一个或多个类别相关联的信息。
17.根据权利要求10至16中的任一项所述的电子设备,其中,所述响应是由所述远程系统实时或近实时地生成的。
18.根据权利要求10至17中的任一项所述的电子设备,其中,所述响应是实时或近实时地从所述远程系统流送至所述电子设备的,并且所述电子设备包括指令以用于:实时或近实时地接收所流送的响应并且输出所流送的响应。
19.一种存储一个或多个程序的非暂时性计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由具有音频输入设备、音频输出设备以及一个或多个处理器的电子设备执行时使得所述电子设备:
通过所述音频输入设备接收来自用户的口头输入;
将与所述口头输入相对应的信息传送至远程系统;
从所述远程系统接收响应于所述口头输入的响应,所述响应包括依据一个或多个准则的信息;以及
通过所述音频输出设备输出所述响应。
20.根据权利要求19所述的计算机可读存储介质,其中,所述一个或多个准则包括日内时间。
21.根据权利要求19至20中的任一项所述的计算机可读存储介质,其中,所述一个或多个准则包括所述电子设备的类型。
22.根据权利要求19至21中的任一项所述的计算机可读存储介质,其中,所述一个或多个准则包括所述电子设备的位置。
23.根据权利要求19至22中的任一项所述的计算机可读存储介质,其中,所述一个或多个准则包括所述用户对所述电子设备的使用历史。
24.根据权利要求19至23中的任一项所述的计算机可读存储介质,其中,所述信息包括来源于所述用户所指定的一个或多个源的信息。
25.根据权利要求19至24中的任一项所述的计算机可读存储介质,其中,所述信息包括与所述用户所指定的一个或多个类别相关联的信息。
26.根据权利要求19至25中的任一项所述的计算机可读存储介质,其中,所述响应是由所述远程系统实时或近实时地生成的。
27.根据权利要求19至26中的任一项所述的计算机可读存储介质,其中,所述响应是实时或近实时地从所述远程系统流送至所述电子设备的,并且所述计算机可读存储介质包括指令,所述指令在由所述电子设备执行时使得所述电子设备:实时或近实时地接收所流送的响应并且输出所流送的响应。
28.一种电子设备,包括:
音频输入设备;
音频输出设备;
一个或多个处理器;以及
存储器,所述存储器存储要由所述一个或多个处理器执行的一个或多个程序,所述一个或多个程序包括用于执行根据权利要求1-9中的任一项所述的方法的指令。
29.一种存储一个或多个程序的非暂时性计算机可读存储介质,所述一个或多个程序包括指令,所述指令在由具有音频输入设备、音频输出设备以及一个或多个处理器的电子设备所执行时使得所述电子设备执行根据权利要求1-9中的任一项所述的方法。
CN201780009235.9A 2016-05-13 2017-05-12 个性化和场境化的音频简报 Active CN108604178B (zh)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
US201662336551P 2016-05-13 2016-05-13
US201662336569P 2016-05-13 2016-05-13
US201662336566P 2016-05-13 2016-05-13
US201662336565P 2016-05-13 2016-05-13
US62/336,551 2016-05-13
US62/336,569 2016-05-13
US62/336,565 2016-05-13
US62/336,566 2016-05-13
US15/592,126 2017-05-10
US15/592,120 2017-05-10
US15/592,120 US10304450B2 (en) 2016-05-10 2017-05-10 LED design language for visual affordance of voice user interfaces
US15/592,126 US10235997B2 (en) 2016-05-10 2017-05-10 Voice-controlled closed caption display
US15/592,128 US10332516B2 (en) 2016-05-10 2017-05-10 Media transfer among media output devices
US15/592,128 2017-05-10
US15/593,236 2017-05-11
US15/593,236 US10402450B2 (en) 2016-05-13 2017-05-11 Personalized and contextualized audio briefing
PCT/US2017/032511 WO2017197329A1 (en) 2016-05-13 2017-05-12 Personalized and contextualized audio briefing

Publications (2)

Publication Number Publication Date
CN108604178A true CN108604178A (zh) 2018-09-28
CN108604178B CN108604178B (zh) 2021-09-03

Family

ID=60295267

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202210299423.2A Pending CN114758655A (zh) 2016-05-13 2017-05-11 语音控制的隐藏字幕显示
CN201780011357.1A Pending CN108604180A (zh) 2016-05-13 2017-05-11 用于语音用户界面的视觉效果的led设计语言
CN202110178882.0A Pending CN112947683A (zh) 2016-05-13 2017-05-11 媒体输出设备之间的媒体传送
CN201780011381.5A Active CN108604181B (zh) 2016-05-13 2017-05-11 媒体输出设备之间的媒体传送
CN201780011386.8A Active CN108604254B (zh) 2016-05-13 2017-05-11 语音控制的隐藏字幕显示
CN201780009235.9A Active CN108604178B (zh) 2016-05-13 2017-05-12 个性化和场境化的音频简报

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN202210299423.2A Pending CN114758655A (zh) 2016-05-13 2017-05-11 语音控制的隐藏字幕显示
CN201780011357.1A Pending CN108604180A (zh) 2016-05-13 2017-05-11 用于语音用户界面的视觉效果的led设计语言
CN202110178882.0A Pending CN112947683A (zh) 2016-05-13 2017-05-11 媒体输出设备之间的媒体传送
CN201780011381.5A Active CN108604181B (zh) 2016-05-13 2017-05-11 媒体输出设备之间的媒体传送
CN201780011386.8A Active CN108604254B (zh) 2016-05-13 2017-05-11 语音控制的隐藏字幕显示

Country Status (5)

Country Link
US (2) US10402450B2 (zh)
EP (5) EP3757753A1 (zh)
JP (2) JP6797938B2 (zh)
KR (2) KR102114003B1 (zh)
CN (6) CN114758655A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112654961A (zh) * 2018-09-29 2021-04-13 苹果公司 用于提供音频通知的设备、方法和用户界面
US20210325193A1 (en) * 2018-07-27 2021-10-21 Adobe Inc. Generating digital event recommendation sequences utilizing a dynamic user preference interface

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10515637B1 (en) * 2017-09-19 2019-12-24 Amazon Technologies, Inc. Dynamic speech processing
US20190095444A1 (en) * 2017-09-22 2019-03-28 Amazon Technologies, Inc. Voice driven analytics
US11526518B2 (en) 2017-09-22 2022-12-13 Amazon Technologies, Inc. Data reporting system and method
JP6943192B2 (ja) * 2018-01-24 2021-09-29 沖電気工業株式会社 家電機器および場所検索システム
WO2019188393A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、送信装置、及び送信方法
CN117056947A (zh) * 2018-05-07 2023-11-14 谷歌有限责任公司 在计算设备之间同步访问控制
US20200127988A1 (en) * 2018-10-19 2020-04-23 Apple Inc. Media intercom over a secure device to device communication channel
US10867603B2 (en) * 2018-10-24 2020-12-15 Sony Corporation Audio-video reproduction device setup using interview-based voice control
US10878805B2 (en) * 2018-12-06 2020-12-29 Microsoft Technology Licensing, Llc Expediting interaction with a digital assistant by predicting user responses
FR3093840B1 (fr) 2019-03-14 2021-02-19 Psa Automobiles Sa Procédé et dispositif d’assistance à l’utilisation d’un véhicule automobile
US10990939B2 (en) * 2019-04-15 2021-04-27 Advanced New Technologies Co., Ltd. Method and device for voice broadcast
US10802843B1 (en) * 2019-05-31 2020-10-13 Apple Inc. Multi-user configuration
CN110501988B (zh) * 2019-09-25 2020-06-09 北京金茂绿建科技有限公司 一种实现物联网设备融合控制方法及其装置
JP2021091182A (ja) * 2019-12-12 2021-06-17 コニカミノルタ株式会社 画像処理装置及び制御方法
US11322150B2 (en) * 2020-01-28 2022-05-03 Amazon Technologies, Inc. Generating event output
US11036466B1 (en) 2020-02-28 2021-06-15 Facebook, Inc. Social media custom audio program
CN113365124B (zh) * 2020-03-06 2023-01-20 海信视像科技股份有限公司 一种显示设备及显示方法
EP3903501A2 (en) * 2020-03-13 2021-11-03 Google LLC Media content casting in network-connected television devices
JP7359770B2 (ja) 2020-03-13 2023-10-11 グーグル エルエルシー 知識ベースのメディアコンテンツの推奨および統合ユーザインターフェイスを有する、ネットワーク接続されたテレビ装置
CN112735419A (zh) * 2021-01-28 2021-04-30 东莞维升电子制品有限公司 智能语音唤醒控制方法及及其控制装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110161085A1 (en) * 2009-12-31 2011-06-30 Nokia Corporation Method and apparatus for audio summary of activity for user
US20140244266A1 (en) * 2013-02-22 2014-08-28 Next It Corporation Interaction with a Portion of a Content Item through a Virtual Assistant
CN105247845A (zh) * 2013-05-28 2016-01-13 高通股份有限公司 用于选择媒体项目的系统和方法

Family Cites Families (157)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659665A (en) 1994-12-08 1997-08-19 Lucent Technologies Inc. Method and apparatus for including speech recognition capabilities in a computer system
US5774859A (en) 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US5760754A (en) 1995-12-04 1998-06-02 Motorola, Inc. Light pipe assembly and electrical device using same
US6195641B1 (en) 1998-03-27 2001-02-27 International Business Machines Corp. Network universal spoken language vocabulary
US7050977B1 (en) 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US6397186B1 (en) 1999-12-22 2002-05-28 Ambush Interactive, Inc. Hands-free, voice-operated remote control transmitter
US6681380B1 (en) * 2000-02-15 2004-01-20 International Business Machines Corporation Aggregating constraints and/or preferences using an inference engine and enhanced scripting language
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
US7426505B2 (en) * 2001-03-07 2008-09-16 International Business Machines Corporation Method for identifying word patterns in text
US7302634B2 (en) * 2001-03-14 2007-11-27 Microsoft Corporation Schema-based services for identity-based data access
US20030120744A1 (en) * 2001-12-20 2003-06-26 Gordon Kessler Method and apparatus for providing downlaoded audio data
US7493259B2 (en) * 2002-01-04 2009-02-17 Siebel Systems, Inc. Method for accessing data via voice
US7260538B2 (en) 2002-01-08 2007-08-21 Promptu Systems Corporation Method and apparatus for voice control of a television control device
US20040001095A1 (en) 2002-07-01 2004-01-01 Todd Marques Method and apparatus for universal device management
JP2004102415A (ja) * 2002-09-05 2004-04-02 Toshiba Corp データ伝送装置およびデータ伝送方法並びに車載用電子機器
US20060276230A1 (en) * 2002-10-01 2006-12-07 Mcconnell Christopher F System and method for wireless audio communication with a computer
US7911358B2 (en) * 2002-10-08 2011-03-22 Johnson Controls Technology Company System and method for enrollment of a remotely controlled device in a trainable transmitter
JP4292789B2 (ja) 2002-11-20 2009-07-08 日本電気株式会社 ブラウザ機能拡張方法
US7925754B2 (en) * 2003-11-21 2011-04-12 Microsoft Corporation Method and computer program product to provide synch notifications to client devices
US7660715B1 (en) * 2004-01-12 2010-02-09 Avaya Inc. Transparent monitoring and intervention to improve automatic adaptation of speech models
US20050164681A1 (en) * 2004-01-22 2005-07-28 Jenkins William W. Voice message storage in a push-to-talk communication system
US20050212684A1 (en) 2004-03-23 2005-09-29 Flora Huang Indicating apparatus combined with flash
US20060075429A1 (en) 2004-04-30 2006-04-06 Vulcan Inc. Voice control of television-related information
TWM260059U (en) * 2004-07-08 2005-03-21 Blueexpert Technology Corp Computer input device having bluetooth handsfree handset
JP2006286275A (ja) * 2005-03-31 2006-10-19 Koizumi Sangyo Corp 照明器具の制御装置
ATE550756T1 (de) 2005-08-04 2012-04-15 Nuance Communications Inc Sprachdialogsystem
US8104054B2 (en) * 2005-09-01 2012-01-24 At&T Intellectual Property I, L.P. Methods, systems, and devices for bandwidth conservation
US7996228B2 (en) 2005-12-22 2011-08-09 Microsoft Corporation Voice initiated network operations
US8516087B2 (en) 2006-02-14 2013-08-20 At&T Intellectual Property I, L.P. Home automation system and method
US7721313B2 (en) * 2006-06-30 2010-05-18 Microsoft Corporation Multi-DVR node communication
US20080010652A1 (en) 2006-07-07 2008-01-10 General Instrument Corporation Association of Network Terminals to a Common Account
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8073697B2 (en) * 2006-09-12 2011-12-06 International Business Machines Corporation Establishing a multimodal personality for a multimodal application
US8056070B2 (en) 2007-01-10 2011-11-08 Goller Michael D System and method for modifying and updating a speech recognition program
US20080180572A1 (en) 2007-01-29 2008-07-31 Microsoft Corporation Enabling access to closed captioning data present in a broadcast stream
JP4315986B2 (ja) * 2007-02-08 2009-08-19 富士通株式会社 発光ダイオードを備えた電子機器
US8219406B2 (en) * 2007-03-15 2012-07-10 Microsoft Corporation Speech-centric multimodal user interface design in mobile technology
CN101309390B (zh) * 2007-05-17 2012-05-23 华为技术有限公司 视讯通信系统、装置及其字幕显示方法
US8150699B2 (en) 2007-05-17 2012-04-03 Redstart Systems, Inc. Systems and methods of a structured grammar for a speech recognition command system
US8538757B2 (en) 2007-05-17 2013-09-17 Redstart Systems, Inc. System and method of a list commands utility for a speech recognition command system
US8160426B2 (en) 2007-10-12 2012-04-17 Rovi Guides, Inc. Storage management of a recording device in a multi-user system
US8521766B1 (en) * 2007-11-12 2013-08-27 W Leo Hoarty Systems and methods for providing information discovery and retrieval
US8543622B2 (en) 2007-12-07 2013-09-24 Patrick Giblin Method and system for meta-tagging media content and distribution
US8789107B2 (en) 2008-01-09 2014-07-22 Verizon Patent And Licensing Inc. Intelligent automatic digital video recorder
US9135809B2 (en) 2008-06-20 2015-09-15 At&T Intellectual Property I, Lp Voice enabled remote control for a set-top box
US8898568B2 (en) * 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8244531B2 (en) * 2008-09-28 2012-08-14 Avaya Inc. Method of retaining a media stream without its private audio content
JP5334178B2 (ja) 2009-01-21 2013-11-06 クラリオン株式会社 音声認識装置およびデータ更新方法
US8423353B2 (en) 2009-03-25 2013-04-16 Microsoft Corporation Sharable distributed dictionary for applications
US20100265397A1 (en) 2009-04-20 2010-10-21 Tandberg Television, Inc. Systems and methods for providing dynamically determined closed caption translations for vod content
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US20120253822A1 (en) 2009-12-11 2012-10-04 Thomas Barton Schalk Systems and Methods for Managing Prompts for a Connected Vehicle
US9401099B2 (en) * 2010-05-11 2016-07-26 AI Squared Dedicated on-screen closed caption display
US8750687B2 (en) 2010-06-16 2014-06-10 Verizon Patent And Licensing Inc. Method and apparatus for managing digital video recorders
US9633656B2 (en) 2010-07-27 2017-04-25 Sony Corporation Device registration process from second display
US8473289B2 (en) * 2010-08-06 2013-06-25 Google Inc. Disambiguating input based on context
US20120096497A1 (en) 2010-10-14 2012-04-19 Sony Corporation Recording television content
CN102064985B (zh) * 2010-11-24 2013-04-24 深圳市同洲电子股份有限公司 基于互动电视应用的数字智能家电远程控制系统和方法
TW201224966A (en) * 2010-12-03 2012-06-16 Accton Technology Corp Interactive media player system and method thereof
US10382509B2 (en) 2011-01-28 2019-08-13 Amazon Technologies, Inc. Audio-based application architecture
US20120226981A1 (en) 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
CN102148031A (zh) 2011-04-01 2011-08-10 无锡大核科技有限公司 语音识别与交互系统及方法
US20120260192A1 (en) * 2011-04-11 2012-10-11 Detweiler Sean D Automated browser mode based on user and access point
CN102196207B (zh) * 2011-05-12 2014-06-18 深圳市车音网科技有限公司 语音控制电视机的方法、装置和系统
WO2013012107A1 (ko) 2011-07-19 2013-01-24 엘지전자 주식회사 전자 기기 및 그 제어 방법
US20130046773A1 (en) 2011-08-18 2013-02-21 General Instrument Corporation Method and apparatus for user-based tagging of media content
CN102289374B (zh) 2011-08-31 2017-06-30 南京中兴新软件有限责任公司 一种构建跨平台软件运行环境的方法及装置
WO2013042117A1 (en) * 2011-09-19 2013-03-28 Personetics Technologies Ltd. System and method for evaluating intent of a human partner to a dialogue between human user and computerized system
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US8340975B1 (en) 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
US20150212664A1 (en) 2011-10-11 2015-07-30 IQnect Technology Limited System and methods for content-search carousel for mobile-computing devices
US9326088B2 (en) 2011-10-21 2016-04-26 GM Global Technology Operations LLC Mobile voice platform architecture with remote service interfaces
US9847083B2 (en) 2011-11-17 2017-12-19 Universal Electronics Inc. System and method for voice actuated configuration of a controlling device
US8954330B2 (en) * 2011-11-28 2015-02-10 Microsoft Corporation Context-aware interaction system using a semantic model
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
US8793136B2 (en) * 2012-02-17 2014-07-29 Lg Electronics Inc. Method and apparatus for smart voice recognition
US9836545B2 (en) * 2012-04-27 2017-12-05 Yahoo Holdings, Inc. Systems and methods for personalized generalized content recommendations
CN102685579B (zh) * 2012-05-02 2015-03-25 合一网络技术(北京)有限公司 一种实现本地网络中多装置间媒体分享及控制的方法
US10156455B2 (en) * 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
US20130332159A1 (en) 2012-06-08 2013-12-12 Apple Inc. Using fan throttling to enhance dictation accuracy
US9679330B2 (en) * 2012-06-10 2017-06-13 Apple Inc. Interface for enhanced continuity of browsing experience
KR20130140423A (ko) * 2012-06-14 2013-12-24 삼성전자주식회사 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US10620797B2 (en) 2012-06-29 2020-04-14 Spotify Ab Systems and methods for multi-context media control and playback
US9195383B2 (en) 2012-06-29 2015-11-24 Spotify Ab Systems and methods for multi-path control signals for media presentation devices
US9779757B1 (en) 2012-07-30 2017-10-03 Amazon Technologies, Inc. Visual indication of an operational state
US9786294B1 (en) 2012-07-30 2017-10-10 Amazon Technologies, Inc. Visual indication of an operational state
US9106957B2 (en) 2012-08-16 2015-08-11 Nuance Communications, Inc. Method and apparatus for searching data sources for entertainment systems
US9424840B1 (en) * 2012-08-31 2016-08-23 Amazon Technologies, Inc. Speech recognition platforms
US9576574B2 (en) * 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
JP5986468B2 (ja) 2012-09-25 2016-09-06 富士通テン株式会社 表示制御装置、表示システム及び表示制御方法
US9043210B1 (en) * 2012-10-02 2015-05-26 Voice Security Systems, Inc. Biometric voice command and control switching device and method of use
US9230560B2 (en) 2012-10-08 2016-01-05 Nant Holdings Ip, Llc Smart home automation systems and methods
US9319445B2 (en) * 2012-10-22 2016-04-19 Spotify Ab Systems and methods for pre-fetching media content
PL401346A1 (pl) * 2012-10-25 2014-04-28 Ivona Software Spółka Z Ograniczoną Odpowiedzialnością Generowanie spersonalizowanych programów audio z zawartości tekstowej
US9337674B2 (en) 2012-11-02 2016-05-10 Chen-Source Inc. Desktop charger
US9704486B2 (en) 2012-12-11 2017-07-11 Amazon Technologies, Inc. Speech recognition power management
US9292832B2 (en) 2013-02-25 2016-03-22 Qualcomm Incorporated Collaborative intelligence and decision-making in an IoT device group
US9361885B2 (en) 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US10445115B2 (en) 2013-04-18 2019-10-15 Verint Americas Inc. Virtual assistant focused user interfaces
US9304736B1 (en) 2013-04-18 2016-04-05 Amazon Technologies, Inc. Voice controlled assistant with non-verbal code entry
US9116619B2 (en) 2013-05-10 2015-08-25 Seagate Technology Llc Displaying storage device status conditions using multi-color light emitting diode
US9811087B2 (en) * 2013-05-15 2017-11-07 Deere & Company Method for controlling a vehicle and a vehicle guidance system
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US20140365887A1 (en) * 2013-06-10 2014-12-11 Kirk Robert CAMERON Interactive platform generating multimedia from user input
US9324322B1 (en) 2013-06-18 2016-04-26 Amazon Technologies, Inc. Automatic volume attenuation for speech enabled devices
US9554632B2 (en) 2013-06-21 2017-01-31 Logitech Europe S.A. Portable device case and accessories
US9997160B2 (en) 2013-07-01 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for dynamic download of embedded voice components
CN103474068B (zh) 2013-08-19 2016-08-10 科大讯飞股份有限公司 实现语音命令控制的方法、设备及系统
US9431004B2 (en) * 2013-09-05 2016-08-30 International Business Machines Corporation Variable-depth audio presentation of textual information
KR20150029974A (ko) 2013-09-11 2015-03-19 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9240182B2 (en) 2013-09-17 2016-01-19 Qualcomm Incorporated Method and apparatus for adjusting detection threshold for activating voice assistant function
CN103501382B (zh) 2013-09-17 2015-06-24 小米科技有限责任公司 语音服务提供方法、装置和终端
US9443527B1 (en) 2013-09-27 2016-09-13 Amazon Technologies, Inc. Speech recognition capability generation and control
CA3148692C (en) 2013-10-07 2023-09-26 Google Llc Smart-home hazard detector providing context specific features and/or pre-alarm configurations
US9484025B2 (en) 2013-10-15 2016-11-01 Toyota Jidosha Kabushiki Kaisha Configuring dynamic custom vocabulary for personalized speech recognition
US9706007B2 (en) * 2013-10-17 2017-07-11 Blue Syntax Consulting LLC System and method for querying disparate data sources in real time
US9698999B2 (en) 2013-12-02 2017-07-04 Amazon Technologies, Inc. Natural language control of secondary device
US9900177B2 (en) 2013-12-11 2018-02-20 Echostar Technologies International Corporation Maintaining up-to-date home automation models
US9804820B2 (en) 2013-12-16 2017-10-31 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US9721570B1 (en) * 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9430186B2 (en) 2014-03-17 2016-08-30 Google Inc Visual indication of a recognized voice-initiated action
CA2891742C (en) 2014-05-15 2023-11-28 Tyco Safety Products Canada Ltd. System and method for processing control commands in a voice interactive system
CN107113222B (zh) * 2014-06-06 2020-09-01 谷歌有限责任公司 基于环境的主动聊天信息系统
US10440499B2 (en) 2014-06-16 2019-10-08 Comcast Cable Communications, Llc User location and identity awareness
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CN104135697A (zh) * 2014-07-31 2014-11-05 上海素控控制技术有限公司 基于蓝牙的智能共振音箱及其控制方法
US9767794B2 (en) * 2014-08-11 2017-09-19 Nuance Communications, Inc. Dialog flow management in hierarchical task dialogs
KR101579292B1 (ko) 2014-08-29 2015-12-21 서울대학교 산학협력단 범용 음성인식 제어 장치 및 제어 방법
WO2016054230A1 (en) 2014-10-01 2016-04-07 XBrain, Inc. Voice and connection platform
WO2016068960A1 (en) * 2014-10-30 2016-05-06 Adaptive Spectrum And Signal Alignment, Inc. Method and apparatus for providing performance and usage information for a wireless local area network
US10523989B2 (en) * 2014-10-31 2019-12-31 Piksel, Inc. Personalised channel
CN104506944B (zh) 2014-11-12 2018-09-21 科大讯飞股份有限公司 基于电视场景及语音助手的语音交互辅助方法及系统
EP3232395A4 (en) * 2014-12-09 2018-07-11 Sony Corporation Information processing device, control method, and program
US9811312B2 (en) 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
US10284618B2 (en) * 2015-04-28 2019-05-07 Apple Inc. Dynamic media content
US10038757B2 (en) * 2015-04-29 2018-07-31 Microsoft Technology Licensing, Llc Providing personalized greetings on a digital assistant
US9766596B2 (en) 2015-07-08 2017-09-19 Google Inc. Wake up to a cast alarm or an alarm plus content prompt
CN105163298B (zh) * 2015-08-24 2019-01-15 努比亚技术有限公司 一种通信方法及终端
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671665B2 (en) * 2015-09-25 2020-06-02 Oath Inc. Personalized audio introduction and summary of result sets for users
JP6532021B2 (ja) 2015-09-29 2019-06-19 本田技研工業株式会社 音声処理装置及び音声処理方法
US9967649B2 (en) 2015-09-30 2018-05-08 Apple Inc. Wireless pairing of earbuds and case
US10102201B2 (en) 2015-11-30 2018-10-16 Soundhound, Inc. Natural language module store
US10026401B1 (en) 2015-12-28 2018-07-17 Amazon Technologies, Inc. Naming devices via voice commands
US20170221322A1 (en) 2016-02-01 2017-08-03 Brian M. Ignomirello System and method of multimodal status indication
US10623518B2 (en) * 2016-02-04 2020-04-14 Spotify Ab System and method for ordering media content for shuffled playback based on user preference
US9858927B2 (en) 2016-02-12 2018-01-02 Amazon Technologies, Inc Processing spoken commands to control distributed audio outputs
EP3427488A4 (en) * 2016-03-08 2019-08-21 Your Trainer Inc. SYSTEMS AND METHODS FOR DYNAMICALLY CREATING A PERSONALIZED EXERCISE VIDEO
US20170262537A1 (en) * 2016-03-14 2017-09-14 Amazon Technologies, Inc. Audio scripts for various content
EP3430514B1 (en) 2016-04-18 2019-10-09 Google LLC Automated assistant invocation of appropriate agent
US9990002B2 (en) 2016-05-25 2018-06-05 Lg Electronics Inc. Sound output apparatus and hub for communication network
WO2017203366A1 (en) 2016-05-27 2017-11-30 Mobile Synergy 26 International Limited Multifunctional connection systems for various devices and methods of use thereof
US10832684B2 (en) * 2016-08-31 2020-11-10 Microsoft Technology Licensing, Llc Personalization of experiences with digital assistants in communal settings through voice and query processing
US11085777B2 (en) * 2018-07-27 2021-08-10 Adobe Inc. Generating digital event sequences utilizing a dynamic user preference interface to modify recommendation model reward functions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110161085A1 (en) * 2009-12-31 2011-06-30 Nokia Corporation Method and apparatus for audio summary of activity for user
US20140244266A1 (en) * 2013-02-22 2014-08-28 Next It Corporation Interaction with a Portion of a Content Item through a Virtual Assistant
CN105247845A (zh) * 2013-05-28 2016-01-13 高通股份有限公司 用于选择媒体项目的系统和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210325193A1 (en) * 2018-07-27 2021-10-21 Adobe Inc. Generating digital event recommendation sequences utilizing a dynamic user preference interface
US11946753B2 (en) * 2018-07-27 2024-04-02 Adobe Inc. Generating digital event recommendation sequences utilizing a dynamic user preference interface
CN112654961A (zh) * 2018-09-29 2021-04-13 苹果公司 用于提供音频通知的设备、方法和用户界面

Also Published As

Publication number Publication date
CN112947683A (zh) 2021-06-11
JP7293180B2 (ja) 2023-06-19
EP3455720B1 (en) 2023-12-27
CN108604180A (zh) 2018-09-28
CN108604254A (zh) 2018-09-28
KR20190006975A (ko) 2019-01-21
KR20190014515A (ko) 2019-02-12
JP2021052403A (ja) 2021-04-01
JP6797938B2 (ja) 2020-12-09
CN108604254B (zh) 2022-04-12
KR102177786B1 (ko) 2020-11-12
EP3455747A1 (en) 2019-03-20
CN108604181B (zh) 2021-03-09
US20190391998A1 (en) 2019-12-26
CN114758655A (zh) 2022-07-15
US20170329848A1 (en) 2017-11-16
CN108604178B (zh) 2021-09-03
US10402450B2 (en) 2019-09-03
JP2019526177A (ja) 2019-09-12
CN108604181A (zh) 2018-09-28
KR102114003B1 (ko) 2020-05-25
EP3455721B1 (en) 2020-09-16
EP3757753A1 (en) 2020-12-30
EP3455720A1 (en) 2019-03-20
EP3455721A1 (en) 2019-03-20
EP3455722A1 (en) 2019-03-20
EP3455747B1 (en) 2021-07-28
US11860933B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
CN108604178A (zh) 个性化和场境化的音频简报
KR102634734B1 (ko) 어시스턴트 애플리케이션을 위한 이미지 바로가기를 제공하기 위한 시스템, 방법 및 장치
CN110741433B (zh) 使用多个计算设备的对讲式通信
US10498673B2 (en) Device and method for providing user-customized content
US11887594B2 (en) Proactive incorporation of unsolicited content into human-to-computer dialogs
JP7322076B2 (ja) 自動アシスタントを起動させるための動的および/またはコンテキスト固有のホットワード
CN110140168A (zh) 上下文热词
CN108885608A (zh) 家庭环境中的智能自动化助理
CN105144133A (zh) 对中断进行上下文相关处理
JP2023015054A (ja) 自動化アシスタントを呼び出すための動的および/またはコンテキスト固有のホットワード
US11055974B2 (en) Physical knowledge action triggers
JP6747444B2 (ja) 情報処理システム、情報処理方法、およびプログラム
US20210398517A1 (en) Response generating apparatus, response generating method, and response generating program
JP2023017791A (ja) アシスタントデバイスのディスプレイにレンダリングするコンテンツの選択
US20190147046A1 (en) Systems and methods for providing personalized context-aware information
WO2017197329A1 (en) Personalized and contextualized audio briefing
US10877819B2 (en) Reminders to capture image data
EP4315322A1 (en) System and method for robot initiated personalised conversation with a user
Dhillon et al. Method for Real-Time Voice Communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant