CN109101105A - 信息处理方法和信息处理设备 - Google Patents

信息处理方法和信息处理设备 Download PDF

Info

Publication number
CN109101105A
CN109101105A CN201810337785.XA CN201810337785A CN109101105A CN 109101105 A CN109101105 A CN 109101105A CN 201810337785 A CN201810337785 A CN 201810337785A CN 109101105 A CN109101105 A CN 109101105A
Authority
CN
China
Prior art keywords
input
user command
user
function
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810337785.XA
Other languages
English (en)
Inventor
约翰·韦尔东·尼克尔森
达赖尔·克罗默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN109101105A publication Critical patent/CN109101105A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

本公开涉及信息处理方法和信息处理设备。一个实施方式提供了一种信息处理方法，该方法包括：在信息处理设备处进行与用户的交互式会话；在信息处理设备处接收包括语音输入和姿势输入中的一个或更多个的用户命令输入；使用处理器确定用户命令输入是否与至少一个功能相关联，其中，所述至少一个功能基于与用户命令输入相关联的特性；以及在交互式会话期间执行所述至少一个功能。描述并且要求保护其他方面。

Description

信息处理方法和信息处理设备
技术领域
本发明涉及一种信息处理方法和信息处理设备。
背景技术
信息处理设备(“设备”)例如智能电话、平板设备、智能扬声器、膝上型计算机和个人计算机等能够接收用户命令输入并且提供响应于输入的输出。用户可以通过向布置在设备上的数字助理提供输入并且从布置在设备上的数字助理接收输出来与设备进行交互。通常，响应于接收到用户询问或用户命令，数字助理将提供相应的输出，直到输出响应完成。
发明内容
概括地，一方面提供了一种信息处理方法，该方法包括：在信息处理设备处进行与用户的交互式会话；在信息处理设备处接收包括语音输入和姿势输入中的一个或更多个的用户命令输入；使用处理器确定用户命令输入是否与至少一个功能相关联，其中，所述至少一个功能基于与用户命令输入相关联的特性；以及在交互式会话期间执行所述至少一个功能。
另一方面提供了一种信息处理设备，该设备包括：处理器；存储器设备，其存储能够由处理器执行以进行以下操作的指令：进行与用户的交互式会话；接收包括语音输入和姿势输入中的一个或更多个的用户命令输入；确定用户命令输入是否与至少一个功能相关联，其中，所述至少一个功能基于与用户命令输入相关联的特性；以及在交互式会话期间执行所述至少一个功能。
又一方面提供了一种设备可读介质，该介质存储代码，所述代码能够由处理器执行并且包括：进行与用户的交互式会话的代码；接收包括语音输入和姿势输入中的一个或更多个的用户命令输入的代码；确定用户命令输入是否与所述至少一个功能相关联的代码，其中，所述至少一个功能基于与用户命令输入相关联的特性；以及在交互式会话期间执行所述至少一个功能的代码。
前述内容是概述，并且因此可以包含细节的简化、概括和省略；因此，本领域技术人员将认识到，本发明内容仅是说明性的，并且不意在以任何方式进行限制。
为了更好地理解实施方式以及实施方式的其他的和另外的特征与优点，结合附图来参考以下描述。本发明的范围将在所附权利要求中指出。
附图说明
图1示出了信息处理设备电路系统的示例。
图2示出了信息处理设备电路系统的另一示例。
图3示出了在交互式会话期间基于与用户命令输入相关联的特性来执行至少一个功能的示例方法。
具体实施方式
将容易理解的是，本文的附图中概括地描述和示出的实施方式的部件可以以除了所描述的示例实施方式之外的各种不同的配置来布置和设计。因此，如附图中所表示的示例实施方式的以下更详细的描述并非意在限制所要求保护的实施方式的范围，而仅是表示示例实施方式。
贯穿本说明书对“一个实施方式”或“实施方式”(等)的提及意思是结合该实施方式描述的特定特征、结构或特性包括在至少一个实施方式中。因此，贯穿本说明书在各处出现的短语“在一个实施方式中”或“在实施方式中”等不一定全部指的是同一实施方式。
此外，所描述的特征、结构或特性可以以任何合适的方式组合在一个或更多个实施方式中。在以下描述中，提供了许多具体细节以给出对实施方式的透彻理解。然而，相关领域的技术人员将认识到，可以在没有一个或更多个具体细节的情况下实施各种实施方式，或者利用其他方法、部件、材料等来实施各种实施方式。在其他情况下，未示出或详细描述公知的结构、材料或操作以避免混淆。
用户经常利用设备来执行各种不同的命令或询问。与设备交互的一种方法是使用在设备上应用的数字助理软件(例如，的 的的等)。数字助理能够提供响应各种不同类型的用户输入(例如，语音输入等)的输出(例如，可听输出、视觉输出等)。
常规地，当被提示提供输出时，数字助理持续提供输出，直到响应完成。例如，响应于接收到用户询问来提供位置的方向，常规数字助理会持续提供方向性输出，而不管用户是否希望暂时中断或停止输出(例如，通过在提供输出期间提供另外的用户输入，例如“稍等”、“停止”等)。现有的解决方案提供了有限的手段来中断输出或改变输出反馈。另外，虽然目前存在用于媒体回放的姿势，但是这些姿势是预定义的(例如，特定姿势引起预定义命令等)，并且不考虑这些姿势被应用的情境，而且这些姿势也不适用于会话代理例如数字助理。
因此，实施方式提供了用于基于与在交互式会话期间提供的用户命令输入相关联的特性来执行至少一个功能的方法。在实施方式中，用户命令输入可以在提供输出期间被提供并且可以用于调整与输出相关联的输出设置。在实施方式中，可以进行交互式会话。在交互式会话期间，实施方式可以接收包括语音输入或姿势输入的用户命令输入。然后，实施方式可以确定用户命令输入是否与至少一个功能相关联，并且在交互式会话期间执行相应的功能。在实施方式中，所述至少一个功能可以基于与用户命令输入相关联的特性。这种方法可以使用户能够以更自然的方式与数字助理进行交互。
通过参照附图将最佳地理解示出的示例实施方式。以下描述仅意在作为示例，并且仅示出了某些示例实施方式。
虽然可以在信息处理设备中利用各种其他电路、电路系统或部件，但是对于智能电话和/或平板电路系统100，图1中示出的示例包括例如在平板电脑或其他移动计算平台中发现的片上系统设计。软件和一个或多个处理器被组合在单个芯片110中。如在本领域中公知的，处理器包括内部算术单元、寄存器、高速缓冲存储器、总线、I/O端口等。内部总线等依赖于不同的供应商，但是基本上所有的外围设备(120)均可以附接至单个芯片110。电路系统100将处理器、存储器控制和I/O控制器集线器全部组合到单个芯片110中。此外，这种类型的系统100通常不使用SATA或PCI或LPC。通用接口例如包括SDIO和I2C。
存在管理例如经由可再充电电池140供应的电力的一个或多个电力管理芯片130例如电池管理单元BMU，可以通过连接至电源(未示出)来对可再充电电池140进行再充电。在至少一种设计中，使用单个芯片例如110来提供像BIOS的功能和DRAM存储器。
系统100通常包括WWAN收发器150和WLAN收发器160中的一个或更多个，以用于连接至各种网络例如电信网络以及无线互联网设备例如接入点。另外，通常包括设备120，例如诸如摄像装置的图像传感器、诸如麦克风的音频捕获设备、热传感器等。系统100通常包括用于数据输入和显示/渲染的触摸屏170。系统100通常还包括各种存储器设备，例如闪存180和SDRAM 190。
图2描绘了信息处理设备电路、电路系统或部件的另一示例的框图。图2中描绘的示例可以对应于诸如由北卡罗来纳州莫里斯维尔的联想(美国)公司销售的THINKPAD系列个人计算机或其他设备的计算系统。根据本文的描述明显的是，实施方式可以包括其他特征或者图2中示出的示例的特征中的仅一些特征。
图2的示例包括具有可以依赖于制造商(例如，INTEL、AMD、ARM等)而变化的架构的所谓的芯片组210(一起工作的一组集成电路或芯片，芯片组)。INTEL是英特尔公司在美国和其他国家的注册商标。AMD是超威半导体(Advanced Micro Devices)公司在美国和其他国家的注册商标。ARM是安谋国际公司(ARM Holdings plc)在美国和其他国家的未注册商标。芯片组210的架构包括核与存储器控制组220和I/O控制器集线器250，核与存储器控制组220和I/O控制器集线器250经由直接管理接口(DMI)242或链路控制器244交换信息(例如，数据、信号、命令等)。在图2中，DMI 242是芯片至芯片接口(有时被称为“北桥”与“南桥”之间的链路)。核和存储器控制组220包括经由前端总线(FSB)224交换信息的一个或更多个处理器222(例如，单核或多核)和存储器控制器集线器226；注意，组220的部件可以被集成在代替常规“北桥”型架构的芯片中。如本领域所公知的，一个或更多个处理器222包括内部算术单元、寄存器、高速缓冲存储器、总线、I/O端口等。
在图2中，存储器控制器集线器226与存储器240接口连接(例如，以向可以被称为“系统存储器”或“存储器”的类型的RAM提供支持)。存储器控制器集线器226还包括用于显示设备292(例如，CRT、平板、触摸屏等)的低压差分信令(LVDS)接口232。块238包括可以经由LVDS接口232来支持的一些技术(例如，串行数字视频、HDMI/DVI、显示端口)。存储器控制器集线器226还包括可以支持独立显卡236的PCI-express接口(PCI-E)234。
在图2中，I/O集线器控制器250包括SATA接口251(例如，用于HDD、SDD等280)、PCI-E接口252(例如，用于无线连接282)、USB接口253(例如，用于诸如数字化器、键盘、鼠标、摄像装置、电话、麦克风、存储装置、其他连接的设备等的设备284)、网络接口254(例如LAN)、GPIO接口255、LPC接口270(用于ASIC 271、TPM 272、超级I/O 273、固件集线器274、BIOS支持275以及各种类型的存储器276例如ROM 277、闪存278和NVRAM 279)、电力管理接口261、时钟发生器接口262、音频接口263(例如，用于扬声器294)、TCO接口264、系统管理总线接口265和SPI闪存266，SPI闪存266可以包括BIOS 268和启动代码290。I/O集线器控制器250可以包括千兆以太网支持。
系统在上电时可以被配置成执行SPI闪存266内存储的用于BIOS 268的启动代码290，并且之后，在一个或更多个操作系统和应用软件(例如，存储在系统存储器240中)的控制下处理数据。操作系统可以存储在各种位置中的任何位置并且例如根据BIOS 268的指令而被访问。如本文所描述的，设备可以包括比图2的系统中示出的特征更少或更多的特征。
如例如在图1或图2中概述的，信息处理设备电路系统可以用在诸如平板电脑、智能电话、智能扬声器、一般的个人计算机设备和/或可以包括数字助理的电子设备的设备中，数字助理可以与用户进行交互并且可以响应于接收到用户输入来执行各种功能。例如，图1中概述的电路系统可以实现在平板电脑或智能电话实施方式中，而图2中概述的电路系统可以实现在个人计算机实施方式中。
现在参照图3，实施方式可以基于与在交互式会话期间接收到的用户命令输入相关联的特性来执行至少一个功能。在301处，实施方式可以进行或被进行与用户的交互式会话。进行交互式会话可以包括开始交互式会话、处理用户输入、对用户输入提供输出、等待另外的用户输入等。换言之，进行交互式会话可以包括在对话会话期间或者在与数字助理交流期间的任何一点。
开始交互式会话可以通过接收开始交互式会话的指示来开始。在实施方式中，指示可以是由用户提供的唤醒动作(例如，一个或更多个唤醒词、按压按钮达预定时间长度、选择数字助理图标等)。在实施方式中，可以在用户输入之前提供唤醒动作或者与用户输入结合来提供唤醒动作。例如，用户可以提供声音输入“好的，Surlexana，从家到工作地点的最快路线是什么？”，在这种情况下，“好的，Surlexana”是唤醒词，并且一旦识别到唤醒词，实施方式可以使系统准备好收听另外的用户输入。响应于识别到唤醒动作，实施方式可以发起交互式会话。
系统也可以被编程为不需要唤醒动作。例如，系统可以仅“收听”用户并且确定何时用户正在提供针对系统的输入。然后，在系统确定用户输入针对该系统时，交互式会话可以被发起。如上面以及下面更详细地讨论的，在一个实施方式中，交互式会话可以包括至少一个用户输入和至少一个用户输出，其中所述至少一个用户输入可以包括用户命令或用户询问。
在302处，实施方式可以从至少一个用户接收用户命令输入。用户命令输入可以在交互式会话期间的任何时间被接收。例如，用户命令输入可以在数字助理正在处理用户输入、提供响应于用户输入的输出等时被接收。输入可以在输入设备(例如，物理键盘、屏上键盘、音频捕获设备、图像捕获设备、视频捕获设备等)处被接收，并且可以通过任何已知的向电子设备提供输入(例如，姿势输入、触摸输入、文本输入、语音输入等)的方法来提供。为了简单起见，本文的大部分讨论将涉及可以在操作耦接至语音识别设备的输入设备(例如，麦克风、语音捕获设备等)处接收的语音输入以及可以在操作耦接至姿势识别设备的输入设备(例如，摄像装置、姿势捕获设备等)处接收的姿势输入。然而，应该理解，通常可以利用任何形式的用户输入。
在实施方式中，输入设备可以是与语音识别设备或姿势识别设备集成的输入设备。例如，智能电话可以被配置有能够相应地接收语音输入数据和姿势输入数据的麦克风或摄像装置。可替选地，输入设备可以被布置在另一设备上，并且可以将接收到的语音输入数据或姿势输入数据相应地传送至语音识别设备或姿势识别设备。例如，语音输入可以在智能扬声器处被接收，该智能扬声器可以随后将语音数据传送至另一设备(例如，至用户的智能电话以进行处理等)。可以通过连接的数据存储系统(例如，经由云存储、远程存储、本地存储、网络存储等)等经由无线连接(例如，使用蓝牙连接、近场通信(NFC)、无线连接技术等)、有线连接(例如，设备耦接至另一设备或源等)将语音输入数据和姿势输入数据从其他源传送至语音识别设备和姿势识别设备。
在实施方式中，输入设备可以被配置成通过将输入设备保持在活动状态来持续接收语音输入数据和姿势输入数据。即使当与语音识别设备相关联的其他传感器(例如，摄像装置、光传感器、扬声器、其他麦克风等)为不活动时，输入设备也可以例如持续地检测语音输入数据和姿势输入数据。可替选地，输入设备可以保持活动状态达预定时间量(例如，30分钟、1小时、2小时等)。在该预定时间窗期间未接收到任何语音输入数据或姿势输入数据之后，实施方式可以将输入设备切换至断电状态。预定时间窗可以由制造商预先配置，或者可替选地可以由一个或更多个用户配置和设置。
在实施方式中，语音输入和姿势输入实际上可以是指示如何将输出提供至用户的功能的任何类型的语音输入和姿势输入。例如，关于语音输入，语音输入可以是用户命令，例如“稍等”、“回到主题”、“放慢速度”等。关于姿势输入，姿势输入可以是用户在手心面向摄像装置的情况下将他们的手伸向摄像装置以命令数字助理停止提供输出、用户用他们的手指旋转画圆以命令数字助理提高输出速度等。在实施方式中，命令输入可以在由设备提供输出期间被接收。例如，响应于接收到用户询问来提供位置的方向，数字助理可以开始提供相应的方向。在提供这些方向期间，用户可以向设备提供语音输入或姿势输入(例如，诸如“等一下”的语音输入或诸如将手保持在空气中的相应姿势输入等)。
在303处，实施方式可以确定用户命令输入是否与至少一个功能相关联。在该情境下，所述至少一个功能可以指的是与如何执行输出或者如何将输出提供给用户相关联的功能。在实施方式中，所述至少一个功能可以基于与用户命令输入相关联的特性。
在实施方式中，与用户命令输入相关联的特性可以包括与用户命令输入相关联的情境。在实施方式中，基于所确定的情境，与用户命令输入相关联的相应输出功能可以是不同的。在实施方式中，情境可以根据用户输入(例如，“为我订购披萨”的用户命令可以与披萨订购情境等相关联)、正在与用户进行交互的应用(例如，虚拟书、视频流应用等)、用户的可访问情境数据(例如，日历条目、保存的笔记、社交媒体条目等)等被识别。在实施方式中，相同的命令输入可以基于情境而对应于不同的输出功能。例如，当用户正在订购披萨时，他们可以通过提供输入“下一个”或者用他们的手执行轻扫(swipe)姿势来进行披萨订购过程。可替选地，当用户正在与虚拟书进行交互时，用户提供的输入“下一个”或轻扫手势可以与翻动虚拟书的页面的功能相关联。
在实施方式中，与用户命令输入相关联的特性可以包括提供命令输入的用户。在实施方式中，多个用户可以访问和使用单个设备。在这种情况下，实施方式可以在访与用户相关联的命令输入数据之前识别该特定用户。例如，多个用户可以具有通过登录至用户简档来访问设备(例如，膝上型计算机、台式计算机等)的能力。每个用户简档可以包含可以特定于所识别的用户的各种设置，所述各种设置包括与不同命令相关联的输出功能。例如，用户A可以通过向设备的登录画面上的输入字段提供用户识别数据(例如，数字指纹、用户相关密码、用户证书、生物数据、设备数据等)来获得对设备上的用户简档的访问。在授予用户A对他们的用户简档的访问之后，实施方式可以访问与用户A相关联的命令输入数据。如果用户B在同一设备上登录至与用户B相关联的用户简档，则实施方式可以访问特定于用户B的命令输入数据而不是与用户A相关联的命令输入数据。在这种情况下，可能发生以下事件：用户A和用户B二者提供相同的命令输入(例如，手指摇摆等)，但是与手指摇摆相关联的相应输出功能对于每个用户可能是不同的，并且可能依赖于正在提供输入的用户。
响应于在303处确定用户命令输入与至少一个功能相关联，实施方式可以在305处执行所述至少一个功能。出于讨论的目的，所述至少一个功能是与输出被执行的方式或输出被提供至用户的方式有关的功能。在实施方式中，语音识别设备或与语音识别设备相关联的其他设备可以向用户提供输出。输出可以是音频输出、视觉输出、它们的组合等。在实施方式中，可以通过扬声器、其他输出设备等来提供可听输出。在实施方式中，可以通过显示屏、其他显示设备等来提供视觉输出。在实施方式中，输出设备可以集成至语音识别设备，或者可以位于另一设备上。在后者的情况下，输出设备可以经由无线连接或有线连接来连接至语音识别设备。例如，智能电话可以提供通过操作耦接的智能扬声器提供可听输出的指令。
在用户命令输入在提供输出期间被接收的情况下，实施方式可以基于用户命令输入来调整与输出相关联的输出设置。在实施方式中，输出设置可以对应于输出速度，并且所述至少一个功能的性能可以对应于对输出被多快地提供至用户的调整。例如，用户可能很匆忙，并且提供提高输出的速度的用户命令。然后，实施方式可以提高向用户提供输出的速率。速率的提高可以是预定的提高(例如，快25％等)，或者可以是由用户指定的速率(例如，“以双倍速度告诉我”等)。
在实施方式中，输出设置可以对应于输出长度或者输出概述，并且所述至少一个功能的性能可以对应于对被提供给用户的输出的长度或者类型的调整。例如，用户可能很匆忙，并且提供对输出进行概括的用户命令。然后，实施方式可以对输出内容进行概括(例如，通过利用自动文档概述技术等)。可以代替全部输出而将输出的概括版本提供给用户。相反，在另一示例中，用户可能想知道关于输出的更多信息，并且提供向数字助理询问更多细节的命令(例如，诸如其余的天气预报、行驶路线上存在减速的地方等)。虽然使用语音输入命令说明了上述输出概述示例和输出细化示例，但是也可以使用姿势来提供这些命令。例如，可以使用压缩姿势(例如，用户将两个手指或他们的手移动到一起等)来命令数字助理对输出进行概括，以及使用伸展姿势(例如，用户将两个手指或他们的手分开等)来命令数字助理提供另外的细节。
响应于在303处确定用户命令输入不与至少一个功能相关联，实施方式可以在304处向该命令输入指定功能。在实施方式中，指定功能可以包括询问用户来向用户命令输入指定功能。例如，实施方式可以可听地声明它未识别用户命令输入并且可以要求用户来向该输入指定功能。响应于接收到用户的功能指定，实施方式可以存储该指定(例如，存储在可访问的存储数据库等中)，并且在接收到相同的用户命令输入的后续重复时执行所存储的功能。实施方式也可以基于从用户接收的其他信息来学习功能。例如，如果用户正在做出特定姿势并且还提供可听输入，则系统可以确定姿势应该与可听输入中包括的功能相关联。作为示例，用户可以将手指放在他们的嘴唇上，并且还说出“嘘”。然后，实施方式可以将手指至嘴唇的姿势与“停止提供输出”功能相关联。
在实施方式中，与特定数字助理应用相关联的所有未识别的命令输入可以被标记并且存储在数据库中。之后，可以由应用管理器向这些命令输入指定功能。可替选地，实施方式可以接收众包输入以确定接收到的命令输入的合适功能。例如，多个用户可以识别到特定姿势应该被指定给特定功能。然后，实施方式可以将该功能指定给该姿势。响应于接收到功能指定，此后，实施方式可以在接收到相同用户命令输入的后续重复时执行该功能。
因此，本文描述的各种实施方式表示对常规数字助理交互技术的技术改进。使用本文描述的技术，实施方式可以接收进行与数字助理的交互式会话的指示，在交互式会话期间用户可以向数字助理提供用户命令输入(例如，语音输入、姿势输入等)。然后，实施方式可以确定与用户命令输入相关联的特性，并且基于该特性确定用户命令输入是否与功能相关联。响应于确定命令输入被映射至功能，实施方式可以执行该功能。这种技术使设备能够在处理用户命令输入时更自然地与用户进行沟通。
如本领域技术人员将认识到的，各个方面可以被实施为系统、方法或设备程序产品。因此，各方面可以采取纯硬件实施方式或者包括软件的实施方式的形式，所述软件在本文中可以全部笼统地称为“电路”、“模块”或“系统”。此外，各方面可以采取在一个或更多个具有设备可读程序代码的设备可读介质中包含的设备程序产品的形式，所述设备可读程序代码包含在设备可读介质中。
应该注意，本文描述的各种功能可以使用存储在设备可读存储介质例如非信号存储设备上的由处理器执行的指令来实现。存储设备可以是例如系统、装置或设备(例如，电的、磁的、光学、电磁、红外或半导体系统、装置或设备)或者前述的任何合适的组合。存储设备/介质的更具体的示例包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式压缩盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述的任何合适的组合。在本文档的上下文下，存储设备不是信号，并且“非暂态”包括除信号媒介以外的所有媒介。
存储介质上包含的程序代码可以使用任何合适的介质来传送，包括但不限于无线、有线、光缆、RF等或者前述的任何合适的组合。
用于执行操作的程序代码可以以一种或更多种程序设计语言的任意组合来编写。程序代码可以完全在单个设备上执行、部分地在单个设备上执行、作为独立软件包执行、部分在单个设备上并且部分在另一设备上执行，或者完全在其他设备上执行。在某些情况下，设备可以通过任何类型的连接或网络——包括局域网(LAN)或广域网(WAN)——来连接，或者该连接可以通过其他设备(例如，通过使用互联网服务供应商的互联网)、通过无线连接例如近场通信、或者通过硬线连接例如通过USB连接来进行。
本文参照附图描述了示例实施方式，附图示出了根据各种示例实施方式的示例方法、设备和程序产品。将理解的是，动作和功能可以至少部分地通过程序指令来实现。这些程序指令可以被提供给设备的处理器、专用信息处理设备或其他可编程数据处理设备以产生机器，使得经由设备的处理器执行的指令实现指定的功能/动作。
值得注意的是，虽然在附图中使用了特定块，并且已经示出了块的特定排序，但是这些是非限制性示例。因为明确示出的示例仅用于描述性目的并且不应该被解释为限制性的，所以在某些情境下可以将两个或更多个块组合，可以将块分成两个或更多个块，或者可以将某些块适当地重新排序或重新组织。
如本文所使用的，除非另外清楚地指出，否则单数“一”和“一个”可以被解释为包括复数“一个或更多个”。
已经出于说明和描述的目的呈现了本公开内容，但是本公开内容并非意在是穷尽或限制性的。许多修改和变化对于本领域的普通技术人员而言将是明显的。选择和描述示例实施方式是为了说明原理和实际应用，并且使本领域的其他普通技术人员能够理解本公开内容的具有适合想到的特定用途的各种修改的各种实施方式。
因此，虽然本文已经参照附图描述了说明性示例实施方式，但是应该理解，该描述不是限制性的，并且本领域技术人员可以在不偏离本公开内容的范围和精神的情况下在本公开内容中实现各种变化和修改。
本公开内容还可以通过以下方案来实现：
方案1.一种信息处理方法，包括：
在信息处理设备处进行与用户的交互式会话；
在所述信息处理设备处接收包括语音输入和姿势输入中的一个或更多个的用户命令输入；
使用处理器确定所述用户命令输入是否与至少一个功能相关联，其中，所述至少一个功能基于与所述用户命令输入相关联的特性；以及
在所述交互式会话期间执行所述至少一个功能。
方案2.根据方案1所述的方法，其中，所述接收包括在由所述信息处理设备提供输出期间接收所述用户命令输入。
方案3.根据方案2所述的方法，其中，执行所述至少一个功能包括基于所述用户命令输入来调整与所述输出相关联的输出设置。
方案4.根据方案3所述的方法，其中，所述输出设置包括输出速度，并且其中，所述调整包括调整所述输出的输出速度。
方案5.根据方案1所述的方法，其中，与所述用户命令输入相关联的所述特性包括提供所述用户命令输入的用户。
方案6.根据方案1所述的方法，其中，与所述用户命令输入相关联的所述特性包括与所述用户命令输入相关联的情境。
方案7.根据方案1所述的方法，响应于确定所述用户命令输入不与所述至少一个功能相关联，询问用户以向所述用户命令输入指定功能，并且在随后接收到所述用户命令输入时执行所指定的功能。
方案8.根据方案1所述的方法，响应于确定所述用户命令输入不与所述至少一个功能相关联，向所述用户命令输入指定功能。
方案9.根据方案8所述的方法，其中，所述指定包括基于以下中的一个或更多个来进行指定：众包输入；来自另一用户的输入；以及，与基本上与所述用户命令输入同时提供的另一用户命令输入相关联的功能。
方案10.根据方案1所述的方法，其中，所述确定包括：识别与语音输入相关联的所述用户命令输入中的所述至少一个功能，其中与语音输入相关联的所述用户命令输入和与姿势输入相关联的用户命令输入基本上同时被提供；并且之后，将与语音输入相关联的所述用户命令输入中的所述至少一个功能指定给与姿势输入相关联的所述用户命令输入。
方案11.一种信息处理设备，包括：
处理器；
存储器设备，其存储能够由所述处理器执行以进行以下操作的指令：
进行与用户的交互式会话；
接收包括语音输入和姿势输入中的一个或更多个的用户命令输入；
确定所述用户命令输入是否与至少一个功能相关联，其中，所述至少一个功能基于与所述用户命令输入相关联的特性；以及
在所述交互式会话期间执行所述至少一个功能。
方案12.根据方案11所述的信息处理设备，其中，能够由所述处理器执行以进行接收的指令包括能够由所述处理器执行以进行以下操作的指令：在由所述信息处理设备提供输出期间接收所述用户命令输入。
方案13.根据方案12所述的信息处理设备，其中，能够由所述处理器执行以执行所述至少一个功能的指令包括能够由所述处理器执行以基于所述用户命令输入来调整与所述输出相关联的输出设置的指令。
方案14.根据方案13所述的信息处理设备，其中，所述输出设置包括输出速度，并且其中，能够由所述处理器执行以进行调整的指令包括能够由所述处理器执行以调整所述输出的输出速度的指令。
方案15.根据方案11所述的信息处理设备，其中，与所述用户命令输入相关联的所述特性包括提供所述用户命令输入的用户。
方案16.根据方案11所述的信息处理设备，其中，与所述用户命令输入相关联的所述特性包括与所述用户命令输入相关联的情境。
方案17.根据方案11所述的信息处理设备，其中，所述指令还能够由所述处理器执行以响应于确定所述用户命令输入不与所述至少一个功能相关联而询问用户以向所述用户命令输入指定功能。
方案18.根据方案17所述的信息处理设备，其中，所述指令还能够由所述处理器执行以在随后接收到所述用户命令输入时执行所指定的功能。
方案19.根据方案11所述的信息处理设备，其中，所述指令还能够由所述处理器执行以响应于确定所述用户命令输入不与所述至少一个功能相关联而向所述用户命令输入指定功能。
方案20.一种设备可读介质，其存储代码，所述代码能够由处理器执行并且包括：
进行与用户的交互式会话的代码；
接收包括语音输入和姿势输入中的一个或更多个的用户命令输入的代码；
确定所述用户命令输入是否与至少一个功能相关联的代码，其中，所述至少一个功能基于与所述用户命令输入相关联的特性；以及
在所述交互式会话期间执行所述至少一个功能的代码。

Claims (10)

1.一种信息处理方法，包括：
在信息处理设备处进行与用户的交互式会话；
在所述信息处理设备处接收包括语音输入和姿势输入中的一个或更多个的用户命令输入；
使用处理器确定所述用户命令输入是否与至少一个功能相关联，其中，所述至少一个功能基于与所述用户命令输入相关联的特性；以及
在所述交互式会话期间执行所述至少一个功能。
2.根据权利要求1所述的方法，其中，所述接收包括在由所述信息处理设备提供输出期间接收所述用户命令输入。
3.根据权利要求2所述的方法，其中，执行所述至少一个功能包括基于所述用户命令输入来调整与所述输出相关联的输出设置。
4.根据权利要求3所述的方法，其中，所述输出设置包括输出速度，并且其中，所述调整包括调整所述输出的输出速度。
5.根据权利要求1所述的方法，其中，与所述用户命令输入相关联的所述特性包括提供所述用户命令输入的用户和与所述用户命令输入相关联的情境。
6.根据权利要求1所述的方法，响应于确定所述用户命令输入不与所述至少一个功能相关联，询问用户以向所述用户命令输入指定功能，并且在随后接收到所述用户命令输入时执行所指定的功能。
7.根据权利要求1所述的方法，响应于确定所述用户命令输入不与所述至少一个功能相关联，向所述用户命令输入指定功能。
8.根据权利要求7所述的方法，其中，所述指定包括基于以下中的一个或更多个来进行指定：众包输入；来自另一用户的输入；以及，与基本上与所述用户命令输入同时提供的另一用户命令输入相关联的功能。
9.根据权利要求1所述的方法，其中，所述确定包括：识别与语音输入相关联的所述用户命令输入中的所述至少一个功能，其中与语音输入相关联的所述用户命令输入和与姿势输入相关联的用户命令输入基本上同时被提供；并且之后，将与语音输入相关联的所述用户命令输入中的所述至少一个功能指定给与姿势输入相关联的所述用户命令输入。
10.一种信息处理设备，包括：
处理器；
存储器设备，其存储能够由所述处理器执行以进行以下操作的指令：
进行与用户的交互式会话；
接收包括语音输入和姿势输入中的一个或更多个的用户命令输入；
确定所述用户命令输入是否与至少一个功能相关联，其中，所述至少一个功能基于与所述用户命令输入相关联的特性；以及
在所述交互式会话期间执行所述至少一个功能。
CN201810337785.XA 2017-06-20 2018-04-16 信息处理方法和信息处理设备 Pending CN109101105A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/628,022 US20180364809A1 (en) 2017-06-20 2017-06-20 Perform function during interactive session
US15/628,022 2017-06-20

Publications (1)

Publication Number Publication Date
CN109101105A true CN109101105A (zh) 2018-12-28

Family

ID=64457691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810337785.XA Pending CN109101105A (zh) 2017-06-20 2018-04-16 信息处理方法和信息处理设备

Country Status (3)

Country Link
US (1) US20180364809A1 (zh)
CN (1) CN109101105A (zh)
DE (1) DE102018114655A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109828706B (zh) * 2019-01-31 2021-02-09 维沃移动通信有限公司 一种信息显示方法及终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102141873A (zh) * 2010-02-02 2011-08-03 宏碁股份有限公司 电子文件的操控方法
TW201224843A (en) * 2010-12-03 2012-06-16 Microlink Comm Inc Paging method for electronic book reading device
CN103019444A (zh) * 2012-12-09 2013-04-03 广州市动景计算机科技有限公司 一种触摸屏的触摸操作方法及触摸屏设备
CN103914143A (zh) * 2013-01-07 2014-07-09 义明科技股份有限公司 电子装置的控制方法
CN105549878A (zh) * 2015-12-08 2016-05-04 北京奇虎科技有限公司 电子书翻页控制方法及设备
CN105675008A (zh) * 2016-01-08 2016-06-15 北京乐驾科技有限公司 一种导航显示方法及系统
CN105892661A (zh) * 2016-03-31 2016-08-24 广东工业大学 机器智能决策的方法
CN106369737A (zh) * 2016-08-19 2017-02-01 珠海格力电器股份有限公司 空调控制处理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140309866A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Building profiles associated with vehicle users
US9111214B1 (en) * 2014-01-30 2015-08-18 Vishal Sharma Virtual assistant system to remotely control external services and selectively share control
US10120437B2 (en) * 2016-01-29 2018-11-06 Rovi Guides, Inc. Methods and systems for associating input schemes with physical world objects

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102141873A (zh) * 2010-02-02 2011-08-03 宏碁股份有限公司 电子文件的操控方法
TW201224843A (en) * 2010-12-03 2012-06-16 Microlink Comm Inc Paging method for electronic book reading device
CN103019444A (zh) * 2012-12-09 2013-04-03 广州市动景计算机科技有限公司 一种触摸屏的触摸操作方法及触摸屏设备
CN103914143A (zh) * 2013-01-07 2014-07-09 义明科技股份有限公司 电子装置的控制方法
CN105549878A (zh) * 2015-12-08 2016-05-04 北京奇虎科技有限公司 电子书翻页控制方法及设备
CN105675008A (zh) * 2016-01-08 2016-06-15 北京乐驾科技有限公司 一种导航显示方法及系统
CN105892661A (zh) * 2016-03-31 2016-08-24 广东工业大学 机器智能决策的方法
CN106369737A (zh) * 2016-08-19 2017-02-01 珠海格力电器股份有限公司 空调控制处理方法及装置

Also Published As

Publication number Publication date
US20180364809A1 (en) 2018-12-20
DE102018114655A1 (de) 2018-12-20

Similar Documents

Publication Publication Date Title
CN105589555B (zh) 信息处理方法、信息处理设备及电子设备
US10042391B2 (en) Electronic device with foldable display and method of operating the same
EP3040985B1 (en) Electronic device and method for voice recognition
US10796693B2 (en) Modifying input based on determined characteristics
US10204624B1 (en) False positive wake word
US20150378557A1 (en) Foldable electronic apparatus and interfacing method thereof
KR102206054B1 (ko) 지문 처리 방법 및 그 전자 장치
EP2905679B1 (en) Electronic device and method of controlling electronic device
US9851790B2 (en) Gaze based notification reponse
KR102208477B1 (ko) 마이크 운용 방법 및 이를 지원하는 전자 장치
EP3411780B1 (en) Intelligent electronic device and method of operating the same
CN105610471B (zh) 无线数据输入和输出方法和设备
EP2940556A1 (en) Command displaying method and command displaying device
US11178280B2 (en) Input during conversational session
KR102144588B1 (ko) 센서 모듈 및 이를 구비한 장치
CN108694941A (zh) 用于交互式会话的方法、信息处理装置及产品
US20150304569A1 (en) Electronic device with zoom lens
WO2021115424A1 (zh) 一种语音支付方法和电子设备
CN108073275A (zh) 信息处理方法、信息处理设备及程序产品
US10831273B2 (en) User action activated voice recognition
US10163455B2 (en) Detecting pause in audible input to device
US10936276B2 (en) Confidential information concealment
US20210005189A1 (en) Digital assistant device command performance based on category
CN108986802A (zh) 用于提供与方言相关联的输出的方法、设备及程序产品
CN109101105A (zh) 信息处理方法和信息处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181228

WD01 Invention patent application deemed withdrawn after publication