CN109891374B - 用于与数字代理的基于力的交互的方法和计算设备 - Google Patents

用于与数字代理的基于力的交互的方法和计算设备 Download PDF

Info

Publication number
CN109891374B
CN109891374B CN201780066250.7A CN201780066250A CN109891374B CN 109891374 B CN109891374 B CN 109891374B CN 201780066250 A CN201780066250 A CN 201780066250A CN 109891374 B CN109891374 B CN 109891374B
Authority
CN
China
Prior art keywords
touch input
ipa
force
computing device
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780066250.7A
Other languages
English (en)
Other versions
CN109891374A (zh
Inventor
C·克莱因
C·R·卡波佐
B·D·埃利奥特
C·M·巴思
O·J·C·图奥米
S·申
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109891374A publication Critical patent/CN109891374A/zh
Application granted granted Critical
Publication of CN109891374B publication Critical patent/CN109891374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

各实施例涉及实现与智能个人助理(IPA)的基于力的交互。能够感测施加于所输入的触摸输入的力的计算设备被配置有基于压力的过滤器，该过滤器检查触摸输入的压力以确定哪些触摸输入将被转移到IPA或者哪些触摸输入将被传递到与IPA无关的下层用户界面。基于被指定用于IPA的触摸输入的压力特性，这些触摸输入可以变成IPA的上下文的一部分。一些IPA对触摸输入的使用包括：选择显示器上的图形对象，将外部短语(例如，“那个”、“那些”)解析为指代如此选择的图形对象，显示瞬态用户界面以提供关于所选择对象的信息(或针对所选择对象的动作)，将所选择对象并入IPA的当前上下文中，等等。

Description

用于与数字代理的基于力的交互的方法和计算设备
背景技术
成熟软件技术的融合已使得智能个人助理(IPA)对于日常使用变得实际。语音识别准确性、机器学习、以及对各种数据的快速访问已被组合以使IPA理解并执行复杂的语音命令(如本文所使用的，“命令”是指指令和问题两者)变得可能。一些熟知的IPA是Apple的Siri(TM)、Google Now(或Google Assistant)(TM)、亚马逊的Alexa(TM)、微软的Cortana(TM)、Facebook的M(TM)、Sirius(开源)、以及其它。
虽然IPA在一般能力方面继续改善，但这些代理对上下文的理解有限，因为它应用于执行IPA的设备(或者其至少某一部分，例如前端)的显示器上的特定对象。目前，为了指代特定的屏幕上对象，用户必须描述对象的属性(例如，名称)来指定特定的对象。实验IPA已实现对位置的详细冗余描述以指定对象。用户可能会说出诸如“发送从左上角数的第三对象”、“打开从右侧数第四个从下数的第二个图标”或“分享我的猫戴着帽子的图片”等描述。对于用户而言表述这种描述性短语可能是乏味的，并且IPA经常难以解释。一些IPA能够从屏幕上示出的信息中推断语音命令的上下文。然而，这种方法涉及尝试枚举所有感兴趣的对象，并且不能够指定特定对象的上下文。另外，这种方法对于较大的设备或者在多任务场景中特别受限，其中用户可能指代的对象(例如，当说出命令“共享这个”时)是非常模糊的。一些IPA分析屏幕上的任何内容，并基于对象的属性以及可能其他因素(例如最近使用活动或其目标)来做出关于对象的推断和假设。这种启发式猜测通常无法识别用户的预期目标。用于确定用户所指代的是哪个屏幕上对象的现有方法都没有涉及明确的手动(即，触摸)指定。因此，作为现有任务流的一部分，IPA最终向用户提供有限的值。
使用非语音形式的用户输入来向IPA指定对象(例如触摸输入)似乎很方便。然而，大多数操作系统已经被设计为以预先定义的方式来处理触摸输入。针对对象的触摸很可能已经被保留用于触发预期响应。下面讨论用于使得触摸输入能够用于指定IPA的上下文而不会干扰预先存在的触摸功能的技术。
发明内容
包括以下发明内容仅为了介绍以下具体实施方式中所讨论的一些概念。该发明内容不是全面的，并且并非旨在描述所要求保护的主题内容的范围，该主题内容的范围由本申请给出的权利要求来阐述。
各实施例涉及实现与智能个人助理(IPA)的基于力的交互。能够感测施加于所输入的触摸输入的力的计算设备被配置有基于压力的过滤器，该过滤器检查触摸输入的压力以确定哪些触摸输入将被转移到IPA或者哪些触摸输入将被传递到与IPA无关的下层用户界面。基于被指定用于IPA的触摸输入的压力特性，这些触摸输入可以变成IPA的上下文的一部分。一些IPA对触摸输入的使用包括：选择显示器上的图形对象，将外指(exophoric)短语(例如，“那个”、“那些”)解析为指代如此选择的图形对象，显示瞬态用户界面以提供关于所选择对象的信息(或针对所选择对象的动作)，将所选择对象并入IPA的当前上下文中，等等。
下面将参考结合附图考虑的以下详细描述来解释许多伴随特征。
附图说明
从以下根据附图阅读的详细描述将更好地理解本说明书，其中类似的附图标记用于表示所附说明书中的类似部件。
图1示出了被配置为在显示器上提供用户界面的计算设备。
图2示出了计算设备的另外细节。
图3示出了IPA的细节。
图4示出了触摸输入如何通过压力过滤器以转移到IPA或传递到应用层。
图5示出了使用触摸输入的压力来解析语音命令的外指短语的过程。
图6示出了基于与通过语音识别所识别的命令相关联的触摸输入来识别外指物的一个或多个对象的过程。
图7示出了语音命令和针对语音命令触摸输入在其相对时间顺序方面可以如何不同。
图8示出了压力过滤的触摸输入的某些功能可以如何用于帮助解析语音命令中的外指物。
图9示出了解决多元外指物的示例。
图10示出了IPA使用触摸输入提示来提供关于对象的上下文洞察的实施例。
图11示出了可以在其上实现上述实施例的计算设备的细节。
具体实施方式
图1示出了被配置为在显示器102上提供用户界面的计算设备100。显示器102具有触摸和压力感测能力。操作系统106包括输入堆栈108、显示管理器110和窗口系统112。输入堆栈108包括设备驱动器和从第一显示器102接收原始压力点并将它们转换为窗口系统112可使用的形式的其他组件。窗口系统112提供已知功能，例如接收压力点并将它们作为事件分派给相应窗口(例如，应用)的软件，生成用于窗口的图形等等。显示管理器110管理由窗口系统112生成的图形的显示，并且可以为窗口系统112提供抽象显示功能，例如提供与哪些显示器可用及其属性有关的信息。
计算设备100还包括压力过滤器114和智能个人助理116(IPA)。压力过滤器114是输入处理链中的模块，该模块评估触摸输入的压力特征以将满足由压力过滤器114实现的压力条件的触摸输入“过滤”或转移到IPA116。在一些实施例中，由显示器102感测到的所有触摸输入由压力过滤器114评估，该压力过滤器114用作门，该门指示(i)满足压力条件的触摸输入将由IPA 116接收和处理，以及(ii)指示不满足压力条件的触摸输入传递给窗口系统112的普通输入处理链，该普通输入处理链将触摸输入分派给窗口管理器、应用窗口、用户界面元素等等。IPA 116是已知类型的软件模块，但是如本文所述进行修改或扩展以使用触摸输入来获取上下文以用于向用户提供信息以及用于解释和执行语音命令。
图1中所示出的模块的功能的细分仅是可以实现本文所描述的实施例的一种类型的环境的示例。本文所描述的实施例可以适用于显示图形并使用压敏触摸表面的任何计算设备。术语“触摸”在本文中用于描述由任何物理工具(包括手指、笔、手写笔等等)输入的点。
图2示出了计算设备100的另外细节。当诸如手指或手写笔之类的物理指针120接触感测表面122时，感测表面122生成位置信号，该位置信号指示感测表面122的由物理指针120接触的对应点的位置。感测表面122还生成压力信号，该压力信号指示对由物理指针120施加到感测表面122的力的测量值。可以基于感测表面的位移、由接触点形成的形状、热量、像素级压力传感器阵列等等来实现力或压力感测。直接测量或间接估计物理指针120的变化力的任何手段都将是足够的。
感测表面122输出原始压力点124，每个原始压力点124具有设备坐标和压力测量值，例如在0至1之间。输入堆栈108接收由设备驱动器126传递的原始压力点124。在输入堆栈108与窗口系统112之间的某一点处，原始压力点被转换为显示坐标并由窗口系统112输出为输入事件128以向下传递通过可能以压力过滤器114开始的一系列响应器或处理器，并且随后通过窗口系统112到一个或多个应用或IPA 116，视情况而定。
图3示出了IPA 116的细节。如上面提到的，IPA是已知的软件元件，并且用于实现IPA的细节可在别处获得。例如，Lucida IPA的源代码可以在github.com(claritylab/lucida)上获得。通常，IPA包括多种功能，这些功能可以在本地执行、远程执行、或两者。IPA116包括语音识别模块140。语音命令142被说出到计算设备100的麦克风中。语音识别模块140(或它与之通信的远程服务)使用已知的语音识别算法和统计模型(例如，高斯混合模型和隐马尔可夫模型)将语音命令142转换成文本。
语音命令的所识别文本被传递到命令解释模块144。命令解释模块144(或等效的远程服务)有时考虑当前上下文和最近的用户活动，将命令的经转换的文本分类为针对信息的查询或分类为用于执行动作的指令。为了帮助解释命令并构造命令的正式动作，命令解释模块144可以利用各种本地数据源146和远程网络资源148。例如，如果命令包括专有名词，则可以咨询联系人数据库以获得与相应人员有关的信息。机器学习算法150可以用于推断用户意图以及通过语音识别转换的命令的含义。
通常，命令由IPA 116分类为要执行的动作或针对信息的请求(查询)。一旦命令已被解释为正式动作或查询，命令解释模块144就使用应用编程接口152来指示各种应用154和网络服务执行动作和查询。在IPA与操作系统紧密集成的情况下，操作系统也可以处理一些操作/查询(针对执行操作/查询，操作系统被认为是IPA可以使用的“应用”)。IPA 116可以提供与可能需要采取的另外步骤、命令是否被理解或成功等等有关的适当反馈。
先前的IPA没有使用触摸输入来提供用于执行语音命令的上下文。图3中的IPA116包括触摸输入处理器156以将触摸输入158并入到语音命令处理流水线中。如下面将详细描述的，触摸输入可以用于外指解析。也就是说，触摸输入可以用于将诸如“这”、“那”、“他们”、“那些”、“它”等外指短语链接到与存储在计算设备100上的可操作对象相对应的图形对象(如本文引用的“短语”是命令内的一个或多个单词)。外指短语是命令中的单词或短语，它指代不在该命令中(或者在之前或之后命令中)的某个事物。外指短语可以指代过去、现在或将来的事物。
以前，IPA在没有显示位置的详细描述或识别所指代对象的特征的情况下解析外指物是不可能的。如下面解释的，IPA 116能够使用触摸输入来识别显示器上的图形对象，并且图形对象转而可以用作对链接到命令中的外指物的对象的指代。如本文引用的术语“对象”是由操作系统，文件系统、应用、图形用户外壳或计算设备100上的其他软件管理的任何离散单元。对象的示例是文件、统一资源标识符、消息、电子邮件、结构化文档中的元素(例如，标记代码的元素)、联系人、应用、用户界面元素(例如视图、容器、控件、窗口)等等。大多数对象通过相应的图形对象暴露给用户。如本文所使用的术语“图形对象”是指显示器102上所显示的用以表示对象的任何离散图形元素。
图4示出了触摸输入如何流过压力过滤器114以被转移到IPA 116或者被传递到应用层180。输入处理层182接收由感测表面122感测的低水平触摸点。在低水平触摸输入被映射到显示空间中的输入事件之后或之时，触摸输入由压力过滤器114接收和评估。触摸输入可以被接收作为单个点、带时间戳的点(笔划)集、或者作为诸如移动事件、“向上”事件、“向下”事件或识别的手势之类的事件。无论用何种形式，触摸输入都具有与之相关联的一个或多个压力属性，如下面讨论的。压力过滤器114针对压力条件184来评估压力属性。如果满足压力条件184，则将相应的触摸输入提供给IPA 116而不提供给应用层180。如果不满足压力条件184，则相应的触摸输入传递通过压力过滤器114(绕过IPA 116)以进行普通输入处理。当触摸输入绕过压力过滤器114时的普通输入处理可能涉及窗口系统的调度器186确定哪个应用或窗口与触摸输入相关联并且生成相应的事件、调用回调、传递消息等等。
当以第一压力值感测到第一触摸输入188时，压力过滤器114针对压力条件184来评估该第一压力值，确定不满足压力条件184，并将第一触摸输入188向下传递以分派给应用190；IPA未被激活或参与处理第一触摸输入188。当以第二压力值感测到第二触摸输入192时，压力过滤器114针对压力条件来评估该第二压力值，确定满足压力条件184，并将第二触摸输入192传递给IPA 116以用于解析语音命令中的外指物；应用层180未接收第二触摸输入192。
图5示出了使用触摸输入200的压力来解析语音命令202的外指短语201的过程。在步骤204处，以压力P感测到触摸输入200。触摸输入200与应用190的图形对象206一致。图形对象206表示或对应于存储在计算设备100上的某个底层对象208。在步骤210处，压力过滤器114确定触摸输入200的一个或多个压力特征是否满足压力条件184。基于该确定，在步骤212处，触摸输入200被传递到IPA 116并由IPA 116“消耗”；应用190不直接响应或处理触摸输入200。
在步骤214处，IPA 116识别最可能的目标图形。例如，IPA 116可以选择与触摸输入200具有最大交叉的任何图形对象。下面描述用于步骤214的其他技术。在步骤216处，给定经识别的图形对象206，识别对应的对象208。在步骤218处，IPA 116将外指短语201链接到对象208，从而使得能够针对对象208执行语音命令202的动作209。
可以以多种方式来实现确定是否满足压力条件的步骤210。当感测到触摸输入200时，可以通过包括具有触摸输入200的一个或多个点的压力值来感测压力并将其与触摸输入200相关联。每个点可以具有压力值，或者在给定时间间隔或每隔N个点处的每个点等等可以具有压力值。在一个实施例中，函数通过取压力值的平均值、可能给初始压力值赋予权重来将离散压力值序列映射到汇总压力。替代地，可以使用仅第一数量(或百分比或时间段)的压力值的平均值或最大值。可以针对相同的触摸输入计算若干汇总压力值。作为相应输入点的时间或距离的函数的任何映射可以用于生成单个汇总压力值或汇总压力值序列。
用于评估一个或多个压力值的压力条件可以简单到阈值或范围、由各个压力值(或压力汇总)满足的阈值序列(作为时间或距离的函数)、压力变化率、阈值时间段内的持续压力、这些因素的组合等等。通常，所感测的压力值可以被视为信号，并且可以使用任何信号处理技术来表征压力信号并评估信号的特征，以确定是否满足压力条件。在一些实施例中，仅评估触摸输入的压力值的初始部分，并且在初始部分之后输入的输入点的压力不影响决定。压力变化率也可以用作输入的特征以识别用户意图。通常，触摸输入的压力相关特征的任何模式可以与用户调用IPA或向IPA提供上下文的意图相关。压力变化率也可以影响阈值。例如，更快地按压可能需要比缓慢增加压力更低的阈值。阈值也可以是与该用户的均值的偏差(即，如果特定用户倾向于一直更用力地按压，则提高阈值以进行补偿)。
IPA对对象或用户的理解可以用于影响压力差异。例如，在IPA具有与对象有关的高水平的相关信息或有用动作的情况下，或者在用户先前已针对相同对象或相同类型的其他对象(例如，IPA确定用户通常使用IPA与用户的联系人进行交互)调用IPA的情况下，召唤IPA可能需要较少的力。类似地，超过第二更高的压力阈值可以用于表示用户打算与IPA关于该特定对象进行交互，而不是使用用力按压来召唤IPA进行更一般的查询)，IPA在解释请求时可以用此作为另外上下文(通过高于正常权值来加权上下文相关解释)。
在一些实施例中，可以在满足压力条件时触发反馈。这可以帮助用户理解所输入的触摸输入将具有针对IPA的特殊状态。当满足压力条件时，可以触发触觉反馈。视觉反馈可以具有显示表示触摸输入的图形的形式。当触摸输入满足压力条件时，触摸输入的路径可以显示为移动图形符号或者利用诸如颜色、透明度、图案/破折号等效果增强的延伸图形线(跟踪输入)。关于满足压力条件的反馈可以仅在训练时段期间或根据用户配置设置来提供。在一些实施例中，“被触摸的”图形对象可以被增强、突出显示等等，以表示它们是IPA的潜在感兴趣对象。对象的这种图形表示还可用于通知用户这些对象是IPA理解的对象，并且能够对其采取有用动作或提供关于其的有趣信息，从而实际上邀请用户调用IPA。
在步骤212/214处，一旦触摸输入开始由IPA处理，可能随着触摸输入继续被输入，也可以通过修改可能由满足压力过滤器条件的触摸输入所针对的图形对象的外观来提供反馈。可以使用突出显示、阴影、振动运动或其他已知的视觉效果来指示IPA将考虑哪些图形对象。即使最终IPA未选择和使用图形对象，也可以修改与触摸输入的位置一致(或邻近)的每个图形对象的外观。应该在不与图形对象所表示的对象进行任何功能交互的情况下提供这种效果。例如，如果通过压力选择的触摸输入来突出显示图标，则该图标(或其表示的对象)不应该接收任何输入事件、回调等等。在一个实施例中，连续触摸输入笔划仅在满足压力条件的部分上选择图形对象。
图6示出了基于与通过语音识别所识别的命令相关联的触摸输入来识别外指物的一个或多个对象的过程。在步骤230处，IPA接收压力过滤的触摸输入。触摸输入可以是完整的或仍然正在输入。在步骤232处，IPA基于阈值目标条件来识别候选图形对象。该目标条件可以是一个或多个条件的组合，例如与触摸输入的路径的邻近度或交叉、与触摸输入的特征(例如，环路、停留等)的邻近或交叉、与触摸输入的压力特征的交叉或邻近度等等。在一个实施例中，基于初始压力而将触摸输入传递到IPA，并且随着触摸输入继续被输入并由IPA评估，每次检测到触摸输入的选择特征(例如，压力、形状等)，就使用该选择特征的显示位置来潜在地选择显示器上的候选图形对象，例如最接近的图形对象或在选择特征“下”的任何图形对象。
在步骤234处，IPA使用所识别的候选图形对象来识别由图形对象表示的对象。例如，可以“解除指代”应用图标图形对象以确定图标表示哪个应用。表示文本消息应用中的消息的图形可能会引起文本消息对象。表示多媒体对象的图块图形(可能在图块的文件夹中)可以用于获得多媒体对象的标识符。地图上的标针或街道或兴趣点的图形可以追溯到相应的地图对象。
由操作系统、用户外壳、应用等管理的任何类型对象的对象标识符可以通过向下遍历由窗口系统/操作系统管理的用户界面元素的层次来获得。大多数窗口系统维护图形对象(用户界面元素)的层次，通常开始于根窗口，在层次底部具有子窗口(例如，应用、图形用户外壳)、视图、子视图、用户控件和各种原子用户界面元素。如果IPA具有足够的权限，则可以遍历层次结构以识别图形对象及这些图形对象所标识的对象。顺便提及，当识别图形对象时，也可以在步骤232处使用这样的层次，因为触摸输入或其选择特征可能潜在地映射到层次的多个元素(例如，窗口、视图、子视图、控件等等)。
解决选择范围的模糊性可能具有挑战性。考虑按压日历中的预约。从技术上讲，用户可能正在按下文本标签元素或可能是可视树中的图标或边框图形。在没有进一步上下文的情况下，操作系统不知道语义上有意义的事物(传递给IPA的事物)是否是文本标签、图标、列表项、整个列表、布局面板等等。在该示例中，只有日历应用具有足够的上下文知道对于其场景，语义上有意义的粒度可能是具有各种属性的“预约”对象。
存在多种方法可以解决该问题。如果操作系统一直传递，则足够智能的IPA可以对视图层次进行排序并推断出正确的上下文。替代地，也许更方便的是，IPA配置有API，应用可以使用该API来识别并自愿执行该应用确定用户可能意指并且IPA很可能可以作用于的这些语义上有意义的实体。实际上，这种方法很方便，因为IPA的大量智能/能力可能首先来自这些应用(即，应用不仅仅是识别相关对象，还帮助IPA对这些对象执行动作)。除了上面描述的机器学习/排序方法之外，帮助IPA的应用的这种方法也可以工作，特别是由于实际上不是每个应用开发者都会力图与IPA集成(同时应用不知道用户从IPA请求哪个命令)。在由UI框架提供的UI控件内封装常见模式可以在一定程度上减轻负担。
在步骤238处，给定一组识别的候选对象，可以构建每个候选对象的特征集或特征向量。对象的特征集可以包括与对象类型有关的信息、与访问或修改对象相关的时间、元数据属性、从对象的内容导出的属性、显示位置等等。元数据属性可以通过分析对象的内容(例如，从面部/语音识别导出的人员的身份)、或与对象相关联的其它信息，从操作系统所管理的系统元数据导出。
在步骤240处，给定一组候选对象和相应的特征集/向量，IPA计算对象的排名分数。排名可以由机器学习模块来执行，该机器学习模块考虑特征集以及其他因素，例如相关语音命令的当前上下文、由IPA累积的最近上下文、与不同特征的相关性相关的语音命令的元素等等。例如，对于诸如“编辑那个”之类的命令，排名函数可能偏向于文档类型对象。诸如“告诉我如何到达那里”之类的命令可以增加特征集中与地图相关的功能的权重。如果命令包括多元外指物，则排名函数可以增加靠近在一起的对象的分数或者共享诸如相同对象类型或包含在相同容器内的特征值。当存在多元外指物时，可以将聚类算法并入到排序过程中。在步骤240结束时，使用具有最高分数的一个或多个对象代替相关语音命令中的外指物。
虽然复杂的启发式和学习算法可以用于将触摸输入映射到外指物所指代的对象，但是可以使用更简单的技术。例如，可以基于具有足够的压力来过滤触摸输入，选择与触摸输入最先交叉(或者具有最大交叉)的图形对象，并且使用由图形对象表示的对象来代替外指物。
虽然IPA 116在上面被描述为确定过滤的触摸输入已经识别了哪个对象，但是另一模块可以执行该步骤。例如，压力过滤器可以执行图6的步骤，将对象标识符传递给IPA116，然后IPA 116确定所识别的对象适合于相应的语音命令，之后使用所识别的对象来执行语音命令。类似地，压力过滤器可以执行识别由过滤的触摸输入选择的图形对象的步骤236，将图形对象传递给IPA，并且随后IPA确定将使用哪些对象来代替外指物。然而，IPA具有关于相关语音命令的信息，并且可以使用该信息来帮助确定哪个对象最适合该命令。
图7示出了语音命令和针对语音命令的触摸输入在其相对时间顺序方面可以如何不同。使用压力过滤的触摸输入来完成命令可以是用户与IPA之间正在进行的“对话”的一部分。在图7的顶部示例中，IPA接收过滤的触摸输入158。如果IPA没有未解析的外指物，则IPA等待语音命令并尝试使用触摸输入来解析外指物。如图7中的中间示例中所示出的，可以首先输入和识别语音命令142，并且如果IPA没有用于选择对象的任何相应的触摸输入，则IPA等待用户来提供触摸输入158。在图7的下部示例中，至少部分地同时输入语音命令和触摸输入158。
由于IPA可以处理一系列语音命令，所以可能需要确定哪些触摸输入(或触摸选择的对象)与哪些语音命令相关联。除此之外，语音命令的语言属性可以用于解决该关联歧义。例如，代词短语的时态可以指示预期过去、现在还是将来的触摸输入。也可以使用外指物的多元性/单一性；选择多个对象的触摸输入应该倾向于与多个外指物相关联，并且选择单个对象的触摸输入应该倾向于与单个外指物相关联。哪个语音命令与哪个触摸输入相关联也可以基于是否存在未解析的外指物来确定。如果不存在，则触摸输入与具有外指物的下一语音命令相关联。如果存在，则触摸输入与具有未解析的外指物的语音命令相关联。
可以存储由IPA用作上下文的对象的历史，以便告知将来的决策。在一些情况下，相同的触摸选择的对象可以由多个相应语音命令中的多个外指物来指代。例如，如果确定命令在功能上、局部地和/或时间上充分相关，则可以推断在多个离散命令中存在“那个”或“它”均指代相同的对象。
图8示出了压力过滤的触摸输入158的某些功能可以如何用于帮助解析语音命令中的外指物。当语音命令包括诸如“在那里”之类的方向时，可以分析相应过滤的触摸输入的方向以确定“那里”指代的是何处。“复制这个在这里”的语音命令142可以解析“这个”以及“在那里”，其可以是触摸输入的方向或触摸输入的端点。不仅可以使用过滤的触摸输入来解析文外指代(exophoric reference)，还可以使用过滤的触摸输入来解析语音命令的其他非特定元素，包括方向、位置、排序等等。通常，触摸输入的任何特征(例如压力、几何形状、速度、停留时间等等)可以用于为处理触摸输入的任何步骤(包括图形对象选择、对象选择、命令解释、命令执行等等)提供参数。
图9示出了解析多元外指物的示例。在顶部示例中，过滤的触摸输入158基于输入的环路特征来选择一组对象242。由于外指物指代多组对象，因此触摸输入的环路被识别为选择特征，并且环路所包含的对象被识别为所指代的对象。非特定位置短语“在这里”被解析为触摸输入的位置或方向，并且相应地执行命令(四个小方形对象242被复制到下面的容器244)。类似地，如果命令是“将这些复制到那里”，则“那里”可以被解析为容器244或触摸输入结束或在结束时指向的其他对象。在下面的示例中，复数形式的外指物“他们”通知IPA如何对触摸输入可能选择的对象进行排名，并且选择三个对象242与“他们”相关联。
在语音命令之前将触摸输入转移到IPA的情况下，在IPA根据触摸输入来识别对象之后，IPA可以采取动作以预期用户的进一步动作。IPA所收集的对象的特征集或元数据可以指导如何促进与对象的交互。例如，如果对象是第一类型(例如，文档)，则可以确定诸如“编辑”、“电子邮件”和“打印”之类的一组对应动作是相关的。如果对象是媒体对象，则可以识别诸如“播放”、“共享”或其他动作。当最近的语音命令缺少任何外指物时，可以触发暴露与对象有关的信息的相同技术。这可以允许用户使用IPA来执行非外指命令以用于一个目的，同时使用IPA来发现与对象或要对对象执行的候选动作有关的信息。经过滤的触摸输入的特征可以用于塑造IPA寻求的信息类型。例如，短压力停留可能使得IPA显示对象的潜在动作，并且长压力停留可能使得IPA显示与对象有关的元数据。
图10示出了IPA使用触摸输入提示来提供与对象有关的上下文洞察的实施例。具有适当的激活压力特征的停留触摸输入158被转移到IPA 116。IPA识别由触摸输入选择的图形所表示的对象。对象的属性用于利用与对象相关的潜在动作和/或信息来填充上下文或弹出菜单246。如果语音命令随后包括文外指代或选择菜单项之一，则菜单246被消除。可以使用其他形式的瞬态用户界面，例如文本输入控件、按钮、工具栏等等。
应该意识到，即使没有语音命令或外指解析，IPA的基于压力的激活也可以是有用的。通过基于力的输入通道向IPA发送显示位置，IPA的相当大的功能-例如收集与对象有关的信息的能力-可以针对显示器上所表示的对象。通过在显示器上按压触摸对象的图形表示，在对象与IPA之间产生的关联实现了广泛的用户体验，包括用于显示由IPA提供的对象相关信息或动作的瞬态用户界面元素的显示，可以用于解释语音命令的上下文的构建等等。此外，使用压力过滤器或条件来区分旨在用于IPA的触摸输入避免了针对管理由图形对象组成的底层用户界面的软件的输入关联和解释冲突。底层普通用户界面(诸如图形用户外壳、应用等等)可以继续按预期运行而无需修改以适应IPA。
一些实施例可以在没有菜单或其他可视线索并且不尝试解析外指短语的情况下实现。通常，IPA已经被设计为使用丰富的上下文来解释和执行命令。利用用户界面上下文来扩展该上下文可以扩展大多数IPA的上下文驱动功能。
上述压力触发的输入模态可以补充IPA的其他方面。例如，当确定触摸输入满足触发与IPA的交互的压力条件时，IPA可以进入用于语音命令的主动监听模式，从而避免与计算设备的交互以专门用于将IPA置于监听模式的需要。换句话说，如果触摸输入的压力将触摸输入(或由此选择的对象)转移到IPA，则IPA/设备也可以通过开始从麦克风捕获音频并解释任何检测到的语音输入命令来响应触摸输入或对象。诸如“与我的配偶共享”之类的交互结合压力过滤的触摸输入允许通过IPA与在相关计算设备的显示器上表示的对象的无缝交互。
使用上述一些技术，在用户不使用诸如“这”之类的短语的情况下，触摸输入可以用于执行语音识别。例如，用户可以通过被触摸对象显示的名称口头指代该对象，该对象原本可能不在IPA的语音语法/词汇表中。
图11示出了可以在其上实现上述实施例的计算设备100的细节。本文的技术公开内容将足以使程序员编写软件、和/或配置可重新配置的处理硬件(例如，现场可编程门阵列)、和/或设计专用集成电路(专用集成电路)等等，以在计算设备100上运行以实现本文所描述的任何特征或实施例。
计算设备100可以具有一个或多个显示器102、一个网络接口354(或几个)、以及存储硬件356和处理硬件358，该处理硬件358可以是以下任何一项或多项的组合：中央处理单元、图形处理单元、模数转换器、总线芯片、FPGA、ASIC、专用标准产品(ASSP)或复杂可编程逻辑器件(CPLD)等等。存储硬件356可以是磁存储器、静态存储器、易失性存储器、非易失性存储器、光学或磁性可读物质等的任何组合。如本文所使用的术语“存储”的含义不是指信号或能量本身，而是指物理装置和物质状态。计算设备100的硬件元件可以以用机器计算领域中充分理解的方式进行协作。另外，输入设备352可以与计算设备100集成或者与计算设备100通信。计算设备100可以具有任何形状因子或者可以用于任何类型的包围设备中。计算设备100可以具有手持设备的形式，例如智能电话、平板计算机、游戏设备、服务器、机架安装或背板计算机、片上系统、或其他。
上面讨论的实施例和特征可以以存储在易失性或非易失性计算机或设备可读存储硬件中的信息的形式实现。这被认为至少包括诸如光学存储器(例如，光盘只读存储器(CD-ROM))、磁性介质、闪存只读存储器(ROM)或将可随时用于处理硬件358的数字信息存储到其中的任何单元之类的硬件。所存储的信息可以具有机器可执行指令(例如，编译的可执行二进制代码)、源代码、字节代码或可以用于启用或配置计算设备以执行上述各种实施例的任何其他信息的形式。这也被认为至少包括易失性存储器(例如在执行实现实施例的程序区间存储诸如中央处理单元(CPU)指令的之类的信息的随机存取存储器(RAM)和/或虚拟存储器)，以及存储允许加载并执行程序或可执行件的非易失性介质。可以在任何类型的计算设备上执行各实施例和特征，包括便携式设备、工作站、服务器、移动无线设备等等。

Claims (10)

1.一种由计算设备执行的方法，所述计算设备包括存储硬件、处理硬件、显示器、以及感测触摸输入和力分量的触摸输入设备，所述方法由所述处理硬件执行存储在所述存储硬件中的指令来执行，所述方法包括：
执行所述计算设备上的智能个人助理(IPA)，所述执行包括：使用语音识别来识别通过所述计算设备的麦克风来输入的命令，并调用针对所识别命令的相应操作；
执行由图形用户界面组成的应用，所述执行包括显示所述图形用户界面，所述图形用户界面包括表示存储在所述计算设备上的对象的图形对象，所述应用被配置为：对针对所述图形用户界面的触摸输入进行响应；
接收分别由位置组成的触摸输入，所述触摸输入与所述力分量相关联，每个力分量对应于经由所述触摸输入设备来输入对应触摸输入所利用的力的测量值；
针对力条件来评估所述力分量，其中
(i)每次确定经评估的力分量满足所述力条件时，基于该确定，根据所述图形用户界面中的目标对象的图形表示的位置并基于与满足所述力条件的经评估的力分量相对应的所述触摸输入的位置将相对应的触摸输入传递给所述IPA，所述IPA使用所述触摸输入来识别目标对象，以及
(ii)每次确定经评估的力分量不满足所述力条件时，基于所述触摸输入的位置将所述触摸输入提供给所述应用并且所述应用对所提供的触摸输入进行响应。
2.根据权利要求1所述的方法，所述方法还包括：
确定在正由所述IPA处理的给定命令中存在外指短语；以及
基于确定所述命令中存在所述外指短语，参照目标对象来执行所述命令。
3.根据权利要求1所述的方法，其中，所述力条件用于在所述触摸输入之中区分将被用于向所述IPA标识对象的第一触摸输入与将不被用于向所述IPA标识对象的第二触摸输入。
4.根据权利要求3所述的方法，其中，所述力条件至少包括一力阈值，并且所述评估包括：将所述力阈值与所述力分量进行比较，并且其中，被确定为满足所述力条件的每个触摸输入不被传递给所述应用，并且被确定为不满足所述力条件的每个触摸输入将不被用于由所述IPA或针对所述IPA来识别目标对象。
5.根据权利要求1所述的方法，还包括：通过所述IPA显示用户界面元素来由所述IPA对目标对象的指示进行响应，其中，所述用户界面元素的内容是由所述IPA基于所述目标对象的一个或多个特征来选择的。
6.一种计算设备，包括：
处理硬件(358)；
麦克风；
触摸和力感测显示器，所述触摸和力感测显示器感测触摸输入并提供与所述触摸输入的力相对应的相应测量值；以及
存储指令的存储硬件，所述指令被配置为使得所述处理硬件执行包括以下各项的过程：
执行由所述计算设备显示的包括对象的应用；
通过所述麦克风来接收输入的语音命令；
接收与力测量值相对应的触摸输入；
确定所述力测量值是否满足力条件；
当确定所述力测量值满足所述力条件时将所述语音命令与所述对象进行关联，并且基于所述语音命令与所述对象之间的关联来执行所述语音命令；以及
当确定所述力测量值不满足所述力条件时基于所述触摸输入的位置将所述触摸输入提供给所述应用。
7.根据权利要求6所述的计算设备，其中，所述存储硬件存储智能个人助理(IPA)，并且其中，所述IPA接收对所述对象的指代并根据所述对象来生成上下文，所述上下文由所述IPA用于解释和/或执行正由所述IPA处理的语音命令，所述IPA被配置为：调用所述计算设备上的应用以执行所述语音命令。
8.根据权利要求7所述的计算设备，其中，所述IPA显示用户界面元素，所述用户界面元素包括对由所述IPA基于所述对象的一个或多个属性而确定为相关的多个动作或信息项的图形指示。
9.根据权利要求6所述的计算设备，所述过程还包括在所述显示器上显示用户界面，其中，所述触摸输入与所述显示器上的所述用户界面一致，其中，所述用户界面被配置为对触摸输入进行响应，并且其中，所述触摸输入是否被所述用户界面接收取决于所述触摸输入是否满足阈值力条件，所述阈值力条件控制与所述用户界面一致的触摸输入是否被所述用户界面接收。
10.一种由计算设备执行的方法，所述计算设备包括存储硬件、处理硬件、显示器、以及感测触摸输入和力分量的触摸输入设备，所述方法由所述处理硬件执行存储在所述存储硬件中的指令来执行，所述方法包括：
执行所述计算设备上的智能个人助理，所述执行包括：使用语音识别来识别通过所述计算设备的麦克风来输入的命令；
接收由力分量组成的触摸输入，所述力分量对应于由所述触摸输入设备在感测所述触摸输入的输入点时感测到的力值；以及
通过确定所述触摸输入的所述力分量是否满足力条件来确定是否要激活智能个人助理IPA，其中，响应于确定所述触摸输入的所述力分量满足所述力条件而激活所述IPA并且将所述触摸输入提供给所述IPA，以及响应于确定所述触摸输入的所述力分量不满足所述力条件，代替激活所述IPA和将所述触摸输入提供给所述IPA，基于与所述触摸输入的位置相关联的应用，将所述触摸输入提供给所述应用。
CN201780066250.7A 2016-10-25 2017-10-16 用于与数字代理的基于力的交互的方法和计算设备 Active CN109891374B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/334,153 2016-10-25
US15/334,153 US10372412B2 (en) 2016-10-25 2016-10-25 Force-based interactions with digital agents
PCT/US2017/056704 WO2018080815A1 (en) 2016-10-25 2017-10-16 Force-based interactions with digital agents

Publications (2)

Publication Number Publication Date
CN109891374A CN109891374A (zh) 2019-06-14
CN109891374B true CN109891374B (zh) 2022-08-30

Family

ID=60245196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780066250.7A Active CN109891374B (zh) 2016-10-25 2017-10-16 用于与数字代理的基于力的交互的方法和计算设备

Country Status (4)

Country Link
US (1) US10372412B2 (zh)
EP (1) EP3532914A1 (zh)
CN (1) CN109891374B (zh)
WO (1) WO2018080815A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120227098A1 (en) * 2011-03-03 2012-09-06 Microsoft Corporation Sharing user id between operating system and application
KR102348758B1 (ko) * 2017-04-27 2022-01-07 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
US10725647B2 (en) * 2017-07-14 2020-07-28 Microsoft Technology Licensing, Llc Facilitating interaction with a computing device based on force of touch
KR102421856B1 (ko) * 2017-12-20 2022-07-18 삼성전자주식회사 영상의 상호작용 처리 방법 및 장치
US11487501B2 (en) * 2018-05-16 2022-11-01 Snap Inc. Device control using audio data
DE112018008019T5 (de) * 2018-09-26 2021-07-08 Intel Corporation Echtzeit-Multi View-Detektion von Objekten in Multicamera-Umgebungen
WO2020114599A1 (en) * 2018-12-06 2020-06-11 Vestel Elektronik Sanayi Ve Ticaret A.S. Technique for generating a command for a voice-controlled electronic device
WO2020117296A1 (en) 2018-12-07 2020-06-11 Google Llc Conditionally assigning various automated assistant function(s) to interaction with a peripheral assistant control device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105874424A (zh) * 2014-01-10 2016-08-17 微软技术许可有限责任公司 协同的语音和姿态输入

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8965922B2 (en) 2007-10-30 2015-02-24 International Business Machines Corporation Intelligent content assistance
US20100238126A1 (en) 2009-03-23 2010-09-23 Microsoft Corporation Pressure-sensitive context menus
US8838072B2 (en) 2011-08-11 2014-09-16 Samsung Electronics Co., Ltd. Apparatus and method for mobile personal assistant
US10209954B2 (en) * 2012-02-14 2019-02-19 Microsoft Technology Licensing, Llc Equal access to speech and touch input
TWI459287B (zh) 2012-04-20 2014-11-01 Hon Hai Prec Ind Co Ltd 觸控操作方法及使用其的電子系統
US9015099B2 (en) 2012-08-14 2015-04-21 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
US9547430B2 (en) * 2012-10-10 2017-01-17 Microsoft Technology Licensing, Llc Provision of haptic feedback for localization and data input
US10223411B2 (en) 2013-03-06 2019-03-05 Nuance Communications, Inc. Task assistant utilizing context for improved interaction
US20140362024A1 (en) 2013-06-07 2014-12-11 Barnesandnoble.Com Llc Activating voice command functionality from a stylus
US9405379B2 (en) * 2013-06-13 2016-08-02 Microsoft Technology Licensing, Llc Classification of user input
US9189742B2 (en) 2013-11-20 2015-11-17 Justin London Adaptive virtual intelligent agent
US9710150B2 (en) 2014-01-07 2017-07-18 Qualcomm Incorporated System and method for context-based touch processing
US20150286698A1 (en) 2014-04-07 2015-10-08 Microsoft Corporation Reactive digital personal assistant
US9501163B2 (en) * 2014-05-06 2016-11-22 Symbol Technologies, Llc Apparatus and method for activating a trigger mechanism
US20160371340A1 (en) * 2015-06-19 2016-12-22 Lenovo (Singapore) Pte. Ltd. Modifying search results based on context characteristics

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105874424A (zh) * 2014-01-10 2016-08-17 微软技术许可有限责任公司 协同的语音和姿态输入

Also Published As

Publication number Publication date
US20180113672A1 (en) 2018-04-26
US10372412B2 (en) 2019-08-06
WO2018080815A1 (en) 2018-05-03
CN109891374A (zh) 2019-06-14
EP3532914A1 (en) 2019-09-04

Similar Documents

Publication Publication Date Title
CN109891374B (zh) 用于与数字代理的基于力的交互的方法和计算设备
US10592604B2 (en) Inverse text normalization for automatic speech recognition
KR102214970B1 (ko) 다방향 대화
DK180649B1 (en) Voice assistant discoverability through on-device targeting and personalization
US11386266B2 (en) Text correction
KR102363177B1 (ko) 디지털 어시스턴트의 트리거의 검출
CN107491181B (zh) 语言输入的动态短语扩展
US10636424B2 (en) Multi-turn canned dialog
US10282416B2 (en) Unified framework for text conversion and prediction
US10445429B2 (en) Natural language understanding using vocabularies with compressed serialized tries
US10311144B2 (en) Emoji word sense disambiguation
JP6495376B2 (ja) 画面用の手書きキーボード
WO2021232930A1 (zh) 应用分屏方法、装置、存储介质及电子设备
DK201770432A1 (en) Hierarchical belief states for digital assistants
DK201770431A1 (en) Optimizing dialogue policy decisions for digital assistants using implicit feedback
Mankoff et al. OOPS: a toolkit supporting mediation techniques for resolving ambiguity in recognition-based interfaces
Khan et al. BlindSense: An Accessibility-inclusive Universal User Interface for Blind People.
EP3593350B1 (en) User interface for correcting recognition errors
US20160350136A1 (en) Assist layer with automated extraction
DK179930B1 (en) DETECTING A TRIGGER OF A DIGITAL ASSISTANT
KR102379520B1 (ko) 디지털 어시스턴트들에 대한 계층적 신념 상태들
CN111696546A (zh) 使用多模式界面以利于口头命令的发现
Petrie et al. Older people’s use of tablets and smartphones: A review of research
Perakakis Blending Speech and Graphical User Interfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant