CN101238437B - 驱动交互系统和用户接口系统的方法 - Google Patents

驱动交互系统和用户接口系统的方法 Download PDF

Info

Publication number
CN101238437B
CN101238437B CN2006800290667A CN200680029066A CN101238437B CN 101238437 B CN101238437 B CN 101238437B CN 2006800290667 A CN2006800290667 A CN 2006800290667A CN 200680029066 A CN200680029066 A CN 200680029066A CN 101238437 B CN101238437 B CN 101238437B
Authority
CN
China
Prior art keywords
application program
user
mutual
mode
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800290667A
Other languages
English (en)
Other versions
CN101238437A (zh
Inventor
T·波尔特莱
C·贝宁
J·F·马施纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101238437A publication Critical patent/CN101238437A/zh
Application granted granted Critical
Publication of CN101238437B publication Critical patent/CN101238437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明对驱动交互系统(1)的方法进行了描述,其中,交互系统(1)包括具有固有顺序输入/输出模态(12)的用户接口系统(2)并且包括多个应用程序(A1、A2、A3、...、An)。在该方法中,当前第一个应用程序(A1、A2、A3、...、An)对输入/输出模态(12)进行控制来与用户(U)进行交互,其中,在至少某个时间段中,将关注级别分配给第一个应用程序(A1、A2、A3、...、An)。当从用户(U)接收到应用程序切换命令(ASC)时并且根据第一个应用程序(A1、A2、A3、...、An)的关注级别,仅终止或者暂停第一个应用程序(A1、A2、A3、...、An)的当前交互过程,并且仅将对用于进行交互的输入/输出模态(12)的控制转移给第二个应用程序(A1、A2、A3、...、An)。此外,对具有固有顺序输入/输出模态(12)的恰当用户接口系统(2)和包括这种用户接口系统(2)的交互系统(1)进行了说明。

Description

驱动交互系统和用户接口系统的方法
技术领域
本发明涉及驱动交互系统的方法,所述交互系统包括具有固有顺序输入/输出模态(modality)的用户接口并且包括多个应用程序。而且,本发明涉及具有固有顺序输入/输出模态的合适的用户接口系统,交互系统的多个应用程序可以相互独立地使用所述用户接口系统,来与交互系统的用户进行交互。此外,本发明涉及包括这种用户接口系统的交互系统。
背景技术
人机接口领域内的近期发展使通过设备和设备用户之间的对话来运行的技术设备得以广泛使用。大多数这种“交互系统”或“对话系统”是基于可视信息显示以及基于用户方的人工交互。例如,通过基于在移动电话的显示屏中显示选项、以及用户按压适当按钮选择特定选项来操作对话的方式对几乎每部移动电话进行操作。图形用户接口可以在显示屏的不同区域上显示与不同应用程序有关的信息,通常在属于应用程序的窗口帧中进行显示。大多数交互系统采用某种仲裁程序来确定哪个应用程序当前是激活的。例如,US 6,005,575描述了一种用于确定哪个窗口在图形用户接口的前台中的方法。在一些基于窗口的操作系统中,当一个或多个窗口被“隐藏”的时候,会出现额外的复杂情况。这种情况需要特殊的处理来确定“当前”应用程序,例如US 6,212,541B1提供的解决方案。对于只具有很小显示屏的设备,诸如移动电话,可能在一个时间只能显示一个窗口。EP 1418498A2描述了一种用于确定哪个窗口在这种显示屏的“最上面”的方法。在一个不同类型的系统中,US 2003/0227567A1描述了一种通过使用遥控器上的热键对要在电视屏幕上显示的应用程序和电视广播之间进行切换的方式。
高级用户接口系统不再依赖于显示屏、键盘、鼠标或遥控,而是结合类似语音、手写输入、触摸等若干方式。采用基于语音的交互系统,例如,在家里烹调、在汽车内或者携带小型移动设备时,有可能使用不用手并且甚至不用眼的交互。由于技术发展具有朝向网络环境和小型化的趋势,例如,朝向更小且更强大移动电话的趋势,基于语音的业务和基于语音的设备在技术上是可行的,并且正在开始变成日常生活的一部分。正如在普通PDA(个人数字助理)上,可以在该设备上运行若干基于语音的应用程序。已知多种方法用于确定由语音输入所寻址的应用程序,以及处理上述切换,例如US 2003/0014251A1所描述的方法。在WO 03/096171A1中说明了交互系统的另一个例子,该交互系统使用基于语音的用户接口系统与用户进行通信,可以使用该交互系统对若干不同的应用程序进行控制。
从这些“新的”输入/输出方式中产生的一个问题是它们中的至少某些是固有顺序的。如上面说明的,图形用户接口可以在任何一个时间显示关于不同应用程序的信息,但是基于语音的输入/输出模态不能支持并行输出。此外,例如,无法从用于输入信息的窗口中推出从用户输入的目标应用程序。因此,需要用于输入和输出同步及排序的方法。一种可能的解决方法使用激活关键词,使得用户可以在不同的应用程序之间进行切换,例如WO 99/50831中所描述的,每个应用程序具有它自己的词表,并且切换到其词表最佳匹配用户的口语发音的应用程序。因此,在复杂对话中,用户在若干应用程序之间进行切换并且/或者正在被若干个应用程序进行寻址,可能出现用户不再确定是否已经关闭与某个应用程序的交互或者该应用程序是否正在等待来自用户的响应的情况。在用户被他周围的事件分散注意力并且不能全神贯注地与交互系统进行沟通时,可能产生该问题。结果,由于曲解,可能会出现发布错误指令或者无意地终止应用程序的情况。另一方面,存在某些情况,在这些情况中,在任何条件下都不应该中断当前激活的交互,例如,诸如金钱转账的敏感应用程序。
发明内容
因此,本发明的目标是提供对交互系统和相应的用户接口系统进行操作的方法,其以用户友好的方式确保在使用同一个顺序输入/输出模态的不同应用程序之间不会出现不期望的冲突,并且具体地,用户方的输入错误不会导致在不利点终止应用程序。
为此,本发明提供了对交互系统进行驱动的方法,该交互系统包括具有固有顺序输入/输出模态的用户接口系统,多个应用程序可以彼此独立地使用所述用户接口系统以与所述交互系统的用户进行交互,其中,当前交互的第一个应用程序当前正在对固有顺序输入/输出模态进行控制来与用户进行交互,其中,至少在某个时段中,将一个关注级别分配给所述第一个应用程序,并且其中,仅当从用户接收到用来将对用于执行交互的所述固有顺序输入/输出模态的控制从所述第一个应用程序切换到第二个应用程序的应用程序切换命令时并根据所述第一个应用程序的关注级别,仅终止或暂停所述第一个应用程序的当前交互过程,并且仅将对用于进行交互的所述固有顺序输入/输出模态的控制转移给所述第二个应用程序。
根据本发明的驱动交互系统的设备,所述交互系统包括具有固有顺序输入/输出模态的用户接口系统,多个应用程序可以互相独立地使用所述用户接口系统以与所述交互系统的用户进行交互,所述设备包括分配单元,其用于在至少某个时间段中将一个关注级别分配给当前交互的第一个应用程序,该当前交互的第一个应用程序当前正在对所述固有顺序输入/输出模态进行控制来与所述用户进行交互。此外,所述设备包括交互控制单元,其用于仅当从所述用户接收到用来将对用于执行交互的所述固有顺序输入/输出模态的控制从所述第一个应用程序切换到第二个应用程序的应用程序切换命令时并根据所述第一个应用程序的关注级别,仅终止或暂停所述第一个应用程序的当前交互过程,并且仅将对所述固有顺序输入/输出模态的控制转移给所述第二个应用程序。
这样,借助于如本发明所述的方法,在某个时刻仅激活一个应用程序,并且该应用程序具有对输入/输出模态的完全控制。同时,剩余应用程序可以在后台运行。当激活的应用程序已经完成与用户的交互时,例如,当邮箱应用程序已“读取”了用户的电子邮件时,该应用程序可以将其自身切换到“不激活”。在该情况下,例如,系统的控制模块可以确定将剩余应用程序中的哪一个切换到“激活”,或者如果没有将要被切换到“激活”的应用程序,可以将不具有任何特定功能性的专用后台应用程序视为激活。只要一个应用程序是交互的,另一个应用程序就不可能成为交互的。在该情况下,“交互”意味着与用户发生对话,其相对于用户意识不到应用程序是激活的后台活动。一个这种例子是邮箱应用程序,其在后台定期地检查邮箱,看是否有新的电子邮件。
根据本发明,由于用户将应用程序切换命令发布到系统,所以应用程序之间的切换仅可能通过用户来实施。因此,应用程序切换命令可以是由用户发布的任何命令,该命令清晰地表述用户希望终止与当前某第一个应用程序的交互,并且开始与第二个应用程序的交互。例如,之前可以通过各种应用程序将这些应用程序切换命令提供给用户接口系统的交互控制单元。应用程序切换命令可以是口头命令,也可以是手势、按钮或者任何合适的动作。根据本发明,只有交互应用程序的当前关注级别允许时,该应用程序切换才是可能的。因此,在不能中断交互的期间,可以将一个关注级别分配给应用程序某个时间段,该关注级别不允许切换到另一个应用程序。
以这种方式,一方面,可以相对容易地确保用户对当前交互应用程序进行追踪,并且仅与该应用程序进行通信。因此,只有用户可以控制哪个应用程序当前正在使用特定顺序输入/输出模态。另一方面,防止了用户方对应用程序之间的无意切换,使得不会在关键点处无意地中断交互。
不管用户方的切换命令,由于该关注级别而使得不发生从一个应用程序到另一个应用程序的切换的时候,优选地,应将这通知给用户,使用户知道当前应用程序仍保持交互。
从属权利要求和后续说明公开了本发明的特定有利实施例及特征。与方法从属权利要求相对应的设备权利要求的进一步展开也处于本发明的范围内。
在具有若干可以在后台中运行的应用程序的复杂交互系统的情况下,因为发生了某个事件,通常会出现应用程序希望变成交互的情况。一个这种例子是在邮箱应用程序中用户新电子邮件的到达,或者,在汽车交互系统中对司机的油箱液面低的警告。然而,如上所述,根据本发明,只有用户可以在应用程序之间进行切换。为此,在本发明的特定优选实施例中,当前未激活并且想要与用户进行交互的第二个应用程序将通知请求发送到交互系统的交互控制单元。随后,交互控制单元根据第一个应用程序的关注级别将通知发布给用户,所发布的通知以可与第一个应用程序的交互的任何输出信号区分开的方式发布。
因此,一个恰当的用户接口系统应该包括:用于从当前未交互的、想要与用户进行交互的第二个应用程序接收通知请求的装置,以及用于当接收到通知请求就将相应通知输出到用户的装置,所发布的通知以可与第一个应用程序的交互的任何输出信号区分开的方式发布。在这种情况下,可以以根据第一个应用程序的当前关注级别将通知发布给用户的方式来实现交互控制单元。
在基于语音的输入/输出模态的情况下,优选使用光学信号元件来发通知,例如为了将用户的注意力吸引到此刻未交互的、希望与用户进行通信的某个应用程序而使用的信号光等。可替换地,也可以在听觉上进行这种通知。然而,在这种情况下,应当以某种声音或音乐的形式,使得用户立即明白该声音对应于通知,并且该声音不是源于当前交互应用程序。
在优选实施例中,例如,用户可以通过输入/输出模态的方式请求与已经发布了通知的应用程序有关的信息,或者请求与为什么已经发布了该通知有关的信息。在这种例外情况下,为了将所请求的信息输出到用户,暂停当前交互,使得用户可以确定是否从当前交互应用程序切换到已经发布了通知的应用程序。
该通知输出还遵循应用程序的当前关注级别。例如,三种不同类型的关注级别可能是可用的“开”、“通知允许”和“关”。
如果给当前交互分配第一个关注级别,例如,“关”关注级别,那么,交互控制单元不会将通知发布给用户,直至第一个应用程序的当前交互过程终止或者达到可能的中断点为止。因为在“关”关注级别上,无论如何都不可能有到另一个应用程序的切换,所以这确保了用户在与一个应用程序进行交互期间不会受到另一个通知的干扰。这种“严格”的关注级别特别相关的是,甚至阻止用户中断系统来查询是哪个应用程序发布了通知。
另一方面,如果将“允许通知”的关注级别分配给应用程序,将立即发布通知。然而,用户不能简单地从当前应用程序切换到另一个应用程序,但是用户可以仅查询通知的原因并且临时暂停当前交互。
然而,如果将关注级别设定为“开”,就立刻发布通知,并且用户可以在任何时间对应用程序进行切换,其中,用户可以首先请求与已经发布了通知的应用程序有关的信息,或者他可以不作任何请求直接切换到已经发布了通知的应用程序。
如果告知交互系统用户的身份,还有可能根据当前用户发布通知,即可以以用户专用方式发布通知。一个例子是可以被若干用户使用的家庭对话系统中的邮箱应用程序。如果新的电子邮件到达,就仅当该电子邮件要投递的用户是当前正与系统进行通信的用户时才发布通知。
优选地,自动确定交互应用程序的当前关注级别,并且基于与当前正在运行的交互处理有关的信息来确定交互应用程序的当前关注级别,例如,该信息包括与交互过程的类型相关的信息。
例如,由于在任何条件下金钱转移过程都不应该受另一个应用程序干扰,所以可以为该过程分配“关”关注级别;反之,可以为关于诸如为CD播放器选择音乐的交互过程分配“开”关注级别。此外,可以考虑与当前交互过程的定时有关的信息。例如,由于对于用户来说,在很长的交互很快就要完成时中断交互、并且因此必须重复整个交互将会是非常讨厌的,所以在当前交互过程很快就要完成时,例如在接下来的十秒内完成时,可以将“关”关注级别分配给应用程序。
然而,为了避免用户感到系统“在进行控制”,优选地,仅在很短的时间长度内分配这种诸如“关”关注级别的严格关注级别,其禁止由用户进行的通知以及在应用程序之间的切换。
通常,在过去某段时间长度之后,或者当用户已切换到正被讨论的应用程序、或者至少已经了解通知的原因或者指示他已经注意到该通知时,通过应用程序删除通知请求。当多于一个应用程序发布通知请求时,当所有进行发布的应用程序已经删除了它们的通知请求时,该通知机制停止。
可以以多种方式指定通知顺序,例如,以通知请求的输入次序或者通过设置诸如“紧急通知优先于其它消息”的优先权的方式。因此,可以给个人通知比一般通知更高的优先。同等地,也可能将特定用户处理通知的方式存储在该用户的用户配置文件中。
相对于其它系统,借助于所述方法,给用户对系统的完整控制,其中,一方面,他不错过任何重要的事件,另一方面,系统不在不利的时间点上中断重要的交互,因此避免了不期望的结果。
从下列结合附图所考虑的详细说明中,本发明的其它目标和特征将变得显而易见。然而,应该理解,仅将这些附图设计为说明的目的,而不是作为对本发明的限制的定义。
附图说明
图1是根据本发明实施例的、包括多个组件的交互系统的示意图;
图2示出了根据本发明实施例的方法的可能动作顺序的流程图。
具体实施方式
图1示出了包括用户接口系统2和若干应用程序A1、A2、A3、...、An的交互系统1。该交互系统1可以是类似于在WO 03/096171A1中所描述的系统,将其合并于此作为参考。
这里所示的用户接口系统2将基于语音的输入/输出系统作为输入/输出模态12。在输入端,该输入/输出模态12在输入侧包括麦克风8和语音识别装置9,其中,麦克风8用于检测用户U的语音输入,语音识别装置9可以包括通常的语音识别模块和后续的语言理解模块,使得可以将用户U的语音发声转化成数字形式。在输出侧,输入/输出模态具有语音合成装置11,其可以包括诸如语言生成单元和语音合成单元。随后,通过扩音器10将合成后的语音输出到用户U。将从语音识别装置9输出的信号向前传送到用户接口2的交互控制单元3。该交互控制单元3可以包括通常的对话管理器4,对话管理器4对源于语音识别装置9的命令进行分析、适当地将这些命令指引到当前激活的应用程序,并且根据应用程序A1、A2、A3、...、An控制经由语音合成单元11的信息以及其它提示符的输出。对于本领域的技术人员来说,这里所提到的输入/输出模态12的所有组件,特别是语音识别装置9和语音合成装置11、以及对话管理器4和对话管理器4与各个应用程序A1、A2、A3、...、An之间所需的接口(图中未示出)都是已知的,并且因此不再详细说明。
可以以在计算机、PDA、移动电话等的恰当处理器上运行的软件的形式,实现交互控制单元3连同对话管理器4和仍将要描述的更多组件,以及实现语音识别装置9和语音合成装置11连同它们的从属模块。同样地,应用程序A1、A2、A3、...、An可以以根据该应用程序至少部分地在同一个处理器上运行或者在连接到该处理器的处理器上运行的软件的形式实现。
此外,用户接口系统2可以包括额外的输入/输出模态,例如,屏幕、触摸板、键盘、摄像头,以便对用户的移动进行注册并且将这些转化为命令。为清楚起见,没有在图1中示出这些额外的输入/输出模态。
根据本发明,用户接口系统2包括分配单元5,在该情况下,该分配单元5可以至少部分地是交互控制单元3的组成部分。该分配单元5确保为当前正在与用户进行交互和通信的A1、A2、A3、...、An中的一个分配关注级别,即该应用程序此刻具有对输入/输出模态的控制。根据某些规则自动实现关注级别的分配,例如,可以将所述规则存储在数据库或者存储器7中。
以在任一时间仅仅应用程序A1、A2、A3、...、An中的一个对输入/输出模态12及其从属元件进行控制的方式来实现交互控制单元3。在该时间期间,其它应用程序A1、A2、A3、...、An不可以利用输入/输出模态12。仅仅用户U可以通过恰当的应用程序切换命令ASC从一个应用程序切换到另一个应用程序,即,中断当前交互应用程序,并且给予所期望的应用程序对输入/输出模态12的控制。应用程序切换命令ASC可以是对非交互应用程序A1、A2、A3、...、An直接进行寻址、并且被存储在交互控制单元3或者与之相关的存储器内的某个关键词。
在某些情况下,通知单元6可以将通知从非交互的应用程序A1、A2、A3、...、An发布到用户U。至此,借助于通知信号NS,例如,通知单元6使灯13闪烁,从而吸引用户U对由闪烁灯光13给出的通知的注意。根据下文所描述的过程,通知单元6确定何时输出哪个通知。通知单元6也是交互控制单元3的组成部分。
信号灯13确保通知N与当前交互应用程序的输出信号OS是可明显区分的,使得用户U立即知道通知N与当前交互无关,其中,当前交互应用程序的输出信号OS是以语音的形式通过输入/输出模态12的扩音器10输出的。
在图2中,将借助仅示出两个应用程序的非常简单的例子对系统操作的方法进行描述。在该情况下,为简便起见,还假定仅存在两个不同的关注级别——“关”和“开”。当为交互应用程序分配关注级别“关”时,其它应用程序不可能发布通知,用户也不可以中断正在运行的该应用程序的交互。然而,如果为交互应用程序分配关注级别“开”,那么就将其它应用程序的通知输出到用户,并且用户可以在两个应用程序之间进行切换。
过程从步骤I开始,在步骤I内开始第一个应用程序,例如银行软件。在步骤V内,分配单元5将当前关注级别分配给第一个应用程序。优选地,这按照定期的时间间隔发生,并且/或者在系统的对话输出和/或用户的对话输入时发生,取决于第一个应用程序正在并行实施哪些交互。例如,最初,可以将关注级别设置为“开”。一旦开始金钱交易,并且随后的中断可能导致错误的或者双倍的登记,就将关注级别改变为“关”。为此,分配单元包括数据库或者类似组件,在其中,将关注级别分配给各个过程或处理部分。显然,在开始某些过程之前,应用程序自身也可能请求“关”关注级别,并且分配单元5确定是否将要分配所请求的关注级别,并且如果分配所请求的关注级别,则确定分配多长时间。
由于当前未进行交互但是在后台运行的应用程序可能具有对用户的通知,所以它可能将通知请求发送到交互控制单元3。因此,在处理步骤VI内的循环中,以定期的时间间隔对第二个应用程序的可能通知请求进行轮询。当第一个应用程序的正常交互过程在步骤II内继续的同时,该循环连续运行。如果步骤VI确定第二个应用程序的通知请求存在,那么处理步骤VII首先检测第一个应用程序的当前关注级别是否设置为“关”。
如果情况是这样的,则步骤VIII内的另一个循环继续确定当前交互应用程序的当前关注级别,并且步骤VII继续检测当前关注级别是否仍然设置为“关”。
当前关注级别一从“关”改变到“开”,就在步骤IX内发布通知。
随后,系统在步骤X中等待来自用户U的应用程序切换命令。当前应用程序的交互继续在其间(步骤II)运行。
仅当在步骤X中检测到应用程序切换命令时,才可以在步骤III内中断第一个应用程序的当前交互,并且可以在步骤IV内开始第二个应用程序。在步骤V’中,以与对于第一个应用程序相同的方式,将关注级别立即分配给第二个应用程序。
如已经提到的,为了对与本发明相符的方法的操作过程进行解释的目的,上文借助图2所说明的过程是极其简单的例子,仅具有两个应用程序。显然,在更大数目应用程序的情况下,由于必须对用于各个应用程序的通知请求进行定期的轮询,所以该过程将显著的更加复杂。
同样,图2中所说明的过程没有示出:一旦用户U的注意被通知吸引,他就可以将请求NAR发布到用户接口系统2(见图1),以便以诸如问题“系统,怎么了?”的方式来确定哪个应用程序发布了该通知。对话管理器4对该请求NAR进行识别,并且交互控制单元3随后确保输出相应的通知信息NI,该通知信息NI告知用户U哪个应用程序发布了所述通知。如果发布了所述通知的应用程序是一种诸如邮箱应用程序的消息应用程序,那么如果该消息很短,就可以将该消息作为通知信息直接输出。随后,通过相应的应用程序删除通知请求,使得没有更多的通知被输出到用户,即,随后通知单元使信号灯13不起作用。
虽然已经以优选实施例及其变形的形式公开了本发明,但是应该理解,可以在其上进行许多附加的修改和变化,而不脱离本发明的范围。例如,所描述的输出呈现模块仅仅是例子,本领域的技术人员可以对其进行补充或修改,而不脱离本发明的范围。此外,通知的方式可以取决于优先权,使得在特别紧急通知的情况下,可以以特别的方式通知用户使他知道紧急。
为清楚起见,应该理解,贯穿本申请使用的“一个”不是要排除多个,并且“包括”不是要排除其它步骤或元件。

Claims (12)

1.一种驱动交互系统(1)的方法,所述交互系统(1)包括具有固有顺序输入/输出模态(12)的用户接口系统(2),多个应用程序(A1、A2、A3、...、An)可以彼此独立地使用所述用户接口系统(2)以与所述交互系统(1)的用户(U)进行交互,
-其中,第一个应用程序(A1、A2、A3、...、An)当前正在控制所述固有顺序输入/输出模态(12)来与用户(U)进行交互,
-其中,至少在一个特定时间段中,将一个关注级别分配给所述第一个应用程序(A1、A2、A3、...、An),并且
-其中,仅当从所述用户(U)接收到用来将对用于执行交互的所述固有顺序输入/输出模态(12)的控制从所述第一个应用程序切换到第二个应用程序的应用程序切换命令(ASC)时并且根据所述第一个应用程序(A1、A2、A3、...、An)的关注级别,仅终止或者暂停所述第一个应用程序(A1、A2、A3、...、An)的当前交互过程,并且仅将对用于执行交互的所述固有顺序输入/输出模态(12)的控制转移给所述第二个应用程序(A1、A2、A3、...、An)。
2.如权利要求1所述的方法,
-其中,当前未进行交互并且想要与所述用户(U)进行交互的第二个应用程序(A1、A2、A3、...、An)将通知请求发送到交互控制单元(3),并且
-其中,所述交互控制单元(3)根据所述第一个应用程序(A1、A2、A3、...、An)的关注级别将通知(N)发布到所述用户(U),所述通知(N)是以与所述第一个应用程序(A1、A2、A3、...、An)的所述交互的任何输出信号(OS)可区分的方式发布的。
3.如权利要求2所述的方法,其中,如果为所述当前交互分配第一个关注级别,那么所述交互控制单元(3)不向所述用户(U)发布通知(N),直至所述第一个应用程序(A1、A2、A3、...、An)的当前交互过程终止或者到达可能的中断点为止。
4.如权利要求1至3中的任何一个所述的方法,其中,自动确定交互应用程序(A1、A2、A3、...、An)的当前关注级别。
5.如权利要求4所述的方法,其中,基于与所述当前交互过程有关的信息来自动确定所述关注级别。
6.如权利要求1至3中的任何一个所述的方法,其中,所述用户接口的所述固有顺序输入/输出模态(12)是基于语音的。
7.如权利要求2或3所述的方法,其中,使用光学信号元件(13)发布所述通知(N)。
8.如权利要求2或3所述的方法,其中,根据用户(U)的请求(NAR),所述用户接口系统(2)提供与发布所述通知(N)的所述应用程序(A1、A2、A3、...、An)有关的信息(NI)。
9.如权利要求2或3所述的方法,其中,取决于所述交互系统(1)的当前用户(U)发布所述通知(N)。
10.一种驱动交互系统(1)的设备,所述交互系统(1)包括具有固有顺序输入/输出模态(12)的用户接口系统(2),多个应用程序可以彼此独立地使用所述用户接口系统(2)以与所述交互系统(1)的用户(U)进行交互,所述设备包括:
-分配单元(5),其至少在一个特定时间段中将一个关注级别分配给当前交互的第一个应用程序,所述当前交互的第一个应用程序当前正在控制所述固有顺序输入/输出模态(12)来与所述用户(U)进行交互;
-交互控制单元(3),其用于仅当从所述用户(U)接收到用来将对用于执行交互的所述固有顺序输入/输出模态(12)的控制从所述第一个应用程序切换到第二个应用程序的应用程序切换命令(ASC)时并且根据所述第一个应用程序的关注级别,仅终止或者暂停所述第一个应用程序的当前交互过程,并且仅将对所述固有顺序输入/输出模态(12)的控制转移给所述第二个应用程序。
11.如权利要求10所述的设备,包括:
用于从第二个应用程序接收通知请求的装置,所述第二个应用程序当前未进行交互并且想要与所述用户(U)进行交互;以及
当接收到通知请求时将相应通知(N)输出到所述用户的装置,所述通知是以与所述第一个应用程序的所述交互的任何输出信号(OS)可区分的方式发布的,
其中,以根据所述第一个应用程序的所述当前关注级别将通知(N)发布到所述用户的方式来实现所述交互控制单元(3)。
12.一种包括如权利要求10或11所述的设备的系统,其中所述多个应用程序彼此独立地使用所述固有顺序输入/输出模态(12)来与所述交互系统(1)的用户(U)进行交互。
CN2006800290667A 2005-08-11 2006-08-02 驱动交互系统和用户接口系统的方法 Active CN101238437B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05107396.3 2005-08-11
EP05107396 2005-08-11
PCT/IB2006/052647 WO2007017805A2 (en) 2005-08-11 2006-08-02 Method of driving an interactive system and user interface system

Publications (2)

Publication Number Publication Date
CN101238437A CN101238437A (zh) 2008-08-06
CN101238437B true CN101238437B (zh) 2013-03-06

Family

ID=37727695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800290667A Active CN101238437B (zh) 2005-08-11 2006-08-02 驱动交互系统和用户接口系统的方法

Country Status (6)

Country Link
US (1) US8689135B2 (zh)
EP (1) EP1915677A2 (zh)
JP (2) JP2009505204A (zh)
CN (1) CN101238437B (zh)
TW (1) TW200723061A (zh)
WO (1) WO2007017805A2 (zh)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080155455A1 (en) * 2006-08-15 2008-06-26 Swaminathan Balasubramanian Notification of state transition of an out-of-focus application with clustering
US9021375B2 (en) * 2006-08-15 2015-04-28 International Business Machines Corporation Notification of state transition of an out-of-focus application
US20080046832A1 (en) * 2006-08-15 2008-02-21 International Business Machines Corporation Notification of state transition of an out-of-focus application
US8140993B2 (en) * 2006-08-15 2012-03-20 International Business Machines Corporation Notification of state transition of an out-of-focus application with state and notification priority filtering
US20080163258A1 (en) * 2006-08-15 2008-07-03 Swaminathan Balasubramanian Notification of state transition of an out-of-focus application with notification precedence
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
TWI357257B (en) 2007-10-19 2012-01-21 Mstar Semiconductor Inc Information processing system and related method t
JP5274481B2 (ja) * 2007-12-11 2013-08-28 パナソニック株式会社 自動フォーカス遷移装置及びその方法
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR20100083641A (ko) * 2009-01-14 2010-07-22 삼성전자주식회사 단말장치, 방송수신장치 및 그 제어 방법
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
CN101650672A (zh) * 2009-08-19 2010-02-17 中兴通讯股份有限公司 基于手机终端的显示图层的切换方法和装置
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8248373B2 (en) 2010-06-18 2012-08-21 Microsoft Corporation Contextual control of dynamic input device
US9558015B2 (en) * 2010-11-29 2017-01-31 Ford Global Technologies, Llc Methods and apparatus for activating applications
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
WO2014024132A1 (en) * 2012-08-06 2014-02-13 Koninklijke Philips N.V. Audio activated and/or audio activation of a mode and/or a tool of an executing software application
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
AU2014278592B2 (en) 2013-06-09 2017-09-07 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9219702B2 (en) * 2013-06-13 2015-12-22 International Business Machines Corporation System and method for generating intentional interruptions during gatherings
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
KR102213212B1 (ko) * 2014-01-02 2021-02-08 삼성전자주식회사 멀티윈도우 제어 방법 및 이를 지원하는 전자 장치
US10249296B1 (en) * 2014-05-27 2019-04-02 Amazon Technologies, Inc. Application discovery and selection in language-based systems
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
CN107613104B (zh) * 2017-08-30 2020-04-28 天津大学 一种用户参与的Android APP流个性化定制方法
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
JP2022126543A (ja) * 2021-02-18 2022-08-30 富士フイルム株式会社 情報処理装置およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005575A (en) * 1998-03-23 1999-12-21 Microsoft Corporation Foreground window determination through process and thread initialization
CN1262762A (zh) * 1998-04-01 2000-08-09 摩托罗拉公司 具有语音识别功能的计算机操作系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2638119B2 (ja) * 1988-09-06 1997-08-06 富士通株式会社 音声ウィンドウシステム
JPH04118717A (ja) * 1990-09-07 1992-04-20 Fujitsu Ltd マルチウインドウ制御方法
EP0606214B1 (en) * 1991-10-04 1997-07-16 Wang Laboratories, Inc. Computer graphics system having a pause utility for interactive operations
JP3239511B2 (ja) * 1993-02-12 2001-12-17 富士通株式会社 表示装置
US5534887A (en) * 1994-02-18 1996-07-09 International Business Machines Corporation Locator icon mechanism
US6212541B1 (en) * 1994-10-24 2001-04-03 Microsoft Corporation System and method for switching between software applications in multi-window operating system
US5613163A (en) * 1994-11-18 1997-03-18 International Business Machines Corporation Method and system for predefined suspension and resumption control over I/O programs
IT1282805B1 (it) * 1995-12-21 1998-03-31 Ibm Sistema e metodo per controllare la messaggistica in una interfaccia grafica
US5721849A (en) * 1996-03-29 1998-02-24 International Business Machines Corporation Method, memory and apparatus for postponing transference of focus to a newly opened window
JPH10222337A (ja) 1997-02-13 1998-08-21 Meidensha Corp コンピュータシステム
JP3834988B2 (ja) * 1998-02-12 2006-10-18 カシオ計算機株式会社 表示制御装置
WO2001084824A2 (en) * 2000-05-03 2001-11-08 Worldgate Service, Inc. Television terminal for processing and controlling memory resources for plural applications
JP2002287572A (ja) * 2001-03-22 2002-10-03 Sharp Corp 画像形成関連装置の状態表示方法およびそのプログラムならびにそのプログラムを記録した記録媒体
US7203645B2 (en) * 2001-04-27 2007-04-10 Intel Corporation Speech recognition system loading different recognition engines for different applications
JP2003140798A (ja) * 2001-11-02 2003-05-16 Casio Comput Co Ltd 表示制御装置およびプログラム
JP2005525597A (ja) 2002-05-14 2005-08-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電気機器の対話制御
JP2004164132A (ja) 2002-11-11 2004-06-10 Nec Corp マルチウィンドウ表示装置、該装置に用いられるマルチウィンドウ管理方法及び表示制御プログラム
US7380218B2 (en) * 2003-03-27 2008-05-27 International Business Machines Corporation Method and apparatus for managing windows
US7865839B2 (en) * 2004-03-05 2011-01-04 Aol Inc. Focus stealing prevention
US7490299B2 (en) * 2004-06-30 2009-02-10 International Business Machines Corporation System and method for handling unexpected focus change messages in a computing device
US20060090169A1 (en) * 2004-09-29 2006-04-27 International Business Machines Corporation Process to not disturb a user when performing critical activities

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005575A (en) * 1998-03-23 1999-12-21 Microsoft Corporation Foreground window determination through process and thread initialization
CN1262762A (zh) * 1998-04-01 2000-08-09 摩托罗拉公司 具有语音识别功能的计算机操作系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
第10栏第44行至第11栏第16行.
第4页第19-22行
第5页第20-26行.

Also Published As

Publication number Publication date
JP5654631B2 (ja) 2015-01-14
US20100138779A1 (en) 2010-06-03
WO2007017805A3 (en) 2007-08-09
EP1915677A2 (en) 2008-04-30
WO2007017805A2 (en) 2007-02-15
TW200723061A (en) 2007-06-16
JP2009505204A (ja) 2009-02-05
US8689135B2 (en) 2014-04-01
CN101238437A (zh) 2008-08-06
JP2013157024A (ja) 2013-08-15

Similar Documents

Publication Publication Date Title
CN101238437B (zh) 驱动交互系统和用户接口系统的方法
US11908445B2 (en) Conversation-aware proactive notifications for a voice interface device
JP6728540B2 (ja) ウェイクアップ方法、デバイス及びシステム、クラウドサーバーと可読媒体
US11955124B2 (en) Electronic device for processing user speech and operating method therefor
US10031721B2 (en) System and method for processing control commands in a voice interactive system
JP7322076B2 (ja) 自動アシスタントを起動させるための動的および/またはコンテキスト固有のホットワード
JP7313378B2 (ja) ルーチンの実行中のクライアントデバイス同士の間の自動アシスタントルーチンの転送
CA2967723C (en) System and method for alternatively interacting with elevators
US20020178344A1 (en) Apparatus for managing a multi-modal user interface
CN107481719A (zh) 个人助理模块的非确定性任务发起
CN107430852B (zh) 在支持语音的电子设备中对语音输入的在线处理的选择性中止
CN112639718A (zh) 自动化助手功能的免热词调配
JP2022095768A (ja) インテリジェントキャビン用の対話方法、装置、機器および媒体
CN109144458B (zh) 用于执行与语音输入相对应的操作的电子设备
KR20190139489A (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
CN114981772A (zh) 在不需要自动助理的基于语音的调用的情况下基于检测到的环境状况来选择性地调用自动助理
JP2021509749A (ja) アシスタントデバイスのディスプレイにレンダリングするコンテンツの選択
CN115079819A (zh) 一种基于手势的智能座舱控制方法及系统
US11132173B1 (en) Network scheduling of stimulus-based actions
KR20240011841A (ko) 과거 인터렉션에 기초하여 세컨더리 자동화된 어시스턴트에 관련 쿼리 제공
CN118591791A (zh) 经由车辆计算装置提供场境自动化助理动作建议

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Holland Ian Deho Finn

Patentee after: Koninkl Philips Electronics NV

Address before: Holland Ian Deho Finn

Patentee before: Koninklijke Philips Electronics N.V.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190520

Address after: Bantian HUAWEI headquarters office building, Longgang District, Shenzhen, Guangdong

Patentee after: Huawei Technologies Co., Ltd.

Address before: Holland Ian Deho Finn

Patentee before: Koninkl Philips Electronics NV