JP2009505204A - インタラクティブシステムとインタフェースシステムを駆動する方法 - Google Patents

インタラクティブシステムとインタフェースシステムを駆動する方法 Download PDF

Info

Publication number
JP2009505204A
JP2009505204A JP2008525688A JP2008525688A JP2009505204A JP 2009505204 A JP2009505204 A JP 2009505204A JP 2008525688 A JP2008525688 A JP 2008525688A JP 2008525688 A JP2008525688 A JP 2008525688A JP 2009505204 A JP2009505204 A JP 2009505204A
Authority
JP
Japan
Prior art keywords
application
user
notification
interaction
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008525688A
Other languages
English (en)
Inventor
ポルテレ,トマス
ベニエン,クリスティアン
フリードマン マルシュナー,イェンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009505204A publication Critical patent/JP2009505204A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Abstract

本発明は、固有のシーケンシャルな入力/出力装置12をもつユーザインタフェースシステム2と、複数のアプリケーションA,A,...,Aとを有するインタラクティブシステム1を駆動する方法に関する。本方法では、第一のアプリケーションA,A,...,Aは、ユーザUとの対話を実行するために入力/出力装置を現在制御しており、少なくとも所定の時間について、第一のアプリケーションにフォーカスレベルが割り当てられる。アプリケーションをスイッチするコマンドASCがユーザから受信されたとき、第一のアプリケーションのフォーカスレベルに従って、第一のアプリケーションの現在の対話のプロセスが終了又は休止され、対話を実行する入力/出力装置の制御が第二のアプリケーションに移る。さらに、固有のシーケンシャルな入力/出力装置をもつ適切なユーザインタフェースシステム2、及びかかるユーザインタフェースシステムを有するインタラクティブシステム1が記載される。

Description

本発明は、固有のシーケンシャルな入力/出力装置をもつユーザインタフェースを有すると共に複数のアプリケーションを有するインタラクティブシステムを駆動する方法に関する。
さらに、本発明は、インタラクティブシステムのユーザと対話するため、互いに独立に、インタラクティブシステムの複数のアプリケーションにより使用することができる、固有のシーケンシャルな入力/出力装置をもつ適切なユーザインタフェースシステムに関する。
さらに、本発明は、かかるユーザインタフェースシステムを有するインタラクティブシステムに関する。
最近のマンマシンインタフェースの分野における発展により、装置と装置のユーザとの間の対話を通して動作されるテクニカルデバイスの普及された利用がもたらされている。大部分のかかる「インタラクティブシステム」又は「ダイアログシステム」は、ビジュアルな情報の表示とユーザのパートでの手動による対話とに基づいている。たとえば、大部分のそれぞれの移動電話は、移動電話のディスプレイにオプションを表示することに基づいたオペレーティングダイアログ、及び特定のオプションを選択するために適切なボタンをユーザが押すことで動作される。グラフィカルユーザインタフェースは、通常アプリケーションに属するウィンドウフレームにおいて、スクリーンの異なる領域で異なるアプリケーションに関する情報を表示することができる。大部分のインタラクティブシステムは、どのアプリケーションが現在アクティブであるかを判定するある種の調整手段を利用する。たとえば、US6,005,575号は、どのウィンドウがグラフィカルユーザインタフェースにおいてフォアグランドにあるかを判定する方法を記載している。あるウィンドウに基づいたオペレーティングシステムでは、1以上のウィンドウが「隠された」ときに更なる複雑さが生じる可能性がある。係るケースは、たとえばUS6,212,541 B1号により提案されるソリューションといった「現在の」アプリケーションを判定する特別な措置を必要とする。移動電話のような非常に小型のディスプレイをもつ装置にとって、唯一のウィンドウしか一度に表示することができない場合がある。EP1418498A2号は、かかるディスプレイにおいてどのウィンドウが「トップ“on top”」にあるかを判定する方法を記載する。異なるタイプのシステムでは、US2003/0227567A1は、リモートコントロールデバイスでホットキーを使用することで、アプリケーションと、テレビジョンスクリーンに表示されるテレビジョンブロードキャストとの間でスイッチする方法を記載する。
進歩されたユーザインタフェースは、ディスプレイ、キーボード、マウス、又はリモートコントロールにもはや依存しないが、音声、ジェスチャーの入力、タッチ等のような幾つかの装置を結合する。音声に基づいたインタラクティブシステムによれば、たとえば料理の間で家庭において、自動車において、又は小型の移動体装置により、ハンドフリー、更にはアイフリーな対話を使用することができる。たとえば、より小型及びよりパワフルな移動電話に対する、ネットワーク環境及び最小化に向けた傾向による技術的な進歩のため、音声に基づいたサービス及び音声に基づいたデバイスは、技術的に実施可能である、毎日の生活の一部となり始めている。通常のPDA(personal digital assistant)でのように、幾つかの音声に基づいたアプリケーションは、かかる装置で実行することができる。たとえばUS2003/0014251A1に記載される方法といった、音声入力によりアドレスされるアプリケーションを判定し、スイッチオーバを処理する様々な方法が知られている。幾つかの異なるアプリケーションを制御するために使用されるユーザと通信するための音声に基づいたユーザインタフェースシステムを使用した、インタラクティブシステムの別の例は、WO03/096171A1に記載されている。
これら「新たな」入力/出力の装置から生じる1つの問題は、それらの少なくとも幾つかが固有にシーケンシャルであることである。先に説明されたように、グラフィカルユーザインタフェースが、異なるアプリケーションに関する情報を一度に表示できる一方で、音声に基づく入力/出力装置は、パラレルに出力を供給することができない。さらに、ユーザからの入力のためのターゲットアプリケーションは、たとえば、情報が入力されたウィンドウから推測することができない。したがって、入力及び出力の同期及び順序付けの方法が必要とされる。1つの可能な解決策は、たとえば、それぞれのアプリケーションがそれ自身のボキャブラリを有し、そのボキャブラリがユーザの発声に最良に整合するアプリケーションにスイッチオーバが行われることが記載されるWO99/50831のように、ユーザが異なるアプリケーションの間で切り換えることができるように、アクチベーションキーワードを使用する。これにより、ユーザが幾つかのアプリケーション間でスイッチし、及び/又はユーザが幾つかのアプリケーションによりアドレスされる複雑なダイアログでは、所定のアプリケーションとの対話が終わったか、又はアプリケーションがユーザからの応答を待つかがもはや確かでない可能性が生じる。この問題は、ユーザが彼の周囲におけるイベントにより混乱され、インタラクティブシステムと通信するために彼の完全な注意を与えることができない状況で生じる可能性がある。結果として、誤解のため、誤ったコマンドが発せられるか、アプリケーションが不本意に終了される可能性が生じる。他方で、たとえばマネートランスファのようなセンシティブなアプリケーションによるといった、現在アクティブな対話がどんなことがあっても中断されるべきではない。
したがって、本発明の目的は、ユーザフレンドリなやり方で、望まれないコンフリクトが同じシーケンシャルな入力/出力装置を使用した異なるアプリケーション間で生じないこと、特に、ユーザのパートでの入力エラーが好ましくないポイントでのアプリケーションの終了を招かないことを保証する、インタラクティブシステムと対応するユーザインタフェースシステムの動作方法を提供することにある。
上記目的のため、本発明は、固有のシーケンシャルな入力/出力装置(inherently sequential input/output modality)をもつユーザインタフェースを有すると共に、複数のアプリケーションを有するインタラクティブシステムを駆動する方法を提供するものであり、第一の現在インタラクティブなアプリケーションは、ユーザとの対話を実行するために固有のシーケンシャルな入力/出力装置を現在制御し、少なくとも所定の期間について、あるフォーカスレベルが第一のアプリケーションに割り当てられ、アプリケーションスイッチングコマンドがユーザから受信されたとき、第一のアプリケーションのフォーカスレベルに従って、第一のアプリケーションの現在の対話のプロセスが終了されるか又はポーズされ、対話を実行する固有のシーケンシャルな入力/出力装置の制御は、第二のアプリケーションに移される。
システムのユーザとの対話のため、互いに独立に、複数のアプリケーションにより使用される、固有のシーケンシャルな入力/出力装置をもつ、本発明に係る適切なユーザインタフェースシステムは、ユーザと対話するために入力/出力装置を現在制御している第一の、現在のインタラクティブなアプリケーションに、あるフォーカスレベルを少なくとも所定の期間について割り当てる割り当てユニットを有する。さらに、ユーザインタフェースシステムは、ユーザからのアプリケーションをスイッチするコマンドを受ける手段、アプリケーションスイッチングコマンドがユーザから受信されたとき、第一のアプリケーションのフォーカスレベルに従って、第一のアプリケーションの現在の対話のプロセスが終了されるかポーズされ、対話を実行する入力/出力装置の制御が第二のアプリケーションに移るように実現される対話制御ユニットを有する。
したがって、本発明に係る方法により、唯一のアプリケーションのみが所定の期間でアクティブであり、入力/出力装置を通して完全な制御を有する。一方で、残りのアプリケーションは、バックグランドで実行することができる。アクティブなアプリケーションがユーザとの対話を終了したとき、たとえばメールボックスアプリケーションがユーザの電子メールを「読み取った」とき、関連するアプリケーションは、それ自身を「非アクティブ」にスイッチする。このケースでは、たとえば、システムの制御モジュールは、どの残りのアプリケーションが「アクティブ」にスイッチされるかを判定することができ、又は、「アクティブ」にスイッチされるアプリケーションがない場合、特定の機能性をもたない特別のバックグランドのアプリケーションは、アクティブであるとみなすことができる。1つのアプリケーションがインタラクティブである限り、別のアプリケーションにとってインタラクティブとなることは不可能である。このケースでは、「インタラクティブ」とは、アプリケーションがアクティブであることをユーザが気付かないバックグランドのアクティビティとは対照的に、ユーザとの対話が行われることを意味する。1つのかかる例は、新たな電子メールのためにバックグランドにおいてメールボックスを規則的にチェックするメールボックスアプリケーションである。
アプリケーション間でのスイッチングは、本発明によれば、ユーザがシステムにアプリケーションスイッチングコマンドを発する点でユーザを通してのみ可能である。これにより、アプリケーションをスイッチするコマンドは、ユーザにより発せられるコマンドであり、ユーザが所定の第一のアプリケーションとの現在の対話を終了し、第二のアプリケーションとの対話を開始するのを望むことを明らかに説明する。これらのアプリケーションをスイッチするコマンドは、たとえば、様々なアプリケーションによりユーザインタフェースシステムの対話制御ユニットに前もって供給される。アプリケーションをスイッチするコマンドは、音声のコマンドとすることができるが、ジェスチャー、ボタンプレス、又は適切なアクションとすることもできる。本発明によれば、かかるアプリケーションのスイッチは、インタラクティブなアプリケーションの現在のフォーカスレベルにより許容かされるときにのみ可能である。したがって、別のアプリケーションへのスイッチングを許容しないフォーカスレベルは、中断されない対話の間に所定の長さの時間についてアプリケーションに割り当てられる。
このようにして、一方で、ユーザは現在インタラクティブなアプリケーションを見失わないようにし、このアプリケーションとのみ通信することが比較的容易に保証される。これにより、ユーザのみが、どのアプリケーションが特定のシーケンシャルな入力/出力装置を現在使用しているかに関する制御を有する。他方で、ユーザのパートでのアプリケーション間の意図されていないスイッチングが防止され、対話は、クリティカルなポイントで不本意に中断されることはない。
あるアプリケーションから別のアプリケーションへのスイッチングが行われない限り、フォーカスレベルのため、このような趣旨のユーザのパートでのコマンドにも拘らず、これは、現在のアプリケーションがインタラクティブのままであることをユーザが知るように、ユーザに伝達されることが好ましい。
従属の請求項及び後の記載は、本発明の好適な実施の形態及び特徴を開示する。従属の方法の請求項に対応する装置の請求項の更なる展開は、本発明の範囲内にある。
バックグランドで実行することができる幾つかのアプリケーションをもつ複雑なインタラクティブシステムのケースでは、所定のイベントが生じたために、アプリケーションがインタラクティブになるのを望むことが生じる。1つの係る例は、メールボックスアプリケーションにおけるユーザの電子メールの到着、又はタンクレベルが低いことをドライバに警告する自動車のインタラクティブシステムである。しかし、本発明によれば、上述されたように、ユーザのみがアプリケーション間でスイッチすることができる。このため、本発明の特定の好適な実施の形態では、現在アクティブではない、ユーザとの対話を実行することを意図する第二のアプリケーションは、インタラクティブシステムの対話制御ユニットに通知要求を送出する。次いで、対話制御ユニットは、第一のアプリケーションの対話の出力信号から区別可能であるように、通知が発せられた第一のアプリケーションのフォーカスレベルに従ってユーザに通知を発する。
したがって、適切なユーザインタフェースシステムは、ユーザとの対話を実行することを意図する現在インタラクティブではない第二のアプリケーションからの通知要求を受ける手段、第一のアプリケーションの対話の出力信号と区別可能なように、通知が発せられた、通知要求の受信に応答してユーザに対応する通知を出力する手段を有する。係るケースでは、対話制御ユニットは、ユーザへの通知が第一のアプリケーションの現在のフォーカスレベルに従って発せられるように実現される。
音声に基づいた入力/出力装置のケースでは、たとえば、瞬間的にインタラクティブではない所定のアプリケーションがユーザに何かを伝達したいことにユーザの注意を惹きつけるシグナルライト又はその類似といった、光信号素子が通知のために使用されることが好ましい。代替的に、かかる通知を聴覚に基づいて行うこともできる。しかし、このケースでは、音が通知に対応しており、現在インタラクティブなアプリケーションから発生していないことがユーザにとって即座に明らかであるように、所定の音又はメロディの形式であるべきである。
好適な実施の形態では、ユーザは、たとえば入力/出力装置により、通知を発したアプリケーションに関する情報、何故通知が発せられたかに関する情報を要求する。この例外では、現在の対話は、通知を発したアプリケーションに現在インタラクティブなアプリケーションからスイッチするかをユーザが判定することができるように、ユーザに要求された情報を出力するために休止される。
通知の出力は、アプリケーションの現在のフォーカスレベルに従う。たとえば、3つの異なるタイプのフォーカスレベルである、「オープン“open”」、「通知の許可“notification allowed”」及び「クローズド“closed”」が利用可能である。
現在の対話がたとえば、「クローズド」フォーカスレベルといった第一のフォーカスレベルに割り当てられた場合、対話制御ユニットは、第一のアプリケーションの現在の対話プロセスが終了されるか、又は可能性のある中断のポイントに到達するまでユーザに通知を発しない。これは、フォーカスレベル「クローズド」で、別のアプリケーションへのスイッチは不可能であるので、ユーザが他のアプリケーションとの対話の間に通知により混乱されないことを保証する。かかる「厳密な」フォーカスレベルは、どのアプリケーションが通知を発したかに関して問い合わせするため、ユーザがシステムを中断される場合に特に関連する。
他方で、「通知の許可」のフォーカスレベルがアプリケーションに割り当てられた場合、通知が即座に発せられる。しかし、ユーザは、現在のアプリケーションから別のアプリケーションにシンプルにスイッチすることができないが、通知の理由に関して問い合わせ、一時的に現在の対話を休止することができる。
しかし、フォーカスレベルが「オープン」に設定された場合、通知は即座に発せられ、ユーザは、任意の時間でアプリケーションをスイッチすることができ、ユーザは、通知を発したアプリケーションに関する情報を最初に要求するか、ユーザは、要求なしに、通知を発したアプリケーションに直接的にスイッチする場合がある。
インタラクティブシステムがユーザのアイデンティティに関して通知された場合、現在のユーザに従って通知を発することが可能であり、すなわち、通知はユーザに特化したやり方で発せられる。1つの例は、幾つかのユーザにより使用することができるホームダイアログシステムにおけるメールボックスアプリケーションである。新たなメールが到着した場合、メールが宛てられているユーザがシステムと現在通信しているユーザである場合に通知が発せられる。
インタラクティブなアプリケーションの現在のフォーカスレベルは、自動的に決定されることが好ましく、たとえば対話のプロセスのタイプに関する情報を含む現在実行している対話のプロセスに関する情報に基づいて決定される。
たとえば、マネートランスファプロセスには、かかるプロセスがどのようなことがあっても別のアプリケーションにより中断されるべきではないため、フォーカスレベル「クローズド」が割り当てられ、たとえばCDプレーヤの音楽の選択に関する対話のプロセスには、フォーカスレベル「オープン」が割り当てられる場合がある。さらに、現在の対話のプロセスのタイミングに関する情報を考慮することができる。たとえば、現在の対話のプロセスがたとえば次の10秒内で終了されたとき、フォーカスレベル「クローズド」にアプリケーションが割り当てられる。これは、長い対話が終了の前に短く中断されること、したがって全体の対話を繰り返さなければならないことはユーザにとって非常に悩ましいためである。
しかし、たとえばフォーカスレベル「クローズド」といった厳密なフォーカスレベルを割り当てることが好ましく、これは、システムが「制御“in control”」にあるというユーザのフィーリングを回避するため、短時間についてのみ、ユーザによるアプリケーション間の通知及びスイッチングを禁止する。
通常、通知の要求は、所定の時間が経過した後、又はユーザが問題となるアプリケーションにスイッチしたとき、ユーザが通知の理由を少なくとも知ったとき、ユーザが通知の記録を行ったとき、アプリケーションにより削除される。1を超えるアプリケーションが通知の要求を発したとき、通知のメカニズムは、全ての発しているアプリケーションがそれらの通知の要求を削除したときに停止される。
通知のシーケンスは、たとえば、到来する通知要求の順序で、又は、「緊急の通知が他のメッセージに優先する」のような優先度を設定することといった、多数のやり方で規定することができる。これにより、個人的な通知には、一般的な通知よりも高い優先度が与えられる。同様に、特定のユーザの通知を処理するやり方はそのユーザのユーザプロファイルに記憶されることも可能である。
記載される方法によれば、ユーザには、他のシステムとは対照的に、システムを通して完全な制御が与えられ、この場合、一方で、ユーザは重要なイベントを逃すことがなく、他方で、システムは、好まれない時間的なポイントで重要な対話を中断せず、望まれない結果を回避することができる。
本発明の他の目的及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかとなる。しかし、図面は例示を目的として設計され、本発明の限定の定義として設計されたものではないことを理解されたい。
図1は、ユーザインタフェースシステム2及び幾つかのアプリケーションA1,A2,A3,...,Anを有するインタラクティブシステム1を示す。このインタラクティブシステム1は、WO03/096171A1に記載されるシステムに類似しており、引用により本明細書に盛り込まれる。
ここで示されるユーザインタフェースシステム2は、入力/出力装置12として音声に基づいた入力/出力システムを備える。この入力/出力装置12は、ユーザUの音の発生がデジタル形式に変換することができるように、入力サイドで、ユーザUの音声入力を検出するマイクロフォン8と、通常の音声認識モジュール及び後続の言語理解モジュールを有する音声認識回路9とを有する。出力サイドで、入力/出力装置は、音声合成回路11を備え、この回路は、たとえば言語生成ユニットと音声合成ユニットを有する。合成された音声は、ラウドスピーカ10によりユーザUに出力される。音声認識回路9から出力された信号は、ユーザインタフェース2の対話制御回路3に送出される。この対話制御回路3は、通常のダイアログマネージャ4を有し、れは、音声認識回路9から生じたコマンドを分析し、それらを必要に応じて現在アクティブなアプリケーションに送出し、音声合成ユニット11を介して、アプリケーションA1,A2,A3,...,Anに従って情報及び他のプロンプトの出力を処理する。ここで記載される入力/出力装置12の全てのコンポーネント、特に音声認識回路9及び音声合成回路11、ダイアログマネージャ4、ダイアログマネージャ4、個々のアプリケーションA1,A2,A3,...,Anの間で必要とされるインタフェース(図示せず)は、当業者に知られており、さらに詳細には記載されない。
対話制御回路3は、ダイアログマネージャ4及び更に記載されることとなる更なるコンポーネントと合わせて、それらの補助的なモジュールをもつ音声認識回路9及び音声合成回路11と同様に、コンピュータ、移動電話等の適切なプロセッサで実行されるソフトウェアの形式で実現される。同様に、アプリケーションA1,A2,A3,...,Anは、同じプロセッサで少なくとも部分的に実行されるか、そのプロセッサに接続されるプロセッサで少なくとも部分的に実行されるアプリケーションに依存して、ソフトウェアの形式で実現することができる。
さらに、ユーザインタフェースシステム2は、たとえば、ユーザの動きを記録し、これらをコマンドに変換するため、スクリーン、タッチパッド、キーボード、カメラといった更なる入力/出力装置を有する。明確さのため、これら更なる入力/出力装置は、図1に示されていない。
本発明によれば、ユーザインタフェースシステム2は、このケースでは、少なくとも部分的に、対話制御ユニットの一部である割り当てユニット5を有する。この割り当てユニット5は、現在インタラクティブであり、ユーザと通信しているA1,A2,A3,...,Anであって、すなわち入力/出力装置を通して制御を瞬間的に有するA1,A2,A3,...,Aには、あるフォーカスレベルが割り当てられる。フォーカスレベルの割り当ては、たとえばデータベース又はメモリ7に記憶される所定のルールに従って自動的に実行される。
対話制御ユニット3は、アプリケーションA1,A2,A3,...,Anのうちの唯一が入力/出力装置12及びその補助的なコンポーネントを一度に制御するように実現される。この時間の間、他のアプリケーションA1,A2,A3,...,Anは、入力/出力装置12の役に立たない。適切なアプリケーションスイッチングコマンドASCにより、ユーザUのみが、あるアプリケーションから別のアプリケーションにスイッチすることができ、すなわち、現在インタラクティブなアプリケーションは、所望のアプリケーションには、入力/出力装置12を通した制御が与えられる。アプリケーションスイッチングコマンドASCは、インタラクティブではないアプリケーションA1,A2,A3,...,Anを直接アドレスし、対話制御ユニット3又はこれと関連されるメモリに記憶される所定のキーワードとすることができる。
通知ユニット6は、所定の状況下で、インタラクティブではないアプリケーションA1,A2,A3,...,AnからユーザUに通知を発する。このため、通知信号NSにより、通知ユニット6は、たとえば、光13をフラッシュさせ、これにより、ユーザUの注意をフラッシュしている光13により与えられる通知に引き付ける。通知ユニット6は、以下に記載されるプロセスに従って、何時どの通知が出力されることになるかを判定する。通知ユニット6は、対話制御ユニット3の一部でもある。
信号光13により、通知Nが現在の対話を関係がないことをユーザUが知るように、音声の形式で入力/出力装置12のラウドスピーカ10により出力される現在インタラクティブなアプリケーションの出力信号OSから通知Nが明らかに区別できることを保証する。
図2における、2つのみのアプリケーションを示す非常にシンプルな例により、システムの動作の方法が記載される。このケースでは、簡単さのために、2つの異なるフォーカスレベル「クローズド“closed”」及び「オープン“open”」のみが存在することが想定される。インタラクティブなアプリケーションにフォーカスレベル「クローズド」が割り当てられたとき、他のアプリケーションが通知を発することは不可能であり、ユーザは、アプリケーションの実行している対話を中断することができる。しかし、インタラクティブなアプリケーションにフォーカスレベル「オープン」が割り当てられた場合、他のアプリケーションの通知がユーザに出力され、ユーザは2つのアプリケーション間でスイッチすることができる。
プロセスはステップIで始まり、たとえばバンキングソフトウェアといった第一のアプリケーションが開始される。ステップVでは、現在のフォーカスレベルは、割り当てユニット5により第一のアプリケーションに割り当てられる。これは、第一のアプリケーションによりどの対話がパラレルに実行されるかに依存して、好ましくは規則的なインターバルで、及び/又はシステムのダイアログの出力で、及び/又はユーザのダイアログ入力で生じる。たとえば、フォーカスレベルは、はじめに「オープン」に設定される。マネートランスファが始動され、その後の中断が誤った又はダブルブッキングにつながり、フォーカスレベルは、「クローズド」に変化される。このため、割り当てユニットは、データベース又はその類似を有し、フォーカスレベルは、様々なプロセス又はプロセス部分に割り当てられる。明らかに、所定の手順を始動する前に、アプリケーション自身は、フォーカスレベル「クローズド」を要求し、要求されたフォーカスレベルが割り当てられるべきか、割り当てるべき場合にはどのくらい長く割り当てるべきかについて割り当てユニット5が判定することも可能である。
現在インタラクティブではないが、バックグランドで実行しているアプリケーションは、ユーザのための通知を有するので、通知の要求を対話制御ユニット3に発する場合がある。したがって、プロセスステップVIにおけるループでは、第二のアプリケーションの可能性のある通知要求は、規則的なインターバルでポーリングされる。このループは、連続的に実行され、第一のアプリケーションの通常の対話のプロセスは、ステップIIで継続する。第二のアプリケーションの通知要求が存在することをステップVIが判定した場合、プロセスステップVIIは、第一のアプリケーションの現在のフォーカスレベルが「クローズド」に設定されているかをはじめにチェックする。
「クローズド」に設定されている場合、ステップVIIIにおける別のループは、現在インタラクティブなアプリケーションの現在のフォーカスレベルを決定するために継続し、ステップVIIは、現在のフォーカスレベルが「クローズド」に設定されているかをチェックし続ける。
現在のフォーカスレベルが「クローズド」から「オープン」に変化されるとすぐ、ステップIXで通知が発せられる。
その後、システムは、ステップXで、ユーザUからのアプリケーションをスイッチするコマンドを待つ。現在のアプリケーションの対話は、実行し続ける(ステップII)。
アプリケーションをスイッチするコマンドがステップXで検出されたときにのみ、第一のアプリケーションの現在の対話は、ステップIIIで中断され、第二のアプリケーションは、ステップIVで開始される。ステップV’では、フォーカスレベルは、第一のアプリケーションと同じやり方で、第二のアプリケーションに即座に割り当てられる。
図2により上述されたプロセスは、既に述べたように、本発明に係る方法の動作のプロセスを説明する目的で、2つのみのアプリケーションで極端に簡略された例である。明らかに、プロセスは、様々なアプリケーションの通知要求が規則的にポーリングされる必要があるので、多数のアプリケーションのケースにおいてかなり複雑になる。
また、図2に例示されるプロセスは、ユーザの注意が通知によりひとたび引き付けられると、ユーザUは、要求NARをユーザインタフェースシステム2(図1参照)に発し、たとえば「どうしたの、システム?」といった質問の形式で、どのアプリケーションが通知を発したかを判定することを示していない。かかる要求NARは、ダイアログマネージャ4によるように認識され、対話制御ユニット3は、どのアプリケーションが通知を発したかをユーザUに通知して、対応する通知情報NIが出力されたことを保証する。通知を発したアプリケーションが、たとえばメールボックスアプリケーションといったメッセージングアプリケーションのタイプである場合、メッセージは、それが短い場合、通知情報として直接に出力される。次いで、通知要求は、更なる通知がユーザに出力されない、すなわち信号光13が通知ユニットによりデアクチベートされるように、対応するアプリケーションにより削除される。
本発明は、好適な実施の形態及びその変形例の形式で開示されたが、様々な更なる変更及び変形は、本発明の範囲から逸脱されることなしに実施されることを理解されたい。たとえば、記載される出力レンダリングモジュールは、単なる例であり、本発明の範囲から離れることなしに、当業者により補充又は変更することができる。さらに、通知のやり方は、ユーザが緊急事態に気付かされるように、特に緊急の通知のケースで特定のやり方でユーザが通知されるように、優先度に依存することができる。明確さのため、「有する“comprising”」は、他のステップ又はエレメントを排除するものではない。
本発明の実施の形態に係る多数のコンポーネントを有するインタラクティブシステムの概念図である。 本発明の実施の形態に従う方法のアクションに関する可能なシーケンスのフローチャートである。

Claims (12)

  1. 固有のシーケンシャルな入力/出力装置をもつユーザインタフェースシステムと、複数のアプリケーションとを有するインタラクティブシステムを駆動する方法であって、
    第一のアプリケーションは、ユーザとの対話を実行するために前記入力/出力装置を現在制御し、
    少なくとも所定の時間について、前記第一のアプリケーションにフォーカスレベルが割り当てられ、
    アプリケーションをスイッチするコマンドがユーザから受信されたとき、前記第一のアプリケーションのフォーカスレベルに従って、前記第一のアプリケーションの現在の対話のプロセスが終了又は休止され、対話を実行する前記入力/出力装置の制御が第二のアプリケーションに移る、
    ことを特徴とする方法。
  2. インタラクティブではなく、ユーザとの対話を実行することが意図される第二のアプリケーションは、対話制御ユニットに通知要求を送出し、
    前記対話制御ユニットは、前記第一のアプリケーションのフォーカスレベルに従ってユーザに通知を発し、前記通知は、前記第一のアプリケーションの対話の出力信号と区別可能なように発せられる、
    請求項1記載の方法。
  3. 現在の対話が第一のフォーカスレベルに割り当てられた場合、前記対話制御ユニットは、前記第一のアプリケーションの現在のインタラクションプロセスが終了されたか、可能性のある中断のポイントに到達するまで、ユーザに通知を発しない、
    請求項2記載の方法。
  4. インタラクティブなアプリケーションの現在のフォーカスレベルは、自動的に決定される、
    請求項1乃至3の何れか記載の方法。
  5. 前記フォーカスレベルは、前記現在のインタラクションプロセスに関する情報に基づいて自動的に決定される、
    請求項4記載の方法。
  6. 前記ユーザインタフェースの固有のシーケンシャルな入力/出力装置は音声に基づく、
    請求項1乃至5の何れか記載の方法。
  7. 前記通知は、光信号素子を使用して発せられる、
    請求項1乃至6の何れか記載の方法。
  8. ユーザによる通知に応じて、前記通知を発したアプリケーションに関する情報が前記ユーザインタフェースシステムによりレンダリングされる、
    請求項1乃至7の何れか記載の方法。
  9. 前記通知は、インタラクティブシステムの現在のユーザに依存して発せられる、
    請求項1乃至8の何れか記載の方法。
  10. インタラクティブシステムのユーザとの対話のため、互いに独立に、インタラクティブシステムの複数のアプリケーションにより使用される、固有のシーケンシャルな入力/出力装置をもつユーザインタフェースシステムであって、
    ユーザと対話するために前記入力/出力装置を現在制御している、第一の現在インタラクティブなアプリケーションに、あるフォーカスレベルを少なくとも所定の期間について割り当てる割り当てユニットと、
    アプリケーションをスイッチするコマンドをユーザから受信する手段と、
    アプリケーションをスイッチするコマンドがユーザから受信されたとき、前記第一のアプリケーションのフォーカスレベルに従って、前記第一のアプリケーションの現在の対話のプロセスが終了又は休止され、対話を実行するための前記入力/出力装置の制御が第二のアプリケーションに移されるように実現される対話制御ユニットと、
    を有することを特徴とするユーザインタフェースシステム。
  11. インタラクティブではなく、ユーザとの対話を実行することが意図される第二のアプリケーションから通知要求を受信する手段と、
    通知要求の受信に応じて、前記第一のアプリケーションの対話の出力信号と区別可能なように発せられる、対応する通知をユーザに出力する手段と、
    前記対話制御ユニットは、前記第一のアプリケーションの現在のフォーカスレベルに従ってユーザへの通知が発せられるように実現される、
    請求項9記載のユーザインタフェースシステム。
  12. 請求項10又は11記載のユーザインタフェースシステムを有し、インタラクティブシステムのユーザとの対話を実行するために、互いに独立に、前記入力/出力装置を使用する複数のアプリケーションを有する、
    インタラクティブシステム。
JP2008525688A 2005-08-11 2006-08-02 インタラクティブシステムとインタフェースシステムを駆動する方法 Pending JP2009505204A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05107396 2005-08-11
PCT/IB2006/052647 WO2007017805A2 (en) 2005-08-11 2006-08-02 Method of driving an interactive system and user interface system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013087253A Division JP5654631B2 (ja) 2005-08-11 2013-04-18 インタラクティブシステムとインタフェースシステムを駆動する方法

Publications (1)

Publication Number Publication Date
JP2009505204A true JP2009505204A (ja) 2009-02-05

Family

ID=37727695

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008525688A Pending JP2009505204A (ja) 2005-08-11 2006-08-02 インタラクティブシステムとインタフェースシステムを駆動する方法
JP2013087253A Active JP5654631B2 (ja) 2005-08-11 2013-04-18 インタラクティブシステムとインタフェースシステムを駆動する方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013087253A Active JP5654631B2 (ja) 2005-08-11 2013-04-18 インタラクティブシステムとインタフェースシステムを駆動する方法

Country Status (6)

Country Link
US (1) US8689135B2 (ja)
EP (1) EP1915677A2 (ja)
JP (2) JP2009505204A (ja)
CN (1) CN101238437B (ja)
TW (1) TW200723061A (ja)
WO (1) WO2007017805A2 (ja)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080163258A1 (en) * 2006-08-15 2008-07-03 Swaminathan Balasubramanian Notification of state transition of an out-of-focus application with notification precedence
US8140993B2 (en) * 2006-08-15 2012-03-20 International Business Machines Corporation Notification of state transition of an out-of-focus application with state and notification priority filtering
US20080046832A1 (en) * 2006-08-15 2008-02-21 International Business Machines Corporation Notification of state transition of an out-of-focus application
US20080155455A1 (en) * 2006-08-15 2008-06-26 Swaminathan Balasubramanian Notification of state transition of an out-of-focus application with clustering
US9021375B2 (en) * 2006-08-15 2015-04-28 International Business Machines Corporation Notification of state transition of an out-of-focus application
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
TWI357257B (en) 2007-10-19 2012-01-21 Mstar Semiconductor Inc Information processing system and related method t
JP5274481B2 (ja) * 2007-12-11 2013-08-28 パナソニック株式会社 自動フォーカス遷移装置及びその方法
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR20100083641A (ko) * 2009-01-14 2010-07-22 삼성전자주식회사 단말장치, 방송수신장치 및 그 제어 방법
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
CN101650672A (zh) * 2009-08-19 2010-02-17 中兴通讯股份有限公司 基于手机终端的显示图层的切换方法和装置
US8248373B2 (en) 2010-06-18 2012-08-21 Microsoft Corporation Contextual control of dynamic input device
US9558015B2 (en) * 2010-11-29 2017-01-31 Ford Global Technologies, Llc Methods and apparatus for activating applications
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US20150169286A1 (en) * 2012-08-06 2015-06-18 Koninklijke Philips N.V. Audio activated and/or audio activation of a mode and/or a tool of an executing software application
CN113470640B (zh) 2013-02-07 2022-04-26 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9219702B2 (en) 2013-06-13 2015-12-22 International Business Machines Corporation System and method for generating intentional interruptions during gatherings
KR102213212B1 (ko) 2014-01-02 2021-02-08 삼성전자주식회사 멀티윈도우 제어 방법 및 이를 지원하는 전자 장치
US10249296B1 (en) * 2014-05-27 2019-04-02 Amazon Technologies, Inc. Application discovery and selection in language-based systems
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
CN107613104B (zh) * 2017-08-30 2020-04-28 天津大学 一种用户参与的Android APP流个性化定制方法
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04118717A (ja) * 1990-09-07 1992-04-20 Fujitsu Ltd マルチウインドウ制御方法
JPH06236172A (ja) * 1993-02-12 1994-08-23 Fujitsu Ltd 表示装置
JPH10222337A (ja) * 1997-02-13 1998-08-21 Meidensha Corp コンピュータシステム
JPH11232009A (ja) * 1998-02-12 1999-08-27 Casio Comput Co Ltd 補助表示制御装置及び記憶媒体
JP2003140798A (ja) * 2001-11-02 2003-05-16 Casio Comput Co Ltd 表示制御装置およびプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2638119B2 (ja) * 1988-09-06 1997-08-06 富士通株式会社 音声ウィンドウシステム
CA2111693A1 (en) * 1991-10-04 1993-04-15 Charles Cocchiaro Computer graphics system having a pause utility for interactive operations
US5534887A (en) * 1994-02-18 1996-07-09 International Business Machines Corporation Locator icon mechanism
US6212541B1 (en) * 1994-10-24 2001-04-03 Microsoft Corporation System and method for switching between software applications in multi-window operating system
US5613163A (en) * 1994-11-18 1997-03-18 International Business Machines Corporation Method and system for predefined suspension and resumption control over I/O programs
IT1282805B1 (it) * 1995-12-21 1998-03-31 Ibm Sistema e metodo per controllare la messaggistica in una interfaccia grafica
US5721849A (en) * 1996-03-29 1998-02-24 International Business Machines Corporation Method, memory and apparatus for postponing transference of focus to a newly opened window
US6005575A (en) * 1998-03-23 1999-12-21 Microsoft Corporation Foreground window determination through process and thread initialization
US6233559B1 (en) * 1998-04-01 2001-05-15 Motorola, Inc. Speech control of multiple applications using applets
AU2001257510A1 (en) * 2000-05-03 2001-11-12 Worldgate Service, Inc. System and method to control and distribute processing and memory resources among applications in a television terminal
JP2002287572A (ja) * 2001-03-22 2002-10-03 Sharp Corp 画像形成関連装置の状態表示方法およびそのプログラムならびにそのプログラムを記録した記録媒体
US7203645B2 (en) * 2001-04-27 2007-04-10 Intel Corporation Speech recognition system loading different recognition engines for different applications
US20050159955A1 (en) 2002-05-14 2005-07-21 Martin Oerder Dialog control for an electric apparatus
JP2004164132A (ja) * 2002-11-11 2004-06-10 Nec Corp マルチウィンドウ表示装置、該装置に用いられるマルチウィンドウ管理方法及び表示制御プログラム
US7380218B2 (en) * 2003-03-27 2008-05-27 International Business Machines Corporation Method and apparatus for managing windows
US7865839B2 (en) * 2004-03-05 2011-01-04 Aol Inc. Focus stealing prevention
US7490299B2 (en) * 2004-06-30 2009-02-10 International Business Machines Corporation System and method for handling unexpected focus change messages in a computing device
US20060090169A1 (en) * 2004-09-29 2006-04-27 International Business Machines Corporation Process to not disturb a user when performing critical activities

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04118717A (ja) * 1990-09-07 1992-04-20 Fujitsu Ltd マルチウインドウ制御方法
JPH06236172A (ja) * 1993-02-12 1994-08-23 Fujitsu Ltd 表示装置
JPH10222337A (ja) * 1997-02-13 1998-08-21 Meidensha Corp コンピュータシステム
JPH11232009A (ja) * 1998-02-12 1999-08-27 Casio Comput Co Ltd 補助表示制御装置及び記憶媒体
JP2003140798A (ja) * 2001-11-02 2003-05-16 Casio Comput Co Ltd 表示制御装置およびプログラム

Also Published As

Publication number Publication date
JP2013157024A (ja) 2013-08-15
US20100138779A1 (en) 2010-06-03
WO2007017805A3 (en) 2007-08-09
EP1915677A2 (en) 2008-04-30
CN101238437B (zh) 2013-03-06
WO2007017805A2 (en) 2007-02-15
TW200723061A (en) 2007-06-16
CN101238437A (zh) 2008-08-06
JP5654631B2 (ja) 2015-01-14
US8689135B2 (en) 2014-04-01

Similar Documents

Publication Publication Date Title
JP5654631B2 (ja) インタラクティブシステムとインタフェースシステムを駆動する方法
KR102586990B1 (ko) 멀티-어시스턴트 환경의 특성에 따른 어시스턴트 응답성 규정하기
CN108268235B (zh) 用于语音接口设备的对话感知主动通知
US7024363B1 (en) Methods and apparatus for contingent transfer and execution of spoken language interfaces
WO2016052018A1 (ja) 家電管理システム、家電、リモコン装置、ロボット
KR102621636B1 (ko) 루틴 실행 중에 클라이언트 디바이스간 자동화 어시스턴트 루틴 전송
JP7286772B2 (ja) 選択されたサジェスチョンによる自動アシスタントへのボイス入力の補足
CN113168304A (zh) 有条件地将各种自动助理功能分配给与外围助理控制设备的交互
EP3077921B1 (en) Natural language control of secondary device
JP7250887B2 (ja) IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供
JPWO2016157662A1 (ja) 情報処理装置、制御方法、およびプログラム
CN111263962B (zh) 信息处理设备和信息处理方法
KR20230145553A (ko) 음성 명령 디바이스들에서 지능형 어시스턴트들과 멀티-모달 상호 작용
JP2003526120A (ja) 民生電子機器システムとの対話処理方法
JP6636303B2 (ja) 対話装置、対話機器、対話装置の制御方法、制御プログラム、および記録媒体
WO2017141530A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111862975A (zh) 智能终端控制方法、装置、设备、存储介质和系统
KR20230118164A (ko) 디바이스 또는 어시스턴트-특정 핫워드들의 단일 발언으로의결합
JP2005241971A (ja) プロジェクタシステム、マイク装置、プロジェクタ制御装置およびプロジェクタ
JP2005056170A (ja) 対話型操作支援システム
US9805721B1 (en) Signaling voice-controlled devices
CN113655984A (zh) 音频播放控制方法、音频播放控制装置及计算机存储介质
CN116368562A (zh) 针对自动化助理启用自然对话
EP4198711A1 (en) System and method for time management in voice control applications
WO2021235157A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130418