JP2009157951A - 推論システムおよび推論エンジン - Google Patents

推論システムおよび推論エンジン Download PDF

Info

Publication number
JP2009157951A
JP2009157951A JP2009097499A JP2009097499A JP2009157951A JP 2009157951 A JP2009157951 A JP 2009157951A JP 2009097499 A JP2009097499 A JP 2009097499A JP 2009097499 A JP2009097499 A JP 2009097499A JP 2009157951 A JP2009157951 A JP 2009157951A
Authority
JP
Japan
Prior art keywords
user
event
inference
assistance
software program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009097499A
Other languages
English (en)
Inventor
Eric Horvitz
エリック ホービッツ
John S Breese
ジョン エス ブリーズ
David E Heckerman
デビッド イー ヘッカーマン
Samuel D Hobson
サミュエル ディー ホブソン
David O Hovel
デビット オー ホーベル
Adrian C Klein
アドリアン シー クレイン
Jacobus A Rommelse
ジャコバス エー ロメルス
Gregory L Shaw
グレゴリー エル シャウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2009157951A publication Critical patent/JP2009157951A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99943—Generating database or data structure, e.g. via user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ユーザーの経歴や動作の情報を考慮してユーザーが支援を必要としているかどうか不明な場合に推論を行いこうした推論に基づきユーザーに支援を行う機能を提供する。
【解決手段】インテリジェントユーザーインターフェースシステムは、ユーザーとソフトウェアアプリケーションとの対話を監視し、確率論的推論を適用して特定の機能を使用中または特定のタスクを実行する際にユーザーが支援を必要とする可能性を検出する。さらにこのインテリジェントユーザーインターフェースでは、支援を求めるユーザーからのフリーテキスト質問が入力され、ユーザーの動作及びプログラム状態の推論分析とフリーテキスト質問の推論分析を組み合わせる。推論システムでは、更新可能な豊富なユーザープロファイルシステムにアクセスして常に能力を調べ、ユーザーの能力に応じて提供される支援内容を変更する。
【選択図】図２

Description

本発明はデータ処理におけるエキスパートシステムに関するものである。特に、ソフトウェアシステムまたはアプリケーションの操作上のユーザーのニーズや好みを推論してソフトウェアユーザーを支援したり、コンピュータシステムやソフトウェアの機能を最適化する自動機械推論のためのシステム及び方法に関するものである。
グラフィカルユーザーインターフェース分野における著しい進歩によりパーソナルコンピュータユーザーにとってソフトウェアアプリケーションへのアクセスや生産性は改善されたが、操作性が良くなるにつれより高度な機能への要望が高まっている。初めて複雑なアプリケーションソフトウェアに接した場合、ユーザーインターフェースのメニューやツールバーからアクセスできる機能の数が圧倒的に多く、またそれらの機能が複雑であるため、ユーザーは混乱してしまう。ソフトウェア機能に不慣れなユーザーが、所望の機能の起動方法を見つけようとしてあるメニュー項目から別のメニュー項目へ次々とメニューを切り換えるメニューサーフィンという方法をとることがよくある。ユーザーがアプリケーションソフトウェアでタスクを行う方法を一通りまたは複数通り知っている場合でも、効率的な方法を知らないことがある。タスクを行う方法をユーザーが知っている場合に、タスク自体を行うというよりはむしろシステムに対して、先を見越してユーザーのニーズを判断させたり、あるいは、すぐに必要になるアプリケーションを起動させたり、アプリケーションを終了させたり、離れたところにあるサーバーからファイルまたは情報を前もって取り出させておき要求があった場合にそれらのファイルまたは情報をより効率的に利用できるようにするといったタスクを行わせるか、このようなタスクを行うことを提案させたりすることがある。
ユーザーがソフトウェアで作業を行っている最中に最適な動作またはユーザーに提供する最適な情報を自動的に判断するには、ソフトウェアプログラムと協働し、ユーザーのニーズ、意図あるいは目標をユーザーの経歴や動作から判別する能力を備えた演算的方法を開発する必要がある。こうした方法は、ユーザーのニーズをユーザーの経歴や動作に明確にリンクするモデルを生成して利用することで実現できる。
様々なタスクを行っている人の意図を推論するモデル、これらのモデルに基づいてアドバイスや支援を行うモデルの利用について従来から幾つかの研究がなされている。教育分野でのコンピュータの利用について研究を行っている研究者らは、ユーザーモデルを用いて誤解の原因や最適な生徒教授方法を判断するプログラムの構築を試みている。これらのモデルでは、ユーザーが質問に対して行う回答やその他の試みを調べることができる。１９８０年代のコンピュータ処理戦略構想の対象の一つに、多種多様な入力からパイロットの意図を推論し、戦闘機の操縦や戦闘の際にパイロットに最適な支援を行う方法がある。こうした多くの「パイロット支援」プロジェクトでは、パイロットの意図を推論できるシステムをエンジニアは設計しようとしていた。一般に、選択肢の決定や優先順位の設定には、ルールベースアプローチまたは論理アプローチが使用された。
複雑で時間が肝要な[以下、タイムクリティカルと称す]タスクを監視するといったタスクにおけるユーザーの要求事項を確率論的モデルを利用してモデル化することいった研究も従来から行われている。確率論的依存モデルを情報表示の改良へ利用することについて行われた初期の議論の一部はプロジェクト化され、ユーザーをモデル化して航空機パイロットのモニタに表示する情報を制御する実験が行われた。確率論的推論方法は、パイロットのモニタに表示する情報を制御する手段として検討された。この他に、NASAのミッションコントロールセンタのフライトエンジニアのモニタに表示する最も重要な情報を推論する判断論理方法を利用した研究も行われていた。この方法では、ユーザーの専門的知識レベルや判断に必要なスペースシャトルからの遠隔測定データを考慮し、タイムクリティカル特性及びユーザーの考えや意図について行った確率論的モデルを利用する。その他、様々な交換条件を表示してパイロットに最善の情報と説明を表示する研究も行われている。またさらに、コンピュータオペレーティングシステムのコマンドライン入力システムで作業しているコンピュータユーザーを確率論的モデルを用いて支援する方法を研究している研究者らもいる。
論理ルールや論理ルールに基づく発見的方法を用いて、コンテキストと動作に基づいてユーザーを支援するプロジェクトがある例えば、Microsoft Windowsのオペレーティングシステム用に書かれたアプリケーションで利用可能な、一般的な状況感知型ヘルプ機能には、図形オブジェクトを選択して標準的なヘルプコマンド（例えば、キーボード上のファンクションキー）をクリックしてアクセスする。すると、ツールバーのような図形オブジェクトの機能を説明したヘルプ情報が表示される。その他の例としては、Microsoft Excelの製品に使用されているTipWizardシステムがある。このシステムでは、ユーザーによるイベントの発生順序を継続的に調べ、タスクをもっと効率的に実行できるようユーザーを援助する論理ルールが多数使用されている。Luciwらの米国特許5,390,281に開示されているアップルコンピュータ社の研究では、一連の論理ルールを用いて、あるルールについて設けられている条件の数と特定の状況での条件数を比較する発見的方法を用いてタスクを行うユーザーを支援したり、その結果求められたフラクションをルールで示された動作に関する強さとして解釈している。
ユーザーのゴールやソフトウェアによる援助の必要性の曖昧さを考慮するさらに高度な確率論モデルに関する研究もある。例えば、Microsoft Office製品のアンサーウィザード機能では、ユーザーからのフリーテキスト質問中の単語を解釈するために確率論モデルを使用しているが、これではコンピュータソフトウェアアプリケーションによるユーザー支援に焦点を当てている。この製品では、質問文中に見られる一連の関連語と様々な支援の種類との間の不明確な関連性を確率を用いてモデル化している。この方法は、米国特許084,400,797に開示されている。
しかしながら、プログラムを用いて自立的に検出したユーザーの経歴や動作の情報をはじめとする多数の証拠を考慮してユーザーが支援を必要としているかどうか不明な場合に推論を行う高度な方法は前記従来の方法では用いられておらず、またこうした推論に基づきユーザーに関連する支援を行うようなこともなかった。また、従来のシステムではソフトウェアプログラムとユーザーとの対話を監視して、ユーザーがフリーテキスト質問で直接ヘルプを求める場合にそのフリーテキスト質問中の単語の分析とユーザーの動作およびプログラムコンテキストについて現在行っている分析とを組み合わせるといったことは考慮されていない。
特定の機能を使用中または特定のタスクを実行する際にユーザーが支援を必要とする可能性を自立的に検出し、ユーザーの経歴や動作の情報をはじめとする複数の証拠を考慮して関連する援助を行うインテリジェントユーザー支援機能が望まれている。また、ユーザーがフリーテキスト質問で直接ヘルプを求めてきたらいつでも、フリーテキスト質問中の単語の分析とユーザーの動作とプログラムコンテキストについて現在行っている分析とを組み合わせるインテリジェントユーザー支援機能も望まれている。本発明は、特定の機能を使用中または特定のタスクを実行する際にユーザーが支援を必要とする可能性を自立的に検出し、ユーザーの経歴や動作の情報をはじめとする複数の証拠を考慮して適切な援助を行ういった課題を解決するものである。また、本発明は、ユーザーがフリーテキスト質問で直接ヘルプを求めてきたらいつでも、フリーテキスト質問中の単語の分析とユーザーの動作とプログラムコンテキストについて現在行っている分析とを組み合わせを行うといった課題を解決するものである。さらに、本発明によれば、プログラムにおけるキーデータ構造の状態、図形ユーザーインターフェースと通常の対話を行っている最中にユーザーがマウス制御カーソルで行った一連の入力、支援を求めるフリーテキスト質問に記された単語、注視及びジェスチャー情報といったユーザーの視覚情報、音声情報等の複数部類のイベントを監視し、推論することができる。
本発明は、ソフトウェアプログラムを操作中にユーザーを支援するソフトウェアプログラム用インテリジェントユーザー支援機能を構築する方法を提供するものである。インテリジェントユーザー支援を行うためソフトウェアプログラムの機能を判別する。判別されたプログラム機能に関するインテリジェントユーザー支援作業のための推論モデルが構築される。この推論モデルでは、ユーザーの動作、プログラム状態及び単語等の情報を分析することにより、ユーザーの別の意図、別の目標、あるいは情報の必要性について確率を演算する。特定されたプログラム機能についてのモデル化イベントを定義してインテリジェントユーザー支援を行うために推論モデルが使用できるようにする。モデル化イベントの発生を意味する原子ユーザーインターフェースの対話を判別する。
本発明はまた、低レベルのイベントの組み合わせから高レベルのイベントを発生させることができる総合イベント生成監視システムから構成されている。推論システムと組み合わせることにより、このイベントシステムは、種々の目的のために異なる幾つかのクラスのイベントを監視し、推論することができる。この複数クラスのイベントとしては、プログラム中のキーデータ構造の状態、図形ユーザーインターフェースと通常の対話を行っている最中にユーザーがマウス制御カーソルで行った一連の入力、支援を求めるフリーテキスト質問に記された単語、注視及びジェスチャー情報といったユーザーについての視覚情報、音声情報が挙げられる。また、本発明は、ユーザーとソフトウェアプログラムとの対話を監視し、確率論的推論を適用して特定の機能を使用中または特定のタスクを実行する際にユーザーが支援を必要とするであろうことを検出するシステム及び方法を提供するものである。このシステムでは、ユーザーの動作を継続的に調査し、この結果得られた情報からユーザーのニーズや目標について確率を求める。
実施態様において、ソフトウェアタスクの種々のテキストベースのヘルプトピックまたはデモンストレーションが関連する確率を演算し、ユーザーが支援を得られるようにする。関連するヘルプトピックの確率だけでなく、ユーザーがヘルプを要望する確率をも演算する。この実施態様では、別の形のヘルプをユーザーが必要とする確率を演算し、ヘルプが要求されると演算から求めた情報を用いてリスト内のヘルプトピックの優先順位を決める。ヘルプ要求が無い場合は、ユーザーが支援を求める時期を推論し、演算した申し出の重要性とユーザーが設定した閾値のレベルによっては自立的に支援を申し出る。前記実施態様では、ユーザーがフリーテキスト質問で直接ヘルプを求めたらいつでも、フリーテキスト質問中の単語の分析とユーザーの動作とプログラムコンテキストについて現在行っている分析とを組み合わせる。
本発明は、機能が豊富で更新可能なユーザープロファイルシステムを含む。ヘルプトピックの実施態様においては、推論システムがユーザープロファイルシステムにアクセスしユーザーの能力を継続的に確認し、その能力に基づき行われる支援の内容を変更する。
本発明はまた、特別な時間推論（temporal reasoning）手順からなる注釈付きベイズネットワークを備えた新規の推論システムを含む。あるイベントの発生から時間が経過することに伴う、ユーザーの現在のニーズと目標に対してイベントとの関連性の変化を時間推論機構を用いて考慮する。椎論エンジンは新規で具体的な近似手順を含み、この単一の陽的（explicit）ベイズネットワーク知識ベースを使用しているが、観測を行った過去の時点からの時間的距離にもとづいて可能性情報を変化させる。
また、このシステムでは、ユーザー支援を提供するか否かを判定するために用いる閾値をユーザーが制御して、ユーザー支援により注意がそらされることに関してシステムの動作をユーザーの個人的好みに合わせることができる。最後に、動画キャラクタの形をしたソシアル―ユーザーインターフェース等の複数の図形ユーザーインターフェースと上記方法を統合した。
コンピュータシステムのブロック図である。 ソフトウェアプログラム用インテリジェントユーザー支援機能を構築するためのフローチャートである。 簡易型２変数ベイズネットワークを表す図である。 はインテリジェントユーザー支援機能のブロック図である。 インストール済みアプリケーションプログラムのブロック図である。 インテリジェントユーザー支援機能とともに作用するインストール済みスプレッドシートアプリケーションプログラムのブロック図である。 イベントプロセッサのブロック図である。 モデル化イベントコンポーザーを生成するイベントシステム指定ツールのブロック図である。 ユーザープロファイルシステムのブロック図である。 第９図のユーザープロファイルシステムのイベント状態更新ルーチンのフローチャートである。 第９図のユーザープロファイルシステムのユーザープロファイルアクセスルーチンのフローチャートである。 第９図のユーザープロファイルシステムのカスタムチュートリアルルーチンのフローチャートである。 本発明の推論システムのブロック図である。 本発明のインテリジェントユーザー支援機能を用いてユーザーを支援するソフトウェアプログラム全体における影響関係を示したベイズネットワーク図である。 時間の経過に伴う確率論的依存性を表したベイズネットワークの一部を示す図である。 本発明におけるユーザー情報収集用情報値手順のフローチャートである。 スプレッドシートアプリケーションの例における本発明のインテリジェントユーザー支援機能のスクリーン出力図である。 スプレッドシートアプリケーションの例における本発明のインテリジェントユーザー支援機能のスクリーン出力図である。 スプレッドシートアプリケーションの例における本発明のインテリジェントユーザー支援機能のスクリーン出力図である。 スプレッドシートアプリケーションの例における本発明のインテリジェントユーザー支援機能のスクリーン出力図である。 スプレッドシートアプリケーションの例における本発明のインテリジェントユーザー支援機能のスクリーン出力図である。 スプレッドシートアプリケーションの例における本発明のインテリジェントユーザー支援機能のスクリーン出力図である。 スプレッドシートアプリケーションの実施例における本発明のインテリジェントユーザー支援機能のカスタム化チュートリアルの概要を表すスクリーン出力図である。 本発明のインテリジェントユーザー支援機能用ベイズネットワークの一部を示す図である。 モデル化及びプロファイル化されたスプレッドシートデータ図化用イベントを示すスプレッドシートアプリケーション用ベイズネットワークの一部を示す図である。 スプレッドシートアプリケーションの実施例における、本発明の原理により作られた時間的ダイナミック情報が注釈として付されたベイズネットワークを示す図である。 複数のアプリケーションの設定時に終了支援をするための本発明によるモデルを表すベイズネットワークの一部を示す図である。 複数のアプリケーションの設定時に終了支援をする推論を表すベイズネットワークの一部を示す図である。 複数のアプリケーションの設定時に終了支援をする推論を表すベイズネットワークの一部を示す図である。 複数のアプリケーションの設定時に終了支援をする推論を表すベイズネットワークの一部を示す図である。 インテリジェントユーザー支援機能コントローラの制御モードを表す図である。 ユーザーの動作及びプログラム状態の推論分析とフリーテキスト質問の推論分析を組み合わせるための本発明の方法を示す図である。 本発明の自立支援手順のフロー図である。 スプレッドシートプログラム用インテリジェントユーザー支援を行うソシアルインターフェースを示す図である。 音声認識システムを備えたインテリジェントユーザー支援機能のブロック図であり、推論結果を用いて音声認識の精度を向上させる様子を示した図である。
本発明は、低レベルのイベントの組み合わせから高レベルイベントを生成することができる総合イベント生成監視システムを提供する。推論システムと組み合わせることにより、このイベントシステムは種種の目的のために異なるいくつかの部類のイベントを監視し、推論することができる。この複数部類のイベントとしては、プログラム中のキーデータ構造の状態、図形ユーザーインターフェースと通常の対話を行っている最中にユーザーがマウス制御カーソルで行った一連の入力、支援を求めるフリーテキスト質問に記された単語、注視及びジェスチャー情報といったユーザーの視覚情報、音声情報が挙げられる。また、本発明では、ユーザーの動作の組み合わせから高レベルのイベントを生成する総合イベントプロセッサを急速に展開することができる新規なイベント特定ツールを採用している。
本発明はまた、特別な時間推論手順を含む注釈付きベイズネットワークを備えた新規の推論システムを含む。推論エンジンは新規な特定の近似手順を含み、この手順では単一の陽性ベイズネットワーク知識ベースを使用しているが、観測を行った過去の時点からの時間的距離にもとづいて可能性情報を変化させる。前記知識ベースは時間的ダイナミック情報を有する特別な注釈を含み、また前記推論エンジンは時間の経過に伴う変化を取り扱うための特別な手順を含む。
また本発明は、コンピュータソフトウェアユーザーを支援する最善の方法を判断する確率論的論理推論用インテリジェントユーザー支援機能及び方法を提供するものである。本発明は、ユーザーの動作、プログラム状態、及び単語の情報を分析してユーザーの意図、目標、または情報の必要性について確率を演算する推論モデルを作ることでインテリジェントユーザー支援機能を構築する方法を提供するものである。本発明の実施例において、ユーザーとソフトウェアアプリケーションとの対話を監視し、確率論的推論を適用して特定の機能を使用中または特定のタスクを実行する際にユーザーが支援を必要とするであろうことを検出する。さらに本発明の実施例においては、支援を求めるユーザーからのフリーテキスト質問が入力され、ユーザーの動作及びプログラム状態の推論分析とフリーテキスト質問の推論分析を組み合わせる。また本発明の実施例においては、新規なユーザープロファイルシステムがユーザーの能力に関する情報を格納する。この情報は、最初にユーザーからの入力またはユーザーとの対話から求められ、現在実行中のユーザーの動作の結果に応じて更新される。この持続的なユーザープロファイルにより推論分析時にはユーザーに能力情報が提供され、さらにアプリケーション終了後に指導情報をユーザーについてカスタム化することもできる。
また、本発明の実施例においては、ユーザーが援助を求める時期を推論し、演算した申し出の重要性とユーザーが設定した閾値のレベルによっては自立的に支援を申し出る自動支援推論を行う。ユーザーがフリーテキスト質問で直接ヘルプを求めた場合、フリーテキスト質問中の単語の分析がユーザーの動作について現在行っている分析とを組み合わせられる。
第１図は本発明を実施するのに適したコンピュータシステム１０のブロック図である。第１図に示したコンピュータシステム１０は単なる例示であり、分散型システム、マルチプロセッサシステム、携帯装置などのその他の構成のコンピュータシステムでも本発明を実施できることは当業者にも分かるであろう。前記コンピュータシステム１０は、プロセッサ１２と入出力システム１４で構成されている。入力装置とは例えばカメラ１５、キーボード１６、マウス１８、マイクロフォン２０、ポインタ、その他の入力装置などである。出力装置とは例えば表示スクリーン２２、プリンタ２４、スピーカ２６、その他の出力装置などである。さらにコンピュータ装置１０は、音声システムをマイクロフォン２０及びスピーカ２６とを接続する音声インターフェース２７を具備している。コンピュータ装置１０はさらに、視覚認識追跡システムを、カメラ１５、または赤外線リフレクタまたは３次元超音波センサを備えたその他の専用ヘッドギヤと接続する視覚認識追跡インターフェース２９を具備している。また、コンピュータ装置１０は、コンピュータをローカルエリアネットワークまたはインターネットのようなワイドエリアネットワークであるネットワーク３０と接続するネットワークインターフェース２８を具備している。さらに、アプリケーションプログラムやインテリジェントユーザー支援機能を格納するシステムメモリ３２及び耐久性記憶装置３４をコンピュータ装置１０は具備している。該耐久性記憶装置とはディスケット、CD-ROM、ハードディスクドライブ、ファームウェアなどである。前記コンピュータ装置１０は、オペレーティングシステム３６の他にスプレッドシートアプリケーションプログラム３８、ワードプロセッシングアプリケーションプログラム４０あるいはその他のアプリケーションプログラム４２を備えている。システムバス４４はプロセッサ１２、システムメモリ３２、耐久性記憶装置３４、入出力システム１４を相互に接続する。インテリジェントユーザー支援機能をアプリケーションプログラムに直接組み込んだり、システムライブラリまたはオペレーティングシステムの一部をなす独立機能として構成してもよいことは当業者にも分かるであろう。
インテリジェントユーザー支援機能（IUAF）の概要
複雑な機能にアクセスする際のユーザーインターフェースの問題はソフトウェア操作性の研究で指摘でき、またこうした研究によりユーザーインターフェースを簡略化し、より直感的なものにして機能へのアクセスを図ることができる。しかしながら、ユーザーインターフェースが向上すると、インターフェースを介して表示される機能の数を減らしたりおよび/または全ての機能を簡略化した形でのみ表示しない限りは、不慣れなユーザーの目から数多くの複雑な機能を隠したり、複雑な機能を簡略にするようなことはできない。
ソフトウェアプログラムの操作性研究の副産物として、ユーザーが特定のソフトウェアプログラムの基本的な機能を使用するのが困難であると感じた時に、そのユーザーの動作を判別することができる。本発明は、ユーザーが困難と感じる場合または自動的な動作があればユーザーが恩恵を受けるような場合のユーザーの動作を観測理解することで、特定のソフトウェアプログラム用インテリジェントユーザー支援機能を実現するプロセスを提供するものである。
第２図は、ソフトウェアプログラム用インテリジェントユーザーインターフェースの生成方法を示す図である。プロセスの第１ステップ５０では、ユーザーが困難を感じるかまたは自動支援があればユーザーが恩恵を被るような特定のソフトウェアプログラムの基本的機能を判別し、またユーザーが困難を感じた場合または支援を望んだ場合にユーザーが取った動作を判別する。このステップを実現する一つの方法としては、特定のソフトウェアプログラムの操作性の調査でユーザーが困難な経験をした場合に、ユーザーが取った動作を観測及び記録する方法がある。例えば、スプレッドシートプログラムの操作性を調査している時に、スプレッドシートと対話しているユーザーがスプレッドシートのデータの図形チャート（例えば、バーチャート）を更新するよう頼まれるかもしれない。もし、そのユーザーが作成済みのバーチャートを変化または修正した経験がない場合には、次のような動作を取る可能性がある。最初に、グラフ上までマウスポインターを移動させマウスボタンをダブルクリックしてバーチャートを選択する。次に、いったん操作を中断して、内省あるいは次のステップを検索しながらグラフの所でしばし考え込む。この動作の観測結果は、ユーザーがスプレッドシートのグラフ機能を使用するのが難しいと感じている印として使用できる。
基本的機能を使用するのが難しいことが判別されると、特定された基本機能に関するインテリジェント支援を提供する作業のためのモデルを次のステップ５２で作成する。モデルの１つの種類として、観測可能な証拠、中間変数、及び対象となっている仮説の間の確率論的関係を表すベイズネットワークのような相互依存変数のネットワークがある。ベイズネットワークは非輪型有向グラフであり、このグラフではノードがランダム変数を表し、ノード間を結ぶ弧がランダム変数間の確率論的依存性を表している。ベイズネットワークは一組の変数に関する結合確率分布を表しており、ベイズネットワークで走るベイズ推論アルゴリズムと呼ばれている演算手順が開発されている。これらのアルゴリズムは、状態値の変動を与えられたベイズネットワークにおいて複数の変数状態にわたる確率分布を更新する。状態変動の例は、世界における観測可能な状態を観測した後でその状態を表す変数状態に割り当てらる新規の値である。ベイズネットワークの説明は、「インテリジェントシステムにおける確率論的推論」(Judea Pearl，1 Morgan Kaufmann Publishing Inc.，San Mateo，1988)を参照のこと。
ノードの一部は観測可能な証拠を示す変数であり、他のノードは、対象になっている自動的判断に使用されるであろう仮説が観測不能または観測が困難であることを表す。第３図には単純な２変数ベイズネットワークが示されている。このネットワークは、ユーザーが支援を必要とする状態６８にある場合と複数のメニュー検索の状態６９（すなわち、進歩のない「メニューサーフィン」を行っている状態）にある場合との間の依存性を表している。メニューサーフィンは検出できるが、ユーザーが支援を必要としているかどうかは容易に観測できない。複雑なソフトウェア機能に対するユーザーの苦労をモデル化する場合、証拠ノードは、ある目標へ向けて動作を行っている時またはソフトウェアプログラム機能について困難に直面している時のユーザーの挙動を表す。一方、仮説ノードは、ユーザーのゴール、即ちプログラム機能を用いてタスクを完了させるのに必要な特定の支援を表す。例えば、グラフ生成コマンドを選択した後グラフ生成中にユーザーが一時停止を行う場合、証拠ノード変数はコマンド選択後ユーザーが一時停止を行ったことを表すことになる。また、仮説ノード変数は、グラフ生成コマンド選択後ユーザーが一時停止を行ったと仮定してグラフ生成時にユーザーが支援を必要とするという仮説の確率を表す。ベイズネットワークを用いることは、ユーザーの動作と仮説の間の予測不能な関係をモデル化する一つの方法である。決定ツリーやルールベース推論のようなその他のモデルも使用できることは当業者には分かるであろう。
いずれのモデルの場合も、次のステップ５４では証拠変数とそれに対応するモデル化イベントを定義する。この証拠変数とモデル化イベントは、ユーザーがソフトウェアプログラムの基本的機能を使用しようとするときに経験する様々な苦労あるいは支援の必要性を差別化するもので、これらはユーザーがソフトウェアと対話している時に検出できる。インテリジェント支援機能用ベイズネットワークを構築する上で必要となる主な作業は、観測されるであろう証拠変数の定義付けと、対象となる仮説を表す変数と前記証拠変数との間の確率論的関係を記述することである。こうしたイベントは、複雑な一般的ソフトウェア機能、特に、アプリケーションソフトウェアの複雑な特定ソフトウェア機能を使用する時にユーザーが経験すると思われる様々な困難性や必要性を検出し、区別する上で役に立つものである。
ユーザーがいつどのような支援を必要とするかを特定する上で有用である複数種類の観測として、検索の証拠(例えば、マルチメニューの検索)、内省の証拠(例えば、コマンド入力の突然の一時停止や入力動作が遅くなるような状態)、注目の証拠(例えば、オブジェクトの選択やオブジェクト上での一時停止)、望まざる動作結果の証拠(例えば、コマンド/アンドゥ、ダイアログのオープン後や何もせず取り消す動作)、効率の悪いコマンドシーケンスの証拠、現在作業しているファイルの構造的及び意味的内容の証拠、及び特定のゴールのための一連の動作の証拠などが挙げられる。さらに、プログラム状態およびコンテキスト、ユーザーの能力、ユーザーが再検討した情報履歴などの証拠も有用である。
ベイズネットワークを展開したり観測可能な変数の指定をする場合には、ユーザーの動作を検出するのに利用するインテリジェントユーザー支援機能の特質と定義を考慮することが肝要である。ソフトウェアシステムまたはアプリケーションから利用できる基本イベントを考慮する必要がある。システムによってその発生が検出されるモデル化イベントは観測可能な各変数に対応するようになっている。これらのモデル化イベントは、ソフトウェアプログラムが生成する基本的すなわち原子的イベントの点から定義付けしなくてはならない。
実行時には、ベイズネットワークでモデル化された観測可能な証拠変数に対応するモデル化イベントを推論システムに送り、そこで証拠変数を特定の値に設定する。このインテリジェントユーザー支援機能は、現在同時に発生している複数のモデル化イベントを考察したり、それらのイベントが発生した時点を考察したり、こうした監視情報を利用してベイズネットワークにおける観測変数の状態を更新できる。観測変数の状態とタイミングに関する動的に変動する設定値を備えたベイズネットワークを推論システムで分析し、対象となっている異なる仮説の可能性を更新する。こうして得た確率は、動作やユーザーに提供する表示情報を判断する際に利用される。
ベイズネットワークの証拠変数とそれに関連するモデル化イベントを定義付けするタスクの完了後、次にステップ５６へ進んで各モデル化イベントの発生を表す原子イベントを特定する。モデル化イベントは、ユーザーの動作またはプログラム状態に関連する単一原子イベントの発生によって定義することができ、１つの原子イベントまたは複数からなる一連の原子イベントを表すものであってもよい。例えば、（１）棒グラフをユーザーが選択し、（２）次に１０秒以上グラフの所で考え込んでいるといった二つの原子イベントは、ベイズネットワークの証拠変数に対応する単一モデル化イベントに合成することができる。これらのイベントは組み合わされて一つのモデル化イベント、すなわちSel_Chart_Pauseが生成される。このイベントは、スプレッドシート上でデータを用いてグラフを更新することにユーザーが苦労していることを表している。
ベイズネットワークの変数は二値で２つの状態（例えば、有り、無し）をとってもよいし、あるいは複数の状態をとってもよい。複数の状態をとる場合は、観測に対応するいずれか一つの状態に変数を設定する。観測可能な二値変数を説明しているが、それ以上の値の変数にも本発明の技術を適用できる。モデル化されたイベントを観測し、観測したイベントを推論システムへ送った場合、このイベントに対応する証拠変数を、イベントが発生した時間に「有り」に設定する。ベイズネットワークで確率論的推論を行う場合はいつでも、モデル化イベントで設定可能な全ての変数の状態を考慮する。推論の結果、対象となる仮説変数の変動が認められる。例えば、Sel_Chart_Pauseが発生し、グラフ関連タスクでユーザーが苦労している確率を更新するその他の観測が行われたと仮定すると、スプレッドシート上でデータによりグラフを更新するのに苦労しているとの仮定に割り当てられる確率が増加するであろう。
モデル化イベントのその他の例としては、一組のグラフ関連コマンドのうちいずれか一つのコマンドに続いてアンドゥコマンドを選択するようなユーザーの動作がある。一組のグラフ関連コマンドにおける原子またはモデル化イベントのいずれか一つのイベントが発生し、その後アンドゥコマンドが入力されるような場合は、Chart_Cmd_Undoモデル化イベントとして構成することができる。このモデル化イベントが対応証拠ノードをベイズネット内に設定すると、スプレッドシート上でデータによりグラフを更新するのにユーザーが苦労しているだろうという仮定に割り当てられた確率が増加するのを見ることができるであろう。例えば、上記実施例に続いてモデル化イベントSel_Chart_Pauseの原子イベントとして、（１）棒グラフを選択し、その後（２）休止が予め設定した最低時間（例えば、１０秒）続いた場合、ユーザー動作が中断したことが示される。
原子イベントが直接モデル化イベントとなることもある。例えば、Del_Chartはベイズネットワークの観測変数に対応するモデル化イベントでもあるグラフの削除を表す原子イベントである。
又、モデル化イベントはアプリケーション内のデータ構造の常態についての状況的情報（contextual information）を含む。例えば、Chart_Viewはグラフは現在表示中であることを意味している。これはグラフ化の支援がユーザーに関係がある確率を増加させる。
フリーテキスト質問中に現れる単語も原子イベントである。高レベルのモデル化イベントは、ユーザーの質問に含まれる所定の一組の単語のうち１つの単語が現れることと定義できる。ユーザーが「このグラフの色を変えるにはどうしたらよいのか？」という質問をした場合は、モデル化イベントすなわち質問文中で認識される一組の単語（例えば、この例の場合は一組の単語には「変更」、「変換」、「更新」という語がエレメントとして含まれる）の中の１つの単語が推論システムへ送られる。「色」や「グラフ」といった質問文中のその他の重要な単語も、前回モデル化された同様な単語の組の中にあると認識される場合にモデル化イベントとして検出される。これらのモデル化イベントは、「変換」という単語と同様に分析される。
様々な形でソフトウェアプログラムを使用しても変わることのないモデル化イベントのクラスをプロファイル情報として定義する。これらのモデル化イベントは、ユーザーの能力あるいは能力の欠如を示すとともにユーザープロファイルデータベースに記憶されるイベントを含む。ユーザープロファイルに記憶されるモデル化イベントは、前回ユーザーが特定のアプリケーション機能を使用した時の経験または特定のタスクの実績、あるいは過去の指導教材を再度参照するといったユーザーに関する付加的な情報を提供するものである。これらのイベントは、ベイズネットワークに記され、推論システムで仮説評価の調整に使用される変数に相当する。
その他の種類の原子イベントとしては、ユーザーがコンピュータの前に居るかどうかを近接検出器で検出した情報、注視しているユーザーの焦点、ユーザーの表情あるいはユーザー身振りといったユーザーの視覚的特徴をビデオカメラや視覚認識追跡システムで判別した情報、音声認識システムで検出及び処理するユーザーの発話に関する情報などが挙げられる。
モデル化イベントの各イベント毎に原子イベントとそれらの適当な組み合わせを特定した後、次のステップ５８でソフトウェアプログラム用イベントモニタを構築する。このモニタは、ユーザーインターフェースの動作を調べて推論分析入力用原子イベントを抽出する。こうして構築したイベントモニタをソフトウェアアプリケーションにと一体化し、ステップ６０でこのソフトウェアアプリケーションをインストールしてインテリジェントユーザー支援機能を実現する。イベントモニタはアプリケーションソフトウェアに組み込んでもよいし、システムライブラリやオペレーティングシステムの一部を構成する独立部材として構成してもよいことは当業者には分かるであろう。
インテリジェントユーザー支援機能を完成するため、イベントプロセッサは原子ユーザーインターフェース動作からモデル化イベントを生成する(ステップ６２)。次に、モデルから知識ベースを構築する(ステップ６４)。最後のステップ６６ではモデルから推論エンジンを構築し、モデル化イベントが発生すると知識ベースを用いて必要なユーザー支援を決定する。推論手順を備えたベイズネットワークは知識ベースと推論エンジンを兼ねる。
第４図は上記方法を用いて構成されたインテリジェントユーザー支援機能の実施例の構成部材の機能ブロック図である。インテリジェントユーザー支援機能は、ソフトウェアプログラムと対話しているユーザーの行動やイベントを監視するよう組み込まれたソフトウェアプログラム７２を備えている。イベントプロセッサ７４は行動またはイベントを周期的に精査し、それら行動またはイベントが単独または組み合わせによりベイズネットワークの観測可能変数を表しているかどうかを判断する。推論システム７６ではモデル化イベントを分析してユーザーがどのような支援を必要とするかについて複数の仮説をたて、それらを評価する。こうしたイベントにより、特定のアプリケーションの使用または特定のタスクの遂行においてユーザーが苦労しているという確率が増減する。
また、推論システム７６はユーザープロファイルシステム７８にアクセスして能力を判断し、ユーザーの能力に応じて行われる支援を変化させる。ユーザーの経歴、特定の分野における能力を示す主要なタスクの遂行の成功、ユーザーが前に見たヘルプはユーザープロファイルシステム７８に記憶される変数の一部である。
インテリジェントユーザー支援機能コントローラ７９は制御モード設定に基づいて推論システム７６に推論分析サイクルを開始させる。推論サイクルは、ユーザーがヘルプを求めてきた場合、特別なイベントが一回以上発生した場合に開始するようにしても良く、単純に一定のクロック周期で発生するものでも良く、あるいはこれらのモードの組み合わせでもよい。特別なイベントの発生により、推論サイクルを開始するあるいは一定の周期で推論サイクルが発生するように制御モードを設定されている場合、算出した支援申し出の重要度がユーザーが設定した自律支援閾値を越えた時に推論システム７６は自律的にユーザーにヘルプを表示する。ユーザーがヘルプを求めた時に推論サイクルを開始するよう制御モードが設定されている場合、ユーザーがフリーテキスト質問を行うとユーザーの動作及びプログラムコンテキストの推論分析がフリーテキスト質問中の単語の分析と組み合わされる。
図示されている機能ブロックを個別構成要素で構成したり、あるいは機能ブロックのいくつか又は全てを単一構成要素で構成してもよいことは当業者には分かるであろう。例えば、個別ライブラリを設けて推論システムの機能とイベントプロセッサの機能をこのライブラリにまとめてもよい。このような構成とすることにより、推論システムは前回の質問以後の全ての原子イベントについて周期的にインストールプログラムの照会を行ったり、あるいは最も新しく発生した所定個数のイベントに対してのみ照会を行う。次に、推論システムは特定のソフトウェアプログラムについてのモデル化イベントデータベースにアクセスし、原子イベントの中に推論分析入力用モデル化イベントがあるかどうかを判断する。ユーザーがフリーテキスト質問で直接ヘルプを求めてきた時以外は、ユーザーの動作とプログラムコンテキストについて現在行っている分析だけが含まれるように推論分析を実行することは、当業者には分かるであろう。この場合、ユーザーがフリーテキスト質問で直接ヘルプを求めてきた場合に、フリーテキスト質問中の単語の分析だけが行われるように推論分析を実行してもよい。質問文中の単語やインターフェースの動作のように異なるクラスのモデル化イベントを個別に分析し、異なる分析結果に付与される重み付けを調整する能力と前記個別分析の結果とを組み合わせることができることは当業者には分かるであろう。
インストール済みプログラム
ソフトウェアプログラムまたはライブラリは、オペレーティングシステムプログラムやアプリケーションプログラムを含むインストール済みプログラムである。インストール済みプログラムの例として、アプリケーションプログラムについて説明する。一般的なソフトウェアアプリケーションにはユーザーインターフェースとアプリケーション手順が組み込まれている。キーボードのキーを押したり、マウスのボタンをクリックするなど入力装置を用いてユーザーがソフトウェアアプリケーションと対話すると、こうしたユーザーの動作をオペレーティングシステムがイベントに翻訳し、このイベントはアプリケーションプログラムへ送られる。アプリケーションプログラムのユーザーインターフェースはこうしたイベントを処理し、その処理結果はそれらイベントに応答するための適当なアプリケーション手順へと送られる。特定のアプリケーション用インテリジェントユーザー支援機能のために構成されているイベントモニタは、第５図に示すようにアプリケーションソフトウェアに組み込んでもよい。このような構成の場合、イベントモニタ８４はユーザーインターフェース８２からアプリケーション手順８６へ転送されるイベントを監視するとともにそれらのイベントを呼出インターフェースを介してイベントプロセッサへと転送する。イベントモニタは、システムまたはアプリケーションライブラリの一部を構成する独立構成要素として実現し、アプリケーションプログラムを周期的に呼び出して前回の周期以降の全てのイベントをイベントモニタに送らせるようにしてもよい。あるいは、最も新しく発生した所定数のイベントだけをアプリケーションプログラムが送るように要求することもできる。あるいは、イベントモニタをオペレーティングシステムの一部に組み込んでもよい。この場合、オペレーティングシステムからアプリケーションプログラムへ送られるイベントをイベントモニタが選別し、選別したイベントをイベントプロセッサに送る。
第６図は、ヘルプトピック実施例と同様のインストール済みスプレッドシートアプリケーションプログラムの機能ブロック図である。ユーザーが入力装置を用いてスプレッドシートアプリケーションプログラムと対話すると、オペレーティングシステムはユーザーの動作をイベントに翻訳し、このイベントをスプレッドシートアプリケーションプログラムヘ転送する。例えば、ユーザーがメニュー項目までマウスのポインタを移動し、メニュー項目のところでマウスボタンをクリックする。すると、オペレーティングシステムでは、ユーザーの動作をユーザーがアプリケーションメニューの項目をクリックしたというイベントへ翻訳し、そのイベントをスプレッドシートアプリケーションに送る。イベントはインストールスプレッドシートアプリケーションプログラム９０のユーザーインターフェース９２に入力され、さらに適当なスプレッドシートアプリケーション手順９６へ送られて処理される。インターフェース９２からアプリケーション手順９６へ送られるイベントを監視するスプレッドシートイベントモニタ９４は入力されたイベントを認識し、その複製をイベントプロセッサへと送る。
イベントプロセッサ
イベントプロセッサとは総合監視イベント生成システムであり、低レベルのイベントを組み合わせて高レベルのイベントを作成することができる。このイベントプロセッサには高度な推論能力は不要である。しかしながら、様々な決定論的及び確率論的イベント前処理方法を用いてイベントの任意の捨象（abstraction）や集合体を処理したり、直接可能性として解釈できるものなどの数値情報へ様々な数学的関数を用いて変換することもできることは当業者には分かるであろう。
イベントプロセッサが一組の論理イベントを生成するため、ルールベースまたは確率論的推論エンジンではイベントプロセッサの出力を利用できる。第７図はイベントプロセッサの構成要素を表すブロック図である。インストール済みプログラムのようなイベントソース１００は原子イベント即ちユーザーの入力装置との対話をイベントプロセッサへと転送する。インストール済みプログラムは、イベントプロセッサに対するイベント情報を指定する呼出インターフェースを使用してもよい。これらのイベントが入力されると、各イベントの時刻を記録し、それらのイベントをシステムメモリのようなローカル記憶装置１０２に記憶する。このとき、時刻あるいは先入れ先出しの順番に配列された記録データベースまたは円形有限待ち行列をはじめとする様々な種類の情報記憶データ構造の中のいずれかのデータ構造の形でイベントを記憶する。
モデル化イベントコンポーザー１０４はローカル記憶装置１０２に記憶されている原子イベントを周期的に調べてモデル化イベントに構成可能な１または複数の原子イベントを検索する。通常この検索は、推論システム７４が推論サイクルの始めに開始するのであるが、新規原子イベントが入力された時または特別なトリガーイベントが入力された時などに推論サイクルの合間にモデル化イベントコンポーザー１０４がイベントの生成を行うこともできる。次に、モデル化イベントコンポーザー１０４は、イベント仕様に規定されているイベント生成ルールに従って原子イベントからモデル化イベントを生成する。モデル化イベントデータベース１０８内の原子イベントから作成した各モデル化イベントをモデル化イベントコンポーザー１０４に格納する。
インテリジェントユーザー支援機能を用いているプログラムの各々に対してモデル化イベントデータベースを作成できることは当業者には分かるであろう。例えば、コンピュータシステムに常駐しているインストール済みアプリケーションプログラムの各々についてモデル化データベースを設けることが可能である。さらに、プログラムを立ち上げたり終了するような共通システムあるいはアプリケーションのイベントを含む別個の総合モデル化データベースを追加しても良いことは当業者には分かるであろう。この場合、推論サイクル期間中に、推論システムは総合モデル化イベントデータベースやアクティブプログラムのモデル化イベントデータベースの両方にアクセスできる。
モデル化イベントデータベースの一例において、該データベースのモデル化イベント毎に単一レコードが設けられている。インテリジェントユーザーインターフェース付きプログラムを起動すると、ユーザープロファイルに予め記憶されている永続的イベントを用いてモデル化イベントデータベースを初期化する。コンポーザーがモデル化イベントを生成すると、そのイベントのレコードがモデル化イベントデータベース内で更新される。このモデル化イベントデータベース内のモデル化イベントレコードフォーマットの一例を以下に示す。
Figure 2009157951
発生回数や発生率のカウントに使用するフィールドのうち前回及びカウントのフィールドは、全ての永続的なモデル化イベントについてユーザープロファイルデータベースに記憶されている。プログラムを初期化すると、これらのフィールドはユーザープロファイルデータベースからモデル化イベントデータベース内の対応するモデル化イベントへそれぞれロードされる。
モデル化イベントが関連性を有するのは比較的短時間のあいだである。モデル化イベントが関連性を有する期間をそのイベントの範囲[horizon]と称す。この範囲はイベント毎に異なるもので、ユーザーの動作から生成されるイベントの範囲の大半は６２の範囲が適している。範囲の期間は推論システム７６でモデル化イベントが考慮される範囲を決定する。
デフォルトのシステムまたはアプリケーションの範囲または特定の範囲を各モデル化イベントに割り当てる。モデル化イベントデータベース１０４へアクセスしたり更新する場合、前記範囲時間を越えてモデル化イベントデータベース１０４に常駐しているモデル化イベントは廃棄される。しかしながら、モデル化イベントデータベース１０４からそれらのモデル化イベントを破棄する前に、永続的なモデル化イベントをユーザープロファイルに記録する。一般に推論エンジン７６とユーザープロファイルはイベントシンクとして機能し、モデル化イベントデータベース１０４にアクセスしてモデル化イベントレコードを抽出する。しかしながら、これには例外がある。プログラム初期化の時、ユーザープロファイルに予め格納されている永続的イベントを用いてモデル化イベントデータベース１０４を初期化すると、結果としてプログラムの動作が修正される。
イベントシステム指定ツール
ソフトウェアプログラムのインテリジェントユーザー支援ツールを生成する期間に、イベント指定ツールは特定のアプリケーションプログラム用のモデル化イベントコンポーザーとモデル化イベントデータベースを短時間に作成できる。アプリケーションのようなプログラムにより利用可能となった原子イベント（例えば、１０秒以内に複数のメニューを開き何ら行動を取らない場合やスプレッドシートにカーソルが位置しているような場合）からモデル化イベント（例えば、メニューサーフィン）を構成する言語を開発した。この言語は、原子イベントを高レベルモデル化イベントに生成できるだけでなく、原子イベントを直接モデル化イベントとして利用できる。また、モデル化イベントをさらに組み合わせて他のモデル化イベントを生成することができる。具体的には、前記言語は原子イベントをブール組み合わせで処理したり、ブールイベントを組み合わせて一時性の概念を有する演算子付きモデル化イベントを生成することができる。ベイズユーザーモデルを構築改良しながらモデル化イベントとそれらの定義を生成できるようイベント指定ツールを直接ベイズネットワークモデル化ツールにリンクできる。
第７図はモデル化イベントコンポーザー１０４とモデル化イベントデータベース定義１１８のコード生成に使用されるイベントシステム指定ツール１１０のブロック図である。モデル化イベントを定義するステップで生成された各モデル化イベント定義１１２を用いてイベント言語１１４のイベントを特定する。このイベント言語１１４はイベント言語翻訳プログラム１１６へ入力され、そこで仕様のイベント言語による記述はＣのような高レベル言語コードに翻訳されてモデル化イベントコンポーザー１０４が生成される。また前記イベント言語翻訳プログラムは、モデル化イベントデータベース定義も生成する。またこの処理プロセスの途中では、イベント言語翻訳プログラム１１６がデータベース構造を用いながらシステム中のモデル化イベントデータベース定義１１８から直接モデル化イベントデータベース１０６を生成し、モデル化イベントの状態情報を記憶する。
イベント言語はブール集合演算子から構成されており、連続や中断といった時間的動作も付加されている。イベント指定言語で書かれた個別テキストモジュールにモデル化イベントを定義付けする。しかしながら、モデル化イベントは特別な定義フォームを用いても作成できる。テキスト定義は、モデル化イベント毎に名前付きステートメントブロックとして生成される。この定義には原子イベントのレベルが含まれており、一または複数の原子イベントでの動作を示す。イベント定義言語のモデル化イベント宣言の一般的なフォームは次の通りである。
declare ModeledEventName
｛
<expression list>
｝
Dwell_on_Chartモデル化イベントのモデル化イベント宣言の例は次の通りである。
declare Dwell_on_Chart
｛
（and（Select_Chart，Dwell((5,s))
｝
翻訳プログラムは、イベント定義言語の構文ステートメントをモデル化イベントの名称Dwell_on_Chartへ翻訳し、そのイベント名称をレコードに追加してモデル化イベントデータベースを更新し、全てのレコードフィールドを初期化する。モデル化イベントは他のモデル化イベントからなる複数のイベントを複雑に合成したものであったり、あるいは原子イベントの名称を単に変えたものにすぎないこともある。イベント合成言語は、原子イベント、モデル化イベント、算術演算、論理演算子の論理的な組合わせを伴う挿入式をサポートしている。各基本演算を実行し、その中間結果をイベントとして処理すると同様の特性を備える。
イベント言語は論理的かつ理論的集合演算子や時間及び算術演算子からなる。
演算子は、特定のイベントや一連のイベントに基づいて一般化した定義付けがなされたイベントを定義付けできる。例えば、高レベルイベントはElementのような演算子で抽象化または一般化することで生成できる。
Element({Xi,...Xn})：一連のイベント{Xi,...Xn}のエレメントから抽出されるイベントが発生する。こうした一連のイベントは特定クラスのイベントと定義できる。
時間（temporal）演算子は一定期間の一連のイベントを定義付けできる。時間（temporal）間隔の幅は、ユーザーの動作の回数、時間、又はユーザーの動作と時間の関数として定義可能な時間の測定値として測定できる。例えば、それは、モデル化イベントをScaled_secondsすなわちユーザーの作業速度で秒を変倍して平均的ユーザーよりも作業速度の早いまたは遅いユーザーに時間定数を適合させた時間の測定値を定義するのに有用である。時間演算子を指定する場合、時間間隔の測定値のディメンションは、時間ディメンションｄを値（例えば、コマンドの場合はｃ、秒の場合はｓまた変倍秒の場合はss）
で指定して表示する。有用な時間演算子の一部を以下に示す。
Rate(x,t,d)：ディメンションｄの期間ｔの間に少なくともx個の原子イベントが発生する。
Ensemble_N({xi,...xn},t,d)：ディメンションｄの期間ｔの間に一組のイベント{xi,...xn}のうち少なくともN個のイベントが発生する。
All({xi,...xn},t,d)：ディメンションｄの期間ｔの間に一組のイベント{xi,...xn}の全てのイベントが発生する。
Sequence({xi,...xn},t,d)：一組のイベント{xi,...xn}の中で指定されたイベントは全てディメンションｄの期間ｔの間に発生する。
Tight({xi,...xn},t,d)：一組のイベント{xi,...xn}の中で指定されたイベントは全てディメンションｄの期間ｔの間に発生する。
Dwell(t,d)：ディメンションｄのｔ秒間あるいは変倍ｔ秒のあいだにユーザーが何も行動を起こさない。
さらに、モデル化イベントの発生から経過時間の増加に対するモデル化イベントとベイズネットワーク内のその他の変数との間の確率論的関係の永続性や動特性[dynamics]を定義する変数を指定できる。一般に、イベントとベイズネットワーク内の他の変数との確率論的関係がイベントの発生から経過時間の増加とともにどのように変化するかを記述する時間的関数を提供できる。
すなわち、前記言語は、p(Eito|Hj,tp)、即ち仮説Ｈjが真であることを条件として、過去の時間toで発生したイベントEiの現時点pでの確率は、前回イベントが発生してからの時間tp=theの増加とともに変化する。
時間的動特性を表すのに役立つ特徴とは範囲（horizon）と衰退である： 範囲：イベントが真になった時点t=toを開始点とし、確率論的関係がp(Eito|Hj,tp)のまま変化しない時間的期間。現時点tpと最も最近イベントが発生した時点toとの差分が範囲以内であれば確率論的関係は変化しない。
動特性：範囲に達した後のp(Eito|Hj,tp)とp(Eito|not(Hj),tp)を記述する時間依存関数。動特性は、これらの確率の割合で定義される可能性比（likelihood ratio）の変化の記述によって要約できる。この関数は、イベントが真になった時点が現時点tpから徐々に離れるにつれて初期の確率p(Eito|Hj,tp)とp(Eito|not(Hj),tp)がどのように変化するかを表す。これらの確率はある時点でp(not(Ei)|Hj,tp)とp(not(Ei)|not(Hj),tp)に収束し、またtp=toの時点の初期可能性比は後者の確率の比に収束する。したがって、前記関数は、確率または可能性比をtp=toの時点の初期可能性比からイベントが存在しない場合の可能性比へと減少させるものと評価できる。
確率は、（ｔ＿０の時点における）初期確率と、発見がないことに関連する確率と、現時点ｔpの時間とを引数として扱い、常にこれらの確率の整合性を確保する関数として演算できる。すなわち、
p(Eito|Hj,tp)=f[p(Eito|Hj,tp),p(not(Ei)|Hj,tp)tp]
また、
p(Eito|not(Hj),tp)=f[p(Eito|not(Hj),tp),p(not(Ei)|not(Hj),tp)tp]
モデル化イベントの定義化に使用する演算子は、結果として発生するモデル化イベントの持続期間情報に影響を及ぼすであろう。論理積を求めると最も新しい従属イベント発生時間が記憶され、論理和を求めると最初の真の従属イベントの時間が記憶される。
モデル化イベントの中間結果のValueフィールドは、前記式の結果の通りに設定される。算術比較は全て１（論理TRUE）か０（論理FALSE）のいずれかの結果をとる。算術演算の引数がイベントの場合、イベントが発生すればその引数は１と評価され、一方イベントが発生しない場合は０と評価される。単純な数字に関連するタイムスタンプを、現在のスパンに設定する。つまり、開始時刻は前回のサイクルの時間であり、終了時刻は現在の時間である。
構文は回帰を許諾するため、無限回帰が発生しないように注意しなくてはならない。これらのステートメントは、イベント指定モジュールとして知られているテキストファイルに入れられる。
次に、イベント定義言語翻訳プログラム１１６はイベント指定モジュール１１４を処理する。イベント定義言語翻訳プログラム１１６はイベント指定モジュール１１４をＣ＋＋コードへ変換し、このコードはさらに機械言語にコンパイルされてイベントプロセッサシステムライブラリ、インテリジェントユーザー支援機能ライブラリ、オペレーティングシステムライブラリ、あるいはその他の実装ライブラリへ直接リンクされる。高レベルイベントの仕様を翻訳した結果がモデル化イベントコンポーザー１０４であり、このコンポーザーがモデル化イベントを生成する。推論サイクル中にモデル化イベントコンポーザー１０４が呼び出された場合、このコンポーザーは現在有効な一組のモデル化イベントを生成した後、呼び出したプログラムへと処理を戻す。すると、それらのモデル化イベントの組が示す適当な動作を推論コードが実行する。
ユーザープロファイルシステム
推論システム７６はユーザープロファイルシステム７８にアクセスしてユーザーの能力をチェックし、その能力に基づいて行われる支援を変化させる。ユーザーの経歴、正しいキー操作、特定分野における能力を表すタスク、前回ユーザーが参照したヘルプなどは変数として持続ファイルに記憶され時間とともに更新される。こうしたユーザーの経歴、経験、能力に関する持続的情報を「プロファイル情報」と称す。
第９図はユーザープロファイルシステム７８のブロック図である。このユーザープロファイルシステム７８は、ユーザープロファイルデータベース１２０、ユーザープロファイルアクセスルーチン１２２、イベント状態更新ルーチン１２４、経歴能力ダイアログルーチン１２６、カスタム指導ルーチン１２８から構成されている。
ユーザープロファイルデータベース１２０には、モデル化イベントデータベース１０６内のレコードとフォーマットが同じレコードがもうけられており、モデル化イベントデータベースレコードとユーザープロファイルデータベースレコードのフォーマットは共通している。このように共通のフォーマットを用いているため、モデル化イベントでユーザープロファイルデータベースを更新する場合も、推論分析のため推論エンジンがこれらのデータベースにアクセスしてレコードを解釈する場合にも都合がよい。ユーザープロファイルデータベースレコードは持続的に記憶されているため、特定のソフトウェアアプリケーションにおける特定のユーザーの能力の履歴レコードが作成される。こうしたデータベースをユーザー単位及びアプリケーション単位に保存する。ユーザーの能力を表す持続的に記憶されるモデル化イベントの例としては、あるタスクを完了したかどうか、特定機能を正しく使用できるかどうか、過去に支援を受けたかあるいはヘルプ情報を参照したかといったものを挙げることができる。
第１０図は、特定のアプリケーションプログラムと対話するユーザーのイベント状態によってユーザープロファイルデータベース１２０が更新される様子を示したフローチャートである。ステップ１３０において、イベント状態更新ルーチン１２４はモデル化イベントデータベース内の第一モデル化イベントレコードを検索する。ステップ１３２では、そのレコードが持続レコードとして記録されているかどうかを判断する。持続レコードとして記録されている場合、ステップ１３４でそのレコードをユーザープロファイルデータベースに追加する。一方、持続レコードとして記録されていない場合は、ユーザープロファイルデータベースには追加しない。モデル化イベントレコードデータベース内においてそのレコードに続く各レコードを順次取り出し(ステップ１３６，１３８)、そのレコードが持続レコードしてい記録されているかどうかを確認し(ステップ１３２)、持続レコードとして記録されている場合はユーザープロファイルデータベースに追加する(ステップ１３４)。
「持続的イベント」の情報を備えた標準的な内蔵式ユーザープロファイルが利用できるため、ローカルエリアネットワークやインターネットなどのどの場所にユーザーがいても、ユーザーを追従してユーザーソフトウェアをカスタム化できる。ソフトウェアアプリケーションが有効な状態では、新規ユーザーがシステムに接続してそのソフトウェアアプリケーションを利用することもできる。第１１図は、新規ユーザーがシステムまたはアプリケーションに接続した場合のユーザープロファイルへのアクセスの様子を示したフローチャートである。ユーザーがシステムまたはアプリケーションに接続すると(ステップ１４０)、ユーザープロファイルアクセスルーチン１２２はそのユーザーのプロファイルをローカルユーザープロファイルデータベースから探し出す(ステップ１４１)。プロファイルが見つかった場合は、そのユーザープロファイルへのパスを推論システム７６に渡す(ステップ１４２)。一方、もしユーザーが遠隔地でアプリケーションを使用しているためそのユーザーのプロファイルが発見できない場合は、ユーザープロファイルアクセスルーチンは利用可能なネットワークを介してユーザーのプロファイルを格納している別のユーザープロファイルデータベースを検索する(ステップ１４３)。ユーザープロファイルデータベースが見つからない場合またはアクセスしたユーザープロファイルデータベースにそのユーザーのプロファイルがなかった場合は、ユーザープロファイルアクセスルーテンはユーザーに対してユーザー能力ダイアログへ入る許可を求め(ステップ１４４)、そのユーザーのプロファイルを作成する(ステップ１４５)。このユーザープロファイルへのパスを推論システム７６へ渡す(ステップ１４２)。もしダイアログが完了していない場合は、デフォルトプロファイル情報へのパスを推論システム７６に渡して(ステップ１４６)、そのパスを使用する。
リアルタイム推論中は持続性ユーザープロファイルを保持するのに加え、閾値を越える一または複数のセッション中にユーザーの支援要求の繰り返しパターンを継続的にバックグラウンド分析することにより、そのプログラムについてのセッションの終わりにユーザーに提供されるヘルプ情報のチュートリアルをカスタム化してもよい。第２２図は、カスタム化したチュートリアルを発生するためのルーチンのフローチャートである。特定のアプリケーションプログラムについてのセッション中に、推論システム７６は関連する確率閾値を越えるヘルプトピックの度数分布を記録する(ステップ１５０)。ユーザーがアプリケーションプログラムについてのセッションの終了を要求すると、ユーザープロファイルはその度数分布図を格納し(ステップ１５２)、度数分布に記録されているヘルプトピックに関する、カスタム化したヘルプ情報のチュートリアルを準備する(ステップ１５４)。アプリケーションプログラムが終了されると、オンラインでの参照またはマニュアルとしての印字出力ができるようカスタム化したチュートリアルの準備ができたことをユーザープロファイルシステムはユーザーに通知する(ステップ１５６)。
推論システム
推論分析サイクルが開始されると、推論システム７６はモデル化イベントデータベース１０６にアクセスし、前回の推論サイクル以降に発生した各モデル化イベントについてのモデル化イベントレコードを抽出する。推論システムの機能ブロック図を第１３図に示す。推論システム７６は一または複数の知識ベース１６０と推論エンジン１６５からなる。知識ベース１６０は、ユーザーの動作や単語といった観測可能な世界の状態を表す変数の情報や、直接的には観測されないか、又は観測することがコスト的にむずかしい、ユーザーのゴールや支援に対するニーズについての仮説を表す変数の情報等から構成されている。例えば、ユーザーのゴールは必ずしも直接調べることはできないが、コンピュータのコマンド列は記録することができる。ユーザーのゴールを積極的に質問することは可能だが、そのような質問はユーザーの気を散らす原因になるかもしれない。
相互に関連のある一連の論理ルールからなる決定的知識ベースは、観測結果と隠れた仮説とを結びつけることができる。しかしながら、観測結果とユーザーのニーズに関する仮説の可能性との間の不明確な関係を確率として処理するほうがより好ましい場合もある。例えば、人間の生理機能のように複雑なシステムの動きを理解したり予測しようとする場合、通常システムの全ての構成要素を決定的関係を用いて完全にモデル化し、決定的モデルにアクセスして一連の症状をもとに診断や治療を行うことは不可能である。複雑なシステムの診断や判断の場合、不確かな状態で推論を立てたり、理解が不完全であることを明確に取り扱わざるをえない場合がある。重要と思われる観測可能な変数や隠れ変数の一連の関係の知識さえあれば、確率により複雑なシステムの動作を診断したり予測できる。確率論的手法を用いれば、患者の症状といった観測結果と患者の疾患といった変数との間で不確実で強弱のある依存性を表したり推論したりできる。複雑なシステムの好適な例としては、コンピュータソフトウェアアプリケーションまたはシステムと対話しながらユーザーがタスクを行おうとするような場合が挙げられる。ユーザーのゴールや意図とその動作とをリンクさせるような決定的モデルを作成するのは大変困難である。ユーザーのニーズを診断する最善の方法は、様々な種類のユーザーのゴールと動作の関係を理解し、それに基づいて適切な抽象概念（abstraction）を展開し、それらの関係を確率を用いて表わすとともに推論することである。確率論的方法を用いれば、ユーザーとその動作の理解が不完全であるいう観点からみて妥当と思えるような抽象レベルのモデルを作成することができる。
一または複数のユーザーの動作のように観測可能な情報があれば、ベイズネットワークまたは影響図（influence diagram）と呼ばれているベイズネットワークを一般化したものを用いてユーザーのゴール、意図、ニーズといった重要だが隠れている状態やユーザーの動作などの特定または不確定の関係を表すことができる。ベイズネットワークは非輪型有向グラフであり、このグラフではノードがランダム変数を表し、ノード間を結ぶ弧がランダム変数間の確率論的依存性を表している。ベイズネットワークの変数は確率変数または決定的変数である。ベイズネットワークはその一連の変数の結合確率分布を表している。確率変数値全体の確率分布は、ノードの親にあたる直接の祖先すなわち親変数の値によって異なる。決定的変数の値はすぐ前の決定的関数に相当する。影響図とは、ベイズネットワークを一般化したもので、予想される動作や結果の有用性を表す追加ノードを示す。
推論エンジン１６５は、知識ベース１６０で動作する推論手順１６６を含む。また、知識ベース１６０はベイズネットワーク１６２を含む。知識ベースは、推論エンジンの推論手順のような論理連鎖手順を備えた決定的知識ベースでもよいことは当業者には分かるであろう。あるいは、前記知識ベースは推論エンジンの推論手順のようなベイズネットワークで実行される推論手順を備えたベイズ影響図でもよい。また、時間推論手順１６７と情報値手順１６８は推論エンジン１６５の一部に組み込まれている。さらに、その他の専用手順も組み込まれている。
観測可能な状態、証拠または変数を観測結果にもとづいて特定の状態に設定する場合、ベイズ推論手順がベイズネットワークで実行されてネットワークの変数の値全体にわたって一定な事後確率分布が演算される。無観測仮説Ｈl...Ｈm全体の確率分布を対象とし、観測結果やプロファイル情報El...Emにアクセスすると仮定する。観測結果をP<H|El...En>と記述すると、ベイズネットワーク推論アルゴリズムによりＨ全体の確率分布が演算される。影響図については、決定理論的推論を行って他の動作の期待有用性を判別する。期待有用性が最も高い動作が最善の動作である。
一般に、インテリジェントユーザー支援機能の推論設計作業は、決定理論すなわち不確実な値を反映した確率理論の延長の視点で行うのが最もよい。影響図を用いることにより、不確実性、動作、動作の結果、それら結果の値についての基本的関係を表すことができる。こうして表すことは、インテリジェントユーザー支援システムの設計、理解、そして多くの場合実際に用いる上で役立つ。しかしながら、決定、結果、その有用性を明確に表現することなく簡単なシステムを構築し、確率論的関係を表すベイズネットワークを用いるかわりに、確率論的推論を手順制御や閾値と組み合わせをより複雑な影響図モデルに近似するものとして用いる場合もある。
第１４図は、ユーザーのモデル化やソフトウェアユーザーの支援動作に関する一般的な影響図を知識ベースのようにベイズ影響図の例として図示している。図示されているように、ユーザーの経歴１７０は、ソフトウェア使用時のユーザーの全体的な目標１７１や知識１７２に不確実な影響を与える。ユーザーの知識１７２はユーザーが前回参照したヘルプ１７３にも影響される。ユーザーの経歴１７０と前回のヘルプ１７３は、持続ファイルに記憶され、時間とともに更新される変数である。ユーザーの経歴、経験、能力に関するこうした持続的な情報を「プロファイル情報」と称す。影響図に示されているように、ユーザーのゴール１７１と知識１７２は、次にユーザーの情報ニーズ１７４にも不確実な影響を与える。同様に、目標１７１とニーズ１７４は、検出動作１７５やソフトウェアあるいはソフトウェアのヘルプシステムへの質問１７６に使用する単語にも影響を及ぼす。ユーザーのユーティリティー機能１７７は菱形で表す。このユーティリティー１７７は、ユーザーの情報ニーズ１７４、自律的動作１７８に伴う不利益（cost）(例えば、現在のユーザーの注意をそぐなど)、ユーザの動作などによる影響を直接受ける。システムでは、アドバイスまたはヘルプ１７９の提供、様々な種類のソフトウェア処理１８０の実行、前回観測されなかった追加情報１８１をシステムまたは直接ユーザーから入手する等さまざまなクラスの動作が利用できる。第１４図に示すように、支援による不利益の変数１７８についてのスケールにより、支援に伴う不利益をユーザーが直接変化させてシステムの自立性の程度を流動的に制御するのが望ましい。
推論システムの全体目標は、ユーザーのニーズと自立的動作に伴う不利益が与えられると、ユーザーが期待するユーティリティーを最適化する動作を判別することにある。ユーザーの経歴や動作に関する一連の証拠Eが与えられると、対象になっているユーザーのニーズHの仮説全体の確率分布を演算する。第１４図に示すベイズ影響図の場合、ユーザーの支援に対しての全体についての確率分布を演算する。可能な全ての動作Aの期待値を考慮しなくてはならない。このため、ユーティリティーモデル（菱形ノード）が示す結果全体のユーティリティーを考慮する。ユーティリティーモデルには結果の値またはユーティリティーに関する情報が含まれている。結果（A,H）は、ユーザーの動作Aと実際のユーザーのニーズHの状態からなる２ビットバイトの情報と定義する。ユーティリティーモデルは、各結果u(A,H)に対応するユーティリティーを知らせる。最善の動作A*とは不確実ながらも期待ユーティリティーを最大化する動作のことであり、以下のように求められる。
Figure 2009157951
影響図は動作の明確なモデルを示しているが、ベイズネットワークの方がより簡単に構築でき、判断と動作に利用できることも多い。この場合、動作の好みを表す状態をはじめとする様々な状態に割り当てた確信の程度にもとづいて、動作を行うべき時期を示すために、ネットワーク変数全体の確率に関する閾値またはルールを用いることによって行われる。第１４図に示す影響図のような図を用いれば、ベイズネットワークに使用している近似値を明確にできる。
時間推論と動特性
推論システム７６は、知識ベース１６０内に設けられている特別時間推論知識１６４と、さらに過去の時点で観測を行った場合にモデル内の他の変数に対する観測結果の関係の変化を推論する手順１６７とから構成されている。一般に、ベイズ手順や知識ベースを経時的観測パターンの推論に適用するには、同一時間で及び異なる時間における変数とそれらの相互依存を考慮する必要がある。別々の時間に変数や依存性の複製を含むベイズネットワークを構築して推論を行うと、複雑な演算推論問題が発生したり、プログラムと対話しているユーザーへの応答時間が許容範囲を越えてしまうといった問題が生じてしまう。このように、いくつかの近似は価値があるものである。ある種の近似値では、最も重要であると考えられる特定の依存性のみを経時的に考慮する。
別々の時間における一連の変数と確率論的依存性を備えたベイズネットワークの一部を第１５図に示す。第１５図のベイズネットワークは、別々の時点での確率変数や、同一時における変数の確率論的依存性、別々の時点での変数の確率論的依存性を明確に示している。依存性のない変数は独立していると推定される。
現時点でユーザーに提供される一次の関連する支援が、前回あるいは次回ユーザーに提供される最も関連する支援に影響を及ぼす可能性を図示している。さらに、この図では過去と未来での観測を伴う現時点での観測（EiとEj）状態の間の依存可能性を強調している。また、現時点での一次の関連する支援と過去の観測結果との関係も図示されている。一般に、このように互いに接続された複数のネットワークはモデルの生成中に解決したり評価するのが困難である。
次に、解決と評価が容易な、経時的支援の推論方法について説明する。この方法では、独立という想定をさらに付加し、現在の目標または支援の必要性と観測結果との確率論的関係の強度を定めるパラメータ化関数を用いて、次第に遡る過去の証拠と対象となる仮説との間の関連性を表す。実施例で近似値を使用する場合には単一陽的（explicit）ベイズネットワークに使用するが、経時的に複数の陰的ベイズネットワークに使用することもできる。この方法では、ベイズネットワーク内の観測変数とその他の変数との確率論的関係の動特性を適切に規定する関数をモデリング時に直接評価できるという利点がある。モデリング時には観測変数Ei毎に範囲と動特性を評価し、変数にその情報の注釈が付される。実行時に範囲と動特性について前記情報を使用する手順１６７が推論エンジン１６５には設けられている。イベントの範囲には時間幅があり、仮説Ｈjとの確率論的関係はなにも変化せずp<Ei,to|Hj,to>とp<Ei,to|not(Hj),to>のままである。前述のように、動特性は現時点における時間依存的確率の変化である。
イベントの範囲を定義する発見的方法では、特に指示がない限りはシステムが考慮する観測可能な全てのイベントのデフォルトの範囲と、有限長のイベント待ち行列ｋを使用する。但し、分析で用いるのは最後のモデル化イベントｋのみである。このアプローチは上に述べた動特性を組み合わせることができる。
情報の価値
推論エンジン１６５には、ユーザーから情報を得ることについての予測される価値を演算する情報予測価値(EVI)手順１６８も備えている。このEVI手順や確率論的モデルに利用可能な情報理論的近似値は決定理論の分野の当業者には周知のことであろう。EVIはまだ観測されていない変数の情報を得ることについての予測される価値を算出する手段である。この情報は、目標やニーズについてコンピュータシステムが行った質問に対するユーザーからの回答で構成されている。情報の純価値（NEVI）とは、情報収集に要した損失をも含めた、情報を収集することについての純価値である。情報のもつ利益がその収集に伴う損失を越えた場合にはじめて推論システム７６は質問を行ったり、自立的に情報を収集する。Exが前回観測されなかったが質問可能な変数であり、OkがExの観測可能な値、Aは変数の評価時に観測されると思われる値と仮定した場合に、各変数のNEVIは以下のように定義できる。
Figure 2009157951
ここでC(Ex)は証拠Exの評価時の損失である。EVIは影響図に直接適用できる。エントロピー演算にもとづくアルゴリズムをはじめとする周知な情報理論的アルゴリズムがあるが、これらのアルゴリズムはベイズネットワークのような確率論的モデルで情報収集する際の判断では同じように機能する。通常、これらのアルゴリズムは影響図でNEVIを演算するよりも追随しやすい。このアルゴリズムでは明示的にユーティリティーを操作することはない。にもかかわらず、情報のコストと情報の価値の測定値との均衡をはかる発見的手法と一緒に使用することが可能である。
第１６図は情報価値コンポーネントにおける情報価値手順のフローチャートである。情報価値コンポーネントは、前回観測されなかった情報の全てを代替情報として価値の順に列挙し(ステップ１９０)、情報収集の利益と情報の収集によりユーザーの注意をそぐといった不利益とを比較する(ステップ１９２)。ユーザーが設定した不利益を利益が上回った場合は、最も値の高い情報をユーザーに提供するようIUAFが要求する(ステップ１９４)。ユーザーからの回答があると、情報収集の利益を不利益が上回るかユーザーからの回答がなくなるまで情報価値コンポーネントは最初の２つのステップを繰り返し実行する(ステップ１９６)。
IUAFのスクリーン出力の例
第１７から２３図は、スプレッドシートアプリケーションの場合のインテリジェントユーザー支援機能のスクリーン出力を図示したものである。このシステムにはユーザープロファイルやユーザー指定閾値情報を考慮し、単語とユーザーの動作を組み合わせてユーザーにインテリジェント支援を提供する。また、このシステムは支援要求に応えたり自立的に支援を行うことができる。第１７図の支援インターフェース２００はユーザーが明示的にヘルプを要求したときに発生される。ユーザーに役立つと思われる支援項目は左上隅のリストボックス２０１に表示される。左下隅の現在のシステム設定を示すボックス２０２の表示にはユーザーが熟練者であると記るされている。この情報はユーザープロファイルシステムから提供されたものである。また、現在のシステム設定を示すボックス２０２には、推論分析サイクルで推論エンジンがユーザーの動作とフリーテキスト質問の両方を使用していることも表示されている。休みながらテキストレイアウトと対話し、ヘルプを要求する直前まで行や列を変えていたことを示す最近の動作とプロファイル情報とが与えられると、システムはフォント、上級フォーマットガイド、スプレッドシート文書のサイズ変更方法などの情報を提供するのが最善であると判断する。このスクリーン出力図の右側には推論グラフ２０３が図示されている。このグラフは推論システム７６が生成した一連のタスク領域全体にわたっての確率分布を示している。本来、この表示はエンジニアリングの目的で作成されたものではあるが、ユーザーに表示してもよい。各タスク領域の隣に記されている棒グラフはその領域の確率を表している。値が高い２つの確率領域（棒グラフが長い領域）が、フォント作業と上級フォーマットガイドのトピックについての作業のタスクについてのものである。
第１８図ではプロファイル情報が初心者用プロファイルに変更されている。現在のシステム設定を示すボックス２０２の習熟度の項目にはユーザーが初心者レベルであることが表示されている。その他の処理イベントはそのままである。初心者用プロファイルが使用された。プロファイル情報を用いてベイズネットワーク内の確率論的関係を修正する。関連する支援全体の確率分布を表示する推論グラフ２０３は、プロファイル情報に応じて変更された確率分布を示している。最良推測リストボックス２０１からも分かるように、このシステムはスプレッドシートの行列処理、位置合わせの変更、グラフの基本的書式設定といった基本的作業に関する支援を提供するのが最善であると判断している。
第１９図はユーザーの上記と同様の一連の動作を分析したものであるが、この分析ではユーザーの質問文の単語が考慮されている。ユーザーは、例えば「これの見栄えをよくするにはどうしたらよいか」といったようにシステムに対する質問事項を通常の文章の形で質問入力ボックス２０４に入力する。この質問の単語とユーザーの動作を組み合わせながら分析して推論表示２０３に示すような新しい確率分布を作成するとともにそれに対応する新しい推薦トピックを最良推測リストボックス２０１内に一覧表示する。このリストは、自動書式設定支援が、最も関連性の高い支援として推薦されているものとして再ソートされ更新されるが、リストにはいぜんとして位置合わせの変更、輸郭、フォントといったその他の書式設定トピックも含まれている。
第２０図は文書のグラフを処理中にグラフコマンドの入力が中断しその後再度ヘルプを要求した時のプログラムを図示している。推論グラフ２０３には推論システム７６が算出した確率分布が表示されている。ここで、最良推測リストボックス２０１の推薦トピックは、主に情報図表化の分野で可能性の高い領域に関するものである。第２１図には質問入力ボックス２０４に質問文の形で入力された追加情報が示されている。ユーザーが通常の文章で入力した質問文は「別のアプリケーションからデータにアクセスする必要がある」というものである。これらの単語は現在のイベントと一緒に分析される。推論システム７６は推論グラフ２０３に修正した確率分布と表示し、また最良推測リストボックス２０１には修正した推薦トピックのリストが表示される。この結果、主にデータベースからのデータの取り出しとグラフに表示するデータを主とするものである。
第２２図は、推論システム７６がユーザーに自立的にヘルプを提供する場合のスクリーン出力である。スプレッドシートプログラム２０５とユーザーが対話している時は、ユーザーが支援を必要とする確率を支援監視エージェントが算出し、ユーザーが支援を要求する時に別の種類のヘルプを提供する確率を推論システム７６では算出している。支援監視エージェントは、ユーザーが支援を必要とする確率の推論結果を支援監視エージェントウィンドウ２０６に表示する。上述の推論グラフ２０３と同様に、支援監視エージェントウィンドウ２０６はエンジニアリング用に作成されたものだがユーザーに表示してもよい。スプレッドシートプログラム２０５と対話していたユーザーは、次にシート全体を選択して作業を一時中断する。支援監視エージェントウィンドウ２０６に示すように、ユーザーが支援を必要とする確率の演算値は２６％から８９％へと上昇し、ついには閾値に達する。すると、小さな時限ウィンドウすなわち自律支援ウィンドウ２０７が自立的に提供され、演算の結果最も可能性が高いと判断された領域のトピックが表示される。この場合、最も可能性が高いトピックとは、セルの書式設定、スペルチェック、演算処理、文書全体の分析または修正に関わるトピックなどである。
自律支援ウィンドウ２０７は控えめにヘルプを表示する。この時、ユーザーは閾値をリセットして自律支援ウィンドウ２０７の表示前にヘルプを必要とする可能性に関する確率を増減するこもできる。ユーザーが自律支援ウィンドウ２０７と対話する前にタイムアウトになった場合は、ユーザーの邪魔をしたことを謝罪した後にウィンドウを閉じる。
第２３図のディスプレイ２０８には、ソフトウェアプログラムと対話を続けていくうちにユーザーが遭遇した問題について行ったバックグランド推論の記録または概要をもとにしてユーザーに役立つと判断されたトピックを表示する。この中には、ユーザーの経歴、能力、過去に受けるか参照した支援についてのプロファイル情報も含まれている。これらのトピックを印字出力すれば、特注のマニュアルとなり後々の参考にできる。
時間推論注釈付きベイズネットワーク
第２４図はユーザーとその最近の動作に関するプロファイル情報の関数として他形式の支援が行われる確率を算出するベイズネットワークの例である。様々な種類の観測やタスク固有の支援ニーズなどについて上記ネットワークを繰り返し用いることができることが分かるように、複数のノードに変数ｘ、ｙ、ｚ、Aを使用した。
このモデルでは、二つの異なるソフトウェア機能領域ｘ、ｙにおけるユーザーの能力状態にそれぞれユーザー能力x210とユーザー能力y210の変数を付している。ユーザーの各能力は変数の影響を受けるが、その変数とは（１）観測されたユーザー特有の動作、（２）ユーザーが過去に参照したヘルプトピックの履歴、（３）不明確またはユーザーとの対話で設定されたユーザーの経歴２１２全体を表すものである。ベイズネットワークでは、一次支援必要変数２１３の状態が表すようなユーザーに関連する別の支援に関する過去の確率は、ユーザーの能力に直接影響される。この変数２１３は、例えば現在のバージョンのアプリケーションに特定のデータ構造が存在していたといったプログラム状態の情報を表すコンテキスト変数２１４にも影響される。このモデルでは、単一一次支援変数や別の形の支援を表す状態などを用いて問題を明確に表現できる。このモデルは、特定の時間にユーザーが必要とするのは一状態の一次支援だけであるという仮定にもとづいている。複数の支援変数を用いれば、複数種類の支援全てが同時に適切であるといった概念を表すこともできる。
ベイズネットワークに示すように一次支援必要ノード２１３は、図形オブジェクトＺを選択した後所定期間作業が中断する（Sel Z Pause 215）やオブジェクトを修正した後にアンドゥを行う（Z Cmd Undo 216）といった一連のモデル化イベントが観測された場合にそれらのイベントに影響を与える。実行時には、これらのモデル化イベントは検出されたあとイベントプロセッサ７４により推論システム７６へ送られる。これらのモデル化イベントに対応する観測可能な変数を更新し、ベイズ推論を行って一次支援必要変数２１３をはじめとするシステム内の非観測変数の全体の確率を更新する。イベントの時刻は記録する。イベント発生から時間が経過すると、時間推論手順１６７を実行してネットワーク内の確率論的関係を更新する。
第２５図は、Microsoft Excelのようなスプレッドシートからの情報をグラフ化することに関しての、ユーザーの動作とプロファイル情報との関係の推論に関連する区別を有する変数ｘ、ｙ付きノードを例示したものである。プロファイルに記憶され持続的な変数には近接してＰの符号を付けられている。モデル化イベントとして観測される変数にはＭの符号を付けられている。一以上のノードは図表作成に関する様々な種類の能力を表している。この場合、単一変数であるユーザー能力図表作成２２０は、ユーザーの図表作成能力の全体的なレベルに関する情報を含む変数として表示されている。この変数の状態の全体の確率分布には、Ｈｘヘルプ図表作成２２１、Ｈｘ活動図表作成２２２、ユーザー経歴２１２が影響を及ぼす。Ｈｘヘルプ図表作成２２１は、ユーザーが成功した一または複数の図表作成作業に関する持続的プロファイルに記憶されている観測結果やユーザーがオンラインマニュアルで参照した図表作成のヘルプ情報に関する情報などで設定される。図表作成能力やその他のソフトウェア機能領域での能力は一次支援必要変数２１３に影響を及ぼす。この一次支援必要変数２１３は、ユーザーが別の行動をとる可能性に影響を及ぼす。例えば、特定の種類の図表作成作業で支援を必要とすると、ユーザーが文書中の図表を選択しその図表のところで数秒間作業を中断する（Sel Chart Pause 223）可能性に影響が及ぶ。付表１にはスプレッドシートアプリケーション例としたより完全なベイズネットワークが図示されている。
第２６図は時間的な知識や推論を例示したものである。観測可能なモデル化イベントのそれぞれに、ベイズネットワーク内のその他の変数とイベントとの確率論的関係への経時的影響に関する情報の注釈が付いている。この場合、各ノードには範囲と衰退に関する時間的動的情報が付されており、この情報は確率または他のデータ構造の一覧として実現できる。各変数の時間的動特性の期間は秒単位で表示するが、イベントが真になった時点を開始点とする。
第２６図の知識ベースのコンポーネントをもとにした例を次に説明する。
次のようなプロファイル情報があると仮定する。
Figure 2009157951
時刻t=50秒では、次のモデル化イベントに注目する。
Figure 2009157951
Figure 2009157951
Figure 2009157951
Figure 2009157951
分析サイクルをt=50秒の時点で開始する。このサイクルは、原子イベントローカル記憶装置１０２からモデル化イベントを生成する工程、推論システム７６ヘイベントを転送する工程、新規観測結果を用いて推論を行う工程とからなる。ユーザーが必要としている一次支援項目は図表作成情報のヘルプであるという現在の確率p(Charting_Assistance|E)を調べる。ユーザーの経歴、能力、ヘルプ参照履歴といった条件において、この領域でヘルプを必要とする前回の確率は.001である。コンテキスト情報はこの確率を.04まで増加させる。一次支援についてのその他の仮説にもそれまでの全ての証拠（この例では明示されていない）の関数として確率が割り当てられる。
t=52秒の時点でユーザーは図表を選択する。図表の選択という原子イベントが検出され、その検出結果は原子イベントローカル記憶装置１０２に記憶される。次に、ユーザーは３秒間のあいだ作業を中断する。この３秒間の中断はイベントローカル記憶装置１０２で検出される。分析サイクルをt=60秒の時点で呼び出す。イベントプロセッサ７４はモデル化イベントSel_Chart_Pause 223を生成し、そのイベントはｔ＝５５秒の時点で真になり、推論システム７６に送られる。
推論システムは、時間的動的情報の注釈付きベイズネットワークにアクセスする。Sel_Chart_Pause 230の確率表に示されているように、５秒間の範囲があり、確率は１５秒の時点で無の確率へと線形に収束する。
ｔ＝６３秒の時点でユーザーは図表作成ダイアログを選択し、ｔ＝６６秒の時点で失敗してダイアログを取り消す。７０秒の時点で分析サイクルが呼び出され、モデル化イベントChart_Dialog_Unsucc 227が生成され、推論エンジン７６へ送られるタイムスタンプ６６秒で記録される。Chart_Dialog_Unsucc 231の確率表で示すように、期間は２０秒間あり、時間的動特性はない。
このユーザーは自動支援がＰ=.12で発生するよう閾値を設定している。このように、トピックが関連するという確率がｐ＝.14まで増加すると図表作成に関する支援が行われる。
Figure 2009157951
Figure 2009157951
Figure 2009157951
Figure 2009157951
Figure 2009157951
Figure 2009157951
Figure 2009157951
Figure 2009157951
Figure 2009157951
Figure 2009157951
マルチアプリケーションの場合のシステムレベルIUAF
上述の方法は個々のアプリケーションに適用できるだけでなく、オペレーティングシステムレベルで用いれば複数のアプリケーションが走っているシステムでの支援を推論させることもできる。システム支援を行う実施例において、ベイズネットワークを用いてユーザーが作業を完了したことあるいはまもなく作業を完了することを推論させてアプリケーションを終了する。
この作業を支援するベイズネットワーク知識ベースを第２７図に示す。プロファイル情報には、すでにユーザーがヘルプを参照したことがあるかどうか(Reviewed_Help_in_Past 240)、終了したことがあるかどうか(User_Exited_Before 241)、ユーザーはダブルクリック操作を実行できることを見せたかどうか（Successful_Double_Click 242）といった情報が含まれている。ベイズネットワークで観測として示されているモデル化イベントには、動作後の一時休止(Dwell after Activity 243)、無関係な一連の図形アイコンのクリック操作(Click on Seq of Unrelated 244)、意味のないマウス操作(Mouse Meandering 245)、文書を最近印字出力したかどうか（Print Doc 246）またはメッセージを送信したかどうか(Send Msg 247)、アプリケーションの立上げ時間（Duration of Time with App 248）が含まれている。変数は最も望ましい操作全体の確率分布を示しており、このため確率論的推論を行って別の最適な操作の可能性を推論することができる。
実施例では、ユーザーに関する推論についての監視イベントの影響が示されている。この例は次のような概要からなる。ユーザーはいままで自分でアプリケーションを終了できなかった、ユーザーはダブルクリック操作を正しく行うことができなかった、アプリケーション終了に関するヘルプトピックを参照したがその項目で一時休止することはなかった。次に、システムでは、略１０分間ものあいだ電子メールを操作を行っていたことや、無関係な一連の図形アイコンをクリックしていたことを検出したものとする。第２８図は各確率変数の状態を示している。状態の隣に設けられているグラフの長さは各確率変数の様々な状態の確率を表している。棒グラフが示すように、推論システム７６ではユーザーが終了方法を知らない確率（User Ignorant about Exit 249）は高く、主要なタスクを完了したかあるいはすぐに完了するという確率（Major Task Completed 250）は低いと計算している。
第２９図は新規モデル化イベントを考慮に入れた後の推論結果を示している。
この場合、ユーザーは電子メールを送信し終わっており(Send Msg 247)、操作後に３秒以上一時休止状態が続いている(Dwell after Activity 243)。ユーザーにヒントを与えるのが終了関連操作として最も望ましいと判断する(Most Desired Exit Action 251)。第３０図も同様の例を示しているが、ユーザーが過去２分以内にヘルプトピックを参照したかまたは援助を受けた点が異なる(Recent rec Exit Hel 252)。最も望ましい操作は何もせずユーザーにアプリケーションを終了するかどうかを確認することである(Most Desired Exit Action 251)。
IUAFコントローラー
一般に、インテリジェントユーザー支援機能のコンポーネントはその全体の制御を行う必要がある。つまり、イベントプロセッサ７４と推論システム７６を呼び出すかどうかといった判断や、自立的に支援を行うかどうかといった判断では制御が必要である。第３１図は個別にまたは組み合わせて使用されるインテリジェントユーザーインターフェースコントローラの協働制御モード全体を図式化したものである。第１協働制御モードはタイマーモード２６０で、このモードでは反復システムタイマがタイムアップしてIUAFコントローラに別の監視サイクルや推論分析サイクルの開始することを通知する(ステップ２６１)。するとIUAFコントローラは推論システムを呼び出す(ステップ２６２)。推論分析が終了すると、再度タイマがタイムアップするまでコントローラは待機状態となる(ステップ２６３)。何らかの制約を受けた場合には、タイマーモードの期間を延長して次のサイクルの開始を遅らせることもできる。例えば、イベント監視や推論の処理中に複雑な推論が発生した場合には、演算資源の利用が可能かどうかを評価する（例えば、アイドルタイムがあるかどうかの判別）条件を付加することもできる。このように、タイマが起動し、演算資源の利用可能条件があるとイベント処理サイクルや推論サイクルが実行される。
第二モードは要求モード２６５である。このモードは、ユーザーが支援を要求した時だけ推論分析を行う。インストールされているアプリケーションがヘルプ情報に関する質問を受けると(ステップ２６６)、IUAFコントローラへ通知する(ステップ２６７)。通知を受けると、IUAFコントローラは推論システムを呼び出す(ステップ２６８)。推論分析が終了すると、次の通知があるまでコントローラは待機する(ステップ２６９)。
第三モードは特別イベントトリガモード２７０である。このモードでは、推論分析サイクルを開始する特別イベントの一覧がある。特別イベントの発生をイベントプロセッサが検出すると(ステップ２７１)、イベントプロセッサはIUAFコントローラへ通知を送る(ステップ２７２)。通知を受領すると、IUAFコントローラは推論システムを呼び出す(ステップ２７３)。推論分析が完了すると、コントローラは次の通知があるまで待機する(ステップ２７４)。
これら３つの制御モードのうちいずれか２つのモードまたは全てのモードが同時に有効となってもよい。３つの制御モード全てが有効になる場合、下記のように動作する。もし、タイマーが動作期間中にユーザーからの支援要求がなく、ユーザーが特別イベントへ翻訳される動作を行わなかった時は、タイマーの期限が終了した後に推論分析のサイクルが実行される。又、ユーザーが支援を要求したときまたは特別イベントに翻訳される動作を行った場合には、タイマーの動作期間中であっても推論分析サイクルが実行される。
フリーテキスト質問の分析とイベントとの一体化
すでに説明したように、支援要求のフリーテキスト質問で使用される単語をモデル化イベントの資源として使用できる。Microsoft Office 95の製品系列に含まれる全てのアプリケーションにはMicrosoft Answer Wizardが組み込まれており、このウィザードでは確率論的モデルを用いてフリーテキスト質問中の単語をこれに関連するヘルプトピックの確率に関連づけている。このモデルは米国特許出願08,400,797に開示されており、本願出願においてその全文を援用するものである。一実施例では、単語と動作の確率論的関連性を推論するシステムにおいて単語と動作をモデル化イベントとして、共に一律に取り扱うことができる。
また他の実施例では、単語と動作を別々に取り扱う分離したサブシステムが設けられている。この分離したサブシステムにおける確率論的分析が終了した後にこれらの分析結果を組み合わせる。第３２図は別々の確率論的分析を組み合わせる方法のフローチャートである。まず、与えられたフリーテキスト質問に最も関連性のあるヘルプトピックをベイズ分析により演算する(ステップ２８０)。この後米国特許08,400,797に開示されている方法を行う。次のステップでは、関連性の確率が最も高い順から配列したヘルプトピックの一覧を出力する(ステップ２８１)。最も関連性の高いヘルプトピックの第二ベイズ分析を、所定プログラム状態、ユーザープロファイル、ユーザーの一連の動作に対して算出により行う(ステップ２８２)。関連性の確率が最も高い順から配列したヘルプトピックの第２一覧を出力する(ステップ２８３)。各リストのヘルプトピックに重み付けを行った後、両方のリストに記載されているヘルプトピックは関連性があるという確率を演算して両方のリストのヘルプトピックを組合せる(ステップ２８４)。最後に、関連性の確率が最も高い順番に配列したヘルプトピックの組合せリストを出力する(ステップ２８５)。この実施例では、単語または動作分析から求めた仮説（例えば、ヘルプトピックの関連性）の確率に割り当てた可能性の乗算に使用する実数パラメータの値を変えることにより、あるイベントの組の結果に対する重み付けを別の組の結果に対する重み付けよりも大きくしてシステムパフォーマンスを調整できる。
フリーテキスト質問の単語とユーザーの動作を分析するシステムを別々に設ければ、各クラスのイベントの特定の性質にもとづいて二つのサブシステムを個別に最適化できる。同じことは、検出機能を付加してイベント監視機能を拡張したシステムにおいて視覚や音声イベントといった別の動作の組にも当てはまる。
別々に分析を行うことで結果の合成、結果の分離、結果の配列といった処理のときにそれぞれに固有の方針を適用するのが簡単になる。例えば、実施例では、動作を監視して得た推論をもとに推測した支援を最初に表示するが、単語が付加された時には単語を用いた分析だけをもとに支援表示を行う。これは単語分析システムと動作分析システムの性能によるものである。その他の方法としては、単語と動作の分析結果を比較し、その結果をもとにそれぞれのサブシステムでの推論を組み合わせたり、分離したりする方法もある。
対話と支援実施に関する制御
協働制御機能の他に、IUAFコントローラはいつユーザーに自立的に支援を行うかあるいはユーザーのゴールについての情報（情報価値演算に基づく）に関する質問を行うかを判断する。実施例では、推論システム７６に常駐する特別なベイズネットワークすなわちネットワークコンポーネントが、ユーザーは今支援を求めているという確率を演算する。IUAFコントローラは常に変化しているこの確率を用いて自立的にヘルプを提供する時期を制御する。ユーザーが支援を求めるという確率の算出結果が、ユーザーによる変更が可能な閾値を越えた時にIUAFは自立的にヘルプを提供する。ユーザーは自立的支援を行うための閾値を閾値コントローラを用いて変更する。例えば、この閾値コントローラーをスライド式閾値コントローラの形で自律ヘルプウィンドウに表示すると、ヘルプを求めることによる利益とヘルプ表示により気が散るといった不利益との比較に基づいて閾値を変えることができる。第２２図には閾値スライダー付き付き動的支援ウィンドウのスクリーン出力の例が示されている。
第３３図は上記実施例おいて自立的支援を行う方法のフローチャートである。
推論分析サイクル中は、推論システム７６が関連性の確率が高い順番にヘルプトピックを配列して一覧表として出力する(ステップ２９０)。この処理は推論システムの説明で述べた通りである。次のステップでは、ユーザーがヘルプを必要とする確率がユーザーが設定した自律支援用閾値を越えたかどうかを判断する(ステップ２９２)。ユーザーがヘルプを必要とする確率が閾値を越えた場合は、推論システム７６は確率の高い順番にヘルプトピックを配列して一覧表示する(ステップ２９４)。この一覧には最も可能性の高いトピックまたは最も可能性の高いと思われる幾つかのトピックだけが表示されるが、必要であればウィンドウ内でリスト全体のスクロール検索を行うこともできる。次に、所定時間内に関連トピックの一覧の中で前回のリストにも現れた重複ヘルプトピックがないかどうかを調べる(ステップ２９６)。重複ヘルプトピックがなければ、ユーザーにその一覧を表示する(ステップ２９８)。もし自立的ヘルプの提供に対するユーザーからの回答があれば、応答タイマーがタイムアップする前にユーザーが応答しなくなるまでステップ２９０から２９８までの処理を繰り返す。応答タイマーがタイムアップする前に応答しなかった場合、ウィンドウのタイトルの部分に謝罪メッセージが表示され(ステップ２９９)、ウィンドウは消える。
例えば、インテリジェント支援機能の図形アイコンをクリックするなどユーザーからの直接の要求があった場合にのみ自律的支援を行うようにする例も可能であることは当業者も気づくであろう。予測有用性についての測定値の演算結果やその近似値を利用して自律的支援を行うこともできる。さらに、支援の際に提供されるトピックの各項目の関連性の確率を個々に算出し、それらの合計値がある定数を越えた場合にのみシステムが自律的支援を行うようにすることも可能である。
実施例において、上位５つのトピックの確率値の合計が.40を越えない時はたとえユーザーから支援要求があってもヘルプトピックに関する推測を表示しない。その他の実施例において、ユーザーが作業を中断しない限りは自律的支援を行わないようにすることで、作業中にユーザーを支援することが重要であると思われない場合は作業に従事しているユーザーの邪魔をしない。
社会的な会話や暗喩を用いるのも効果的である。例えば、推論結果を用いて社会的図形アニメーションキャラクタの動作や態度を制御することができる。第３４図にこの種のインターフェース例を示す。ユーザーが直面すると思われる問題や潜在的に価値のある支援に関するIUAF推論結果を、キャラクターの頭の上の「雲」の形で表してあたかも考え込んでいるように表示することも可能である。フリーテキスト質問は図形テキスト入力ボックスにタイプ入力させて、キャラクターがその質問を見たり聞いたりしているようにできる。
IUAFコンポーネントの組込みによる音声認識機能の拡張
音声認識の専門家であれば、確率で音素を特徴づけるのに用いる音声言語モデルを演算により求めたコンピュータユーザーのゴール、意図、ニーズ等の情報により動的な影響を受けるようにすればパワーを得ることが可能であることは知っていることであろう。第１２図の影響図に図示しているように、ユーザーの経歴やゴールは、インターフェースでの動作、フリーテキスト質問に使っている単語、ソフトウェアシステムまたはアプリケーションと対話しようとしているユーザー発話に影響を及ぼす。つぶやいているときのユーザーのゴールや意図の可能性が分かれば、自動音声認識能力を向上させることができる。こうしたシステムがあれば、発話についての確率を調整し、コンピュータソフトウェアユーザーが発した単語や音素の確率を調整することができる。
音声認識では、発話を類似の音素に分解したり、音素を類似の単語に処理したりして音声信号を生成する。音声認識用の確率的システムでは、音声信号から音素の確率を算出したり、同じ信号から別の単語が導き出される確率を演算することができる。本願明細書では、「音声(speech)」とう単語は話されたことばを音声信号や音素に分解して得られた証拠をさすものとする。
ベイズ音声認識システムでは話されたことばの中の単語または単語列の確率を以下のように算出する。
Figure 2009157951
モデル化イベント（注視に基づくものを含む）によって表わされるユーザーの動作を条件としてユーザーのニーズやゴールの確率を計算し、ユーザーが発話した単語の確率精度を以下のように向上できる。
すなわち、特定のゴールのコンテキストに使用すると思われる単語または単語列の確率を求めることによりゴールのコンテキストに単語または単語列が使用される確率を更新でき、また、一般的なリアルタイムの言語モデルに含まれている単語が使用されることを示す基本確率p(words)を更新できる。つまり、p(words)の静的データベースを用いる代わりに単語の確率を以下のように更新する。
Figure 2009157951
コンテキスト固有言語モデルの知識ベースを利用している。
実行時には、イベント監視システムが動作を分析し、その結果は推論システムへ送られ、そこで上述のようにユーザーのニーズ全体の確率分布p(user needs|events)を継続的に再計算する。例としてヘルプトピックの推論への適用があり、コンテキスト固有言語モデルは形式p(words|relevant help topic)の情報を含む。
音声認識用の上記式の変形を表すより一般的なステートメントでは、動的イベントを以下のように入力する。
Figure 2009157951
この式は、次のように変形できる。
Figure 2009157951
第２３図は、主要コンポーネント、単語や発話された音素の確率を動的に変化させて音声認識を向上させるインテリジェントユーザー支援機能の主要コンポーネントを用いた分析フローを示している。図示されているように、ユーザーの動作はインストール済プログラム７２が追従し、イベントプロセッサ７４が原子イベントをモデル化イベントに合成し、こうして生成されたモデル化イベントは推論システム７６へ送られる。この推論システムではユーザーのニーズの確率分布を算出し、重み付けされたニーズのリストは動的言語モデルジェネレーター３００へと送られる。
動的言語モデルジェネレーター３００では別のニーズと発話または単語の確率との間のマッピングを有する。このコンポーネントは、形式p(words|user need)の確率情報を含む言語モデルを含む言語モデルデータベース３０１からの情報と、ユーザーが別の単語または単語列を発話している確率の情報を含む。これはユーザーニーズを条件として行われる。これらの言語モデルは、別のユーザーニーズコンテキストに記録されている単語列のコーパスから統計的データを用いトレーニングにより構成できる。実行時には推論システムはユーザーニーズに関しての確率分布を提供する。この確率分布は、別のコンテキストから求めた言語モデルへの重み付けに基づいて、更新された言語モデルを作成する時の制御に用いる。更新言語モデル３０２は、確率論的推論の結果に基づき、異なるニーズの確率の観点で一連の単語に重み付けして作成した形式p(words|events)の情報を含む。
全体としては、コンテキストを聞き取ることにより、可能性の低い発話の確率を下げ、可能性の高い発話の確率を高めてユーザーのモデル毎に音声認識システム３０３の精度を向上できるという利点がある。
ソフトウェアにおける支援のための使用以外に、動的音声認識機能を様々な音声認識作業に利用できる。例えば、ソフトウェアの制御や機能の操作などのコマンドやコントロールとのインターフェースへの利用がある。ユーザーのゴールをモデル化する場合は、ユーザーの次の動作を反映するよう適当に重み付けされた文法を作成することができ、その結果エラーをおこし難くなる。
これらの方法は、ユーザーのゴールが分かっている場合に次のソフトウェアコマンドの確率を演算するモデルと一緒に使用できる。この場合、特別なユーザーニーズ、すなわち、動作要求に注目する。ユーザーの動作要求は、１以上のヘルプトピックへのアクセスをはじめとする音声による１以上のソフトウェア制御の実現と称す。上記の式のp(user needs|events)の代わりにp(desired action|events)を用い、p(words|user needs)の代わりにp(words|desired action)情報を含む言語モデルを使用する。このモデルで考慮するイベントは、有効なウィンドウ情報や発話中にユーザーに表示されるテキスト、ボタン、制御などの情報からなるコンテキストを有している。
例えば、コマンドや制御用の動的言語モデルは、機能の一部として確率論的結果を生成し表示するシステムに適用できる。具体的には、一連の症状から医者の診断を支援するベイズネットワークや影響図を具備した確率論的推論システムがある。医療用ベイズ推論システムには診断推論の結果を表示する複数のウィンドを設けてもよい。あるウィンドウに計算した確率の順で疾病の一覧を表示し、別のウィンドウに情報の値をもとに次に診断すべき症状や次に評価すべき試験の一覧を表示する。表示オブジェクトに割り当てた、算出された確率や予測有用性の関数などの表示情報のコンテキストに基づき、ユーザーの動作の確率モデルを構築したり評価することにより、p(words events)を動的に再演算して音声認識に使用できる。
実施例を参照しながら本発明を説明してきたが、添付の請求項で定義した本発明の範囲から逸脱することなく形式や詳細を変更することが可能であることは当業者には分かるであろう。例えば、一般イベント生成推論システムをオペレーティングシステムに使用してインテリジェントユーザーシェルを生成したり、より一般的にはコンピュータシステムやソフトウェアの機能を最適化することも可能である。本発明で説明してきた実施例は変更が可能であるため、本発明は添付の請求項のみを参照して定義するものである。

Claims (13)

  1. ソフトウェアプログラムに対するインテリジェントユーザー支援機能システムに用いる推論システムであって、
    少なくとも、前記ソフトウェアプログラム内でユーザーが開始した操作に関する観測可能な状態を表す変数に関する情報、および前記ソフトウェアプログラムに関連して前記ユーザーの支援に対する目標と必要性についての仮説を表す変数に関する情報を記憶した知識ベースと、
    前記ソフトウェアプログラムの操作をユーザーに対してより容易に提供するために、前記ソフトウェアプログラムにおいて前記ユーザーが実行可能なヘルプに向けた操作を特定する推論エンジンであって、前記ヘルプに向けた操作は、前記ユーザーにより開始することなく前記ヘルプに向けた操作を表示することの不利益が与えられると、前記ソフトウェアプログラム内で前記ユーザーの期待効用を最適化し、前記ユーザーの支援に対する目標及び必要性は、前記知識ベースに記憶されたように前記ソフトウェアプログラムに関連する推論エンジンと
    を備え、前記ヘルプに向けた操作の少なくとも１つは、前記インテリジェントユーザー支援機能システムにより前記ユーザーに表示され、前記ユーザーに表示される少なくとも１つの前記ヘルプに向けた操作の１つまたは複数は、前記ソフトウェアプログラム内で前記ユーザーにより実行されることを特徴とする推論システム。
  2. 前記知識ベースはベイズネットワークであることを特徴とする請求項１に記載の推論システム。
  3. 前記知識ベースは論理ルールのセットであることを特徴とする請求項１に記載の推論システム。
  4. 前記推論エンジンはベイズネットワークであることを特徴とする請求項１に記載の推論システム。
  5. 前記推論エンジンは、不確実性下で実行される不利益対利益の分析に基づいて、前記ユーザー支援機能システムにより前記ユーザーから追加の情報を獲得することの価値が閾値より大きい確率を判定する情報価値コンポーネントを含むことを特徴とする請求項１に記載の推論システム。
  6. 請求項１に記載のコンピューター実行可能コンポーネントを有することを特徴とするコンピューター読み取り可能媒体。
  7. 推論システムにおいて、ソフトウェアプログラムに対するインテリジェント支援機能システムと共に用いるための推論エンジンであって、
    前記ソフトウェアプログラムに関連して前記ユーザーの支援に対する目標および必要性についての仮説を表すノードと、前記ソフトウェアプログラム内でユーザーが開始した操作に関して観測された証拠を表すノードとを含むベイズネットワークと、
    前記観測された証拠ノードの少なくとも１つに関連する時間推論近似機能であって、関連性の確率が時間の経過により変化すると前記確率を判定し、ユーザーに対してより容易に前記ソフトウェアプログラムの操作を提供するために前記ソフトウェアプログラムにおいて前記ユーザーが実行可能な、前記仮説ノードに対応するヘルプに向けた操作を特定する時間推論近似機能と
    を備え、前記ヘルプに向けた操作の少なくとも１つは、前記インテリジェント・ユーザー支援機能システムにより前記ユーザーに表示され、前記ユーザーに表示される少なくとも１つの前記ヘルプに向けた操作の１つまたは複数は、前記ソフトウェアプログラム内で前記ユーザーにより実行されることを特徴とする推論エンジン。
  8. 前記観測された証拠は、イベントの仕様において定義されたイベント構成規則に応じて前記ソフトウェアプログラム内で前記ユーザーが開始した操作からモデル化された高レベル・モデル化イベントであることを特徴とする請求項７に記載の推論エンジン。
  9. ユーザーから観測されない情報を自立的に獲得して、提案されるユーザー支援の判定を支援する推論システムのための方法であって、
    前記観測されない情報の複数の項目のリストを、最高の値から最低の値へ順序付けるステップと、
    前記リストの所与の項目毎に、
    前記所与の項目を取得する利益を判定するステップと、
    前記所与の項目を取得するために前記ユーザーの気を散らすことの不利益を判定するステップと、
    前記利益が前記不利益を超えることに応答して、前記ユーザーに前記所与の項目を提供するための要求を提出するステップと
    を、前記ユーザーが前記要求への応答に失敗した場合、および前記不利益が前記利益を超える場合のうちの一方が発生しない限り実行することにより、前記リストを下降するステップと
    を備えることを特徴とする方法。
  10. ソフトウェアプログラムのためのインテリジェント支援機能システムと共に使用される音声認識システムの正確さを改善する方法であって、
    前記ソフトウェアプログラム内でユーザーが開始した活動を検出するステップと、
    イベントの詳細において定義されたイベント構成規則に従って前記ユーザーが開始した活動から高レベルモデル化イベントを構成するステップと、
    確率論的推論を使用して、前記高レベルモデル化イベントから前記ソフトウェアプログラムに関連するユーザーの支援に対する目標及び必要性の確率分布を判定するステップと、
    前記確率分布に基づいて、前記音声認識システムにより認識された言語モデルデータベース内の単語の確率を変更するステップと、
    前記ユーザーの音声を検出するステップと、
    前記ソフトウェアプログラムに関連する前記ユーザーの支援に対する目標および必要性の確率分布に基づき変更された前記言語モデルデータベース内の単語の確率に基づき、前記ユーザーの音声を前記言語モデルデータベース内の単語の１つまたは複数として認識するステップと
    を備えることを特徴とする方法。
  11. 検出された前記ユーザーの音声は、前記ソフトウェアプログラムに対して前記ユーザーが話したコマンドに関連することを特徴とする請求項１０に記載の方法。
  12. 検出された前記ユーザーの音声は、前記ソフトウェアプログラムに関して前記ユーザーが話したヘルプの問い合わせに関連することを特徴とする請求項１０に記載の方法。
  13. 請求項１０に記載の方法を実行するコンピューター実行可能命令を有することを特徴とするコンピュータ読み取り可能媒体。
JP2009097499A 1996-07-19 2009-04-13 推論システムおよび推論エンジン Pending JP2009157951A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US08/684,003 US6021403A (en) 1996-07-19 1996-07-19 Intelligent user assistance facility

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007248286A Division JP4750771B2 (ja) 1996-07-19 2007-09-25 インテリジェントユーザー支援インタフェースを提供する方法

Publications (1)

Publication Number Publication Date
JP2009157951A true JP2009157951A (ja) 2009-07-16

Family

ID=24746328

Family Applications (3)

Application Number Title Priority Date Filing Date
JP50692898A Expired - Lifetime JP4676037B2 (ja) 1996-07-19 1997-07-02 インテリジェントユーザーインターフェース機能を実現する方法、及びそれをコンピュータで実行可能な命令が記載されたコンピュータ読み取り可能な媒体
JP2007248286A Expired - Lifetime JP4750771B2 (ja) 1996-07-19 2007-09-25 インテリジェントユーザー支援インタフェースを提供する方法
JP2009097499A Pending JP2009157951A (ja) 1996-07-19 2009-04-13 推論システムおよび推論エンジン

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP50692898A Expired - Lifetime JP4676037B2 (ja) 1996-07-19 1997-07-02 インテリジェントユーザーインターフェース機能を実現する方法、及びそれをコンピュータで実行可能な命令が記載されたコンピュータ読み取り可能な媒体
JP2007248286A Expired - Lifetime JP4750771B2 (ja) 1996-07-19 2007-09-25 インテリジェントユーザー支援インタフェースを提供する方法

Country Status (7)

Country Link
US (4) US6021403A (ja)
EP (2) EP0912932B1 (ja)
JP (3) JP4676037B2 (ja)
CN (2) CN1280715C (ja)
CA (1) CA2210601C (ja)
DE (1) DE69736552T2 (ja)
WO (1) WO1998003907A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015107741A1 (ja) 2014-01-15 2015-07-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20190032641A (ko) * 2010-01-18 2019-03-27 애플 인크. 지능형 자동화 어시스턴트
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant

Families Citing this family (783)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE47908E1 (en) 1991-12-23 2020-03-17 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6418424B1 (en) 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
USRE46310E1 (en) 1991-12-23 2017-02-14 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
USRE48056E1 (en) 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US5822720A (en) 1994-02-16 1998-10-13 Sentius Corporation System amd method for linking streams of multimedia data for reference material for display
US6434530B1 (en) * 1996-05-30 2002-08-13 Retail Multimedia Corporation Interactive shopping system with mobile apparatus
US7257589B1 (en) * 1997-12-22 2007-08-14 Ricoh Company, Ltd. Techniques for targeting information to users
US7596755B2 (en) 1997-12-22 2009-09-29 Ricoh Company, Ltd. Multimedia visualization and integration environment
JP4183311B2 (ja) 1997-12-22 2008-11-19 株式会社リコー 文書の注釈方法、注釈装置および記録媒体
US7954056B2 (en) 1997-12-22 2011-05-31 Ricoh Company, Ltd. Television-based visualization and navigation interface
US7263659B2 (en) 1998-09-09 2007-08-28 Ricoh Company, Ltd. Paper-based interface for multimedia information
US7124093B1 (en) 1997-12-22 2006-10-17 Ricoh Company, Ltd. Method, system and computer code for content based web advertising
US20080028292A1 (en) * 1997-12-22 2008-01-31 Ricoh Company, Ltd. Techniques to facilitate reading of a document
JP3079079B2 (ja) * 1998-01-07 2000-08-21 インターナショナル・ビジネス・マシーンズ・コーポレ−ション 画面表示装置及び画面表示制御方法
GB9800590D0 (en) * 1998-01-13 1998-03-11 Bae Sema Ltd Intelligent human computer interface system
WO1999040524A1 (fr) * 1998-02-05 1999-08-12 Fujitsu Limited Dispositif proposant des actions a entreprendre
US6151585A (en) * 1998-04-24 2000-11-21 Microsoft Corporation Methods and apparatus for determining or inferring influential rumormongers from resource usage data
US6199061B1 (en) * 1998-06-17 2001-03-06 Microsoft Corporation Method and apparatus for providing dynamic help topic titles to a user
US6256633B1 (en) * 1998-06-25 2001-07-03 U.S. Philips Corporation Context-based and user-profile driven information retrieval
US6307544B1 (en) * 1998-07-23 2001-10-23 International Business Machines Corporation Method and apparatus for delivering a dynamic context sensitive integrated user assistance solution
US6405188B1 (en) * 1998-07-31 2002-06-11 Genuity Inc. Information retrieval system
US6779060B1 (en) * 1998-08-05 2004-08-17 British Telecommunications Public Limited Company Multimodal user interface
IL125684A0 (en) * 1998-08-06 1999-04-11 Univ Ben Gurion Method for computer operation by an intelligent user adaptive interface
US7272604B1 (en) * 1999-09-03 2007-09-18 Atle Hedloy Method, system and computer readable medium for addressing handling from an operating system
US7496854B2 (en) 1998-11-10 2009-02-24 Arendi Holding Limited Method, system and computer readable medium for addressing handling from a computer program
NO984066L (no) * 1998-09-03 2000-03-06 Arendi As Funksjonsknapp for datamaskin
US7215436B2 (en) * 1998-09-09 2007-05-08 Ricoh Company, Ltd. Device for generating a multimedia paper document
US6582475B2 (en) 1998-09-09 2003-06-24 Ricoh Company Limited Automatic adaptive document printing help system
US7263671B2 (en) * 1998-09-09 2007-08-28 Ricoh Company, Ltd. Techniques for annotating multimedia information
US6369811B1 (en) 1998-09-09 2002-04-09 Ricoh Company Limited Automatic adaptive document help for paper documents
US7266782B2 (en) * 1998-09-09 2007-09-04 Ricoh Company, Ltd. Techniques for generating a coversheet for a paper-based interface for multimedia information
JP2000146629A (ja) * 1998-09-23 2000-05-26 Agilent Technol Inc 測定装置用ヘルプ画面情報表示装置
JP2002527829A (ja) * 1998-10-09 2002-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動照会方法およびシステム
US6845370B2 (en) 1998-11-12 2005-01-18 Accenture Llp Advanced information gathering for targeted activities
US8121891B2 (en) 1998-11-12 2012-02-21 Accenture Global Services Gmbh Personalized product report
US6446076B1 (en) 1998-11-12 2002-09-03 Accenture Llp. Voice interactive web-based agent system responsive to a user location for prioritizing and formatting information
US6320623B1 (en) * 1998-11-13 2001-11-20 Philips Electronics North America Corporation Method and device for detecting an event in a program of a video and/ or audio signal and for providing the program to a display upon detection of the event
WO2000031656A2 (en) * 1998-11-19 2000-06-02 Andersen Consulting, Llp A system, method and article of manufacture for effectively interacting with a network user
US6195651B1 (en) 1998-11-19 2001-02-27 Andersen Consulting Properties Bv System, method and article of manufacture for a tuned user application experience
AU1915400A (en) * 1998-11-19 2000-06-13 Andersen Consulting Llp Collection and analysis of user profile information
US20030187925A1 (en) * 1998-12-08 2003-10-02 Inala Suman Kumar Software engine for enabling proxy chat-room interaction
US6236989B1 (en) * 1998-12-11 2001-05-22 International Business Machines Corporation Network-based help architecture
US6747675B1 (en) * 1998-12-18 2004-06-08 Tangis Corporation Mediating conflicts in computer user's context data
US6018730A (en) * 1998-12-22 2000-01-25 Ac Properties B.V. System, method and article of manufacture for a simulation engine with a help website and processing engine
FR2788615B1 (fr) * 1999-01-18 2001-02-16 Thomson Multimedia Sa Appareil comportant une interface utilisateur vocale ou manuelle et procede d'aide a l'apprentissage des commandes vocales d'un tel appareil
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6310633B1 (en) 1999-03-23 2001-10-30 Ricoh Company Limited Method and system for organizing document information
US6741995B1 (en) * 1999-03-23 2004-05-25 Metaedge Corporation Method for dynamically creating a profile
US7107253B1 (en) * 1999-04-05 2006-09-12 American Board Of Family Practice, Inc. Computer architecture and process of patient generation, evolution and simulation for computer based testing system using bayesian networks as a scripting language
US6999955B1 (en) * 1999-04-20 2006-02-14 Microsoft Corporation Systems and methods for estimating and integrating measures of human cognitive load into the behavior of computational applications and services
US6581050B1 (en) * 1999-04-20 2003-06-17 Microsoft Corporation Learning by observing a user's activity for enhancing the provision of automated services
US6340977B1 (en) * 1999-05-07 2002-01-22 Philip Lui System and method for dynamic assistance in software applications using behavior and host application models
US6434527B1 (en) * 1999-05-17 2002-08-13 Microsoft Corporation Signalling and controlling the status of an automatic speech recognition system for use in handsfree conversational dialogue
US6671661B1 (en) * 1999-05-19 2003-12-30 Microsoft Corporation Bayesian principal component analysis
US6633852B1 (en) * 1999-05-21 2003-10-14 Microsoft Corporation Preference-based catalog browser that utilizes a belief network
US6606613B1 (en) * 1999-06-03 2003-08-12 Microsoft Corporation Methods and apparatus for using task models to help computer users complete tasks
US6421655B1 (en) * 1999-06-04 2002-07-16 Microsoft Corporation Computer-based representations and reasoning methods for engaging users in goal-oriented conversations
US6415274B1 (en) * 1999-06-24 2002-07-02 Sandia Corporation Alpha-beta coordination method for collective search
US6647534B1 (en) 1999-06-30 2003-11-11 Ricoh Company Limited Method and system for organizing document information in a non-directed arrangement of documents
US7228492B1 (en) 1999-07-06 2007-06-05 Ricoh Company, Ltd. 2D graph displaying document locations of user-specified concept of interest
AU763131B2 (en) * 1999-07-09 2003-07-17 Acularo Pty Ltd Methods of organising information
US6622160B1 (en) * 1999-07-30 2003-09-16 Microsoft Corporation Methods for routing items for communications based on a measure of criticality
US6714967B1 (en) 1999-07-30 2004-03-30 Microsoft Corporation Integration of a computer-based message priority system with mobile electronic devices
US7120865B1 (en) 1999-07-30 2006-10-10 Microsoft Corporation Methods for display, notification, and interaction with prioritized messages
US6618716B1 (en) * 1999-07-30 2003-09-09 Microsoft Corporation Computational architecture for managing the transmittal and rendering of information, alerts, and notifications
US7194681B1 (en) * 1999-07-30 2007-03-20 Microsoft Corporation Method for automatically assigning priorities to documents and messages
US7007240B1 (en) * 1999-08-03 2006-02-28 Gateway Inc. Method and system for displaying non-overlapping program and auxiliary windows
JP2001056889A (ja) * 1999-08-19 2001-02-27 Konica Corp 機器の警告情報制御方法及び当該機能を有する機器
US6499024B1 (en) * 1999-08-24 2002-12-24 Stream International, Inc. Method and system for development of a knowledge base system
US6556960B1 (en) * 1999-09-01 2003-04-29 Microsoft Corporation Variational inference engine for probabilistic graphical models
AU1333701A (en) * 1999-10-13 2001-04-23 Troba, Inc. Electronic shopping management: intervention
US20080221927A1 (en) * 1999-10-29 2008-09-11 Victor Levy Web-Enabled, Evidence Based Medical Diagnostic System
EP1234251B1 (en) * 1999-11-03 2011-04-06 Sublinks ApS Method, system, and computer readable medium for managing resource links
US6526395B1 (en) * 1999-12-31 2003-02-25 Intel Corporation Application of personality models and interaction with synthetic characters in a computing system
US7099855B1 (en) 2000-01-13 2006-08-29 International Business Machines Corporation System and method for electronic communication management
US8701027B2 (en) * 2000-03-16 2014-04-15 Microsoft Corporation Scope user interface for displaying the priorities and properties of multiple informational items
US8024415B2 (en) * 2001-03-16 2011-09-20 Microsoft Corporation Priorities generation and management
US6847924B1 (en) * 2000-06-19 2005-01-25 Ncr Corporation Method and system for aggregating data distribution models
US20020087649A1 (en) * 2000-03-16 2002-07-04 Horvitz Eric J. Bounded-deferral policies for reducing the disruptiveness of notifications
US6513026B1 (en) 2000-06-17 2003-01-28 Microsoft Corporation Decision theoretic principles and policies for notification
US7743340B2 (en) * 2000-03-16 2010-06-22 Microsoft Corporation Positioning and rendering notification heralds based on user's focus of attention and activity
US7634528B2 (en) * 2000-03-16 2009-12-15 Microsoft Corporation Harnessing information about the timing of a user's client-server interactions to enhance messaging and collaboration services
US7249159B1 (en) 2000-03-16 2007-07-24 Microsoft Corporation Notification platform architecture
US7444383B2 (en) * 2000-06-17 2008-10-28 Microsoft Corporation Bounded-deferral policies for guiding the timing of alerting, interaction and communications using local sensory information
US7243130B2 (en) * 2000-03-16 2007-07-10 Microsoft Corporation Notification platform architecture
US6601012B1 (en) 2000-03-16 2003-07-29 Microsoft Corporation Contextual models and methods for inferring attention and location
US7181693B1 (en) * 2000-03-17 2007-02-20 Gateway Inc. Affective control of information systems
AU2001252947A1 (en) * 2000-03-22 2001-10-03 Virtual Gold, Inc. Data-driven self-training system and technique
US6427146B1 (en) * 2000-03-31 2002-07-30 Wesley W. Chu Database event detection and notification system using type abstraction hierarchy (TAH)
US6671802B1 (en) * 2000-04-13 2003-12-30 Hewlett-Packard Development Company, L.P. Performance optimization of computer system by dynamically and immediately updating a configuration setting based on detected change in preferred use
US7730072B2 (en) * 2000-04-14 2010-06-01 Rightnow Technologies, Inc. Automated adaptive classification system for knowledge networks
US6704728B1 (en) * 2000-05-02 2004-03-09 Iphase.Com, Inc. Accessing information from a collection of data
US8478732B1 (en) 2000-05-02 2013-07-02 International Business Machines Corporation Database aliasing in information access system
US6938024B1 (en) * 2000-05-04 2005-08-30 Microsoft Corporation Transmitting information given constrained resources
US6883019B1 (en) * 2000-05-08 2005-04-19 Intel Corporation Providing information to a communications device
AU2001261631A1 (en) * 2000-05-17 2001-11-26 Answerfriend.Com Answering natural language queries
US6957213B1 (en) 2000-05-17 2005-10-18 Inquira, Inc. Method of utilizing implicit references to answer a query
US7062475B1 (en) 2000-05-30 2006-06-13 Alberti Anemometer Llc Personalized multi-service computer environment
US6684202B1 (en) * 2000-05-31 2004-01-27 Lexis Nexis Computer-based system and method for finding rules of law in text
US8086672B2 (en) * 2000-06-17 2011-12-27 Microsoft Corporation When-free messaging
US8290768B1 (en) 2000-06-21 2012-10-16 International Business Machines Corporation System and method for determining a set of attributes based on content of communications
US7346848B1 (en) * 2000-06-21 2008-03-18 Microsoft Corporation Single window navigation methods and systems
US6948135B1 (en) * 2000-06-21 2005-09-20 Microsoft Corporation Method and systems of providing information to computer users
US6883168B1 (en) * 2000-06-21 2005-04-19 Microsoft Corporation Methods, systems, architectures and data structures for delivering software via a network
US7155667B1 (en) * 2000-06-21 2006-12-26 Microsoft Corporation User interface for integrated spreadsheets and word processing tables
US7191394B1 (en) * 2000-06-21 2007-03-13 Microsoft Corporation Authoring arbitrary XML documents using DHTML and XSLT
US7000230B1 (en) * 2000-06-21 2006-02-14 Microsoft Corporation Network-based software extensions
US9699129B1 (en) 2000-06-21 2017-07-04 International Business Machines Corporation System and method for increasing email productivity
US6408277B1 (en) 2000-06-21 2002-06-18 Banter Limited System and method for automatic task prioritization
WO2001098936A2 (en) * 2000-06-22 2001-12-27 Microsoft Corporation Distributed computing services platform
EP1421479A2 (en) 2000-06-22 2004-05-26 Microsoft Corporation Distributed computing services platform
US7080321B2 (en) * 2000-06-23 2006-07-18 Aspect Software, Inc. Dynamic help option for internet customers
JP2004502234A (ja) * 2000-06-29 2004-01-22 アイナステクノロジー　インコーポレイテッド イベントフローチャートを利用した離散イベントシステムのモデリング方法
DE10032225A1 (de) * 2000-07-03 2002-01-17 Pixfind Com Gmbh Verfahren und Vorrichtung zur automatischen Suche relevanter Bilddatensätze
US6788313B1 (en) 2000-09-28 2004-09-07 International Business Machines Corporation Method and apparatus for providing on line help for custom application interfaces
AU7730301A (en) * 2000-09-29 2002-04-11 International Business Machines Corporation Improvements relating to contextual help information
US6993528B1 (en) * 2000-10-04 2006-01-31 Microsoft Corporation Methods and systems for allowing third party client applications to influence implementation of high-level document commands
US9819561B2 (en) 2000-10-26 2017-11-14 Liveperson, Inc. System and methods for facilitating object assignments
US8868448B2 (en) * 2000-10-26 2014-10-21 Liveperson, Inc. Systems and methods to facilitate selling of products and services
AU2002234014A1 (en) * 2000-10-30 2002-05-15 Harvard Business School Publishing System and method for network-based personalized educational environment
US7100115B1 (en) * 2000-10-31 2006-08-29 Sun Microsystems, Inc. Method and apparatus for providing computer-based help
US6691127B1 (en) * 2000-11-09 2004-02-10 General Electric Company Storage and retrieval of process capability and guidance information, and computer media therefor
US6941290B2 (en) * 2000-11-10 2005-09-06 Nec Laboratories America, Inc. Method for computing all occurrences of a compound event from occurrences of primitive events
FR2816728B1 (fr) * 2000-11-14 2003-09-12 Evidian Outil d'assistance pour le parametrage de logiciels
US6834120B1 (en) * 2000-11-15 2004-12-21 Sri International Method and system for estimating the accuracy of inference algorithms using the self-consistency methodology
US8751957B1 (en) * 2000-11-22 2014-06-10 Pace Micro Technology Plc Method and apparatus for obtaining auditory and gestural feedback in a recommendation system
US7844666B2 (en) * 2000-12-12 2010-11-30 Microsoft Corporation Controls and displays for acquiring preferences, inspecting behavior, and guiding the learning and decision policies of an adaptive communications prioritization and routing system
US7206997B2 (en) * 2000-12-18 2007-04-17 General Motors Corporation Functional visualization of spreadsheets
US6931644B2 (en) 2000-12-21 2005-08-16 International Business Machines Corporation Hierarchical connected graph model for implementation of event management design
JP2002197181A (ja) * 2000-12-27 2002-07-12 Sharp Corp サービス管理方法およびサービス管理方法を実行するプログラムを記録したコンピュータ読み取り可能な情報記録媒体
US7644057B2 (en) 2001-01-03 2010-01-05 International Business Machines Corporation System and method for electronic communication management
AUPR242801A0 (en) * 2001-01-08 2001-02-01 Telstra New Wave Pty Ltd A contact centre management system
US7366990B2 (en) * 2001-01-19 2008-04-29 C-Sam, Inc. Method and system for managing user activities and information using a customized computer interface
US7013297B2 (en) * 2001-02-27 2006-03-14 Microsoft Corporation Expert system for generating user interfaces
SE518484C2 (sv) * 2001-02-27 2002-10-15 Peder Holmbom Apparat och förfarande för desinficering av vatten till för sjuk- eller tandvårdsändamål avsedda vattenförbrukningsenheter
US7024662B2 (en) * 2001-03-14 2006-04-04 Microsoft Corporation Executing dynamically assigned functions while providing services
US7302634B2 (en) * 2001-03-14 2007-11-27 Microsoft Corporation Schema-based services for identity-based data access
US7376576B2 (en) 2001-03-16 2008-05-20 Portblue Corporation Decision making and implementation system
US20020178440A1 (en) * 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
US7065524B1 (en) * 2001-03-30 2006-06-20 Pharsight Corporation Identification and correction of confounders in a statistical analysis
US7478051B2 (en) * 2001-04-02 2009-01-13 Illah Nourbakhsh Method and apparatus for long-range planning
US7155399B2 (en) 2001-04-03 2006-12-26 Witness Systems, Inc. System and method for complex schedule generation
US6952732B2 (en) * 2001-04-30 2005-10-04 Blue Pumpkin Software, Inc. Method and apparatus for multi-contact scheduling
US6959405B2 (en) * 2001-04-18 2005-10-25 Blue Pumpkin Software, Inc. Method and system for concurrent error identification in resource scheduling
US7103585B2 (en) * 2001-05-04 2006-09-05 Logic Junction System and method for logical agent engine
EP1255189B1 (en) * 2001-05-04 2008-10-08 Microsoft Corporation Interface control
US7107254B1 (en) 2001-05-07 2006-09-12 Microsoft Corporation Probablistic models and methods for combining multiple content classifiers
EP1256875A1 (en) * 2001-05-10 2002-11-13 Nokia Corporation Method and device for context dependent user input prediction
US6795778B2 (en) 2001-05-24 2004-09-21 Lincoln Global, Inc. System and method for facilitating welding system diagnostics
EP1425659B1 (en) * 2001-05-29 2005-03-30 International Business Machines Corporation Method and system in an office application for providing content dependent help information
US7209912B2 (en) * 2001-06-06 2007-04-24 Microsoft Corporation Wizard and help file search and management
JP2002366166A (ja) * 2001-06-11 2002-12-20 Pioneer Electronic Corp コンテンツ提供システム及び方法、並びにそのためのコンピュータプログラム
US6785664B2 (en) * 2001-06-21 2004-08-31 Kevin Wade Jameson Collection knowledge system
US6782093B2 (en) 2001-06-27 2004-08-24 Blue Pumpkin Software, Inc. Graphical method and system for visualizing performance levels in time-varying environment
US7689521B2 (en) * 2001-06-28 2010-03-30 Microsoft Corporation Continuous time bayesian network models for predicting users' presence, activities, and component usage
US7409423B2 (en) * 2001-06-28 2008-08-05 Horvitz Eric J Methods for and applications of learning and inferring the periods of time until people are available or unavailable for different forms of communication, collaboration, and information access
US7493369B2 (en) * 2001-06-28 2009-02-17 Microsoft Corporation Composable presence and availability services
US7233933B2 (en) * 2001-06-28 2007-06-19 Microsoft Corporation Methods and architecture for cross-device activity monitoring, reasoning, and visualization for providing status and forecasts of a users' presence and availability
US7089226B1 (en) * 2001-06-28 2006-08-08 Microsoft Corporation System, representation, and method providing multilevel information retrieval with clarification dialog
US7409335B1 (en) 2001-06-29 2008-08-05 Microsoft Corporation Inferring informational goals and preferred level of detail of answers based on application being employed by the user
US7519529B1 (en) 2001-06-29 2009-04-14 Microsoft Corporation System and methods for inferring informational goals and preferred level of detail of results in response to questions posed to an automated information-retrieval or question-answering service
DE10135287A1 (de) * 2001-07-19 2003-03-06 Siemens Ag Apparatur und Verfahren zur Analyse der Bedienung von komplexen Systemen
US6694308B2 (en) * 2001-07-23 2004-02-17 Hewlett-Packard Development Company, L.P. System and method for user adaptive software interface
US7526439B2 (en) 2001-08-06 2009-04-28 Proficient Systems, Incorporated Systems and methods to facilitate selling of products and services
US7130861B2 (en) * 2001-08-16 2006-10-31 Sentius International Corporation Automated creation and delivery of database content
WO2003017082A1 (en) * 2001-08-17 2003-02-27 Interactive Sapience Corp. System and method for processing media-file in graphical user interface
US6744729B2 (en) * 2001-08-17 2004-06-01 Interactive Sapience Corp. Intelligent fabric
US20030041159A1 (en) * 2001-08-17 2003-02-27 David Tinsley Systems and method for presenting customizable multimedia presentations
US20030043191A1 (en) * 2001-08-17 2003-03-06 David Tinsley Systems and methods for displaying a graphical user interface
US20040205648A1 (en) * 2001-08-17 2004-10-14 David Tinsley Systems and methods for authoring content
US6871322B2 (en) * 2001-09-06 2005-03-22 International Business Machines Corporation Method and apparatus for providing user support through an intelligent help agent
US6976067B2 (en) * 2001-09-06 2005-12-13 International Business Machines Corporation Method and apparatus for providing entitlement information for interactive support
US20030043178A1 (en) * 2001-09-06 2003-03-06 International Business Machines Corporation Initiation of interactive support from a computer desktop
US6973620B2 (en) * 2001-09-06 2005-12-06 International Business Machines Corporation Method and apparatus for providing user support based on contextual information
CA2357160A1 (en) * 2001-09-10 2003-03-10 Ibm Canada Limited-Ibm Canada Limitee Wizard user interface providing interim system product generation and reversion during wizard traversal
KR100438857B1 (ko) * 2001-09-26 2004-07-05 엘지전자 주식회사 사용자 선호도 기반 멀티미디어 검색 시스템
US7149957B2 (en) 2001-11-19 2006-12-12 Ricoh Company, Ltd. Techniques for retrieving multimedia information using a paper-based interface
US8539344B2 (en) 2001-11-19 2013-09-17 Ricoh Company, Ltd. Paper-based interface for multimedia information stored by multiple multimedia documents
US8635531B2 (en) * 2002-02-21 2014-01-21 Ricoh Company, Ltd. Techniques for displaying information stored in multiple multimedia documents
US7743347B2 (en) * 2001-11-19 2010-06-22 Ricoh Company, Ltd. Paper-based interface for specifying ranges
US7495795B2 (en) * 2002-02-21 2009-02-24 Ricoh Company, Ltd. Interface for printing multimedia information
US7747655B2 (en) * 2001-11-19 2010-06-29 Ricoh Co. Ltd. Printable representations for time-based media
US7703044B2 (en) * 2001-11-19 2010-04-20 Ricoh Company, Ltd. Techniques for generating a static representation for time-based media information
US7861169B2 (en) 2001-11-19 2010-12-28 Ricoh Co. Ltd. Multimedia print driver dialog interfaces
US7788080B2 (en) * 2001-11-19 2010-08-31 Ricoh Company, Ltd. Paper interface for simulation environments
TWI233024B (en) * 2001-11-30 2005-05-21 Penbex Data Systems Incoporati Data synchronizing system and method
US20030140063A1 (en) * 2001-12-17 2003-07-24 Pizzorno Joseph E. System and method for providing health care advice by diagnosing system function
US7685278B2 (en) * 2001-12-18 2010-03-23 Hewlett-Packard Development Company, L.P. Adapting Bayesian network parameters on-line in a dynamic environment
US7013275B2 (en) * 2001-12-28 2006-03-14 Sri International Method and apparatus for providing a dynamic speech-driven control and remote service access system
US7167917B2 (en) * 2002-01-03 2007-01-23 International Business Machines Corporation Visual tool for developing service components for use in advanced intelligent networks
US7716170B2 (en) * 2002-01-08 2010-05-11 Wafik Farag Holistic dynamic information management platform for end-users to interact with and share all information categories, including data, functions, and results, in collaborative secure venue
US7200635B2 (en) * 2002-01-09 2007-04-03 International Business Machines Corporation Smart messenger
US7310636B2 (en) * 2002-01-15 2007-12-18 International Business Machines Corporation Shortcut enabled, context aware information management
US20030171657A1 (en) * 2002-01-22 2003-09-11 Ralph Leonard Selection of optimal medication methodology (SOOMM)
US7146348B2 (en) * 2002-01-22 2006-12-05 Honeywell International Inc. Probabilistic goal recognition system and method incorporating inferred unobserved actions
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6996558B2 (en) 2002-02-26 2006-02-07 International Business Machines Corporation Application portability and extensibility through database schema and query abstraction
WO2003073417A2 (en) * 2002-02-26 2003-09-04 Sap Aktiengesellschaft Intelligent personal assistants
US7003730B2 (en) * 2002-03-08 2006-02-21 International Business Machines Corporation Graphical user interface to build event-based dynamic searches or queries using event profiles
US7016849B2 (en) * 2002-03-25 2006-03-21 Sri International Method and apparatus for providing speech-driven routing between spoken language applications
US20040006593A1 (en) * 2002-06-14 2004-01-08 Vogler Hartmut K. Multidimensional approach to context-awareness
US7177859B2 (en) * 2002-06-26 2007-02-13 Microsoft Corporation Programming model for subscription services
US20040002958A1 (en) 2002-06-26 2004-01-01 Praveen Seshadri System and method for providing notification(s)
US7698276B2 (en) * 2002-06-26 2010-04-13 Microsoft Corporation Framework for providing a subscription based notification system
US20040002988A1 (en) * 2002-06-26 2004-01-01 Praveen Seshadri System and method for modeling subscriptions and subscribers as data
US9886309B2 (en) 2002-06-28 2018-02-06 Microsoft Technology Licensing, Llc Identity-based distributed computing for device resources
US7363398B2 (en) * 2002-08-16 2008-04-22 The Board Of Trustees Of The Leland Stanford Junior University Intelligent total access system
US20040036715A1 (en) * 2002-08-26 2004-02-26 Peter Warren Multi-level user help
US20040064725A1 (en) * 2002-09-18 2004-04-01 Microsoft Corporation Method and system for detecting a communication problem in a computer network
EP1408674B1 (en) * 2002-10-09 2005-09-07 Matsushita Electric Industrial Co., Ltd. Method and device for anticipating operation
US7158965B1 (en) * 2002-11-26 2007-01-02 Microsoft Corporation Method and apparatus for providing help content corresponding to the occurrence of an event within a computer
US20040109030A1 (en) * 2002-12-09 2004-06-10 International Business Machines Corporation Adaptive timing and adaptive content for graphical user interfaces
FR2850185A1 (fr) * 2003-01-20 2004-07-23 France Telecom Frocede d'assistance personnalisee a la navigation au sein d'un reseau de telecommnication tel que le resau internet
US20040145601A1 (en) * 2003-01-29 2004-07-29 International Business Machines Corporation Method and a device for providing additional functionality to a separate application
US7370066B1 (en) * 2003-03-24 2008-05-06 Microsoft Corporation System and method for offline editing of data files
US7415672B1 (en) 2003-03-24 2008-08-19 Microsoft Corporation System and method for designing electronic forms
US7913159B2 (en) 2003-03-28 2011-03-22 Microsoft Corporation System and method for real-time validation of structured data files
US7296017B2 (en) * 2003-03-28 2007-11-13 Microsoft Corporation Validation of XML data files
US7552381B2 (en) * 2003-03-31 2009-06-23 Ricoh Co., Ltd. Check boxes for identifying and processing stored documents
US7509569B2 (en) 2003-03-31 2009-03-24 Ricoh Co., Ltd. Action stickers for nested collections
US7536638B2 (en) * 2003-03-31 2009-05-19 Ricoh Co., Ltd. Action stickers for identifying and processing stored documents
US7703002B2 (en) 2003-03-31 2010-04-20 Ricoh Company, Ltd. Method and apparatus for composing multimedia documents
US7739583B2 (en) * 2003-03-31 2010-06-15 Ricoh Company, Ltd. Multimedia document sharing method and apparatus
US20070050696A1 (en) * 2003-03-31 2007-03-01 Piersol Kurt W Physical key for accessing a securely stored digital document
US7757162B2 (en) * 2003-03-31 2010-07-13 Ricoh Co. Ltd. Document collection manipulation
US7457879B2 (en) 2003-04-01 2008-11-25 Microsoft Corporation Notification platform architecture
US7389230B1 (en) 2003-04-22 2008-06-17 International Business Machines Corporation System and method for classification of voice signals
US7319993B2 (en) * 2003-04-25 2008-01-15 Intel Corporation Automatically generating a path to an item depending on its access history
US20040243531A1 (en) * 2003-04-28 2004-12-02 Dean Michael Anthony Methods and systems for representing, using and displaying time-varying information on the Semantic Web
US8495002B2 (en) * 2003-05-06 2013-07-23 International Business Machines Corporation Software tool for training and testing a knowledge base
US20050187913A1 (en) 2003-05-06 2005-08-25 Yoram Nelken Web-based customer service interface
US7197447B2 (en) * 2003-05-14 2007-03-27 Microsoft Corporation Methods and systems for analyzing software reliability and availability
US7739661B2 (en) * 2003-05-14 2010-06-15 Microsoft Corporation Methods and systems for planning and tracking software reliability and availability
US7185231B2 (en) * 2003-05-14 2007-02-27 Microsoft Corporation Methods and systems for collecting, analyzing, and reporting software reliability and availability
JP4027269B2 (ja) * 2003-06-02 2007-12-26 キヤノン株式会社 情報処理方法及び装置
US20040268267A1 (en) * 2003-06-25 2004-12-30 Xerox Corporation. Methods and apparatus for prompted activation of an inactive control element in graphical user interface, and context-based help therefor
US7882434B2 (en) * 2003-06-27 2011-02-01 Benjamin Slotznick User prompting when potentially mistaken actions occur during user interaction with content on a display screen
US8739146B2 (en) * 2003-07-30 2014-05-27 International Business Machines Corporation Systems and methods for generating and distributing executable procedures for technical desk-side support
US7406660B1 (en) 2003-08-01 2008-07-29 Microsoft Corporation Mapping between structured data and a visual surface
US7334187B1 (en) 2003-08-06 2008-02-19 Microsoft Corporation Electronic form aggregation
US7275159B2 (en) * 2003-08-11 2007-09-25 Ricoh Company, Ltd. Multimedia output device having embedded encryption functionality
EP1522939A1 (en) * 2003-08-12 2005-04-13 GBS Global Business Software and Services Limited Method for providing process-dependent data
US20050054381A1 (en) * 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
US7512929B2 (en) * 2003-09-19 2009-03-31 Lattix Inc. Apparatus and method for managing design of a software system using dependency structure
US8335755B1 (en) * 2003-09-23 2012-12-18 Evolving Logic Derived contexts for computational experiments
US20050071479A1 (en) * 2003-09-30 2005-03-31 Dimitris Achlioptas Smart button
US7383170B2 (en) * 2003-10-10 2008-06-03 At&T Knowledge Ventures, L.P. System and method for analyzing automatic speech recognition performance data
EP1524589A1 (en) * 2003-10-17 2005-04-20 Alcatel A method for providing a functionality set to a user, a device, a computer software product, a user interface network service, and a user interface therefor
US7669177B2 (en) 2003-10-24 2010-02-23 Microsoft Corporation System and method for preference application installation and execution
US7620667B2 (en) * 2003-11-17 2009-11-17 Microsoft Corporation Transfer of user profiles using portable storage devices
DE10356399B4 (de) * 2003-12-03 2006-06-14 Ontoprise Gmbh Datenverarbeitungssystem
US7620888B2 (en) * 2003-12-04 2009-11-17 Microsoft Corporation Quality enhancement systems and methods for technical documentation
US7559057B2 (en) * 2003-12-05 2009-07-07 International Business Machines Corporation Alignment and generalization of demonstrated procedure traces
US7900133B2 (en) 2003-12-09 2011-03-01 International Business Machines Corporation Annotation structure type determination
US7865829B1 (en) 2003-12-31 2011-01-04 Intuit Inc. Providing software application help based on heuristics
US7707039B2 (en) 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US8819072B1 (en) 2004-02-02 2014-08-26 Microsoft Corporation Promoting data from structured data files
US20060053097A1 (en) * 2004-04-01 2006-03-09 King Martin T Searching and accessing documents on private networks for use with captures from rendered documents
US7812860B2 (en) * 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US20060041484A1 (en) * 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US20060122983A1 (en) * 2004-12-03 2006-06-08 King Martin T Locating electronic instances of documents based on rendered instances, document fragment digest generation, and digest based document fragment determination
US20060041605A1 (en) * 2004-04-01 2006-02-23 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US7277884B2 (en) * 2004-02-17 2007-10-02 Microsoft Corporation Method and system for generating help files based on user queries
US7430711B2 (en) * 2004-02-17 2008-09-30 Microsoft Corporation Systems and methods for editing XML documents
KR20070007290A (ko) * 2004-03-01 2007-01-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 지침서 생성 유닛
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US7836461B2 (en) * 2004-03-15 2010-11-16 Imi Innovations, Inc. Computer interface system using multiple independent hardware and virtual human-computer input devices and related enabling subroutines
US7802265B2 (en) * 2004-03-15 2010-09-21 Imi Innovations, Inc. Computer interface system using multiple independent graphical data input devices
US7779355B1 (en) 2004-03-30 2010-08-17 Ricoh Company, Ltd. Techniques for using paper documents as media templates
US20060098900A1 (en) * 2004-09-27 2006-05-11 King Martin T Secure data gathering from rendered documents
US8081849B2 (en) * 2004-12-03 2011-12-20 Google Inc. Portable scanning and memory device
US7990556B2 (en) * 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US20080313172A1 (en) * 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20060081714A1 (en) * 2004-08-23 2006-04-20 King Martin T Portable scanning device
US20070300142A1 (en) * 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US9008447B2 (en) * 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US20050246434A1 (en) * 2004-04-05 2005-11-03 International Business Machines Corporation Services for capturing and modeling computer usage
US8612208B2 (en) 2004-04-07 2013-12-17 Oracle Otc Subsidiary Llc Ontology for use with a system, method, and computer readable medium for retrieving information and response to a query
US8082264B2 (en) 2004-04-07 2011-12-20 Inquira, Inc. Automated scheme for identifying user intent in real-time
US7822992B2 (en) * 2004-04-07 2010-10-26 Microsoft Corporation In-place content substitution via code-invoking link
US7747601B2 (en) 2006-08-14 2010-06-29 Inquira, Inc. Method and apparatus for identifying and classifying query intent
US7890744B2 (en) * 2004-04-07 2011-02-15 Microsoft Corporation Activating content based on state
US8713418B2 (en) * 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
KR100584380B1 (ko) * 2004-04-13 2006-05-26 삼성전자주식회사 이동통신장치용 에이전트의 네트웍 기반 성장 구현방법 및시스템
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8874504B2 (en) * 2004-12-03 2014-10-28 Google Inc. Processing techniques for visual capture data from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US20110099053A1 (en) * 2004-04-30 2011-04-28 Irizarry Jr Robert T Method and system for monitoring successful use of application software
US20050246241A1 (en) * 2004-04-30 2005-11-03 Rightnow Technologies, Inc. Method and system for monitoring successful use of application software
US20080195594A1 (en) * 2004-05-11 2008-08-14 Gerjets Sven W Computerized Comprehensive Health Assessment and Physician Directed Systems
US20050266866A1 (en) * 2004-05-26 2005-12-01 Motorola, Inc. Feature finding assistant on a user interface
US20060031465A1 (en) * 2004-05-26 2006-02-09 Motorola, Inc. Method and system of arranging configurable options in a user interface
US20060107219A1 (en) * 2004-05-26 2006-05-18 Motorola, Inc. Method to enhance user interface and target applications based on context awareness
US7774620B1 (en) 2004-05-27 2010-08-10 Microsoft Corporation Executing applications at appropriate trust levels
US20050278340A1 (en) * 2004-05-28 2005-12-15 Rehberg Charles P Problem solving assistant
US7440933B2 (en) * 2004-06-18 2008-10-21 International Business Machines Corporation Method for facilitating problem resolution
US7350190B2 (en) * 2004-06-29 2008-03-25 International Business Machines Corporation Computer implemented modeling and analysis of an application user interface
US20060010381A1 (en) * 2004-07-07 2006-01-12 International Business Machines Corporation Method for visually indicating the quality of on-screen help messages
US8346620B2 (en) * 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US8341172B2 (en) * 2004-07-22 2012-12-25 International Business Machines Corporation Method and system for providing aggregate data access
US20060026531A1 (en) * 2004-07-29 2006-02-02 Sony Coporation State-based computer help utility
GB2416877A (en) * 2004-08-03 2006-02-08 Tis Software Ltd Context sensitive information provision
US20060031780A1 (en) * 2004-08-05 2006-02-09 Schlotzhauer Ed O Dynamically configurable, task oriented communication between user and application
US20060053100A1 (en) * 2004-09-03 2006-03-09 Ich Servers, S.L. Rapid search system
US7593924B2 (en) * 2004-09-20 2009-09-22 Microsoft Corporation Method, system, and apparatus for receiving and responding to knowledge interchange queries
US7707167B2 (en) * 2004-09-20 2010-04-27 Microsoft Corporation Method, system, and apparatus for creating a knowledge interchange profile
US7730010B2 (en) * 2004-09-20 2010-06-01 Microsoft Corporation Method, system, and apparatus for maintaining user privacy in a knowledge interchange system
US7950044B2 (en) * 2004-09-28 2011-05-24 Rockwell Automation Technologies, Inc. Centrally managed proxy-based security for legacy automation systems
US9747579B2 (en) * 2004-09-30 2017-08-29 The Invention Science Fund I, Llc Enhanced user assistance
US20060074933A1 (en) * 2004-09-30 2006-04-06 Microsoft Corporation Workflow interaction
US10445799B2 (en) 2004-09-30 2019-10-15 Uber Technologies, Inc. Supply-chain side assistance
US10687166B2 (en) 2004-09-30 2020-06-16 Uber Technologies, Inc. Obtaining user assistance
US9307577B2 (en) 2005-01-21 2016-04-05 The Invention Science Fund I, Llc User assistance
US10514816B2 (en) 2004-12-01 2019-12-24 Uber Technologies, Inc. Enhanced user assistance
US7692636B2 (en) * 2004-09-30 2010-04-06 Microsoft Corporation Systems and methods for handwriting to a screen
US7275017B2 (en) * 2004-10-13 2007-09-25 Cisco Technology, Inc. Method and apparatus for generating diagnoses of network problems
US8487879B2 (en) * 2004-10-29 2013-07-16 Microsoft Corporation Systems and methods for interacting with a computer through handwriting to a screen
US20060106854A1 (en) * 2004-11-01 2006-05-18 Haigh Karen Z System and method for automatically including supplemental information in reminder messages
US8805894B2 (en) * 2004-11-05 2014-08-12 Michael Valdiserri Interactive 3-dimensional object-oriented database information storage/retrieval system
US20060107224A1 (en) * 2004-11-15 2006-05-18 Microsoft Corporation Building a dynamic action for an electronic form
US7584417B2 (en) * 2004-11-15 2009-09-01 Microsoft Corporation Role-dependent action for an electronic form
US7712022B2 (en) * 2004-11-15 2010-05-04 Microsoft Corporation Mutually exclusive options in electronic forms
US8942985B2 (en) 2004-11-16 2015-01-27 Microsoft Corporation Centralized method and system for clarifying voice commands
US7721190B2 (en) * 2004-11-16 2010-05-18 Microsoft Corporation Methods and systems for server side form processing
US8176422B2 (en) * 2004-11-19 2012-05-08 International Business Machines Corporation Method for aligning demonstrated user actions with existing documentation
US7480648B2 (en) * 2004-12-06 2009-01-20 International Business Machines Corporation Research rapidity and efficiency improvement by analysis of research artifact similarity
US20060150077A1 (en) * 2004-12-30 2006-07-06 Microsoft Corporation User interface method
US20060155686A1 (en) * 2005-01-13 2006-07-13 Peterson John W Facilitating direct access to live controls for features of a system or application via a keyword search
US7937651B2 (en) * 2005-01-14 2011-05-03 Microsoft Corporation Structural editing operations for network forms
US8122012B2 (en) * 2005-01-14 2012-02-21 International Business Machines Corporation Abstract record timeline rendering/display
US7624097B2 (en) * 2005-01-14 2009-11-24 International Business Machines Corporation Abstract records
US7272587B1 (en) * 2005-01-28 2007-09-18 Hrl Laboratories, Llc Generation of decision trees by means of a probabilistic model
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US9910341B2 (en) 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US20060172267A1 (en) * 2005-01-31 2006-08-03 Microsoft Corporation Input device training and automatic assignment
US20060187230A1 (en) * 2005-01-31 2006-08-24 Searete Llc Peripheral shared image device sharing
US9124729B2 (en) * 2005-01-31 2015-09-01 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9325781B2 (en) 2005-01-31 2016-04-26 Invention Science Fund I, Llc Audio sharing
US20060170956A1 (en) * 2005-01-31 2006-08-03 Jung Edward K Shared image devices
US9489717B2 (en) * 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US7725834B2 (en) 2005-03-04 2010-05-25 Microsoft Corporation Designer-created aspect for an electronic form template
US20060206444A1 (en) * 2005-03-11 2006-09-14 International Business Machines Corporation Services using beliefs and rules for improved flexibility
US7673228B2 (en) * 2005-03-30 2010-03-02 Microsoft Corporation Data-driven actions for network forms
US8010515B2 (en) * 2005-04-15 2011-08-30 Microsoft Corporation Query to an electronic form
US7703037B2 (en) * 2005-04-20 2010-04-20 Microsoft Corporation Searchable task-based interface to control panel functionality
US9001215B2 (en) * 2005-06-02 2015-04-07 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US9191611B2 (en) * 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9093121B2 (en) 2006-02-28 2015-07-28 The Invention Science Fund I, Llc Data management of an audio data stream
US20070222865A1 (en) 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US20090144391A1 (en) * 2007-11-30 2009-06-04 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Audio sharing
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US20070008326A1 (en) * 2005-06-02 2007-01-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US9967424B2 (en) * 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US9167195B2 (en) * 2005-10-31 2015-10-20 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US20070098348A1 (en) * 2005-10-31 2007-05-03 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Degradation/preservation management of captured data
US20070109411A1 (en) * 2005-06-02 2007-05-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Composite image selectivity
US8964054B2 (en) * 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US9451200B2 (en) * 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US9076208B2 (en) * 2006-02-28 2015-07-07 The Invention Science Fund I, Llc Imagery processing
US20070139529A1 (en) * 2005-06-02 2007-06-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US9621749B2 (en) * 2005-06-02 2017-04-11 Invention Science Fund I, Llc Capturing selected image objects
US8280719B2 (en) * 2005-05-05 2012-10-02 Ramp, Inc. Methods and systems relating to information extraction
US20060279531A1 (en) * 2005-05-25 2006-12-14 Jung Edward K Physical interaction-responsive user interface
US20070011665A1 (en) * 2005-06-21 2007-01-11 Microsoft Corporation Content syndication platform
JP4774825B2 (ja) * 2005-06-22 2011-09-14 ソニー株式会社 演技評価装置及び方法
US8200975B2 (en) * 2005-06-29 2012-06-12 Microsoft Corporation Digital signatures for network forms
US7428521B2 (en) * 2005-06-29 2008-09-23 Microsoft Corporation Precomputation of context-sensitive policies for automated inquiry and action under uncertainty
US7484179B2 (en) * 2005-06-30 2009-01-27 Microsoft Corporation Integrated work management and tracking
US20070061219A1 (en) * 2005-07-07 2007-03-15 Daniel Palestrant Method and apparatus for conducting an information brokering service
US9183752B2 (en) * 2005-07-14 2015-11-10 Red Hat, Inc. Tutorial generator with automatic capture of screenshots
JP2007025497A (ja) * 2005-07-20 2007-02-01 Fujitsu Ltd 教育支援プログラムおよび教育支援装置
FR2888968B1 (fr) * 2005-07-25 2008-05-09 Airbus Sas Procede de traitement de donnees en vue de la determination de motifs visuels dans une scene visuelle
US7601904B2 (en) * 2005-08-03 2009-10-13 Richard Dreyfuss Interactive tool and appertaining method for creating a graphical music display
JP2007048035A (ja) * 2005-08-10 2007-02-22 Konica Minolta Business Technologies Inc 制御装置、プログラム及び操作インターフェイス
US7613996B2 (en) * 2005-08-15 2009-11-03 Microsoft Corporation Enabling selection of an inferred schema part
US20070043717A1 (en) * 2005-08-18 2007-02-22 Arellanes Paul T Relevancy association architecture
US8738732B2 (en) 2005-09-14 2014-05-27 Liveperson, Inc. System and method for performing follow up based on user interactions
US20070061706A1 (en) * 2005-09-14 2007-03-15 Microsoft Corporation Mapping property hierarchies to schemas
US9432468B2 (en) 2005-09-14 2016-08-30 Liveperson, Inc. System and method for design and dynamic generation of a web page
US20070061467A1 (en) * 2005-09-15 2007-03-15 Microsoft Corporation Sessions and session states
WO2007111648A2 (en) * 2005-10-28 2007-10-04 Openconnect Systems, Incorporated Modeling interactions with a computer system
US20070120980A1 (en) 2005-10-31 2007-05-31 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Preservation/degradation of video/audio aspects of a data stream
US20070101287A1 (en) * 2005-11-03 2007-05-03 International Business Machines Corporation Pop-up windows in a computer system
US7840451B2 (en) * 2005-11-07 2010-11-23 Sap Ag Identifying the most relevant computer system state information
US8805675B2 (en) * 2005-11-07 2014-08-12 Sap Ag Representing a computer system state to a user
US7979295B2 (en) * 2005-12-02 2011-07-12 Sap Ag Supporting user interaction with a computer system
US8001459B2 (en) * 2005-12-05 2011-08-16 Microsoft Corporation Enabling electronic documents for limited-capability computing devices
US7676489B2 (en) * 2005-12-06 2010-03-09 Sap Ag Providing natural-language interface to repository
US20070136222A1 (en) * 2005-12-09 2007-06-14 Microsoft Corporation Question and answer architecture for reasoning and clarifying intentions, goals, and needs from contextual clues and content
US20070143275A1 (en) * 2005-12-21 2007-06-21 International Business Machines Corporation Work-context search strings for work-embedded e-learning
US20070157093A1 (en) * 2005-12-30 2007-07-05 Patrick Karcher Systems and methods for adaptive help mechanisms for a user
US7917904B2 (en) 2006-01-06 2011-03-29 Microsoft Corporation Automated analysis tasks of complex computer system
US7904887B2 (en) * 2006-02-16 2011-03-08 International Business Machines Corporation Learning and cache management in software defined contexts
US7599861B2 (en) 2006-03-02 2009-10-06 Convergys Customer Management Group, Inc. System and method for closed loop decisionmaking in an automated care system
US7925975B2 (en) 2006-03-10 2011-04-12 Microsoft Corporation Searching for commands to execute in applications
JP4783181B2 (ja) * 2006-03-13 2011-09-28 株式会社東芝 行動予測装置
US7752545B2 (en) * 2006-03-15 2010-07-06 Microsoft Corporation Generator system
WO2007109444A2 (en) * 2006-03-17 2007-09-27 Schmitt William C Common format learning device
US7752152B2 (en) 2006-03-17 2010-07-06 Microsoft Corporation Using predictive user models for language modeling on a personal device with user behavior models based on statistical modeling
US8032375B2 (en) 2006-03-17 2011-10-04 Microsoft Corporation Using generic predictive models for slot values in language modeling
US8358976B2 (en) 2006-03-24 2013-01-22 The Invention Science Fund I, Llc Wireless device with an aggregate user interface for controlling other devices
US8095490B2 (en) * 2006-03-27 2012-01-10 Panasonic Corporation User support device, method, and program
US8244545B2 (en) * 2006-03-30 2012-08-14 Microsoft Corporation Dialog repair based on discrepancies between user model predictions and speech recognition results
US7921099B2 (en) * 2006-05-10 2011-04-05 Inquira, Inc. Guided navigation system
US9507778B2 (en) 2006-05-19 2016-11-29 Yahoo! Inc. Summarization of media object collections
US7809663B1 (en) 2006-05-22 2010-10-05 Convergys Cmg Utah, Inc. System and method for supporting the utilization of machine language
US8379830B1 (en) 2006-05-22 2013-02-19 Convergys Customer Management Delaware Llc System and method for automated customer service with contingent live interaction
US8010094B2 (en) * 2006-06-06 2011-08-30 Turner Broadcasting System, Inc. Mobile device with themed multimedia effects
US7970746B2 (en) * 2006-06-13 2011-06-28 Microsoft Corporation Declarative management framework
US7730068B2 (en) * 2006-06-13 2010-06-01 Microsoft Corporation Extensible data collectors
WO2007145680A1 (en) * 2006-06-13 2007-12-21 Microsoft Corporation Declarative management framework
US20080155409A1 (en) * 2006-06-19 2008-06-26 Andy Santana Internet search engine
US8656280B2 (en) * 2006-06-21 2014-02-18 Panasonic Corporation Device for estimating user operation intention and electronic device using the same
US8364514B2 (en) * 2006-06-27 2013-01-29 Microsoft Corporation Monitoring group activities
US20070300225A1 (en) * 2006-06-27 2007-12-27 Microsoft Coporation Providing user information to introspection
US7970637B2 (en) 2006-06-27 2011-06-28 Microsoft Corporation Activity-centric granular application functionality
US7548895B2 (en) * 2006-06-30 2009-06-16 Microsoft Corporation Communication-prompted user assistance
US8781813B2 (en) 2006-08-14 2014-07-15 Oracle Otc Subsidiary Llc Intent management tool for identifying concepts associated with a plurality of users' queries
US7698246B2 (en) * 2006-09-07 2010-04-13 International Business Machines Corporation System and method for optimal and adaptive process unification of decision support functions associated with managing a chaotic event
US9202184B2 (en) 2006-09-07 2015-12-01 International Business Machines Corporation Optimizing the selection, verification, and deployment of expert resources in a time of chaos
US7584160B2 (en) * 2006-10-27 2009-09-01 International Business Machines Corporation System and method for optimizing project subdivision using data and requirements focuses subject to multidimensional constraints
US7630948B2 (en) * 2006-09-07 2009-12-08 International Business Machines Corporation System and method for managing a chaotic event
US7647288B2 (en) * 2006-09-07 2010-01-12 International Business Machines Corporation System and method for optimally customizable and adaptive personalized information display for information associated with managing a chaotic event
US7653609B2 (en) * 2006-09-07 2010-01-26 International Business Machines Corporation System and method for managing a chaotic event by optimizing decision subdivisions subject to multidimensional constraints
US7647286B2 (en) * 2006-09-07 2010-01-12 International Business Machines Corporation System and method for managing a chaotic event by providing optimal and adaptive sequencing of decision sets with supporting data
WO2008031625A2 (en) * 2006-09-15 2008-03-20 Exbiblio B.V. Capture and display of annotations in paper and electronic documents
US8145582B2 (en) 2006-10-03 2012-03-27 International Business Machines Corporation Synthetic events for real time patient analysis
US20090287503A1 (en) * 2008-05-16 2009-11-19 International Business Machines Corporation Analysis of individual and group healthcare data in order to provide real time healthcare recommendations
US7809660B2 (en) * 2006-10-03 2010-10-05 International Business Machines Corporation System and method to optimize control cohorts using clustering algorithms
US8055603B2 (en) * 2006-10-03 2011-11-08 International Business Machines Corporation Automatic generation of new rules for processing synthetic events using computer-based learning processes
US7752154B2 (en) * 2007-02-26 2010-07-06 International Business Machines Corporation System and method for deriving a hierarchical event based database optimized for analysis of criminal and security information
US8589190B1 (en) 2006-10-06 2013-11-19 Liberty Mutual Insurance Company System and method for underwriting a prepackaged business owners insurance policy
US20080102428A1 (en) * 2006-10-25 2008-05-01 Monitor Company Group Limited Partnership System and Method for Providing a User-Centric Interactive Learning Environment
US20080104101A1 (en) * 2006-10-27 2008-05-01 Kirshenbaum Evan R Producing a feature in response to a received expression
US8594702B2 (en) * 2006-11-06 2013-11-26 Yahoo! Inc. Context server for associating information based on context
US8032834B2 (en) * 2006-11-07 2011-10-04 International Business Machines Corporation Context-based user assistance
US7720868B2 (en) * 2006-11-13 2010-05-18 Microsoft Corporation Providing assistance with the creation of an XPath expression
US8595636B2 (en) * 2006-11-16 2013-11-26 International Business Machines Corporation Method and system for mapping GUI widgets
US8640034B2 (en) * 2006-11-16 2014-01-28 International Business Machines Corporation Remote GUI control by replication of local interactions
US9110903B2 (en) * 2006-11-22 2015-08-18 Yahoo! Inc. Method, system and apparatus for using user profile electronic device data in media delivery
US8402356B2 (en) * 2006-11-22 2013-03-19 Yahoo! Inc. Methods, systems and apparatus for delivery of media
US8095476B2 (en) 2006-11-27 2012-01-10 Inquira, Inc. Automated support scheme for electronic forms
US7881990B2 (en) * 2006-11-30 2011-02-01 Intuit Inc. Automatic time tracking based on user interface events
US8060385B1 (en) 2006-12-08 2011-11-15 Safeco Insurance Company Of America System, program product and method for segmenting and underwriting using voting status
US7711462B2 (en) * 2006-12-15 2010-05-04 International Business Machines Corporation Vehicle help system and method
US8285732B2 (en) * 2006-12-18 2012-10-09 Sap Ag Method and system for providing themes for software applications
US8769099B2 (en) * 2006-12-28 2014-07-01 Yahoo! Inc. Methods and systems for pre-caching information on a mobile computing device
US8131536B2 (en) * 2007-01-12 2012-03-06 Raytheon Bbn Technologies Corp. Extraction-empowered machine translation
US8024660B1 (en) 2007-01-31 2011-09-20 Intuit Inc. Method and apparatus for variable help content and abandonment intervention based on user behavior
US20080189163A1 (en) * 2007-02-05 2008-08-07 Inquira, Inc. Information management system
US8635307B2 (en) * 2007-02-08 2014-01-21 Microsoft Corporation Sensor discovery and configuration
US7788202B2 (en) * 2007-02-26 2010-08-31 International Business Machines Corporation System and method for deriving a hierarchical event based database optimized for clinical applications
US7805390B2 (en) * 2007-02-26 2010-09-28 International Business Machines Corporation System and method for deriving a hierarchical event based database optimized for analysis of complex accidents
US7783586B2 (en) * 2007-02-26 2010-08-24 International Business Machines Corporation System and method for deriving a hierarchical event based database optimized for analysis of biological systems
US7917478B2 (en) * 2007-02-26 2011-03-29 International Business Machines Corporation System and method for quality control in healthcare settings to continuously monitor outcomes and undesirable outcomes such as infections, re-operations, excess mortality, and readmissions
US7970759B2 (en) 2007-02-26 2011-06-28 International Business Machines Corporation System and method for deriving a hierarchical event based database optimized for pharmaceutical analysis
US7788203B2 (en) * 2007-02-26 2010-08-31 International Business Machines Corporation System and method of accident investigation for complex situations involving numerous known and unknown factors along with their probabilistic weightings
US7853611B2 (en) * 2007-02-26 2010-12-14 International Business Machines Corporation System and method for deriving a hierarchical event based database having action triggers based on inferred probabilities
US7792774B2 (en) * 2007-02-26 2010-09-07 International Business Machines Corporation System and method for deriving a hierarchical event based database optimized for analysis of chaotic events
US7702605B2 (en) * 2007-02-26 2010-04-20 International Business Machines Corporation System and method for deriving a hierarchical event based database optimized for privacy and security filtering
US8281234B2 (en) * 2007-03-20 2012-10-02 Microsoft Corporation Definable application assistant
US7903970B2 (en) * 2007-03-30 2011-03-08 Georgia Tech Research Corporation Optical network evaluation systems and methods
JP2008257345A (ja) * 2007-04-02 2008-10-23 Fuji Xerox Co Ltd 情報処理装置、情報処理プログラム、及び、画像処理システム
US7930676B1 (en) * 2007-04-27 2011-04-19 Intuit Inc. System and method for adapting software elements based on mood state profiling
US7870491B1 (en) 2007-04-27 2011-01-11 Intuit Inc. System and method for user support based on user interaction histories
US7788204B1 (en) * 2007-04-27 2010-08-31 Intuit Inc. System and method for adapting program elements based on application usage
US20080288865A1 (en) * 2007-05-16 2008-11-20 Yahoo! Inc. Application with in-context video assistance
US7680645B2 (en) * 2007-06-15 2010-03-16 Microsoft Corporation Software feature modeling and recognition
US7739666B2 (en) * 2007-06-15 2010-06-15 Microsoft Corporation Analyzing software users with instrumentation data and user group modeling and analysis
US7747988B2 (en) * 2007-06-15 2010-06-29 Microsoft Corporation Software feature usage analysis and reporting
US7870114B2 (en) 2007-06-15 2011-01-11 Microsoft Corporation Efficient data infrastructure for high dimensional data analysis
US7996400B2 (en) * 2007-06-23 2011-08-09 Microsoft Corporation Identification and use of web searcher expertise
US7962344B2 (en) * 2007-06-29 2011-06-14 Microsoft Corporation Depicting a speech user interface via graphical elements
US9224147B2 (en) * 2007-07-16 2015-12-29 Hector Franco Customer service management system
US20090030902A1 (en) * 2007-07-24 2009-01-29 Microsoft Corporation Schematized data intelligent assistance for development environments
US8244503B1 (en) 2007-08-30 2012-08-14 The United States Of America As Represented By The Secretary Of The Air Force Quantitative measurements of system complexity
US8307334B2 (en) * 2007-09-17 2012-11-06 International Business Machines Corporation Method for assisting a user in the process of creating software code
US8307333B2 (en) * 2007-09-17 2012-11-06 International Business Machines Corporation System and computer program product for assisting a user in the process of creating software code
US20110145068A1 (en) * 2007-09-17 2011-06-16 King Martin T Associating rendered advertisements with digital content
US7836003B2 (en) * 2007-09-21 2010-11-16 Intel Corporation Assisting a user experiencing cognitive decline by retracing footsteps
US8595642B1 (en) * 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US7890539B2 (en) * 2007-10-10 2011-02-15 Raytheon Bbn Technologies Corp. Semantic matching using predicate-argument structure
US8671104B2 (en) 2007-10-12 2014-03-11 Palo Alto Research Center Incorporated System and method for providing orientation into digital information
US8165985B2 (en) 2007-10-12 2012-04-24 Palo Alto Research Center Incorporated System and method for performing discovery of digital information in a subject area
US8073682B2 (en) * 2007-10-12 2011-12-06 Palo Alto Research Center Incorporated System and method for prospecting digital information
US7930262B2 (en) 2007-10-18 2011-04-19 International Business Machines Corporation System and method for the longitudinal analysis of education outcomes using cohort life cycles, cluster analytics-based cohort analysis, and probabilistic data schemas
US8150791B2 (en) * 2007-10-19 2012-04-03 Hartwell Brown Benefits services privacy architecture
US20090138849A1 (en) * 2007-10-30 2009-05-28 Microsoft Corporation Enhanced Prompting in a Visual Editor
US9063979B2 (en) * 2007-11-01 2015-06-23 Ebay, Inc. Analyzing event streams of user sessions
US7940168B2 (en) * 2007-11-19 2011-05-10 Intel-Ge Care Innovations Llc System, apparatus and method for automated emergency assistance with manual cancellation
US10083420B2 (en) 2007-11-21 2018-09-25 Sermo, Inc Community moderated information
US8069142B2 (en) * 2007-12-06 2011-11-29 Yahoo! Inc. System and method for synchronizing data on a network
US8671154B2 (en) * 2007-12-10 2014-03-11 Yahoo! Inc. System and method for contextual addressing of communications on a network
US8307029B2 (en) * 2007-12-10 2012-11-06 Yahoo! Inc. System and method for conditional delivery of messages
US8166168B2 (en) 2007-12-17 2012-04-24 Yahoo! Inc. System and method for disambiguating non-unique identifiers using information obtained from disparate communication channels
US7779051B2 (en) * 2008-01-02 2010-08-17 International Business Machines Corporation System and method for optimizing federated and ETL'd databases with considerations of specialized data structures within an environment having multidimensional constraints
US9706345B2 (en) * 2008-01-04 2017-07-11 Excalibur Ip, Llc Interest mapping system
US9626685B2 (en) 2008-01-04 2017-04-18 Excalibur Ip, Llc Systems and methods of mapping attention
US8762285B2 (en) * 2008-01-06 2014-06-24 Yahoo! Inc. System and method for message clustering
US20090182618A1 (en) 2008-01-16 2009-07-16 Yahoo! Inc. System and Method for Word-of-Mouth Advertising
US8151192B2 (en) * 2008-02-01 2012-04-03 Microsoft Corporation Context sensitive help
US8538811B2 (en) * 2008-03-03 2013-09-17 Yahoo! Inc. Method and apparatus for social network marketing with advocate referral
US8560390B2 (en) 2008-03-03 2013-10-15 Yahoo! Inc. Method and apparatus for social network marketing with brand referral
US8554623B2 (en) 2008-03-03 2013-10-08 Yahoo! Inc. Method and apparatus for social network marketing with consumer referral
US20090240539A1 (en) * 2008-03-21 2009-09-24 Microsoft Corporation Machine learning system for a task brokerage system
US20090240549A1 (en) * 2008-03-21 2009-09-24 Microsoft Corporation Recommendation system for a task brokerage system
US8745133B2 (en) 2008-03-28 2014-06-03 Yahoo! Inc. System and method for optimizing the storage of data
US8589486B2 (en) 2008-03-28 2013-11-19 Yahoo! Inc. System and method for addressing communications
US8271506B2 (en) 2008-03-31 2012-09-18 Yahoo! Inc. System and method for modeling relationships between entities
US8808178B2 (en) * 2008-04-30 2014-08-19 Welch Allyn, Inc. On demand help/in-service for a medical device
US20090299766A1 (en) * 2008-05-30 2009-12-03 International Business Machines Corporation System and method for optimizing medical treatment planning and support in difficult situations subject to multiple constraints and uncertainties
US20090300495A1 (en) * 2008-06-02 2009-12-03 Novell, Inc. System and method for an adaptive wizard utility for graphical user interfaces
US8812809B2 (en) 2008-06-10 2014-08-19 Oracle America, Inc. Method and apparatus for allocating memory for immutable data on a computing device
US8010512B2 (en) * 2008-06-16 2011-08-30 International Business Machines Corporation System and method for model-driven object store
US8103598B2 (en) * 2008-06-20 2012-01-24 Microsoft Corporation Compiler for probabilistic programs
US9396099B2 (en) * 2008-06-24 2016-07-19 International Business Machines Corporation Application state detector and inducer
US8620635B2 (en) * 2008-06-27 2013-12-31 Microsoft Corporation Composition of analytics models
US8411085B2 (en) 2008-06-27 2013-04-02 Microsoft Corporation Constructing view compositions for domain-specific environments
US8706406B2 (en) * 2008-06-27 2014-04-22 Yahoo! Inc. System and method for determination and display of personalized distance
US8813107B2 (en) 2008-06-27 2014-08-19 Yahoo! Inc. System and method for location based media delivery
US8255192B2 (en) * 2008-06-27 2012-08-28 Microsoft Corporation Analytical map models
US20090322739A1 (en) * 2008-06-27 2009-12-31 Microsoft Corporation Visual Interactions with Analytics
US8452855B2 (en) 2008-06-27 2013-05-28 Yahoo! Inc. System and method for presentation of media related to a context
US8117145B2 (en) * 2008-06-27 2012-02-14 Microsoft Corporation Analytical model solver framework
US20110115702A1 (en) * 2008-07-08 2011-05-19 David Seaberg Process for Providing and Editing Instructions, Data, Data Structures, and Algorithms in a Computer System
US20110125702A1 (en) * 2008-07-10 2011-05-26 Prasanna Gorur Narayana Srinivasa Decision support methods under uncertainty
US8260846B2 (en) 2008-07-25 2012-09-04 Liveperson, Inc. Method and system for providing targeted content to a surfer
US8762313B2 (en) 2008-07-25 2014-06-24 Liveperson, Inc. Method and system for creating a predictive model for targeting web-page to a surfer
US8086700B2 (en) 2008-07-29 2011-12-27 Yahoo! Inc. Region and duration uniform resource identifiers (URI) for media objects
US8583668B2 (en) 2008-07-30 2013-11-12 Yahoo! Inc. System and method for context enhanced mapping
US10230803B2 (en) * 2008-07-30 2019-03-12 Excalibur Ip, Llc System and method for improved mapping and routing
US8805844B2 (en) 2008-08-04 2014-08-12 Liveperson, Inc. Expert search
US20100049800A1 (en) * 2008-08-20 2010-02-25 International Business Machines Corporation Facilitated Help With Program Function From Experienced Users
US8386506B2 (en) * 2008-08-21 2013-02-26 Yahoo! Inc. System and method for context enhanced messaging
US9940582B2 (en) * 2008-08-27 2018-04-10 International Business Machines Corporation Intelligent problem tracking electronic system for optimizing technical support
US20100057536A1 (en) * 2008-08-28 2010-03-04 Palo Alto Research Center Incorporated System And Method For Providing Community-Based Advertising Term Disambiguation
US20100057577A1 (en) * 2008-08-28 2010-03-04 Palo Alto Research Center Incorporated System And Method For Providing Topic-Guided Broadening Of Advertising Targets In Social Indexing
US8209616B2 (en) * 2008-08-28 2012-06-26 Palo Alto Research Center Incorporated System and method for interfacing a web browser widget with social indexing
US8010545B2 (en) * 2008-08-28 2011-08-30 Palo Alto Research Center Incorporated System and method for providing a topic-directed search
US20100063993A1 (en) * 2008-09-08 2010-03-11 Yahoo! Inc. System and method for socially aware identity manager
US8949161B2 (en) * 2008-09-12 2015-02-03 Alcatel Lucent Cache management system and method and content distribution system incorporating the same
US8281027B2 (en) * 2008-09-19 2012-10-02 Yahoo! Inc. System and method for distributing media related to a location
US9600484B2 (en) * 2008-09-30 2017-03-21 Excalibur Ip, Llc System and method for reporting and analysis of media consumption data
US8108778B2 (en) * 2008-09-30 2012-01-31 Yahoo! Inc. System and method for context enhanced mapping within a user interface
KR101025743B1 (ko) * 2008-10-13 2011-04-04 한국전자통신연구원 중거리 무선 전력 전송 기술을 이용한 인공 망막 구동 장치
US9892417B2 (en) 2008-10-29 2018-02-13 Liveperson, Inc. System and method for applying tracing tools for network locations
US8549016B2 (en) * 2008-11-14 2013-10-01 Palo Alto Research Center Incorporated System and method for providing robust topic identification in social indexes
US8024317B2 (en) 2008-11-18 2011-09-20 Yahoo! Inc. System and method for deriving income from URL based context queries
US9805123B2 (en) * 2008-11-18 2017-10-31 Excalibur Ip, Llc System and method for data privacy in URL based context queries
US8032508B2 (en) * 2008-11-18 2011-10-04 Yahoo! Inc. System and method for URL based query for retrieving data related to a context
US8060492B2 (en) * 2008-11-18 2011-11-15 Yahoo! Inc. System and method for generation of URL based context queries
US8145615B2 (en) * 2008-11-26 2012-03-27 Microsoft Corporation Search and exploration using analytics reference model
US8190406B2 (en) * 2008-11-26 2012-05-29 Microsoft Corporation Hybrid solver for data-driven analytics
US8155931B2 (en) * 2008-11-26 2012-04-10 Microsoft Corporation Use of taxonomized analytics reference model
US8103608B2 (en) * 2008-11-26 2012-01-24 Microsoft Corporation Reference model for data-driven analytics
US9224172B2 (en) 2008-12-02 2015-12-29 Yahoo! Inc. Customizable content for distribution in social networks
US8055675B2 (en) 2008-12-05 2011-11-08 Yahoo! Inc. System and method for context based query augmentation
US8166016B2 (en) * 2008-12-19 2012-04-24 Yahoo! Inc. System and method for automated service recommendations
US8314793B2 (en) 2008-12-24 2012-11-20 Microsoft Corporation Implied analytical reasoning and computation
US8090750B2 (en) 2008-12-30 2012-01-03 International Business Machines Corporation Prompting of an end user with commands
US20100185517A1 (en) * 2009-01-21 2010-07-22 Yahoo! Inc. User interface for interest-based targeted marketing
US20100185518A1 (en) * 2009-01-21 2010-07-22 Yahoo! Inc. Interest-based activity marketing
US8239397B2 (en) * 2009-01-27 2012-08-07 Palo Alto Research Center Incorporated System and method for managing user attention by detecting hot and cold topics in social indexes
US8452781B2 (en) * 2009-01-27 2013-05-28 Palo Alto Research Center Incorporated System and method for using banded topic relevance and time for article prioritization
US8356044B2 (en) * 2009-01-27 2013-01-15 Palo Alto Research Center Incorporated System and method for providing default hierarchical training for social indexing
WO2010096193A2 (en) * 2009-02-18 2010-08-26 Exbiblio B.V. Identifying a document by performing spectral analysis on the contents of the document
IL197196A0 (en) * 2009-02-23 2009-12-24 Univ Ben Gurion Intention prediction using hidden markov models and user profile
US20100228582A1 (en) * 2009-03-06 2010-09-09 Yahoo! Inc. System and method for contextual advertising based on status messages
US8447066B2 (en) 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
WO2010105246A2 (en) * 2009-03-12 2010-09-16 Exbiblio B.V. Accessing resources based on capturing information from a rendered document
US20100241689A1 (en) * 2009-03-19 2010-09-23 Yahoo! Inc. Method and apparatus for associating advertising with computer enabled maps
US8150967B2 (en) * 2009-03-24 2012-04-03 Yahoo! Inc. System and method for verified presence tracking
US20100251118A1 (en) * 2009-03-26 2010-09-30 Peterson Michael L Help utility with expanded content display
US20100280879A1 (en) * 2009-05-01 2010-11-04 Yahoo! Inc. Gift incentive engine
US20100280913A1 (en) * 2009-05-01 2010-11-04 Yahoo! Inc. Gift credit matching engine
KR101562792B1 (ko) * 2009-06-10 2015-10-23 삼성전자주식회사 목표 예측 인터페이스 제공 장치 및 그 방법
US8866818B2 (en) 2009-06-19 2014-10-21 Microsoft Corporation Composing shapes and data series in geometries
US8692826B2 (en) 2009-06-19 2014-04-08 Brian C. Beckman Solver-based visualization framework
US8259134B2 (en) * 2009-06-19 2012-09-04 Microsoft Corporation Data-driven model implemented with spreadsheets
US8788574B2 (en) 2009-06-19 2014-07-22 Microsoft Corporation Data-driven visualization of pseudo-infinite scenes
US9330503B2 (en) 2009-06-19 2016-05-03 Microsoft Technology Licensing, Llc Presaging and surfacing interactivity within data visualizations
US8531451B2 (en) 2009-06-19 2013-09-10 Microsoft Corporation Data-driven visualization transformation
US8493406B2 (en) 2009-06-19 2013-07-23 Microsoft Corporation Creating new charts and data visualizations
US10223701B2 (en) * 2009-08-06 2019-03-05 Excalibur Ip, Llc System and method for verified monetization of commercial campaigns
US8914342B2 (en) 2009-08-12 2014-12-16 Yahoo! Inc. Personal data platform
US8364611B2 (en) 2009-08-13 2013-01-29 Yahoo! Inc. System and method for precaching information on a mobile device
US8352397B2 (en) 2009-09-10 2013-01-08 Microsoft Corporation Dependency graph in data-driven model
US20110087515A1 (en) * 2009-10-08 2011-04-14 Miller Bradford W Cognitive interactive mission planning system and method
US8635584B2 (en) * 2009-10-13 2014-01-21 Yahoo! Inc. Tutorial systems for code creation and provenance tracking
JP5316363B2 (ja) 2009-10-20 2013-10-16 ソニー株式会社 情報処理装置、機能管理方法、コンピュータプログラム及び情報処理システム
US9081799B2 (en) * 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) * 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
EP2339576B1 (en) 2009-12-23 2019-08-07 Google LLC Multi-modal input on an electronic device
US11416214B2 (en) 2009-12-23 2022-08-16 Google Llc Multi-modal input on an electronic device
US8370156B1 (en) * 2010-01-20 2013-02-05 The Mathworks, Inc. Editing suggestions in different formalisms
US9805101B2 (en) * 2010-02-26 2017-10-31 Ebay Inc. Parallel data stream processing system
US20110238603A1 (en) * 2010-03-29 2011-09-29 Raytheon Company System and Method for Predicting Events Via Dynamic Ontologies
JP5941903B2 (ja) 2010-04-07 2016-06-29 ライブパーソン， インコーポレイテッド カスタマイズされたウェブコンテンツおよびアプリケーションを動的にイネーブルにするためのシステムおよび方法
US8396815B2 (en) * 2010-04-29 2013-03-12 International Business Machines Corporation Adaptive business process automation
US9031944B2 (en) 2010-04-30 2015-05-12 Palo Alto Research Center Incorporated System and method for providing multi-core and multi-level topical organization in social indexes
CN102238268B (zh) * 2010-04-30 2013-10-30 腾讯科技（深圳）有限公司 一种信息提示方法及装置
US9183560B2 (en) 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
JP2011253374A (ja) * 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2011253375A (ja) * 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US8560365B2 (en) 2010-06-08 2013-10-15 International Business Machines Corporation Probabilistic optimization of resource discovery, reservation and assignment
US9043296B2 (en) 2010-07-30 2015-05-26 Microsoft Technology Licensing, Llc System of providing suggestions based on accessible and contextual information
US9646271B2 (en) 2010-08-06 2017-05-09 International Business Machines Corporation Generating candidate inclusion/exclusion cohorts for a multiply constrained group
US8968197B2 (en) 2010-09-03 2015-03-03 International Business Machines Corporation Directing a user to a medical resource
US9292577B2 (en) 2010-09-17 2016-03-22 International Business Machines Corporation User accessibility to data analytics
US9443211B2 (en) 2010-10-13 2016-09-13 International Business Machines Corporation Describing a paradigmatic member of a task directed community in a complex heterogeneous environment based on non-linear attributes
US8429182B2 (en) 2010-10-13 2013-04-23 International Business Machines Corporation Populating a task directed community in a complex heterogeneous environment based on non-linear attributes of a paradigmatic cohort member
US10318877B2 (en) 2010-10-19 2019-06-11 International Business Machines Corporation Cohort-based prediction of a future event
US20120136883A1 (en) * 2010-11-27 2012-05-31 Kwabi Christopher K Automatic Dynamic Multi-Variable Matching Engine
US9589254B2 (en) 2010-12-08 2017-03-07 Microsoft Technology Licensing, Llc Using e-mail message characteristics for prioritization
US9350598B2 (en) 2010-12-14 2016-05-24 Liveperson, Inc. Authentication of service requests using a communications initiation feature
US8918465B2 (en) 2010-12-14 2014-12-23 Liveperson, Inc. Authentication of service requests initiated from a social networking site
US9141405B2 (en) * 2010-12-15 2015-09-22 International Business Machines Corporation User interface construction
US20120159341A1 (en) 2010-12-21 2012-06-21 Microsoft Corporation Interactions with contextual and task-based computing environments
US8352245B1 (en) 2010-12-30 2013-01-08 Google Inc. Adjusting language models
US8296142B2 (en) 2011-01-21 2012-10-23 Google Inc. Speech recognition using dock context
GB2489584A (en) * 2011-03-29 2012-10-03 Schlumberger Holdings An immersive GUI for geological data
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US8806444B1 (en) * 2011-04-07 2014-08-12 Intuit Inc. Modifying software based on tracked activities
US20120281704A1 (en) * 2011-05-02 2012-11-08 Butterworth Ashley I Methods and apparatus for isochronous data delivery within a network
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
JP5496947B2 (ja) * 2011-05-27 2014-05-21 株式会社Ｎｔｔドコモ 機能提示システム、端末装置及びプログラム
US9489375B2 (en) 2011-06-19 2016-11-08 Mmodal Ip Llc Speech recognition using an operating system hooking component for context-aware recognition models
US8843851B1 (en) * 2011-07-28 2014-09-23 Intuit Inc. Proactive chat support
CN102955763B (zh) * 2011-08-22 2016-07-06 联想(北京)有限公司 显示方法和显示装置
US8954364B2 (en) 2011-09-19 2015-02-10 International Business Machines Corporation Hierarchical contexts to drive live sensor applications
US9495962B2 (en) * 2011-09-19 2016-11-15 Personetics Technologies Ltd. System and method for evaluating intent of a human partner to a dialogue between human user and computerized system
US8214904B1 (en) 2011-12-21 2012-07-03 Kaspersky Lab Zao System and method for detecting computer security threats based on verdicts of computer users
CN103827758B (zh) * 2011-09-30 2016-10-05 西门子瑞士有限公司 一种供在建筑物自动化系统中使用的设备
US9256396B2 (en) 2011-10-10 2016-02-09 Microsoft Technology Licensing, Llc Speech recognition for context switching
US9454528B2 (en) * 2011-10-17 2016-09-27 Xerox Corporation Method and system for creating ordered reading lists from unstructured document sets
US8209758B1 (en) 2011-12-21 2012-06-26 Kaspersky Lab Zao System and method for classifying users of antivirus software based on their level of expertise in the field of computer security
US8214905B1 (en) 2011-12-21 2012-07-03 Kaspersky Lab Zao System and method for dynamically allocating computing resources for processing security information
US8943002B2 (en) 2012-02-10 2015-01-27 Liveperson, Inc. Analytics driven engagement
USD752086S1 (en) * 2012-02-24 2016-03-22 Samsung Electronics Co., Ltd. Portable electronic device with an animated graphical user interface
US8805941B2 (en) 2012-03-06 2014-08-12 Liveperson, Inc. Occasionally-connected computing interface
US9411619B2 (en) 2012-03-08 2016-08-09 Vmware, Inc. Performance management of system objects based on consequence probabilities
CN104503895A (zh) * 2012-03-29 2015-04-08 北京奇虎科技有限公司 功能提示方法及装置
US20130262365A1 (en) * 2012-03-31 2013-10-03 Sharp Kabushiki Kaisha Educational system, method and program to adapt learning content based on predicted user reaction
US9275342B2 (en) * 2012-04-09 2016-03-01 24/7 Customer, Inc. Method and apparatus for intent modeling and prediction
US9563336B2 (en) 2012-04-26 2017-02-07 Liveperson, Inc. Dynamic user interface customization
US9672196B2 (en) 2012-05-15 2017-06-06 Liveperson, Inc. Methods and systems for presenting specialized content using campaign metrics
US9098111B2 (en) 2012-06-22 2015-08-04 Microsoft Technology Licensing, Llc Focus guidance within a three-dimensional interface
US9465833B2 (en) 2012-07-31 2016-10-11 Veveo, Inc. Disambiguating user intent in conversational interaction system for large corpus information retrieval
US9799328B2 (en) * 2012-08-03 2017-10-24 Veveo, Inc. Method for using pauses detected in speech input to assist in interpreting the input during conversational interaction for information retrieval
US9720527B2 (en) 2012-08-06 2017-08-01 Tracfone Wireless, Inc. Evolutionary touch-based graphical user interface for electronic devices
US20140047334A1 (en) * 2012-08-09 2014-02-13 Sap Ag Computer application learning solution
US9015099B2 (en) * 2012-08-14 2015-04-21 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
US10163058B2 (en) * 2012-08-14 2018-12-25 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
US20140149177A1 (en) * 2012-11-23 2014-05-29 Ari M. Frank Responding to uncertainty of a user regarding an experience by presenting a prior experience
JP5823996B2 (ja) 2013-01-31 2015-11-25 グリー株式会社 通信システム、通信システムの制御方法、及びプログラム
US20140245141A1 (en) * 2013-02-26 2014-08-28 Microsoft Corporation Contextual user assistance for cloud services
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US20140247210A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Zonal gaze driven interaction
US9251467B2 (en) 2013-03-03 2016-02-02 Microsoft Technology Licensing, Llc Probabilistic parsing
US9256341B2 (en) 2013-03-20 2016-02-09 Microsoft Technology Licensing, Llc Tracking changes in collaborative authoring environment
US20140310681A1 (en) * 2013-04-12 2014-10-16 Microsoft Corporation Assisted creation of control event
DK2994908T3 (da) * 2013-05-07 2019-09-23 Veveo Inc Grænseflade til inkrementel taleinput med realtidsfeedback
US9804730B2 (en) 2013-06-03 2017-10-31 Microsoft Technology Licensing, Llc Automatically changing a display of graphical user interface
CN104298683B (zh) * 2013-07-18 2017-11-28 佳能株式会社 主题挖掘方法和设备、以及查询扩展方法和设备
CN104469709B (zh) * 2013-09-13 2018-08-10 联想(北京)有限公司 识别短信的方法及电子设备
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US11514399B2 (en) * 2013-12-21 2022-11-29 Microsoft Technology Licensing, Llc Authoring through suggestion
US10824787B2 (en) * 2013-12-21 2020-11-03 Microsoft Technology Licensing, Llc Authoring through crowdsourcing based suggestions
WO2015097689A1 (en) * 2013-12-29 2015-07-02 Inuitive Ltd. A device and a method for establishing a personal digital profile of a user
US10133589B2 (en) * 2013-12-31 2018-11-20 Microsoft Technology Licensing, Llc Identifying help information based on application context
US9716745B2 (en) * 2014-01-18 2017-07-25 International Business Machines Corporation Expertise-matched help systems
US9842592B2 (en) 2014-02-12 2017-12-12 Google Inc. Language models using non-linguistic context
US9473944B2 (en) 2014-02-24 2016-10-18 Microsoft Technology Licensing, Llc Local personal daemon
US9432472B2 (en) 2014-02-24 2016-08-30 Microsoft Technology Licensing, Llc Accelerated training of personal daemons
US9218497B2 (en) 2014-02-24 2015-12-22 Microsoft Technology Licensing, Llc Incentive-based app execution
US9412365B2 (en) 2014-03-24 2016-08-09 Google Inc. Enhanced maximum entropy models
US11386442B2 (en) 2014-03-31 2022-07-12 Liveperson, Inc. Online behavioral predictor
US9560055B2 (en) 2014-04-30 2017-01-31 Microsoft Technology Licensing, Llc Client-side integration framework of services
US11100434B2 (en) 2014-05-06 2021-08-24 Uber Technologies, Inc. Real-time carpooling coordinating system and methods
US9552559B2 (en) 2014-05-06 2017-01-24 Elwha Llc System and methods for verifying that one or more directives that direct transport of a second end user does not conflict with one or more obligations to transport a first end user
US9483744B2 (en) 2014-05-06 2016-11-01 Elwha Llc Real-time carpooling coordinating systems and methods
US10458801B2 (en) 2014-05-06 2019-10-29 Uber Technologies, Inc. Systems and methods for travel planning that calls for at least one transportation vehicle unit
US11017412B2 (en) * 2014-05-23 2021-05-25 Microsoft Technology Licensing, Llc Contextual information monitoring
US20150356061A1 (en) * 2014-06-06 2015-12-10 Microsoft Corporation Summary view suggestion based on user interaction pattern
DE102014211094B4 (de) * 2014-06-11 2016-04-07 BSH Hausgeräte GmbH Haushaltsgerät mit einem statistisch steuerbaren Betrieb und Verfahren zum steuerbaren Betreiben eines Haushaltsgerätes
CN104166498B (zh) * 2014-07-08 2018-02-23 惠州Tcl移动通信有限公司 显示用户说明书的方法及移动终端
KR102327403B1 (ko) * 2014-08-01 2021-11-17 대우조선해양 주식회사 이벤트 로그 기반 개인화 지원 시스템 및 그 방법
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
US9778628B2 (en) 2014-08-07 2017-10-03 Goodrich Corporation Optimization of human supervisors and cyber-physical systems
US9934507B2 (en) 2014-08-11 2018-04-03 International Business Machines Corporation Mapping user actions to historical paths to determine a predicted endpoint
US10460342B1 (en) * 2014-08-12 2019-10-29 Benko, LLC Methods and software for providing targeted advertising to a product program
US9953646B2 (en) 2014-09-02 2018-04-24 Belleau Technologies Method and system for dynamic speech recognition and tracking of prewritten script
US11283924B2 (en) * 2014-09-15 2022-03-22 Avaya Inc. System and method for guiding agents in an enterprise over aggregated interactions
US9058563B1 (en) * 2014-10-15 2015-06-16 Blackwerks LLC Suggesting activities
CN104317402B (zh) * 2014-10-24 2020-07-03 小米科技有限责任公司 描述信息的显示方法及装置、电子设备
CN105893385B (zh) * 2015-01-04 2020-10-23 伊姆西Ip控股有限责任公司 用于分析用户行为的方法和设备
US9854049B2 (en) 2015-01-30 2017-12-26 Rovi Guides, Inc. Systems and methods for resolving ambiguous terms in social chatter based on a user profile
US10134394B2 (en) 2015-03-20 2018-11-20 Google Llc Speech recognition using log-linear model
US10326768B2 (en) 2015-05-28 2019-06-18 Google Llc Access control for enterprise knowledge
CN104866102B (zh) * 2015-05-29 2018-10-23 中山大学 一种盲人计算机的操作智能控制系统及方法
US10142908B2 (en) 2015-06-02 2018-11-27 Liveperson, Inc. Dynamic communication routing based on consistency weighting and routing rules
US10409443B2 (en) 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US10073890B1 (en) 2015-08-03 2018-09-11 Marca Research & Development International, Llc Systems and methods for patent reference comparison in a combined semantical-probabilistic algorithm
US10621499B1 (en) 2015-08-03 2020-04-14 Marca Research & Development International, Llc Systems and methods for semantic understanding of digital information
CN105047198B (zh) * 2015-08-24 2020-09-22 百度在线网络技术（北京）有限公司 语音纠错处理方法及装置
US10331464B2 (en) * 2015-09-17 2019-06-25 Dropbox, Inc. Method and system for an adaptive contextual instruction tool
US20170115838A1 (en) * 2015-10-27 2017-04-27 Ayori Zena Selassie Method and apparatus for personal introspection tool
US10956666B2 (en) * 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10146397B2 (en) 2015-11-27 2018-12-04 International Business Machines Corporation User experience steering
US10275775B2 (en) 2015-12-10 2019-04-30 Microsoft Technology Licensing, Llc Context generation for routing on-demand services
US10223174B2 (en) 2015-12-10 2019-03-05 Microsoft Technology Licensing, Llc Tenant engagement signal acquisition and exposure
US9654639B1 (en) 2015-12-10 2017-05-16 Microsoft Technology Licensing, Llc Resource partitioning for routing on-demand services
US9686406B1 (en) 2015-12-10 2017-06-20 Microsoft Technology Licensing, Llc Issue detection for routing assistance requests
US10353564B2 (en) 2015-12-21 2019-07-16 Sap Se Graphical user interface with virtual extension areas
US10606618B2 (en) 2016-01-19 2020-03-31 Adp, Llc Contextual assistance system
US20170212650A1 (en) * 2016-01-22 2017-07-27 Microsoft Technology Licensing, Llc Dynamically optimizing user engagement
US20170212886A1 (en) * 2016-01-22 2017-07-27 Microsoft Technology Licensing, Llc Configurable Generic Language Understanding Models
US9922057B2 (en) * 2016-02-09 2018-03-20 International Business Machines Corporation Dynamic construction of knowledge base by usage pattern recognition
US9978367B2 (en) 2016-03-16 2018-05-22 Google Llc Determining dialog states for language models
US9928106B2 (en) 2016-03-29 2018-03-27 Wipro Limited System and methods for dynamically assigning control to one or more BOTs
US10212464B2 (en) * 2016-04-15 2019-02-19 Hulu, LLC Generation, ranking, and delivery of actions for entities in a video delivery system
US10540439B2 (en) 2016-04-15 2020-01-21 Marca Research & Development International, Llc Systems and methods for identifying evidentiary information
US20170329505A1 (en) 2016-05-13 2017-11-16 Sap Se Transferring parameters in applications and interfaces across multiple platforms
US10353534B2 (en) 2016-05-13 2019-07-16 Sap Se Overview page in multi application user interface
US10318253B2 (en) 2016-05-13 2019-06-11 Sap Se Smart templates for use in multiple platforms
US10579238B2 (en) 2016-05-13 2020-03-03 Sap Se Flexible screen layout across multiple platforms
US11093834B2 (en) * 2016-07-06 2021-08-17 Palo Alto Research Center Incorporated Computer-implemented system and method for predicting activity outcome based on user attention
US11030673B2 (en) * 2016-07-28 2021-06-08 International Business Machines Corporation Using learned application flow to assist users in network business transaction based apps
US11222270B2 (en) 2016-07-28 2022-01-11 International Business Machiness Corporation Using learned application flow to predict outcomes and identify trouble spots in network business transactions
EP3497560B1 (en) 2016-08-14 2022-11-02 Liveperson, Inc. Systems and methods for real-time remote control of mobile applications
US10832664B2 (en) 2016-08-19 2020-11-10 Google Llc Automated speech recognition using language models that selectively use domain-specific model components
CN106297478A (zh) * 2016-08-23 2017-01-04 郑州师范学院 一种钢琴智能教学系统
US11200026B2 (en) * 2016-08-26 2021-12-14 Bragi GmbH Wireless earpiece with a passive virtual assistant
US20180075128A1 (en) * 2016-09-13 2018-03-15 Adobe Systems Incorporated Identifying Key Terms Related to an Entity
US10579400B2 (en) * 2016-11-11 2020-03-03 International Business Machines Corporation Path-sensitive contextual help system
CN108073600B (zh) * 2016-11-11 2022-06-03 阿里巴巴集团控股有限公司 一种智能问答交互方法、装置以及电子设备
US10963642B2 (en) * 2016-11-28 2021-03-30 Microsoft Technology Licensing, Llc Intelligent assistant help system
US10810380B2 (en) * 2016-12-21 2020-10-20 Facebook, Inc. Transliteration using machine translation pipeline
US10878192B2 (en) * 2017-01-06 2020-12-29 Microsoft Technology Licensing, Llc Contextual document recall
US10915303B2 (en) 2017-01-26 2021-02-09 Sap Se Run time integrated development and modification system
JP2018128829A (ja) * 2017-02-08 2018-08-16 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US10311860B2 (en) 2017-02-14 2019-06-04 Google Llc Language model biasing system
US10951555B2 (en) * 2017-05-08 2021-03-16 Microsoft Technology Licensing, Llc Providing local service information in automated chatting
CN108874812B (zh) * 2017-05-10 2021-12-10 腾讯科技（北京）有限公司 一种数据处理方法及服务器、计算机存储介质
US10540339B2 (en) 2017-05-19 2020-01-21 Microsoft Technology Licensing, Llc Matching a resource with a user for a predicted user need
US10528228B2 (en) 2017-06-21 2020-01-07 Microsoft Technology Licensing, Llc Interaction with notifications across devices with a digital assistant
CN109308896B (zh) * 2017-07-28 2022-04-15 江苏汇通金科数据股份有限公司 语音处理方法及装置、存储介质及处理器
US10885808B2 (en) 2017-09-28 2021-01-05 International Business Machines Corporation Curating tutorials based on historic user data
US20190286968A1 (en) * 2018-03-16 2019-09-19 International Business Machines Corporation Cognitive adaption of recommendation system
DK180091B1 (en) * 2018-06-03 2020-04-22 Apple Inc. ACCELERATED TASK PERFORMANCE
US11200811B2 (en) * 2018-08-03 2021-12-14 International Business Machines Corporation Intelligent recommendation of guidance instructions
CN109801625A (zh) * 2018-12-29 2019-05-24 百度在线网络技术（北京）有限公司 虚拟语音助手的控制方法、装置、用户设备及存储介质
US11211055B2 (en) * 2019-01-14 2021-12-28 Microsoft Technology Licensing, Llc Utilizing rule specificity in conversational AI
CN109857787B (zh) * 2019-01-18 2022-04-15 维沃移动通信有限公司 一种展示方法及终端
JP7331395B2 (ja) * 2019-03-20 2023-08-23 富士フイルムビジネスイノベーション株式会社 プロセス抽出装置およびプログラム
US11204994B2 (en) 2019-05-09 2021-12-21 International Business Machines Corporation Injection attack identification and mitigation
US11311958B1 (en) * 2019-05-13 2022-04-26 Airgas, Inc. Digital welding and cutting efficiency analysis, process evaluation and response feedback system for process optimization
US11397858B2 (en) * 2019-08-15 2022-07-26 Kyndryl, Inc. Utilizing widget content by virtual agent to initiate conversation
US11150923B2 (en) * 2019-09-16 2021-10-19 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing manual thereof
US11023220B2 (en) 2019-09-26 2021-06-01 Dell Products L.P. Firmware update with integrated smart sequence and action engine
JP7497573B2 (ja) * 2020-01-27 2024-06-11 富士フイルムビジネスイノベーション株式会社 通知装置、及びプログラム
CN111461901B (zh) * 2020-03-31 2023-05-12 德联易控科技(北京)有限公司 车辆保险理赔信息的输出方法和装置
US11789759B2 (en) * 2020-08-12 2023-10-17 Baton Simulations Method, system and apparatus assisting a user of a virtual environment
US11308287B1 (en) * 2020-10-01 2022-04-19 International Business Machines Corporation Background conversation analysis for providing a real-time feedback
CN115203172B (zh) * 2022-06-30 2023-11-07 北京亚控科技发展有限公司 模型构建及模型数据订阅方法、装置、电子设备和介质

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4964077A (en) * 1987-10-06 1990-10-16 International Business Machines Corporation Method for automatically adjusting help information displayed in an online interactive system
US4905163A (en) * 1988-10-03 1990-02-27 Minnesota Mining & Manufacturing Company Intelligent optical navigator dynamic information presentation and navigation system
US5115501A (en) * 1988-11-04 1992-05-19 International Business Machines Corporation Procedure for automatically customizing the user interface of application programs
US5058008A (en) * 1989-10-03 1991-10-15 Pitney Bowes Inc. Mail system with personalized training for users
US5103798A (en) * 1989-10-16 1992-04-14 Mcgraw Michael F Archery arm guard
US5239617A (en) * 1990-01-05 1993-08-24 International Business Machines Corporation Method and apparatus providing an intelligent help explanation paradigm paralleling computer user activity
JP3268529B2 (ja) * 1990-03-14 2002-03-25 株式会社日立製作所 知識データベース処理システムおよびエキスパートシステム
US5311422A (en) * 1990-06-28 1994-05-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration General purpose architecture for intelligent computer-aided training
US5103498A (en) * 1990-08-02 1992-04-07 Tandy Corporation Intelligent help system
US5535321A (en) * 1991-02-14 1996-07-09 International Business Machines Corporation Method and apparatus for variable complexity user interface in a data processing system
US5901246A (en) * 1995-06-06 1999-05-04 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5903454A (en) * 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US5369575A (en) * 1992-05-15 1994-11-29 International Business Machines Corporation Constrained natural language interface for a computer system
US5377103A (en) * 1992-05-15 1994-12-27 International Business Machines Corporation Constrained natural language interface for a computer that employs a browse function
US5477447A (en) * 1992-05-27 1995-12-19 Apple Computer, Incorporated Method and apparatus for providing computer-implemented assistance
US5390281A (en) * 1992-05-27 1995-02-14 Apple Computer, Inc. Method and apparatus for deducing user intent and providing computer implemented services
US5432940A (en) * 1992-11-02 1995-07-11 Borland International, Inc. System and methods for improved computer-based training
US5920837A (en) * 1992-11-13 1999-07-06 Dragon Systems, Inc. Word recognition system which stores two models for some words and allows selective deletion of one such model
US5546502A (en) * 1993-03-19 1996-08-13 Ricoh Company, Ltd. Automatic invocation of computational resources without user intervention
US5701399A (en) * 1993-06-09 1997-12-23 Inference Corporation Integration of case-based search engine into help database
US5644686A (en) * 1994-04-29 1997-07-01 International Business Machines Corporation Expert system and method employing hierarchical knowledge base, and interactive multimedia/hypermedia applications
US5799292A (en) * 1994-04-29 1998-08-25 International Business Machines Corporation Adaptive hypermedia presentation method and system
US5597312A (en) * 1994-05-04 1997-01-28 U S West Technologies, Inc. Intelligent tutoring method and system
US5715374A (en) * 1994-06-29 1998-02-03 Microsoft Corporation Method and system for case-based reasoning utilizing a belief network
US5682469A (en) * 1994-07-08 1997-10-28 Microsoft Corporation Software platform having a real world interface with animated characters
JP3488525B2 (ja) * 1994-12-13 2004-01-19 富士通株式会社 ヘルプ画面表示方法およびヘルプ画面表示装置
US5694559A (en) * 1995-03-07 1997-12-02 Microsoft Corporation On-line help method and system utilizing free text query
US5778402A (en) * 1995-06-07 1998-07-07 Microsoft Corporation Method and system for auto-formatting a document using an event-based rule engine to format a document as the user types
US5696964A (en) * 1996-04-16 1997-12-09 Nec Research Institute, Inc. Multimedia database retrieval system which maintains a posterior probability distribution that each item in the database is a target of a search
US5828999A (en) * 1996-05-06 1998-10-27 Apple Computer, Inc. Method and system for deriving a large-span semantic language model for large-vocabulary recognition systems
US5809145A (en) * 1996-06-28 1998-09-15 Paradata Systems Inc. System for distributing digital information
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
US5864848A (en) * 1997-01-31 1999-01-26 Microsoft Corporation Goal-driven information interpretation and extraction system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10741185B2 (en) 2010-01-18 2020-08-11 Apple Inc. Intelligent automated assistant
KR20190032641A (ko) * 2010-01-18 2019-03-27 애플 인크. 지능형 자동화 어시스턴트
KR102096222B1 (ko) 2010-01-18 2020-04-01 애플 인크. 지능형 자동화 어시스턴트
KR20200035486A (ko) * 2010-01-18 2020-04-03 애플 인크. 지능형 자동화 어시스턴트
US10706841B2 (en) 2010-01-18 2020-07-07 Apple Inc. Task flow identification based on user intent
KR102147926B1 (ko) 2010-01-18 2020-08-25 애플 인크. 지능형 자동화 어시스턴트
KR20200101996A (ko) * 2010-01-18 2020-08-28 애플 인크. 지능형 자동화 어시스턴트
KR102297492B1 (ko) 2010-01-18 2021-09-03 애플 인크. 지능형 자동화 어시스턴트
KR20220088514A (ko) * 2010-01-18 2022-06-27 애플 인크. 지능형 자동화 어시스턴트
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
KR102537767B1 (ko) 2010-01-18 2023-05-31 애플 인크. 지능형 자동화 어시스턴트
US9965463B2 (en) 2014-01-15 2018-05-08 Sony Corporation Information processing apparatus and information processing method
WO2015107741A1 (ja) 2014-01-15 2015-07-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
US6262730B1 (en) 2001-07-17
US6260035B1 (en) 2001-07-10
WO1998003907A3 (en) 1998-09-11
WO1998003907A2 (en) 1998-01-29
EP0912932A2 (en) 1999-05-06
CN1231742A (zh) 1999-10-13
US6021403A (en) 2000-02-01
CA2210601C (en) 2005-01-11
CN1632749A (zh) 2005-06-29
US6233570B1 (en) 2001-05-15
EP0912932B1 (en) 2006-08-23
JP2008084321A (ja) 2008-04-10
DE69736552T2 (de) 2007-05-10
JP4750771B2 (ja) 2011-08-17
CN1280715C (zh) 2006-10-18
CA2210601A1 (en) 1998-01-19
JP4676037B2 (ja) 2011-04-27
DE69736552D1 (de) 2006-10-05
EP1742174A2 (en) 2007-01-10
JP2001510599A (ja) 2001-07-31

Similar Documents

Publication Publication Date Title
JP4750771B2 (ja) インテリジェントユーザー支援インタフェースを提供する方法
WO1998003907A9 (en) Intelligent user assistance facility
US7797261B2 (en) Consultative system
Horvitz et al. The Lumiere project: Bayesian user modeling for inferring the goals and needs of software users
Horvitz et al. In pursuit of effective handsfree decision support: coupling Bayesian inference, speech understanding, and user models
US7836002B2 (en) Activity-centric domain scoping
Farooq et al. A survey of formal tools and models for developing user interfaces
Ross Intelligent user interfaces: Survey and research directions
Wenskovitch et al. Putting the “i” in interaction: Interactive interfaces personalized to individuals
Jameson et al. Assessment of a user’s time pressure and cognitive load on the basis of features of speech
Brinkschulte et al. The EMPATHIC project: building an expressive, advanced virtual coach to improve independent healthy-life-years of the elderly
Jalil Introduction to intelligent user interfaces (IUIS)
Meena et al. Human-computer interaction
Lim et al. Human factors and design issues in multimodal (speech/gesture) interface
Meyer et al. Literature review of computer tools for the visually impaired: a focus on search engines
Dubiel et al. A Contextual Framework for Adaptive User Interfaces: Modelling the Interaction Environment
Baig et al. Multimodal systems: taxonomy, methods, and challenges
Shi et al. Designing cognition-adaptive human–computer interface for mission-critical systems
Li et al. Improving patient self-description in Chinese online consultation using contextual prompts
CN116898441B (zh) 基于人机对话的性格测试方法、装置及电子设备
Carl The Monitor Model and its Misconceptions: A Clarification
Goren-Bar Designing model-based intelligent dialogue systems
Lim Detecting and Modelling Stress Levels in E-Learning Environment Users
Infant et al. Stress Analysis Prediction for Coma Patient Using Machine Learning
Vakaliuk et al. Development of an Intelligent Chatbot for a Hospital Website

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091013

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20091014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091014

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091120