JP2006526859A

JP2006526859A - コンピュータプログラム内のユーザアクションを記録する方法及びシステム

Info

Publication number: JP2006526859A
Application number: JP2006515159A
Authority: JP
Inventors: コーソングレゴリー
Original assignee: Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2003-06-04
Filing date: 2004-06-02
Publication date: 2006-11-24
Also published as: US7694223B2; US20040261026A1; TW200508857A; EP1636698A2; WO2004109490A3; WO2004109490A2; TWI278744B

Abstract

実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録する方法を提供する。この方法では、ユーザアクションが実行可能コードに関連するオブジェクトとのインターフェースを可能にするときに、記録すべき詳細のレベルの選択が可能になる。その後、ユーザアクションのシーケンスが記録される。記録されたユーザアクションのシーケンスは、選択された詳細のレベルによって定義される。その後、記録されたユーザアクションのシーケンスは、定義された個数のデータタイプの生成を可能にするルールを適用することによって解析される。このデータタイプは、１つ又は複数のデータタイプに関連する情報を生成するように設計されたアプリケーションによって利用することができる。

Description

本発明は、データの記録に関し、より詳細には、コンピュータ上で一連の記録されたユーザアクションを利用する方法及びシステムに関する。

コンピュータプログラムとインターフェースするときに、ユーザは、一連のアクションを行う。このようなアクションの例には、マウスの移動、アイコン又はボタンのクリック、及びテキストの入力が含まれる。現在、一部のコンピュータアプリケーションは、ユーザによるアクションを記録することができる。しかし、この記録は限られている。例えば、多くのアプリケーションは、長いコマンド又はメニューシーケンスを短縮するマクロ機能を有する。本質的に、マクロレコーダは、アプリケーションとインターフェースするときにユーザによって行われたアクションのシーケンスを記録する。その後、ユーザが同一のアクションを繰り返す必要がないように、記録されたアクションのシーケンスを繰り返すことができる。既存のマクロレコーダの短所は、記録が、一般的なユーザコマンドの短縮だけに有用な、コマンド及びアクションの短いシーケンスの記録に制限されていることである。既存のマクロレコーダは、ユーザが実際に行っていること又は操作しているものを判定すること、ができない。さらに、記録可能なアクションが、事前に指定されたコマンドに制限されている。

別の例は、訪問したウェブサイトのヒストリを追跡するウェブブラウザの機能である。追跡機能は、日付と共に、訪問したウェブサイトのヒストリを保存する。しかし、この追跡機能は、ユーザがどのようにしてそのウェブサイトにたどり着いたか、そのウェブサイトをブラウズして費やした時間の長さ、ウェブサイトを訪問した順序などの詳細を追跡しない。別の例は、通常の多くのビデオゲームで見られるリプレイ機能である。ビデオゲームは、基本的に、ゲームプレイ中のユーザアクションを記録し、後でそのアクションを再生する。しかし、リプレイ機能の問題は、記録の編集或いは特定のビデオゲームの外部で利用することができないことである。

その結果、１つ又は複数のコンピュータプログラムとインターフェースするとき、ユーザによって行われたすべてのアクションを記録し、そのアクションを保存し、編集し、他のプログラムによって利用できる方法及びシステムを提供する必要がある。

おおまかにいって本発明は、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録するシステム及び方法を提供することによって、これらの必要を満たす。本発明は、処理、装置、システム、コンピュータ可読媒体、又はデバイスを含む多数の形で実装できることを理解されたい。本発明の複数の発明的実施形態を、以下に説明する。

本発明の第１の態様によれば、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録する方法が提供される。この方法では、ユーザアクションが実行可能コードに関連するオブジェクトとのインターフェースを可能にするときに、記録すべき詳細のレベルの選択が可能になる。その後、ユーザアクションのシーケンスが記録される。記録されたユーザアクションのシーケンスは、選択された詳細のレベルによって定義される。その後、記録されたユーザアクションのシーケンスは、定義された個数のデータタイプの生成を可能にするルールを適用することによって解析される。このデータタイプは、１つ又は複数のデータタイプに関連する情報を生成するように設計されたアプリケーションによって利用することができる。

本発明の第２の態様によれば、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスに基づいて関連する情報を取り出すためのプログラム命令を有するコンピュータ可読媒体が提供される。このコンピュータ可読媒体は、定義された個数のデータタイプを生成するプログラム命令を含み、定義された個数のデータタイプは、ユーザアクションのシーケンスから導出される。その後、定義された個数のデータタイプを検索エンジンに供給するプログラム命令が含まれ、検索エンジンは、関連する情報を取り出す。その後、関連する情報を表示するプログラム命令が含まれる。

本発明の第３の態様によれば、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録するシステムが提供される。このシステムは、自動情報取出モジュールを記憶するメモリと、メモリに記憶された自動情報取出モジュールを実行する中央処理装置とを含む。自動情報取出モジュールは、ユーザアクションが実行可能コードに関連するオブジェクトとのインターフェースを可能にするとき記録すべき詳細のレベルの選択を可能にするロジック；選択された詳細のレベルによって定義されたユーザアクションのシーケンスを記録するロジック；及び定義された個数のデータタイプの生成を可能にするルールを適用することによって記録されたユーザアクションのシーケンスを解析するロジックを含む。

本発明の第４の態様によれば、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録するシステムが提供される。このシステムは、ユーザアクションのシーケンスをメモリに記録する記録手段と、定義された個数のデータタイプの生成を可能にするルールを適用することによって記録されたユーザアクションのシーケンスを解析する解析手段とを含む。

本発明の第５の態様によれば、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録する方法が提供される。この方法では、ユーザアクションのシーケンスが記録される。その後、記録されたユーザアクションのシーケンスは、定義された個数のデータタイプの生成を可能にするルールを適用することによって解析される。そのデータタイプは、１つ又は複数のデータタイプに関連する情報を生成するように設計されたアプリケーションによって利用することができる。

本発明の他の態様及び利点は、本発明の原理を例として示す添付図面と併せ読めば、次の詳細な説明から明白になる。

本発明は、添付図面と共に次の詳細な説明によって容易に理解され、類似する符号は、類似する構造要素を指す。

この発明は、ユーザアクションのシーケンスを記録する方法及びシステムを開示する。以下の説明では、本発明の完全な理解を提供するために多数の具体的な詳細を示す。しかし、当業者は、本発明をこれらの具体的な詳細の一部又はすべてを用いずに実践できることを理解するであろう。他の場合には、本発明を不必要に不明瞭にしないようにするために、周知の処理動作は詳細に説明しない。

本明細書で説明する実施形態は、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録する方法及びシステムを提供する。下記でより詳細に説明するように、他のアプリケーションによってこの記録を再生し、編集し、利用して、関連する情報を生成することができる。

図１Ａ及び図１Ｂは、本発明の一実施形態による、所定の時間でとられたユーザアクションのシーケンスを示す単純化されたブロック図である。ユーザは、実行可能コードに関連するオブジェクトとインターフェースするときに、一連のアクションを行う。ユーザアクションの例には、キーボード入力、マウス移動、マウス入力、ライトペン入力、ジョイスティック入力、メニューからの選択肢の選択、オブジェクトの選択、コマンドの選択などが含まれる。ユーザは、コマンド、命令、ハイパーテキストリンク、データ、ネットワーク接続を移動するデータ、アイコン、ファイル、画像ファイル、サウンドファイル、ムービーファイル、テキスト、実行可能コードに関連するメニューなどを含むオブジェクトとインターフェースすることができる。例示的な実行可能コードを、任意のコードとすることができ、アプレット、オペレーティングシステム、ビデオゲーム、ワールドワイドウェブ（ウェブ：Web）ブラウザ、ワードプロセッサ、スプレッドシートプログラム、検索エンジン、辞書アプリケーション、百科事典アプリケーション、電子メールプログラムなどの一部とすることができる。

図１Ａは、本発明の一実施形態による、ウェブをブラウズするときに行われるユーザアクションの例示的シーケンスを示す単純化されたブロック図である。図１Ａの矢印の参照１０２に示されているように、ユーザによって行われる最初のアクションは、ウェブアドレス「www.wired.com」の入力である。次に、ユーザは、所定の時間、「www.wired.com」ウェブページのコンテンツ（すなわち、オブジェクト）を読む。その後、矢印の参照１０４で、ユーザは、そのウェブページに配置されたハイパーテキストニュースリンクをクリックすることによって第２のアクションを行う。第２のユーザアクションは、リンクされたニュースページを伴い、ユーザは、所定の時間でこのニュースページを読む。最後に矢印の参照１０６で、ユーザは、そのニュースページの作者への、ウェブページ上の電子メールアドレスリンクをクリックすることによって、第３のアクションを行う。その後ユーザは、作者への電子メールメッセージを入力する。

図１Ｂは、本発明の一実施形態による、ビデオゲームをプレイするときに行われるユーザアクションの他の例示的シーケンスを示す単純化されたブロック図である。図１Ｂの矢印の参照１０８に示されているように、ユーザによって行われる第１のアクションは、ビデオゲームＸを開始するアイコンをクリックすることである。次にユーザは、所定の時間ビデオゲームＸをプレイする。その後、矢印の参照１１０で、ユーザは、ビデオゲームＹを開始するコマンドを入力することによって第２アクションを行う。第２のユーザアクションは、ビデオゲームＹを開始し、ユーザは、所定の時間、ビデオゲームＹをプレイする。最後に、矢印の参照１１２で、ユーザは、ビデオゲームＺを開始する他のアイコンをクリックすることによって第３のアクションを行う。その後、ユーザは、所定の時間、ビデオゲームＺをプレイする。

下記でより詳細に説明するように、例示的なウェブセッション及びビデオゲームセッション中に、ユーザアクションのシーケンス（例えば、ハイパーテキストリンクのクリック、コマンドの入力、電子メールメッセージの入力、及びアイコンのクリック）と、ウェブページ及びビデオゲームに関連するオブジェクト（例えば、ウェブページコンテンツ、ニュースページコンテンツ、及びビデオゲームコンテンツ）を、記録することができる。一実施形態で、ユーザアクションが、そのユーザのコンピュータセッション全体を通じて自動的に記録される。セッションは、コンピュータの電源が入れられたときに始まり、コンピュータの電源が切られたときに終わる。セッションは、１又は複数のサブセッションを含む。サブセッションはアプリケーションを用いて費やされる時間であり、各セッション及びサブセッションは、任意の時間長さとすることができる。例示的なサブセッションは、ビデオゲーム、ワードプロセッシングプログラム、ウェブブラウザなどと、インターフェースして費やされる時間が含まれる。一実施形態では、記録を、１又は複数のサブセッションに制限することができる。他の実施形態では、ユーザのコンピュータセッション中に、ユーザが、記録のための固定された時間を設定することができる。

図２（Ａ）及び図２（Ｂ）は、本発明の一実施形態による、記録すべき詳細のレベルを示す単純化されたブロック図である。一実施形態で、すべてのユーザアクション及び実行可能コードに関連するオブジェクトを記録することができる。他の実施形態では、ユーザが、記録すべき詳細のレベルを追加して指定することができ、これによって、記録が特定のユーザアクション及びオブジェクトに制限される。例えば、図２（Ａ）は、本発明の一実施形態による、ユーザアクションの記録すべき詳細のレベルの単純化された図である。レベルＡ２３０で、マウス移動２０２、ジョイスティック入力２０４、キーボード入力２０６、及びコマンドの選択２０８などのユーザアクションが記録される。しかし、レベルＢ２３２に示されているように、ユーザは、マウス移動２０２、ジョイスティック入力２０４、及びキーボード入力２０６などのユーザアクションに、記録を制限することができる。レベルＣ２３４では、ユーザがさらに、マウス移動２０２及びジョイスティック入力２０４に記録を制限することができる。最後に、レベルＤ２３６では、ユーザが、記録をマウス移動２０２だけに制限することができる。

ユーザアクションのシーケンスを記録するほかに、本発明の他の実施形態によれば、実行可能コードに関連するオブジェクトを記録することもできる。ユーザは、ユーザアクションについて記録すべき詳細のレベルを指定できるので、実行可能コードに関連するオブジェクトについて記録すべき詳細のレベルも指定することができる。例えば、図２Ｂは、本発明の一実施形態による、オブジェクトの記録すべき詳細のレベルの単純化された図である。レベルＡ２３０で、ハイパーテキストリンク２１０、画像ファイル２１２、サウンドファイル２１４、及びアイコン２１６など、実行可能コードに関連するオブジェクトが記録される。しかし、レベルＢ２３２に示されるように、ユーザは、ハイパーテキストリンク２１０、画像ファイル２１２、及びサウンドファイル２１４などのオブジェクトに、記録を制限することができる。レベルＣ２３４では、ユーザがさらに、ハイパーテキストリンク２１０及び画像ファイル２１２に記録を制限することができる。最後に、レベルＤ２３６では、ユーザが、記録をハイパーテキストリンク２１０だけに制限することができる。

図３は、本発明の一実施形態による、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録する処理方法の流れ図である。動作３０２で開始して、ユーザが、記録すべき詳細のレベルを選択する。別の方法としては、一実施形態で、ユーザが記録すべき詳細のレベルを選択する必要がない。その代わりに、デフォルトですべてのユーザアクション及びオブジェクトが、自動的に記録される。その後、動作３０４で、ユーザアクションのシーケンス及びオブジェクトが記録され、これによって、記録されたユーザアクションのシーケンス及び記録されたオブジェクトが、選択された詳細のレベルによって定義される。図３に示されているように、ユーザアクションのシーケンス及びオブジェクトの両方が記録される。しかし、他の実施形態では、ユーザが、ユーザアクションのシーケンスと実行可能コードに関連するオブジェクトとのいずれかを選択して記録することができる。さらに、記録は、１つの実行可能コードに制限されない。そうではなく、ユーザアクション及び複数の実行可能コードのオブジェクトを、同時に記録することができる。

その後、動作３０６で、記録されたユーザアクションのシーケンス及び記録されたオブジェクトが、ルールを適用することによって解析される。このルールは、ユーザアクションのシーケンス及びオブジェクトを解析する手順を定義する。例えばルールは、ユーザ検索要求によって定義される。例えば、ユーザが、犬に関心を持っている。従って、このユーザは、単語「dog」を含むユーザアクション及びオブジェクトを含めることを指定するルールを定義する。ルールを、さらに、ユーザアクション及びオブジェクトの繰り返し頻度によって定義することができる。例えばユーザは、自身のアクションに基づく好みの主題を、コンピュータが自動的に判定することを望む。その結果、ユーザアクション及びオブジェクトはカウントされ、最も頻繁に繰り返されたユーザアクション及びオブジェクトを含めることを指定するルールが、定義される。その一方で、ユーザが自身のアクションに基づく好みでない主題をコンピュータが自動的に判定することを望む場合に、最も低い頻度で繰り返されたユーザアクション及びオブジェクトを含めることを指定するルールが定義される。

他の例示的なルールは、ユーザアクションの時間の長さ及びオブジェクトで費やされた時間によって定義される。例えば、ユーザは、やはり、自身のアクションに基づく好みの主題をコンピュータが自動的に判定することを望む。上述のようにユーザアクション及びオブジェクトをカウントするのではなく、ユーザが費やした時間が最も長いオブジェクトを含めることを指定するルールが定義される。従って、ユーザが、「hunting dogs」に関するウェブサイトで長い時間を費やし、他の犬の品種及びアクティビティに関するウェブサイトでほとんど時間を費やさない場合に、そのユーザが、狩猟及び猟犬に関心を持っていると推論することができる。このユーザの関心に基づいて、狩猟及び猟犬に関するより多くのサイトを見つけるために、ルール及び手順を作成することができる。さらに、ウェブサイト及びそのウェブサイトでユーザが費やした時間の長さを分析することによって、さらなる推論を行うことができる。例えば、ユーザが狩猟全般のサイトでほとんど時間を費やさない場合に、そのユーザが、狩猟という実際のスポーツではなく猟犬自体に関心を持っていると推論することができる。

記録されたユーザアクションのシーケンス及び記録されたオブジェクトの解析は、定義された個数のデータタイプの生成を可能にする。言い換えると、定義された個数のデータタイプが、ユーザアクションのシーケンス及びオブジェクトから導出される。これらのデータタイプは、記録されたユーザアクションのシーケンス及び記録されたオブジェクトに起因する解析されたデータである。例示的なデータタイプには、プログラム名、入力されたデータ、アイコン名、ファイル名、コマンド名、ハイパーテキスト名、画像名、ウェブアドレス、電子メールテキスト、メッセージテキスト、サウンド名などが含まれる。以下に詳細に説明するように、これらデータタイプは、そのデータタイプに関連する情報を生成するように設計されたアプリケーションによって利用することができる。

図４は、本発明の一実施形態による、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録するシステムの単純化されたブロック図である。図４に示されているように、このシステムは、記録モジュール４０４、フィルタ４０８、及び解析エンジン４１０を含む。記録モジュール４０４は、メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、ハードディスク、テープ、フロッピディスク、光ディスクなど）内のデータとしてユーザアクション及びオブジェクト４０２を記録する。一実施形態で、記録されたユーザアクション及び記録されたオブジェクト４０６は、時間によってインデクスされる。他の実施形態では、記録されたユーザアクション及び記録されたオブジェクト４０６が、時間を参照せずに記録される。

その後、一実施形態では、記録モジュール４０４が、記録されたユーザアクション及び記録されたオブジェクト４０６をフィルタ４０８に供給する。フィルタ４０８は、記録されたユーザアクション及び記録されたオブジェクト４０６のうちで冗長なものを除去する。その結果、フィルタ４０８は、記録されたユーザアクション及び記録されたオブジェクト４０６を記憶するファイルのサイズを減らす。事実上、フィルタ４０８は、記録されたユーザアクション及び記録されたオブジェクト４０６を記憶するファイルを圧縮する。有利なことに、ファイルサイズの削減は、そのファイルを記憶するのに必要なメモリの量を減らし、そのファイルを処理するのに必要な処理能力を減らす。冗長な記録されたユーザアクション及び記録されたオブジェクト４０６の除去に加えて、フィルタ４０８は、また、除去された、記録されたユーザアクション及び記録されたオブジェクト４０６の個数を、カウントして記録を保持する。そのカウントは、後に、記録されたユーザアクション及び記録されたオブジェクト４０６の頻度を判定する際に使用することができる。フィルタ４０８は、任意選択であり、他の実施形態では、記録モジュール４０４が、フィルタを迂回して、記録されたユーザアクション及び記録されたオブジェクト４０６を解析エンジン４１０に直接に供給する。

次に、解析エンジン４１０が、定義された個数のデータタイプ４１４の生成を可能にするルール４１２を適用することによって、記録されたユーザアクション及び記録されたオブジェクト４０６を解析する。データタイプ４１４は、そのデータタイプに関連する情報を生成するように設計されたアプリケーションによって利用することができる。以下に詳細に説明するように、そのような例示的アプリケーションには、検索エンジン、インターネットの音楽及び映画のショッピングサービス、百科事典アプリケーション、辞書アプリケーションなどが含まれる。

図５は、本発明の一実施形態による、定義された個数のデータタイプをさまざまなアプリケーションに供給するシステムの単純化されたブロック図である。図５に示されているようにこのシステムは、データタイプ分析エンジン５０２、検索エンジン５０４、インターネットの音楽及び映画のショッピングサービス５０６、辞書アプリケーション５０８、及び百科事典アプリケーション５１０を含む。解析エンジンによって生成されたデータタイプ４１４が、データタイプ分析エンジン５０２に供給される。データタイプ分析エンジン５０２は、データタイプ４１４を分析して、検索エンジン５０４、インターネットの音楽及び映画のショッピングサービス５０６、辞書アプリケーション５０８、及び百科事典アプリケーション５１０などのアプリケーションとのデータタイプの互換性を判定する。例えば、ハイパーテキストリンク名を有するデータタイプは、インターネットの音楽及び映画のショッピングサービス５０６と互換性がない。従って、データタイプ分析エンジン５０２は、ハイパーテキストリンク名をインターネットの音楽及び映画のショッピングサービス５０６に供給しない。

分析の後で、データタイプ分析エンジン５０２は、互換アプリケーションにデータタイプ４１４を供給する。アプリケーションは、データタイプ４１４を利用して、そのデータタイプに関連する情報を生成することができる。そのようなアプリケーションの例には、検索エンジン５０４（例えば、Google、Yahoo、Exciteなど）、インターネットの音楽及び映画のショッピングサービス５０６（例えば、Amazon、BMG Musicなど）、辞書アプリケーション５０８（例えば、Webster's onlineなど）、及び百科事典アプリケーション５１０（例えば、Britannica.com、encyclopedia.comなど）が含まれる。例えば、アプリケーションは、検索エンジン５０４を使用して情報を見つけることによって、情報を生成することができる。この例示的なケースとして、データタイプ分析エンジン５０２は、単語「dog」を有するデータタイプ４１４を検索エンジン５０４に供給する。検索エンジン５０４は、ネットワークを検索し、単語「dog」を含む文書を取り出す。データタイプ４１４を分析してアプリケーションに供給する他に、データタイプ分析エンジン５０２は、データタイプを編成してフォーマットすることもできる。

図６は、本発明の一実施形態による、実行可能コードに関連するオブジェクトとインターフェースするときに行われる、ユーザアクションのシーケンスに基づいて関連する情報を取り出すシステムの単純化されたブロック図である。図６に示されているように、このシステムは、記録モジュール４０４、フィルタ４０８、解析エンジン４１０、コンピュータ６０２、モニタ６０４、データタイプ分析エンジン５０２、検索エンジン５０４、インターネットの音楽及び映画のショッピングサービス５０６、辞書アプリケーション５０８、及び百科事典アプリケーション５１０を含む。

上述のように、一実施形態で、記録モジュール４０４は、ユーザアクション及びオブジェクト４０２をメモリに記録し、記録されたユーザアクション及び記録されたオブジェクト４０６をフィルタ４０８に供給する。フィルタ４０８は、記録されたユーザアクション及び記録されたオブジェクト４０６を圧縮し、この記録されたユーザアクション及び記録されたオブジェクトを解析エンジン４１０に供給する。次に、解析エンジン４１０は、定義された個数のデータタイプ４１４の生成を可能にするルール４１２を適用することによって、記録されたユーザアクション及び記録されたオブジェクト４０６を解析する。

解析エンジン４１０によって生成されたデータタイプ４１４は、データタイプ分析エンジン５０２に供給される。一実施形態で、データタイプ分析エンジン５０２は、データタイプ４１４を分析し、このデータタイプを適切なアプリケーションに供給する。アプリケーションは、データタイプ４１４を利用して、そのデータタイプに関連する情報を生成することができる。図６に示されているように、そのようなアプリケーションには、検索エンジン５０４、インターネットの音楽及び映画のショッピングサービス５０６、辞書アプリケーション５０８、及び百科事典アプリケーション５１０が含まれる。次に、アプリケーションが、モニタ６０４での表示のために、生成された情報をコンピュータ６０２に供給する。関連する情報は、ユーザ入力の検出を必要とせずに自動的に生成することができる。他の実施形態では、データタイプ４１４をアプリケーションに供給する代わりに、データタイプ分析エンジン５０２が、モニタ６０４での表示のために、直接、データタイプをコンピュータ６０２に供給する。

上記の実施形態を念頭において、記録モジュール４０４、フィルタ４０８、解析エンジン４１０、及びデータタイプ分析エンジン５０２を、中央処理装置による後続実行のためにメモリに記憶することができる。さらに、記録モジュール４０４、フィルタ４０８、解析エンジン４１０、及びデータタイプ分析エンジン５０２を、単一の自動情報取出モジュールにグループ化することができ、これによって、このモジュールも中央処理装置による後続実行のためにメモリに記憶することができる。

図７は、本発明の一実施形態による、メイングラフィカルインターフェース（ＧＵＩ）の概略図である。ユーザアクション及びオブジェクトが記録された後に、メインウィンドウ領域７１６がモニタに表示される。メインウィンドウ領域７１６に、ユーザがカーソル７０９を用いて選択できるさまざまな選択肢が表示される。図７に示されているように、例示的な選択肢には、REPLAY（再生）７０２、FREQUENTLY VISITED WEB SITES（頻繁に訪れたウェブサイト）７０４、TIME SPENT（費やした時間）７０６、及びRELATED INFORMATION（関連する情報）７０８が含まれる。REPLAY７０２は、実行可能コードに関連するオブジェクトとインターフェースするときに行われた、記録されたユーザアクションを再生する。その結果、REPLAY７０２は、ユーザが実行可能コードに関連するオブジェクトとインターフェースした経験の完全な記録を、他のユーザと共有することを可能にする。例えば、REPLAY７０２は、そのユーザのアクションをたどり直すことによって、どうやって、どのようにオブジェクトを見つけるかを他のユーザに視覚的に示す。

さらに、FREQUENTLY VISITED WEB SITES７０４は、最も頻繁に訪れたウェブサイトを表示する。この場合、頻繁に訪問されたウェブサイトを、後の日に自動的に示すことができ、ユーザが、これらのよく訪問するウェブサイトに手動でアクセスする必要がなくなる。この選択肢は、ニュースブロードキャストなどの頻繁に訪問したウェブサイトを示すことができ、この場合に、ユーザが朝起きたとき、テレビが、そのユーザが通常朝に訪問する頻繁に訪問したウェブサイトを自動的に示す。

TIME SPENT７０６は、オブジェクトとインターフェースして費やされた時間（例えば、ウェブサイトをブラウズして費やした時間、ビデオゲームをプレイして費やした時間など）の長さを示す。RELATED INFORMATION７０８を選択することによって、システムが、実行可能コードに関連するオブジェクトとインターフェースしたときに行われたユーザアクションのシーケンスに関連する情報を取り出す。他の例示的な選択肢には、最も低い頻度で訪問したウェブサイト、及び最も短い時間が費やされたウェブサイトが含まれる。

図８は、本発明の一実施形態による、関連する情報をリストしたポップアップＧＵＩの概略図である。ユーザアクション及びオブジェクトを記録した後に、記録されたユーザアクション及び記録されたオブジェクトが検索エンジンに供給される。ユーザの関心に応じて選択された、記録されたユーザアクション及び記録されたオブジェクト（例えば、頻繁に繰り返されるユーザアクション及びオブジェクト、特定の単語を有するオブジェクト、すべてのユーザアクション及び記録されたオブジェクトなど）が、検索エンジンに供給される。その結果、検索エンジンは、関連するウェブリンクを取り出し、そのウェブリンクをモニタに表示する。関連するウェブリンクを表示するさまざまな実施形態がある。一実施形態では、図８に示されているように、ウェブリンクが、ポップアップメニュー領域８０６にリストされる。ここで、ユーザは、カーソル８０４を、単語「Playstation 2」を有するオブジェクト８０８の上に置いている。その結果、オブジェクト８０８に関連するウェブサイトをリストしたポップアップメニュー領域８０６が表示されている。ポップアップメニュー領域８０６は、ワードプロセッシングアプリケーション、ウェブブラウザなど、さまざまなアプリケーションに組み込むことができる。他の実施形態では、ポップアップメニューを有するのではなく、ウェブリンクを、上述のメインＧＵＩ内に簡単なリストとして表示してもよい。

所定の個数の適当なレイアウトを、上記で示した領域レイアウトに関して設計することができる。というのは、図７及び８が、使用可能なすべてのレイアウト選択肢を表してはいないからである。領域の表示可能な外観は、適当な幾何形状（例えば、長方形、正方形、円、三角形など）、英数字文字（例えば、Ａ、ｖ、ｔ、Ｑ、１、９、１０など）、記号（例えば、

など）、シェーディング、パターン（例えば、塗潰し、斜線、ストライプ、ドットなど）、及び色によって定義することができる。さらに、例えば、図８のポップアップメニュー領域８０６或いは他の領域を、省略或いは動的に割り当てることができる。領域を、固定或いはカスタマイズ可能にすることができることも理解されたい。さらに、コンピューティングデバイスは、レイアウトの固定された組を有するか、定義されたプロトコル又は言語を使用してレイアウトを定義することができ、或いはレイアウトを定義する外部構造を、コンピューティングデバイスに報告することができる。最後に、上述のようにＧＵＩの領域をクリックすることで、本明細書に記載の機能性を引き起こすコードがトリガされる。

要約すると、上述の発明は、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録し且つ利用する方法及びシステムを提供する。記録されたユーザアクションのシーケンスを、さまざまな適切なアプリケーションによって利用することができる。例えば、音楽が音楽プレイヤアプリケーション（例えば、ＭＰ３プレイヤ、インターネットラジオなど）によって再生されるたびに、その音楽の名前、その音楽のアーティスト、再生時間などが記録される。後で、記録された情報を取り出して使用することで、そのユーザの音楽の好み（例えば、好きな曲、好きなスタイル、そのユーザが音楽を聞くことを好む１日のうちの時刻）を判定することができる。次に、このユーザの音楽の好みを、自動化されたショッピングアプリケーションに供給することができ、このアプリケーションは、似た音楽を見つけ、好みのアーティストが新曲を公開したときにユーザに自動的に通知し、１日のうちのある好みの時刻に再生される音楽の再生リストを自動的に作成する。

上記の実施形態を念頭において、本発明が、コンピュータシステムに記憶されたデータを用いるさまざまなコンピュータ実装動作を使用できることを理解されたい。これらの動作は、物理的量の物理的操作を必要とする動作である。通常、必要ではないが、これらの量は、記憶、転送、組合せ、比較、及び他の操作をうけることができる電気信号又は磁気信号の形をとる。さらに、実行される操作は、しばしば、作る、識別する、判定する、又は比較などの言葉で表わされて言及される。

本発明の一部を形成する、本明細書に記載の動作のすべては、有用な機械動作である。本発明は、これらの動作を実行するデバイス又は装置にも関連する。この装置は、必要な目的のために特に構成することができ、或いはコンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化されるか、構成される汎用コンピュータとすることができる。具体的に言うと、さまざまな汎用の機械を、本明細書の開示に従って記述されたコンピュータプログラムと共に使用することができ、或いは、必要な動作を実行するためにより特殊化された装置を構成することがより便利である場合がある。

本発明は、コンピュータ可読媒体上のコンピュータ可読コードとして実施することもできる。コンピュータ可読媒体は、後にコンピュータシステムによって読み取ることができるデータを記憶できるすべてのデータ記憶デバイスである。コンピュータ可読媒体は、コンピュータコードがその中で実施される電磁搬送波も含む。コンピュータ可読媒体の例には、ハードドライブ、ネットワークアタッチドストレージ（Network Attached Storage：NAS）、読取専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、ならびに他の光学的及び非光学的データ記憶デバイスが含まれる。コンピュータ可読媒体を、ネットワーク結合されたコンピュータシステムを介して配布することもでき、その結果、コンピュータ可読コードが分散した形で記憶されて実行される。

上述の発明は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベース、又はプログラマブルなコンシューマエレクトロニクス、ミニコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成と共に実行することができる。前述の発明を理解を明瞭にするために詳細に説明したが、添付の特許請求の範囲内で、変更及び修正を実践できることは明白である。従って、本実施形態は、例示であって制限的でないものと解釈されなければならず、本発明は、本明細書に示された詳細に制限されるのではなく、添付の特許請求の範囲及び均等物の中で変更することができる。請求項では、要素及び／又はステップは、請求項で明示的に述べられない限り、動作の特定の順序を暗示しない。

本発明の一実施形態による、ウェブをブラウズするときに行われるユーザアクションの例示的シーケンスを示す単純化されたブロック図である。本発明の一実施形態による、ビデオゲームをプレイするときに行われるユーザアクションの他の例示的シーケンスを示す単純化されたブロック図である。分図（Ａ）は本発明の一実施形態による、ユーザアクションの記録すべき詳細のレベルを示す単純化された図であり、分図（Ｂ）は本発明の一実施形態による、オブジェクトの記録すべき詳細のレベルを示す単純化された図である。本発明の一実施形態による、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録する処理方法を示す流れ図である。本発明の一実施形態による、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録するシステムを示す単純化されたブロック図である。本発明の一実施形態による、定義された個数のデータタイプをさまざまなアプリケーションに供給するシステムを示す単純化されたブロック図である。本発明の一実施形態による、実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスに基づいて関連する情報を取り出すシステムを示す単純化されたブロック図である。本発明の一実施形態による、メイングラフィカルインターフェース（ＧＵＩ）を示す概略図である。本発明の一実施形態による、関連する情報をリストしたポップアップＧＵＩを示す概略図である。

Claims

実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録する方法であって、
前記ユーザアクションにより実行可能コードに関連する前記オブジェクトとのインターフェースが可能なときに、記録すべき詳細のレベルの選択を可能にする段階、
前記選択された詳細のレベルによって定義される前記ユーザアクションのシーケンスを記録する段階、及び、
定義された個数のデータタイプの生成を可能にするルールを適用することによって前記記録されたユーザアクションのシーケンスを解析して、前記データタイプを、１つ又は複数のデータタイプに関連する情報を生成するように設計されたアプリケーションで利用可能にする段階、を含む、
方法。
前記選択された詳細のレベルによって定義される前記実行可能コードに関連する前記オブジェクトを記録する段階、及び、
前記定義された個数の前記データタイプの生成を可能にする前記ルールを適用することによって前記記録されたオブジェクトを解析する段階、をさらに含む、
請求項１に記載の方法。
１つ又は複数の前記データタイプに関連する前記情報を取り出す検索エンジンに、前記データタイプを供給する段階、及び、
前記情報を表示する段階、をさらに含む、
請求項１に記載の方法。
前記検索エンジンが、ネットワーク上で前記情報を検索する、
請求項３に記載の方法。
１つ又は複数の前記データタイプに関連する前記情報が、ユーザが開始する入力の検出を必要とせずに生成される、
請求項１に記載の方法。
前記記録されたユーザアクションのシーケンスをフィルタリングする段階をさらに含む、
請求項１に記載の方法。
前記記録されたユーザアクションのシーケンスをフィルタリングする段階が、冗長な前記記録されたユーザアクションのシーケンスを除去することを含む、
請求項６に記載の方法。
前記実行可能コードに関連する前記オブジェクトをフィルタリングする段階をさらに含む、
請求項２に記載の方法。
前記実行可能コードに関連する前記オブジェクトをフィルタリングする段階が、冗長な前記オブジェクトを除去することを含む、
請求項８に記載の方法。
前記実行可能コードに関連する前記オブジェクトのそれぞれが、コマンド、命令、ハイパーテキストリンク、データ、ネットワーク上を移動するデータ、アイコン、ファイル、画像ファイル、サウンドファイル、ムービーファイル、メニュー、及びテキストのうちの１つによって定義される、
請求項１に記載の方法。
前記ユーザアクションのそれぞれが、キーボード入力、マウス移動、マウス入力、ライトペン入力、メニューからの選択肢の選択、オブジェクトの選択、ジョイスティック入力、及びコマンドの選択のうちの１つによって定義される、
請求項１に記載の方法。
前記定義された個数のデータタイプが、プログラム名、入力されたデータ、アイコン名、ファイル名、コマンド名、ハイパーテキストリンク名、画像名、ウェブアドレス、電子メールテキスト、メッセージテキスト、及びサウンド名のうちの１つ又は複数によって定義される、
請求項１に記載の方法。
前記実行可能コードが、オペレーティングシステム、ビデオゲーム、ウェブブラウザ、アプレット、ワードプロセッサ、スプレッドシートプログラム、検索エンジン、辞書アプリケーション、百科事典アプリケーション、及び電子メールプログラムのうちの１つ又は複数によって定義される、
請求項１に記載の方法。
前記アプリケーションが、検索エンジン、インターネットの音楽及び映画のショッピングサービス、百科事典アプリケーション、及び辞書アプリケーションのうちの１つ又は複数によって定義される、
請求項１に記載の方法。
前記ルールのそれぞれが、ユーザ検索要求、頻繁に繰り返されるオブジェクト、頻繁に繰り返されるユーザアクション、及び前記オブジェクトで費やされた時間の長さのうちの１つによって定義される、
請求項１に記載の方法。
実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスに基づいて関連する情報を取り出すプログラム命令を有するコンピュータ可読媒体であって、
前記ユーザアクションのシーケンスから、定義された個数のデータタイプを生成するプログラム命令と、
前記定義された個数の前記データタイプを、前記関連する情報を取り出す検索エンジンに供給するプログラム命令と、
前記関連する情報を表示するプログラム命令と、を含む、
コンピュータ可読媒体。
前記定義された個数の前記データタイプを生成する前記プログラム命令が、
前記ユーザアクションのシーケンスを記録するプログラム命令と、
前記定義された個数の前記データタイプの生成を可能にするルールを適用することによって、記録された前記ユーザアクションのシーケンスを解析するプログラム命令と、を含む、
請求項１６に記載のコンピュータ可読媒体。
前記ルールのそれぞれが、ユーザ検索要求、頻繁に繰り返されるオブジェクト、頻繁に繰り返されるユーザアクション、及びオブジェクトで費やされた時間の長さのうちの１つによって定義される、
請求項１７に記載のコンピュータ可読媒体。
前記検索エンジンが、ネットワーク上で前記関連する情報を検索する、
請求項１６に記載のコンピュータ可読媒体。
前記関連する情報が、ユーザが開始する入力の検出を必要とせずに取り出される、
請求項１６に記載のコンピュータ可読媒体。
前記実行可能コードに関連する前記オブジェクトのそれぞれが、コマンド、命令、ハイパーテキストリンク、データ、ネットワーク接続を移動するデータ、アイコン、ファイル、画像ファイル、サウンドファイル、ムービーファイル、メニュー、及びテキストのうちの１つによって定義される、
請求項１６に記載のコンピュータ可読媒体。
前記ユーザアクションのそれぞれが、キーボード入力、マウス移動、マウス入力、ライトペン入力、メニューからの選択肢の選択、オブジェクトの選択、ジョイスティック入力、及びコマンドの選択のうちの１つによって定義される、
請求項１６に記載のコンピュータ可読媒体。
前記定義された個数の前記データタイプが、プログラム名、入力されたデータ、アイコン名、ファイル名、コマンド名、ハイパーテキストリンク名、画像名、ウェブアドレス、電子メールテキスト、メッセージテキスト、及びサウンド名のうちの１つ又は複数によって定義される、
請求項１６に記載のコンピュータ可読媒体。
前記実行可能コードが、オペレーティングシステム、ビデオゲーム、ウェブブラウザ、アプレット、ワードプロセッサ、スプレッドシートプログラム、検索エンジン、インターネットの音楽及び映画のショッピングサービス、辞書アプリケーション、百科事典アプリケーション、及び電子メールプログラムのうちの１つ又は複数によって定義される、
請求項１６に記載のコンピュータ可読媒体。
実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録するシステムであって、
自動情報取出モジュールを記憶するメモリと、
前記メモリに記憶された前記自動情報取出モジュールを実行する中央処理装置と、を備え、
前記自動情報取出モジュールが、
前記ユーザアクションにより前記実行可能コードに関連する前記オブジェクトとのインターフェースが可能になるときに、記録すべき詳細のレベルの選択を可能にするロジックと、
前記選択された詳細のレベルによって定義される前記ユーザアクションの前記シーケンスを記録するロジックと、
定義された個数のデータタイプの生成を可能にするルールを適用することによって前記記録されたユーザアクションのシーケンスを解析するロジックと、を含み、
前記データタイプが、１つ又は複数の前記データタイプに関連する情報を生成するように設計されたアプリケーションで利用可能である、
システム。
前記ユーザアクションと前記実行可能コードに関連する前記オブジェクトとのインターフェースが可能になるときに、記録すべき詳細のレベルの選択を可能にするロジックと、
前記選択された詳細のレベルによって定義される前記ユーザアクションの前記シーケンスを記録するロジックと、
定義された個数の前記データタイプの生成を可能にする前記ルールを適用することによって前記記録された前記ユーザアクションの前記シーケンスを解析するロジックと、を含み、
前記データタイプが、１つ又は複数の前記データタイプに関連する情報を生成するように設計されたアプリケーションで利用することが可能になっている回路をさらに含む、
請求項２５に記載のシステム。
１つ又は複数の前記データタイプに関連する前記情報が、ユーザが開始する入力の検出を必要とせずに生成される、
請求項２５に記載のシステム。
前記実行可能コードに関連する前記オブジェクトのそれぞれが、コマンド、命令、ハイパーテキストリンク、データ、ネットワーク接続を移動するデータ、アイコン、ファイル、画像ファイル、サウンドファイル、ムービーファイル、メニュー、及びテキストのうちの１つによって定義される、
請求項２５に記載のシステム。
前記ユーザアクションのそれぞれが、キーボード入力、マウス移動、マウス入力、ライトペン入力、メニューからの選択肢の選択、オブジェクトの選択、ジョイスティック入力、及びコマンドの選択のうちの１つによって定義される、
請求項２５に記載のシステム。
前記定義された個数のデータタイプが、プログラム名、入力されたデータ、アイコン名、ファイル名、コマンド名、ハイパーテキストリンク名、画像名、ウェブアドレス、電子メールテキスト、メッセージテキスト、及びサウンド名のうちの１つ又は複数によって定義される、
請求項２５に記載のシステム。
前記実行可能コードが、オペレーティングシステム、ビデオゲーム、ウェブブラウザ、アプレット、ワードプロセッサ、スプレッドシートプログラム、検索エンジン、辞書アプリケーション、百科事典アプリケーション、及び電子メールプログラムのうちの１つ又は複数によって定義される、
請求項２５に記載のシステム。
前記アプリケーションが、検索エンジン、インターネットの音楽及び映画のショッピングサービス、百科事典アプリケーション、及び辞書アプリケーションのうちの１つ又は複数によって定義される、請求項２５に記載のシステム。
前記ルールのそれぞれが、ユーザ検索要求、頻繁に繰り返されるオブジェクト、頻繁に繰り返されるユーザアクション、及びオブジェクトで費やされた時間の長さのうちの１つによって定義される、
請求項２５に記載のシステム。
実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録するシステムであって、
前記ユーザアクションのシーケンスをメモリに記録する記録手段と、
定義された個数のデータタイプの生成を可能にするルールを適用することによって前記記録されたユーザアクションのシーケンスを解析する解析手段と、を備え、
前記データタイプが、１つ又は複数の前記データタイプに関連する情報を生成するように設計されたアプリケーションで利用することが可能である、
システム。
１つ又は複数の前記データタイプに関連する前記情報が、ユーザが開始する入力の検出を必要とせずに生成される、
請求項３４に記載のシステム。
冗長である前記記録されたユーザアクションのシーケンスを除去するフィルタリング手段をさらに含む、
請求項３４に記載のシステム。
前記実行可能コードに関連する前記オブジェクトのそれぞれが、コマンド、命令、ハイパーテキストリンク、データ、ネットワーク接続を移動するデータ、アイコン、ファイル、画像ファイル、サウンドファイル、ムービーファイル、メニュー、及びテキストのうちの１つによって定義される、
請求項３４に記載のシステム。
前記ユーザアクションのそれぞれが、キーボード入力、マウス移動、マウス入力、ライトペン入力、メニューからの選択肢の選択、オブジェクトの選択、ジョイスティック入力、及びコマンドの選択のうちの１つによって定義される、
請求項３４に記載のシステム。
前記定義された個数のデータタイプが、プログラム名、入力されたデータ、アイコン名、ファイル名、コマンド名、ハイパーテキストリンク名、画像名、ウェブアドレス、電子メールテキスト、メッセージテキスト、及びサウンド名のうちの１つ又は複数によって定義される、
請求項３４に記載のシステム。
前記実行可能コードが、オペレーティングシステム、ビデオゲーム、ウェブブラウザ、アプレット、ワードプロセッサ、スプレッドシートプログラム、検索エンジン、辞書アプリケーション、百科事典アプリケーション、及び電子メールプログラムのうちの１つ又は複数によって定義される、
請求項３４に記載のシステム。
前記アプリケーションが、検索エンジン、インターネットの音楽及び映画のショッピングサービス、百科事典アプリケーション、及び辞書アプリケーションのうちの１つ又は複数によって定義される、
請求項３４に記載のシステム。
前記ルールのそれぞれが、ユーザ検索要求、頻繁に繰り返されるオブジェクト、頻繁に繰り返されるユーザアクション、及びオブジェクトで費やされた時間の長さのうちの１つによって定義される、
請求項３４に記載のシステム。
実行可能コードに関連するオブジェクトとインターフェースするときに行われるユーザアクションのシーケンスを記録する方法であって、
ユーザアクションの前記シーケンスを記録する段階、及び、
１つ又は複数のデータタイプに関連する情報を生成するように設計されたアプリケーションで利用することが可能である定義された個数のデータタイプを、生成するためのルールを適用することによって前記記録されたユーザアクションのシーケンスを解析する段階、を含む、
方法。