JP2015518592A - 観察された情報及び関連コンテキストを眼球運動追跡を用いて検索するシステム、方法及びコンピュータプログラム - Google Patents

Abstract

ディスプレイの特定の領域内でユーザが観察したコンテンツを記録することに関する方法、システム及びコンピュータプログラムを提供する。この領域はここでは関心領域（ＲＯＩ）と称され得る。ユーザによって観察されたコンテンツが、この観察コンテンツに関連するコンテキスト情報とともに記録され得る。このコンテキスト情報は処理コンテキストを含み得る。記録された情報は、ＲＯＩにて以前に観察されたコンテンツを呼び戻すために、その後に使用され得る。ユーザは、例えばＲＯＩの位置及び／又はＲＯＩが観察された時間を特定する情報などの検索基準を入力し得る。他の実施形態において、例えばキーワード、ユーザアクションコンテキスト、時間的コンテキスト及び／又は空間的コンテキストなどの追加の基準又は異なる基準がユーザによって入力され得る。そして、ＲＯＩ内で観察されたコンテンツがユーザに提示され得る。このコンテンツは、例えば同じアプリケーションを用いて、以前に観察されたのと同じ処理コンテキスト内で提示され得る。これは、ディスプレイ上の特定の領域、観察された時間、又はその他の基準を参照することによって、以前にスクリーン上で見た情報をユーザが再び手に入れることを可能にする。

Description

開示の実施形態は、コンピューティングシステム、コンピューティング方法、及びコンピュータプログラムに関する。

コンピュータユーザは、しばしば、コンピュータ画面上で最近見た何かを再閲覧することを必要とする。この要求に対処する技術の一例は検索履歴である。検索エンジンは、以前に見たデータをユーザが再閲覧し得るように、以前に入力された検索語を保存するように設計されることが多い。他の一例において、以前に閲覧されたサイトの記録をウェブブラウザが保持してもよい。以前に閲覧したウェブサイトを発見したい場合、名前、ＵＲＬ又は時間記録に従って検索して、所望のページを取り出すことができる。オペレーティングシステムの“プログラム及びファイルを検索”ユーティリティを用いて、最近使用したファイル又はアプリケーションにアクセスすることにも、同様の構成が用いられ得る。

しかしながら、現行ユーティリティは一般に、プログラム又はファイルの使用に基づく検索に限られている。例えば、以前に開かれたファイル又は以前に閲覧されたウェブサイトの一覧がユーザに与えられ得る。これは、焦点が絞られていない不明確なデータを提供するのみであり、とりわけ自然なものでもなく、また、以前ユーザに注目された情報の直接的な検索を可能にしない。さらに、検索基準が、ユーザの挙動を当てにするものでないため、表面的なデータ（例えば、キーワード、時間、ファイルサイズなど）に制限されてしまい得る。これは、自然な流れでの人間ユーザのコンピュータとのインタラクションを使用していない。探し求められているデータのコンテキストが考慮に入れられておらず、ユーザが自身の意図する特定の関心に従って正確に後戻りすることを常に可能にするものではない。現在の検索方法は、例えば、ユーザが最近見るか読むかしたものを何となく思い出すときにデータを取り出すことにおいて、必ずしもユーザの手助けとはなっていない。

観察された情報を検索するシステム、方法及びコンピュータプログラムを提供する。

一実施形態に係る方法は、ディスプレイ上でユーザによって観察されている関心領域（ＲＯＩ）を決定し、前記領域内で観察されているコンテンツを記録し、前記コンテンツの処理コンテキストを記録し、記録された情報をリポジトリに格納し、その後の要求に応じて、ユーザに、記録された情報をアクセス可能にすることを含む。

一実施形態に従った、ここに記載のシステムの使用を例示する図である。 一実施形態に従った、ここに記載のシステムの処理を例示するフローチャートである。 他の一実施形態に従った、ここに記載のシステムの処理を例示するフローチャートである。 一実施形態に従った、データの捕捉を例示するフローチャートである。 一実施形態に従った、要求処理を例示するフローチャートである。 一実施形態に従った、関心領域に関連するレコードを例示する図である。 他の一実施形態に従った、関心領域に関連するレコードを例示する図である。 一実施形態に従った、ここに記載のシステムが実装され得るコンピューティングシステムを例示する図である。 一実施形態に従った、ここに記載のシステムが動作し得るプラットフォームを例示する図である。 一実施形態に従った、ここに記載のシステムが実装され得るモバイル情報装置を例示する図である。 図面中、参照符号の一番左の桁は、その参照符号が最初に現れる図を特定している。

続いて、図面を参照して実施形態を説明する。図面中、似通った参照符号は、同一あるいは機能的に同等の要素を指し示している。具体的な設定及び構成が説明されるが、理解されるべきことには、これは単に例示目的で行われているに過ぎない。当業者が認識するように、開示の精神及び範囲を逸脱することなく、その他の設定及び構成を使用することもできる。当業者に明らかになるように、これは、ここに記載されるもの以外の多様なシステム及び用途で使用されることもできる。

ここでは、情報機器のディスプレイ上でユーザが以前に眺めたコンテンツを、ユーザがそのために明示的な行動を取ることを必ずしも必要とせずに、どのようにして捕捉（キャプチャ）あるいは再現するかという技術的問題を解決する方法、システム及びコンピュータプログラムが開示される。

以下に記載される方法、システム及びコンピュータプログラムは、コンピュータディスプレイの或る領域内でユーザによって観察されたテキスト又は画像のデータを記録することに関する。この領域のことを、ここでは、関心領域（ＲＯＩ）と呼ぶこともある。ＲＯＩ内でユーザによって観察されたコンテンツは、このコンテンツに関連するコンテキスト情報とともに記録されることができる。このコンテキスト情報は、例えば、眺められた特定のファイル、そのファイルが開かれたアプリケーション、及び／又は閲覧されたウェブページ、といったものを含み得る処理コンテキストを含むことができる。実施形態において、例えば眺めることが行われた時間、眺められたＲＯＩのスクリーン座標、ＲＯＩに隣接したコンテンツ、及び／又はＲＯＩを眺める前若しくは後に眺められたコンテンツなどの、追加情報が記録されてもよい。

そして、記録された情報は全て、ＲＯＩにて以前に観察されたコンテンツを呼び戻すために、その後に使用されることができる。ユーザは、例えばＲＯＩの位置及び／又はＲＯＩが眺められた時間を特定する情報などの検索基準を入力することができる。他の実施形態において、追加の基準又は異なる基準がユーザによって入力され得る。そして、ＲＯＩ内で観察されたコンテンツがユーザに提示され得る。一実施形態において、このコンテンツは、例えば同じアプリケーションを用いて、以前に観察されたのと同じ処理コンテキスト内で提示され得る。これは、ディスプレイ上の特定の領域、観察された時間、又はその他の基準を参照することによって、以前にスクリーン上で見た情報をユーザが再び手に入れることを可能にする。実施形態において、観察されたＲＯＩ及び関連データを記録することが継続的に実行されてもよいし、それに代えて、特定のＲＯＩ及び関連データを記録することが、ユーザがそのように選択するときにのみ実行されてもよい。

ここに記載されるシステム及び方法は、固視（視界内の特定の点の観察）と衝動性運動（固視の点の移動）とからなる人間観察の生理機能を利用し得る。固視の分析及び定量化は、特に集めて一群とされるとき、焦点領域すなわちＲＯＩを推定することを可能にし得る。故に、視標追跡（アイトラッキング）は、関心領域及び関連するコンテキスト上の情報を保存すること（そして、後で検索すること）に、観察者の自然な挙動を利用することを可能にし得る。

図１は、一実施形態に従った、ここに記載されるシステムを実装するコンピュータシステムとインタラクトするユーザを例示している。他の実施形態においては、中央演算処理ユニット、キーボード及び／又はマウスが別々の区別できるコンポーネントではないとし得る他のコンピューティングプラットフォームが使用されてもよい。図１において、ユーザ１１０がディスプレイ１２０を眺めているとし得る。ディスプレイ１２０上に、何らかの既知のオペレーティングシステムによって提示され得るようなグラフィカルユーザインタフェースがあり得る。図１の例には２つのウィンドウが存在しており、一方は、ファイルＹが開かれているアプリケーションＸを描写している。他方のウィンドウは、オープンフォルダＺを描写しているとし得る。この例において、ユーザ１１０は、アイコンｃとして示されたフォルダＺ内の一番右側のアイコンを見た後、開かれたファイルＹに視界を移して、単語“ｃｏｎｔｉｎｅｎｔ”を見ることがある。ユーザ１１０の眼の位置、及びその眼が焦点を合わせている方向が、既知の技術を用いる装置１５０として示されたカメラ装置を用いて決定され得る。そのような技術は、例えば、ユーザの眼の高さより下のディスプレイの底部に赤外発光ダイオード（ＬＥＤ）とカメラとを含んだ視標追跡システムを有し得る。

当業者に知られるように、ユーザの眼の位置及び向きを、ディスプレイ１２０の位置及び向きと組み合わせて用いることで、ユーザ１１０が見ているディスプレイ１２０の領域を決定し得る。上述のように、この領域は関心領域すなわちＲＯＩと称されることがある。経時的に、ユーザ１１０はその見ている方向をディスプレイのその他の領域に変え得る。これらのうちの一部は後続のＲＯＩであり得るが、他の一部は、真に関心がある領域ではなく、無作為あるいは不意の固視である領域を表し得る。また、ユーザ１１０は、ディスプレイ１２０上でオペレーティングシステム及び／又はアプリケーションとインタラクトすることができ、その結果、ディスプレイ１２０上の画像及びテキストが時間とともに変化し得る。

一実施形態において、ユーザ１１０のＲＯＩが決定されると、その位置にあるコンテンツが保存され得る。これは、ユーザ１１０が後に所望の場合にこのコンテンツを取り出すことを可能にする。ＲＯＩ内のコンテンツ（テキストであろうと画像であろうと）は、ユーザによる後の検索を可能にするよう、レコード又はその他のデータ構造内に記録され得る。ＲＯＩのコンテンツが保存されるとき、幾つかの関連する情報要素（ピース）も保存され得る。これらの関連情報要素は、そのＲＯＩが観察された時間、そのＲＯＩに視覚的にとどまりながら費やされた時間量、及びそのＲＯＩのスクリーン座標を含み得る。このような情報は、後に検索基準として使用され得る。検索基準は、例えばキーボード１８０及び／又はマウス１９０などの入力デバイスを介してユーザ１１０によって入力されてもよい。

ＲＯＩに関係する情報はまた、そのコンテンツのコンテキスト情報を含み得る。ＲＯＩのこのコンテキスト情報も記録され得る。コンテキスト情報は、そのコンテンツの処理コンテキストを含み得る。処理コンテキストは、例えば、ＲＯＩ内で見られたファイルの名称、ＲＯＩ内で眺められたファイル内の位置、ファイルが開かれるのに用いられたアプリケーション、アプリケーション内の位置（例えば、アプリケーション内の選択されたオプション）、及び／又は閲覧されたウェブサイトの名前を含み得る。

ＲＯＩに関係する情報はまた、その他の形態のコンテキストも含み得る。それらには、目視時間的コンテキスト情報、すなわち、そのＲＯＩを観察する直前又は直後にユーザによって眺められたコンテンツに関する情報が含まれ得る。図１の例において、ユーザ１１０がファイルＹを眺める直前にアイコンｃを眺めた場合で、且つ単語“ｃｏｎｔｉｎｅｎｔ”がＲＯＩ内のコンテンツを表す場合、そのＲＯＩを観察する直前にアイコンｃがユーザ１１０によって眺められていたという点で、アイコンｃの画像がそのＲＯＩの目視時間的コンテキストを表す。単語“ｃｏｎｔｉｎｅｎｔ”を見た後に、ユーザ１１０がその注意を単語“Ｆｏｕｒ ｓｃｏｒｅ”に向けた場合、この後者の語句もそのＲＯＩに関する目視時間的コンテキストを表す。

ＲＯＩのコンテキストの別の一形態は、空間的コンテキスト、すなわち、ディスプレイ上でＲＯＩに隣接するコンテンツに関する情報とし得る。図１の例において、単語“ｃｏｎｔｉｎｅｎｔ”がＲＯＩを表す場合、“ｎｅｗ ｎａｔｉｏｎ”がＲＯＩに隣接していたという点で、語句“ｎｅｗ ｎａｔｉｏｎ”がそのＲＯＩの空間的コンテキストの一例を表し得る。このＲＯＩに関する空間的コンテキストの他の一例は、アプリケーションＸのウィンドウの左のオープンフォルダＺとし得る。

ＲＯＩのコンテキストの他の一形態は、ユーザアクションコンテキスト、すなわち、そのＲＯＩを観察した直前又は直後のユーザ１１０の行為に関する情報とし得る。その例には、アプリケーションを開くこと若しくは閉じること、文書を保存すること、又はウィンドウのサイズを変更することが含まれ得る。

ＲＯＩのコンテンツ、及び保存されたその関連データは、後に検索目的で使用され得る。或る特定の時間に観察された所与のＲＯＩに関し、該ＲＯＩのコンテンツ及びその他の関連データが、レコード又はその他のデータ構造内のフィールド又はサブフィールドとして保存され得る。一実施形態において、そのようなレコードは、中央演算処理ユニット（ＣＰＵ）１６０の不揮発性（ＮＶ）メモリ１７０内のリポジトリ（保存場所）に保存され得る。ＮＶメモリ１７０は、ハードドライブ、フラッシュメモリ、又はその他のデバイスとし得る。他の一実施形態において、ＮＶメモリ１７０はＣＰＵ１６０の外部にあってもよい。一実施形態において、レコードは、ネットワーク接続（図示せず）を介してアクセス可能な別の位置で遠隔保存されてもよい。

保存されたレコードは、保存された情報に対応する１つ以上の基準に基づいて検索が行われるようにして、ユーザが過去のＲＯＩを検索して、以前に眺めたコンテンツを発見することを可能にし得る。例えば、ユーザ１１０が、アプリケーションＸを閉じたが、以前に眺めたファイルを見る必要があることが分かり、そのファイル内の単語“ｃｏｎｔｉｎｅｎｔ”を見たことだけを思い出す、ということがあり得る。以前に観察されたＲＯＩのコンテンツ（ここでは、単語“ｃｏｎｔｉｎｅｎｔ”）を保存してあることにより、ユーザ１１０は、この単語に関して保存ＲＯＩを検索して、ファイルＹに至り得る。更に詳細に後述するように、ファイルＹは適切な処理コンテキストにてユーザ１１０に提示されることができ、例えば、ファイルＹはアプリケーションＸのコンテキストにてユーザ１１０に提示され得る。

その他の検索基準が使用されてもよい。他の一例において、ユーザ１１０は、単語“ｃｏｎｔｉｎｅｎｔ”を見たところであるディスプレイ１２０の右下の１／４部分内で見たコンテンツを検索し得る。ここで、この検索は、そのスクリーン座標が右下１／４に対応し且つそのコンテンツが“ｃｏｎｔｉｎｅｎｔ”に一致するレコードに対して実行され得る。そして、合致したレコードが返され、ファイルＹがアプリケーションＸのコンテキストにて開かれ得る。なお、アプリケーションＸ及びファイルＹが選択され得るのは、合致したレコード内の処理コンテキスト情報でそれらが特定されたからである。

ＲＯＩが観察された時間もまた、検索基準として使用され得る。ユーザ１１０は、関心あるファイルを前日の正午頃に見たことを思い出すことがある。各レコードに格納されていることがある視聴時間を用いて、その時間前後に観察されたＲＯＩに対応するレコードが特定され得る。この検索、及び複数の可能性を生じるその他の検索において、可能性のある合致したものが、当業者に既知あるいは想像可能な何らかのテキストフォーマット及び／又はグラフィックフォーマットを用いて、レコードのリストとしてユーザに提示されてもよい。そのようなリストを与えられる、ユーザ１１０はレコードを選択してそのコンテンツを所望のように開き得る。

また、検索は、このような情報のうちの単一の要素（ピース）を用いて実行されてもよいし、幾つかを組み合わせて用いて実行されてもよい。例えば、ユーザ１１０は、右下１／４内で観察した単語“ｃｏｎｔｉｎｅｎｔ”を含んだコンテンツを見ることを望み得る。その場合、これらの基準の双方を用いて検索が実行され得る。

なお、以上の例は、当業者に理解されるように、可能性あるものの包括的な一覧を表すことを意図したものではなく、ＲＯＩに関して保存された情報の何れかを用いたその他の検索シナリオも使用され得る。

図１は、実施形態が実装され得る１つのコンピューティングプラットフォームを示しているが、理解されるように、他の実施形態が他のタイプのプラットフォームで実装され得る。それらの他のプラットフォームは、例えば、別個のＣＰＵ、キーボード、及びマウスを有していなくてもよい。そのような他のプラットフォームは、例えばラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピューティング装置、携帯電話などの、より可搬性に優れたコンピューティング装置を含み得る。そのようなプラットフォームでの実施形態の動作は、ユーザの眼がとどまるディスプレイ上の位置が関連コンテキスト情報とともに捕捉されて記録されるようにして、上述の動作と同様とし得る。

上述のように、ここに記載されるシステムはＲＯＩを継続的に記録してもよい。そのような一実施形態においては、ユーザによって眺められる領域が常にモニタされ、所定の期間より長くユーザが眺める如何なるＲＯＩについても、レコードが作成されてデータ投入され得る。このような一実施形態での処理を図２に例示する。図示したプロセスの処理は、視標追跡機能がアクティブにされていると仮定している。一実施形態において、この機能はユーザによってオンに切り換えられてもよい。ステップ２１０にて、データが捕捉され得る。上述のように、この捕捉データは、ＲＯＩ内で観察されたコンテンツ若しくは画像、ＲＯＩが観察された時間、ＲＯＩにとどまりながら費やされた時間量、及びＲＯＩのスクリーン座標、のうちの１つ以上を含み得る。このデータはまた、処理コンテキスト、空間的コンテキスト、目視時間的コンテキスト、及びユーザアクションコンテキスト、のうちの１つ以上を含んでいてもよい、
ステップ２２０にて、このデータがリポジトリに格納され得る。一実施形態において、上述のアイテムの各々用のフィールドを含んだ、ＲＯＩに関するレコードが作成され得る。そして、レコードがリポジトリに保存され得る。複数のＲＯＩが継続的に記録されるので、このプロセスはステップ２１０に戻ることができ、ユーザが別の領域を眺めると、次のＲＯＩに関連する上述のデータアイテムが捕捉され得る。

ステップ２３０にて、ユーザから、以前に観察したコンテンツを探す検索要求が受信され得る。上述のように、この要求は、捕捉されたデータの種類に応じて、数多くの形態を取り得る。捕捉データの何れかが検索基準として使用され得る（その基準が要求内で指定されている場合）。ユーザは、例えば、特定の時間に観察したコンテンツや、ディスプレイ上の特定の位置に現れたコンテンツや、電子メールを送信する直前に見たコンテンツや、又は、その他の基準点に隣接して現れたコンテンツを要求し得る。これらの例は、当業者に理解されるように、可能性あるものの包括的な一覧とすることを意図したものではなく、その他の検索要求も可能である。

ステップ２４０にて、更に詳細に後述するようにして要求が処理される。要求に合致するレコードが発見された場合、対応するコンテンツがユーザに提示され得る。幾つかのレコードが合致する場合、それら合致するレコードが、完全な形態又は短縮された形態の何れかでユーザに提示されることができ、ユーザは、これらの可能性のある合致したものから選択を行い得る。完全なレコードが提示される一実施形態において、ＲＯＩからのコンテンツが強調されてもよい。合致するものが発見されない場合、ユーザにそのように通知されてもよいし、それに代えて、おおよそ合致するレコードが提示されてもよい。

なお、一実施形態において（図示せず）、データの捕捉及び記憶は、検索要求が処理されている間にも続けられ得る。そのような一処理において、データの捕捉及び記憶は、検索要求の処理と並行して行われ得る。

他の一実施形態を図３に例示する。ここでは、ユーザが明示的に望むときにのみ、データが捕捉され得る。ステップ３１０にて、ＲＯＩ及び関連データを捕捉することをユーザが望んでいるかについて決定が為され得る。一例として、ユーザは、ＲＯＩを眺め、そのＲＯＩのコンテンツ及び関連データを可能性ある後のアクセスのために捕捉することを欲する場合に、捕捉を実行するよう、あるいはその他の意図的な所定のアクションを実行するよう、マウスボタンをクリックしたりファンクションキーを叩いたりし得る。そして、ステップ３２０にて、その時点で観察されているＲＯＩ内のコンテンツが関連データとともに捕捉され得る。

ステップ３３０にて、このデータがリポジトリに格納され得る。一実施形態において、関連データ用のフィールドを含んだ、ＲＯＩに関するレコードが作成され得る。そして、レコードがリポジトリに保存され得る。

ステップ３４０にて、ユーザから、以前に観察したコンテンツを探す検索要求が受信され得る。上述のように、この要求は、捕捉されたデータの種類に応じて、数多くの形態を取り得る。捕捉データの何れかが検索基準として使用され得る（その基準が要求内で指定されている場合）。ステップ３５０にて、更に詳細に後述するようにして要求が処理される。要求に合致するレコードが発見された場合、対応するコンテンツがユーザに提示され得る。幾つかのレコードが合致する場合、それら合致するレコードが、完全な形態又は短縮された形態の何れかでユーザに提示されることができ、ユーザは、これらの可能性のある合致したものから選択を行い得る。合致するものが発見されない場合、ユーザにそのように通知されてもよいし、それに代えて、おおよそ合致するレコードが提示されてもよい。

ここでも、図２の場合においてのように、データの捕捉及び記憶は、検索要求が処理されている間にも続けられ得る。そのような一実施形態において、データの捕捉及び記憶は、検索要求の処理と並行して行われ得る。

一実施形態に従ったデータの捕捉（図２の２１０、及び図３の３２０）を図４に例示する。ステップ４１０にて、ユーザの眼の活動が検出されて分析され得る。概して、データは三段階で捕捉・分析され得る。第１に、例えば６０Ｈｚなどの周波数で生（raw）の注視データがサンプリングされ得る。第２に、眼球運動が、例えば、固視又は弾道運動（衝動性運動として知られる）の何れかとして分類され得る。第３に、固視を集めて一群とするクラスタリング（又は、その他の同等な経験則）を用いて、意図的に観察されている領域すなわちＲＯＩが推定され得る。

より具体的には、ユーザの眼が向けられている方向が検出され、ユーザの固視の期間（すなわち、滞留時間）が決定され得る。ユーザの眼の向きは、ディスプレイの位置及び向きと組み合わさって、ステップ４２０で観察領域すなわちＲＯＩを決定することを可能にし得る。ステップ４３０にて、ＲＯＩにて観察されるテキスト又は画像が記録され得る。ステップ４４０にて、ＲＯＩに関する処理コンテキストが記録され得る。上述のように、処理コンテキストは、ＲＯＩ内で観察されているファイルの名称、ファイルを表示しているアプリケーション、及び／又はＲＯＩ内で閲覧されているウェブページのうちの１つ以上を含み得る。ステップ４５０にて、眺めることが行われた時間及び／又は滞留時間が記録され得る。滞留時間は、ステップ４１０で測定されたものとし得る。ステップ４６０にて、ＲＯＩのスクリーン座標が記録され得る。

ステップ４７０にて、空間的コンテキスト、目視時間的コンテキスト、又はユーザアクションコンテキストのうちの１つ以上が記録され得る。上述のように、他の実施形態において、ＲＯＩに関係するこのデータのうちのサブセットが記録され得る（あるいは、これらは全く記録されなくてもよい）。他の例では、更なる関連データが記録されてもよい。

他の実施形態において、ステップ４３０−４７０は如何なる順序で行われてもよい。また、これらのうちの何れか２つ以上が並行して行われてもよい。

図５は、一実施形態に従った検索要求の処理（図２の２４０、及び図３の３５０）を例示している。ステップ５１０にて、ユーザによって提示された検索基準に合致し得るレコードを特定するために、リポジトリ内のレコードが検査される。例えば、ディスプレイの右上隅のＲＯＩを探す検索基準をユーザが入力する場合、ディスプレイのその部分内のスクリーン座標を有するレコードが特定され得る。一実施形態において、ユーザは、関心領域のマーキングを可能にするユーティリティを有し得る。単語“ｃｏｎｔｉｎｅｎｔ”を探す検索基準をユーザが入力する場合、コンテンツフィールド内にその単語を有するレコードが特定され得る。一実施形態において、検索基準に近いコンテンツを有するレコードも特定されてもよく、例えば、“ｃｏｎｔｉｎｕａｌ”又は“ｃｏｎｔｉｎｅｎｔａｌ”のような単語を含んだコンテンツを有するレコードが特定されてもよい。他の例では、検索基準は、ＲＯＩが観察された時間若しくは時間範囲、又はＲＯＩが見られたディスプレイ上の位置を指定してもよい。その場合、そのようなデータを含むフィールド探して、レコードが検索されることになる。検索基準は代替的に、そのＲＯＩを観察した直前又は直後に実行されたユーザアクションを表してもよい。そのＲＯＩがアプリケーションを開くか閉じるかした直前に観察された場合、その開／閉を検索の基準として使用することができ、ユーザは、例えば、自身のウェブブラウザを開く直前に見たＲＯＩを探し得る。その検索は、そのＲＯＩがブラウザを開くことの直前に観察されたことを指し示すフィールドを有するＲＯＩのレコードを探すことになる。

一実施形態において、複数の基準が組み合わされてもよい。ユーザは、例えば、単語“ｃｏｎｔｉｎｅｎｔ”を有し且つ前日の午後２：００頃に見られたＲＯＩを探す検索基準を入力し得る。そして、これらの基準に合致するか近いかであるレコードが特定され得る。

一実施形態において、ユーザは、空間コンテキスト又は目視時間的コンテキストに関係する検索基準を提供し得る。例えば、ユーザは、“マイコンピュータ”アイコンのすぐ右のＲＯＩ内のコンテンツを見たことを思い出すことがある。このような空間的コンテキスト基準を用いた検索に適応するよう、ＲＯＩレコードは、空間的コンテキストに関係するデータ用に１つ以上のフィールドを有し得る。一実施形態において、ＲＯＩ及びその関連データを記録することは、そのＲＯＩに隣接して現れているテキスト及び／又は画像のデータを記録することを含み得る。所望のＲＯＩに関するレコードは、例えば、元々眺めていた時にそのＲＯＩの隣に現れていたテキスト又は画像のデータを含む１つ以上のフィールドを有し得る。リポジトリ内のレコードセットの検索は、これらのフィールド内で、“マイコンピュータ”アイコンに関係する画像又はテキストを探し得る。そして、この検索は、“マイコンピュータ”アイコンを隣に有するＲＯＩのレコードを特定し得る。

他の例では、ＲＯＩ及びその関連データを記録することは、そのＲＯＩのそれぞれの隣接領域に関する更なるレコードを作成することを含んでいてもよい。そのようなレコードは各々、隣接領域のレコードへのリンクを含んだ、それ自身の空間的コンテキストフィールドを含み得る。例えば、“マイコンピュータ”アイコンの隣に現れていたコンテンツをユーザが探していると仮定する。この場合、その検索は、そのコンテンツフィールドがこのアイコンを含んでいるレコードを追及し得る。この検索は、故に、そのコンテンツフィールドが“マイコンピュータ”アイコンを含んでいる領域のレコードを捜索し得る。そのようなレコードは、このアイコンに隣接していた領域のレコード（所望のＲＯＩのレコードを含む）を指し示す自身の空間的コンテキストフィールドを有する。従って、“マイコンピュータ”アイコンに関するレコード内の空間的コンテキストリンクを用いて、“マイコンピュータ”アイコンに隣接するＲＯＩに関するレコードを特定し得る。少なくとも１つのそのようなＲＯＩが、所望のＲＯＩであり得る。他の一例において、或るアプリケーションによって開かれた文書（又はその一部）の隣に現れていたコンテンツをユーザが探すことがある。この場合、その検索は、そのコンテンツフィールドがこの文書又はその一部を含んでいるレコードを追及し得る。この検索は、故に、そのコンテンツフィールドがこの文書を含んでいる領域のレコードを捜索し得る。やはり、そのようなレコードは、この文書に隣接していた領域のレコード（所望のＲＯＩのレコードを含む）を指し示す自身の空間的コンテキストフィールドを有する。従って、この文書に関するレコード内の空間的コンテキストリンクを用いて、この文書に隣接するＲＯＩに関するレコードを特定し得る。

目視時間的コンテキストに関係する基準を用いた検索を実行することにも、同等の構成が使用され得る。例えば、ユーザは、アイコンｃを見た直後に或るＲＯＩ内のコンテンツを見たことを思い出すことがある。そして、ユーザは、この時間的な参照を用いてそのＲＯＩのコンテンツを取り戻すことを望み得る。このような目視時間的コンテキスト基準を用いた検索に適応するよう、ＲＯＩレコードは、目視時間的コンテキストに関係するデータ用に１つ以上のフィールドを有し得る。ＲＯＩレコードは、例えば、そのＲＯＩを観察した前又は後に眺めたテキスト又は画像のデータを含む１つ以上のフィールドを有し得る。このような一実施形態において、ＲＯＩ及びその関連データを記録することは、所望のＲＯＩを観察した前又は後に眺めたテキスト及び／又は画像のデータを記録することを含んでいてもよい。上述の例に戻るに、リポジトリ内のレコードセットの検索は、これらのフィールド内で、アイコンｃに関係する画像又はテキストを探し得る。そして、この検索は、故に、アイコンｃを眺めた直前又は直後に観察されたＲＯＩのレコードを返すことになる。また、目視時間的コンテキストは、単一のイベント（例えば、アイコンｃを見たこと）としてではなく、そのＲＯＩを観察したことに先立つ、あるいは続く一連（シーケンス）のイベントとして、あるいは、そのＲＯＩを観察したことを含む一連のイベントとして規定されてもよい。この場合、ＲＯＩレコードは、例えば、そのようなシーケンス中に眺められたテキスト又は画像のデータを含む１つ以上のフィールドを有し得る。そして、そのようなフィールドを含むレコードの検索により、所望のＲＯＩに至り得る。

他の例では、ＲＯＩ及びその関連データを記録することは、所望のＲＯＩを観察した直前及び直後に観察されたそれぞれのＲＯＩに関する更なるレコードを作成することを含み得る。そして、ＲＯＩに関するレコードは、直前又は直後に観察されたそれらそれぞれのＲＯＩのレコードへのリンクを含んだ目視時間的コンテキストフィールドを含み得る。この場合、アイコンｃを眺めた直後に眺めたコンテンツをユーザが検索する場合に、そのコンテンツフィールドがこのアイコンを含んだレコードが検査され得る。これらのレコード内の目視時間的コンテキストリンクを用いて、アイコンｃを眺めた特後に観察されたＲＯＩに関するレコードを特定し得る。

図５に戻るに、ステップ５２０にて、１つ以上の可能性ある合致がユーザに提示され得る。厳密な合致が返されてもよいし、他の一実施形態において、大体の合致もまた返されてもよい。ステップ５３０にて、提示された合致の中からのユーザ選択が受信され得る。ステップ５４０にて、選択されたレコードが取り出され、ステップ５５０にて、対応するコンテンツがユーザに提示される。一実施形態において、このコンテンツは、その元々の処理コンテキストにてユーザに提示されてもよく、例えば、元のファイルが、それが元々眺められたアプリケーションを用いて提示される。

図６は、一実施形態に従ったＲＯＩに関するレコード６００を例示している。６個のフィールドが図示されているが、理解されるように、他の実施形態においては、より多くのフィールド又はより少ないフィールドが使用されてもよい。フィールド６１０は、ＲＯＩ内で観察されたコンテンツを含んでおり、このコンテンツは、ＲＯＩ内で観察された画像データ、テキストデータ、又はその他の形態のデータとし得る。フィールド６２０は、フィールド６１０の画像又はテキストを表示するために使用されたアプリケーションを特定する。一実施形態において、フィールド６２０はまた、アプリケーション内の位置（例えば、アプリケーション内の選択されたオプション）を含み得る。フィールド６３０は、フィールド６２０のアプリケーションによって開かれていた、ＲＯＩ内で観察された画像又はテキストを含んだファイルを特定し得る。フィールド６２０のアプリケーションがウェブブラウザである場合、フィールド６４０が、ＲＯＩ内で閲覧されたウェブページを特定し得る。フィールド６５０は、ＲＯＩが観察された時間、及び／又はこの眺めていたことの期間若しくは滞留時間を特定し得る。他の一実施形態においては、これら各々のために別々のフィールドが存在してもよい。フィールド６６０は、ＲＯＩの位置のスクリーン座標を特定し得る。一実施形態において、レコード６００のようなレコードは、図３に例示したようなユーザの明示的な指示の時点でＲＯＩ及び関連データの記録が行われる状況で使用され得る。

図７は、他の一実施形態に従ったＲＯＩに関するレコード７００を例示している。この特定の実施形態においては、９個のフィールドが示されている。フィールド７１０は、例えば画像データ又はテキストデータなど、ＲＯＩ内で観察されたコンテンツを含み得る。フィールド７２０は、フィールド７１０の画像又はテキストを表示するために使用されたアプリケーションを特定し得る。一実施形態において、フィールド７２０はまた、アプリケーション内の位置（例えば、アプリケーション内の選択されたオプション）を含み得る。フィールド７３０は、フィールド７２０のアプリケーションによって開かれていた、ＲＯＩ内で観察された画像又はテキストを含んだファイルを特定し得る。フィールド７２０のアプリケーションがウェブブラウザである場合、フィールド７４０が、ＲＯＩ内で閲覧されたウェブページを特定し得る。フィールド７５０は、ＲＯＩが観察された時間、及び／又はこの眺めていたことの期間若しくは滞留時間を特定し得る。他の一実施形態においては、これら各々のために別々のフィールドが存在してもよい。フィールド７６０は、ＲＯＩの位置のスクリーン座標を特定し得る。

フィールド７６５は、ＲＯＩの時間的コンテキストに関係する情報を格納し得る。ユーザは典型的にその時々でディスプレイの異なる領域に注目していることを考えれば、このフィールドは、レコード７００のＲＯＩの観察の前及び／又は後に眺められた領域に関する情報を格納し得る。例えば、時間的コンテキストフィールド７６５は、上述のように、フィールド７１０のコンテンツを眺めた前又は後にユーザによって眺められたものを表す画像データ又はテキストデータを格納し得る。他の例では、フィールド７６５は、フィールド７１０のコンテンツを眺めた前又は後にユーザによって観察されたＲＯＩに対応するその他のレコードへの、１つ以上のリンクを格納し得る。フィールド７６５は、ユーザが、所望のＲＯＩを観察した前又は後に眺められたものを検索基準として指定することによって、レコード７００を検索することを可能にする。

フィールド７７０は、ＲＯＩの空間的コンテキストに関係する情報を格納し得る。ＲＯＩは典型的にディスプレイ上で隣接する領域を有するので、このフィールドは、そのような隣接領域に関係する情報を格納し得る。例えば、空間的コンテキストフィールド７７０は、ＲＯＩに隣接する１つ以上の領域内に現れた画像データ又はテキストデータを格納し得る。他の例では、フィールド７７０は、そのような隣接領域のＲＯＩに対応するその他のレコードへの、１つ以上のリンクを格納し得る。フィールド７７０は、ユーザが、所望のＲＯＩに隣接する領域内でスクリーン上に存在していたものを検索基準として指定することによって、レコード７００を検索することを可能にする。

フィールド７７５は、ＲＯＩのユーザアクションコンテキストに関係する情報を格納し得る。ユーザは典型的に、コンピュータを使用する過程で多様なアクションを実行し得る。ユーザは、例えば、アプリケーションをスタートあるいはクローズし、ウィンドウをオープンあるいはクローズし、電子メールを送信し、ボタンをクリックし、スクロールを行い、等々を行い得る。フィールド７７５は、ＲＯＩの観察の前及び／又は後に為されたアクションを指定するデータを格納し得る。そのようなデータは、例えば、ファイルａを開くこと、ウィンドウＺを閉じること、又はアプリケーションＸを開くことを記述し得る。フィールド７７５は、ユーザが、所望のＲＯＩを観察した前又は後にユーザによって実行されたことを検索基準として指定することによって、レコード７００を検索することを可能にする。

なお、様々な実施形態において、フィールド７６５、７７０、７７５は実際には、各フィールド又は各サブフィールドが特定のコンテキストの一構成要素を格納する１つ以上のフィールド又はサブフィールドを表し得る。例えば、フィールド７６５の場合、１つのサブフィールドが、ＲＯＩを観察する前に眺められたものを表すデータを格納し、別のサブフィールドが、ＲＯＩを観察した後に眺められたものと表すデータを格納し得る。フィールド７７０の場合、１つのサブフィールドが、ＲＯＩの下に現れたテキストデータ又は画像データを表すデータを格納し、別のサブフィールドが、ＲＯＩの上に現れたテキストデータ又は画像データを表すデータを格納する等々とし得る。フィールド７７５の場合、１つのサブフィールドが、ＲＯＩを観察する前に為された１つ以上のアクションを指定するデータを格納し、別のサブフィールドが、ＲＯＩを観察した後に為された１つ以上のアクションを指定するデータを格納し得る。さらに、複数のサブフィールドを用いて、各々が、ＲＯＩを観察した前又は後に為された１つのアクションを指定するデータを格納するようにしてもよい。

一実施形態において、レコード７００のようなレコードは、図２に例示したような継続的にＲＯＩ及び関連データの記録が行われる状況で使用され得る。

様々な実施形態は、ハードウェア要素、ソフトウェア要素、又はこれら双方の組み合わせを用いて実装され得る。ハードウェア要素の例は、プロセッサ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、抵抗、キャパシタ、及びインダクタなど）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、及びチップセットなどを含み得る。ソフトウェアの例は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシージャ、ソフトウェアインタフェース、アプリケーションプログラムインタフェース（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、バリュー、シンボル、又はこれらの何らかの組み合わせを含み得る。実施形態をハードウェア要素及び／又はソフトウェア要素の何れを用いて実装するかを決めることは、例えば、所望の計算レート、電力レベル、熱耐性、処理サイクルバジェット、入力データレート、出力データレート、メモリリソース、データバススピード、及びその他の設計上若しくは性能上の制約などの、多数の要因に従って変わり得る。

ソフトウェアなる用語は、ここでは、ここに開示された１つ以上の機能及び／又はその組み合わせをコンピュータシステムに実行させるコンピュータプログラムロジックを格納したコンピュータ読み取り可能媒体を含んだコンピュータプログラムプロダクトを意味してもよい。コンピュータ読み取り可能媒体は、一時的なもの又は非一時的なものとし得る。一時的なコンピュータ読み取り可能媒体の例は、無線周波数上若しくは導電体上で、ローカルエリアネットワーク若しくはワイドエリアネットワークを介して、あるいは例えばインターネットなどのネットワークを介して伝送されるデジタル信号とし得る。非一時的なコンピュータ読み取り可能媒体の例は、コンパクトディスク、フラッシュメモリ、ランダムアクセスメモリ、読み出し専用メモリ、又はその他のデータ記憶装置とし得る。

このようなソフトウェア／ファームウェアを実行する一実施形態に従ったコンピューティングシステムを図８に示す。図示したシステム８００は、１つ以上のプロセッサ８２０を含むことができ、さらに、メモリ８１０を含むことができる。プロセッサ８２０は、１つ以上の中央演算処理ユニットコア、及び／又は、１つ以上のＧＰＵコアを有するグラフィックス処理ユニットを含み得る。メモリ８１０は、コンピュータプログラムロジック８４０を格納し得る１つ以上のコンピュータ読み取り可能媒体を含み得る。メモリ８１０は、ハードディスクドライブ、例えばコンパクトディスクなどのリムーバブルメディア、読み出し専用メモリ（ＲＯＭ）デバイス若しくはランダムアクセスメモリ（ＲＡＭ）デバイス、又はこれらの組み合わせとして実装され得る。プロセッサ８２０とメモリ８１０は、例えばバス又は二点間インターコネクトなどの当業者に知られた技術のうちの何れかを用いて通信し得る。メモリ８１０に格納されたコンピュータプログラムロジック８４０は、プロセッサ８２０によって読み出されて実行され得る。集合的にＩ／Ｏ８３０として示した１つ以上のＩ／Ｏポート及び／又はＩ／Ｏ装置もまた、プロセッサ８２０及びメモリ８１０に接続され得る。一実施形態において、Ｉ／Ｏ８３０は、図１に示したようなディスプレイ１２０及びカメラ装置１５０を含み得る。

コンピュータプログラムロジック８４０は、上述の処理を具現化するロジックを含み得る。図示した実施形態において、コンピュータプログラムロジック８４０は、図４に関して上述したロジックを具現化するデータ捕捉モジュール８５０を含み得る。コンピュータプログラムロジック８４０はまた、上述のロジック（一実施形態において、図４のステップ４３０−４７０）を具現化するとともに図６及び７のフォーマットに従ったデータを格納するデータ記憶モジュール８６０を含み得る。コンピュータプログラムロジック８４０はまた、図５に関して上述したロジックを具現化する要求処理モジュール８７０を含み得る。コンピュータプログラムロジック８４０はまた、ユーザによって眺められているディスプレイ位置の決定を実行あるいは支援する１つ以上の処理モジュールを含んでいてもよい。他の例では、そのような決定は、ハードウェアを用いて、あるいはハードウェアとソフトウェアとの組み合わせを用いて実行されてもよい。

ここに記載されるシステムは、多機能情報システムの一部とし得る。図９は、多機能情報システムを例示している。実施形態において、システム９００はメディアシステムとし得るが、システム９００はこの状況に限定されるものではない。例えば、システム９００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯情報端末（ＰＤＡ）、電子書籍リーダ、携帯電話、結合携帯電話／ＰＤＡ、テレビジョン、スマート装置（例えば、スマートフォン、スマートタブレット、又はスマートテレビジョン）モバイルインターネット装置（ＭＩＤ）、メッセージング装置、及びデータ通信装置などに組み込まれてもよい。

実施形態において、システム９００は、ディスプレイ９２０に結合されたプラットフォーム９０２を有する。プラットフォーム９０２は、例えばコンテンツサービス装置９３０若しくはコンテンツ配信装置９４０又はその他同様なコンテンツ源などの、コンテンツ装置からコンテンツを受信し得る。例えばプラットフォーム９０２及び／又はディスプレイ９２０とインタラクトするために、１つ以上のナビゲーション機構を有するナビゲーションコントローラ９５０が使用され得る。これらのコンポーネントの各々を更に詳細に後述する。

実施形態において、プラットフォーム９０２は、ロジック９０５、プロセッサ９１０、メモリ９１２、ストレージ９１４、グラフィックスサブシステム９１５、アプリケーション９１６及び／又は無線装置９１８の組み合わせを有し得る。ロジック９０５は、Ｉ／Ｏ制御ロジック及び／又はメモリ制御ロジックを含むことができ、プロセッサ９１０、メモリ９１２、ストレージ９１４、グラフィックスサブシステム９１５、アプリケーション９１６及び／又は無線装置９１８の間での相互通信を提供し得る。例えば、ロジック９０５は、ストレージ９１４との相互通信を提供することが可能なストレージアダプタ（図示せず）を含み得る。他の実施形態において、ロジック９０５のＩ／Ｏ制御ロジック及びメモリ制御ロジックは別々のコンポーネントに実装されてもよく、また、プロセッサ９１０に実装されてもよい。

プロセッサ９１０は、複数命令セットコンピュータ（ＣＩＳＣ）プロセッサ若しくは縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セット互換プロセッサ、マルチコア、又はその他のマイクロプロセッサ若しくは中央演算処理ユニット（ＣＰＵ）として実装され得る。実施形態において、プロセッサ９１０は、デュアルコアプロセッサやデュアルコアモバイルプロセッサなどを有し得る。

メモリ９１２は、以下に限られないが例えばランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、又はスタティックＲＡＭ（ＳＲＡＭ）などの、揮発性メモリデバイスとして実装され得る。

ストレージ９１４は、以下に限られないが例えば磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部記憶装置、取付式記憶装置、フラッシュメモリ、電池バックアップ式ＳＤＲＡＭ（同期式ＤＲＡＭ）、及び／又はネットワークアクセス可能記憶装置などの、不揮発性記憶装置として実装され得る。実施形態において、ストレージ９１４は、例えば複数のハードドライブが含められるとき、貴重なデジタルメディアの対する記憶性能強化保護を高めるための技術を有し得る。

グラフィックスサブシステム９１５は、静止画又は動画などの画像の表示のための処理を実行し得る。グラフィックスサブシステム９１５は、例えば、グラフィック処理ユニット（ＧＰＵ）又はビジュアル処理ユニット（ＶＰＵ）とし得る。グラフィックスサブシステム９１５とディスプレイ９２０とを通信可能に結合するために、アナログ又はデジタルのインタフェースが使用され得る。例えば、このインタフェースは、ＨＤＭＩ（高精細度マルチメディアインタフェース）、ＤｉｓｐｌａｙＰｏｒｔ、ワイヤレスＨＤＭＩ、及び／又はワイヤレスＨＤに準拠した技術のうちの何れかとし得る。グラフィックスサブシステム９１５は、プロセッサ９１０又はチップセット９０５に統合されてもよい。グラフィックスサブシステム９１５は、チップセット９０５に通信可能に結合されたスタンドアローン型カードであってもよい。

ここに記載されるグラフィックス及び／又はビデオ処理技術は、様々なハードウェアアーキテクチャにて実装され得る。例えば、グラフィックス及び／又はビデオ機能は、チップセット内に統合されてもよい。他の例では、別個のグラフィックス及び／又はビデオプロセッサが使用されてもよい。更なる他の一実施形態として、グラフィックス及び／又はビデオ機能は、マルチコアプロセッサを含め汎用プロセッサによって実装されてもよい。更なる一実施形態において、これらの機能は消費者電子装置にて実装されてもよい。

無線装置９１８は、様々な好適な無線通信技術を用いて信号の送信及び受信を行うことが可能な１つ以上の無線装置を含み得る。このような技術は、１つ以上の無線ネットワークを横切っての通信を伴い得る。典型的な無線ネットワークは、（以下に限られないが）無線ローカルエリアネットワーク（ＷＬＡＮ）、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、携帯電話ワーク、及び衛星ネットワークを含む。このようなネットワークを横切って通信する際、無線装置９１８は、何らかのバージョンの１つ以上の適用可能な規格に従って動作し得る。

実施形態において、ディスプレイ９２０は、如何なるモニタ若しくはディスプレイを有していてもよく、図１のディスプレイ１２０に対応し得る。ディスプレイ９２０は、例えば、コンピュータ表示スクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビジョンのような装置、及び／又はテレビジョンを有し得る。ディスプレイ９２０は、デジタル及び／又はアナログとし得る。実施形態において、ディスプレイ９２０はホログラフィックディスプレイであってもよい。また、ディスプレイ９２０は、視覚投影を受け得る透明表面であってもよい。そのような投影は、様々な形態の情報、画像、及び／又はオブジェクトを伝達し得る。例えば、そのような投影は、モバイル拡張現実（ＭＡＲ）アプリケーション用の視覚的オーバーレイとし得る。１つ以上のソフトウェアアプリケーション９１６の制御下で、プラットフォーム９０２はディスプレイ９２０上にユーザインタフェース９２２を表示し得る。

実施形態において、コンテンツサービス装置９３０は、何らかの国家サービス、国際サービス及び／又は独立系サービスをホストとすることができ、故に、例えばインターネットを介してプラットフォーム９０２にアクセス可能である。コンテンツサービス装置９３０は、プラットフォーム９０２及び／又はディスプレイ９２０に結合されてもよい。プラットフォーム９０２及び／又はコンテンツサービス装置９３０は、ネットワーク９６０に結合されて、ネットワーク９６０との間でメディア情報を通信（例えば送信及び／又は受信）してもよい。コンテンツ配信装置９４０もまた、プラットフォーム９０２及び／又はディスプレイ９２０に結合され得る。

実施形態において、コンテンツサービス装置９３０は、ケーブルテレビジョンボックス、パーソナルコンピュータ、ネットワーク、電話機、デジタル情報及び／又はコンテンツを配信することが可能なインターネット接続可能装置若しくは機器、及び、ネットワーク９６０を介して、あるいは直接的にコンテンツプロバイダとプラットフォーム９０２及び／又はディスプレイ９２０との間で単方向あるいは双方向にコンテンツを通信することが可能なその他の同様の装置を有し得る。認識されるように、コンテンツは、ネットワーク９６０を介して、システム９００内のコンポーネントのうちの何れか１つとコンテンツプロバイダとの間で単方向及び／又は双方向に通信され得る。コンテンツの例は、例えばビデオ、音楽、医療情報、及びゲーム情報などを含む如何なるメディア情報をも含み得る。

コンテンツサービス装置９３０は、例えばメディア情報、デジタル情報及び／又はその他のコンテンツを含む例えばケーブルテレビジョン番組などのコンテンツを受信する。コンテンツプロバイダの例は、ケーブルテレビジョンプロバイダ、衛星テレビジョンプロバイダ、ラジオプロバイダ、又はインターネットコンテンツプロバイダを含み得る。提示した例は、本発明の実施形態を限定することを意図したものではない。

実施形態において、プラットフォーム９０２は、１つ以上のナビゲーション機構を有するナビゲーションコントローラ９５０から制御信号を受信し得る。コントローラ９５０のナビゲーション機構は、例えば、ユーザインタフェース９２２とインタラクト（対話）するために使用され得る。実施形態において、ナビゲーションコントローラ９５０は、ユーザが空間（連続的且つ多次元）データをコンピュータに入力することを可能にするコンピュータハードウェアコンポーネント（具体的には、ヒューマンインタフェース装置）であるポインティング装置とし得る。例えばグラフィカルユーザインタフェース（ＧＵＩ）、テレビジョン及びモニタなどの数多くのシステムは、ユーザが身体的なジェスチャを用いてコンピュータ又はテレビジョンを制御したりそれにデータを提供したりすることを可能にしている。

コントローラ９５０のナビゲーション機構の動作は、ディスプレイ上に表示されるポインタ、カーソル、焦点リング又はその他の視覚的インジケータの動作によって、ディスプレイ（例えば、ディスプレイ９２０）上に反映され得る。例えば、ソフトウェアアプリケーション９１６の制御下で、ナビゲーションコントローラ９５０上に位置するナビゲーション機構が、例えば、ユーザインタフェース９２２上に表示される仮想ナビゲーション機構にマッピングされ得る。実施形態において、コントローラ９５０は、別個のコンポーネントではなくて、プラットフォーム９０２及び／又はディスプレイ９２０に統合されてもよい。実施形態は、しかしながら、ここに図示あるいは記載される要素又は状況に限定されるものではない。

実施形態において、テレビジョンのようなプラットフォームを、例えば使用可能にされるとき、初期起動後にボタンのタッチを用いて即座にターンオン／オフすることを可能にする技術をドライバ（図示せず）が有し得る。プラットフォーム９０２がターン“オフ”されるとき、プラットフォーム９０２がコンテンツをメディアアダプタ又はその他のコンテンツサービス装置９３０若しくはコンテンツ配信装置９４０にストリーミングすることを、プログラムロジックが可能にし得る。さらに、例えば、５．１チャンネルサラウンド音声オーディオ及び／又は高精細７．１チャンネルサラウンド音声オーディオ用のハードウェア及び／又はソフトウェアサポートを、チップセット９０５が有し得る。ドライバは、統合グラフィックスプラットフォーム用のグラフィックスドライバを含み得る。実施形態において、グラフィックスドライバは、ＰＣＩ（ペリフェラルコンポーネントインターコネクト）Ｅｘｐｒｅｓｓ（エクスプレス）グラフィックスカードを有し得る。

様々な実施形態において、システム９００内に示したコンポーネントのうちの何れか１つ以上が統合されてもよい。例えば、プラットフォーム９０２とコンテンツサービス装置９３０とが一体にされてもよいし、プラットフォーム９０２とコンテンツ配信装置９４０とが一体にされてもよいし、プラットフォーム９０２とコンテンツサービス装置９３０とコンテンツ配信装置９４０とが一体にされてもよい。様々な実施形態において、プラットフォーム９０２及びディスプレイ９２０は、一体化されたユニットとし得る。例えば、ディスプレイ９２０とコンテンツサービス装置９３０とが一体にされてもよいし、ディスプレイ９２０とコンテンツ配信装置９４０とが一体にされてもよい。これらの例は、本発明を限定することを意図したものではない。

様々な実施形態において、システム９００は、無線システム、有線システム、又はこれら双方の組み合わせとして実装され得る。無線システムとして実装されるとき、システム９００は、例えば１つ以上のアンテナ、送信器、受信器、送受信器、増幅器、フィルタ、及び制御ロジックなどの、無線共有媒体上で通信を行うことに適したコンポーネント及びインタフェースを含み得る。無線共有媒体の一例は、例えばＲＦスペクトルなどの無線スペクトルの一部を含み得る。有線システムとして実装されるとき、システム９００は、例えば入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体と接続する物理的なコネクタ、ネットワークインタフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、及びオーディオコントローラなどの、有線通信媒体上で通信を行うことに適したコンポーネント及びインタフェースを含み得る。有線通信媒体の例は、ワイヤ、ケーブル、金属リード、印刷回路基板（ＰＣＢ）、バックプレーン、スイッチ構成、半導体材料、ツイストペアワイヤ、同軸ケーブル、及び光ファイバを含み得る。

プラットフォーム９０２は、情報を通信する１つ以上の論理チャネル又は物理チャネルを構築し得る。情報は、メディア情報と制御情報とを含み得る。メディア情報は、ユーザに向けられるコンテンツを表すデータを意味し得る。コンテンツの例は、例えば、音声会話からのデータ、ビデオ会議、ストリーミングビデオ、電子メール（“ｅｍａｉｌ”）メッセージ、音声メールメッセージ、英数字記号、グラフィックス、画像、ビデオ、及びテキストなどを含み得る。音声会話からのデータは、例えば、音声情報、沈黙器官、背景雑音、快適雑音、及びトーンなどとし得る。制御情報は、自動化システムに向けられるコマンド、命令又は指令語を表すデータを意味し得る。例えば、制御情報は、メディア情報をシステム内で経路付けるため、あるいは所定の手法でノードがメディア情報を処理するように命令するために使用され得る。実施形態は、しかしながら、図９に図示あるいは記載された要素又は状況に限定されるものではない。

上述のように、システム９００は、様々な物理的形式又はフォームファクタで具現化され得る。図１０は、システム９００が実装され得る小型（スモールフォームファクタ）装置１０００の実施形態を例示している。実施形態において、例えば、装置１０００は、無線能力を有するモバイルコンピューティング装置として実装され得る。モバイルコンピューティング装置は、例えば、処理システムと、１つ以上の電池などのモバイル用電源若しくは電力サプライと、を有する装置を意味し得る。

上述のように、モバイルコンピューティング装置の例は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯情報端末（ＰＤＡ）、電子書籍リーダ、携帯電話、結合携帯電話／ＰＤＡ、テレビジョン、スマート装置（例えば、スマートフォン、スマートタブレット、又はスマートテレビジョン）モバイルインターネット装置（ＭＩＤ）、メッセージング装置、及びデータ通信装置などを含み得る。

モバイルコンピューティング装置の例はまた、人物によって着用されるように構成されるコンピュータを含み得る。実施形態において、例えば、モバイルコンピューティング装置は、コンピュータアプリケーション並びに音声通信及び／又はデータ通信を実行することが可能なスマートフォンとして実装され得る。一部の実施形態は、例としてスマートフォンとして実装されるモバイルコンピューティング装置を用いて説明されることがあるが、認識されるように、他の実施形態は、同様に他のモバイルコンピューティング装置を用いて実装されてもよい。実施形態はこの状況に限定されるものではない。

図１０に示すように、装置１０００は、筐体１００２、ディスプレイ１００４、入力／出力（Ｉ／Ｏ）装置１００６、及びアンテナ１００８を有し得る。装置１０００はまた、ナビゲーション機構１０１２を有し得る。ディスプレイ１００４は、モバイルコンピューティング装置に適した情報を表示するための如何なる好適な表示ユニットを有していてもよい。Ｉ／Ｏ装置１００６は、モバイルコンピューティング装置に情報を入力するための如何なる好適なＩ／Ｏ装置を有していてもよい。Ｉ／Ｏ装置１００６の例は、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカースイッチ、マイクロフォン、スピーカ、音声認識装置及びソフトウェアなどを含み得る。情報はまた、マイクロフォンによって装置１０００に入力されてもよい。そのような情報は、音声認識装置によってデジタル化され得る。実施形態はこの状況に限定されるものではない。

少なくとも１つの実施形態の１つ以上の態様は、機械によって読み出されるときにここに記載の技術を実行するように該機械にロジックを組み立てさせる、プロセッサ内の様々なロジックを表す機械読み取り可能媒体に格納された表現命令によって実装され得る。そのような表現は、“ＩＰコア”として知られ、有形の機械読み取り可能媒体に格納されて様々な顧客又は製造施設に供給され、ロジック又はプロセッサを実際に製造する製造機械にロードされる。

ここでは、機能、機構、及びそれらの関係を例示する機能構築ブロックの助けを借りて、方法及びシステムを開示している。これらの機能構築ブロックの境界の少なくとも一部は、ここでは説明の便宜上、恣意的に定められている。指定された機能及びそれらの関係が適切に実行される限り、他の境界が定められてもよい。

ここに開示された１つ以上の機構は、個別及び集積された回路ロジック、特定用途向け集積回路（ＡＳＩＣ）ロジック及びマイクロコントローラを含め、ハードウェア、ソフトウェア、ファームウェア、及びこれらの組み合わせにて実装されることができ、また、ドメイン特化型の集積回路パッケージの一部、又は複数の集積回路パッケージの組み合わせとして実装されてもよい。ソフトウェアなる用語は、ここでは、ここに開示された１つ以上の機能及び／又はその組み合わせをコンピュータシステムに実行させるコンピュータプログラムロジックを格納した少なくとも１つのコンピュータ読み取り可能媒体を含んだコンピュータプログラムプロダクトを意味する。コンピュータ読み取り可能媒体は、一時的なもの又は非一時的なものとし得る。一時的なコンピュータ読み取り可能媒体の例は、無線周波数上若しくは導電体上で、ローカルエリアネットワーク若しくはワイドエリアネットワークを介して、あるいは例えばインターネットなどのネットワークを介して伝送されるデジタル信号とし得る。非一時的なコンピュータ読み取り可能媒体の例は、コンパクトディスク、又はその他のデータ記憶装置とし得る。

様々な実施形態をここに開示したが、理解されるべきことには、それらは限定ではなく単に例として提示されたものである。当業者に明らかなように、それらには、ここに開示された方法及びシステムの精神及び範囲を逸脱することなく、形態及び細部における様々な変更が為され得る。故に、請求項の広さ及び範囲は、ここに開示された例示的な実施形態の何れかによって限定されるべきではない。

一実施形態において、上述の処理を実行する方法は、ディスプレイ上でユーザによって観察されている関心領域（ＲＯＩ）を決定することと、前記領域内で観察されているコンテンツを記録することと、前記コンテンツの処理コンテキストを記録することと、記録された情報をリポジトリに格納することと、その後の要求に応じて、ユーザに、記録された情報をアクセス可能にすることとを有し得る。

コンテンツはテキスト情報及び画像情報のうちの１つ以上を有し得る。処理コンテキストは、前記領域内で観察されているアプリケーションと、前記アプリケーション内の位置と、前記領域内で開かれているファイルと、前記領域内にある前記ファイル内の位置と、前記領域内で観察されているウェブページと、前記領域内にある前記ウェブページ内の位置と、のうちの１つ以上を有し得る。

この方法は更に、前記格納することの前に、前記関心領域が観察された時間を記録することを有し得る。この方法はまた、前記格納することの前に、観察された前記関心領域のスクリーン座標を記録することを有し得る。

前記格納することは、レコードを作成することと、前記記録された情報をレコードに格納することとを有し得る。これは、１つ以上の関係するレコードへのリンクをレコードに格納することを含んでいてもよい。前記１つ以上の関係するレコードは、先に観察された関心領域に関するレコードと、後に観察された関心領域に関するレコードと、前記観察されている関心領域に隣接していた領域に関するレコードと、のうちの少なくとも１つを有し得る。前記格納することはまた、レコードに、前記観察の前に為されたユーザアクションを特定するものと、前記観察の後に為されたユーザアクションを特定するものと、のうちの１つ以上を格納することを有していてもよい。前記格納することはまた、ユーザが前記領域に視覚的にとどまっていた期間をレコードに格納することを含んでいてもよい。

情報をアクセス可能にすることは、ユーザから検索基準を受信することと、検索基準に合致する記録情報に関してリポジトリを検索することと、検索基準に合致する記録情報への１つ以上の参照をユーザに返すことと、前記参照のうちの１つ以上の選択をユーザから受信することと、前記選択に対応するコンテンツを、該対応するコンテンツに関連する再現されたコンテキストで、ユーザに提示することとを有し得る。検索基準は、前記関心領域内のコンテンツの記述と、前記関心領域が観察された時間又は時間範囲への参照と、前記関心領域が観察されたディスプレイ上の位置又は領域への参照と、前記観察の前に為されたユーザアクションへの参照と、前記観察の後に為されたユーザアクションへの参照と、前に観察された関心領域への参照と、後に観察された関心領域への参照と、前記観察されている関心領域に隣接していた領域への参照と、のうちの１つ以上を有し得る。

一実施形態は、上述の処理をプロセッサに実行させるロジックを有するコンピュータ制御ロジックを格納した非一時的なコンピュータ使用可能媒体を有するコンピュータプログラムプロダクトによって実装され得る。

一実施形態において、上述の処理は、プロセッサと該プロセッサと通信するメモリとを有するシステムによって実行されることができ、該メモリは、該プロセッサに、ディスプレイ上でユーザによって観察されている関心領域（ＲＯＩ）を決定し、前記領域内で観察されているコンテンツを記録し、前記コンテンツの処理コンテキストを記録し、記録された情報をリポジトリに格納し、且つその後の要求に応じて、ユーザに、記録された情報をアクセス可能にする、ように指示するよう構成された複数の処理命令を格納する。

コンテンツはテキスト情報及び画像情報のうちの１つ以上を有し得る。処理コンテキストは、前記領域内で観察されているアプリケーションと、前記アプリケーション内の位置と、前記領域内で開かれているファイルと、前記領域内にある前記ファイル内の位置と、前記領域内で観察されているウェブページと、前記領域内にある前記ウェブページ内の位置と、のうちの１つ以上を有し得る。

前記複数の処理命令は更に、前記格納することの前に、前記関心領域が観察された時間を記録するようにプロセッサに指示するよう構成され得る。前記複数の処理命令は更に、前記格納することの前に、観察された前記関心領域のスクリーン座標を記録するようにプロセッサに指示するよう構成され得る。

前記格納することは、レコードを作成することと、記録された情報をレコードに格納することとを有し得る。前記複数の処理命令は更に、１つ以上の関係するレコードへのリンクをレコードに格納するようにプロセッサに指示するよう構成されてもよい。この１つ以上の関係するレコードは、先に観察された関心領域に関するレコードと、後に観察された関心領域に関するレコードと、前記観察されている関心領域に隣接していた領域に関するレコードと、のうちの少なくとも１つを有し得る。記録された情報をレコードに格納するようにプロセッサに指示するよう構成された前記複数の処理命令は、前記観察の前に為されたユーザアクションを特定するものと、前記観察の後に為されたユーザアクションを特定するものと、のうちの１つ以上をレコードに格納するようにプロセッサに指示するよう構成された複数の処理命令を有していてもよい。記録された情報をレコードに格納するようにプロセッサに指示するよう構成された前記複数の処理命令は、ユーザが前記領域に視覚的にとどまっていた期間をレコードに格納するようにプロセッサに指示するよう構成された複数の処理命令を有していてもよい。

情報をアクセス可能にするようにプロセッサに指示するよう構成された前記複数の処理命令は、ユーザから検索基準を受信し、検索基準に合致する記録情報に関してリポジトリを検索し、検索基準に合致する記録情報への１つ以上の参照をユーザに返し、前記参照のうちの１つ以上の選択をユーザから受信し、且つ前記選択に対応するコンテンツを、該対応するコンテンツに関連する再現されたコンテキストで、ユーザに提示する、ようにプロセッサに指示するよう構成された複数の処理命令を有し得る。検索基準は、前記関心領域内のコンテンツの記述と、前記関心領域が観察された時間又は時間範囲への参照と、前記関心領域が観察されたディスプレイ上の位置又は領域への参照と、前記観察の前に為されたユーザアクションへの参照と、前記観察の後に為されたユーザアクションへの参照と、前に観察された関心領域への参照と、後に観察された関心領域への参照と、前記観察されている関心領域に隣接していた領域への参照と、のうちの１つ以上を有し得る。

このシステムは、前記リポジトリを格納するように構成された不揮発性メモリを更に有し得る。このシステムは、前記リポジトリを格納するように構成された不揮発性メモリへの遠隔アクセスを提供するように構成されたネットワークへの接続、を更に有していてもよい。

これらのシステム、方法、及びコンピュータプログラムプロダクトは、情報機器のディスプレイ上でユーザによって以前に眺められたコンテンツの捕捉及び呼び戻しを可能にするという利点を有する。更なる１つの利点は、ユーザがそのために明示的な行動を取ることが必ずしも必要ないことである。

Claims (27)

1. ディスプレイ上でユーザによって観察されている関心領域（ＲＯＩ）を決定することと、
   前記領域内で観察されているコンテンツを記録することと、
   前記コンテンツの処理コンテキストを記録することと、
   記録された情報をリポジトリに格納することと、
   その後の要求に応じて、前記ユーザに、前記記録された情報をアクセス可能にすることと、
   を有する方法。
2. 前記コンテンツはテキスト情報及び画像情報のうちの１つ以上を有する、請求項１に記載の方法。
3. 前記処理コンテキストは、
   前記領域内で観察されているアプリケーションと、
   前記アプリケーション内の位置と、
   前記領域内で開かれているファイルと、
   前記領域内にある、前記ファイル内の位置と、
   前記領域内で観察されているウェブページと、
   前記領域内にある、前記ウェブページ内の位置と、
   のうちの１つ以上を有する、請求項１に記載の方法。
4. 前記格納することの前に、前記関心領域が観察された時間を記録すること、を更に有する請求項１に記載の方法。
5. 前記格納することの前に、観察された前記関心領域のスクリーン座標を記録すること、を更に有する請求項１に記載の方法。
6. 前記格納することは、
   レコードを作成することと、
   前記記録された情報を前記レコードに格納することと
   を有する、請求項１に記載の方法。
7. １つ以上の関係するレコードへのリンクを前記レコードに格納すること、を更に有する請求項６に記載の方法。
8. 前記１つ以上の関係するレコードは、
   先に観察された関心領域に関するレコードと、
   後に観察された関心領域に関するレコードと、
   前記観察されている関心領域に隣接していた領域に関するレコードと、
   のうちの少なくとも１つを有する、請求項７に記載の方法。
9. 前記レコードに、
   前記観察の前に為されたユーザアクションを特定するものと、
   前記観察の後に為されたユーザアクションを特定するものと、
   のうちの１つ以上を格納すること、を更に有する請求項６に記載の方法。
10. 前記ユーザが前記領域に視覚的にとどまっていた期間を前記レコードに格納すること、を更に有する請求項６に記載の方法。
11. 前記情報をアクセス可能にすることは、
    前記ユーザから検索基準を受信することと、
    前記検索基準に合致する記録情報に関して前記リポジトリを検索することと、
    前記検索基準に合致する記録情報への１つ以上の参照を前記ユーザに返すことと、
    前記参照のうちの１つ以上の選択を前記ユーザから受信することと、
    前記選択に対応するコンテンツを、該対応するコンテンツに関連する再現されたコンテキストで、前記ユーザに提示することと
    を有する、請求項１に記載の方法。
12. 前記検索基準は、
    前記関心領域内のコンテンツの記述と、
    前記関心領域が観察された時間又は時間範囲への参照と、
    前記関心領域が観察された前記ディスプレイ上の位置又は領域への参照と、
    前記観察の前に為されたユーザアクションへの参照と、
    前記観察の後に為されたユーザアクションへの参照と、
    前に観察された関心領域への参照と、
    後に観察された関心領域への参照と、
    前記観察されている関心領域に隣接していた領域への参照と、
    のうちの１つ以上を有する、請求項１１に記載の方法。
13. 請求項１乃至１２の何れかに記載の方法をプロセッサに実行させるコンピュータ制御ロジックを有するコンピュータプログラム。
14. プロセッサと、
    前記プロセッサと通信するメモリであり、前記プロセッサに、
    ディスプレイ上でユーザによって観察されている関心領域（ＲＯＩ）を決定し、
    前記領域内で観察されているコンテンツを記録し、
    前記コンテンツの処理コンテキストを記録し、
    記録された情報をリポジトリに格納し、且つ
    その後の要求に応じて、前記ユーザに、前記記録された情報をアクセス可能にする、
    ように指示するよう構成された複数の処理命令を格納したメモリと、
    を有するシステム。
15. 前記コンテンツはテキスト情報及び画像情報のうちの１つ以上を有する、請求項１４に記載のシステム。
16. 前記処理コンテキストは、
    前記領域内で観察されているアプリケーションと、
    前記アプリケーション内の位置と、
    前記領域内で開かれているファイルと、
    前記領域内にある、前記ファイル内の位置と、
    前記領域内で観察されているウェブページと、
    前記領域内にある、前記ウェブページ内の位置と、
    のうちの１つ以上を有する、請求項１４に記載のシステム。
17. 前記複数の処理命令は更に、前記プロセッサに、
    前記格納することの前に、前記関心領域が観察された時間を記録する
    ように指示するよう構成される、請求項１４に記載のシステム。
18. 前記複数の処理命令は更に、前記プロセッサに、
    前記格納することの前に、観察された前記関心領域のスクリーン座標を記録する
    ように指示するよう構成される、請求項１４に記載のシステム。
19. 前記格納することは、
    レコードを作成することと、
    前記記録された情報を前記レコードに格納することと
    を有する、請求項１４に記載のシステム。
20. 前記複数の処理命令は更に、前記プロセッサに、
    １つ以上の関係するレコードへのリンクを前記レコードに格納する
    ように指示するよう構成される、請求項１９に記載のシステム。
21. 前記１つ以上の関係するレコードは、
    先に観察された関心領域に関するレコードと、
    後に観察された関心領域に関するレコードと、
    前記観察されている関心領域に隣接していた領域に関するレコードと、
    のうちの少なくとも１つを有する、請求項２０に記載のシステム。
22. 前記記録された情報を前記レコードに格納するように前記プロセッサに指示するよう構成された前記複数の処理命令は、
    前記観察の前に為されたユーザアクションを特定するものと、
    前記観察の後に為されたユーザアクションを特定するものと、
    のうちの１つ以上を前記レコードに格納するように前記プロセッサに指示するよう構成された複数の処理命令を有する、請求項１９に記載のシステム。
23. 前記記録された情報を前記レコードに格納するように前記プロセッサに指示するよう構成された前記複数の処理命令は、
    前記ユーザが前記領域に視覚的にとどまっていた期間
    を前記レコードに格納するように前記プロセッサに指示するよう構成された複数の処理命令を有する、請求項１９に記載のシステム。
24. 前記情報をアクセス可能にするように前記プロセッサに指示するよう構成された前記複数の処理命令は、
    前記ユーザから検索基準を受信し、
    前記検索基準に合致する記録情報に関して前記リポジトリを検索し、
    前記検索基準に合致する記録情報への１つ以上の参照を前記ユーザに返し、
    前記参照のうちの１つ以上の選択を前記ユーザから受信し、且つ
    前記選択に対応するコンテンツを、該対応するコンテンツに関連する再現されたコンテキストで、前記ユーザに提示する、
    ように前記プロセッサに指示するよう構成された複数の処理命令を有する、請求項１４に記載のシステム。
25. 前記検索基準は、
    前記関心領域内のコンテンツの記述と、
    前記関心領域が観察された時間又は時間範囲への参照と、
    前記関心領域が観察された前記ディスプレイ上の位置又は領域への参照と、
    前記観察の前に為されたユーザアクションへの参照と、
    前記観察の後に為されたユーザアクションへの参照と、
    前に観察された関心領域への参照と、
    後に観察された関心領域への参照と、
    前記観察されている関心領域に隣接していた領域への参照と、
    のうちの１つ以上を有する、請求項２４に記載のシステム。
26. 前記リポジトリを格納するように構成された不揮発性メモリ、を更に有する請求項１４に記載のシステム。
27. 前記リポジトリを格納するように構成された不揮発性メモリへの遠隔アクセスを提供するように構成されたネットワークへの接続、を更に有する請求項１４に記載のシステム。

Images