JP2012003778A - データ管理システム - Google Patents

データ管理システム Download PDF

Info

Publication number
JP2012003778A
JP2012003778A JP2011185168A JP2011185168A JP2012003778A JP 2012003778 A JP2012003778 A JP 2012003778A JP 2011185168 A JP2011185168 A JP 2011185168A JP 2011185168 A JP2011185168 A JP 2011185168A JP 2012003778 A JP2012003778 A JP 2012003778A
Authority
JP
Japan
Prior art keywords
objects
time
band
component
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011185168A
Other languages
English (en)
Other versions
JP5442684B2 (ja
Inventor
F Williams Shane
エフ.ウィリアムズ シェーン
Steven J Ball
ジェイ.ボール スティーブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2012003778A publication Critical patent/JP2012003778A/ja
Application granted granted Critical
Publication of JP5442684B2 publication Critical patent/JP5442684B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44Browsing; Visualisation therefor
    • G06F16/444Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44Browsing; Visualisation therefor
    • G06F16/447Temporal browsing, e.g. timeline
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/912Applications of a database
    • Y10S707/913Multimedia
    • Y10S707/915Image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】ユニークなタイムラインベースナビゲーションツールを使用することによって、様々なデータオブジェクトの管理およびナビゲーションを実施する、ユニークなシステムおよび方法を提供すること。
【解決手段】オブジェクトは適切なバンド内に、部分的には、例えば、オブジェクトが作成された時間または日付など、時間パラメータに基づいて編成される。ナビゲーションツールにより、ユーザが、所望の時間パラメータまたは時間の範囲に従って、バンドおよびオブジェクト中をナビゲートまたはブラウズする。ズーミングおよび他のブラウジングオプションは、関心のあるオブジェクトを様々な詳細のレベルで表示するために、ユーザにとって使用可能である。オブジェクトは、オプショナルであるASCIIサムネールとして表現される。
【選択図】図1

Description

本発明は一般にデータ内をナビゲートして表示することに関し、特に、ユニークなタイムラインベースのパラメータまたはツールを使用して維持および編成されたデータオブジェクトの視覚化および動的操作、ならびにそのデータオブジェクトとの対話に関する。
現在のコンピューティング環境では、ユーザにとって使用可能な表示、ブラウジング、およびファイル編成技術は制限されている。例えば、既存のアプリケーションは主として、様々なタイプのファイルを編成および表示するためのツリー構造フォルダフォーマットを採用している。フォルダ、サブフォルダおよびファイルの間のいくつかの関係を表示することはできるが、このような関係は範囲が制限され、主として明示的ユーザ入力によって決まる。例えば、ファイルを、ユーザによって示されたようなそれらの共通フォルダまたはサブフォルダに従って関係付けることができる。
さらに、複数のフォルダまたはサブフォルダ内の複数のファイルの間の表示またはナビゲートは問題がある可能性があり、画面スペースの制約によりほぼ実行不可能である可能性がある。したがって、複数のアクティブドキュメントの間のユーザ対話は、現在の実務下では実現可能ではない。全体的に、従来のファイルおよびフォルダ編成方法は単に、個々のファイルの異なるビューを提供し、それにより、ファイル、ドキュメントなどの処理および/または管理のためにより多くのユーザ時間およびリソースを必要とする。
以下は、本発明のいくつかの態様の基本的理解を提供するために、本発明の簡単な要約を提示する。この要約は、本発明の広範な外観ではない。これは本発明の重要/重大な要素を識別するように、または、本発明の範囲を線引きするように意図されない。その唯一の目的は、本発明のいくつかの概念を簡単な形態で、以下に提示されるより詳細な説明の前置きとして提示することである。
本発明は、ユニークなユーザインターフェースの使用を通じて、データのナビゲートおよび管理を実施するシステムおよび/または方法に関する。具体的には、データ(個別にオブジェクトと称する)を、1つまたは複数の定義可能カテゴリまたはバンドにおいて表現することができる。各バンド内で、または、複数のバンドにわたって、ズーム深度および使用可能な画面スペースに応じて、オブジェクトをズーム深度の範囲で、個別に、または関係付けられたクラスタにおいて表示することができる。しかし、従来の技術とは異なり、オブジェクトを、各オブジェクトに固有または特定である時間ベースのパラメータに従って配列することができる。加えて、オブジェクトのブラウジングを、部分的にはタイムラインベースナビゲーションツールを使用することによって実施することができる。したがって、ユーザは、1つのバンド内で、または、複数のバンドにわたって、様々なオブジェクトの間の多数の可能な関係をより容易に理解し、抽出することができる。ユーザはしばしば、オブジェクトと時間の間の無意味な関連付けを作成する。よって、ユーザがオブジェクトを時間要素に基づいて、ならびに主題によって表示および編成することを可能にすることによって、より豊富で有意味なユーザエクスペリエンスを有することができる。
本発明の一態様によれば、オブジェクトを表示する間に、複数のオペレーションを、オブジェクトのタイプ(例えば、写真、ドキュメント、ウェブページ、スキャンされたドキュメント、メッセージなど)にかかわらず、1つまたは複数のオブジェクトにおいて実行することができる。特に、オブジェクトをサムネールとして表示することができ、したがって、多数のオブジェクトのコンテンツをユーザにとって可視にすることができる。多数の異なるタイプのサムネールを使用することができる。1つの手法は、ASCIIサムネールを含む。ASCIIサムネールは本質的に、より大きいオブジェクトにおいて表示されたテキストの本質を定義する、テキストベースの要約である。他の可能なタイプのサムネールには、実際のオブジェクトのプロキシを表現する、イメージ、オーディオ、ビデオ、または他のメディアサムネールが含まれる。ASCII(または他のいずれかのタイプの)サムネールをまた、サムネールのために使用可能なスペースに適合することができるだけの量のテキストのみを示すように、スケールすることもできる。テキストは、所与の表示スペースに対して意味を最大化するように、インテリジェントにスケールすることができる。
各オブジェクトの可視コンテンツの量は、現在のズーム深度によって決まる可能性がある。例えば、ユーザがオブジェクトのバンドまたはグループにズームインする場合、各オブジェクトまたはグループのより多くのコンテンツをより容易に見ることができる。ユーザがズームアウトする場合、オブジェクトの比較的抽象的なビューおよびより少ない詳細が可視である。また、ユーザは本質的にコンテンツのレイヤをいずれかの期間にわたってピールバックすることができ、そのように行うことにおいて、高密度のオブジェクトを別々にピールしてより詳細に表示することができ、主として、様々なズームボタンまたはズームコントロールをポインティングデバイス上またはディスプレイ上で使用することによって行う。
実際のオブジェクトを表現することに加えて、オブジェクトのサムネールをオペレーション可能またはアクション可能にして、ユーザがサムネールをクリックしてオブジェクトのコンテンツに直接アクセスすること、および/または、オブジェクトのコンテンツを修正することができるようにすることもできる。したがって、コンテンツへの変更を行い、または保存するために、コンテンツをコントロールする別のアプリケーション(例えば、電子メールプログラム、ワードプロセッシングプログラムなど)を開くか、またはアクセスする必要はない。例えば、サムネールがウェブページを指示する場合、ユーザは単にサムネールをクリックし、特定のページにアクセスすることができる。サムネールをまた動的にすることもでき、それにより、実際のオブジェクトのコンテンツが変更になる場合、サムネールも変更になる。
オブジェクトが複数のバンドの間で導入、移動またはコピーされる場合、各バンドによるメタデータを、特定のオブジェクトにアノテーション付けすることができる。明示的および暗示的メタデータをオブジェクトに、ユーザプリファレンスに応じて素早くアノテーション付けすることができる。例えば、ユーザはタイトルまたは名前をオブジェクトに提供することができ(例えば、明示的メタデータ)、または、システムは、ある形態の人工知能を使用して、関係付けられたオブジェクトを発見し、これらの関係付けられたオブジェクトのために適切なメタデータを入力することができる(例えば、暗示的メタデータ)。オブジェクト、または、オブジェクトのクラスタに、テキスト、ペン、音声または他のオーディオを含む、異なるタイプのメタデータによりアノテーション付けすることができる。
本発明のもう1つの態様によれば、1つまたは複数のオブジェクトを、それに対してユーザがアクセスを有することができるいずれかの数の他のアプリケーションにおいて使用するために選択し、および/または、別のウィンドウ内で表示することができる。例えば、1つまたは複数のオブジェクトを、修正のために、または、ハイパー表示など異なるタイプの表示のために、選択することができる。ハイパー表示は、ユーザが、関心のある特定のオブジェクトに集中するために、比較的多数のオブジェクト中を非常に迅速な方法でロールすることを可能にすることができる。実際には、例えば、ユーザは、このハイパービュー技術を使用して、わずか10または10000もの数のオブジェクトを表示することができる場合がある。ユーザはまた、関心のあるオブジェクト、または、ハイパービューの特定のポイントに容易にフラグを立て、またはマークを付けて、後の時間にオブジェクトの特定のサブセット上に焦点を当てることができる場合もある。
前述のように、オブジェクトは、時間ベースナビゲーションツールに従って、バンド内で編成される。例えば、複数のバンドを、スタック構成内など、画面のy軸に沿って作成することができる。バンドをまた、時間ベースナビゲーションツールに対して配列して、ブロギング環境を実施することもでき、この環境では、ユーザのフィードバックまたはコメントはオブジェクトを表現することができ、したがって、適切な時間にバンドに直接入力することができる。
一般に、使用可能なバンドのすべてまたは少なくとも1つのサブセットのうち、少なくともあるコンテンツを、画面上に同時に表示することができる。例えば、コンテンツは認識可能なオブジェクトまたはサムネールでない場合があるが、その代わりに、いくつかのオブジェクトがインジケータの場所に存在することをユーザに通知するためのインジケータである場合がある。しかし、画面スペースにより、すべての所望のバンドが一度に可視となることが可能でない場合、ユーザは単にそれらのバンド中を(例えば、垂直に)スクロールして、バンドが画面の底部から落ちる場合、そのバンドが画面の最上部に再び現れることができるようにすることができる。バンドをまた、ユーザプリファレンスによって決定されるように、バンドが最後にアクセスされた時期または時間に基づいて画面から除去することもできる。
各バンドを、名前、および/または、その中に含まれるかもしくはユーザによって識別されたオブジェクトに関連付けられたメタデータから抽出される、1つまたは複数のプロパティ(例えば、メタデータ)によって定義することができる。一般的なツリー構造ビューと同様に、バンドを縮小または展開することができる。しかし、完全に縮小される場合、各バンドのコンテンツについてのある情報をなお、別の軸(例えば、x軸)を使用することによって得ることができる。これは部分的には、いずれかのバンドにおいて維持されたオブジェクトの存在および/または密度を監視および追跡することによって実施される。ユーザに対して、このデータを各バンドにおける正弦曲線として表現することができ、それにより、振幅および/または色の不透明さは、特定の時間または期間(例えば、年、月、週、日、時間など)に位置するオブジェクトの相対数またはオブジェクトの相対サイズを指示することができる。代替として、非正弦形状はオブジェクト密度を表現することができる。例えば、数学的に生成されてもされなくてもよい三角形、楕円形曲線およびアイコンを使用することができる。したがって、バンドが縮小または閉じられる場合でも、ユーザはなお、密度インジケータを時間パラメータと組み合わせて利用することによって、情報をそれらのバンドから抽象または抽出することができる。
本発明のもう1つの態様によれば、特にオブジェクトが互いに密接に関係付けられる場合、オブジェクトをクラスタリングすることができる。しかし、それらの潜在的に大きいサイズのため(例えば、クラスタ内のオブジェクトの数に関して)、クラスタ可視性はズーム深度に応じて妨げられる場合がある。このシナリオに対処するため、ユーザまたはシステムはクラスタから、そのクラスタを最もよく代表する1つのオブジェクトをインテリジェントに選択して、そのクラスタを表現することができる。他のオブジェクトを代表オブジェクトの「背後」で発見し、例えば、マウスオーバーおよびロールオペレーションの使用を通じてロールすることができる。より重要なオブジェクトのクラスタに特定のラベルを与えることができ、このラベルは、ズーム深度にかかわらず、画面上にあり、バンド内で可視のままとなることができる。単にこのラベルをクリックすることによって、クラスタを視覚化し、さらに詳細な表示のためにズームインすることができる。より重要でないクラスタにもまたラベルを付けることができるが、それらの割り当てられた重要性のレベルはより低くなり、したがって、より高い重要性の値およびそれらの各ラベルを有するクラスタが上に重なる場合がある。
ユーザの個人的タイムライン(例えば、休暇、仕事のイベント、旅行など)にわたる様々な時間での比較的高いオブジェクト密度により、いかなるズーム深度のオブジェクトの可視性も問題になる可能性がある。したがって、オブジェクトの可視性を最適化するために、ユーザはオブジェクトおよび/またはオブジェクトのクラスタを優先順位付けすることができる。例えば、より低い重要性の値を有するオブジェクトまたはオブジェクトのクラスタの存在を、アイコン(例えば、ドロップダウン矢印)または他のグラフィックによって指示して、その特定の時間で縮小されたオブジェクトの数を例示することができる。より高い重要性の値を有するオブジェクトは、適切なズーム深度に達する場合、即時にユーザにとって可視にすることができる。重なり合うオブジェクトまたはクラスタラベルを、少々透過的にすることもできる。部分的に互いに重なり合うオブジェクトおよび/またはラベルの、またはそれらの間のある程度の透過性を可能にすることは、ユーザにとって特に有益である。潜在的に重要な情報をユーザから隠すのではなく、この情報はなおユーザにとって使用可能である。
上述の本発明の様々な態様は、様々なオブジェクトタイプをサポートすることができ、これらのオブジェクトタイプには、それに限定されないが、電子メール、音楽、ドキュメント、写真、ビデオ、テレビおよび/またはケーブル番組、コンピューティングアプリケーション、スキャンインされたドキュメント、ウェブページまたはURL、ハイパーリンク、音声メッセージ、連絡先、住所情報、地図、領収書、取引記録、銀行取引記録、および/または、他のいかなるタイプのデータもが含まれる。複数の期間にわたるバンド内などのバンドのナビゲーション、または、オブジェクト、バンドもしくは時間フレームのズームインおよびアウトを、部分的には様々なオーディオコマンド、視線追跡、またはポインティングデバイスを使用することによって、実施することができる。加えて、例えば、より関心の低い周囲のオブジェクトがスケールダウンしてx軸に沿って画面の端に移動することを可能にすることによって、ズーミングを介した、より大きい関心のあるオブジェクトの表示を、さらに最適化することができる。画面上のナビゲーションボタンもまた、1つの特定のバンド内、または、同時に複数のバンドにわたる所望のコンテンツの視覚化を支援することができる。
前述および関連の目的の達成に向かって、本発明のある例示的態様を、以下の説明および添付の図面に関連して本明細書で説明する。これらの態様はしかし、本発明の原理を使用することができる様々な方法の少数を示し、本発明は、このようなすべての態様およびそれらの等価物を含むように意図される。本発明の他の利点および新規の特徴は、図面と共に考慮される場合、以下の本発明の詳細な説明から明らかになることが可能である。
本発明の一態様によるオブジェクト管理およびナビゲーションシステムのブロック図である。 本発明のもう1つの態様によるオブジェクト管理およびナビゲーションシステムのブロック図である。 本発明のさらにもう1つの態様による、例示的オブジェクト管理およびナビゲーションシステムにおけるオブジェクトの編成を例示するブロック図である。 本発明のなおさらにもう1つの態様による、図3からの結果として生じるオブジェクトの編成を明示するブロック図である。 本発明の一態様によるオブジェクト管理およびナビゲーションシステムのブロック図である。 本発明の一態様によるx、yおよびz軸の例示的定義を例示する図である。 本発明の一態様による、図5からのオブジェクト密度追跡コンポーネントのオペレーションを明示するブロック図である。 本発明の一態様による、少なくとも1つのバンドを開くことを示す概略図である。 本発明の一態様による、少なくとも1つのバンドを開くことを示す概略図である。 本発明の一態様による、少なくとも1つのバンドを開くことを示す概略図である。 本発明の一態様による、少なくとも1つのバンドを開くことに含まれたシーケンスを例示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、少なくとも1つのバンドを開くことに含まれたシーケンスを例示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、少なくとも1つのバンドを開くことに含まれたシーケンスを例示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、少なくとも1つのバンドを開くことに含まれたシーケンスを例示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、バンドのズームインを例示する例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、図1、2および5のオブジェクトナビゲーションおよび管理システムに関連して使用することができる、オブジェクト管理システムのブロック図である。 本発明の一態様による、比較的圧縮されるバンドにおける複数のクラスタラベルを示す、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、クラスタラベルをクリックすること、および次いでそのビューからズームアウトすることを明示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、クラスタラベルをクリックすること、および次いでそのビューからズームアウトすることを明示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、オブジェクトおよび/またはクラスタラベルの透過性および重なり合いを例示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、オブジェクト選択、および、選択されたオブジェクトの表示を実施する、オブジェクトナビゲーションおよび管理システムのブロック図である。 本発明の一態様による様々なオブジェクト選択技術を明示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による様々なオブジェクト選択技術を明示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による様々なオブジェクト選択技術を明示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による様々なオブジェクト選択技術を明示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による様々なオブジェクト選択技術を明示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による様々なオブジェクト選択技術を明示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、オブジェクトの発見、および、発見されたオブジェクトの表示を実施する、オブジェクトナビゲーションおよび管理システムのブロック図である。 本発明の一態様による発見オペレーションを例示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による発見オペレーションを例示する、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様によるオブジェクトのフィルタリングを実施する、オブジェクトナビゲーションおよび管理システムのブロック図である。 本発明の一態様によるフィルタメニューおよびバンド編成を示す、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、従来のツリー構造からユニークな時間ベースバンド構造への変換を明示する概略図である。 本発明の一態様による代替配色を示す例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、いかなるオブジェクトまたはバンドレベルでも使用可能なポップアップメニューを示す、例示的ユーザインターフェースの画面イメージの図である。 本発明の一態様による、時間ベースバンド構造内に配列された複数のオブジェクトのナビゲートおよび管理を実施する、例示的方法を例示する流れ図である。 本発明の一態様による、オブジェクトのアノテーション付けおよびクラスタリングを実施する、例示的方法を例示する流れ図である。 本発明の一態様によるバンドナビゲーションを実施する例示的方法を例示する流れ図である。 本発明の一態様によるバンドナビゲーションを実施する例示的方法を例示する流れ図である。 本発明の一態様による、オブジェクトおよびバンドの時間ベースナビゲーションを実施する、例示的方法を例示する流れ図である。 本発明の様々な態様を実施するための例示的環境を例示する図である。
本発明をここで図面を参照して説明し、図面において、類似の参照番号は全体にわたって類似の要素を指すために使用される。以下の説明では、説明のために、本発明の十分な理解を提供するために、多数の特定の詳細を示す。しかし、本発明をこれらの特定の詳細なしに実施することができることは明らかであろう。他の場合では、本発明の説明を実施するために、周知の構造およびデバイスをブロック図の形態で示す。
本出願で使用される場合、「コンポーネント」および「システム」という語(用語)はコンピュータ関連エンティティを指すように意図され、このエンティティは、ハードウェア、ハードウェアおよびソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアのいずれでもよい。例えば、コンポーネントは、それに限定されないが、プロセッサ上で実行するプロセス、プロセッサ、オブジェクト、実行可能ファイル、実行のスレッド、プログラムおよびコンピュータであってもよい。例示として、サーバ上で実行するアプリケーションおよびサーバの両方がコンポーネントである可能性がある。1つまたは複数のコンポーネントはプロセスおよび/または実行のスレッド内に存在することができ、コンポーネントは1つのコンピュータ上でローカライズされるか、および/または2つ以上のコンピュータの間で分散される場合がある。
一般に、本発明は様々な推論スキームおよび/または技術を、オブジェクトが1つまたは複数のバンドに導入される場合のオブジェクトのアノテーション付けに関連して組み込むことができる。加えて、部分的には、類似のメタデータ、類似のイメージ(例えば、画像認識技術を介する)、類似の顔(例えば、顔認識技術を介する)、類似の手書き文字(例えば、手書き文字認識を介する)、類似のテキスト(例えば、光学式文字認識を介する)、類似のウォーターマーク、および/または、類似の音声パターン(例えば、音声フィンガープリント、音声−テキストおよび/または音声−音楽スコア認識アルゴリズムを介する)のうちいずれか1つに基づいて、関係付けられたオブジェクトをグループ化もしくは発見することに関連して、様々な推論スキームを適用または使用することができる。上記のリストは網羅的ではなく、他の類似を考慮することができることを理解されたい。
本明細書で使用される場合、「推論」という語は一般に、イベントおよび/またはデータを介してキャプチャされたような観察のセットから、システム、環境および/またはユーザの状態について判断または推論するプロセスを指す。推論を使用して、特定のコンテキストまたはアクションを識別することができ、または例えば、推論は複数の状態にわたる確率分布を生成することができる。推論は確率的である場合があり、すなわち、データおよびイベントの考慮に基づいた、関心のある複数の状態にわたる確率分布の計算である場合がある。推論はまた、イベントおよび/またはデータのセットからより高いレベルのイベントを構成するために使用される技術を指す場合もある。このような推論は結果として、イベントが時間的に密接に近接して相関されるかどうかにかかわらず、また、イベントおよびデータが1つのイベントおよびデータソースから来るか、複数のイベントおよびデータソースから来るかにかかわらず、観察されたイベントおよび/または格納されたイベントデータのセットからの、新しいイベントまたはアクションの構築となる。
ここで図1を参照すると、本発明の一態様による様々なタイプのオブジェクト(データ)のナビゲーションおよび管理を実施する、ユニークおよび強力なシステム100の全体的ブロック図がある。システム100には視覚化コンポーネント110が含まれ、視覚化コンポーネント110は、データストア120内で維持されたオブジェクトに対してアクセスおよび/または検索を行うことができ、少なくとも部分的にはユーザ定義プロパティまたはそれに関連付けられたメタデータに基づいて、主題および時間によって、視覚的にこれらのオブジェクトを配列することができる。視覚化コンポーネント110は、オブジェクトのプロパティまたはメタデータの間の類似性または共通性に従って、オブジェクトをいかなる数のバンドにも編成することができる。例えば、各バンドは特定の主題(例えば、家族、家、旅行など)を表現することができる。
各バンド内で、視覚化コンポーネント110は、1つまたは複数のオブジェクトを各バンド内で、時間ベースのパラメータに従って編成または位置決めすることができる。時間ベースのパラメータは、オブジェクトの作成日、または、オブジェクト内で表現されたイベントが発生した日付/時間に対応することができる。例えば、7月4日の島々への旅行の写真を1つのバンド(例えば、旅行と命名される)にグループ化し、2004年7月3〜5日という旅行の日付の辺りにローカライズすることができる。同様に、数カ月後に感謝祭の休暇にかけて行われたユーザの旅行を、ほぼ11月の日付の辺りにローカライズすることができる。
バンドをそれらの対応するオブジェクトと共に、ユーザによってディスプレイ130上で表示および/または操作することができる。後述のように、各バンド内に含まれたオブジェクトを様々な方法で表現して、ユーザが各バンド内のそれらの存在を承知する状態にしておくことができ、同時にまたユーザの関心のあるオブジェクトの可視性を最適化することもできる。
システム100にはまたブラウジングコンポーネント140も含まれる場合があり、ブラウジングコンポーネント140は、ユーザがオブジェクトのバンド内をより容易にブラウズして、いずれか1つのバンド内で、または複数のバンドにわたって、複数のオブジェクトの間の追加の関係または関連付けを確立または発見することを可能にする。ブラウジングコンポーネントの結果生じる、いかなるこのような関連付けもまた、ユーザによって決定されるように、様々な方法でディスプレイ130上に表示することができる。
ここで図2を参照すると、本発明の一態様による、オブジェクトのナビゲーションおよび管理の新規な手法を実施するシステム200のブロック図が例示される。システム200には視覚化コンポーネント210が含まれ、視覚化コンポーネント210は、1つまたは複数のオブジェクトなど、ユーザベースの入力を受信して、時間ベースナビゲーションコンポーネント220を介してそれらの入力をブラウズすることができるようになる前に、それらの入力を管理および処理する。
具体的には、視覚化コンポーネント210には、アノテーションコンポーネント230など、複数のサブコンポーネントが含まれる可能性がある。アノテーションコンポーネント230は、バンドまたはオブジェクトのグループに新たに導入されたいかなるオブジェクトにも、バンドまたはグループに関連付けられたメタデータ、ならびに明示的ユーザ入力に基づいて、アノテーション付けすることができる。一般に、アノテーションを、ユーザまたはマシンにより適用された、オブジェクトへの修正にすることができ、この修正はさらにオブジェクトに、元のオブジェクトの知的、物理的、または感情的価値を高める、意味、コンテキスト、豊富さ、または詳細を与える。例えば、ユーザは、オブジェクトに名前またはタイトルを与えることによって、または、時間または日付をオブジェクトに割り当てることによって、オブジェクトに具体的にアノテーション付けすることができる。アノテーションをまた、オブジェクトまたはバンドに関係するユーザコメントの形態にすることもできる。バンドにアノテーション付けされたコメントまたは他の情報をまた、そのバンド内に位置する各オブジェクトまたはオブジェクトのグループに、自動的にアノテーション付けすることもできる。
また、視覚化コンポーネント210に含まれる物は、関連付けコンポーネント240である。関連付けコンポーネントはオブジェクトを類似のメタデータに、または、例えば、バンド内の類似のメタデータの最低しきい値に関連付けることができる。結果として、このような関係付けられたオブジェクトを、特定のバンドによって、そのバンド内でより密接に関係付けられたオブジェクトのクラスタとして識別することができる。関連付けをまた複数のバンドにわたって実行して、異なるバンド内に格納された、関係付けられたオブジェクトを発見することもできる。
時間ベースナビゲーションコンポーネント220は、時間パラメータに従って、ディスプレイ250におけるユーザに対するオブジェクトの視覚化をさらに実施することができる。具体的には、時間ベースナビゲーションコンポーネント220は、ユーザが、複数年、1年、月、週、日、時間、10年、および/または、他の有用な時分割など、いずれかの時間パラメータに従って、いずれか1つのバンド内で、または同時に複数のバンドにわたって、複数のオブジェクト内をナビゲートすることを可能にする。したがって、可視のタイムラインにわたっていずれかの特定のバンド内を単にジェスチャーすること(ポインティングデバイスの使用、スクローリングメカニズム、または他のジェスチャースクローリングメカニズムなどによる)によって、ユーザは容易および迅速にオブジェクトを、ユーザの生活で起こったように表示することができる。例えば、ユーザがシステム200を使用して、自分の生活のイベントのジャーナルまたは日記を、10年前に開始してこれから10年後に終了する20年間にわたって維持しようとしたことを想像されたい。ユーザは、すでに取られたかまたは予定されたいずれかの休暇についての写真、旅行プラン、地図および観光地、家族全員の写真、医者のレセプトおよび検査結果などのペット情報、家全体の情報、歌、記録、キャプチャされたオーディオクリップ、連絡先情報、住所、GPS座標、ドキュメントなどを含めることを望む場合がある。情報のタイプは実際には際限がない。
写真、レセプト、または、他のいずれかのタイプのドキュメントなどのオブジェクトがユーザによって追加される場合、これらのオブジェクトにアノテーション付けし、適切なバンドに関連付けることができる。言うまでもなく、「ペット」、「休暇」、「家族」、「友人」、「仕事」、「家庭」、「学校」、「趣味」、「音楽」、「プロジェクト」など、それに応じてバンドに命名して、主題を適切に識別することができる。
以下のいくつかの図は、バンドへのオブジェクトの編成、および、時間パラメータに基づいたそれらのナビゲーションに関する、さらなる詳細を提供する。例えば、図3および4は、いずれかのバンドへのオブジェクトの追加を概略的に表現する。図3では、ユーザが、このナビゲート可能なスペースで管理することを望む複数のオブジェクト300を有すると仮定する。オブジェクト300はバンド選択コンポーネント310と対話し、バンド選択コンポーネント310は、どのバンドに各オブジェクト300を入れるべきかを、オブジェクト自体、および、それに関連付けられたいずれかのメタデータに基づいて決定することができる。バンド選択プロセスは、人工知能(例えば、アルゴリズム、推論スキームなど)を使用して自動の方法で暗示的に、または、明示的ユーザ入力によって手動的に行われることが可能である。その後、時間ベースナビゲーションコンポーネント320を使用して、いずれかの所望のバンド内のオブジェクトをあちこちに動かして、そのコンテンツを所望の日付または時間の範囲で表示することができる。
新しいバンドを作成し、削除し、画面スペース上の異なるロケーションに移動させ、あるバンドが互いに隣接して(例えば、アルファベット順、作成日または修正日による日時順など)現れるように、それらのバンドをドラッグすることによって再順序付けすることができることを理解されたい。同様に、例えば、ドラッグすることによって、または、他の適切なコマンドもしくはオプションを使用して所望のオペレーションを実行することによって、オブジェクトをユーザの意志で異なるバンドに容易に移動またはコピーすることができる。
図4は、図3の動作の結果を明示する。見るとわかるように、時間パラメータ400(例えば、月および年参照)は時間ベースナビゲーションバー410上に指示されている。加えて、オブジェクトはそれらの各バンドに関連付けられており、バンドに沿ってそれらの各日付で位置決めされている。以下の図5で後述するように、バンドおよびその中のオブジェクトを、ユーザプリファレンスに応じて多数のズームレベルまたは深度で表示することができる。したがって、図4に示すように、本明細書で示すオブジェクトはユーザにとって可視であってもなくてもよい。
ここで図5を見ると、本発明の一態様による、ユニークなユーザインターフェースを使用してオブジェクト管理およびナビゲーションをさらに実施するシステム500のブロック図がある。システム500は、上記の図2のシステム200と同様である。しかし、加えて、視覚化コンポーネント510にはまた、ズーミングコンポーネント520およびオブジェクト密度追跡コンポーネント530もが含まれ、各々は、バンドコンテンツおよび/またはその中の特定のオブジェクトの見やすさを支援する。
ズーミングコンポーネントは二重の機能性を有することができる。一態様では、ズーミングコンポーネント520は、x軸に沿ったズーミングを実施することができる。具体的には、ズーミングコンポーネント520は、x軸パラメータ(例えば、時間)のズームインまたはアウトを様々なズーム深度で、ホィール使用可能マウスでマウスホィールを使用することなどによって行うことができる。例えば、下方への動きは、画面上で見えるより大きい範囲の時間、および、したがって、各バンドまたはオブジェクトのより少ない可視の詳細までズームアウトする。同じく、ホィールの上方への動きは、より特定の時間フレームにズーム(例えば、イン)し、したがって、その時間フレーム内の1つまたは複数のバンドまたはオブジェクトのより詳細なビューが可能となる。ズーミングをまた、ツールバーに含まれる可能性のあるナビゲーションボタン(例えば、D−日付、W−週、M−月、Y−年、3年など)によって、または、各バンド上に位置する「−」および「+」インジケータによって、実施することもできる(以下の図17〜19参照)。
もう1つの実施態様では、ズーミングコンポーネント520は、y軸に沿ったズーミングを実施することができる。具体的には、ズーミングコンポーネント520は、バンドのズームインまたはアウトを行って、本質的にバンドを展開または縮小することができる。例えば、バンドを垂直方向に開いて、その中のいずれかのオブジェクトを表示することは、バンドの下半分でクリックして下方にドラッグすること、または、バンドの上半分で上方にドラッグすることによって実施することができる。したがって、バンドの上方または下方部分のいずれかを圧縮されたままに保持して、バンドの2つの部分のうち他方(例えば、上方または下方)を表示する場合、より多くの画面スペースを提供することが可能である。上方および下方部分を同時に展開するには、上方および下方部分を定義する時間バーを、上方への動きによりグラブすることができる。両方の部分を同時に閉じるには、時間バーを、(ポインティングデバイスを使用して)下方への動きによりグラブすることができる。
さらに、特に一方のバンド(バンドA)を表示する場合、ユーザがフォーカスにより、またはドラッグすることによってバンドAをサイズ変更する場合、他方のバンドのy軸方向を自動的に減らすことができる。一般に、バンドがますます幅広く開かれるにつれて、対応するオブジェクトはより大きくなることができ、各オブジェクトのより詳細を見ることができるようになる。画面スペースに限りがあるので、他のいかなるバンドもより圧縮されるようになり、あるバンドの展開のために場所をあけることができる。代替として、または加えて、現在のズーム設定を記憶するために割り当てられたファンクションキーまたは自動ズームキーを呼び出すことによって、すべてのバンドを同じ幅に割り当てることができる。貴重な画面スペースをさらに節約するために、いずれかのこのようなバンドが使用中でない場合、デスクトップスペースの作成を実施するために、バンドをまた自動的に隠すように、または、一時的に画面から消えるようにすることもできる。
いずれかの表示画面におけるシステム500のスペース利用およびアーキテクチャレイアウトにさらなる状況を提供するため、図6は各軸の例示的表現を明示する。例えば、バンドをy軸に沿って配列することができ、それにより、いずれか1つの時間に示された各バンドの量は、バンドのいずれかの特定のズーム深度、および、ユーザが画面上で表示することを望むバンドの数が与えられると、合計の使用可能画面スペースによって決まることが可能となる。ズーム深度をz軸上で表現することができ、これは、特定のバンドまたはバンド内の時間でズームする場合、関心のあるオブジェクトは拡大し、関心のない周囲のオブジェクトは、拡大されたオブジェクトと比較して、サイズが小さくなるように見えることが可能であるからである。さらに、いくつかのオブジェクトはユーザにとってより重要である(例えば、可視性に関してより高い重要性の値が与えられる)可能性がある。したがって、バンド内のオブジェクトを全体的に表示する場合、いくつかのオブジェクトを、少なくとも部分的にはより重要でないオブジェクトの前に現れるようにレンダリングすることができる。
バンド内を様々な詳細のレベルでナビゲートする場合、システム500またはユーザは、どのコンテンツを表示するかを、1つまたは複数の選択アルゴリズムを使用して決定することができる。選択アルゴリズムの1つのバージョンは、以下、すなわち、各バンドがいくつかの固定ノードを有するツリータイプ構造で構成されることが可能であることに依拠する。ツリーは、すべてのノードがポピュレートされる、またはされなければならないとは限らないという、希薄な意味である可能性がある。ツリーを上下に移動させることも可能である。
ツリーの上方の各ノードはその下のノードの要約を含み、これは、ユーザがバンドのズームアウトを行う場合、ズーミングコンポーネントは例えば、下の各ノードを処理する必要なしに、これらのノードをあるレベルでウォークスルーすることができるという意味である。すなわち、下の各ノードを処理する、より時間のかかるタスクを全体として実行するのではなく、各ノードのサマリーに依拠することができる。各ノードのための設定しきい値が超えられる場合、ズーミングコンポーネントは、超えられたしきい値が下のノードに属するか上のノードに属するかに応じて、ノードの上方または下方に移動することができる。さらに、各サマリーは重要性のレベルを指示することができ、プロパティのセットを含むことができる。重要性を、明示的に入力されたプロパティに基づかせることができ、または部分的にはヒューリスティックベースのプロパティによるようにすることができる。例えば、検出されたクリックの数は、ノード内の特定のアイテムについての重要性を増すことができる。また、サマリーを、ユーザまたはシステムパラメータによって決定されるように、動的または静的にすることができる。
システム500が使用されるアプリケーションに応じて、軸を変更することができる。例えば、ブロギング環境では、時間パラメータをy軸に沿って表現することができ、アノテーションをユーザによって、特定の時間または日付で作成することができ、これらのすべてを前述のようにスケーラブル、ブラウズ可能、および/またはズーム可能にすることができる。
再度図5を参照すると、オブジェクト密度追跡コンポーネント530は、固有のピークを画面上の各バンドに提供する。具体的には、バンドが少なくとも部分的に圧縮され、個々のオブジェクトがもはや可視でないようになる場合、ユーザはなおそれらのバンドから、特定の時間に、または特定の期間にわたって位置したオブジェクトの相対量など、情報を抽出することができる。加えて、ユーザは、オブジェクトがバンド内のいずれかの所与の時間で利用中である相対サイズまたはストレージ消費量を決定することができる場合がある。これらの属性の両方を、部分的にはオブジェクト密度追跡コンポーネント530によって実施することができる。オブジェクト密度追跡コンポーネントは本質的に、以下のうち少なくとも1つ、すなわち、バンド全体に位置するオブジェクトの数、または、バンド内の各オブジェクトの相対サイズを測定する。測定値を各バンドにおける典型的な正弦曲線に変換することによって、ユーザは迅速に各バンドの状態を査定することができる。
例えば、図7は、いずれかの特定の時間のオブジェクト密度をバンド毎に指示することができる、相対高さおよび/または色強度を概略的に明示する。図のように、追跡コンポーネント700は、各オブジェクトの時間のロケーションまたは位置をバンド710毎に追跡する。時間ベースナビゲーションバー720は画面上でバンド710と平行に配置されて残り、参照の容易で正確なフレームを提供することができる。バンドが画面上にある場合、正弦曲線730(または、ある他の関数により導出された形状)の高さに基づいて、オブジェクトのある量が、x軸パラメータに応じて、年、月、日、時間または週の特定の時間で存在することを、ユーザは容易に確かめることができる。結果として、ユーザは、アクティビティレベルを、特定の時間またはそれらの存続の期間中などに、迅速に査定することができる。また、各バンド内に含まれたコンテンツは本質的に、ユーザがバンド設定を修正しない限り、決してビューから消えない。すなわち、あるコンテキストを、バンドのいかなるズーム深度で見ることもできる。
図8〜10に移ると、開くまたは展開オペレーションが、少なくとも1つのバンドに関して明示される。図8で開始すると、スタック内に(例えば、ユーザインターフェースのy軸に沿って)配列された複数の定義可能バンド810の図800が例示される。バンドのスタックの上を越えて、時間軸820を見つけることができる。時間軸820は各バンド内、ならびに、複数のバンドの間のナビゲーションを実施する。このシナリオでは、時間軸は、バンドを月の基準で表示するように設定される。図8に示すように、バンド810が圧縮される場合、このようにバンドのいずれかに含まれた個々のオブジェクトはユーザにとって可視でない場合がある。
図9では、ユーザはバンド900にズームインするか、またはこれを開き、結果として、2つのオブジェクト910が現在可視である。アンカ920は、オブジェクトが時間軸820に沿って位置する日付への参照を提供する。画面上の他のバンド930は、バンド900の展開の結果として、より小さくされる。
図10では、ユーザはバンド900を拡張し続けており、バンド1000がその結果生じる。見るとわかるように、バンド1000の高さは実質的および必然的に増しており、オブジェクト1010(例えば、図9の910)のサイズまたは寸法もまた増している。よって、オブジェクト1010に関するより詳細をユーザによって表示することができるが、詳細の増大は、現在の期間(例えば、2004年9月〜2005年5月)内のバンド内の他のオブジェクトの数によって決まる可能性がある。加えて、より高密度に詰め込まれたオブジェクトはアンフォールドして画面上に現れることができる。バンド展開に応答したオブジェクトの移動により、および、追加のオブジェクトの潜在的露呈により、アンカ1020の位置が変化して、スペース消費量の変化を補償することができる。
図8〜10で起こるイベントは、図11〜14で表現された画面キャプチャイメージによって、よりよく視覚化することができる。これらの画面キャプチャイメージは、上述のシステムおよび技術を使用する例示的ユーザインターフェースを表現する。図11では、複数のバンド1100はスタック内に配列される。バンドは命名され、異なるバンドを互いに容易に区別するために様々な色で現れる。スタックの上を越えて、時間ベースナビゲーションバー1110が位置する。
バンド1100は圧縮された状態で現れるが、時間パラメータ(例えば、年:1999〜2003)による各バンド内のオブジェクトの密度および/または存在は、適切な正弦曲線によって表現される。例えば、曲線がより透過的であるほど、より少数のオブジェクトがそこに位置することを指示することができる。同様に、より不透明な曲線は、特定の時間/日付の期間でバンド内のより高密度にポピュレートされたエリアを指示することができる。
代替として、または加えて、曲線の高さは、バンドのセクションがどれほど高密度にポピュレートされるかを指示することができる。例えば、比較的より短い曲線はより少数のオブジェクトを指示することができ、比較的より高い曲線はより多数のオブジェクトを指示することができる。最後に、各バンドの上方1120および下方1130の部分を、各バンドをx軸に沿って分割するバー1140によって定義されると見なすことができる。このバー1140は、時間参照としての機能を果たすことによって、または、ナビゲーションバー1110の時間状態をミラーリングすることなどによって、時間ベースナビゲーションバー1110の機能性をミラーリングすることができる。このバーをまた、バンドを展開または圧縮するために使用することもできる。すなわち、バーが上方への動きにおいてグラブされる場合、バンドの上方および下方部分が展開する。バーが下方への動きによりグラブされる場合、その逆が起こる。
図11から、図12〜14は、「写真」と呼ばれるバンドの「開く」シーケンスを明示する。図12では、比較的サイズが小さい複数のオブジェクトはここで、バンドの上方および下方部分の両方で可視である。バンドにおける正弦曲線は、ビューから徐々に減少しつつある。
図13では、バンドが「開く」または「拡張する」ことを続けるにつれて、さらにより多くのオブジェクトを見ることができる。各オブジェクトに与えられた名前またはタイトルを見ることができるが、これらをオフにして、バンド内で使用可能な画面スペースを増し、オブジェクト可視性を最適化することができる。正弦曲線はビューから減少し続ける。
図14では、写真バンドは完全に開かれる。1999年1月より前、または2003年1月より後のオブジェクトを表示するには、ユーザは、ポインティングデバイス(例えば、マウス)を使用することなどによってバンドをグラブし、バンドを右または左に移動させて他の年または月にナビゲートすることができる。このバンドの展開されたビューでは、バンドバー1400は、時間ベースナビゲーションバー1410上で指示された月をミラーリングする。加えて、バンドバー1400には、可視オブジェクトが実際に時間において(時間行(1410)に沿って)「存在」するところを指示するための、相対日でのマーカーが含まれる。画面上の他のバンドはさらに圧縮されて、写真バンドの展開のために場所があけられている。
図15は、写真バンドのズームインを明示する。ズームインは、ホィール使用可能マウスを使用する場合、マウスのホィール上昇をモニタリングすることによって実施することができる。バンド上でズームインして特定のオブジェクトまたはオブジェクトのセットを特定の日付/時間で表示することもまた、部分的には、バー1500をバンド内で選択および/またはクリックすることによって、実施することができる。この例示的画面イメージでは、バー1500は時間ベースナビゲーションバー1510よりも多くの時間詳細を反映する。
ここで図16を見ると、本発明の一態様によるオブジェクト管理システム1600のブロック図が例示される。システム1600を、図1および5でそれぞれ上述したようなシステム100または500と共に使用することができる。具体的には、オブジェクト管理システム1600は、オブジェクトの編成および可視性をそれらの各バンド内で実施することができる。一般に、オブジェクト管理システム1600は1つまたは複数のオブジェクト1610を受信することができ、様々なコンポーネントを介して、アノテーション付きおよび/またはクラスタ化オブジェクトを生じることができる。結果として、オブジェクトを容易にブラウズおよび/または探し出すことができる。
オブジェクト管理システム1600には、識別コンポーネント1630および認識コンポーネント1640をその中に有する、アノテーションコンポーネント1620が含まれる。アノテーションコンポーネント1620は、識別コンポーネント1630によって識別されたようなそれらの名前またはプロパティに従って、オブジェクトにアノテーション付けすることができる。加えて、アノテーションコンポーネント1620は、認識コンポーネント1640を使用することによって、いずれかの認識された特性に従ってオブジェクトにアノテーション付けすることができる。例えば、アノテーションを受けるオブジェクトがユーザの姉Maryの写真であると想像されたい。明示的ユーザ入力を必要とすることなく、認識コンポーネント1640は、顔またはパターン認識サブコンポーネント(図示せず)を使用して、写真における人物をMaryとして正確に識別し、それに応じて写真オブジェクトにアノテーション付けすることができる。認識コンポーネント1640はまた、光学式文字認識および音声認識を使用することもできる。
密接に関係付けられた複数のオブジェクトを共に、クラスタリングコンポーネント1650によってクラスタリングすることができる。クラスタリングコンポーネント1650をまた使用して、オブジェクトの1つを、クラスタを最もよく代表するオブジェクトとして識別することもできる。したがって、画面またはバンドスペースが制限または限られる場合、代表オブジェクトを使用して、クラスタをユーザに識別することができる。代替として、クラスタのオブジェクトに関連付けられたメタデータを解析することができ、クラスタを説明するために最も関連のある、または代表的なメタデータを使用して、クラスタを識別することができる。例えば、オブジェクトのクラスタに、クラスタタグ付けコンポーネント1660によってラベルを与えることができる。クラスタラベルは、バンドが圧縮される場合でも、可視および判読可能のままであることができる。クラスタを表示するか、またはクラスタにズームインして、その中のオブジェクトを見るために、ユーザはラベルを少なくとも1回クリックすることができる。
人工知能コンポーネント1670をオブジェクト管理システム1600に関連して使用して、自動的に、および場合によってはより効率的に、オブジェクトへのアノテーション付け、および/または、密接に関係付けられたオブジェクトのクラスタリングを行うことができる。オブジェクトの堪能なアノテーションおよびクラスタリングは、複数のバンド内、および、複数のバンドにわたる複数のオブジェクトのブラウジングおよび位置指定を支援することができる。
以下の図17〜20は、システム1600のオペレーションをさらに例示する。図17では、複数のクラスタラベル1700を、時間におけるそれらの発生に従って、バンド内で見ることができる。個々のオブジェクトについて同様に、オブジェクトのクラスタにプライオリティまたは異なるレベルの重要性をユーザによって割り当てることができる。したがって、より重要なクラスタのラベルが重なり合い、比較的近い距離に位置する他のより重要でないクラスタのビューを部分的に覆い隠すように見える可能性がある。例として、クラスタラベル1710は推定上、ユーザにとって、クラスタラベル1730よりも重要であるクラスタラベル1720よりも高い重要性を有する。クラスタラベルならびにバンド内のオブジェクトの間の必要な重なり合いを可能にすることは、より重要でないオブジェクトまたはクラスタが完全にビューから消えることを可能にするのではなく、より多くの情報をユーザに提供することを実施する。
ここで、ユーザがクラスタ1740(RAMROD2003というラベル付き)内のオブジェクトを表示することを望むと仮定する。これを実施するため、ユーザはラベル1740をクリックすることができる。これにより、各サイクリングバンド1750が開いてクラスタ1740内のオブジェクトを可視にするようになる。図18の画面イメージは最終結果を例示し、すなわち、クラスタ1740内のオブジェクト1800が可視であり(例えば、タイトル、日付などの重要なメタデータと共に)、画面上の他のバンド1810は、バンドの間の画面スペース割り当ての変化により実質的に圧縮されている。
特定のクラスタ内のいくつかのオブジェクトをユーザによって圧縮することができる。よって、クラスタが開かれる場合、これらの少数のオブジェクトは閉じられたままとなる可能性があるが、それらの存在はアイコン1820によって指示されるように忘れられない。アイコン1820は、この領域内のs個のオブジェクト(例えば、s=1)が、例えばそれに割り当てられた重要性レベルにより、現在のズームレベルが与えられるとスペースの制約のために表示されることが不可能だったことを指示する。
ユーザがクラスタ1740からズームアウトする場合、クラスタ1740の周囲に位置する追加のオブジェクトは、図19に示すように表示される可能性がある。バンドの右側のナビゲーションボタンは、バンドをその最小の高さまで素早く圧縮すること(「x」)、または、展開(「−」)もしくは圧縮(「+」)の量を徐々に減らすことを実施することができることにも留意されたい。
最後に、図20では、オブジェクトまたはクラスタラベルの重なり合いおよび透過性の概念を再度例示する。画面イメージにおいて(例えば、2000および2010で)見ることができるように、クラスタラベルおよび/またはオブジェクトが互いに重なり合うように設定することができるが、そうすることにおいて、透過性のレベルを採用し、背後のオブジェクトに関連する情報が完全に失われないか、またはユーザから隠されないようにすることができる。したがって、数百または数千ものオブジェクトを1つのバンド内で管理する場合、パースペクティブ、インサイトおよび/または関連性は、より重要であると見なされたオブジェクトによって完全に損なわれるのではない。すなわち、ユーザは、自分のオブジェクトのより完全なピクチャ、ならびに、それらの関係および互いとの関連付けを保持することができる。
ここで図21を参照すると、上述(図1、2および5)のシステム100、200および/または500に関連して使用することができる、ナビゲーションおよび選択システム2100のブロック図が例示される。システム2100を利用して、1つまたは複数のバンド内に位置する、関心のあるオブジェクトのナビゲートおよび表示を実施することができる。システム2100には、ユーザが1つまたは複数のバンド内の複数のオブジェクト内をナビゲートすることを可能にする、時間ベースナビゲーションコンポーネント2110が含まれる。オブジェクトは時間パラメータに関連付けられ、したがって、ユーザが所望の時間パラメータを選択する場合、それに対応する異なるオブジェクトを見るかまたは表示することができる。具体的には、オブジェクト選択コンポーネント2120を使用して、1つまたは複数のオブジェクトをより綿密な表示のために選択することができる。表示するためのオブジェクトの選択を、所望の時間パラメータ(例えば、特定の週または日)に基づくようにすることができ、または、現在可視のオブジェクトによって決定することができる。
複数のオブジェクトがより詳細な表示のために、または別のアプリケーションまたはオペレーションで使用するために選択される場合、マルチオブジェクトビューア2130は、選択されたオブジェクトを、ディスプレイ2140上で表示するために、所望の方法で(例えば、日付による日時順で)配列することができる。1つまたは複数の表示パラメータ2150を設定または調整して、ディスプレイ上のオブジェクトの外観をカスタマイズすることができる。例えば、オブジェクトの色調および表示サイズを修正することができ、タイトルをオンまたはオフにすることができ、オブジェクトを表示する速度を調整することができ、一度に表示するためのオブジェクトの数を変更することなどができる。
上述のように、より綿密な表示のためのオブジェクトの選択を、部分的にはいくつかの異なる選択技術によって実施することができる。例えば、図22は、オブジェクトをクリックすることによって実行することができる、あるオブジェクトの選択を明示する。拡大されたオブジェクト2200を、拡張ウィンドウ2210の有無にかかわらず表示することができ、拡張ウィンドウ2210は「関連アイテム」ならびに「他の要素」、およびナビゲーション矢印を表示する。オブジェクト2200自体は、そのタイトル、オブジェクトのストレージロケーション(例えば、パス名)、サイズおよび/または解決など、選択メタデータを表示することができる。
代替として、オブジェクトの選択は、時間フレームをバンド内またはバンドのスタックの上の時間ベースナビゲーションバーに沿って選択することによって、行われることが可能である。図23は、バンド2300内のいくつかのオブジェクトを例示し、バンド2300は展開されており、バンドは時間軸2310(例えば、時間ベースナビゲーションバー)に沿ってズームインされている。オブジェクトビューア2320もまたユーザによって開かれているが、この時点では空のままである。
次の図24では、ユーザは期間2400をバンド2420内の時間バー2410上で選択している。この選択の上で、この期間2400内に入るオブジェクトは2430で強調表示され、オブジェクトビューアのオブジェクトリスト2440の部分に現れる。オブジェクトビューア表示ウィンドウ2450は、選択されたオブジェクトのみを、オブジェクトリスト2440内で順序付けされたように表示する。しかし、この順序は、どのフィールドが優先されるかに応じて変わる可能性がある。例えば、オブジェクトリストを、タイトルによって、または日付によって、または重要性レベルによって順序付けすることができる。他の順序付けオプションもまた使用可能にすることができる。選択されたオブジェクトを表示ウィンドウ2450内で、調整可能な速度で「再生」することができる。
図25は、オブジェクトビューア表示ウィンドウ2520内の別の表示のために、期間2500を時間ベースナビゲーションバー2510に沿って選択することによって、オブジェクトの選択を行うこともできることを明示する。
図26および27は、図25で選択されたオブジェクトの表示のわずかな変形形態を表す。図26では、タイムラインヘッダ2600における範囲の選択が行われる。デフォルトで、タイムラインヘッダ2600を時間範囲ズーミングツールにすることができる。実際には、例えば、ユーザは、マウスをタイムライン上でドラッグすることによって時間範囲を選択し、マウスボタンがリリースされる場合、ビューが、ラインの開始および終了時間によって測定された時間範囲に変わる。CTRL(または他の割り当てられた)キーがこのオペレーション中に押し下げられる場合、すべての現在可視のバンドにおける選択された時間範囲内のすべてのオブジェクトが選択される。このアクションは次いで、2700に示すようにオブジェクトが別のウィンドウ内で表示される結果となる場合がある。このビヘイビアは、所与の時間範囲内のすべてのオブジェクトへのアクセスが、どの特定のバンド内でそれらのオブジェクトが参照されるかにかかわらず、表示されることを可能にする。
図27では、オブジェクト2710のレイアウトを望むように変更して、一度表示されたオブジェクトの数を修正することができる。ウィンドウ2700内のスペースが制限されており、オブジェクト2710のすべてが一度に表示されるので、最も関連のあるデータのみをオブジェクト毎に示すことができる。ユーザまたはシステムは、表示スペースが制限される場合、何が最も関連のあるデータとして適格であるかを決定し、様々な種類のメタデータを重要性に関してランク付けすることができる。
ここで図28を見ると、関連付けられたオブジェクトを発見すること、および、時間ベースユーザインターフェースを使用したこれらのオブジェクトの表示および管理を実施する、システム2800のブロック図が例示される。システム2800は、上記の図1のシステム100(または、図2の200、図5の500)と同様である。しかし、システム2800には発見コンポーネント2810が含まれ、発見コンポーネント2810は、提供された発見語に従ってオブジェクトをアノテーション付きデータストア2820から探し出し、次いでこれらのオブジェクトを、新しく完全に操作可能なバンド内で表示する。具体的には、発見コンポーネントは、データストア内に格納されたオブジェクトのメタデータを調べ、発見語にマッチするメタデータを有するオブジェクトを抽出する。図29および30には、発見オペレーションを明示する画面イメージが含まれる。
図29から開始すると、例示的発見ウィンドウ2900が表示される。ウィンドウ2900で見るとわかるように、ユーザは、発見語に加えて、少なくとも1つの他の発見パラメータを選択して、自分の所望の結果を得ることができる。図30は、画面上に導入された、「検索結果」という名前の新しいバンド3000を示す。発見コンポーネントによって発見されたオブジェクトはバンド内で、それに関連付けられた時間パラメータに従って配列される。バンドのいずれかおよびそれらの各オブジェクトのように、このバンドおよび/またはそのオブジェクトもまた、修正、保存(より説明的な名前と共に)、移動、削除および/または操作が、ユーザによって望まれるように、いかなる他の方法においても可能である。さらに、バンド内のオブジェクトは、それと共にそれらのオブジェクトを関連付けるか、または維持することができる他のバンド内で割り当てられたプロパティと同じプロパティを保持する。例えば、可視性プロパティは実施のままである。したがって、いくつかのオブジェクト3010を、検索結果バンド内でさえ圧縮することができる。最後に、発見語に関係する追加のメタデータを、例えば、発見オペレーションの一部である結果として、各オブジェクトにアノテーション付けすることができる。
図31に進むと、少なくとも図1のシステム100と(また、図2の200、図5の500にも)同様であるが、フィルタコンポーネント3110が組み込まれているシステム3100のブロック図が例示される。フィルタコンポーネント3110は、望まれないオブジェクトまたはバンドを現在画面上にあるビューから除去することができる。例えば、バンドの高密度にポピュレートされた領域内で、ユーザは写真およびウェブページリンクよりもドキュメントを見ることのみに関心を有する場合がある。代替として、または加えて、ユーザは、食品、パーティまたは車など、ある主題に関係するオブジェクトのみを見ることを望む場合がある。いずれの場合も、フィルタコンポーネント3110は、望まれないオブジェクトをフィルタリングして取り除いて、望まれたオブジェクトのみをユーザにとって可視にしておく。各バンドはそれ自体の「パーソナル」フィルタを、図32に示すようなバンドに特有のキーワードと共に有することができる。全体として、フィルタの使用はバンドおよび/またはオブジェクトのブラウジングエクスペリエンスを大幅に向上させ、ユーザのエクスペリエンスまたは自分のオブジェクトとの対話をより有意味にすることができる。
図32は、バンドをまた、古典的な「ツリービュー」編成3200に隣接して表示された代替ユーザインターフェースにして、同時の二重ビューをオブジェクトのグループに提供することもできることを、さらに明示する。オブジェクトを、アルファベット順にツリーコントロール(それらのストレージ階層を表現する)内で配列された状態で見ることができ、このツリーコントロールの隣に時間ベースの「バンド」レイアウトがある。具体的には、各バンドは少なくとも部分的には時間パラメータに従って編成されるが、より従来のツリービュー構造で視覚化することができるある階層編成をも維持する。例えば、バンド名は1次ノードを表現することができ、1次ノードから下に枝分かれするいかなる数のサブノードをもポピュレートすることができる。したがって、ユーザはオブジェクトをバンド内で、および、複数のバンドにわたって、例えば、時間および/または重要性に基づいた関連付けおよび関係に従って表示することができ、いかなる時間にも、その代わりにフォルダ−サブフォルダビュー内で編成された同じオブジェクトを表示することもでき、各フォルダまたはサブフォルダ内で維持されたオブジェクトには実質的により少ないコンテキストが与えられる。
図33は、従来のツリー構造3300から、図1〜32で上述したような、より動的な、よりインタラクティブな、より情報的な時間ベースバンド構造3310への強力な変換の概略的表現を提供する。この概略的表現は、いずれかの特定のフォルダ3320内に含まれたオブジェクトが、このフォルダが開かれない限り、ビューから本質的に隠されるという事実を強調する。しかし、フォルダを開くことによって、このフォルダが他のフォルダに対してどこに位置するかなど、フォルダの周囲のコンテキストは失われる。また、ツリー構造はフォルダまたはサブフォルダ、および/または、内部に含まれたオブジェクトの間の関係を伝達することはできない。
それに反して、時間ベースバンド構造はメジャーノードを別々のバンド内に定義し、そのメジャーバンド(例えば、写真)内に含まれたいかなるオブジェクトも、「サブフォルダ」(例えば、ペット)内の場合でさえ、その中に含まれた他のオブジェクトに関して表示することができる。時間ベースバンド構造3310では、オブジェクトを時間パラメータによって、ならびに、同じバンド(例えば、クラスタ)内の他のオブジェクトとのそれらの密接な関係に基づいて、編成することができる。各バンド内のオブジェクトの関係または関連付けを認識することができるだけでなく、複数のバンドにわたるオブジェクトの関連付けもまた理解または発見することができる。残念ながら、従来のツリー構造だけで、このような有意味な情報を提供することはできない。したがって、ツリービューをバンドビューと同時に表示して、同じオブジェクトの「ピクチャ」を2つの異なるパースペクティブから提供することができる。ビューの一方におけるいかなる編集または変更も、他方のビューで即時に可視にすることができる。両方の同時(または、並んだ)ビューはまた、オブジェクトコンテキストを、関係付けられたオブジェクトに対して、またはタイムラインに沿って調べる間に、実際のストレージパスを視覚化するためにも有用である可能性がある。代替として、これらのビューを一方と他方の間でトグルすることができ、これは特に、一方のビューが他方のビューよりも好まれるか、または、両方が同時にユーザによって必要とされるのではない場合である。
留意すべき少数の他の特性には、バンドをユーザのプリファレンスに従ってカラーでカスタマイズすることができるという事実が含まれる。例えば、図34で表された例示的ユーザインターフェースの画面イメージは、以前の画面イメージの多数において以前に示された配色とは大変異なる配色を示す。
各バンド内および各オブジェクトで、メニューを画面上で立ち上げるか、またはポップアップすることができ、メニューはユーザに、オブジェクトまたはバンドに対して取るべきいくつかの異なるオプションまたはアクションを、そのメニューがどこでアクセスされたか(例えば、オブジェクトの上で、またはバンドスペースの上で)に応じて提供する。図35は、複数のオプションおよびアクションを有する例示的ポップアップメニュー3500を示す。このリストは網羅的ではなく、他のオプションまたはアクションもまた含まれる場合があることを理解されたい。
本発明による様々な方法をここで一連の動作を介して説明し、本発明は動作の順序によって限定されず、これはいくつかの動作が、本発明によれば、本明細書に示し、説明された動作とは異なる順序で、および/または、他の動作と同時に起こる可能性があるからであることを理解されたい。例えば、ある方法を代替として、状態図においてなど、一連の相互に関係する状態またはイベントとして表現することができることは、当業者には理解されよう。また、例示の動作のすべてが、本発明による方法を実施するために必要とされるとは限らない場合がある。
ここで図36を参照すると、少なくとも部分的には時間パラメータに基づいた複数のオブジェクトの間の管理およびナビゲートを実施する、例示的プロセス3600の流れ図がある。これらのオブジェクトを定義可能バンドに、例えば主題に基づいて編成することができる。画面上でユーザに表示されるようなオブジェクトを、対応するファイルまたはドキュメントのASCIIサムネールにすることができることを想起されたい。これらのサムネールを動作可能および動的にすることができ、したがって、オブジェクトの状態が修正またはアップデートにより変化する場合、サムネールは変化することができる。
加えて、ユーザは各ファイルのコンテンツを、サムネールを選択および/またはクリックすることによって、修正することができる。すなわち、ユーザはテキストまたはコメントをファイルに直接アノテーション付けまたは追加することができ、実際に別のアプリケーションを開いてそれを行う必要はない。例えば、ワードプロセッシングプログラムを開き、次いでそこからドキュメントにアクセスすることなく、ワードプロセッシングドキュメントをアップデートすることができる。むしろ、ユーザは単にカーソルをドキュメント上の関連のある行またはフィールドに移動させ、新しいデータをドキュメントに入力することを開始することができる。さらに、いかなる修正を保存することもでき、いくつかの異なるアプリケーションとバンドの間でジャンプする必要性が軽減される。このように、ファイル、ドキュメント、写真、ウェブページなどの管理および表示によるユーザの効率および全体のエクスペリエンスを、大幅に向上させることができる。
プロセス3600は、3610で、1つまたは複数のバンドを関連のあるオブジェクトによりポピュレートすることを含む。これらのオブジェクトには、ドキュメント、レポート、ピクチャ、ショー/プログラム、サウンドまたはオーディオ、ウェブページ、ハイパーリンク、音楽などのようなアイテムが含まれる可能性がある。3620で、オブジェクトを各バンド内で、各オブジェクトに関連付けられた日付または時刻など、時間パラメータに基づいて編成することができる。各オブジェクトについての時間パラメータを、オブジェクトのメタデータから抽出するか、またはユーザによって明示的に入力することができる。
3630で、オブジェクトおよび/またはバンドを、時間ベースナビゲーションバーを使用してブラウズすることができる。時間ベースナビゲーションバーは、時間のどの範囲が現在画面上で表示されているかを実施する。ユーザは、ナビゲーションバーに沿ってポインティングデバイスを使用してスクロールして、例えば、クリック、ホールドおよびスクロールすることによって、異なる時間範囲にナビゲートすることができる。加えて、ユーザは関連のある方向に(例えば、右側または左側へ)いずれかのバンド上でポインティングデバイスを移動させることによって、異なる時間範囲にナビゲートすることができる。時間範囲が画面上で変化する場合、バンドのビューもそのように変化して、現在の時間範囲に合わせる。想像できるように、バンドの内外、および、タイムラインナビゲーションバーに沿った様々な期間を通じた移動は、むしろ流動的であり、実際には楽である。
ここで図37を参照すると、いずれかの数のバンドにカテゴリ化されたオブジェクトの管理およびナビゲーションを実施する、例示的プロセス3700の流れ図が例示される。いずれかの期間にわたって得られた、または収集されたファイル、写真および他のドキュメントなどのオブジェクト(例えば、プロフェッショナルまたはパーソナルオブジェクト)を管理する場合、各オブジェクトに関連付けられたメタデータは、オブジェクトのソート、オブジェクトの発見、オブジェクトのグループ化、および/または、オブジェクトの間の関連付けの発見など、効率を高めるために重要となる可能性がある。したがって、プロセス3700によれば、3710で、オブジェクトがその中に位置するバンドの名前、時間パラメータ(例えば、時刻および/または日付)、および他のユーザ入力などのメタデータにより、オブジェクトにアノテーション付けすることができる。例えば、ユーザはオブジェクトの特定の主題を識別し、それに応じてオブジェクトにアノテーション付けすることができる。いずれか1つのオブジェクトは複数のバンド内に位置することができ、したがって、1つのバンド内のオブジェクトまたはそのメタデータに行われた修正またはアップデートを、オブジェクトが別のバンド内で表示される場合に反映させることもできる。要約すれば、1つのオブジェクトの複数のコピーは本質的に互いにリンクされる。アノテーションを、テキスト、ペンまたは音声を介して作成することができる。
加えて、3720で、重要性の値またはレベルをオブジェクト毎に設定することができる。画面スペースが制限され、オブジェクトがバンドの高密度にポピュレートされた領域内にある場合、重要性レベルを、オブジェクトの可視性の程度を指示するために使用されるメタデータの別の形態にすることができる。例えば、バンド内で表示可能なスペースが、おそらくは現在のズームレベルまたは部分的にのみ展開されたバンドのために、数十または数百のオブジェクトにより輻輳されることを想像されたい。使用可能な表示スペースが制限されるので、より重要なオブジェクトを選択し、したがってユーザにとって可視にすることができる。より重要でないと見なされたオブジェクトを圧縮することができるが、ビューから完全に隠されるのではない。アイコンまたはシンボルを使用して、Q個のオブジェクト(例えば、1または5など)がバンド内で関連のある時間または日付で存在することを指示することができる。これらの圧縮されたオブジェクトを表示するために、ユーザは単に、オブジェクトを示すために十分なスペースが使用可能になるまで(例えば、オブジェクトの重要性に基づいて)さらにズームインすることができ、または、アイコンを直接クリックすることができる。
いくつかの場合、いくつかのオブジェクトは密接に関係している可能性があるので、ユーザはこれらをバンド内でサブグループにクラスタリングすることを望む可能性がある。このプロセスをまた、自動化されるが高性能の方法で、人工知能および/またはいずれかの数の推論スキームを使用して、これを行うように設定することもできる。よって、3730で、密接に関係付けられたオブジェクトをクラスタリングし、オプショナルでラベル付けすることができる。各クラスタにも、重要性のレベルまたは値を割り当てることができる。バンドが圧縮され、別個のオブジェクトを見ることができない場合でも、クラスタにより、クラスタラベルは可視のままであることが可能である。複数のラベル付きクラスタを、近いかまたは同じ時間で発見することができることは実現可能であるので、より高い優先順位を有するラベルまたはクラスタは、より低い優先順位を有するラベルまたはクラスタの上に重なることができる。クラスタラベルはまた、透過的な方法で他のオブジェクトの上に重なり、オブジェクトおよびラベルの少なくとも一部がなお認識可能および認められるようにすることもできる。最後に、3740で、時間ベースナビゲーションバー(例えば、タイムラインツール)を使用することによって、オブジェクトおよび/またはバンドをもう一度ブラウズすることができる。
ここで図38を見ると、本発明の一態様による、例示的バンドナビゲーションプロセス3800の流れ図が示される。バンドナビゲーションプロセス3800は、バンドを開く(展開する)または閉じる(圧縮する)ようなオペレーションを含む。3810で、ポインティングデバイスを使用して、ユーザは時間バーをバンド内で上方への動きによりグラブして、バンド全体(例えば、上方および下方)を開くことができる。代替として、3820で、ユーザはバンドの上方部分のみを開くことを望む場合がある。そのようにするため、ユーザは上方部分のエリアをクリックして上にドラッグすることができる。下方部分(バーの下)はそのままで、影響を受けないままである。
他方では、ユーザは、バンドの下方部分のみを開くことを望む場合がある。したがって、3830で、下方部分のいずれかのエリアをクリックして下にドラッグすることによって、下方部分を展開することができる。この場合も、上方部分はそのままで、影響を受けないままである。3840で、あるユーザは、ディスプレイ上に位置する他のナビゲーションボタンまたはツールを使用して、バンドを展開もしくは圧縮し、またはそうでない場合はナビゲートすることを望む場合がある(3840)。
バンドをそれらのロケーションに固定して、ユーザがバンド内をスクロールする(例えば、垂直にスクロールして、異なるバンドがバンドのスタックの最上部に現れる可能性がある)場合、バンドが影響を受けないようにすることもできる。代替として、しかし、ユーザはバンドを、おそらくは他のいずれかのバンドから離れて、ディスプレイ上の異なるロケーションに移動させることを望む場合がある。これは部分的には、バンドをクリックし、ホールドし、次いでその所望のロケーションにドラッグまたはスロー(ジェスチャー)すること(3850)、および/または、新しいウィンドウを作成してバンドを表示およびナビゲートすることによって、実施することができる。
ここで図39を参照すると、本発明の一態様による、例示的オブジェクト選択およびナビゲーションプロセス3900の流れ図が示される。プロセス3900は、バンド内で維持されたオブジェクトのナビゲートおよび管理を実施するために使用するべき様々な技術を含む。3910で、バンドを展開して、少なくとも1つのオブジェクトを露呈し、可視にすることができる。オブジェクトのクラスタが圧縮され、ラベルのみが可視である場合、ユーザはラベルをクリックして、ズームインアクションをクラスタ上で実施することができる(3920)。
ある時間に、ユーザは、関心のある1つまたは複数のオブジェクトをはるかにより詳細に表示すること、または、他のオペレーションをオブジェクトにおいて実行することを望む場合がある。1つまたは複数のオブジェクトを選択するために、ユーザは所望のオブジェクトを強調表示し、次いで、オブジェクトの周囲の強調表示されたボックスをクリックすることができる。結果として、選択されたオブジェクトを別のウィンドウ内で表示することができる。別のウィンドウ内に現れるオブジェクトはまた、特定のオブジェクトに関係付けられた他のオブジェクト、ならびに、各選択されたオブジェクトに関連付けられた最も関連のあるメタデータ(例えば、名前、ファイルサイズ、パス名など)など、追加の情報を表示することもできる。ユーザにはまた、選択されたオブジェクトをムービーまたはスライドショーとして表示するためのオプションも与えることができ、ショーの速度をユーザによって調節することができる。
図に示されないが、他のナビゲーション技術を使用して、オブジェクト、特にユーザにとって関心のあるオブジェクトの可視性を向上または最適化することができる。例えば、各バンドは少なくとも1つのフィルタを使用することができる。決定されたセットのキーワードまたはメタデータ語を使用することによって、ユーザは、例えば、オブジェクトのタイプによって、またはオブジェクトの主題によって、ビューからオブジェクトをフィルタリングして除くことができる。これは、関心のあるオブジェクトを表示するために使用可能なスペースを増し、バンド内の輻輳またはバンドの雑然としたビューを軽減することができる。ある場合には、関心のあるオブジェクトはいくつかのバンドの間で分散または離散される場合がある。ユーザはこれらのオブジェクトを、発見コマンドを利用することによって探し出すことができる。対応する結果を新しいバンド内で視覚化することができる。このバンドは、他のいかなるバンドとも同様に、保存、移動および/または削除することができる。
ここで図40を見ると、本発明の一態様による、オブジェクトおよび/またはバンドに関連して使用することができる、例示的時間ベースナビゲーションプロセス4000の流れ図が例示される。プロセス400は、4010で、時間ベースナビゲーションバーのために、その中でバンドおよびオブジェクトを表示するための時間パラメータ(例えば、年間、年、月、週、日、時など)を選択することを含む。バーのロケーションは変わる場合があるが、1つのスキームでは、バーはバンドのスタックの上に位置し、「時間の開始」(例えば、人の誕生、または他の重要な開始点)で開始し、次いで、ほぼ無限に将来に継続することができる。したがって、オブジェクトを、現在からさかのぼる、ならびに、将来の時間範囲で発見することができる。また、あるレベルの有意味なコンテキストは、オブジェクトの時期または発生の時間にかかわらず、バンド内のオブジェクトの保持の間中に維持される。他のオブジェクトまたはデータ管理システムまたは技術は、この豊富なナビゲート可能環境をサポートすることができず、またはサポートしない。
時間パラメータが選択された後、ユーザは、1つまたは複数のバンドを展開または圧縮し、ナビゲーションバーを左側または右側へ移動させて、異なる時間範囲およびそれらの時間範囲内に入る異なるオブジェクトを表示することによって、バンド内のオブジェクトを表示およびブラウズすることができる(4020)。最後に、時間範囲の間で(例えば、年から月へ、または年から週へ)ズームするために、ユーザは以下のうち少なくとも1つを実行することができ、すなわち、ホィール使用可能マウスを使用することであって、マウスホィールを上に移動させて特定の時間範囲にズームインし、もしくは下に移動させて、ズームアウトして画面上でより大きい時間範囲を見ることができること、または、ユーザが、画面上に位置する様々なズームナビゲーションボタンを使用して特定のビューを選択すること(例えば、時、日、週、月、年、または年間ビュー)である(4030)。
本発明の様々な態様についての追加の状況を提供するために、図41および以下の考察は、本発明の様々な態様を実施することができる適切なオペレーティング環境4110の簡単な全体的説明を提供するように意図される。本発明を一般に、プログラムモジュールなど、1つまたは複数のコンピュータまたは他のデバイスによって実行されるコンピュータ実行可能命令との関連で説明するが、本発明をまた、他のプログラムモジュールと組み合わせて、および/または、ハードウェアおよびソフトウェアの組合せとして実施することもできることは、当業者には理解されよう。
しかし、一般に、プログラムモジュールには、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれ、これらは特定のタスクを実行するか、または特定のデータ型を実装する。オペレーティング環境4110は適切なオペレーティング環境の一実施例でしかなく、本発明の使用または機能性の範囲についてのいかなる限定をも示唆するように意図されない。本発明と共に使用するために適切である可能性のある他の周知のコンピュータシステム、環境、および/または構成には、それに限定されないが、パーソナルコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、プログラマブルコンシューマエレクトロニクス、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスを含む分散コンピューティング環境などが含まれる。
図41を参照すると、本発明の様々な態様を実施するための例示的環境4110は、コンピュータ4112を含む。コンピュータ4112は、処理装置4114、システムメモリ4116、およびシステムバス4118を含む。システムバス4118は、それに限定されないが、システムメモリ4116を含むシステムコンポーネントを処理装置4114に結合する。処理装置4114は様々な使用可能なプロセッサのいずれにすることもできる。デュアルマイクロプロセッサおよび他のマルチプロセッサアーキテクチャもまた、処理装置4114として使用することができる。
システムバス4118を、いくつかのタイプのバス構造のいずれにすることもでき、これらのバス構造には、いずれかの様々な使用可能なバスアーキテクチャを使用するメモリバスまたはメモリコントローラ、周辺バスまたは外部バス、および/または、ローカルバスが含まれ、これらのバスアーキテクチャには、それに限定されないが、11ビットバス、業界標準アーキテクチャ(ISA)、マイクロチャネルアーキテクチャ(MCA)、拡張ISA(EISA)、Intelligent Drive Electronics(IDE)、VESAローカルバス(VLB)、Peripheral Component Interconnect(PCI)、ユニバーサルシリアルバス(USB)、Advanced Graphics Port(AGP)、Personal Computer Memory Card International Associationバス(PCMCIA)、および、Small Computer Systems Interface(SCSI)が含まれる。
システムメモリ4116は、揮発性メモリ4120および不揮発性メモリ4122を含む。基本入出力システム(BIOS)は、起動中など、コンピュータ4112内の複数の要素の間で情報を転送するための基本ルーチンを含み、不揮発性メモリ4122に格納される。例示として、限定ではなく、不揮発性メモリ4122には、読み取り専用メモリ(ROM)、プログラマブルROM(PROM)、電気的プログラマブルROM(EPROM)、電気的消去可能ROM(EEPROM)、またはフラッシュメモリが含まれる可能性がある。揮発性メモリ4120には、外部キャッシュメモリの機能を果たすランダムアクセスメモリ(RAM)が含まれる。例示として、限定ではなく、RAMは、シンクロナスRAM(SRAM)、ダイナミックRAM(DRAM)、シンクロナスDRAM(SDRAM)、ダブルデータレートSDRAM(DDR SDRAM)、拡張SDRAM(ESDRAM)、シンクリンクDRAM(SLDRAM)、および、direct Rambus RAM(DRRAM)など、多数の形態で使用可能である。
コンピュータ4112はまた、リムーバブル/非リムーバブル、揮発性/不揮発性のコンピュータストレージメディアをも含む。図41は、例えば、ディスクストレージ4124を例示する。ディスクストレージ4124には、それに限定されないが、磁気ディスクドライブ、フロッピー(登録商標)ディスクドライブ、テープドライブ、Jazドライブ、Zipドライブ、LS−100ドライブ、フラッシュメモリカード、またはメモリスティックが含まれる。加えて、ディスクストレージ4124はストレージメディアを他のストレージメディアとは別々に、または、他のストレージメディアと組み合わせて含むことができ、他のストレージメディアには、それに限定されないが、コンパクトディスクROMデバイス(CD−ROM)、書き込み可能CDドライブ(CD−Rドライブ)、再書きこみ可能CDドライブ(CD−RWドライブ)、またはデジタル多用途ディスクROMドライブ(DVD−ROM)など、光ディスクドライブが含まれる。ディスクストレージデバイス4124をシステムバス4118に接続することを実施するために、インターフェース4126など、リムーバブルまたは非リムーバブルインターフェースが通常は使用される。
図41は、ユーザと、適切なオペレーティング環境4110で説明された基本コンピュータリソースの間の、仲介の機能を果たすソフトウェアを説明することを理解されたい。このようなソフトウェアにはオペレーティングシステム4128が含まれる。オペレーティングシステム4128はディスクストレージ4124上に格納することができ、コンピュータシステム4112のリソースをコントロールおよび割り振るように動作する。システムアプリケーション4130は、オペレーティングシステム4128による、システムメモリ4116内またはディスクストレージ4124上のいずれかに格納されたプログラムモジュール4132およびプログラムデータ4134を通じたリソースの管理を利用する。本発明を様々なオペレーティングシステムまたはオペレーティングシステムの組合せと共に実施することができることを理解されたい。
ユーザはコマンドまたは情報をコンピュータ4112へ、入力デバイス4136を通じて入力する。入力デバイス4136には、それに限定されないが、マウスなどのポインティングデバイス、トラックボール、スタイラス、タッチパッド、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、TVチューナ、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどが含まれる。これらおよび他の入力デバイスは処理装置4114へ、システムバス4118を通じて、インターフェースポート4138を介して接続する。インターフェースポート4138には、例えば、シリアルポート、パラレルポート、ゲームポート、ユニバーサルシリアルバス(USB)が含まれる。出力デバイス4140は、入力デバイス4136と同じタイプのポートのいくつかを使用する。したがって、例えば、USBポートを使用して入力をコンピュータ4112に提供し、情報をコンピュータ4112から出力デバイス4140に出力することができる。出力アダプタ4142は、他の出力デバイス4140の中でも、特殊なアダプタを必要とするモニタ、スピーカおよびプリンタのようないくつかの出力デバイス4140があることを例示するために提供される。出力アダプタ4142には、例示として、限定ではなく、出力デバイス4140とシステムバス4118の間の接続の手段を提供するビデオおよびサウンドカードが含まれる。リモートコンピュータ4144など、他のデバイスおよび/またはデバイスのシステムは、入力および出力機能を提供することに留意されたい。
コンピュータ4112はネットワーク環境において、リモートコンピュータ4144など、1つまたは複数のリモートコンピュータへの論理接続を使用して動作することができる。リモートコンピュータ4144は、パーソナルコンピュータ、サーバ、ルータ、ネットワークPC、ワークステーション、マイクロプロセッサベースの機器、ピアデバイスまたは他の共通ネットワークノードなどにすることができ、通常は、コンピュータ4112に関連して上述した要素の多数またはすべてを含む。簡潔にするため、メモリストレージデバイス4146のみがリモートコンピュータ4144と共に例示される。リモートコンピュータ4144はコンピュータ4112に、ネットワークインターフェース4148を通じて論理的に接続され、次いで通信接続4150を介して物理的に接続される。ネットワークインターフェース4148は、ローカルエリアネットワーク(LAN)およびワイドエリアネットワーク(WAN)など、通信ネットワークを包含する。LAN技術には、ファイバー分散データインターフェース(FDDI)、Copper Distributed Data Interface(CDDI)、イーサネット(登録商標)/IEEE1102.3、トークンリング/IEEE1102.5などが含まれる。WAN技術には、それに限定されないが、point−to−pointリンク、総合デジタルサービス通信網(ISDN)およびその変形形態のような回線交換網、パケット交換網、およびデジタル加入者線(DSL)が含まれる。
通信接続4150は、ネットワークインターフェース4148をバス4118に接続するために使用されたハードウェア/ソフトウェアを指す。通信接続4150を例示的に明確にするためにコンピュータ4112の内部に図示するが、コンピュータ4112の外部にすることもできる。ネットワークインターフェース4148への接続のために必要なハードウェア/ソフトウェアには、例示のためにのみ、通常の電話グレードモデム、ケーブルモデムおよびDSLモデムを含むモデム、ISDNアダプタ、およびイーサネット(登録商標)カードなど、内部および外部技術が含まれる。
上述された物には本発明の実施例が含まれる。言うまでもなく、本発明を説明するためのコンポーネントまたは方法のあらゆる考えられる組合せを説明することは可能ではないが、本発明の多数のさらなる組合せおよび置換が可能であることは、当業者には理解されよう。したがって、本発明は、付属の特許請求の範囲の精神および範囲内に入るこのようなすべての変更、修正および変形形態を包含するように意図される。さらに、「含む」という語が詳細な説明または特許請求の範囲において使用される範囲で、このような語は、「備える」という用語が、特許請求の範囲内の前後を接続させる語として使用される場合に解釈される場合の「備える」に類似した形で、包含的であるように意図される。
4114 処理装置
4116 システムメモリ
4118 バス
4120 揮発性
4122 不揮発性
4124 ディスクストレージ
4126 インターフェース
4128 オペレーティングシステム
4130 アプリケーション
4132 モジュール
4134 データ
4136 入力デバイス
4138 インターフェースポート
4140 出力デバイス
4142 出力アダプタ
4144 リモートコンピュータ
4146 メモリストレージ
4148 ネットワークインターフェース
4150 通信接続

Claims (15)

  1. 複数のオブジェクトを記憶する1つまたは複数のメモリストアであって、各前記オブジェクトは時間パラメータと少なくとも1つの他のメタデータ値とを含み、前記各オブジェクトはさらにサムネイル内に表示して前記オブジェクトを表すコンテンツを含む、1つまたは複数のメモリストアと、
    前記各オブジェクトに関連する前記少なくとも1つの他のメタデータ値に基づいて、前記複数のオブジェクトを、1つまたは複数の時間ベースバンドに編成するオブジェクト管理コンポーネントであって、前記各オブジェクトは、さらに、該各オジェクトの時間パラメータに基づいて対応する時間ベースバンド内で編成される、オブジェクト管理コンポーネントと、
    ディスプレイデバイス上のユーザインターフェース内に前記1つまたは複数の時間ベースバンドを、表示するディスプレイコンポーネントであって、前記1つまたは複数の時間ベースバンドの各々はズーム可能であり、1つの時間ベースバンドがズームインされるとき前記各オブジェクトのサムネイルは前記オブジェクトのコンテンツを多く表示し、前記1つの時間ベースバンドがズームアウトされると前記時間ベースバンド内の各オブジェクトについて前記サムネイルは前記オブジェクトのコンテンツを少なく表示するディスプレイコンポーネントと、
    ユーザ入力を受け取り、前記時間ベースバンドをズームするズームコンポーネントであって、該ズームコンポーネントはナビゲーションボタン手段による前記ユーザ入力を受け取り、該ナビゲーションボタン手段は前記1つまたは複数の時間ベースバンドに関連付けて表示されるか、または、ホイール使用可能なマウス上のマウスホイール手段により表示される、ズームコンポーネントと
    を備えたことを特徴とするデータ管理システム。
  2. 前記オブジェクト管理コンポーネントは、
    少なくとも1つのバンド情報またはユーザ情報に関連するメタデータを持つ複数のオブジェクトのアノテーションを付けるアノテーションコンポーネントと、
    2つの前記オブジェクトに関連する時間パラメータに少なくとも基づいて少なくとも前記2つのオブジェクトをクラスタリングしてオブジェクトのクラスタを形成するクラスタリングコンポーネントと、
    前記クラスタを表す名前で前記オブジェクトのクラスタにラベルを与えるクラスタタグ付けコンポーネントと
    を含むことを特徴とする請求項1に記載のシステム。
  3. 少なくとも1つの発見語に基づいて前記1つまたは複数のメモリストアの中で複数のオブジェクトを発見する発見コンポーネントであって、前記発見語は前記時間パラメータ以外の少なくとも1つのメタデータ値に関連し、前記発見コンポーネントは、さらに、見つかった各オブジェクトに関連する時間パラメータに従って新しいバンドの中に当該見つかった1つまたは複数のオブジェクトを提供し、前記バンドは他のいずれかのバンドと同様に振舞う、発見コンポーネントをさらに含むことを特徴とする請求項1に記載のシステム。
  4. 前記オブジェクト管理コンポーネントは、
    重複するオブジェクトを識別すること、
    類似の編集ルートからのオブジェクトを識別すること、および
    複数のメモリストアの間の類似性およい共通性を識別し、存在するメモリストアを結合すること
    の少なくとも1つを自動的に実行する人工知能コンポーネントを含むことを特徴とする請求項1に記載のシステム。
  5. 前記時間ベースバンドを前記複数のオブジェクトのツリービュー構造に容易に変換して前記バンドおよびそれらのコンテンツの代替ビューを提供するコンポーネントをさらに含むことを特徴とする請求項1に記載のシステム。
  6. 時間ベースの方法でデータ管理を実行する方法であって、
    複数のオブジェクトを少なくとも1つのメモリストアにプロセッサにより記憶するステップであって、各前記オブジェクトは時間パラメータと少なくとも1つの他のメタデータ値とを含み、前記各オブジェクトはさらにサムネイル内に表示して前記オブジェクトを表すコンテンツを含む、記憶するステップと、
    前記各オブジェクトに関連する前記少なくとも1つの他のメタデータ値に基づいて、前記複数のオブジェクトを、1つまたは複数の時間ベースバンドに前記プロセッサにより編成するステップであって、前記各オブジェクトは、さらに、該各オジェクトの時間パラメータに基づいて対応する時間ベースバンド内で編成される、編成するステップと、
    ディスプレイデバイス上のユーザインターフェース内に前記1つまたは複数の時間ベースバンドを、表示するステップであって、前記1つまたは複数の時間ベースバンドの各々はズーム可能であり、1つの時間ベースバンドがズームインされるとき前記各オブジェクトのサムネイルは前記オブジェクトのコンテンツを多く表示し、前記1つの時間ベースバンドがズームアウトされると前記時間ベースバンド内の各オブジェクトについて前記サムネイルは前記オブジェクトのコンテンツを少なく表示する、表示するステップと、
    前記プロセッサの制御によりユーザ入力を受け取り、前記時間ベースバンドをズームするステップであって、該ズームコンポーネントはナビゲーションボタン手段による前記ユーザ入力を受け取り、該ナビゲーションボタン手段は前記1つまたは複数の時間ベースバンドに関連付けて表示されるか、または、ホイール使用可能なマウス上のマウスホイール手段により表示される、ズームするステップと
    を備えたことを特徴とする方法。
  7. 各前記サムネイルはASCII、イメージ、オーディオまたはビデオの内の1つであり、各前記オブジェクトは前記オブジェクトのサムネイルの選択により前記バンドから著癖的にアクセス可能であることを特徴とする請求項6に記載の方法。
  8. 前記複数のオブジェクトを1つまたは複数の時間ベースバンドに編成するステップは、前記オブジェクトにメタデータでアノネーションを付けるステップを含むことを特徴とする請求項6に記載の方法。
  9. 2つの前記オブジェクトに関連する時間パラメータに少なくとも基づいて少なくとも前記2つのオブジェクトを1つのクラスタにクラスタリングして前記クラスタに関連するコンテンツを容易に識別することを特徴とする請求項8に記載の方法。
  10. 1つまたは複数の発見語を選択することにより前記プロセッサにより関連のオブジェクトを見つけるステップをさらに含むことを特徴とする請求項6に記載の方法。
  11. 前記ディスプレイデバイスにより見つかったいずれかのオブジェクトについての新しいバンドをユーザに前記ディスプレイデバイスにより表示するステップをさらに有することを特徴とする請求項10に記載の方法。
  12. 前記時間ベースバンドのツリービュー構造を前記ディスプレイデバイスにより表示して前記バンドについての代替ビューを提供するステップであって、前記ツリービュー構造は前記時間ベースバンドと同時に表示されることを特徴とする請求項6に記載の方法。
  13. 時間パラーメータ毎の、各前記バンド内に含まれるコンテンツの相対サイズおよび時間パラメータ毎の、前記各バンド内のコンテンツにより消費されるメモリ容量の少なくともいずれか1つを前記プロセッサにより分析するステップと、
    前記各バンドにおける相対容量を前記ディスプレイデバイスにより表示するステップと
    をさらに含むことを特徴とする方法。
  14. プロセッサにより実行されたときに、該プロセッサに、
    複数のオブジェクトを少なくとも1つのメモリストアに記憶するステップであって、各前記オブジェクトは時間パラメータと少なくとも1つの他のメタデータ値とを含み、前記各オブジェクトはさらにサムネイル内に表示して前記オブジェクトを表すコンテンツを含む、記憶するステップと、
    前記各オブジェクトに関連する前記少なくとも1つの他のメタデータ値に基づいて、前記複数のオブジェクトを、1つまたは複数の時間ベースバンドに編成するステップであって、前記各オブジェクトは、さらに、該各オジェクトの時間パラメータに基づいて対応する時間ベースバンド内で編成される、編成するステップと、
    ディスプレイデバイス上のユーザインターフェース内に前記1つまたは複数の時間ベースバンドを、表示するステップであって、前記1つまたは複数の時間ベースバンドの各々はズーム可能であり、1つの時間ベースバンドがズームインされるとき前記各オブジェクトのサムネイルは前記オブジェクトのコンテンツを多く表示し、前記1つの時間ベースバンドがズームアウトされると前記時間ベースバンド内の各オブジェクトについて前記サムネイルは前記オブジェクトのコンテンツを少なく表示する、表示するステップと、
    ユーザ入力を受け取り、前記時間ベースバンドをズームするステップであって、該ズームコンポーネントはナビゲーションボタン手段による前記ユーザ入力を受け取り、該ナビゲーションボタン手段は前記1つまたは複数の時間ベースバンドに関連付けて表示されるか、または、ホイール使用可能なマウス上のマウスホイール手段により表示される、ズームするステップと
    実行させるコンピュータ実行可能命令を記憶したことを特徴とする1つまたは複数のコンピュータ記憶媒体。
  15. 前記コンピュータ実行可能命令は、前記プロセッサに、さらに、
    前記バンドの中のオブジェクトのサムネイルが表示されないように、少なくとも1つの表示の時間ベースバンドを隠させるユーザ入力を受け取るステップと、
    前記少なくとも1つのタイムベースバンドの各々において正弦曲線を表示するステップであって、当該各正弦曲線は種々の振幅または色の不透明さを持ち、該不透明さは、特定の時間のあるいは前記タイムベースバンドの期間のオジェクトの相対的な個数またはオブジェクトの相対サイズを示す、表示するステップと
    を実行させることを特徴とする1つまたは複数のコンピュータ記憶媒体。
JP2011185168A 2005-01-12 2011-08-26 データ管理システム Expired - Fee Related JP5442684B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/034,402 2005-01-12
US11/034,402 US7716194B2 (en) 2005-01-12 2005-01-12 File management system employing time line based representation of data

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005358007A Division JP4828220B2 (ja) 2005-01-12 2005-12-12 データのタイムラインベース表現を使用するファイル管理システム

Publications (2)

Publication Number Publication Date
JP2012003778A true JP2012003778A (ja) 2012-01-05
JP5442684B2 JP5442684B2 (ja) 2014-03-12

Family

ID=36250742

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2005358007A Active JP4828220B2 (ja) 2005-01-12 2005-12-12 データのタイムラインベース表現を使用するファイル管理システム
JP2011185168A Expired - Fee Related JP5442684B2 (ja) 2005-01-12 2011-08-26 データ管理システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2005358007A Active JP4828220B2 (ja) 2005-01-12 2005-12-12 データのタイムラインベース表現を使用するファイル管理システム

Country Status (10)

Country Link
US (1) US7716194B2 (ja)
EP (1) EP1681640A3 (ja)
JP (2) JP4828220B2 (ja)
KR (1) KR101224709B1 (ja)
CN (1) CN1804838B (ja)
AU (1) AU2005229677B2 (ja)
BR (1) BRPI0506009A (ja)
CA (1) CA2529346C (ja)
MX (1) MXPA05013562A (ja)
RU (1) RU2406132C2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014219807A (ja) * 2013-05-07 2014-11-20 株式会社リコー 情報処理プログラムおよび情報処理装置、ならびに、表示制御プログラム

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080148193A1 (en) * 2001-09-13 2008-06-19 John Moetteli System and method of efficient web browsing
US7788592B2 (en) * 2005-01-12 2010-08-31 Microsoft Corporation Architecture and engine for time line based visualization of data
US7716194B2 (en) 2005-01-12 2010-05-11 Microsoft Corporation File management system employing time line based representation of data
US7479970B2 (en) * 2005-01-12 2009-01-20 Microsoft Corporation Systems and methods that facilitate process monitoring, navigation, and parameter-based magnification
US20060156237A1 (en) * 2005-01-12 2006-07-13 Microsoft Corporation Time line based user interface for visualization of data
US8793579B2 (en) * 2006-04-20 2014-07-29 Google Inc. Graphical user interfaces for supporting collaborative generation of life stories
US8689098B2 (en) 2006-04-20 2014-04-01 Google Inc. System and method for organizing recorded events using character tags
US8856105B2 (en) * 2006-04-28 2014-10-07 Hewlett-Packard Development Company, L.P. Dynamic data navigation
US7831928B1 (en) 2006-06-22 2010-11-09 Digg, Inc. Content visualization
US8869037B2 (en) * 2006-06-22 2014-10-21 Linkedin Corporation Event visualization
KR100792261B1 (ko) * 2006-07-19 2008-01-07 삼성전자주식회사 토픽 기반의 비디오 관리 시스템 및 방법과 비디오 검색방법
US8527469B2 (en) * 2006-10-13 2013-09-03 Sony Corporation System and method for automatic detection of duplicate digital photos
JP2008146624A (ja) * 2006-11-15 2008-06-26 Sony Corp コンテンツのフィルタリング方法、フィルタリング装置およびフィルタリングプログラム
JP2008134866A (ja) * 2006-11-29 2008-06-12 Sony Corp コンテンツ閲覧方法、コンテンツ閲覧装置およびコンテンツ閲覧プログラム
US8015500B2 (en) * 2006-12-15 2011-09-06 Casio Computer Co., Ltd. Data retrieval device with function for modifying retrieval condition classes
US8205230B2 (en) 2006-12-29 2012-06-19 Google Inc. System and method for displaying and searching multimedia events scheduling information
US20080163048A1 (en) * 2006-12-29 2008-07-03 Gossweiler Iii Richard Carl System and method for displaying multimedia events scheduling information and Corresponding search results
US8544040B2 (en) 2006-12-29 2013-09-24 Google Inc. System and method for displaying multimedia events scheduling information
US20080263449A1 (en) * 2007-04-20 2008-10-23 Microsoft Corporation Automated maintenance of pooled media content
US8972875B2 (en) * 2007-04-24 2015-03-03 Google Inc. Relevance bar for content listings
US8799952B2 (en) * 2007-04-24 2014-08-05 Google Inc. Virtual channels
KR20080097059A (ko) * 2007-04-30 2008-11-04 삼성전자주식회사 통신 단말기의 사용자 컨텐츠 관리 방법
US8826123B2 (en) * 2007-05-25 2014-09-02 9224-5489 Quebec Inc. Timescale for presenting information
US8010900B2 (en) * 2007-06-08 2011-08-30 Apple Inc. User interface for electronic backup
US9084025B1 (en) 2007-08-06 2015-07-14 Google Inc. System and method for displaying both multimedia events search results and internet search results
JP5007625B2 (ja) * 2007-08-15 2012-08-22 ソニー株式会社 表示インターフェース、表示制御装置、表示方法、及びプログラム
JP5355872B2 (ja) 2007-08-15 2013-11-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US8601392B2 (en) 2007-08-22 2013-12-03 9224-5489 Quebec Inc. Timeline for presenting information
US8069404B2 (en) 2007-08-22 2011-11-29 Maya-Systems Inc. Method of managing expected documents and system providing same
CA2616234A1 (en) * 2007-12-21 2009-06-21 Ibm Canada Limited - Ibm Canada Limitee System and method for interaction between users of an online community
US20090216806A1 (en) * 2008-02-24 2009-08-27 Allofme Ltd. Digital assets internet timeline aggregation and sharing platform
US8739050B2 (en) 2008-03-07 2014-05-27 9224-5489 Quebec Inc. Documents discrimination system and method thereof
US20100035631A1 (en) * 2008-08-07 2010-02-11 Magellan Navigation, Inc. Systems and Methods to Record and Present a Trip
CA2677921C (en) 2008-09-12 2017-06-13 Mathieu Ma Audet Method of managing groups of arrays of documents
KR101499978B1 (ko) * 2008-11-14 2015-03-06 주식회사 케이티 썸네일 이미지 및 관련 정보를 표시하는 방법 및 장치
JP5416983B2 (ja) * 2009-02-04 2014-02-12 1stホールディングス株式会社 フォルダ管理装置、フォルダ管理方法およびフォルダ管理用プログラム
US9230259B1 (en) 2009-03-20 2016-01-05 Jpmorgan Chase Bank, N.A. Systems and methods for mobile ordering and payment
EP2426917A4 (en) * 2009-04-30 2016-09-28 Sony Corp DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROCEDURE AND PROGRAM
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
AU2011214895B2 (en) * 2010-02-10 2014-12-04 Thereitis.Com Pty Ltd Method and system for display of objects in 3D
US20110307815A1 (en) * 2010-06-11 2011-12-15 Mygobs Oy User Interface and Method for Collecting Preference Data Graphically
JPWO2012020456A1 (ja) * 2010-08-11 2013-10-28 株式会社日立製作所 時系列データ処理装置及びその方法
US8634662B2 (en) * 2010-08-25 2014-01-21 Apple Inc. Detecting recurring events in consumer image collections
US20120095670A1 (en) * 2010-10-13 2012-04-19 Denso International America, Inc. Intelligent engine idle stop logic
US9122374B2 (en) 2011-02-01 2015-09-01 9224-5489 Quebec Inc. Expandable and collapsible arrays of documents
US9286299B2 (en) 2011-03-17 2016-03-15 Red Hat, Inc. Backup of data items
US9588644B2 (en) 2011-03-17 2017-03-07 Red Hat, Inc. Time-based organization of desktop items
US9824159B2 (en) 2011-03-17 2017-11-21 Red Hat, Inc. Assigning labels to desktop items
JP5730090B2 (ja) * 2011-03-23 2015-06-03 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
US9721324B2 (en) * 2011-09-10 2017-08-01 Microsoft Technology Licensing, Llc Thumbnail zoom
US10289657B2 (en) 2011-09-25 2019-05-14 9224-5489 Quebec Inc. Method of retrieving information elements on an undisplayed portion of an axis of information elements
DE102011114972B4 (de) * 2011-10-06 2019-01-31 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs
KR20130061914A (ko) * 2011-12-02 2013-06-12 삼성전자주식회사 단말 및 그 단말에서 데이터 표시 방법
KR101964348B1 (ko) * 2012-05-18 2019-04-01 삼성전자주식회사 미디어 기기에서의 콘텐츠 정렬 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
KR102009629B1 (ko) * 2012-05-24 2019-08-09 난트 홀딩스 아이피, 엘엘씨 이벤트 아카이빙 시스템 및 방법
US9275135B2 (en) * 2012-05-29 2016-03-01 International Business Machines Corporation Annotating entities using cross-document signals
US9519693B2 (en) 2012-06-11 2016-12-13 9224-5489 Quebec Inc. Method and apparatus for displaying data element axes
US9646080B2 (en) 2012-06-12 2017-05-09 9224-5489 Quebec Inc. Multi-functions axis-based interface
CN103677507B (zh) * 2012-09-24 2020-01-14 腾讯科技(深圳)有限公司 一种显示终端及界面窗口显示方法
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
KR102092316B1 (ko) 2013-10-14 2020-03-23 한화테크윈 주식회사 모니터링 방법
JP6188530B2 (ja) * 2013-10-17 2017-08-30 キヤノン株式会社 文書管理システム、文書管理方法およびプログラム
WO2015060470A1 (ko) * 2013-10-23 2015-04-30 엘지전자 주식회사 단말기 및 그 제어방법
JP6332955B2 (ja) * 2013-12-06 2018-05-30 株式会社toor マップ表示方法及びマップ表示装置
KR102152726B1 (ko) 2014-03-17 2020-09-07 한화테크윈 주식회사 영상검색기능이 개선된 타임라인을 지원하는 영상장치
CN104035982B (zh) * 2014-05-28 2017-10-20 小米科技有限责任公司 多媒体资源推荐方法及装置
US20160147420A1 (en) * 2014-11-20 2016-05-26 Microsoft Technology Licensing, Llc Aged data control with improved interface
CN104572912B (zh) * 2014-12-26 2017-03-29 北京京东尚科信息技术有限公司 一种网页页面加载方法及系统
CN104537123A (zh) * 2015-01-27 2015-04-22 三星电子(中国)研发中心 一种快速浏览文档的方法及装置
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
JP6555024B2 (ja) * 2015-09-03 2019-08-07 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP6147825B2 (ja) * 2015-09-29 2017-06-14 株式会社東芝 電子機器および方法
US11297062B2 (en) 2016-02-17 2022-04-05 Carrier Corporation Authorized time lapse view of system and credential data
US10324973B2 (en) 2016-06-12 2019-06-18 Apple Inc. Knowledge graph metadata network based on notable moments
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
EP3654290A1 (en) 2016-09-23 2020-05-20 Apple Inc. Avatar creation and editing
US10671266B2 (en) 2017-06-05 2020-06-02 9224-5489 Quebec Inc. Method and apparatus of aligning information element axes
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
JP2021174314A (ja) * 2020-04-27 2021-11-01 横河電機株式会社 ソフトウェア開発環境提供システム、ソフトウェア開発環境提供方法、及びソフトウェア開発環境提供プログラム
US11508392B1 (en) 2020-06-05 2022-11-22 Meta Platforms Technologies, Llc Automated conversation content items from natural language
US11934445B2 (en) 2020-12-28 2024-03-19 Meta Platforms Technologies, Llc Automatic memory content item provisioning
US11397759B1 (en) * 2021-04-19 2022-07-26 Facebook Technologies, Llc Automated memory creation and retrieval from moment content items

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11328209A (ja) * 1998-05-18 1999-11-30 Canon Inc 画像検索装置及び方法
JP2001092850A (ja) * 2000-08-08 2001-04-06 Hitachi Ltd 情報検索用端末装置及び情報検索用端末装置にける情報表示・入出力方法
JP2003141130A (ja) * 2001-11-07 2003-05-16 Olympus Optical Co Ltd 画像検索装置
JP2004046796A (ja) * 2002-07-15 2004-02-12 Seiko Epson Corp ディレクトリ管理プログラム、オブジェクト表示プログラム、ディレクトリ管理方法及びディレクトリ管理装置
JP2004199696A (ja) * 2002-12-17 2004-07-15 Ricoh Co Ltd 複数のマルチメディア文書に格納された情報の表示法
JP2004252962A (ja) * 2003-02-04 2004-09-09 Microsoft Corp コンピューティングおよび通信アプリケーションにおいてメモラビリティのモデルを構築し使用するシステムおよび方法
WO2004095237A2 (en) * 2003-04-22 2004-11-04 Microsoft Corporation Relationship view
JP2004328265A (ja) * 2003-04-23 2004-11-18 Sony Corp 表示方法及び表示装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4091841C2 (de) * 1989-10-20 1999-04-08 Hitachi Ltd Verfahren zum Erzeugen einer Formulardarstellung und Bildschirm-Formularerzeugungssystem
US6983227B1 (en) 1995-01-17 2006-01-03 Intertech Ventures, Ltd. Virtual models of complex systems
US6360234B2 (en) 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
US6301579B1 (en) 1998-10-20 2001-10-09 Silicon Graphics, Inc. Method, system, and computer program product for visualizing a data structure
US6396963B2 (en) * 1998-12-29 2002-05-28 Eastman Kodak Company Photocollage generation and modification
US6268853B1 (en) 1999-09-30 2001-07-31 Rockwell Technologies, L.L.C. Data structure for use in enterprise controls
US7415662B2 (en) 2000-01-31 2008-08-19 Adobe Systems Incorporated Digital media management apparatus and methods
US7054508B2 (en) 2000-08-03 2006-05-30 Canon Kabushiki Kaisha Data editing apparatus and method
US7020848B2 (en) 2000-12-20 2006-03-28 Eastman Kodak Company Comprehensive, multi-dimensional graphical user interface using picture metadata for navigating and retrieving pictures in a picture database
US6950989B2 (en) * 2000-12-20 2005-09-27 Eastman Kodak Company Timeline-based graphical user interface for efficient image database browsing and retrieval
US7197531B2 (en) * 2000-12-29 2007-03-27 Fotomedia Technologies, Llc Meta-application architecture for integrating photo-service websites for browser-enabled devices
US6964025B2 (en) * 2001-03-20 2005-11-08 Microsoft Corporation Auto thumbnail gallery
US6996782B2 (en) 2001-05-23 2006-02-07 Eastman Kodak Company Using digital objects organized according to a histogram timeline
EP1405166A2 (en) * 2001-06-29 2004-04-07 Koninklijke Philips Electronics N.V. Pictorial timeline
US7984423B2 (en) 2001-08-14 2011-07-19 National Instruments Corporation Configuration diagram which displays a configuration of a system
US20040205479A1 (en) * 2001-10-30 2004-10-14 Seaman Mark D. System and method for creating a multimedia presentation
US20030117428A1 (en) 2001-12-20 2003-06-26 Koninklijke Philips Electronics N.V. Visual summary of audio-visual program features
US6988245B2 (en) * 2002-06-18 2006-01-17 Koninklijke Philips Electronics N.V. System and method for providing videomarks for a video program
US6963227B2 (en) * 2002-11-15 2005-11-08 Toshiba America Electronic Components, Inc. Apparatus and method for precharging and discharging a domino circuit
US7509321B2 (en) * 2003-01-21 2009-03-24 Microsoft Corporation Selection bins for browsing, annotating, sorting, clustering, and filtering media objects
JP2005038414A (ja) * 2003-06-30 2005-02-10 Fuji Photo Film Co Ltd ファイル管理プログラム、ファイル管理方法、ファイル管理装置、撮像装置及び記録媒体
JP2005031830A (ja) * 2003-07-09 2005-02-03 Fuji Photo Film Co Ltd 画像表示方法及び画像表示用プログラム
US7743322B2 (en) * 2003-09-30 2010-06-22 Hewlett-Packard Development Company, L.P. Automatic photo album page layout
US7313574B2 (en) * 2003-10-02 2007-12-25 Nokia Corporation Method for clustering and querying media items
US6990637B2 (en) 2003-10-23 2006-01-24 Microsoft Corporation Graphical user interface for 3-dimensional view of a data collection based on an attribute of the data
US20050108643A1 (en) * 2003-11-17 2005-05-19 Nokia Corporation Topographic presentation of media files in a media diary application
US20050105374A1 (en) 2003-11-17 2005-05-19 Nokia Corporation Media diary application for use with digital device
US7109848B2 (en) 2003-11-17 2006-09-19 Nokia Corporation Applications and methods for providing a reminder or an alert to a digital media capture device
US20050187943A1 (en) * 2004-02-09 2005-08-25 Nokia Corporation Representation of media items in a media file management application for use with a digital device
US7716194B2 (en) 2005-01-12 2010-05-11 Microsoft Corporation File management system employing time line based representation of data
US20060156237A1 (en) 2005-01-12 2006-07-13 Microsoft Corporation Time line based user interface for visualization of data
US7788592B2 (en) 2005-01-12 2010-08-31 Microsoft Corporation Architecture and engine for time line based visualization of data
US7421449B2 (en) 2005-01-12 2008-09-02 Microsoft Corporation Systems and methods for managing a life journal

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11328209A (ja) * 1998-05-18 1999-11-30 Canon Inc 画像検索装置及び方法
JP2001092850A (ja) * 2000-08-08 2001-04-06 Hitachi Ltd 情報検索用端末装置及び情報検索用端末装置にける情報表示・入出力方法
JP2003141130A (ja) * 2001-11-07 2003-05-16 Olympus Optical Co Ltd 画像検索装置
JP2004046796A (ja) * 2002-07-15 2004-02-12 Seiko Epson Corp ディレクトリ管理プログラム、オブジェクト表示プログラム、ディレクトリ管理方法及びディレクトリ管理装置
JP2004199696A (ja) * 2002-12-17 2004-07-15 Ricoh Co Ltd 複数のマルチメディア文書に格納された情報の表示法
JP2004252962A (ja) * 2003-02-04 2004-09-09 Microsoft Corp コンピューティングおよび通信アプリケーションにおいてメモラビリティのモデルを構築し使用するシステムおよび方法
WO2004095237A2 (en) * 2003-04-22 2004-11-04 Microsoft Corporation Relationship view
JP2007524898A (ja) * 2003-04-22 2007-08-30 マイクロソフト コーポレーション リレーションシップビュー
JP2004328265A (ja) * 2003-04-23 2004-11-18 Sony Corp 表示方法及び表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014219807A (ja) * 2013-05-07 2014-11-20 株式会社リコー 情報処理プログラムおよび情報処理装置、ならびに、表示制御プログラム
US9971493B2 (en) 2013-05-07 2018-05-15 Ricoh Company, Limited Information processing device and display control method

Also Published As

Publication number Publication date
EP1681640A3 (en) 2007-04-04
EP1681640A2 (en) 2006-07-19
KR101224709B1 (ko) 2013-01-21
CN1804838B (zh) 2010-09-08
JP4828220B2 (ja) 2011-11-30
CN1804838A (zh) 2006-07-19
US7716194B2 (en) 2010-05-11
CA2529346A1 (en) 2006-07-12
CA2529346C (en) 2014-10-14
KR20060082392A (ko) 2006-07-18
MXPA05013562A (es) 2006-07-11
AU2005229677B2 (en) 2010-09-16
JP2006323815A (ja) 2006-11-30
RU2406132C2 (ru) 2010-12-10
US20060155757A1 (en) 2006-07-13
RU2005138467A (ru) 2007-06-20
JP5442684B2 (ja) 2014-03-12
BRPI0506009A (pt) 2006-09-19
AU2005229677A1 (en) 2006-07-27

Similar Documents

Publication Publication Date Title
JP5442684B2 (ja) データ管理システム
JP4936719B2 (ja) データのタイムラインベースの視覚化のためのアーキテクチャおよびエンジン
US7421449B2 (en) Systems and methods for managing a life journal
US20060156237A1 (en) Time line based user interface for visualization of data
US10146843B2 (en) System, method and computer program for creating and manipulating data structures using an interactive graphical interface
US9690831B2 (en) Computer-implemented system and method for visual search construction, document triage, and coverage tracking
US7650575B2 (en) Rich drag drop user interface
KR101083533B1 (ko) 쉘 브라우저 내에서의 메타데이터의 사용자 변경을 위한시스템 및 방법
JP4701124B2 (ja) 情報処理装置、情報処理方法
US9171132B1 (en) Electronic note management system and user-interface
US20050080770A1 (en) System and process for presenting search results in a tree format
US20020032696A1 (en) Intuitive hierarchical time-series data display method and system
JP2005276178A (ja) デジタルファイルおよびデータのための高速可視的ソート
MXPA04006410A (es) Interprete de sistema de archivo.
US20080313158A1 (en) Database file management system, integration module and browsing interface of database file management system, database file management method
US20100057753A1 (en) Methods and apparatus for obtaining visual insight provenance of a user
Brazil et al. Audio information browsing with the sonic browser
Kang et al. Exploring personal media: A spatial interface supporting user-defined semantic regions
US20070055928A1 (en) User workflow lists to organize multimedia files
Pinzón et al. Designing interactions in event-based unified management of personal multimedia information

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130426

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130701

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131218

R150 Certificate of patent or registration of utility model

Ref document number: 5442684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees