JP2007507775A - メディア項目のクラスタリングとクエリとを行う方法 - Google Patents

メディア項目のクラスタリングとクエリとを行う方法 Download PDF

Info

Publication number
JP2007507775A
JP2007507775A JP2006530323A JP2006530323A JP2007507775A JP 2007507775 A JP2007507775 A JP 2007507775A JP 2006530323 A JP2006530323 A JP 2006530323A JP 2006530323 A JP2006530323 A JP 2006530323A JP 2007507775 A JP2007507775 A JP 2007507775A
Authority
JP
Japan
Prior art keywords
media items
cluster
media
item
description information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006530323A
Other languages
English (en)
Inventor
パーラスマー,ヨーナス
サルメンカイタ,ユッカ−ペッカ
ソルバリ,アンッティ
タルグレン,タピオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2007507775A publication Critical patent/JP2007507775A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99936Pattern matching access
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure
    • Y10S707/99945Object-oriented database structure processing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99948Application of database or data structure, e.g. distributed, multimedia, or image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、データ処理用端末装置におけるメディア項目の管理に関する。さらに詳細には、本発明は、移動端末装置において階層的多次元クラスタで編成されたメディア項目の配列、閲覧およびクエリを行うための方法と、装置と、コンピュータプログラム製品とを対象とするものである。多次元によるクラスタリングによってメディア項目を配列し、一方の次元に対して第1のエントリを定義することにより上記メディア項目のクエリを行い、次のエントリは上記第1のエントリを満たすメディア項目から得られる他方の次元に基づくものとなる。

Description

本発明はデータ処理用端末装置におけるメディア項目の管理に関する。さらに詳細には、本発明は、移動端末装置において階層的多次元クラスタの形で編成されたメディア項目の配列、閲覧およびクエリを行う方法、装置およびコンピュータプログラム製品を対象とするものである。
画像を含むデジタルメディアの量が大量になるにつれて、メディアコレクションを管理するソフトウェアアプリケーションが広く採用されるようになっている。現状技術のプログラムでは、メタデータや、管理対象メディア項目に関する情報を利用して、メディアコレクションの類別に役立てている。従来技術は、関連する表示機能およびその他のユーザインタフェース機能を備えたパーソナルコンピュータで通常機能する解決方法に注力している。しかし、移動通信と計算技術との発達によって、さらに多くの制約を受けるユーザインタフェース機能を有する個人用移動通信装置の中にも同様のメディアコレクションを設けることが可能になった。
例えば、パーソナルコンピュータに格納されたメディアコレクションを管理するために開発されたAdobeAlbum&Commatなどのソフトウェアアプリケーションが存在する。従来技術による技法の1例が、アドビ・システムズ(Adobe Systems)による国際出願公報WO02/057959A2“デジタルメディア管理装置および方法”に記載されている。この公報は、デジタル画像などのオブジェクトの管理と、発見と、表示とを行う方法および装置を提示するものである。これらのオブジェクトは記述型テキストデータおよび数値データ(“メタデータ”)と関連づけられ、リレーショナルデータベースに格納され、このリレーショナルデータベースからこれらのデータの選択、ソートおよび発見を行うことが可能となる。上記オブジェクトのメタデータが探索基準に一致するレベルに応じて上記オブジェクトの探索および表示を行うことが可能である。異なる一致グループにあるオブジェクトは、異なるバックグラウンドカラーやパターンを前面に表示するなどの視覚的手がかりによって表示領域で互いに識別することが可能である。
メディアオブジェクトの管理方法の1例が、マイクロソフト社による公報US2003/0009469A1“データベースにおけるメディアオブジェクトの管理”に記載されている。この公報は、メディアオブジェクトの文脈情報を利用してデータベース内のメディアオブジェクトと既知のメディアオブジェクト、カテゴリ、インデックスおよび探索を編成し、データベース内のメディアオブジェクトのカタログ作成のための推論に到達する方法および装置を提示するものである。ラベル付けされていないデータグループを形成することによりメディアオブジェクトのクラスタリングを行い、前記グループに対して距離メトリックを適用する方法および装置が提供されている。メディアオブジェクトは、互いに時間的に近い時点に撮影された画像のクラスタリングによって自動的に編成されて、種々のコレクションに変えられる。ユーザインタフェースはコレクション毎に1つの画像を含むものであってもよく、その場合この画像はユーザに示される。ユーザが画像の探索を行う場合、ユーザはそれぞれ画像のコレクションを表す画像を閲覧し、所望の画像に関係するように思われるコレクションを選択する。一旦コレクションが選択されると、コレクションに対応する画像がユーザに示される。
上述の方法がパーソナルコンピュータに良好に適合することは理解できるが、移動環境の中へ移された場合、これらの方法にはユーザービリティおよび操作上の問題がある。現行の方法は、相当のサイズの表示部を表示するユーザの能力に依存するため、並びに、マウスのようなポイント&クリック方式によってメディア項目、カテゴリなどを選択するため、すべての移動端末装置のカテゴリにおいて実行可能というわけではない。しかし、エンドユーザが個人用移動端末装置の中に対応する機能性を設けることは非常に望ましいことであり、それによって、ユーザは、パーソナルコンピュータにアクセスできないときでさえ自分のメディアコレクションにアクセスすることが可能となる。
移動端末装置では、メディアクエリに関する問題は、ローカルな格納装置(メモリカードや同様のもの)におけるフォルダベースのアプローチによって通常解決されるが、それでもこのアプローチには、デスクトップ環境におけるフォルダベースのアプローチと同じ制限があることに変わりはない。従来技術による方法では、移動端末装置におけるメディアクエリに関する問題は、移動ネット接続を介する遠隔地のメディアコレクションへのアクセスによって解決され、その場合、ユーザインタフェースの論理回路(カテゴリの利用、キーワードなど)はサーバ側で操作される。このアプローチには、非常に高度のメタデータ補助によるクエリ機能を組み入れることができるという利点があり、サーバ側で適切な論理回路の設置が実現される。しかし、上記アプローチはネットワーク接続が何らかの理由で利用可能でなければ、有望ではない。
上述の理由のために、多量のメディア項目を管理する新たな方法の開発が必要である。この方法は、狭い表示装置の中で使用するときでも適度に簡単であり、さらに、限定された選択メカニズムに対してのみ実際的なアクセスを行えることが望ましい。本発明はクライアント側のアプローチであり、その実施構成は移動通信装置の中に構成することが可能である。
本発明は、移動端末装置においてメディア項目を管理するための方法および装置並びにコンピュータプログラム製品を提示するものである。特に本発明は、移動端末装置における階層的多次元クラスタで編成されたメディア項目の配列、閲覧およびクエリに焦点を合わせるものであり、ユーザインタフェースの制約を解決して、メタデータ補助によるメディアクエリを移動端末装置で行うことができるようにするものである。本発明は多次元クラスタリングを行い、前記クラスタからメディア項目のクエリを行い、クラスタ階層の深さを自動的に選択する方法を提示するものである。本発明はまた、クラスタと共に利用するクエリメカニズムを備えたユーザインタフェースも提供するものである。
本発明によれば、メディア項目には記述情報と次元とが与えられる。その場合、1つの記述情報を共有するメディア項目はまとめてクラスタされる。上記記述情報はメディア項目ファイルへユーザが手動で挿入したり、自動的に挿入したりすることができるメタデータとして構成される。適切な記述情報の1例として場所と時刻とがあり、その場合、クラスタには或る一定の時点に或る一定の場所で取得されたメディア項目が含まれる。
メディア項目のコレクションを具備するクラスタがユーザに示される。本発明に準拠するユーザインタフェースは、1つのクラスタがユーザインタフェースの中で個々の項目間の単一項目として示されるように構成される。ユーザがこのクラスタを選択すると、別のビューが開かれ、当該クラスタの項目がユーザに示される。
上記クラスタリングの利点として、ユーザに示されるメディア項目のリスト(その場合すべての項目が1つのリストに示される)が従来技術による解決方法の場合よりも短くなり、これによって移動端末装置の表示機能の制限が軽減されるという点が挙げられる。
上記クラスタリングは、上記記述情報に対応して同じビューと論理的にリンクされたメディア項目の収集にも役立つことになる。このクラスタリングはユーザがクラスタの内容を素早く見るのに十分な情報も提供する。クラスタを命名することによって、メディアコレクションに対するクラスタとメディア項目との編成が容易になる。
本発明に準拠するメディアマネージャは、移動端末装置で実行する際、いつでも、どこでも利用することが可能である。専用ユーザインタフェースによって、移動端末装置の表示機能の制限が考慮され、これらの制限が少なくなる。上記メディアマネージャによって、エンドユーザは、限定された“ポイント&クリック”のみを用いて複雑なクエリを構成することが可能となり、これによってユーザの以前のクエリ行動に基づくメディアクエリの自動的適合化を行うさらなるチャンスが生み出され、それによって、後続するクエリ形式化状況でのエンドユーザのクエリ形式化の努力が軽減されることになる。
本発明の好ましい実施形態が図面と、以下の詳細な説明と、添付の請求項とに記載されている。上記説明の中で本発明のさらなる目的と利点とについて考察する。本発明自体は請求項の形で詳細に画定される。
本発明は、データマイニング法とクラスタリング法とを応用して、移動端末装置のエンドユーザを自動的に補助し、少ない努力によって複雑なメディアクエリを生成するためのものである。個人用メディア管理ソフトウェア機能と、端末装置における利用可能なユーザインタフェース技術の厳しい制限とを備えた移動端末装置について考えるとき、本発明は非常に望ましく、かつ、好適なものである。実際に、本発明によって、深い多次元メタデータ階層を含む、複雑な類別方式を利用することによって移動通信装置におけるメディアコレクションの所望部分の選択を行うことが可能となる。本発明による方法は非常に簡略なフローチャートとして図4に提示されている。本発明による方法は様々なタイプのメディア項目に関して利用することが可能であるが、以下の例では画像を使用する。
メディア項目グループの形成
時間/空間座標系で画像のクラスタリングによって画像をグループに分けることが可能である。しかし、時間/空間座標系を同時に考慮する多次元クラスタリングの適用は混同を生じる結果となる場合がある。本発明によれば、階段的クラスタリングが適用され、その場合画像は日付によって、および、場所によってクラスタされ、最終グループの中へ入れられる。この解決方法によって、ユーザはグループ化の背後にある論理をより良く理解し、複雑さを回避することが可能となる。
以下は上記方法の利用を示す1例である。変更例は状況によって変えることが可能であり、これらの変更例が本発明を限定するものと考えるべきではない。
撮影時に、画像には、画像の記述情報を含むメタデータが与えられる。次いで、他の画像またはクラスタの探索が行われる。この探索によって、現在の画像が撮影された場所からXメートル未満離れた地点でかつ同じ日に撮影された画像またはクラスタに焦点が当てられたり、項目の別の記述情報を比較することによって上記探索を行ったりすることが可能となる。当該種類の画像やクラスタが発見されると、前の画像と新たな画像とを含むクラスタが形成される。
利用可能な正確な所在位置情報が存在しなければ、同じセル内の同じ日に撮影された画像クラスタを形成することによってセルIDデータのみを用いることによりクラスタを形成してもよい。ユーザが、(ランドマーク管理アプリケーションなどを用いて)1つのグループのセルIDが1つの命名済みの場所(夏の別荘など)に対応する旨を特定した場合、特定されたセルグループで同じ日の間に撮影されたすべての画像はクラスタを形成することができる。その他の利用可能な場所関連情報の例として、ロケーションエリアコード(GSM)、国別コード(GSM)およびサービス対象エリア識別子(WCDMA)がある。
比較的タイトなクラスタの内部に一時的に存在するけれども、該クラスタに属していない画像も上記クラスタに追加することが可能である。この状況例は、ある人が夏の別荘で建築プロジェクトに取り組んでいて、そこで数枚の写真を撮影する例である。その日の日中に彼は食料雑貨品を買うために近くの店までドライブすることに決める。その店で彼はおかしな綴りの署名の写真を撮影する。その店で撮影した写真を夏の別荘クラスタに追加することができる。というのは、この写真は、その日の夏の別荘の写真に強く関係するからである。図1はこの状況を視覚化したものである。文字A1−A6で印を付けた点は撮影した画像を示し、点A1−A6の間の曲線Bはユーザの所在位置を示し、点線による矩形はクラスタ領域Cを画定するものである。
クラスタの内部に一時的に存在するけれども、そのクラスタに属するものではない写真は単にクラスタに追加される。例えば、数枚の写真が午前中に家で撮影され、数枚の写真が日中仕事中に撮影され、さらにその後、夜に家でさらに写真が撮影された状況では、家で撮影された写真がクラスタを形成することは言うまでもないが、仕事中に撮影された写真はクラスタに追加しないことが望ましい。クラスタの内部で一時的に撮影された写真は、ユーザがそのクラスタ領域から離れていた時間が長すぎなければそのクラスタに追加することが可能である。写真を撮影した場所とクラスタの重心との間の距離も長くなりすぎないように注意することが望ましい。
クラスタに写真を追加できるかどうかを定義する1つの可能な方法として、写真が以下の条件を満たすかどうかをチェックする方法がある:
1.写真はクラスタの内部に一時的に存在するものでなければならない。
Figure 2007507775
(但し、dist(t)は時刻tにおけるユーザとクラスタの中心との間の距離である。)t1はユーザがクラスタ領域Cを出た時刻であり、t2はユーザがクラスタ領域Cに再び入った時刻である(図1を参照のこと)。“n”は或る一定の適合可能な限界値を意味する。)
ユーザの所在位置は例えばGPS装置などのいくつかの方法で追跡することが可能である。GPS装置は本発明の装置へ組み込むことができる。所在位置データは画像の撮影時点に取得したり、定期的に取得したりすることが可能である。所在位置データが利用できない場合には、セルIDなどを用いて所在位置を追跡することが可能である。GPSの代わりに、各種GPSシステム(A−GPS、D−GPS)、到来角(AOA)、改善された観察済みの時間差(E−OTD)、到来時間差(T−DOA)、到来時刻(TOA)などの何らかの別の測位システムを用いて所在位置の自動追跡を行うことが可能である。あるいはユーザは位置座標を手動で定めることが可能である。手動で定められた座標は所在位置データベースに格納される。このデータベースには、場所(“夏の別荘”)に関する情報およびこれらの場所に対応する座標が含まれる。端末装置の所在位置と追跡とはずっと行うことが望ましい。写真撮影毎にしか行われない場合、追跡位置の数が少なすぎて、計算を行うのに十分ではなくなる。
メディア項目のメタデータ内での位置と時刻の代わりに、別の記述情報を設けることも可能である。1つの適切な例として、第1の記述情報が“趣味”である状況がある。そして別の記述情報として、釣り、スキー、ゴルフなどおよび/または時間がある。次いで、例えば2003年1月の釣りの画像などのエントリに従ってクエリを行うことができる。第1の記述情報のさらに別の例として“人々”があり、その場合さらに別の記述情報は妻、仕事仲間、子供などであってもよい。これらの例を理解することによって、上記記述情報がほとんどすべてのことに関係する情報となり得ることが明らかになる。
クラスタの命名
クラスタを特定するために、クラスタには或る情報を与える名称を持つラベルがつけられる。ラベリングはクラスタ記述情報を用いて自動的に行うことができるし、あるいは手動で行うことができる。1つのプラクティスとして、クラスタ内の画像の撮影場所、撮影時刻、および、クラスタの中に何枚の画像があるかに関する情報を利用するラベルの構成を行うプラクティスがある。座標情報が利用できない場合、ロケーションエリアコードのようなより高いレベルのネットワーク情報を利用することによってセルIDの変化の数を追跡することにより近接度を決定することが可能である。端末装置の移動できる速度に対して或る一定の上限を想定することにより、時間情報を用いて近接度の決定を行うことが可能となる。短時間の周期内で撮影された画像は相対的に互いに近接して撮影されたものとなる。
座標ベースの所在位置が利用可能で、ユーザが半径情報を用いて(座標位置と命名された)ランドマークを作成した場合、クラスタの命名時にクラスタを形成する際、この半径情報の利用が可能となる。ランドマーク半径内の画像は同じ場所で撮影されたものと見なされる。たとえ画像がいずれのランドマークの内部で撮影されたものでなかったとしても、例えば“夏の別荘の近くで”などのランドマーク名はそのまま使用可能である。この場合“夏の別荘”がランドマーク名である。クラスタを命名するとき、クラスタ名は少なくとも部分的にリモートサーバや、場所を表す理解可能な名称(クラスタ座標/セルID/ロケーションエリアコードなどに基づく)をユーザに与えることができる端末装置のデータベースからクエリを受けた名称に基づくものであってもよい。クラスタ名は(フィンランド、ヘルシンキ、ルオホラハティ(Ruoholahti)などの)2以上の場所を含むものであってもよい。
例えば画像のほとんどがフィンランドで撮影され、ユーザがスペインで数枚の画像を撮影した場合、他の詳細な所在位置情報の代わりに国名(スペイン)を表示することが望ましい。一方、画像の撮影場所がわからない場合には、例えば、グループ(1)、グループ(2)などによってクラスタにラベルをつけることも可能である。
同じ命名原則を個々の画像に適用することも可能である。命名を行うことによって、メディアコレクションに対するクラスタおよび画像の編成が容易になる。様々な種類の記述情報を利用することによって、異なるユーザが自分に最も適した方法で画像情報を見ることが可能となる。
ユーザインタフェース
前述したように、互いに密接に関連する(ほぼ同じ場所で同じ日に撮影されたような)画像を束ねてクラスタの中へ入れることが望ましい。本発明によれば、ユーザインタフェースで個々のメディア項目間の単一項目としてこのクラスタを示すことが望ましい。言い替えれば、ユーザインタフェースは個々のメディア項目とクラスタとによって形成されるアレイを示すものである。例えば、1乃至いくつかのクラスタを含むリスト図などのビューが、いずれのクラスタにも属さない個々の画像を含むようにすることも可能である。個々の画像の中から画像の視覚的に異なる外観によって上記クラスタを簡単に識別することが可能である。例えば、クラスタのラベルのそばに表示する対象クラスタの1以上の画像を選択し、それによってクラスタの視覚的表示を行うことにより外観を形成することが可能である。一例として、選択画像を第1に撮影した画像とすることも可能である。というのは、その場合、新たな画像が撮影されてクラスタに追加されたときでさえそのクラスタの外観は変らないからである。
一例として、図2は、移動端末装置の表示部におけるメディア項目の階層を例示する図である。本例ではメインメニューは“画像”と命名され、クラスタのアレイとメディア項目とを1つのビュー1に同時に表示する。2003年5月22日に夏の別荘で撮影した4つの画像を表示する代わりに、4つの画像のうちの1つの画像だけをクラスタとして表示する。このクラスタはクラスタ内でメディア項目によって共有される記述情報に因んで命名される。本例では、その名称は上記4つの画像が撮影された場所である。日付(22/05/2003)および画像の最終番号(4画像)などのクラスタの別の情報をクラスタのヘッダに示すこともできる。クラスタを選択し、開くことによってクラスタの内部に画像を含む次のビュー2が表示される。
時折、クラスタはイベントを表わすことができる。新たに命名された場合クラスタはイベントになる。“夏の別荘”が“夏の別荘での凧揚げ”と新たに命名された場合、クラスタは現実の意味を得ることになり、したがって、イベントと見なされることになる。場合によってはイベント情報は、例えばカレンダ情報などを利用することによって自動的に取得することも可能である。
メディア項目またはクラスタの数を適度に小さく保つには、大きなクラスタの方が望ましい。この目的のために、クラスタリングパラメータを適宜選択したり、存在するメディア項目の量に基づいてこのパラメータを適合させたりすることができる。大きなクラスタを形成する場合、サブクラスタにアクセスする手段を設けることが肝要である。段階的にクラスタリングプロセスを適用することによりこれは達成可能となる。さらに、エンドユーザがさらなるチェックのために当該クラスタを選択する前に、例えば視覚などの手がかりによって、最も適用可能なサブクラスタリングオプションをエンドユーザへ予め通信しておくことができる。
段階的クラスタリングによってクラスタリングは2つの部分に分けられる。クラスタリングの第1段階で、クラスタは時刻と場所との組み合わせであることが望ましい。そしてこれらの組み合わせのリストが時間に基づいて編成される。クラスタリングの第2段階で、サブクラスタを形成することができる。サブクラスタは、例えば(ホワイトバランス設定をベースとする“屋内”や“屋外”などの)メディア項目の属性の(命名されたブルートゥース装置IDなどに基づく)人々の物理的存在や、明示的なメタデータキーワード/カテゴリ/メディア項目に割り当てられたタグや、メディア項目の視覚的類似性などに基づくものであってもよい。
クラスタリング法の1例を示す。下記の表に示される時と場所とについての記述情報が存在する。時間情報の階層が表Aに示され、場所情報の階層が表Bに示されている。
Figure 2007507775
画像のクエリ時に、ユーザは2000年2月などの時間情報を最初に選択する。この後、場所情報を選択することができる。本発明によれば、選択リストに示される唯一の場所は2000年2月という基準を満たす場所である。言い換えれば、ユーザが2000年2月に写真を撮影した場所のみを含むリストが示されることになる。クラスタ内での情報の量がクエリ時の情報(クエリ時の月およびクラスタ内での週や日など)とは異なる場合、画像とクラスタの双方がリストに示される。
大きなメディアコレクションを管理するとき、第1段階のクラスタリングは例えば最近の週や月だけなどの“最近のメディア項目”に対してはまずまず良好に機能する。しかし、エンドユーザが最近のメディア項目に焦点を合わせない場合、第1段階のクラスタリングはアルファベット順(場所階層が利用可能な場合には階層順)に並べられた場所に基づくようにしてもよい。そして第1段階のクラスタリングアプローチはサブクラスタ用として利用される。
次に、クラスタに対して複雑なメディアクエリを生成する方法について説明する。この方法はデータマイニング法で適用することができる。以下の方法は、1)コレクションを分割して好適なサイズと数のサブスペース(クラスタ)にする類別方式で記述情報を特定する方法、並びに、2)ユーザ行動のオンライン解析を行って、別のクエリ時に適用できるクエリ形式化時にパターンを自動的に特定する方法である。メディア項目の上述の編成について考えるとき、この編成の背後にあるツリー様の構造は参照し易い構造となっている。以下の方法はクエリ時にツリー様の構造を利用するものである。
以下の方式は、例えば、ユーザがフィンランドで数百枚の画像を撮影し、様々な都市で数十枚の画像を撮影した状況で適用することができる。数枚の画像がストックホルムとタリンで撮影される。ユーザが場所情報を選択すると、利用可能な項目としてヘルシンキ、タンペレ、ユベスキュラ、スエーデンおよびエストニアあるいは“その他”が現れるようにすることができる。最も使用頻度が高いものなどの追加基準も同様に利用可能である。
類別方式の次元の範囲内での階層の深さの自動選択/補助選択
本方式は主として、メディア項目空間を分割して適切な数のクラスタに変える階層類別ツリーにおいてこのようなノードの計算をベースとする方式である。本方式では、エンドユーザがルートノードから開始するか、リストの形のすべてのリーフノードにアクセスするか選択する方式と比べるとナビゲーションのステップ数を減らすことが可能となる。
まず、リストから写真を得るためにi回クリックしなければならないことに対してユーザが感じる苛立ちを表す関数v(i)が定義される。例えば、v(i)をv(i)=iとしてもよいし、あるいはv(i)はv(i)=pow(i,1.5)としてもよい。
次に、ツリーTに対して、V(T)が、V(T)=sum(v(len(n))*items(n):Tにおけるn)として定義される。
但し、len(n)はツリーTにおけるノードNの深さである。
同様に、ツリーのリストについては:
V(T1,...,Tm)=V(T1)+...+V(Tm))
但し、Vはユーザの苛立ちを示し、T1,...,Tmはツリーである。
上記ツリーのリスト(クラスタ)がユーザに提示される。当然のことであるが、オプションの数が或る妥当な数N(4〜8など)となるように求められる。
ツリーの共用部分にショートカットを設けることによってユーザの苛立ちVを減らすことが可能となる。この苛立ちの減少は、最初のツリーT(このツリーTは単一のルートを有するものと想定することができる)をN個のサブツリーT1,...,TNに分割することによって行われる。言い換えればツリーT1,...,TNはツリーTのサブツリーである。これによってツリー内のすべての項目が分割されることになる。その時、V(T1,...,TN)は最低限のものとなる。サブツリーT1,...,TNは共通ノードを有していないものと想定されている。
本発明に準拠するアルゴリズムでは、個々のノードに対して新たなツリーのルート用ノードを選択する利点が算出される。この算出はm個のサブツリーを定義することによって行われる。ルートとしてノードの選択を行う利点がサブツリーT1,...,Tm内の個々のノードnについて計算される:
関数=sum(v(len(k)+I)*items(k))−sum(v(len(k)*items(k)))
但し“k”は“Ti”の中にあり、“n”は“Ti”の中にあり、Tiにおいて“len(n)=i”である。
この関数に対して(ツリーTiにおけるノードnなどに対して)、最大値が選択され、その後、Tiは分割されて2つの部分、すなわち、n以下(nを含む)のTi並びに前記部分を含まないTiに変えられる。この種の最適化(Tの分割)に起因して、n以上およびn以下のノード値のみが再計算に必要となる。
上記計算は、エンドユーザによる最も予想される選択を優先させるために、解析済みのエンドユーザの過去のクエリ形式化に応じて修正される。メディア項目は、これらメディア項目がメディア項目クエリのターゲットになる可能性の高い既知のものであるか、学習対象とすべきものであるかに基づいて重み付けが行われる。例えば、高い重み付け(>1)を示すものとして、それまで閲覧頻度が高かったり、共有されていたり、トランザクションと関連づけられていたりするメディア項目がある。そして、低い重み付け(<1)を示すものとして、もはや使用されていないメディア項目や、現在の文脈に関連のないメディア項目がある。
多次元類別方式の範囲内での次元の自動/補助選択
この方式は主として、適用する類別方式の異なる次元に対してメディア項目をどのように配分するかを解析する処理に基づく方式である。この方式を用いて、メディア項目空間を最も効果的に分けて適切なサブ空間に変える次元を特定することが可能となる。望ましい実施構成として、配分の解析を行う前にすべての次元で上述の方法を利用する方式がある。最善の次元であることを判断する基準として、例えば、1)どのように均等にメディア項目を分けて計算済みのサブツリーに変えるか、あるいは、2)メディア項目に到達するのに必要なナビゲーションステップの平均回数を何回にするかという基準を設けることが可能である。
上記計算は、クエリ情報における個人的な好みを勘案するために解析された過去のエンドユーザのクエリ形式化に応じて修正される(一人の人にとって、まず一人の人を、次いで、場所を、それからある別の人を探索することは直感的な探索であり、この逆の探索を行うこともまた同様に直感的探索である)。
また、上記ケースでは、メディア項目がメディア項目クエリのターゲットになる可能性の高い既知のものであるか、学習対象にすべきものであるかどうかに基づいてメディア項目の重み付けを行うことが可能である。例えば、高い重み付け(>1)を示すものとして、それまで閲覧頻度が高かったり、共有されていたり、トランザクションと関連づけられていたりするメディア項目がある。そして、低い重み付け(<1)を示すものとして、もはや使用されていないメディア項目や、現在の文脈に関連のないメディア項目がある。様々なクエリが異なる文脈で以前どのように適用されたかについて行われる解析に基づいて上記方式の修正を行うことが可能である。
上述の方式を利用するとき、1つの次元の範囲内でエンドユーザがリストを上下にスクロールしてカテゴリを閲覧し、左/右のボタンを動かして次元間の切り替えを行い(選択は行わない)、所望の次元の範囲内で選択を行って(ボタンを押下して)、ドリルを行い、サブカテゴリに変えて、クエリの一部になるように現在のカテゴリを選択する(ソフトキー)。上記を可能にするためには、装置は階層の多次元類別方式を利用し、最低限6個のキーからなるナビゲーション手段または(5方向ボタン、1つのソフトキーなどの)同様の手段を設けて、クエリ形式化の“X”の側面と“Y”の側面双方の基本原則を明らかにすることが望ましい(Xは自動的選択方法/補助された次元、すなわち“場所”/“人”/“イベント”/の選択方法を表し、Yは深さの自動的選択方法/階層上の次元すなわち“フィンランド”/“ヘルシンキ”/“センタ”/の範囲内で補助される深さの選択方法を表す)。
実施構成
図3は本発明に準拠する電子装置MSの1例を示す図である。電子装置MS内のデータ処理ユニットCPUの一部として本発明に準拠するメディア項目マネージャMMを実装することができる。メディアマネージャMMはいわゆるメディアアルバムサーバのサーバ側の範囲内にあるものであってもよく、さらに、ネットワークを介して電子装置MSによって着信するものであってもよい。しかし、例えばプライバシ上の理由などのために、個人用装置で利用可能な全メタデータを格納する方が役に立つ場合が時としてあり、その際にはメディア項目マネージャMMのクライアント側実施構成の方が望ましいものとなる。電子装置が何らかの別アプリケーションAPPも同様に備えることが可能であることは言うまでもない。
電子装置MSはメモリMEMの中にメディアコレクションを格納するものである。メディアコレクションは或る周知のデータ転送接続を介して取得される。しかし、前記電子装置MSと接続されたり、前記電子装置MS内に組み込まれたりして取り付けられたデジタルカメラが存在することが望ましい。その場合前記カメラを用いて撮影された画像はメモリMEMの中へ直接格納される。メディアコレクションはユーザインタフェースUIを介してクエリを受け、閲覧される。電子装置MSは移動通信機能および写真機能を備えた端末装置(カメラ付き電話など)であることが望ましい。
上述の詳細な説明は専ら理解を明瞭にするために行われたものであり、必ずしもそこから本願の請求項の中へ限定を読み込む必要はない。
クラスタ領域並びに変化するユーザの所在位置を視覚化する。 移動端末装置の表示部におけるメディア項目の階層例を示す。 本発明に基づく電子装置の1例を示す。 簡略なフローチャートとして本発明による方法を示す。

Claims (28)

  1. メディア項目を管理する方法であって、少なくとも2つの記述情報を含むメタデータを個々のメディア項目に与え、少なくとも1つの記述情報を共有する前記個々のメディア項目をまとめてクラスタし、メディア項目を含む前記クラスタを前記個々のメディア項目と同様に管理する方法。
  2. 前記個々のメディア項目をクラスタすべきかどうかを判定するために、前記個々のメディア項目を別の個々のメディア項目やクラスタと比較する請求項1に記載の方法。
  3. 前記記述情報に従って前記クラスタを命名する請求項1に記載の方法。
  4. 前記個々のメディア項目間で前記クラスタを表示するが、該個々のメディア項目を視覚的に区別する請求項1に記載の方法。
  5. 前記メディア項目とクラスタとの管理が、少なくとも前記メディア項目の配列と、クエリと、閲覧とを行うステップを具備する請求項1に記載の方法。
  6. 前記メディア項目のクエリを行うステップが、一方の記述情報用の第1のエントリを定義するステップを具備し、次の項目が、前記第1のエントリを満たすメディア項目の他方の記述情報に基づく請求項5に記載の方法。
  7. 前記メディア項目を閲覧するステップがメディア項目とクラスタとからなるアレイを示すステップを具備し、前記クラスタの選択後、該クラスタの内部の前記メディア項目を閲覧する請求項5に記載の方法。
  8. クライアント側の方法である請求項1に記載の方法。
  9. 前記1つの記述情報が前記端末装置の所在場所である請求項1に記載の方法。
  10. 別の記述情報が前記メディア項目を取得した時刻である請求項1に記載の方法。
  11. 前記クラスタが命名され、手動で更新され、対応する格納システムに対して上記名称が更新される請求項3に記載の方法。
  12. 前記メディア項目が前記クラスタ内でさらにサブクラスタ化される請求項1に記載の方法。
  13. 前記メディア項目のクエリを行うステップが前記ユーザの以前のクエリ行動に基づいて自動的に適合される請求項6に記載の方法。
  14. 測位システムから所在位置情報を取得するか、ユーザが手動で該所在位置情報を定める請求項9に記載の方法。
  15. 前記メディア項目が画像である請求項1に記載の方法。
  16. メディア項目を管理する装置であり、少なくとも2つの記述情報を有するメタデータを個々のメディア項目に与える定義装置を具備する装置であって、少なくとも一方の記述情報を共有する個々のメディア項目をまとめてクラスタするグループ分け装置(grouper)をさらに具備する装置において、メディア項目を含む前記クラスタを前記個々のメディア項目と同様に管理するように構成される装置。
  17. 前記装置が、前記個々のメディア項目を、他の個々のメディア項目と比較したり、前記個々のメディア項目をクラスタすべきかどうかを調べるクラスタと比較したりする比較装置をさらに具備する請求項16に記載の装置。
  18. 前記記述情報に従って前記クラスタを命名する手段をさらに具備する請求項16に記載の装置。
  19. 数個のメディア項目と数個のクラスタとを互いの間で管理し、互いから分離可能に管理するように構成される請求項16に記載の装置。
  20. 前記装置が、前記メディア項目用の1以上の以下の手段、すなわち配列手段、クエリ手段並びに閲覧手段も具備する請求項16に記載の装置。
  21. 前記クエリ手段が、一方の記述情報用の第1のエントリに従ってメディア項目のクエリを行い、前記第1のエントリを満たす上記メディア項目の他方の記述情報の次の項目に従って前記メディア項目のクエリをさらに行うように構成される請求項20に記載の装置。
  22. 前記閲覧手段が、前記メディア項目を個々に示すように構成されるか、アレイとしてクラスタされる請求項20に記載の装置。
  23. 前記閲覧手段が、クラスタのメディア項目を個々に示すように構成されるか、別個のアレイとしてクラスタされる請求項22に記載の装置。
  24. 前記アレイがユーザインタフェースの1つのビューである請求項23に記載の装置。
  25. 前記装置を測位する手段も具備する請求項16に記載の装置。
  26. 移動通信用手段も具備する請求項16に記載の装置。
  27. 写真撮影手段も具備する請求項16に記載の電子装置。
  28. メディア項目を管理するコンピュータプログラム製品であって、コンピュータ可読プログラムを格納する記憶手段を具備するコンピュータプログラム製品において、前記コンピュータ可読プログラムが、少なくとも2つの記述情報を有するメタデータと共に前記個々のメディア項目を出力する命令を具備し、前記コンピュータ可読プログラムが、少なくとも一方の記述情報を共有する個々のメディア項目をまとめてクラスタする命令を具備し、メディア項目を含む前記クラスタが前記個々のメディア項目と同様に管理可能であるコンピュータプログラム製品。
JP2006530323A 2003-10-02 2004-09-27 メディア項目のクラスタリングとクエリとを行う方法 Pending JP2007507775A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/678,591 US7313574B2 (en) 2003-10-02 2003-10-02 Method for clustering and querying media items
PCT/FI2004/050139 WO2005031601A1 (en) 2003-10-02 2004-09-27 Method for clustering and querying media items

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010120538A Division JP2010191997A (ja) 2003-10-02 2010-05-26 メディア項目のクラスタリングとクエリとを行う方法

Publications (1)

Publication Number Publication Date
JP2007507775A true JP2007507775A (ja) 2007-03-29

Family

ID=34393970

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006530323A Pending JP2007507775A (ja) 2003-10-02 2004-09-27 メディア項目のクラスタリングとクエリとを行う方法
JP2010120538A Pending JP2010191997A (ja) 2003-10-02 2010-05-26 メディア項目のクラスタリングとクエリとを行う方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010120538A Pending JP2010191997A (ja) 2003-10-02 2010-05-26 メディア項目のクラスタリングとクエリとを行う方法

Country Status (6)

Country Link
US (2) US7313574B2 (ja)
EP (1) EP1668540A1 (ja)
JP (2) JP2007507775A (ja)
KR (1) KR100803769B1 (ja)
TW (1) TWI360058B (ja)
WO (1) WO2005031601A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011520208A (ja) * 2008-05-12 2011-07-14 グーグル インコーポレイテッド 人気ランドマークの自動的発見
US9020247B2 (en) 2009-05-15 2015-04-28 Google Inc. Landmarks from digital photo collections

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2864279B1 (fr) * 2003-12-18 2006-05-26 Eastman Kodak Co Procede pour ajouter des donnees de caracterisation pendant une saisie d'image
US7657060B2 (en) * 2004-03-31 2010-02-02 Microsoft Corporation Stylization of video
US20050246324A1 (en) * 2004-04-30 2005-11-03 Nokia Inc. System and associated device, method, and computer program product for performing metadata-based searches
JP2006065368A (ja) * 2004-08-24 2006-03-09 Sony Corp 画像表示装置,画像表示方法,およびコンピュータプログラム
US7479970B2 (en) * 2005-01-12 2009-01-20 Microsoft Corporation Systems and methods that facilitate process monitoring, navigation, and parameter-based magnification
US20060156237A1 (en) * 2005-01-12 2006-07-13 Microsoft Corporation Time line based user interface for visualization of data
US7716194B2 (en) * 2005-01-12 2010-05-11 Microsoft Corporation File management system employing time line based representation of data
US7788592B2 (en) * 2005-01-12 2010-08-31 Microsoft Corporation Architecture and engine for time line based visualization of data
US7831599B2 (en) * 2005-03-04 2010-11-09 Eastman Kodak Company Addition of new images to an image database by clustering according to date/time and image content and representative image comparison
US20060294096A1 (en) * 2005-06-22 2006-12-28 Eastman Kodak Company Additive clustering of images into events using capture date-time information
US8326775B2 (en) * 2005-10-26 2012-12-04 Cortica Ltd. Signature generation for multimedia deep-content-classification by a large-scale matching system and method thereof
US7668867B2 (en) 2006-03-17 2010-02-23 Microsoft Corporation Array-based discovery of media items
US8285595B2 (en) * 2006-03-29 2012-10-09 Napo Enterprises, Llc System and method for refining media recommendations
US9003056B2 (en) * 2006-07-11 2015-04-07 Napo Enterprises, Llc Maintaining a minimum level of real time media recommendations in the absence of online friends
US8327266B2 (en) 2006-07-11 2012-12-04 Napo Enterprises, Llc Graphical user interface system for allowing management of a media item playlist based on a preference scoring system
JP2008083787A (ja) * 2006-09-26 2008-04-10 Sony Corp テーブル表示方法、情報設定方法、情報処理装置、テーブル表示用プログラムおよび情報設定用プログラム
US20080085055A1 (en) * 2006-10-06 2008-04-10 Cerosaletti Cathleen D Differential cluster ranking for image record access
JP2008134866A (ja) * 2006-11-29 2008-06-12 Sony Corp コンテンツ閲覧方法、コンテンツ閲覧装置およびコンテンツ閲覧プログラム
JP2008134966A (ja) 2006-11-29 2008-06-12 Sony Corp データ管理サーバ、データ管理システム、データ管理方法およびプログラム
US20080201000A1 (en) * 2007-02-20 2008-08-21 Nokia Corporation Contextual grouping of media items
US7941764B2 (en) 2007-04-04 2011-05-10 Abo Enterprises, Llc System and method for assigning user preference settings for a category, and in particular a media category
US20080250067A1 (en) * 2007-04-06 2008-10-09 Concert Technology Corporation System and method for selectively identifying media items for play based on a recommender playlist
US8839141B2 (en) 2007-06-01 2014-09-16 Napo Enterprises, Llc Method and system for visually indicating a replay status of media items on a media device
US20080307316A1 (en) * 2007-06-07 2008-12-11 Concert Technology Corporation System and method for assigning user preference settings to fields in a category, particularly a media category
US8224856B2 (en) 2007-11-26 2012-07-17 Abo Enterprises, Llc Intelligent default weighting process for criteria utilized to score media content items
US20090138457A1 (en) * 2007-11-26 2009-05-28 Concert Technology Corporation Grouping and weighting media categories with time periods
US20090164512A1 (en) * 2007-12-19 2009-06-25 Netta Aizenbud-Reshef Method and Computer Program Product for Managing Media Items
TWI358647B (en) * 2007-12-28 2012-02-21 Ind Tech Res Inst Data classification system and method for building
US7860866B2 (en) * 2008-03-26 2010-12-28 Microsoft Corporation Heuristic event clustering of media using metadata
JP4636141B2 (ja) * 2008-08-28 2011-02-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5268787B2 (ja) 2009-06-04 2013-08-21 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
TWI494841B (zh) * 2009-06-19 2015-08-01 Htc Corp 影像資料瀏覽方法及系統,及其電腦程式產品
US20110125743A1 (en) * 2009-11-23 2011-05-26 Nokia Corporation Method and apparatus for providing a contextual model based upon user context data
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US20110169982A1 (en) * 2010-01-13 2011-07-14 Canon Kabushiki Kaisha Image management apparatus, method of controlling the same, and storage medium storing program therefor
US9026591B2 (en) 2011-02-28 2015-05-05 Avaya Inc. System and method for advanced communication thread analysis
JP5708278B2 (ja) * 2011-06-08 2015-04-30 ソニー株式会社 情報処理装置および情報処理方法
KR20130089400A (ko) * 2012-02-02 2013-08-12 삼성전자주식회사 휴대용 전자기기에서 애플리케이션 관리 방법 및 장치
WO2014031126A1 (en) 2012-08-24 2014-02-27 Empire Technology Development Llc Virtual reality applications
JP5980432B2 (ja) 2012-08-27 2016-08-31 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実見本の生成
US9892203B2 (en) * 2012-10-29 2018-02-13 Dropbox, Inc. Organizing network-stored content items into shared groups
US9135569B2 (en) * 2013-02-01 2015-09-15 Telenav, Inc. Navigation system with anomaly detection mechanism and method of operation thereof
US9542619B2 (en) 2013-03-11 2017-01-10 Yahoo! Inc. Automatic image piling
US20140280241A1 (en) * 2013-03-15 2014-09-18 MediaGraph, LLC Methods and Systems to Organize Media Items According to Similarity
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
US20160357822A1 (en) * 2015-06-08 2016-12-08 Apple Inc. Using locations to define moments
DK201670608A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
US10324973B2 (en) 2016-06-12 2019-06-18 Apple Inc. Knowledge graph metadata network based on notable moments
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
WO2018057272A1 (en) 2016-09-23 2018-03-29 Apple Inc. Avatar creation and editing
US9863184B1 (en) * 2016-11-22 2018-01-09 Julian Voss-Andreae Window security screens
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
KR102158049B1 (ko) 2018-11-05 2020-09-21 서강대학교산학협력단 Cf 트리를 활용한 범위 질의 기반의 데이터 클러스터링 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342357A (ja) * 2001-05-18 2002-11-29 Kenichiro Ishijima パーソナル映像データベース生成装置、画像処理装置、パーソナルデータベース生成方法、プログラム及び記憶媒体
JP2003271617A (ja) * 2002-03-15 2003-09-26 Konica Corp 画像分類方法、画像分類システム、プログラム及び画像ファイルのデータ構造

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05128166A (ja) 1991-11-01 1993-05-25 Konica Corp 電子画像フアイリング装置
US5598557A (en) * 1992-09-22 1997-01-28 Caere Corporation Apparatus and method for retrieving and grouping images representing text files based on the relevance of key words extracted from a selected file to the text files
DE4497968T1 (de) * 1993-10-20 1996-12-05 Cambridge Imaging Ltd Abbildungsverfahren und Abbildungseinrichtung
US5890149A (en) 1996-06-20 1999-03-30 Wisdomware, Inc. Organization training, coaching and indexing system
JP3906938B2 (ja) 1997-02-18 2007-04-18 富士フイルム株式会社 画像再生方法及び画像データ管理方法
US6233575B1 (en) 1997-06-24 2001-05-15 International Business Machines Corporation Multilevel taxonomy based on features derived from training documents classification using fisher values as discrimination values
US6240424B1 (en) * 1998-04-22 2001-05-29 Nbc Usa, Inc. Method and system for similarity-based image classification
US6285995B1 (en) 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US6345274B1 (en) * 1998-06-29 2002-02-05 Eastman Kodak Company Method and computer program product for subjective image content similarity-based retrieval
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US6606411B1 (en) 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
US6650779B2 (en) * 1999-03-26 2003-11-18 Georgia Tech Research Corp. Method and apparatus for analyzing an image to detect and identify patterns
US6629097B1 (en) * 1999-04-28 2003-09-30 Douglas K. Keith Displaying implicit associations among items in loosely-structured data sets
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
US6766363B1 (en) * 2000-02-28 2004-07-20 Barpoint.Com, Inc. System and method of linking items in audio, visual, and printed media to related information stored on an electronic network using a mobile device
US6446083B1 (en) * 2000-05-12 2002-09-03 Vastvideo, Inc. System and method for classifying media items
US6661842B1 (en) * 2000-09-22 2003-12-09 General Dynamics Decision Systems, Inc. Methods and apparatus for error-resilient video coding
US6907436B2 (en) * 2000-10-27 2005-06-14 Arizona Board Of Regents, Acting For And On Behalf Of Arizona State University Method for classifying data using clustering and classification algorithm supervised
WO2002057959A2 (en) 2001-01-16 2002-07-25 Adobe Systems Incorporated Digital media management apparatus and methods
US7076503B2 (en) * 2001-03-09 2006-07-11 Microsoft Corporation Managing media objects in a database
US6804684B2 (en) * 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
US6910049B2 (en) * 2001-06-15 2005-06-21 Sony Corporation System and process of managing media content
US7130864B2 (en) 2001-10-31 2006-10-31 Hewlett-Packard Development Company, L.P. Method and system for accessing a collection of images in a database
JP4143956B2 (ja) 2002-02-14 2008-09-03 富士フイルム株式会社 画像表示装置及び画像管理プログラム
US6829561B2 (en) * 2002-03-16 2004-12-07 International Business Machines Corporation Method for determining a quality for a data clustering and data processing system
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002342357A (ja) * 2001-05-18 2002-11-29 Kenichiro Ishijima パーソナル映像データベース生成装置、画像処理装置、パーソナルデータベース生成方法、プログラム及び記憶媒体
JP2003271617A (ja) * 2002-03-15 2003-09-26 Konica Corp 画像分類方法、画像分類システム、プログラム及び画像ファイルのデータ構造

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011520208A (ja) * 2008-05-12 2011-07-14 グーグル インコーポレイテッド 人気ランドマークの自動的発見
US8676001B2 (en) 2008-05-12 2014-03-18 Google Inc. Automatic discovery of popular landmarks
US9014511B2 (en) 2008-05-12 2015-04-21 Google Inc. Automatic discovery of popular landmarks
US9483500B2 (en) 2008-05-12 2016-11-01 Google Inc. Automatic discovery of popular landmarks
US10289643B2 (en) 2008-05-12 2019-05-14 Google Llc Automatic discovery of popular landmarks
US9020247B2 (en) 2009-05-15 2015-04-28 Google Inc. Landmarks from digital photo collections
US9721188B2 (en) 2009-05-15 2017-08-01 Google Inc. Landmarks from digital photo collections

Also Published As

Publication number Publication date
KR20060076311A (ko) 2006-07-04
KR100803769B1 (ko) 2008-02-15
USRE43260E1 (en) 2012-03-20
US20050076056A1 (en) 2005-04-07
JP2010191997A (ja) 2010-09-02
TW200515214A (en) 2005-05-01
WO2005031601A1 (en) 2005-04-07
TWI360058B (en) 2012-03-11
US7313574B2 (en) 2007-12-25
EP1668540A1 (en) 2006-06-14

Similar Documents

Publication Publication Date Title
JP2007507775A (ja) メディア項目のクラスタリングとクエリとを行う方法
US12032623B2 (en) Facial based image organization and retrieval method
JP5869054B2 (ja) デジタル画像集合内に自動顔認識を組み込む方法および装置
CN103678335B (zh) 商品标识标签的方法、装置及商品导航的方法
CN104239408B (zh) 基于由移动设备记录的图像的内容的数据访问
US7139974B1 (en) Framework for managing document objects stored on a network
CN103631851B (zh) 推荐好友的方法及其服务器和终端
US7917514B2 (en) Visual and multi-dimensional search
JP3648051B2 (ja) 関連情報検索装置及びプログラム記録媒体
US7158971B1 (en) Method for searching document objects on a network
US20170208073A1 (en) Masking restrictive access control system
US20030093417A1 (en) Method and apparatus for document information management
CN106663109A (zh) 针对移动屏上内容提供自动动作
JP2005196254A (ja) ディレクトリ構造形成装置及びその方法、ディレクトリサービスシステム
TWM659486U (zh) 追蹤線統計的顯示裝置
KR20110070505A (ko) 이미지 검색 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090818

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100526

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100603

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100625

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120214

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120217