JP2013520725A - コンシューマー画像コレクション内の適応的イベント時系列 - Google Patents

Abstract

デジタル画像コレクションのイベント時系列を統合する方法であって、デジタル画像コレクション内のイベントを検出するプロセッサを使用するステップであって、各イベントは時間枠に関連づけられる、ステップと；そのデジタル画像コレクション内で重要である検出イベントを決定するステップと；イベント時系列が重要イベントと他のイベントのクラスタ化された表示を示すように、イベント時系列を統合するステップであって、ユーザに異なる時間粒状性で利用可能になされる、ステップとを含む。統合されたイベント時系列は、また、出力を生成するため、画像を選択するのに使用される。

Description

本発明は、一般的にはデジタル画像処理の分野に関し、詳しくは、コンシューマー画像コレクションの効率的な管理及びイベントの検索のための、デジタル画像のグループの整理統合方法に関する。

デジタルカメラ、カメラ付携帯電話及びスキャナーの普及は、デジタル画像及び動画の急増をもたらし、大きな個人用マルチメディアデータベースを形成している。デジタル写真を撮ることは簡単で実際的には無料なので、コンシューマーは重要なイベントや特別な機会に写真を撮ることを全く制限していない。画像は頻繁に撮影され、コンシューマーの生活の日常的出来事になっている。一般的なユーザは何年ものデジタル画像や動画をすでに蓄積しているので、特定のイベントの間に撮られた画像や動画を見つけるようコレクションをブラウジングするのは、コンシューマーにとってはとても時間のかかるプロセスである。

画像をイベントにグループ化する研究は存在した。米国特許第６，６０６，４１１号（特許文献１）及び米国特許第６，３５１，５５６号（特許文献２）は、画像コンテンツを時間的イベントやサブイベントによりクラスタリングするアルゴリズムを開示する。前記２つの特許は、デジタル画像コレクションの画像と動画を時間的イベントやサブイベントにクラスタリングする方法を示している。用語”イベント“と”サブイベント“とは、客観的な意味において用いられ、特定の出来事のユーザの客観的な認識（イベントに対応）、及びそうした出来事の部分（サブイベントに対応）との一致を目的とするコンピュータを利用した手順のプロダクトを示す。画像を自動的に整理統合する他の方法が、米国特許第６，９１５，０１１号(特許文献３)に開示されている。検出されたイベントは、最も古くから最近まで時系列（タイムライン）で年代順に並べられる。

上記の方法を用いて、ユーザによって特定のイベントを位置づけるのに必要とされるブラウジングの量は、各画像サムネールの代わりに、時系列に沿ったイベントの代表を見ることにより減少され得る。しかしながら、一般的なユーザは毎年100を越えるイベントを創出することがあり、より大量の画像を撮影する人は、一年で数百の検出イベントを容易に越えることがある。全体のイベント時系列構造を構築する必要性は今もあり、そのイベント時系列構造は、ユーザの写真撮影行動と同様に、そのコレクションにおけるイベントの時間粒状性にも適応可能であって、さらに、全体のコレクション又はコレクション内の所定期間を要約するイベントのサブセットを選択することも可能である。

米国特許第６，６０６，４１１号 米国特許第６，３５１，５５６号 米国特許第６，９１５，０１１号

本発明の課題は、上述した画像コレクションの統合されたイベント時系列を提案することである。

本発明に従って、デジタル画像コレクションのイベント時系列を統合する方法が提案され、以下のステップを実行するプロセッサを使用する：
（ａ）デジタル画像コレクションのイベント及び各イベントに関連する時間枠(タイムスパン)を検出するステップと；
（ｂ）デジタル画像コレクション内の重要なイベントを判定するステップと；
（ｃ）前記イベント時系列を統合するステップであって、前記検出された重要なイベントの間にあるイベント時系列上の検出イベントが、前記イベント時系列上でクラスタへ分類される、ステップ。

一般的なユーザのコレクションにおける画像と動画の数は、急速に増加しており、各ユーザは様々な写真撮影行動を有するかもしれないので、ユーザのコレクションから画像と重要なイベントに効率的にアクセスし検索できることについては、重要な必要性が存在する。本発明においては、検出イベントに関してユーザの写真撮影行動は、時系列に翻訳され、その時系列には各時間ステップに対してデータポイントが存在する。そして、適応的なイベントベースの時系列が作成され、検出イベントの重要性とイベントの時間粒状性との両方が考慮に入れられる。

画像と動画の整理と検索は、一般のコンシューマーには問題である。ユーザにとって、自分の画像コレクションのイベント概要（オーバービュー）に簡易にアクセスしブラウジングするようにできることは有益である。先行文献で開示される技術は、コレクションの画像をイベントに分類することを可能にするが、個々のユーザの写真撮影行動に従って、仕立て上げることのできるイベント時系列を適応的に構築することはできない。その結果、そのユーザにとって重要なイベントを見つけてアクセスする効果的なメカニズムに欠ける。本発明は、様々な時間スケールで、効果的なイベントベースの時系列を作成し、検出イベントの重要性とそのイベントの時間粒状性の両方が考慮される。この統合されたイベント時系列は、画像のコレクションからアルバムやスライドショーのような作品出力を作成するとき、画像を選択し、重要性を判定するのに使用され得る。

本発明は、コンピュータシステムにおいて実施することができ、これは当業者にはよく知られているだろう。以下の説明では、本発明の幾つかの実施形態は、ソフトウェアプログラムとして説明されるだろう。当業者であれば、そうした方法の均等が、本発明の適用範囲内で、ハードウェア又はソフトウェアとして構成されることも可能であることは容易に認識するだろう。

画像操作アルゴリズム及びシステムはよく知られているので、本説明の説明は、詳しくは、本発明の方法の一部を形成する、又は、より直接的には一緒に協働するアルゴリズム及びシステムに向けられるだろう。そのアルゴリズムとシステムの他の側面、及び、画像信号を生成する及びそうでなければ処理するためのハードウェア又はソフトウェアは、本明細書では特に示されないか又は説明されないが、当業界において知られるそうしたシステム、アルゴリズム、コンポーネント、及び要素から選択されることができるだろう。以下の明細書で説明される記述を前提として、そのソフトウェア実施の全ては、従来のもので、そうした技術の通常の知識の範囲内である。コレクション内の動画は、本明細書の残りの部分では、用語“画像”に含まれる。

本発明は、コンピュータハードウェア及びコンピュータ制御の装置において実施することができる。例えば、本方法は、デジタルカメラ、マルチメディアスマートフォン、デジタルプリンタの中で、プリンタサーバー上で、キオスクで、及びパーソナルコンピュータ上で実施することができる。図１を参照すると、本発明を実施するコンピュータシステムが例示されている。本コンピュータシステムは、好ましい実施形態を例示する目的で示されるものであるが、本発明は、図示のコンピュータシステムに限定されず、如何なる電子処理システム上でも使用することができ、例えば、デジタルカメラ、ホームコンピュータ、キオスク、又は、デジタル画像処理用の他の如何なるシステムでも使用され得る。コンピュータ１０は、マイクロプロセッサベースユニット２０を含み（本明細書ではプロセッサとしても言及される）、ソフトウェアプログラムを受信し処理し、そして、他の処理機能を実行する。メモリユニット３０は、ユーザが供給してコンピュータが生成したデータを保存し、そのデータは、コンピュータプログラムをランするとき、プロセッサ２０によってアクセスされ得る。（モニターのような）表示装置７０は、コンピュータ１０に電気的に接続され、例えばグラフィカルユーザインターフェースを用いて、そのソフトウェアに関連する情報とデータを表示する。キーボード６０も、そのコンピュータに接続される。入力用にキーボード６０を使用する代替として、当業界でよく知られているように、マウスが、表示装置７０上のセレクタを動かし、セレクタが重なっているアイテムを選択するために使用することができる。コンパクトディスク（ＣＤ）やＤＶＤのような入力デバイス５０は、コンピュータ１０に挿入されて、ソフトウェアプログラム及び他の情報をコンピュータ１０及びプロセッサ２０に入力する。更に、当業界でよく知られるように、コンピュータ１０はプログラムされることが可能で、そのソフトウェアプログラムは内部に保存される。加えて、（画像、音楽及び動画といった）メディアファイルを、コンピュータ１０のメモリ３０に転送することができ、それは、メモリカード、サムドライブ、ＣＤ及びＤＶＤのような入力デバイスを使用して、又は、（カメラ、携帯電話、ビデオレコーダといった）キャプチャーデバイスを入力デバイスとしてコンピュータ１０に直接接続することにより転送することができる。コンピュータ１０は、電話回線又は無線接続のようなネットワーク接続８０を有して、ローカルエリアネットワークやインターネットのような外部ネットワークに接続することができる。ソフトウェアプログラムとメディアファイルは、他のコンピュータやインターネットから、ネットワーク接続８０を介してコンピュータ１０へ転送することができる。

本発明は、ソフトウェアやハードウェアの組合せで実施することができ、物理的に接続された、又は、同じ物理的場所の範囲内にあるデバイスに限定されないことに留意すべきである。図１で示される１つ以上のデバイスは、遠隔に位置することができ、ネットワークを介して接続してもよい。その１つ以上のデバイスは、例えば無線周波数リンクのような無線で、直接に或いはネットワーク経由で接続することができる。

図２を参照すると、ユーザのデジタル画像コレクション１０５は、コンピュータ１０のメモリの中に存在する。図の他のブロックは、ソフトウェアプログラムによって実施され、コンピュータ１０のプロセッサ２０によって実行される。デジタル画像コレクション１０５は、イベント検出器１１０及び重要イベント検出器１１５に供給される。イベント検出器１１０は、ユーザのデジタル画像コレクション１０５をイベント表示にグループ化する。好ましい実施形態では、デジタル画像コレクション１０５は、米国特許第６，６０６，４１１号と米国特許第６，３５１，５５６号で説明されるイベント及びサブイベント検出器を用いて、時間的イベント及びサブイベントにグループ化される。上記の２つの特許は、デジタル画像コレクション内の画像と動画を時間的イベントとサブイベントにクラスタリングする方法を示す。用語”イベント“と”サブイベント“は、客観的な意味に用いられ、特定の出来事（イベントに対応）のユーザの主観的認識とそれらの出来事の部分（サブイベントに対応）に一致することを目的とする、コンピュータを利用した手順のプロダクトを示す。短く要約すると、全体のコレクションにわたる近接画像間の時間差ヒストグラムの二平均クラスタリングに基づいて、コレクションの近接画像間の時差の閾値を判定することにより、画像のコレクションはイベントに分類される。画像は、境界では前のステップで決定された閾値よりも高い時間差を持つことに基づいて、イベントに対応するグループに分類される。各イベントに対して、（もしあれば）サブイベントが、米国特許第６，３５１，５５６号に開示されるように、連続画像のカラーヒストグラム情報を比較することにより決定される。これは、或る画像を多数のブロックに分割し、そして各ブロックに対してカラーヒストグラムを計算することにより達成される。ブロックベースのヒストグラム相関手順が、サブイベントの境界を検出するため、米国特許第６，３５１，５５６号で説明されるように用いられる。画像を自動的にイベントに整理する他の方法が、米国特許第６，９１５，０１１号に開示されている。短く要約すれば、上述の発明の一側面に従って、イベントクラスタリング方法は、前景と背景の部分（セグメンテーション）を使って、画像をグループから類似のイベントへクラスタリングする。始めに、各画像は複数のブロックに分割され、それによりブロックベースの画像を供給する。ブロック毎の比較を使うことで、各ブロックベースの画像は、少なくとも前景と背景とを含む複数の領域にセグメンテーション化される。１つ以上の明度、色、位置又はサイズの特徴がその領域から抽出され、その抽出された特徴は、グループの連続画像の前景と背景を含む領域の類似性を推定し比較するように使用される。その後、連続画像間の全体の類似性の基準が計算され、それにより、連続画像間の画像距離が供給され、イベントグループがその画像距離から範囲が定められる。イベント時間帯は、イベントの始まりから終わりの間の時間であり、その時系列では、イベントの始まりは、そのイベント内の最初の画像の撮影時間によって表され、終わりは、そのイベントの最後の画像の撮影時間（又は、そのイベントが動画クリップで終わる場合は、動画部分の撮影の終わり）によって表される。

図２を参照すると、重要イベント検出器１１５がデジタル画像コレクション１０５内の重要イベントを識別する。デジタル画像コレクション１０５は、重要イベント検出器１１５に供給される。検出器は、キャプチャーデバイス（例えばカメラ）によるデジタル画像コレクション１０５の画像ファイル内に保存されたＥＸＩＦメタデータから抽出された画像取得データ及び時間情報を使用し、そのデジタル画像コレクション１０５によってカバーされる時間間隔の各カレンダー（暦）日に撮影された画像の数を示す時系列を生成する。この時系列は、その系列に適合するモデルを見つけるよう分析される。時系列モデリングには、多くの充分に確立した方法が存在する（"Introduction to Time Series and Forecasting”, Brockwell and Davis, Springer-Verlag 2002）。この状況に適したモデルは、ＡＲＩＭＡ（Auto-Regressive Integrated Moving Average）モデルである（Brockwell and Davis, supra, pp 179-187）。ＡＲＩＭＡモデル（ｐ、ｄ、ｑ）は、３つの主要なパラメータを有し、ｐは自己回帰コンポーネントの次数であり、ｑは移動平均コンポーネントの次数であり、ｄは定常性からの逸脱に対処するのに要する差分の次数である。コレクションの重要イベントは、その暦日に発生したものとして識別され、その重要イベントでは、その適合モデルと実際の時系列との間の誤差は所定の閾値よりも高く、即ち、その適合モデルは実際のデータを予測する能力がより低い。

図２を参照すると、イベント時系列統合器１２０は、イベント検出器１１０によって検出されたイベントと、重要イベント検出器１１５によって識別された重要イベントとを入力として受け取る。一実施形態では、イベント時系列統合器１２０は、時系列上に重要イベントを保持し、時系列上の近接する重要イベントの間に位置するイベントを、メタイベントといわれるクラスタに分類する。各イベントは、その時間帯（タイムスパン）によって特定される時系列の部分（セクション）を占める。一例として、図５の上段は、イベントと重要イベントとを有する或る時系列を示す。イベント時系列統合器は、図５の下段で示される出力を生成し、重要イベントの間のイベントはメタイベントにクラスタ化されている。その結果形成されるイベント時系列１５０は、減少した数の最上位グルーピングを有し、そのグルーピングは時系列上にメタイベント（イベントのクラスタ）と重要イベントとを含む。それ故、ユーザには、より統合された最上位ビュー（一覧）が提示され、その一方で関心のある潜在的イベント（重要イベント）を最上位ビューでアクセスできるように維持する。他のイベントは、メタイベントを拡張することによりアクセスでき、そのメタイベントは、カバーする継続時間によって表される（例えば、“２００９年２月２０日―４月２日”）。

米国特許第６，６０６，４１１号の方法は、数個のキーパラメータを供給し、如何なる所定の画像コレクションからも生成されるイベントやサブイベントの数を調整する。主要なパラメータ“粒状性”は、イベントクラスタリングの全体の粒状性を決定する。有効な値は［−１，１］の範囲にあり、０は“好適な”同調設定である。より大きな値は、そのアルゴリズムによって検出されるイベントの数を増加させ、より小さい値は、イベントの数を減少させる。実際の内部のメカニズムは、二平均クラスタリングの各種の閾値を調整するのに関係する。これらの閾値の幾つかは、全体的なヒストグラム比較のための上下の閾値、及び、複数ブロックヒストグラム比較のための上下の閾値を含み、２つのイベント又は２つのサブイベントを併合すべきかどうかの決定をする。検出されるイベントは、時系列内で、最も古いものから最近まで年代順に連続して並べられる。図６は、粒状性パラメータの様々な設定を使用して生成したイベントセットの一例である。そのグラフは、１年の期間の間に検出されたイベント数をプロットしている。示される例では、その丸一年の間の最終的なイベントの数は、供給される粒状性パラメータ設定に基づいて、１０以下から１７０近くにまで変化する。

図３を参照すると、デジタル画像コレクション１０５は、イベント検出器２１５によって、［−１，１］の範囲をカバーする値の範囲の粒状性パラメータセットを用いて処理される。デジタル画像コレクション１０５は、また、重要イベント検出器１１５によって処理され、その出力はイベント時系列統合器３２０へ供給される。イベント時系列統合器３２０の実施形態では、時系列は、重要イベントの周りの時間枠へ分割される。その時間枠の境界は、任意の２つの近接する重要イベントの間の時間の中間点にある。重要イベントを含む各時間枠では、最小の粒状性設定（最も少ない数のイベントを生成）で検出されたイベントが選択され、検出されたイベントとして重要イベントも含む。例えば、図７を参照すると、上段３つの時系列は、異なる粒状性での重要イベント検出器１１５の出力を示す（粒状性１が最小で、粒状性３が最大）。

重要イベントは、ハイライトのイベントである。最下の列は、様々な時間枠を用いて統合されたイベント時系列３５０を示し、その時間枠内の重要イベントの正確な代表表示を規定する最小粒状性に基づいて、様々な粒状性設定からイベントを選択する。この方法は、重要イベントが生成された時系列３５０上で利用可能で、他のイベントがその重要イベントの周りで適切な粒状性で表されることを確実にする。

図４を参照すると、デジタル画像コレクション１０５は、イベント検出器２１５によって、［−１，１］の範囲をカバーする値の範囲での粒状性パラメータセットを用いて処理される。デジタル画像コレクション１０５は、また、様々な粒状性の時間ビンを用いて、重要イベント検出器１１５によって処理される。時間ユニットのセットが決定され、これらの時間ユニットは、数ヶ月（１シーズンを撮影）、１ヶ月、１週間、１日、又は数時間であってもよく、ユニットのサイズは、粒状性として言及される。様々な粒状性の時系列は、所定の時間ユニット又はビン内で撮影された画像の数をカウントすることにより生成される。様々な粒状性４１５でのイベント検出器２１５及び重要イベント検出器１１５の出力は、追加入力４２０とともに、時間粒状性セレクタ４２５に供給される。時間粒状性セレクタ４２５は、時間粒状性を選択し、その時間粒状性に対応するイベントと重要イベントのセットを、その入力セットから抽出する。その追加入力４２０は、ユーザアクション、システム要件、又はユーザの好みを含むことができる。選択されたイベントと重要イベントのセットは、上述のイベント時系列統合器３２０へ渡され、統合された時系列４５０を生成する。イベント時系列統合器１２０は、また、イベント時系列統合器３２０の代わりに使用することが可能で、各時間粒状性に対して、様々な統合された時系列を生成する。本発明の一実施形態では、その後、ユーザはこのイベント時系列のセットから時系列を選択することができる。追加入力４２０は、以下のように使用される。ブラウジングの応用例では、イベントや重要イベントは、ユーザがコレクションを閲覧するために選択する時間粒状性で選択される。例えば、ユーザが数週間の短い時間帯を見ている場合、より微細な（高い数の）粒状性設定がイベントや重要イベントを選択するのに用いられる。一方、ユーザがより長い時間帯（例えば５年を越えるコレクション）を見ている場合、より低い値の粒状性がイベントや重要イベントを選択するのに用いられる。表示能力に関するシステム要件は、また、統合されたイベント時系列上の上位のイベントの数に影響を与え、そしてそれ故、選択される粒状性に影響を与える。例えば、凡そ１０のイベントがその表示装置に適合するなら、イベントや重要イベントの数がその数に近くなるように粒状性が選択される。ユーザは、また、或る一定の粒状性でイベントを見るための好みを設定することができ、そして、時間粒状性セレクタは、その所定のユーザに対して、この設定を選択する。

画像のコレクションから制作アルバム（ハードコピー）やスライドショー（ソフトコピー）を作成することの１つの課題は、含まれる画像の選択と、その各選択画像の上におかれるべき強調・重要度である。図８を参照すると、統合されたイベント時系列８１０（１５０，３５０又は４５０であってもよい）は、メディア選択モジュール８２０に供給され、そのメディア選択モジュール８２０は、デジタル画像コレクション１０５から、使用されるべき画像を選択する。メディア選択モジュール８２０は、また、出力仕様８１５を入力として受け取る。出力仕様８１５は、選択されるべき画像の数、及び、選択に使用されるべき時系列のセクションを含み、例えば、作品制作として写真カレンダーを生成するために、１年の時間帯から１２枚の画像を選択する。メディア選択モジュール８２０は、以下のように、選択される時間帯内でイベントの優先順位をつける。重要イベント内の画像の数を或る重要度ファクター（例えば２．０）で乗算することにより増大させたのち、イベントは、イベント内の画像の数に比例して重み付けされる。出力仕様の画像の数は、イベントの重み付けに比例して、イベント内に分配される。ｎ_１・・ｎ_ｍをｍ個のイベントの画像カウントとすると：
重要イベントに対しては、ｎ＝（重要度ファクター＊実際の画像カウント）で、その他のイベント（非重要イベント）に対しては、ｎ＝実際の画像カウントである。そして、任意のイベントｋに割り当てられた重み付けは

であり、このイベントに割り当てられた画像の数は（重み付け＊出力仕様によって特定される画像の数）である。割り当てられた画像の部分の数は、整数に丸められる必要があることに留意すべきであり、それ故、幾つかのイベントは、それに割り当てられた０画像を受け取る（０．５未満の画像が割り当てられる場合）。

特定のイベントからの所定数の画像の選択は、等しい間隔でイベント画像をサンプリングすることに基づいて単純に行われる。この選択を実行するための、よりインテリジェントな方法も存在し、画像品質、多様性、及び、人々や対象物の存在のような意味特徴を考慮してなされるもので、このステップにおいて使用することができる。例えば、その選択は画像の技術的品質（A.Loui, M.Wood, A.Scalise, and J.Birkelund, “Multidimensional image value assessment and rating for automated albuming and retrieval, “Proc. IEEE Intern. Conf. on Image Processing (ICIP), San Diego, California, October 12-15, 2008）、又は、画像の審美的品質（C.Cerosaletti, and A.Loui,”Measuring the perceived aesthetic quality of photographic images, “Proc.1^st International Workshop on Quality of Multimedia Experience (QoMEX), San Diego, California, July 29-31,2009）に基づいて行われることも可能である。しかしながら、これは、イベントレベルでの選択と重み付けメカニズムを提供しようとする本発明の焦点ではない。

選択された画像は、重要度オペレータ８２５に供給される。その重要度オペレータ８２５は、重要度スコアを生成して、選択されたセットから特定の画像をハイライトする。一実施形態では、非重要イベントからの画像は、初期設定の重要度スコアを有し、一方、重要イベントに属する選択された画像は、１．０より大きい重要度ファクターで初期設定スコアを乗算することによって、重要度スコアが割り当てられる。重要度スコアは、画像の技術的品質のスコア(A.Loui, M.Wood, A.Scalise, and J.Birkelund, “Multidimensional image value assessment and rating for automated albuming and retrieval, “Proc. IEEE Intern. Conf. on Image Processing (ICIP), San Diego, California, October 12-15, 2008）、画像の審美的品質のスコア（C.Cerosaletti, and A.Loui,”Measuring the perceived aesthetic quality of photographic images, “Proc.1^st International Workshop on Quality of Multimedia Experience (QoMEX), San Diego, California, July 29-31,2009）、又はこれら２つのスコアの組合せに基づくことも可能である。出力作成モジュール８５０は、重要度スコアと画像選択とを使用し、画像の創造的な提示を実現する。（フォトブック、カレンダー、カードのような）ハードコピーには、重要度スコアは、出力における画像のサイズ、又はページにおける位置を目立たせることをコントロールできる。（デジタルフォトフレーム、コンピュータモニター、又は他の表示装置上のスライドショーのような）ソフトコピーには、重要度スコアは、その画像の上映時間を割り当てるように使用することができ、即ち、より高い重要度スコアを有する画像はより長い時間表示される。より高い重要度スコアは、また、両方の提示形態において、画像の周りの装飾ボックスのようにハイライトするトリガーを与えてもよい。

図1は、本発明を実施するシステムのブロックダイアグラムを示す。 図2は、図1によって実施される方法の全般的なフローチャートを示す。 図３は、図２の方法の一実施形態を示す、より詳細なフローチャートを示す。 図４は、図２の方法の第２の実施形態を示す、より詳細なフローチャートを示す。 図５は、図２のイベント時系列統合器１２０の入力及び出力の特定例を示す。 図６は、様々な粒状性設定２１５で生成されたイベントの特定例を示す。 図７は、図４のイベント時系列統合器３２０の入出力の特定例を示す。 図８は、出力生成用の統合されたイベント時系列を使用した例のフローチャートを示す。

１０ コンピュータ
２０ プロセッサ
３０ メモリ
５０ 入力デバイス
６０ キーボード
７０ 表示デバイス
８０ ネットワーク接続
１０５ デジタル画像コレクション
１１０ イベント検出器
１１５ 重要イベント検出器
１２０ イベント時系列統合器
１５０ 統合されたイベント時系列
２１５ 様々な粒状性でのイベント検出器
３２０ イベント時系列統合器
３５０ 統合されたイベント時系列
４１５ 様々な粒状性での重要イベント検出器
４２０ 追加入力
４２５ 時間粒状性セレクタ
４５０ 統合されたイベント時系列
８１０ 統合されたイベント時系列
８１５ 出力仕様
８２０ メディア選択モジュール
８２５ 重要度オペレータ
８５０ 出力作成モジュール

Claims (11)

1. デジタル画像コレクションのイベント時系列を統合する方法であって、該方法はプロセッサを用いて：
   （ａ）前記デジタル画像コレクション内のイベントと、各イベントの関連付けられた時間枠とを検出するステップと；
   （ｂ）前記検出されたイベントが、前記デジタル画像コレクション内で重要であることを決定するステップと；
   （ｃ）前記検出された重要イベントの間にある、前記イベント時系列上の検出されたイベントが、前記イベント時系列上のクラスタに分類されるよう、前記イベント時系列を統合するステップと、を実行する方法。
2. 前記ステップ（ａ）は、選択された時間粒状性に基づいて、イベントを検出するステップを含む、請求項１記載の方法。
3. ユーザが、少なくとも１つの検出されたイベントに関連する画像をブラウジングするステップを更に含む、請求項２記載の方法。
4. デジタル画像コレクションのイベント時系列を統合する方法であって、各イベント時系列に対してプロセッサを用いて：
   （ａ）イベント時系列毎に異なる選択された時間粒状性に基づいて、デジタル画像コレクション内のイベントと、各イベントの関連する時間枠とを検出するステップと；
   （ｂ）前記検出されたイベントが、各イベント時系列のデジタル画像コレクション内で重要であることを決定するステップと；
   （ｃ）前記検出された重要イベントの間にある、前記イベント時系列上の検出されたイベントが、前記イベント時系列上のクラスタに分類されるよう、前記イベント時系列を統合するステップであって、それによって、複数のイベント時系列が生成され、各時系列は様々な時間粒状性を有する、ステップと、を実行する方法。
5. ユーザがイベント時系列のセットから１つの時系列を選択するステップを更に含む、請求項４記載の方法。
6. ユーザが前記選択された時系列の少なくとも１つの検出されたイベントに関連する画像をブラウジングすることを更に含む、請求項５記載の方法。
7. デジタル画像コレクションのイベント時系列を統合する方法であって、該方法は、プロセッサを用いて：
   （ａ）様々な時間粒状性で、前記デジタル画像コレクション内のイベントと、各イベントの関連付けられた時間枠とを検出するステップと；
   （ｂ）前記検出されたイベントが前記デジタル画像コレクション内において各時間粒状性で重要であることを決定するステップと；
   （ｃ）前記イベント時系列上で時間枠毎にイベント検出の前記粒状性を選択するステップと；
   （ｄ）各時間枠内のイベント時系列上の検出されたイベントが、前記時間枠の選択された前記粒状性に基づくよう、前記イベント時系列を統合するステップと、を実行する方法。
8. イベント検出の前記時間粒状性の前記選択は、如何なる時間枠の間も重要イベントを保持する、最少数の検出されたイベントの選択に基づいてなされる、請求項７記載の方法。
9. ハードコピー又はソフトコピー出力に使用される、デジタル画像コレクションから所定数の画像を選択する方法であって、該方法は、プロセッサを用いて：
   （ａ）前記デジタル画像コレクション内のイベントと、各イベントの関連付けられた時間枠とを検出するステップと；
   （ｂ）前記検出されたイベントが、前記デジタル画像コレクション内で重要であることを決定するステップと；
   （ｃ）前記イベントの重要性と前記イベントの範囲内の画像の数とに基づいて、各イベントに重み付けを割り当てるステップと；
   （ｄ）前記割り当てられた重み付けに応じて、所定の画像の数を選択するステップと、を実行する方法。
10. 重要度オペレータを用いて、重要度スコアを生成し、該スコアを用いて、前記出力の提示をコントロールするステップを更に含む、請求項９記載の方法。
11. 前記ハードコピー出力には、アルバム、カレンダー、フォトブック、合成画、又はカードを含み、前記ソフトコピー出力には、スライドショー、デジタルフレーム、又は合成画を含む、請求項９記載の方法。

Images