JP2013520725A5

JP2013520725A5 -

Info

Publication number: JP2013520725A5
Application number: JP2012553936A
Authority: JP
Filing date: 2011-02-08
Publication date: 2014-03-27

Description

コンシューマー画像コレクション内の適応的イベントタイムライン

本発明は、一般的にはデジタル画像処理の分野に関し、詳しくは、コンシューマー画像コレクションの効率的な管理及びイベントの検索のための、デジタル画像のグループの体系化方法に関する。

デジタルカメラ、カメラ付携帯電話及びスキャナーの普及は、デジタル画像及び動画の急増をもたらし、大きな個人用マルチメディアデータベースを形成している。デジタル写真を撮ることは簡単で実際的には無料なので、コンシューマーは重要なイベントや特別な機会に写真を撮ることを全く制限していない。画像は頻繁に撮影され、コンシューマーの生活の日常的出来事になっている。一般的なユーザは何年ものデジタル画像や動画をすでに蓄積しているので、特定のイベントの間に撮られた画像や動画を見つけるようコレクションをブラウジングするのは、コンシューマーにとってはとても時間のかかるプロセスである。

画像をイベントにグループ化する研究は存在した。米国特許第６，６０６，４１１号（特許文献１）及び米国特許第６，３５１，５５６号（特許文献２）は、画像コンテンツを時間的イベントやサブイベントによりクラスタリングするアルゴリズムを開示する。前記２つの特許は、デジタル画像コレクションの画像と動画を時間的イベントやサブイベントにクラスタリングする方法を示している。用語”イベント“と”サブイベント“とは、客観的な意味において用いられ、特定の出来事のユーザの客観的な認識（イベントに対応）、及びそうした出来事の部分（サブイベントに対応）との一致を目的とするコンピュータを利用した手順のプロダクトを示す。画像を自動的に体系化する他の方法が、米国特許第６，９１５，０１１号(特許文献３)に開示されている。検出されたイベントは、最も古くから最近まで時系列（タイムライン）で年代順に並べられる。

上記の方法を用いて、ユーザによって特定のイベントを位置づけるのに必要とされるブラウジングの量は、各画像サムネールの代わりに、タイムラインに沿ったイベントの代表を見ることにより減少され得る。しかしながら、一般的なユーザは毎年100を越えるイベントを創出することがあり、より大量の画像を撮影する人は、一年で数百の検出イベントを容易に越えることがある。全体のイベントタイムライン構造を構築する必要性は今もあり、そのイベントタイムライン構造は、ユーザの写真撮影行動と同様に、そのコレクションにおけるイベントの時間粒度にも適応可能であって、さらに、全体のコレクション又はコレクション内の所定期間を要約するイベントのサブセットを選択することも可能である。

米国特許第６，６０６，４１１号米国特許第６，３５１，５５６号米国特許第６，９１５，０１１号

本発明の課題は、上述した画像コレクションの体系化されたイベントタイムラインを提案することである。

本発明に従って、デジタル画像コレクションのイベントタイムラインを体系化する方法が提案され、以下のステップを実行するプロセッサを使用する：
（ａ）デジタル画像コレクションのイベント及び各イベントに関連する時間枠(タイムスパン)を検出するステップと；
（ｂ）デジタル画像コレクション内の重要なイベントを判定するステップと；
（ｃ）前記イベントタイムラインを体系化するステップであって、前記検出された重要なイベントの間にあるイベントタイムライン上の検出イベントが、前記イベントタイムライン上でクラスタへ分類される、ステップ。

一般的なユーザのコレクションにおける画像と動画の数は、急速に増加しており、各ユーザは様々な写真撮影行動を有するかもしれないので、ユーザのコレクションから画像と重要なイベントに効率的にアクセスし検索できることについては、重要な必要性が存在する。本発明においては、検出イベントに関してユーザの写真撮影行動は、タイムラインに翻訳され、そのタイムラインには各時間ステップに対してデータポイントが存在する。そして、適応的なイベントベースのタイムラインが作成され、検出イベントの重要性とイベントの時間粒度との両方が考慮に入れられる。

画像と動画の整理と検索は、一般のコンシューマーには問題である。ユーザにとって、自分の画像コレクションのイベント概要（オーバービュー）に簡易にアクセスしブラウジングするようにできることは有益である。先行文献で開示される技術は、コレクションの画像をイベントに分類することを可能にするが、個々のユーザの写真撮影行動に従って、仕立て上げることのできるイベントタイムラインを適応的に構築することはできない。その結果、そのユーザにとって重要なイベントを見つけてアクセスする効果的なメカニズムに欠ける。本発明は、様々な時間スケールで、効果的なイベントベースのタイムラインを作成し、検出イベントの重要性とそのイベントの時間粒度の両方が考慮される。この体系化されたイベントタイムラインは、画像のコレクションからアルバムやスライドショーのような作品出力を作成するとき、画像を選択し、重要性を判定するのに使用され得る。

本発明は、コンピュータシステムにおいて実施することができ、これは当業者にはよく知られているだろう。以下の説明では、本発明の幾つかの実施形態は、ソフトウェアプログラムとして説明されるだろう。当業者であれば、そうした方法の均等が、本発明の適用範囲内で、ハードウェア又はソフトウェアとして構成されることも可能であることは容易に認識するだろう。

画像操作アルゴリズム及びシステムはよく知られているので、本説明の説明は、詳しくは、本発明の方法の一部を形成する、又は、より直接的には一緒に協働するアルゴリズム及びシステムに向けられるだろう。そのアルゴリズムとシステムの他の側面、及び、画像信号を生成する及びそうでなければ処理するためのハードウェア又はソフトウェアは、本明細書では特に示されないか又は説明されないが、当業界において知られるそうしたシステム、アルゴリズム、コンポーネント、及び要素から選択されることができるだろう。以下の明細書で説明される記述を前提として、そのソフトウェア実施の全ては、従来のもので、そうした技術の通常の知識の範囲内である。コレクション内の動画は、本明細書の残りの部分では、用語“画像”に含まれる。

本発明は、コンピュータハードウェア及びコンピュータ制御の装置において実施することができる。例えば、本方法は、デジタルカメラ、マルチメディアスマートフォン、デジタルプリンタの中で、プリンタサーバー上で、キオスクで、及びパーソナルコンピュータ上で実施することができる。図１を参照すると、本発明を実施するコンピュータシステムが例示されている。本コンピュータシステムは、好ましい実施形態を例示する目的で示されるものであるが、本発明は、図示のコンピュータシステムに限定されず、如何なる電子処理システム上でも使用することができ、例えば、デジタルカメラ、ホームコンピュータ、キオスク、又は、デジタル画像処理用の他の如何なるシステムでも使用され得る。コンピュータ１０は、マイクロプロセッサベースユニット２０を含み（本明細書ではプロセッサとしても言及される）、ソフトウェアプログラムを受信し処理し、そして、他の処理機能を実行する。メモリユニット３０は、ユーザが供給してコンピュータが生成したデータを保存し、そのデータは、コンピュータプログラムをランするとき、プロセッサ２０によってアクセスされ得る。（モニターのような）表示装置７０は、コンピュータ１０に電気的に接続され、例えばグラフィカルユーザインターフェースを用いて、そのソフトウェアに関連する情報とデータを表示する。キーボード６０も、そのコンピュータに接続される。入力用にキーボード６０を使用する代替として、当業界でよく知られているように、マウスが、表示装置７０上のセレクタを動かし、セレクタが重なっているアイテムを選択するために使用することができる。コンパクトディスク（ＣＤ）やＤＶＤのような入力デバイス５０は、コンピュータ１０に挿入されて、ソフトウェアプログラム及び他の情報をコンピュータ１０及びプロセッサ２０に入力する。更に、当業界でよく知られるように、コンピュータ１０はプログラムされることが可能で、そのソフトウェアプログラムは内部に保存される。加えて、（画像、音楽及び動画といった）メディアファイルを、コンピュータ１０のメモリ３０に転送することができ、それは、メモリカード、サムドライブ、ＣＤ及びＤＶＤのような入力デバイスを使用して、又は、（カメラ、携帯電話、ビデオレコーダといった）キャプチャーデバイスを入力デバイスとしてコンピュータ１０に直接接続することにより転送することができる。コンピュータ１０は、電話回線又は無線接続のようなネットワーク接続８０を有して、ローカルエリアネットワークやインターネットのような外部ネットワークに接続することができる。ソフトウェアプログラムとメディアファイルは、他のコンピュータやインターネットから、ネットワーク接続８０を介してコンピュータ１０へ転送することができる。

本発明は、ソフトウェアやハードウェアの組合せで実施することができ、物理的に接続された、又は、同じ物理的場所の範囲内にあるデバイスに限定されないことに留意すべきである。図１で示される１つ以上のデバイスは、遠隔に位置することができ、ネットワークを介して接続してもよい。その１つ以上のデバイスは、例えば無線周波数リンクのような無線で、直接に或いはネットワーク経由で接続することができる。

図２を参照すると、ユーザのデジタル画像コレクション１０５は、コンピュータ１０のメモリの中に存在する。図の他のブロックは、ソフトウェアプログラムによって実施され、コンピュータ１０のプロセッサ２０によって実行される。デジタル画像コレクション１０５は、イベント検出器１１０及び重要イベント検出器１１５に供給される。イベント検出器１１０は、ユーザのデジタル画像コレクション１０５をイベント表示にグループ化する。好ましい実施形態では、デジタル画像コレクション１０５は、米国特許第６，６０６，４１１号と米国特許第６，３５１，５５６号で説明されるイベント及びサブイベント検出器を用いて、時間的イベント及びサブイベントにグループ化される。上記の２つの特許は、デジタル画像コレクション内の画像と動画を時間的イベントとサブイベントにクラスタリングする方法を示す。用語”イベント“と”サブイベント“は、客観的な意味に用いられ、特定の出来事（イベントに対応）のユーザの主観的認識とそれらの出来事の部分（サブイベントに対応）に一致することを目的とする、コンピュータを利用した手順のプロダクトを示す。短く要約すると、全体のコレクションにわたる近接画像間の時間差ヒストグラムの二平均クラスタリングに基づいて、コレクションの近接画像間の時差の閾値を判定することにより、画像のコレクションはイベントに分類される。画像は、境界では前のステップで決定された閾値よりも高い時間差を持つことに基づいて、イベントに対応するグループに分類される。各イベントに対して、（もしあれば）サブイベントが、米国特許第６，３５１，５５６号に開示されるように、連続画像のカラーヒストグラム情報を比較することにより決定される。これは、或る画像を多数のブロックに分割し、そして各ブロックに対してカラーヒストグラムを計算することにより達成される。ブロックベースのヒストグラム相関手順が、サブイベントの境界を検出するため、米国特許第６，３５１，５５６号で説明されるように用いられる。画像を自動的にイベントに体系化する他の方法が、米国特許第６，９１５，０１１号に開示されている。短く要約すれば、上述の発明の一側面に従って、イベントクラスタリング方法は、前景と背景の部分（セグメンテーション）を使って、画像をグループから類似のイベントへクラスタリングする。始めに、各画像は複数のブロックに分割され、それによりブロックベースの画像を供給する。ブロック毎の比較を使うことで、各ブロックベースの画像は、少なくとも前景と背景とを含む複数の領域にセグメンテーション化される。１つ以上の明度、色、位置又はサイズの特徴がその領域から抽出され、その抽出された特徴は、グループの連続画像の前景と背景を含む領域の類似性を推定し比較するように使用される。その後、連続画像間の全体の類似性の基準が計算され、それにより、連続画像間の画像距離が供給され、イベントグループがその画像距離から範囲が定められる。イベント時間帯は、イベントの始まりから終わりの間の時間であり、その時系列では、イベントの始まりは、そのイベント内の最初の画像の撮影時間によって表され、終わりは、そのイベントの最後の画像の撮影時間（又は、そのイベントが動画クリップで終わる場合は、動画部分の撮影の終わり）によって表される。

図２を参照すると、重要イベント検出器１１５がデジタル画像コレクション１０５内の重要イベントを識別する。デジタル画像コレクション１０５は、重要イベント検出器１１５に供給される。検出器は、キャプチャーデバイス（例えばカメラ）によるデジタル画像コレクション１０５の画像ファイル内に保存されたＥＸＩＦメタデータから抽出された画像取得データ及び時間情報を使用し、そのデジタル画像コレクション１０５によってカバーされる時間間隔の各カレンダー（暦）日に撮影された画像の数を示す時系列を生成する。この時系列は、その系列に適合するモデルを見つけるよう分析される。時系列モデリングには、多くの充分に確立した方法が存在する（"Introduction to Time Series and Forecasting”, Brockwell and Davis, Springer-Verlag 2002）。この状況に適したモデルは、ＡＲＩＭＡ（Auto-Regressive Integrated Moving Average）モデルである（Brockwell and Davis, supra, pp 179-187）。ＡＲＩＭＡモデル（ｐ、ｄ、ｑ）は、３つの主要なパラメータを有し、ｐは自己回帰コンポーネントの次数であり、ｑは移動平均コンポーネントの次数であり、ｄは定常性からの逸脱に対処するのに要する差分の次数である。コレクションの重要イベントは、その暦日に発生したものとして識別され、その重要イベントでは、その適合モデルと実際の時系列との間の誤差は所定の閾値よりも高く、即ち、その適合モデルは実際のデータを予測する能力がより低い。

図２を参照すると、イベントタイムライン体系化器１２０は、イベント検出器１１０によって検出されたイベントと、重要イベント検出器１１５によって識別された重要イベントとを入力として受け取る。一実施形態では、イベントタイムライン体系化器１２０は、タイムライン上に重要イベントを保持し、タイムライン上の近接する重要イベントの間に位置するイベントを、メタイベントといわれるクラスタに分類する。各イベントは、その時間帯（タイムスパン）によって特定されるタイムラインの部分（セクション）を占める。一例として、図５の上段は、イベントと重要イベントとを有する或るタイムラインを示す。イベントタイムライン体系化器は、図５の下段で示される出力を生成し、重要イベントの間のイベントはメタイベントにクラスタ化されている。その結果体系化されるイベントタイムライン１５０は、減少した数の最上位グルーピングを有し、そのグルーピングはタイムライン上にメタイベント（イベントのクラスタ）と重要イベントとを含む。それ故、ユーザには、より統合された最上位ビュー（一覧）が提示され、その一方で関心のある潜在的イベント（重要イベント）を最上位ビューでアクセスできるように維持する。他のイベントは、メタイベントを拡張することによりアクセスでき、そのメタイベントは、カバーする継続時間によって表される（例えば、“２００９年２月２０日―４月２日”）。

米国特許第６，６０６，４１１号の方法は、数個のキーパラメータを供給し、如何なる所定の画像コレクションからも生成されるイベントやサブイベントの数を調整する。主要なパラメータ“粒度”は、イベントクラスタリングの全体の粒度を決定する。有効な値は［−１，１］の範囲にあり、０は“好適な”同調設定である。より大きな値は、そのアルゴリズムによって検出されるイベントの数を増加させ、より小さい値は、イベントの数を減少させる。実際の内部のメカニズムは、二平均クラスタリングの各種の閾値を調整するのに関係する。これらの閾値の幾つかは、全体的なヒストグラム比較のための上下の閾値、及び、複数ブロックヒストグラム比較のための上下の閾値を含み、２つのイベント又は２つのサブイベントを併合すべきかどうかの決定をする。検出されるイベントは、タイムライン内で、最も古いものから最近まで年代順に連続して並べられる。図６は、粒度パラメータの様々な設定を使用して生成したイベントセットの一例である。そのグラフは、１年の期間の間に検出されたイベント数をプロットしている。示される例では、その丸一年の間の最終的なイベントの数は、供給される粒度パラメータ設定に基づいて、１０以下から１７０近くにまで変化する。

図３を参照すると、デジタル画像コレクション１０５は、イベント検出器２１５によって、［−１，１］の範囲をカバーする値の範囲の粒度パラメータセットを用いて処理される。デジタル画像コレクション１０５は、また、重要イベント検出器１１５によって処理され、その出力はイベントタイムライン体系化器３２０へ供給される。イベントタイムライン体系化器３２０の実施形態では、タイムラインは、重要イベントの周りの時間枠へ分割される。その時間枠の境界は、任意の２つの近接する重要イベントの間の時間の中間点にある。重要イベントを含む各時間枠では、最小の粒度設定（最も少ない数のイベントを生成）で検出されたイベントが選択され、検出されたイベントとして重要イベントも含む。例えば、図７を参照すると、上段３つのタイムラインは、異なる粒度での重要イベント検出器１１５の出力を示す（粒度１が最小で、粒度３が最大）。

重要イベントは、ハイライトのイベントである。最下の列は、様々な時間枠を用いて体系化されたイベントタイムライン３５０を示し、その時間枠内の重要イベントの正確な代表表示を規定する最小粒度に基づいて、様々な粒度設定からイベントを選択する。この方法は、重要イベントが体系化されたタイムライン３５０上で利用可能で、他のイベントがその重要イベントの周りで適切な粒度で表されることを確実にする。

図４を参照すると、デジタル画像コレクション１０５は、イベント検出器２１５によって、［−１，１］の範囲をカバーする値の範囲での粒度パラメータセットを用いて処理される。デジタル画像コレクション１０５は、また、様々な粒度の時間ビンを用いて、重要イベント検出器１１５によって処理される。時間ユニットのセットが決定され、これらの時間ユニットは、数ヶ月（１シーズンを撮影）、１ヶ月、１週間、１日、又は数時間であってもよく、ユニットのサイズは、粒度として言及される。様々な粒度の時系列は、所定の時間ユニット又はビン内で撮影された画像の数をカウントすることにより生成される。様々な粒度４１５でのイベント検出器２１５及び重要イベント検出器１１５の出力は、追加入力４２０とともに、時間粒度セレクタ４２５に供給される。時間粒度セレクタ４２５は、時間粒度を選択し、その時間粒度に対応するイベントと重要イベントのセットを、その入力セットから抽出する。その追加入力４２０は、ユーザアクション、システム要件、又はユーザの好みを含むことができる。選択されたイベントと重要イベントのセットは、上述のイベントタイムライン体系化器３２０へ渡され、体系化されたタイムライン４５０を生成する。イベントタイムライン体系化器１２０は、また、イベントタイムライン体系化器３２０の代わりに使用することが可能で、各時間粒度に対して、様々な体系化されたタイムラインを生成する。本発明の一実施形態では、その後、ユーザはこのイベントタイムラインのセットからタイムラインを選択することができる。追加入力４２０は、以下のように使用される。ブラウジングの応用例では、イベントや重要イベントは、ユーザがコレクションを閲覧するために選択する時間粒度で選択される。例えば、ユーザが数週間の短い時間帯を見ている場合、より微細な（高い数の）粒度設定がイベントや重要イベントを選択するのに用いられる。一方、ユーザがより長い時間帯（例えば５年を越えるコレクション）を見ている場合、より低い値の粒度がイベントや重要イベントを選択するのに用いられる。表示能力に関するシステム要件は、また、体系化されたイベントタイムライン上の上位のイベントの数に影響を与え、そしてそれ故、選択される粒度に影響を与える。例えば、凡そ１０のイベントがその表示装置に適合するなら、イベントや重要イベントの数がその数に近くなるように粒度が選択される。ユーザは、また、或る一定の粒度でイベントを見るための好みを設定することができ、そして、時間粒度セレクタは、その所定のユーザに対して、この設定を選択する。

画像のコレクションから制作アルバム（ハードコピー）やスライドショー（ソフトコピー）を作成することの１つの課題は、含まれる画像の選択と、その各選択画像の上におかれるべき強調・重要度である。図８を参照すると、体系化されたイベントタイムライン８１０（１５０，３５０又は４５０であってもよい）は、メディア選択モジュール８２０に供給され、そのメディア選択モジュール８２０は、デジタル画像コレクション１０５から、使用されるべき画像を選択する。メディア選択モジュール８２０は、また、出力仕様８１５を入力として受け取る。出力仕様８１５は、選択されるべき画像の数、及び、選択に使用されるべきタイムラインのセクションを含み、例えば、作品制作として写真カレンダーを生成するために、１年の時間帯から１２枚の画像を選択する。メディア選択モジュール８２０は、以下のように、選択される時間帯内でイベントの優先順位をつける。重要イベント内の画像の数を或る重要度ファクター（例えば２．０）で乗算することにより増大させたのち、イベントは、イベント内の画像の数に比例して重み付けされる。出力仕様の画像の数は、イベントの重み付けに比例して、イベント内に分配される。ｎ_１・・ｎ_ｍをｍ個のイベントの画像カウントとすると：
重要イベントに対しては、ｎ＝（重要度ファクター＊実際の画像カウント）で、その他のイベント（非重要イベント）に対しては、ｎ＝実際の画像カウントである。そして、任意のイベントｋに割り当てられた重み付けは

であり、このイベントに割り当てられた画像の数は（重み付け＊出力仕様によって特定される画像の数）である。割り当てられた画像の部分の数は、整数に丸められる必要があることに留意すべきであり、それ故、幾つかのイベントは、それに割り当てられた０画像を受け取る（０．５未満の画像が割り当てられる場合）。

特定のイベントからの所定数の画像の選択は、等しい間隔でイベント画像をサンプリングすることに基づいて単純に行われる。この選択を実行するための、よりインテリジェントな方法も存在し、画像品質、多様性、及び、人々や対象物の存在のような意味特徴を考慮してなされるもので、このステップにおいて使用することができる。例えば、その選択は画像の技術的品質（A.Loui, M.Wood, A.Scalise, and J.Birkelund, “Multidimensional image value assessment and rating for automated albuming and retrieval, “Proc. IEEE Intern. Conf. on Image Processing (ICIP), San Diego, California, October 12-15, 2008）、又は、画像の審美的品質（C.Cerosaletti, and A.Loui,”Measuring the perceived aesthetic quality of photographic images, “Proc.1^st International Workshop on Quality of Multimedia Experience (QoMEX), San Diego, California, July 29-31,2009）に基づいて行われることも可能である。しかしながら、これは、イベントレベルでの選択と重み付けメカニズムを提供しようとする本発明の焦点ではない。

選択された画像は、重要度オペレータ８２５に供給される。その重要度オペレータ８２５は、重要度スコアを生成して、選択されたセットから特定の画像をハイライトする。一実施形態では、非重要イベントからの画像は、初期設定の重要度スコアを有し、一方、重要イベントに属する選択された画像は、１．０より大きい重要度ファクターで初期設定スコアを乗算することによって、重要度スコアが割り当てられる。重要度スコアは、画像の技術的品質のスコア(A.Loui, M.Wood, A.Scalise, and J.Birkelund, “Multidimensional image value assessment and rating for automated albuming and retrieval, “Proc. IEEE Intern. Conf. on Image Processing (ICIP), San Diego, California, October 12-15, 2008）、画像の審美的品質のスコア（C.Cerosaletti, and A.Loui,”Measuring the perceived aesthetic quality of photographic images, “Proc.1^st International Workshop on Quality of Multimedia Experience (QoMEX), San Diego, California, July 29-31,2009）、又はこれら２つのスコアの組合せに基づくことも可能である。出力作成モジュール８５０は、重要度スコアと画像選択とを使用し、画像の創造的な提示を実現する。（フォトブック、カレンダー、カードのような）ハードコピーには、重要度スコアは、出力における画像のサイズ、又はページにおける位置を目立たせることをコントロールできる。（デジタルフォトフレーム、コンピュータモニター、又は他の表示装置上のスライドショーのような）ソフトコピーには、重要度スコアは、その画像の上映時間を割り当てるように使用することができ、即ち、より高い重要度スコアを有する画像はより長い時間表示される。より高い重要度スコアは、また、両方の提示形態において、画像の周りの装飾ボックスのようにハイライトするトリガーを与えてもよい。

図1は、本発明を実施するシステムのブロックダイアグラムを示す。図2は、図1によって実施される方法の全般的なフローチャートを示す。図３は、図２の方法の一実施形態を示す、より詳細なフローチャートを示す。図４は、図２の方法の第２の実施形態を示す、より詳細なフローチャートを示す。図５は、図２のイベントタイムライン体系化器１２０の入力及び出力の特定例を示す。図６は、様々な粒度設定２１５で生成されたイベントの特定例を示す。図７は、図４のイベントタイムライン体系化器３２０の入出力の特定例を示す。図８は、出力生成用の体系化されたイベントタイムラインを使用した例のフローチャートを示す。

１０コンピュータ
２０プロセッサ
３０メモリ
５０入力デバイス
６０キーボード
７０表示デバイス
８０ネットワーク接続
１０５デジタル画像コレクション
１１０イベント検出器
１１５重要イベント検出器
１２０イベントタイムライン体系化器
１５０体系化されたイベントタイムライン
２１５様々な粒度でのイベント検出器
３２０イベントタイムライン体系化器
３５０体系化されたイベントタイムライン
４１５様々な粒度での重要イベント検出器
４２０追加入力
４２５時間粒度セレクタ
４５０体系化されたイベントタイムライン
８１０体系化されたイベントタイムライン
８１５出力仕様
８２０メディア選択モジュール
８２５重要度オペレータ
８５０出力作成モジュール

Claims

デジタル画像コレクションを体系化する方法であって：
コンピューティングデバイスが、前記デジタル画像コレクション内の複数イベントと、前記複数イベントのうちの各イベントに関連付けられた時間枠とを検出するステップと；
前記コンピューティングデバイスが、前記デジタル画像コレクション内の前記複数イベントから重要イベントを決定するステップであって、前記重要イベントを決定するステップは：
前記デジタル画像コレクションによってカバーされるある期間内に撮影された画像の数を示す時系列を生成するステップと；
前記重要イベントを識別するモデルを見出すために前記時系列を解析するステップと；
前記モデルと前記時系列との誤差が所定の閾値を超える期間を識別するステップと；
を含む、ステップと；
前記コンピューティングデバイスが、前記複数イベントをイベントタイムラインに体系化するステップであって、前記の決定された重要イベントの間にあるイベントタイムライン上の検出されたイベントが、前記イベントタイムライン上のクラスタに分類されるようにする、ステップと；
を含む、方法。
前記複数イベントを検出するステップは、選択された時間粒度に基づいて、前記複数イベントを検出するステップを含む、請求項１記載の方法。
ユーザが、前記複数イベントのうち少なくとも１つの検出されたイベントに関連する画像をブラウジングすることが可能となるステップを更に含む、請求項２記載の方法。
デジタル画像コレクションを体系化する方法であって：
コンピューティングデバイスが、第１の選択された時間粒度に基づいて、第１のイベントタイムラインに対する前記デジタル画像コレクション内の第１の複数イベントと、前記第１の複数イベントのうちの各イベントに関連する時間枠とを検出するステップと；
前記コンピューティングデバイスが、前記第１の選択された時間粒度とは異なる第２の選択された時間粒度に基づいて、第２のイベントタイムラインに対する前記デジタル画像コレクション内の第２の複数イベントと、前記第２の複数イベントのうちの各イベントに関連する時間枠とを検出するステップと；
前記コンピューティングデバイスが、前記デジタル画像コレクション内の前記第１の複数イベント及び第２の複数イベントから重要イベントを決定するステップであって、前記決定するステップは、前記第１のイベントタイムライン及び前記第２のイベントタイムラインの各々について：
前記第１の選択された時間粒度又は前記第２の選択された時間粒度に基づいて画像の数を示す時系列を生成するステップと；
前記第１のイベントタイムライン及び前記第２のイベントタイムラインの各々について、前記重要イベントを識別するモデルを見出すために前記時系列を解析するステップと；
前記モデルと前記時系列との誤差が所定の閾値を超える期間を識別するステップと；
を含む、ステップと；
前記コンピューティングデバイスが、前記第１のイベントタイムライン及び前記第２のイベントタイムラインを体系化するステップであって、前記の決定された重要イベントの間にある、前記第１のイベントタイムライン及び前記第２のイベントタイムライン上の検出されたイベントが、それぞれ、前記第１のイベントタイムライン及び前記第２のイベントタイムライン上のクラスタに分類されるようにし、前記第１のイベントタイムラインは前記第２のイベントタイムラインとは異なる時間粒度で作成されるようにする、ステップと；
を含む、方法。
前記第１のイベントタイムライン及び前記第２のイベントタイムラインの表示を提示するステップと；
前記第１のイベントタイムライン又は前記第２のイベントタイムラインのうち１つについてのユーザ選択を受信するステップと；
を更に含む、請求項４記載の方法。
ユーザが、前記の選択された第１のイベントタイムライン又は前記第２のイベントタイムラインについて、前記の複数イベントのうち少なくとも１つの検出されたイベントに関連する画像をブラウジングすることが可能となるステップを更に含む、請求項５記載の方法。
デジタル画像コレクションを体系化する方法であって：
コンピューティングデバイスが、様々な時間粒度で、前記デジタル画像コレクション内の複数イベントと、前記複数イベントのうちの各イベントに関連付けられた時間枠とを検出するステップと；
前記コンピューティングデバイスが、各時間粒度において前記デジタル画像コレクション内の前記複数イベントから重要イベントを決定するステップであって、前記重要イベントを決定するステップは：
前記デジタル画像コレクションによってカバーされるある期間にわたって撮影された画像の数を示す時系列を生成するステップと；
前記重要イベントを識別するモデルを見出すために前記時系列を解析するステップと；
前記モデルと前記時系列との誤差が所定の閾値を超える期間を識別するステップと；
を含む、ステップと；
前記コンピューティングデバイスが、イベントタイムラインの各期間についてイベント検出の粒度を選択するステップと；
前記コンピューティングデバイスが、前記イベントタイムラインを体系化するステップであって、各期間内の前記イベントタイムライン上の前記の検出された複数イベントは、前記期間に対するイベント検出についての前記の選択された粒度に基づくようにする、ステップと；
を含む、方法。
前記イベント検出の粒度を選択するステップは、所与の期間内の前記重要イベントを保持する、最少数の検出されたイベントを選択するステップに基づく、請求項７記載の方法。
デジタル画像コレクションから画像を選択する方法であって：
コンピューティングデバイスが、前記デジタル画像コレクション内の複数イベントと、前記複数イベントのうちの各イベントに関連付けられた時間枠とを検出するステップと；
前記コンピューティングデバイスが、前記デジタル画像コレクション内の前記複数イベントから重要イベントを決定するステップであって、前記重要イベントを決定するステップは：
前記デジタル画像コレクションによってカバーされるある期間内に撮影された画像の数を示す時系列を生成するステップと；
前記重要イベントを識別するモデルを見出すために前記時系列を解析するステップと；
前記モデルと前記時系列との誤差が所定の閾値を超える期間を識別するステップと；
を含む、ステップと；
前記コンピューティングデバイスが、前記イベントの重要性と前記イベントに関連する画像の数とに基づいて、前記複数イベントのうちの各イベントに重み付けを割り当てるステップと；
前記コンピューティングデバイスが、前記の割り当てられた重み付けに応じて、画像を選択するステップと；
を含む、方法。
重要度オペレータを用いて、重要度スコアを生成するステップと；
前記重要度スコアに基づいて、画像の出力の提示をコントロールするステップと；
を更に含む、請求項９記載の方法。
前記出力は、アルバム、カレンダー、フォトブック、合成画又はカードを含む、ハードコピー出力を含む、請求項１０記載の方法。
前記出力は、スライドショー、デジタルフレーム又は合成画を含む、ソフトコピー出力を含む、請求項１０記載の方法。
前記モデルを見出すために前記時系列を解析するステップは、モデルが前記時系列に適合するかどうかを判定するステップを含む、請求項１記載の方法。
前記識別するステップは、前記モデルが前記時系列の実際データを予測する能力がより低い場合を判定するステップを含む、請求項１記載の方法。
処理を行うための命令をコンピューティングデバイスに実行させるコンピュータプログラムであって、前記処理は：
デジタル画像コレクション内の複数イベントと、前記複数イベントのうちの各イベントに関連付けられた時間枠とを検出するステップと；
前記デジタル画像コレクション内の前記複数イベントから重要イベントを決定するステップであって、前記重要イベントを決定するステップは：
前記デジタル画像コレクションによってカバーされるある期間内に撮影された画像の数を示す時系列を生成するステップと；
前記重要イベントを識別するモデルを見出すために前記時系列を解析するステップと；
前記モデルと前記時系列との誤差が所定の閾値を超える期間を識別するステップと；
を含む、ステップと；
前記複数イベントをイベントタイムラインに体系化するステップであって、前記の決定された重要イベントの間にあるイベントタイムライン上の検出されたイベントが、前記イベントタイムライン上のクラスタに分類されるようにする、ステップと；
を含む、コンピュータプログラム。
前記複数イベントを検出するステップは、選択された時間粒度に基づいて、前記複数イベントを検出するステップを含む、請求項１５記載のコンピュータプログラム。
前記処理は、ユーザが、前記複数イベントのうち少なくとも１つの検出されたイベントに関連する画像をブラウジングすることが可能となるステップを更に含む、請求項１６記載のコンピュータプログラム。
前記モデルを見出すために前記時系列を解析するステップは、モデルが前記時系列に適合するかどうかを判定するステップを含む、請求項１５記載のコンピュータプログラム。
前記識別するステップは、前記モデルが前記時系列の実際データを予測する能力がより低い場合を判定するステップを含む、請求項１５記載のコンピュータプログラム。
メモリと；
前記メモリに接続されるプロセッサと；
を含み、
前記プロセッサは：
デジタル画像コレクション内の複数イベントと、前記複数イベントのうちの各イベントに関連付けられた時間枠とを検出する動作と；
前記デジタル画像コレクション内の前記複数イベントから重要イベントを決定する動作であって、前記重要イベントを決定するために、前記プロセッサはさらに：
前記デジタル画像コレクションによってカバーされるある期間内に撮影された画像の数を示す時系列を生成する動作と；
前記重要イベントを識別するモデルを見出すために前記時系列を解析する動作と；
前記モデルと前記時系列との誤差が所定の閾値を超える期間を識別する動作と；
をなすように構成される、動作と；
前記複数イベントをイベントタイムラインに体系化する動作であって、前記の決定された重要イベントの間にあるイベントタイムライン上の検出されたイベントが、前記イベントタイムライン上のクラスタに分類されるようにする、動作と；
をなすように構成される、システム。