JP2013536527A - コンシューマ配下画像集における再来性イベントの検出 - Google Patents

Abstract

所定期間に亘るディジタル画像集から再来性イベントを検出する方法を提供する。本方法では、プロセッサに、ディジタル画像集を解析することで画像撮影行為群経時分布の二次元表現を生成するステップと、その二次元表現中の空間クラスタを識別することで再来性イベントを検出するステップと、を実行させる。

Description

本発明はディジタル画像処理、特にコンシューマ配下画像集から再来性イベントに関わるディジタル画像を検出する方法に関する。

ディジタルカメラやカメラ付き携帯電話の普及は著しい。人々は、自分にとり大切な出来事を記録するためそれらで多数の静止画や動画を撮影する。その出来事のハイライト画像を加入先のソーシャルネットワークにアップロードして他人と共有する。そうした画像は時間をかけて蓄積されていき、個々人や人間集団の理解に役立つ情報に富んだ大規模なディジタル画像集へと発展する。時間情報は総じて情報の管理・利用、ひいては検索・ブラウズに有用である。ある人が複数年に亘り収集した画像のコンテンツやそれにまつわる日時を解析することで、その人にとり重要な日付を知ることや、その人の関心事項を概観することができる。そうした知識があれば、その人の配下にある画像集の整頓、特定相手との画像共有、その人向けの内容・タイミングでの広告等に役立てることもできよう。例えば、ある人の配下にある画像集を解析した結果、学校が休みとなる３月にその人がよく休暇を取得していることがわかった場合、その休暇で撮られた画像を前年以前の３月休みに関連付けて整頓することができよう。３月休みの計画が練られている時期を狙いその人に旅行・観光関連広告を送ることや、その人がこれまで３月休みの画像をよく見せてきた相手との間で３月休みの画像を共有化することもできよう。

そうした出来事を一般の暦から検出することも可能であるが、検出可能な出来事が限られるし、その人独特のスペシャルデー例えば誕生日を検出することもできない。また、この手法で出来事を検出する際には、今いる場所での暦に従いその人が祝日等に服することが前提となるが、実際にはその人が属する人間集団毎に暦や行事が違ってくる。しかも、暦には文化的な差異による違いに加えその人がいる場所による違いもある。例えば、米国ニューヨーク州ロチェスターではライラックフェスティバルを祝し、米国ニューメキシコ州アルバカーキではインターナショナルバルーンフェスタを祝する、といったローカルイベントの違いである。こうした問題に鑑み、非特許文献１等では、個々人の暦に記されたメモに基づき撮影済画像を暦に関連付ける手法が提案されている。しかし、そうしたメモの多くが撮影と無関係なことが難点となっている。

画像をイベント別に分類する手法も知られている。例えば、特許文献２及び３（いずれも発明者：Ｌｏｕｉ）に記載のアルゴリズムによれば、その時々のイベント／サブイベント別に且つコンテンツに従い、画像集を幾つかのクラスタに分別即ちクラスタリングすることができる。特許文献２記載の通り、イベントには色分布の一貫性ひいては撮影背景同一の蓋然性があり、サブイベントには一緒に写っている背景領域から検出される色及び模様の共通性があるからである。こうすることで、両文献記載の通り、静止画や動画で構成されるディジタル画像集をその時々のイベント／サブイベント別にクラスタリングすることができる。なお、ここでいう「イベント」及び「サブイベント」は、人間が主観的に認識する出来事やその細区分のことではなく、コンピュータ媒介型処理にて使用される客体のうち出来事に対応するもの（「イベント」）及びその細区分に対応するもの（「サブイベント」）のことである。また、特許文献１（発明者：Ｌｏｕｉ ｅｔ ａｌ．）にも画像のイベント別自動整頓法が記載されている。判明したイベントは暦年的に、即ち時間軸（タイムライン）に沿い最も古いものから新しいものに向かう順で表示される。

米国特許第６９１５０１１号明細書 米国特許第６６０６４１１号明細書 米国特許第６３５１５５６号明細書

Gallagher et al., "Image Annotation Using Personal Calendars as Context", ACM Intl.Conf.on Multimedia 2008 Han et al., "Data Mining Concepts and Techniques", Elsevier 2006, pg.418-420 Das et al., "Event Classification in Personal Image Collections", IEEE Intl.Workshop on Media Information Analysis for Personal and Social Applications at ICME 2009 Das et al., "Event-based Location Matching for Consumer Image Collections", the Proceedings of the ACM Int.Conf.on Image and Video Retrieval, 2008

これらの手法では、個々のサムネイル画像ではなくそのイベントを代表する画像がタイムライン沿いに表示されるので、人の目で個別のイベントを探し出す際のブラウズ時間を縮めることができる。しかしながら、誕生日とその次の誕生日の間のように、互いにゆかりのあるイベント間に長い時間が差し挟まっている場合もある。この場合、タイムライン沿いの表示位置がそれらイベント間で大きく離れてしまうため、それらのイベントを同種イベントの集合として視認するのが難しくなる。そのため、長い時間で隔てられてはいるが意味的な関連がある画像の集合を検出可能にすることが求められている。

ここに、本発明に係る方法では、所定期間に亘るディジタル画像集から再来性イベントを検出すべく、プロセッサに
（ａ）そのディジタル画像集を解析することで画像撮影行為群経時分布の多次元表現を生成するステップと、
（ｂ）その多次元表現中の空間クラスタを識別することで再来性イベントを検出するステップと、
を実行させる。空間クラスタの識別に際しイベント間類似性を勘案してもよい。

本発明では、時を経て再来するイベント即ち再来性イベントを複数年に亘る画像集から検出するに当たり、その画像集をかたちづくる諸イベントを相応の多次元空間で表現することができる。その拡がりを様々に変えつつ且つイベント特性に依拠しつつ近隣範囲に濃度ベースフィルタリングを適用し、その画像集に属する画像間で誤ったマッチング結果が生じる可能性を抑えることも可能である。イベント分類、場所及び時間特性に基づくイベントシグネチャを生成し、イベント特性を指し示すことも可能である。本発明によれば、ユーザ配下のディジタル画像集に特化した形態で、そのユーザの個人的スペシャルデー例えば誕生日や記念日、節季の行事、栄えある祝日等を検出することができる。

本発明に従いユーザ配下画像集から検出することが可能な再来性イベント、特に暦に従いほぼ定期的に生起するイベントは、誕生日、記念日、一部の祝日等のように毎年同じ日に生起するイベントと、時間特性が似ているものの暦による縛りが弱く毎年ぴったり同じ日に生起するとは限らないイベントとに大別することができる。後者に属する再来性イベントの例としては、例えば米国における労働の日や母の日のようにその月・週・曜日が決まっているタイプの祝日や、種々のアジア的祭礼日のように太陽・太陰の運行で定まるタイプの祝日をはじめ、その年によって日付が変わる祝日がある。また、学校の長期休業期間をはじめとする定期的な休暇や、暦上の祝祭行事ではあるが都合で週末に移動されがちなパーティ・会合や、更にはスポーツイベントでさえも、暦に緩く縛られているだけで特定の日付が定まっていないタイプのイベントに該当しうる。

多数の静止画・動画からなる画像集を整頓・利用することは大抵のコンシューマにとり悩みの種である。コンシューマが、自分の配下にあるディジタル画像集に写っており自分にとり重要なイベントを概観できるようになるのは有益なことである。先行技術文献に記載されている手法でも画像集内画像をイベント別に分類することは可能だが、時間的に隔たっているが互いにゆかりのあるイベント同士を関連付けることはできない。その点、本発明によれば、通例として毎年同じ日に生起する再来性イベントでも、暦に緩く関連付けられているだけの再来性イベントでも、好適に検出することができる。例えば、ユーザの配下にあり解析対象となっている画像集に特化した形態で、そのユーザの個人的スペシャルデー例えば誕生日や記念日、節季の行事、栄えある祝日等を好適に検出することができる。

本発明を実施可能なシステムを示すブロック図である。 本発明に係る方法の全体を示すフローチャートである。 図２中のイベントシグネチャベースフィルタリングステップ１３０をより詳細に示すフローチャートである。 本発明に従い生成されるイベント二次元表現の具体例を示す図である。 本発明に従い生成されるイベント三次元表現の具体例を示す図である。 整頓済画像集及びその画像集から検出された再来性イベントグループの表示形態例を示す図である。 その別例を示す図である。

本発明は、本件技術分野で習熟を積まれた方々（いわゆる当業者）にとり周知のコンピュータシステム上で実施することができる。以下の説明では、本発明の実施形態としてソフトウェアによるものを示す。いわゆる当業者には容易にご理解頂けるように、本発明の技術的範囲には、そのソフトウェアに対し均等なハードウェアやソフトウェアも包含される。

画像を操作するアルゴリズムやシステムは周知であるので、本願では、それらのうち本発明に係る方法を構成し又はそれと直に連携する部分に説明の的を絞ることにする。そうしたアルゴリズム及びシステムの別例や、関連する画像信号群を処理例えば生成するハードウェア及びソフトウェアのうち本願中で具体的に図示や説明がされていないものは、本件技術分野で既知の諸システム、諸アルゴリズム、諸コンポーネント乃至諸要素を随意に使用し実現することができる。いわゆる当業者であれば、以下の諸段落における説明を参照し、本発明を様々なソフトウェア的形態で実施することができよう。

本発明に係る方法はコンピュータ用のハードウェアや情報処理機器、例えばディジタルカメラ、マルチメディアスマートホン、ディジタルプリンタ、インターネットサーバ、街頭端末即ちキオスク、パーソナルコンピュータ等で実施することができる。図１に、本発明の実施に適したコンピュータシステムを示す。このシステムは本発明を好適に実施可能なシステムの一例であり、本発明はディジタル画像を処理可能な他の電子処理システム、例えばディジタルカメラ、家庭用コンピュータ、街頭端末等でも実施することができる。コンピュータ１０はプロセッサ２０例えばマイクロプロセッサを備えており、そのプロセッサ２０は、コンピュータプログラムの読込・処理をはじめとする処理機能を担っている。メモリユニット３０はユーザ発のデータやコンピュータ１０内で生じたデータの記憶場所であり、プログラム実行時にはプロセッサ２０がそのデータに適宜アクセスする。このコンピュータ１０には表示装置７０例えばモニタが電気的に接続されており、プログラムに関わる情報及びデータをグラフィカルユーザインタフェース等に従いその画面上に表示させることができる。コンピュータ１０には更にキーボード６０が接続されている。本件技術分野で周知の通り、入力にキーボード６０ではなくマウスを使用し、表示装置７０の画面上でのカーソル移動及びポイントで所要項目を選択するようにしてもよい。入力媒体５０例えばコンパクトディスク（ＣＤ）やＤＶＤ（登録商標）をコンピュータ１０に差し込み、プログラムその他の情報をそこからコンピュータ１０及びプロセッサ２０に入力することもできる。本件技術分野で周知の通り、プログラムをコンピュータ１０に組み込んでおくことも可能である。静止画、動画、音楽等に係るメディアファイルも、コンピュータ１０内のメモリユニット３０に送ることができる。メモリカード、サムドライブ、ＣＤ、ＤＶＤ（登録商標）等の入力媒体５０をコンピュータ１０に差し込むか、カメラ、携帯電話、ビデオレコーダ等の撮影装置（これも一種の入力媒体である）をコンピュータ１０に直結すればよい。そして、このコンピュータ１０は、付随するネットワーク接続手段８０例えば電話線や無線伝送路を使用し、ローカルエリアネットワーク、インターネット等といった外部ネットワークに接続することができる。従って、プログラムやメディアファイルを接続手段８０経由で他のコンピュータやインターネット上からコンピュータ１０へと送り込むこともできる。

本発明が様々なソフトウェアやハードウェアの組合せで実施でき、装置同士が物理的に接続されている必要や近くにある必要がないことにも注意すべきである。例えば、図１に示した装置のうち１個又は複数個が別の場所からネットワーク経由で接続される構成にしてもよい。その接続に無線周波数リンク等の無線接続を使用することや、その無線接続を直接的な接続とすることもネットワーク経由の接続とすることも可能である。

ここまで本発明の好適な適用対象について具体的に詳示してきたが、それに対し種々の変形・改変を施したものも本発明の技術的範囲内に包含されうるので、その点を了解されたい。以下の説明では、静止画か動画かを問わず画像集の構成要素を「画像」と呼ぶことにする。

図２に、ユーザの配下にありコンピュータ１０内のメモリユニット３０上に存する多年ディジタル画像集１１０、並びにコンピュータプログラムとして作成されコンピュータ１０内のプロセッサ２０で実行される諸ステップを示す。画像集１１０は例えば５年以上の期間に亘るものであり、ステップ１２０ではこれを対象にイベントクラスタリングアルゴリズムを実行する。これは、その時々のイベントを画像の分類で画像集１１０から検出するアルゴリズムであり、例えば特許文献２及び３（いずれも発明者：Ｌｏｕｉ）記載のイベント／サブイベント検出法に則っている。まず、特許文献２記載の通り、イベントには色分布の一貫性ひいては撮影背景同一の蓋然性があり、サブイベントには一緒に写っている背景領域から検出される色及び模様の共通性がある。ここでいう「イベント」及び「サブイベント」は、人間が主観的に認識する出来事やその細区分のことではなく、コンピュータ媒介型処理にて使用される客体のうち出来事に対応するもの（「イベント」）及びその細区分に対応するもの（「サブイベント」）のことである。特許文献２及び３で教示しているのは、ディジタル画像集に対するクラスタリングで時々のイベント／サブイベントを検出する手法である。この手法では、概略、画像集内にある大きな時間的ギャップをその画像集に対する日付／時刻クラスタリングで検出し、その時間的ギャップがイベント境界に対応することを利用し同画像集をイベント別に仕分けることで、画像集から幾つかのイベントを検出する。個々のイベント内にサブイベントがある場合、それらは、相連続する画像の色ヒストグラム情報を特許文献３記載の如く比較して検出する。即ち、画像を複数個のブロックに分割し、そのブロック毎に色ヒストグラム情報を導出し、同文献記載のブロック単位ヒストグラム相関手順に従いサブイベント境界を検出することで検出する。また、特許文献１（発明者：Ｌｏｕｉ ｅｔ ａｌ．；この参照を以て本願に繰り入れる）にも画像のイベント別自動整頓法が開示されている。この手法では、概略、前景背景セグメント化を用いたクラスタリングを通じ類似性を調べることで、画像集から幾つかのイベントを検出する。即ち、まず個々の画像を複数個のブロックに分割してブロック単位画像を生成する。次いで、ブロック毎比較によって個々のブロック単位画像を前景背景併有領域複数個へとセグメント化する。更に、光度、色、位置又は寸法に関する特徴をその前景背景併有領域から一種類又は複数種類抽出し、その画像集内で相連続する画像に含まれる前景背景併有領域の類似性を特徴抽出結果に基づき推定、比較する。そして、それら相連続する画像間の合計類似性を示す指標ひいては画像間距離を導出し、その画像間距離に基づきイベント別のクラスタ群を検出する。

図２中のステップ１４０では、イベントクラスタリングステップ１２０で検出されたイベントを多次元空間で表現する。例えば、図４の如く二次元空間内の点３１０として個々のイベントを表現する。この図に示す空間は年番号を縦軸即ちｙ軸３２０、年内日番号を横軸即ちｘ軸３３０とする空間であり、本願ではこれらの点３１０をイベントポイントと呼んでいる。また、「年番号」とは単純に暦に従い年に振った番号のことであり、その画像集が例えば２００５年から２０１０年に亘るものなら２００５年が年番号１、２００６年が年番号２、…、２０１０年が年番号６となる。「年内日番号」とは１月１日を１とし年初から数えた日数のことであり、月日と年内日番号の対応関係が年毎に変わらないよう２月２９日は無視して振られる。こうした二次元空間による表現で互いに近い位置を占めるイベントは再来性イベントである可能性があり、空間的なクラスタリング法でその集まりを見つけることができる。また、その次元数ｎが２より大きい多次元空間で諸イベントを表現することも可能である。３本目以降の軸が他種イベント特性の軸、例えばイベント種別やイベント規模の軸なら、その特性に従いイベントの空間的な集まりを更に仕分けることができる。更に、図５に示すように、週番号をｘ軸、週内日番号をｙ軸、年番号をｚ軸として三次元表現を生成することもできる。「週番号」とは、その年の冒頭週が１、最終週が５３となるよう冒頭週から振った通し番号のことであり、冒頭週及び最終週は半端な週になることもある。「週内日番号」とは、月曜日の−３で始まり０を経て＋３で終わる通し番号のことである。この表現は曜日と関連のある再来性イベント、例えば校内スポーツ試合や週例会合や復活祭、感謝祭その他の祝日の検出に役立つ。

図２中のステップ１５０では、ステップ１４０にて生成された多次元的なイベント表現を対象にして空間的なクラスタリングが実行される。このクラスタリングには、非特許文献２記載の濃度ベースクラスタリング法を用いるのが望ましい。これは、十分に高いポイント濃度を有する領域をクラスタへと成長させるアルゴリズムである。現下の例でいえば、このアルゴリズムでは、個々のイベントポイント（ｘ，ｙ）に関しその近隣範囲（ｘ±２，ｙ±２）を定義し、自分の近隣範囲（ｘ±２，ｙ±２）内にしきい値例えば５を超える個数のイベントポイントがあるイベントポイント即ちコアポイントを検出し、そのコアポイントから直接濃度リーチャブルなポイントを収集する動作を新規ポイント追加不能となるまで反復的に実行することで、暦に固く関連付けられている再来性イベントを検出する。同様に、個々のポイント（ｘ，ｙ）に関しより広い近隣範囲（ｘ±７，ｙ±２）を定義した上で、同じしきい値例えば５を使用しコアポイント検出等を実行することで、暦に緩く関連付けられている再来性イベントを検出する。なお、次段落で述べるイベントシグネチャベースフィルタリングステップが実行される場合、各イベントポイント（ｘ，ｙ）の近隣範囲からのイベントポイント検出の対象になるのは、当該ステップを通過したイベントポイント３１０のみである。

図２中のステップ１３０では、イベントシグネチャに基づくフィルタリングで空間的クラスタリングステップ１５０の精緻化を図ることができる。このステップ１３０が功を奏するのは、とりわけ、近隣範囲が広めなときや１年以内に再来するイベントを検出するときである。ステップ１３０では、イベントシグネチャを一種のフィルタとして使用し、イベントポイント３１０同士が同一イベントポイントの近隣範囲内にあると見なせるか否かを判別する。イベントシグネチャはイベント間特徴共通性を捉えるシグネチャであり、画像レベルでのコンテンツベース解析やイベントレベルでのイベントベース解析で、或いはその併用で導出することができる。例えば、図３に示す例では、イベントレベルで得られ、同じグループに属する再来性イベント間で良好な相関を呈する特徴のうち、曜日、イベントカテゴリ及び場所という主立った三種類を使用し、イベントシグネチャベースフィルタリングを実行している。

図３では、イベントポイント３１０のうち１個を中心イベントポイント２０５と見なした上で、その近隣範囲内にある他のイベントポイント２１０を１点ずつ次の要領で処理する。まず、イベントカテゴリマッチング２２０では、潜在近隣イベントポイント２１０が中心イベントポイント２０５のそれと同じイベントカテゴリラベルを有しているか否かを判別する。例えば、「休暇」「宴会」「スポーツ」「一家団欒時」等といった包括的イベントカテゴリを、非特許文献３記載の手法に従いイベント毎に調べるのが望ましい。この手法では、イベントカテゴリに対し良好な相関を呈する上位概念的で視覚的・時間的な諸特徴に基づき、イベント分類用のベイジアン信念ネットワークを訓練し、所与特徴に基づきそのベイジアン信念ネットワークでそのイベントの事後確率を算出する。

場所マッチングステップ２３０では、潜在近隣イベントポイント２１０が中心イベントポイント２０５と同じ場所で生起した可能性があるか否かを判別する。イベントの生起場所が、そのイベントが他のイベントと共に再来性イベントのグループを形成しているか否かを見定めるに当たり、重要な手がかりになるからである。再来性イベントのグループが、その生起場所を同じくするイベント複数個で形成されることも多い。ＧＰＳから位置情報が得られない場合、イベントの生起場所同士を、例えば非特許文献４の記載に従いＳＩＦＴ特徴を用いてマッチングする。その手法は、自動検出される光景内非尋常オブジェクト同士をＳＩＦＴ特徴に従いマッチングすることで、ユーザ配下画像集内でイベントの生起場所同士をマッチングする、というものである。この手法では、２個のイベント間で光景内非尋常オブジェクトのマッチング結果が肯定的なら、それらイベント間で生起場所が一致したと判別する。即ち、両イベント間で撮影場所が同一であることが強く示唆されたと判別する。これに対し、両イベント間で光景内非尋常オブジェクトのマッチング結果が否定的であっても、それらのイベントに係る撮影場所が同一でありえないとは見なさない。一方のイベントに係る画像と他方のイベントに係る画像とに同じ非尋常オブジェクトが写っていないことが原因で、マッチング結果が否定的になる場合があるからである。また、ＧＰＳから位置情報が得られる場合は、両イベントが同じ場所で生起した可能性があるか否かをその情報に基づき判別する。この場合も、マッチング結果が否定的だからといって、同じグループに属する再来性イベントである可能性が排除されるわけではない。例えば、あるユーザが定期的に休暇を楽しむ地域・期間が定まっている場合、それにより再来性イベントのグループが形成されるけれども、その地域・期間内でそのユーザが訪れる場所は様々であろう。再来性イベントのグループが拡がる地域及び期間は、「春休みのフロリダ」といった具合に非常に広くなりうる。その逆に、「自宅」と同じ町内にある「学校」を「自宅」とは別の場所と考える、といった具合に、ユーザは、所在先の「町」より遙かに細かな区分でイベントのグループを捉えることもある。更に、場所情報が関係ないこともありうる。例えば、バースデイパーティは当人の自宅で行われるのが普通であるものの、何人かが自宅にいて他の何人が別の場所にいる状態でも行うことができる。そのため、肯定的なマッチング結果のみをイベントシグネチャに繰り入れるようにする。

曜日をイベントシグネチャベースフィルタリングに使用するのは、「あるグループに属するイベントがいずれも日曜日に生起している」といった具合に、同じグループに属する再来性イベントであることとイベントの生起曜日との間に十分な相関性があることが、ユーザ配下画像集に関する研究の結果発見されたからである。これは、米国における復活祭や感謝祭のようにその曜日が定まっている祝日が多々あることや、週末又はその間近になると写真撮影行為が盛んになることに関連している。このイベント分布を踏まえ、曜日マッチングステップ２４０では、金曜日〜月曜日の各曜日に一つずつ曜日ラベルを振り、また火曜日〜木曜日の各曜日に共通の曜日ラベル即ちウイークデイラベルを振った上で、２個のイベント間でその曜日ラベルが同一か否かを判別する。複数日にまたがるイベントについては、曜日のうちいずれかが一致すればマッチング成立と見なすようにする。

そのイベントに係る画像のコンテンツベース解析によって導出された特徴もイベントシグネチャに繰り入れることができる。例えば、オムロン株式会社が開発したオカオビジョン（登録商標）顔検知技術等の顔認識技術を用い人ベースマッチングを行い、複数のイベントに共通する人物の存在を判別することが可能である。写っている被写体に共通性があることをマッチングで検出するようにしてもよい。例えば、浜辺、都会風景、野原等といった画像光景分類が複数のイベント間で共通していることをマッチングで検出することが可能である。

イベントシグネチャ比較ステップ２５０では、潜在近隣イベントポイント２１０が果たして中心イベントポイント２０５の近隣にあるのか否かを最終的に判別する。ここで使用するイベントシグネチャは、上掲のステップ２２０，２３０，２４０で導出された三種類の特徴に関するマッチング結果、特にあまり意味のない否定的なマッチング結果ではなく十分に意味がある肯定的なマッチング結果を繰り入れたものである。脈絡上の有意性を欠くため、それらの結合で単一値を生成するようなこともしない。また、当該肯定的なマッチング結果に課す荷重は、その特徴の種類を問わず平等に定める。例えば、ある２個のイベント間で生起曜日、イベントカテゴリ及び生起場所が共通している場合、それらイベント間のイベントシグネチャベースマッチングスコアは３となる。これに対し、ある２個のイベント間で生起曜日が共通しているものの、イベントカテゴリ及び生起場所が異なることが判明した場合、それらイベント間のイベントシグネチャベースマッチングスコアは１となる。イベントシグネチャベースフィルタリングを通過するのは、このスコアが１以上のイベントだけである。即ち、個々のイベントポイントに対しその近隣にあると判別されるのは、前週又は次週の同じ曜日に生起した、同じイベントカテゴリを有する、並びに所定期間内に同じ場所で撮影された、のうちいずれかの条件を満たすイベントポイントだけである。

空間クラスタリングステップ１５０実行後は、それにより検出されたクラスタを多年画像集１１０内の再来性イベント１６０として出力する。その出力形態は、例えば、それら再来性イベント１６０の多次元表現で使用された軸に基づくユーザ向け表示とする。そのユーザ向け表示に際しては、個々の再来性イベント１６０に係る画像が同じグループ内に属する他の画像にリンクするよう付索された整頓済多年画像集ビューを使用する。イベント１６０を、同じイベント１６０に係る画像のコラージュ又は代表画像によって代表させるようにしてもよい。図６Ａ及び図６Ｂに、整頓が済んだ画像集の代表的な表示形態を二種類示す。図６Ａに示したのはタイムラインビュー４４０、図６Ｂに示したのはカレンダビュー４５０である。図示の通り、非再来性イベント４２０がその生起日付に基づきタイムライン上及びカレンダ上に表示されるのに対し、再来性イベント４００は、グループが同じで前期間及び次期間に生起している他の再来性イベントへとアイコン４２５，４３０を介しリンクされている。例えば、２０１０年に催された誕生日イベントは、２００９年及び２０１１年における同人物の誕生日にリンクされる。このように形態が整えられるため、ユーザは、互いに大きな時間差で隔たっているが関わりのある複数個のイベントに容易にアクセスすることができる。

１０ コンピュータ、２０ プロセッサ、３０ メモリユニット、５０ 入力媒体、６０ キーボード、７０ 表示装置、８０ ネットワーク接続手段、１１０ 多年ディジタル画像集、１２０ イベントクラスタリングステップ、１３０ イベントシグネチャベースフィルタリングステップ、１４０ ｎ次元空間内イベント表現ステップ、１５０ 空間的クラスタリングステップ、１６０ 検出された再来性イベント、２０５ 中心イベントポイント、２１０ 潜在近隣イベントポイント、２２０ イベントカテゴリマッチングステップ、２３０ 場所マッチングステップ、２４０ 曜日マッチングステップ、２５０ イベントシグネチャ比較ステップ、３１０ イベントポイント、３２０ 年番号（ｙ軸）、３３０ 日番号（ｘ軸）、４００ 再来性イベント、４２０ 非再来性イベント、４２５ 再来性イベントグループ内の前イベントを示すアイコン、４３０ 再来性イベントグループ内の次イベントを示すアイコン、４４０ 整頓済画像集のタイムラインビュー、４５０ 整頓済画像集のカレンダビュー。

Claims (20)

1. 所定期間に亘るディジタル画像集から再来性イベントを検出すべく、プロセッサに
   （ａ）上記ディジタル画像集を解析することで画像撮影行為群経時分布の多次元表現を生成するステップと、
   （ｂ）上記多次元表現中の空間クラスタを識別することで再来性イベントを検出するステップと、
   を実行させる方法。
2. 請求項１記載の方法であって、イベント間特徴共通性を解析することで上記再来性イベントの検出結果を精緻化させる方法。
3. 請求項１記載の方法であって、上記ディジタル画像集が複数年に亘る画像集であり、当該複数年に亘る空間クラスタを上記ステップ（ｂ）にて識別する方法。
4. 請求項１記載の方法であって、上記ディジタル画像集が１年以下の期間に亘る画像集であり、上記所定期間内に生起する空間クラスタを上記ステップ（ｂ）にて識別する方法。
5. 請求項１記載の方法であって、上記多次元表現が、年の軸及び年内日の軸に沿い諸イベントを表す表現である方法。
6. 請求項１記載の方法であって、上記多次元表現が、年内週の軸及び週内日の軸に沿い諸イベントを表す表現である方法。
7. 請求項２記載の方法であって、上記イベント間特徴共通性の解析にコンテンツベース解析又はイベントベース解析を使用する方法。
8. 請求項７記載の方法であって、上記コンテンツベース解析が人認識、光景分類又は被写体識別を含む方法。
9. 請求項７記載の方法であって、上記イベントベース解析がイベント分類、場所マッチング又は時間ベース特徴解析を含む方法。
10. 請求項１記載の方法であって、検出された再来性イベントがユーザ向けに表示される方法。
11. 所定期間に亘るディジタル画像集を再来性イベントの検出によって整頓すべく、プロセッサに
    （ａ）上記ディジタル画像集を解析することで画像撮影行為群経時分布の多次元表現を生成するステップと、
    （ｂ）上記多次元表現中の空間クラスタを識別することで再来性イベントを検出するステップと、
    （ｃ）再来性イベントの検出結果に基づき画像に付索するステップと、
    を実行させる方法。
12. 請求項１１記載の方法であって、イベント間特徴共通性を解析することで上記再来性イベントの検出結果を精緻化させる方法。
13. 請求項１１記載の方法であって、上記ディジタル画像集が複数年に亘る画像集であり、当該複数年に亘る空間クラスタを上記ステップ（ｂ）にて識別する方法。
14. 請求項１１記載の方法であって、上記ディジタル画像集が１年以下の期間に亘る画像集であり、上記所定期間内に生起する空間クラスタを上記ステップ（ｂ）にて識別する方法。
15. 請求項１１記載の方法であって、上記多次元表現が、年の軸及び年内日の軸に沿い諸イベントを表す表現である方法。
16. 請求項１１記載の方法であって、上記多次元表現が、年内週の軸及び週内日の軸に沿い諸イベントを表す表現である方法。
17. 請求項１２記載の方法であって、上記イベント間特徴共通性の解析にコンテンツベース解析又はイベントベース解析を使用する方法。
18. 請求項１７記載の方法であって、上記コンテンツベース解析が人認識、光景分類又は被写体識別を含む方法。
19. 請求項１７記載の方法であって、上記イベントベース解析がイベント分類、場所マッチング又は時間ベース特徴解析を含む方法。
20. 請求項１１記載の方法であって、整頓済ディジタル画像集がユーザ向けに表示される方法。

Images