JP2005107867A - アルバム作成装置及びその方法 - Google Patents

Abstract

【課題】 ユーザが画像データを分類せずにデータベースに蓄積するだけであっても、ユーザが所望のストーリに適合した画像データより構成されるアルバムを作成することを可能とする。
【解決手段】 蓄積された複数の画像データから、画像データが作成された日時の範囲、画像データが撮影された場所の範囲、画像データに画像が含まれる人物若しくは画像データが伴う音声に含まれる話し声を出す人物又はこれらの組合せを検索条件として１又は複数の画像データを抽出する抽出手段と、該抽出された画像データを表示する表示手段と、を備える。また、これらの検索条件を自動生成する手段や、検索条件をユーザから入力するための対話をする手段を備える。
【選択図】 図６

Description

本発明は、蓄積された複数の画像データからアルバムを作成するアルバム作成装置及びその方法に関する。

近年、デジタル技術の発達に伴い、デジタルスティルカメラやデジタルビデオカメラにより、静止画像データや動画像データはデジタルデータの形式で、保存や伝送がされるようになっていきている。そして、デジタルスティルカメラやデジタルビデオカメラで撮影したデジタル画像データをパーソナルコンピュータに蓄積し、蓄積されたデジタル画像データをビューアー等で画面に表示することが一般に楽しまれるようになってきた。

なお、本発明に関連する先行技術文献としては以下のものがある。
特開平０７−３１１８３３号公報 特開２００１−２８３２２４号公報 特開平０６−２３１２５４号公報 特開平０５−１７４１４７号公報 特開２００３−０１６４５４号公報 特開２００２−１５０２９３号公報 特開平１１−２８２４９２号公報 特開２０００−１１５６９１号公報 特開平１１−１２２５６７号公報 特開２００２−１２３８１４号公報 特開２０００−２２２３８１号公報

ユーザがパーソナルコンピュータに蓄積した複数のマルチメディアファイル（動画像データ、静止画像データ、音楽）を整理・閲覧する方法として、
（１）ファイルをフォルダ単位などに分類して整理し、サムネイルなどで表示して閲覧する方法と、
（２）ファイルをデータベース化し、例えば電子アルバムのような形で整理し、閲覧する方法と、
がある。

（１）の方法は、整理の操作が手軽であるが、分類方法が固定的でユーザが所望する通りに閲覧できない場合がある。（２）の方法は、ユーザの所望する通りに閲覧しやすいが、整理する際の操作が煩雑であり、操作の手軽さと閲覧性の両立が課題である。

また、従来の電子アルバムは固定的であるため、ユーザがデータを整理する際にいくつかのストーリを想定し、それぞれのストーリ毎に固定の電子アルバムを作る必要があり、操作が煩雑になる。例えば、子供の成長記録と、家族旅行の記録という２つのストーリを想定した場合、特定の人物の時系列による整理方法と、特定のイベント（および場所、時間など）による整理方法の２通りに対し、ユーザが１つずつデータを整理してアルバムを作る必要がる。

更に、従来の電子アルバムでは、ユーザが閲覧する際に、閲覧する観点として或るストーリを想定した場合、予めそのストーリに合致するように電子アルバムがデータベース化されていない限り、そのような閲覧の仕方は出来ない。例えば、あるアルバムが旅行の記録を時系列で整理してあったとすると、それを場所毎に分類して閲覧したり、イベント毎に分類して閲覧したりといった見方はできない。

そこで、本発明は、ユーザが画像データを分類せずにデータベースに蓄積するだけであっても、ユーザが所望のストーリに適合した画像データより構成されるアルバムを作成することを可能とするアルバム作成装置及びアルバム作成方法を提供することを目的とする。

本発明によれば、蓄積された複数の画像データから、画像データが作成された日時の範囲、画像データが撮影された場所の範囲、画像データに画像が含まれる人物若しくは画像データが伴う音声に含まれる話し声を出す人物又はこれらの組合せを検索条件として１又は複数の画像データを抽出する抽出手段と、該抽出された画像データを表示する表示手段と、を備えることを特徴とするアルバム作成装置が提供される。

上記のアルバム作成装置は、検索条件として利用する日時の範囲を対話形式によりユーザから入力する日時検索条件入力手段を更に備えていてもよい。

上記のアルバム作成装置において、前記日時検索条件入力手段は、表示する日時の範囲を対話形式により変化させ、表示した日時の範囲内で、検索条件として利用する日時の範囲をユーザに入力させてもよい。

上記のアルバム作成装置は、検索条件として利用する日時の範囲を表す文字列を入力する文字列手段と、前記文字列及びカレンダを基に、検索条件として利用する日時の範囲の候補を１又は複数作成する日時検索条件作成手段を更に備えていてもよい。

上記のアルバム作成装置は、前記複数の画像データの撮影日時の分布を基に、検索条件として利用する日時の範囲の候補を１又は複数作成する日時検索条件作成手段を更に備えていてもよい。

上記のアルバム作成装置は、各候補に、該候補の範囲及びカレンダを基に該候補を表す文字列であって少なくとも一部に日時以外を含むものを付記する文字列付記手段を更に備えていてもよい。

上記のアルバム作成装置は、検索条件として利用する場所の範囲を対話形式によりユーザから入力する場所検索条件入力手段を更に備えていてもよい。

上記のアルバム作成装置は、前記対話形式による対話において、場所の範囲毎の画像データ数を表すものを地図上に表示する画像データ数分布表示手段を更に備えていてもよい。

上記のアルバム作成装置において、前記場所検索条件入力手段は、表示する場所の範囲を対話形式により変化させ、表示した場所の範囲内で、検索条件として利用する場所の範囲をユーザに入力させてもよい。

上記のアルバム作成装置において、前記場所検索条件入力手段は、鉄道路線、バス路線、道路又は航路を表示し、ユーザに希望の鉄道路線、バス路線、道路又は航路を選択させ、選択されたものの界隈を、検索条件として利用する場所の範囲としてもよい。

上記のアルバム作成装置は、検索条件として利用する場所の範囲を表す文字列を入力する文字列入力手段と、前記文字列及び地図を基に、検索条件として利用する場所の範囲の候補を１又は複数作成する場所検索条件作成手段を更に備えていてもよい。

上記のアルバム作成装置は、前記複数の画像データの撮影場所の分布を基に、検索条件として利用する場所の範囲の候補を１又は複数作成する場所検索条件作成手段を更に備えていてもよい。

上記のアルバム作成装置は、各候補に、該候補の範囲及び地図を基に該候補を表す文字列を付記する文字列付記手段を更に備えていてもよい。

上記のアルバム作成装置は、前記複数の画像データのうちの各画像データに含まれる１又は複数の人物の顔を抽出する顔抽出手段と、抽出された人物の顔を類似度に応じて１又は複数の顔グループに分類する分類手段と、を更に備えていてもよい。

上記のアルバム作成装置は、ユーザから入力された人物の顔が属する顔グループを人物検索条件として設定する人物検索条件入力手段を更に備えていてもよい。

上記のアルバム作成装置は、各顔グループの代表の顔を表示し、ユーザにより選択された顔に対応する顔グループを人物検索条件として設定する人物検索条件入力手段を更に備えていてもよい。

上記のアルバム作成装置は、少なくとも１つの画像データは動画像データであり、検索条件として利用される顔グループに含まれる顔を有する人物が撮影されているフレームのみを前記動画像データから抽出するフレーム抽出手段を更に備えていてもよい。

上記のアルバム作成装置において、前記フレーム抽出手段は、前記検索条件として利用される顔グループに含まれる顔を有する人物が撮影されているフレームとして、前記顔が撮影されているフレーム及び該フレームの近傍のフレームを抽出してもよい。

上記のアルバム作成装置において、前記フレーム抽出手段は、前記検索条件として利用される顔グループに含まれる顔が撮影されている第１のフレームグループと前記検索条件として利用される顔グループに含まれる顔が撮影されている第２のフレームグループとの間の時間が所定時間以下である場合には、それらの間のフレームを前記顔が撮影されているフレームの近傍のフレームとして扱ってもよい。

上記のアルバム作成装置において、少なくとも１つの画像データは動画像データであり、上記のアルバム作成装置は、検索条件として利用される顔グループに含まれる顔が撮影されているフレームのみを前記動画像データから抽出するフレーム抽出手段を更に備えていてもよい。

上記のアルバム作成装置において、前記複数の画像データのうちの少なくとも一部の画像データは、話し声を伴い、上記のアルバム作成装置は、前記複数の画像データのうちの少なくとも一部の画像データのうちの各画像データが伴う１又は複数の話し声を抽出する話し声抽出手段と、抽出された話し声を類似度に応じて１又は複数の話し声グループに分類する分類手段と、を更に備えていてもよい。

上記のアルバム作成装置は、ユーザから入力された話し声が属する話し声グループを人物検索条件として設定する人物検索条件入力手段を更に備えていてもよい。

上記のアルバム作成装置は、各顔グループの代表の話し声を出力し、ユーザにより選択された話し声に対応する話し声グループを人物検索条件として設定する人物検索条件入力手段を更に備えていてもよい。

上記のアルバム作成装置において、少なくとも１つの画像データは動画像データであり、上記のアルバム作成装置は、検索条件として利用される話し声グループに含まれる話し声を有する人物が撮影されているフレームのみを前記動画像データから抽出するフレーム抽出手段を更に備えていてもよい。

上記のアルバム作成装置において、前記フレーム抽出手段は、前記検索条件として利用される話し声グループに含まれる話し声を有する人物が撮影されているフレームとして、前記話し声を発する人物の顔が撮影されているフレーム及び該フレームの近傍のフレームを抽出してもよい。

上記のアルバム作成装置において、前記フレーム抽出手段は、前記検索条件として利用される話し声グループに含まれる話し声を有する人物の顔が撮影されている第１のフレームグループと前記検索条件として利用される話し声グループに含まれる話し声を有する人物の顔が撮影されている第２のフレームグループとの間の時間が所定時間以下である場合には、それらの間のフレームを前記話し声を発する人物の顔が撮影されているフレームの近傍のフレームとして扱ってもよい。

上記のアルバム作成装置において、少なくとも１つの画像データは動画像データであり、上記のアルバム作成装置は、検索条件として利用される話し声グループに含まれる話し声が収録されているフレームのみを前記動画像データから抽出するフレーム抽出手段を更に備えていてもよい。

請求項１に記載の発明によれば、蓄積された複数の画像データから検索条件に従って画像データを抽出し、抽出された画像データを表示するので、その時々で異なった検索条件を与えることにより、同一の蓄積された複数の画像データから異なった画像データを抽出して、表示することができる。従って、ユーザは画像データを検索条件を考えずに蓄積しておくだけでも、その時々において所望の検索条件に従った画像データを見ることができる。

請求項２に記載の発明によれば、検索条件として利用する日時の範囲を対話形式によりユーザから入力するので、蓄積された複数の画像データからユーザが希望する日時の範囲に撮影された画像データを抽出し、表示することができる。

請求項３に記載の発明によれば、表示する日時の範囲を対話形式により変化させ、表示した日時の範囲内で、検索条件として利用する日時の範囲をユーザに入力させるので、例えば、表示する日時の範囲内での画像データ数のヒストグラムや代表画像データのサムネイルを表示することにより、ユーザによる検索条件として利用する日時の範囲の入力が容易となる。

請求項４に記載の発明によれば、検索条件として利用する日時の範囲を表す文字列を入力し、文字列及びカレンダを基に、検索条件として利用する日時の範囲の候補を１又は複数作成するので、例えば、ユーザが「今年の夏休み」、「去年のゴールデンウィーク」又は「一昨年の父の日」という文字列を入力するのみで、その文字列に対応する日時の範囲を自動的に算出し、これを検索条件として利用することが可能となる。

請求項５に記載の発明によれば、複数の画像データの撮影日時の分布を基に、検索条件として利用する日時の範囲の候補を１又は複数作成するので、例えば、画像データ数が多い「２００３年７月１９日から２００３年８月３１日」、「２００３年７月２１日」又は「２００３年８月１３日から２００３年８月１８日」という日時の範囲を自動的に作成することが可能となる。

請求項６に記載の発明によれば、各候補の範囲及びカレンダを基に各候補を表す文字列であって少なくとも一部に日時以外を含むものを各候補に付記するので、ユーザは、例えば、自動作成された日時の範囲に対応する「２００３年夏休み」、「２００３年海の日」又は「２００３年お盆休み」といった文字列を選択することにより、検索条件を選択することができる。

請求項７に記載の発明によれば、検索条件として利用する場所の範囲を対話形式によりユーザから入力するので、蓄積された複数の画像データからユーザが希望する場所の範囲で撮影された画像データを抽出し、表示することができる。

請求項８に記載の発明によれば、場所の範囲毎の画像データ数を表すものを地図上に表示するので、ユーザは、場所の範囲毎の画像データ数を確認した上で、検索条件として利用する場所の範囲を入力することができる。例えば、全国地図を表示し、都道府県毎の画像データ数を数字や色分けや記号で表示すれば、ユーザは、希望する都道府県を場所の範囲として入力することができる。また、例えば、東京都地図を表示し、市町村区毎の画像データ数を数字や色分けや記号で表示すれば、ユーザは、希望する市町村区を場所の範囲として入力することができる。更に、例えば、港区地図を表示し、地域毎の画像データ数を数字や色分けや記号で表示すれば、ユーザは、希望する地域を場所の範囲として入力することができる。更に、例えば、東京ディズニーランドの地図を表示し、アトラクション、エンターテインメント又はレストラン毎の画像データ数を数字や色分けや記号で表示すれば、ユーザは希望するアトラクション、エンターテインメント又はレストランを場所の範囲として入力することができる。

請求項９に記載の発明によれば、表示する場所の範囲を対話形式により変化させ、表示した場所の範囲内で、検索条件として利用する場所の範囲をユーザに入力させるので、例えば、表示する場所の範囲内での画像データ数を表すものや代表画像データのサムネイルを表示することにより、ユーザによる検索条件として利用する場所の範囲の入力が容易となる。

請求項１０に記載の発明によれば、鉄道路線、バス路線、道路又は航路を表示し、ユーザに希望の鉄道路線、バス路線、道路又は航路を選択させ、選択されたものの界隈を、検索条件として利用する場所の範囲とするので、例えば、ＪＲ周遊券を利用して旅行をしたときの画像データを抽出したり、はとバスを利用して旅行をしたときの画像データを抽出したり、東名高速道路を利用して旅行をしたときの画像データを抽出したり、サンフラワー号を利用して旅行をしたときの画像データを抽出したりする場合に便利である。

請求項１１に記載の発明によれば、検索条件として利用する場所の範囲を表す文字列を入力し、文字列及び地図を基に、検索条件として利用する場所の範囲の候補を１又は複数作成するので、例えば、ユーザが「九州」、「鹿児島県」又は「桜島」という文字列を入力するのみで、その文字列に対応する場所の範囲を自動的に算出し、これを検索条件として利用することが可能となる。

請求項１２に記載の発明によれば、複数の画像データの撮影場所の分布を基に、検索条件として利用する場所の範囲の候補を１又は複数作成するので、例えば、画像データ数が多い地域を場所の範囲として自動的に作成することが可能となる。

請求項１３に記載の発明によれば、各候補の範囲及び地図を基に各候補を表す文字列各候補に付記するので、ユーザは、例えば、自動作成された場所の範囲に対応する「九州」、「鹿児島県」又は「桜島」といった文字列を選択することにより、検索条件を選択することができる。

請求項１４に記載の発明によれば、各画像データに画像が含まれる人物の顔を抽出し、抽出された人物の画像データを類似度に応じて顔グループに分類するので、ユーザが予め各画像データ毎に人物名をキーボードを用いて付記していなくても、画像データに画像が含まれる人物を検索条件として画像データを抽出することが可能となる。

請求項１５に記載の発明によれば、ユーザから入力された人物の顔が属する顔グループを人物検索条件として設定するので、例えば、ユーザが自分の長男の画像データを入力しただけで、蓄積された複数の画像データから自分の長男の顔が含まれている画像データを抽出することができる。

請求項１６に記載の発明によれば、各顔グループの代表の顔を表示し、ユーザにより選択された顔に対応する顔グループを人物検索条件として設定するので、ユーザが表示された顔の中からアルバムに含めたい人の顔を選択するのみで、蓄積された複数の画像データからその人の顔が含まれている画像データを抽出することができる。

請求項１７に記載の発明によれば、検索条件として利用される顔グループに含まれる顔を有する人物が撮影されているフレームのみを動画像データから抽出するので、例えば、運動会を記録した動画から自分の長女が撮影されている動画部分のみを抽出したダイジェスト版を作成することができる。

請求項１８に記載の発明によれば、検索条件として利用される顔グループに含まれる顔を有する人物が撮影されているフレームとして、顔が撮影されているフレーム及びそのフレームの近傍のフレームを抽出するので、例えば、その人物が一時的に後ろを向いたり撮影アングルから外れたりした場合であっても、歯抜けのない一まとまりの動画を得ることができる。

請求項１９に記載の発明によれば、検索条件として利用される顔グループに含まれる顔が撮影されている第１のフレームグループと検索条件として利用される顔グループに含まれる顔が撮影されている第２のフレームグループとの間の時間がしきい値以下である場合には、それらの間のフレームを顔が撮影されているフレームの近傍のフレームとして扱うので、しきい値を適切に設定することにより、必要時に歯抜けのない一まとまりの動画を得ることができ、不要時には、それらのフレームは分離され、不要に繋がることがない。

請求項２０に記載の発明によれば、検索条件として利用される顔グループに含まれる顔が収録されているフレームのみを動画像データから抽出するので、ユーザが抽出することを望む人物の顔が収録されている動画部分のみを抽出することができる。

請求項２１に記載の発明によれば、各画像データが伴う話し声を抽出し、抽出された話し声を類似度に応じて話し声グループに分類するので、ユーザが予め各画像データ毎に人物名をキーボードを用いて付記しておかなくても、画像データに画像が含まれる人物を検索条件として画像データを抽出することが可能となる。

請求項２２に記載の発明によれば、ユーザから入力された話し声が属する話し声グループを人物検索条件として設定するので、例えば、ユーザが自分の長男の話し声を入力しただけで、蓄積された複数の画像データから自分の長男の話し声を伴う画像データを抽出することができる。

請求項２３に記載の発明によれば、各話し声グループの代表の話し声を出力し、ユーザにより選択された話し声に対応する話し声グループを人物検索条件として設定するので、ユーザが出力された話し声の中からアルバムに含めたい人の話し声を選択するのみで、蓄積された複数の画像データからその人の話し声を伴う画像データを抽出することができる。

請求項２４に記載の発明によれば、検索条件として利用される話し声グループに含まれる話し声を有する人物が撮影されているフレームのみを動画像データから抽出するので、例えば、運動会を記録した動画から自分の長女が撮影されている動画部分のみを抽出したダイジェスト版を作成することができる。

請求項２５に記載の発明によれば、検索条件として利用される話し声グループに含まれる話し声を有する人物が撮影されているフレームとして、話し声を発する人物の顔が撮影されているフレーム及びそのフレームの近傍のフレームを抽出するので、例えば、その人物が一時的に話を中断した場合であっても、歯抜けのない一まとまりの動画を得ることができる。

請求項２６に記載の発明によれば、検索条件として利用される話し声グループに含まれる話し声を有する人物の顔が撮影されている第１のフレームグループと検索条件として利用される話し声グループに含まれる話し声を有する人物の顔グループに含まれる顔が撮影されている第２のフレームグループとの間の時間が所定時間以下である場合には、それらの間のフレームを顔が撮影されているフレームの近傍のフレームとして扱うので、所定数を適切に設定することにより、必要時に歯抜けのない一まとまりの動画を得ることができ、不要時には、それらのフレームは分離され、不要に繋がることがない。

請求項２７に記載の発明によれば、検索条件として利用される話し声グループに含まれる話し声が収録されているフレームのみを動画像データから抽出するので、ユーザが抽出することを望む人物の話している動画部分のみを抽出することができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。

図１は、本発明の実施形態によるアルバム作成装置が行うアルバム作成方法を説明するための概念図である。図１を参照すると、画像データ群１０１には、複数の画像データ１０２が蓄積されている。各画像データ１０２は、静止画像データ又は動画像データである。また、各画像データ１０２は、音声データを伴っていても良い。画像データ群１０１には、ユーザにより逐次画像データ１０２が追加されていく。

本実施形態によるアルバム作成方法では、画像データ群１０１から画像データ１０２を抽出するための検索条件に従って、画像データが抽出される。例えば、第１の検索条件に従って抽出した場合には、符号１０３−１の枠で囲まれる画像データ１０２が抽出され、第２の検索条件に従って抽出した場合には、符号１０３−２の枠で囲まれる画像データ１０２が抽出され、第３の検索条件に従って抽出した場合には、符号１０３−３で囲まれる画像データが抽出される。図１から明らかなように、ある検索条件により抽出された画像データの一部と他の検索条件により抽出された画像データの一部が重複する場合もあり、ある検索条件により抽出された画像データの全部が他の検索条件により抽出された画像データの一部である場合もある。また、画像データ群１０１には逐次画像データ１０２が追加されていくので、同一の検索条件を用いた場合であっても、後に抽出したときに、前に抽出したときに比べ、多くの画像データが抽出される場合もある。

抽出された画像データは、例えば、サムネイル等の形態で一覧表示され、ユーザが所望のサムネイルを選択すると、そのサムネイルの基となった画像データが例えば全画面表示される。

このようにして、画像データ群１０１に特定の分類に従って画像データを追加するようなことをしなくても、検索条件を適宜作成することにより、必要な画像データを含むアルバムを作成することができる。

図２に画像データファイルのフォーマット図を示す。図２を参照すると、画像データファイルは、撮影条件、撮影日時、撮影場所、顔グループ識別情報、声グループ識別情報、画像データ及び音声データを含む。撮影条件は、絞り、シャッタースピード、フラッシュのＯＮ／ＯＦＦ、撮像素子の感度等を含む。撮影日時は、年月日及び時分秒より構成される。撮影場所は、経度、緯度より構成される。また、撮影場所は高度を含んでいても良い。撮影場所は、カメラが内蔵するＧＰＳ受信機又はカメラに接続されるＧＰＳ受信機が検出する。また、日時は、カメラが内蔵する時計から得ても良いが、ＧＰＳ受信機から得ても良い。顔グループ識別情報は、画像データ群１０１に含まれる画像データに含まれる顔を１又は２以上の顔グループに分類したときの各顔グループの識別情報である。声グループ識別情報は、画像データ群１０１に含まれる画像データが伴う１又は２以上の声グループに分類したときの各声グループの識別情報である。画像データは、静止画像データ又は動画像データであり、静止画像データの場合であれば、例えばＪＰＥＧ(Joint Photographic Experts Group)形式、ＴＩＦＦ(Tagged Image File Format)形式等のデータ形式を有し、動画像データの場合であれば、ＭＰＥＧ(Moving Picture Experts Group)１、ＭＰＥＧ２、ＭＰＥＧ４等のデータ形式を有する。音声データは、撮影時に録音された音声データ又はアフレコされた音声データである。静止画像データの場合には、顔グループ識別情報、声グループ識別情報、画像データ及び音声データは１組のみであるが、動画像データの場合には、顔グループ識別情報、声グループ識別情報、画像データ及び音声データの１組は１フレームに対応し、このような組が動画像データのフレーム数だけ繰り返される。従って、フレームによって、顔グループ識別情報、声グループ識別情報、画像データ及び音声データは異なる。また、動画像データの場合には、画像データの先頭にいずれかのフレームに現れた顔グループ識別情報及び声グループ識別情報を挿入しても良い。こうすることにより、動画像データの全フレーム又は一部のフレームを抽出する場合に、検索が高速化される。また、顔グループ識別情報と声グループ識別情報を画像データとは別の識別情報ファイルに含め、画像データと識別情報ファイルが関連付けられるようにしても良い。また、顔グループ識別情報とその顔グループ識別情報により示される顔グループの顔を含む画像データの識別情報を１対多の関係で保持するファイル及び声グループ識別情報とその声グループ識別情報により示される声グループの声を含む画像データの識別情報を１対多の関係で保持するファイルを設けても良い。

検索条件としては、撮影日時、撮影場所、画像データに画像が含まれる人物若しくは画像データが伴う音声に含まれる話し声を出す人物又はこれらの組合せが用いられる。

図３に本発明の実施形態によるアルバム作成装置の主要部の構成を示す。図３を参照すると、本発明の実施形態によるアルバム作成装置は、画像データ群１０１、画像データ入力部１１１、画像データ書込部１１２、表示部１１３、操作入力部１１４、検索条件生成部１１５及び画像データ抽出部１１６を備える。

画像データ群１０１は、例えば、ハードディスクドライブに存在し、前述したように、画像データを蓄積する。画像データ入力部１１１は、カメラで撮影された画像データを入力する。具体的には、画像データ入力部１１１は、例えば、ＵＳＢ若しくはＩＥＥＥ１３９４のリンクを介してカメラから画像データを入力するインターフェース部又はフラッシュメモリから画像データを入力するカードリーダ等である。画像データ書込部１１２は、画像データ入力部１１１が入力した画像データを画像データ群１０１に加える。表示部１１３は、ユーザが対話形式で検索条件を入力するための画面を表示する。また、表示部１１３は、検索条件に従って抽出された画像データを表示する。操作入力部１１４は、表示部１１３が表示する画面上でユーザが入力した検索条件を生成するために必要なデータを受け付ける。検索条件生成部１１５は、操作入力部１１４が入力したデータ及びそのデータが入力された際に表示部１１３が表示していた画面を基に検索条件を生成する。画像データ抽出部１１６は、検索条件生成部１１５が生成した検索条件を基に、画像データ群１０１からその検索条件に合ったデータを抽出する。

［実施形態１］
次に、日時の範囲を検索条件として画像データを抽出する第１の場合について説明する。

図４に示すような、日時の範囲を指定するための対話画面を表示し、ユーザによる開始日及び終了日並びに、必要ならば、開始時刻及び終了時刻の入力を受け付け、入力された日時の範囲を検索条件として作成し、その検索条件に従って画像データ群１０１から画像データを抽出する。

［実施形態２］
次に、日時の範囲を検索条件として画像データを抽出する第２の場合について説明する。

図５に示すような、日時の範囲を指定するための対話画面を表示する。図５に示す対話画面においては、表示する日時の範囲のスケールを指定するためのボタン群１２１、現在表示している範囲を示す文字列１２２、現在表示している範囲に対応して定められた区分毎の画像データ数の分布を示すグラフ１２３、分布のかたまり毎の代表画面のサムネイル１２４及び日時の範囲を確定するための確定ボタン１２５が表示されている。図５の例においては、２００２年の一年間の範囲が表示されている。この状態で、例えば、７月と８月を選択し、月のボタン１２１−１を押すと、図５に示す画面は、図６に示す画面に変化する。図６に示す対話画面においては、７月と８月の各日毎の画像データ数を表すヒストグラム１２３が表示され、また、各日の代表画面のサムネイル１２４が表示される。図６の画面上で、例えば、２００２年８月１４日〜２００２年８月１８日を選択し、確定ボタン１２５を押すと、２００２年８月１４日０時０分０秒〜２００２年８月１８日２３時５９分５９秒が日時の範囲として確定する。

表示する日時の範囲が日や時である場合には、日付のみならず時刻も図６に示す画面と同様な画面で指定できるようにする。また、別の画面を用いて、表示する日時の範囲が年や月である場合にも、日付のみならず時刻も指定できるようにしても良い。

このようにして確定した日時の範囲を検索条件として画像データの抽出が行われる。

［実施形態３］
次に、日時の範囲を検索条件として画像データを抽出する第３の場合について図７を参照して説明する。

日時の範囲を指定するための自然言語を入力するための対話画面１３１を表示し、ユーザによる入力を待つ。ここで、ユーザは、例えば、「今年の夏休み」、「去年のゴールデンウィーク」又は「一昨年の父の日」といった、日時の範囲を指定するための自然言語を入力する。カレンダ１３２には、何年何月何日が何の日であるのかという情報が記録されている。検索条件生成部１１５は、日時の範囲を指定するための自然言語を形態素解析等を利用して解析し、解析して得られた結果とカレンダ１３２を基に、検索条件として利用する日時の範囲を生成する。例えば、「今年の夏休み」からは、検索条件として利用する日時の範囲として２００３年７月２０日から２００３年８月３１日を生成し、「去年のゴールデンウィーク」からは、検索条件として利用する日時の範囲として２００２年４月２７日から２００２年５月６日を生成し、「一昨年の父の日」からは、検索条件として利用する日時の範囲として２００１年６月１７日を生成する。夏休みの範囲が不明である場合には、複数の日時の範囲を生成して、ユーザに選択させたり、問合せの画面を表示して、ユーザが指定するようにしても良い。

［実施形態４］
次に、日時の範囲を検索条件として画像データを抽出する第４の場合について図８を参照して説明する。

図８に示すように撮影日が分布している場合に、ひとかたまりの分布を含む日時の範囲を１つの日時の範囲の検索条件として生成する。例えば、画像データ数が１以上ある撮影日を抽出し、各撮影日について、隣接する撮影日との間隔がｎ日以内であれば、隣接する撮影日と共にひとかたまりを成すと判定し、それを抽出された撮影日について、繰り返す。このようにして、間隔をｎ日としたときのひとかたまりの日時の範囲が１又は複数作成される。そして、ｎの値を１〜Ｎの範囲で変化させて前述の繰返しを更に繰り返す。こうすることにより、図８の両矢印で示すような日時の範囲を生成することができる。図８に示す例において、７月下旬から８月にかけての４つのかたまりは、ｎの値を小さくしたときのものであり、７月下旬から８月にかけての範囲の広い１つのからまりはｎの値を大きくしたときのものである。各日時の範囲は、例えば、その範囲の最初の日時及びその範囲の最後の日時により表し、それらの日時の範囲を一覧表示し、ユーザが選択できるようにする。一覧表示には、代表画像データのサムネイルを付加しても良い。そして、ユーザが選択した日時の範囲を検索条件として画像データを抽出する。

［実施形態５］
実施形態４においては、日時の範囲をその範囲の最初の日時及びその範囲の最後の日時により表すこととしたが、こうすると、ユーザは直感的にその日時の範囲を把握することが困難となるおそれがある。そこで、カレンダ１３２を参照し、日時の範囲が重複するカレンダ１３２上の事象を日時の範囲を表すものとする。例えば、日時の範囲が２００３年１月１日〜１月３日であれば、「２００３年お正月」がその日時の範囲を表すようにし、日時の範囲が２００３年７月２０日〜２００３年８月３１日であれば、「２００３年夏休み」がその日時の範囲を表すようにする。

［実施形態６］
次に、場所の範囲を検索条件として画像データを抽出する第１の場合について図９及び１０を参照して説明する。

例えば、日本全国が指定されたならば、図９に示すような日本全国の都道府県別の地図を含む画面を表示する。この日本全国の都道府県別の地図において、都道府県別の画像データの枚数に応じた色彩で各都道府県を着色する。或いは、枚数を数字で表示しても良い。或いは、画像データが存在する場所を記号で表示しても良い。こうすることにより、ユーザは、都道府県別の画像データ数を把握することが可能となる。図９に示す画面には、縮小ボタン１４１、確定ボタン１４２、拡大ボタン１４３も表示される。ユーザが縮小ボタン１４１を押したならば、世界地図を表示する。ユーザが、例えば、東京都を選択し、確定ボタン１４２を押したならば、東京都を場所の範囲として確定する。ユーザが、例えば、東京都を選択し、拡大ボタン１４３を押したならば、図１０に示すような東京都の市町村区別の地図を表示する。この東京都の市町村区別の地図においても、市町村区別の画像データの枚数に応じた色彩で市町村区を着色する。或いは、枚数を数字で表示しても良い。図９に示す画面の場合と同様に、ユーザが縮小ボタン１４１を押したならば、日本全国の地図を表示する。ユーザが、例えば、港区を選択し、確定ボタン１４２を押したならば、港区を場所の範囲として確定する。ユーザが、例えば、港区を選択し、拡大ボタン１４３を押したならば、港区の町別の地図（図示せず）を表示する。また、例えば、千葉県の市町村別の地図を表示しているときに、ユーザが浦安市を選択し、拡大ボタン１４３を押したならば、浦安市の町別の地図を表示し、この地図を表示しているときにユーザが東京ディズニーランドを選択し、拡大ボタン１４３を押したならば、東京ディズニーランドのアトラクション、エンターテインメント、レストラン別の地図を表示し、この地図が表示されているときにユーザがビッグサンダーマウンテンを選択し、確定ボタン１４２を押したならば、ビッグサンダーマウンテンを場所の範囲として確定する。

また、日本全国の都道府県別の地図において、都道府県別に代表画像データのサムネイルを表示しても良いし、東京都の市町村区別の地図において、市町村区別に代表画像データのサムネイルを表示しても良いし、東京ディズニーランドのアトラクション、エンターテインメント及びレストラン別の地図において、アトラクション、エンターテインメント及びレストラン別に代表画像データのサムネイルを表示しても良い。

［実施形態７］
次に、場所の範囲を検索条件として画像データを抽出する第２の場合について説明する。

例えば、関東が選択されたならば、関東の鉄道地図（図示せず）を表示する。この鉄道地図において、各鉄道路線別の画像データの枚数に応じた色彩で各鉄道路線の線の色や模様を変化させても良い。或いは、枚数を数字で表しても良い。また、各鉄道路線別に代表画像データのサムネイルを表示しても良い。この鉄道地図において、ユーザが、例えば、東武東上線を選択したならば、東武東上線の界隈を場所の範囲として確定する。鉄道路線の界隈は、例えば、鉄道路線から所定距離内の範囲とする。また、鉄道路線を選択した後に、その鉄道路線の全ての駅を表示し、場所の範囲として用いる区間をその区間の両端の駅により指定するようにしてもよい。

また、例えば、ＪＲバス関東が選択されたならば、ＪＲバス関東のバス路線の一覧表を表示する。この一覧表には、バス路線の経路から求めたバス路線毎の画像データの枚数を数字、色彩等で表したものを付記しても良く、代表画像データのサムネイルを付記しても良い。この一覧表で、ユーザが、例えば、ニュードリーム京都号を選択したならば、ニュードリーム京都号の路線の界隈を場所の範囲として確定する。はとバス等についても同様である。

更に、例えば、高速道路が選択されたならば、高速道路の一覧表を表示する。この一覧表には、高速道路の経路から求めた高速道路毎の画像データの枚数を数字、色彩等で表したものを付記しても良く、代表画像データのサムネイルを付記しても良い。この一覧表で、ユーザが、例えば、東名高速道路を選択したならば、東名高速道路の経路の界隈を場所の範囲として確定する。また、高速道路を選択した後に、その高速道路の全てのインターチェンジを表示し、場所の範囲として用いる区間をその区間の両端のインターチェンジにより指定するようにしても良い。

更に、例えば、カーフェリーが選択されたならば、カーフェリーの一覧表を表示する。この一覧表には、カーフェリーの航路から求めたカーフェリー毎の画像データの枚数を数字、色彩等で表したものを付記しても良く、代表画像データのサムネイルを付記しても良い。この一覧表で、ユーザが、例えば、サンフラワー号を選択したならば、サンフラワー号の航路の界隈を場所の範囲として確定する。また、カーフェリーを選択した後に、そのカーフェリーが停泊する全ての港を表示し、場所の範囲として用いる区間をその区間の両端の港により指定するようにしても良い。

［実施形態８］
次に、場所の範囲を検索条件として画像データを抽出する第３の場合について図１１を参照して説明する。

場所の範囲を指定するための自然言語を入力するための対話画面１５１を表示し、ユーザによる入力を待つ。ここで、ユーザは、例えば、「九州」、「鹿児島県」又は「桜島」といった、場所の範囲を指定するための自然言語を入力する。地図１５２には、どの位置がどの地方に含まれているのか、どの位置がどの都道府県に含まれているのか、どの位置がどの市町村区に含まれているのか、どの位置がどの地名に含まれているのか、どの位置が、どの鉄道路線、どのバス路線、どの道路又はどの航路の界隈であるのかという情報が記録されている。検索条件生成部１１５は、場所の範囲を指定するための自然言語を形態素解析等を利用して解析し、解析して得られた結果と地図１５２を基に、検索条件として利用する場所の範囲を生成する。例えば、「九州」からは、検索条件として利用する場所の範囲として九州全土及び近隣の島の全範囲を生成し、「鹿児島県」からは、検索条件として利用する場所の範囲として鹿児島県の全範囲を生成し、「桜島」からは、検索条件として利用する場所の範囲として桜島の全範囲を生成する。

［実施形態９］
次に、場所の範囲を検索条件として画像データを抽出する第４の場合について図１２を参照して説明する。

図１２の黒点１６１で示すように撮影場所が分布している場合に、ひとかたまりの分布を含む場所の範囲を１つの場所の範囲の検索条件として生成する。例えば、画像データ数が１以上ある撮影場所（例えば、数メートル四方の大きさの場所）を抽出し、各撮影場所について、隣接する撮影場所との間隔がｎメートル以内であれば、隣接する撮影場所と共にひとかたまりを成すと判定し、それを抽出された撮影場所について、繰り返す。そして、ｎの値を１〜Ｎの範囲で変化させて前述の繰返しを更に繰り返す。こうすることにより、符号１６２−１〜１６２−５に示すような場所の範囲が生成することができる。各日時の範囲は、図１２に示すような画面により表し、ユーザが選択できるようにする。図１２に示す画面には、代表画像データのサムネイルを付加しても良い。そして、ユーザが選択した場所の範囲を検索条件として画像データを抽出する。

［実施形態１０］
実施形態９においては、場所の範囲を地図上に表すこととしたが、こうすると、ユーザは直感的にその場所の範囲を把握することが困難となるおそれがある。そこで、地図１５２を参照し、場所の範囲が重複する地図上の都道府県名、市町村区名、鉄道路線名、バス路線名、道路名、航路名等を場所の範囲を表すものとする。例えば、場所の範囲が港区に収るならば、「港区」がその場所の範囲を表すようにし、場所の範囲が東京都全体に分布しているならば、「東京都」がその場所の範囲を表すようにし、場所の範囲があるはとバス路線の界隈に集中している場合には、そのはとバス路線の名称がその場所の範囲を表すようにする。

［実施形態１１］
次に、人物を検索条件として画像データを抽出する第１の場合について図１３、１４及び１５を参照して説明する。

まず、画像データ群１０１にある程度の数の画像データが蓄積されてきたとき、ユーザから要求があったとき又は定期的に、顔抽出部１７１、顔分類部１７３及び顔照合部１７５は動作する。

顔抽出部１７１は画像データ群１０１中の各画像データ１０２から顔を抽出して、抽出された顔を未分類顔データベース１７２に書き込む。顔分類部１７３は、未分類顔データベース１７２から各顔を読み出し、読み出した顔を相互に比較することにより、図１４に示すように顔グループ１７６−１〜１７６−Ｎに分類する。各顔グループは類似した顔の集合である。そして、各顔グループに属する顔にその顔グループの識別情報（例えばシリアル番号）を付加して、顔グループ識別情報が付加された顔を分類済顔データベース１７４に書き込む。顔照合部１７５は、各画像データから顔抽出部１７１が抽出した顔を分類済顔データベース１７４から読み出した各顔グループに属する顔と照合することにより、各画像データから顔抽出部１７１が抽出した顔がどの顔グループのどの顔に最も類似するかを判断し、その最も類似する顔が属する顔グループの識別情報を図２に示す顔グループ識別情報として画像データ１０２に追加する。なお、各顔グループのなかで最も平均的な顔のうち所定の鮮明度が得られている画像データを各顔グループの代表顔として選択しておき、顔照合部１７５は、各画像データから顔抽出部１７１が抽出した顔を分類済顔データベース１７４から読み出した各顔グループの代表顔と照合することにより、各画像データから顔抽出部１７１が抽出した顔がどの顔グループに属しているかを判断しても良い。また、顔照合部１７５は、顔グループ識別情報を画像データ１０２に追加する代わりに、顔グループ識別情報毎に顔グループ識別情報とその顔グループ識別情報により表される顔グループに含まれる顔を含む画像データ１０２の識別情報を１対多の関係で表すファイルを作成しても良い。

なお、未分類顔データベース１７２と分類済顔データベース１７４は、説明の都合上、別々のものとしたが、未分類顔データベース１７２の各顔に顔グループの識別情報を付加して、分類済顔データベース１７４を構成するようにしても良い。

画像データから複数の顔が抽出された場合には、それらの顔が属する顔グループの識別情報を全て画像データに追加する。また、画像データが動画像データを表す場合には、各フレームについて顔グループの識別情報の追加を行う。又は、画像データが動画像データを表す場合には、各顔グループ識別情報毎に、顔グループ識別情報により表される顔グループに属する顔がどの画像データのどのフレームに含まれるかという１対多の関係を保持するファイルを作成しても良い。

なお、顔を検出するためには、本出願の出願人が出願した特許文献１の発明を利用することができ、顔を照合するためには、本出願の出願人が出願した特許文献２の発明を利用することができる。

以上が人物を検索条件として画像データを抽出する第１の場合の下準備である。

図１５を参照すると、画像データを抽出するときには、ユーザは、抽出したい画像データに含まれるべき人物の顔を含む新たな画像データを画像データ入力部１１１に入力する。顔抽出部１７１は、画像データ入力部１１１が入力した画像データから顔を抽出する。顔照合部１７５は、顔抽出部１７１が抽出した顔が、分類済顔データベース１７４に格納されている分類済顔のうちのどの顔に最も類似するかを判断し、その類似する顔がどの顔グループに属するかを判断し、その顔グループの識別情報を画像データ抽出部１１６に渡す。画像データ抽出部１１６は、その顔グループの識別情報を有する画像データを画像データ群１０１から抽出し、表示部１１３に出力する。

［実施形態１２］
次に、人物を検索条件として画像データを抽出する第２の場合について図１６を参照して説明する。

実施形態１１では、ユーザが抽出したい画像データに含まれるべき人物の顔を含む新たな画像データを入力することとしたのに対し、実施形態１２では、各顔グループの代表顔を一覧表示し、ユーザにその一覧表示された代表顔から検索条件として用いたい顔を１又は複数選択させ、選択された代表顔が属する顔グループの識別情報を有する画像データを画像データ群１０１から抽出する。

図１６を参照すると、まず、代表顔選択部１８１は、各顔グループのなかで最も平均的な顔のうち所定の鮮明度が得られている画像データを各顔グループの代表顔として選択する。表示部１１３は、全ての顔グループの代表顔を表示する。操作入力部１１４は、ユーザによる１又は複数の代表顔の選択を入力する。検索条件生成部１１５は、ユーザにより選択された代表顔が属する顔グループの識別情報を得る。画像データ抽出部１１６は、その顔グループの識別情報を有する画像データを画像データ群１０１から抽出し、表示部１１３に出力する。

［実施形態１３］
次に、人物を検索条件として画像データを抽出する第３の場合について図１３及び１７を参照して説明する。

実施形態１３では、画像データが動画像データである場合に、検索条件として設定された顔グループに含まれる顔が撮影されているフレームのみをその動画像データから抽出する。又は、検索条件として設定された顔グループに含まれる顔を有する人物が撮影されているフレームのみをその動画像データから抽出する。

実施形態１１の図１３に示す構成において、顔照合部１７５は、各動画像データの各フレームから顔抽出部１７１が抽出した顔を分類済顔データベース１７４から読み出した各顔グループに属する顔と照合することにより、各動画像データの各フレームから顔抽出部１７１が抽出した顔がどの顔グループのどの顔に最も類似するかを判断し、その最も類似する顔が属する顔グループの識別情報を図２に示す顔グループ識別情報として動画像データ１０２の各フレームに追加する。なお、各顔グループのなかで最も平均的な顔のうち所定の鮮明度が得られている画像データを各顔グループの代表顔として選択しておき、顔照合部１７５は、各動画像データの各フレームから顔抽出部１７１が抽出した顔を分類済顔データベース１７４から読み出した各顔グループの代表顔と照合することにより、各動画像データの各フレームから顔抽出部１７１が抽出した顔がどの顔グループに属しているかを判断しても良い。

抽出する動画像データに含まれるべき顔の選択を、実施形態１１又は１２で説明した方法により行い、抽出する動画像データに含まれるべき顔が属する顔グループの識別情報を得る。

画像データ抽出部１１６は、各動画像データのフレームのうち検索条件として設定されている顔が撮影されているフレームを抽出する。又は、画像データ抽出部１１６は、各動画像データのフレームのうち検索条件として設定されている顔を有する人物が撮影されているフレームを抽出する。

ここで、ある登場人物が一時的に後ろを向いたり、撮影アングルから外れる合間があると、その合間のフレームには登場人物の顔が含まれていないため、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図２に示す顔グループ識別情報として有するフレームを抽出する方法を採用すると、その合間が歯抜けしてしまい、人物が撮影されているフレームの一部が欠落することとなってしまう。

そこで、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図２に示す顔グループ識別情報として有するフレームのみならず、そのようなフレームの近傍のフレームも抽出し、これらの抽出したフレームを各動画像データのフレームのうち検索条件として設定されている顔を有する人物が撮影されているフレームとする。例えば、図１７に示すように、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図２に示す顔グループ識別情報として有する第１のフレームグループと、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図２に示す顔グループ識別情報として有する第２のフレームグループとの間の時間がしきい値以下であれば、第１のフレームグループと第２のフレームグループの間にある全フレームを近傍のフレームとして扱い、他方で、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図２に示す顔グループ識別情報として有する第１のフレームグループと、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図２に示す顔グループ識別情報として有する第２のフレームグループとの間の時間がしきい値を超えれば、第１のフレームグループと第２のフレームグループの間にある全フレームを近傍のフレームでないフレームとして扱う。又は、各動画像データのフレームのうち検索条件として設定されている顔が属する顔グループの識別情報を図２に示す顔グループ識別情報として有するフレームからその顔が属する人物を物体認識し、その物体が現れているフレームを各動画像データのフレームのうち検索条件として設定されている顔を有する人物が撮影されているフレームとして扱う。物体認識のためには、例えば、特許文献５の発明を利用することができる。また、認識された物体を追跡するためには、例えば、特許文献６の発明を利用することができる。

［実施形態１４］
次に、人物を検索条件として画像データを抽出する第４の場合について図１８、１９及び２０を参照して説明する。

まず、画像データ群１０１にある程度の数の画像データが蓄積されてきたとき、ユーザから要求があったとき又は定期的に、声抽出部１９１、声分類部１９３及び声照合部１９５は動作する。

声抽出部１９１は画像データ群１０１中の各画像データに付随する声を抽出して、抽出された声を未分類声データベース１９２に書き込む。声分類部１９３は、未分類声データベース１９２から各声を読み出し、読み出した声を相互に比較することにより、図１９に示すように声グループ１９６−１〜１９６−Ｎに分類する。各声グループは類似した声の集合である。そして、各声グループに属する声にその声グループの識別情報を付加して、声グループ識別情報が付加された声を分類済声データベース１９４に書き込む。声照合部１９５は、各画像データから声抽出部１９１が抽出した声を分類済声データベース１９４から読み出した各声グループに属する声と照合することにより、各画像データから声抽出部１９１が抽出した声がどの声グループのどの声に最も類似するかを判断し、その最も類似する声が属する声グループの識別情報を図２に示す声グループ識別情報として画像データ１０２に追加する。なお、各声グループのなかで最も平均的な声のうち所定の鮮明度が得られている画像データを各声グループの代表声として選択しておき、声照合部１９５は、各画像データから声抽出部１９１が抽出した声を分類済声データベース１９４から読み出した各声グループの代表声と照合することにより、各画像データから声抽出部１９１が抽出した声がどの声グループに属しているかを判断しても良い。また、声照合部１９５は、声グループ識別情報を画像データ１０２に追加する代わりに、声グループ識別情報毎に声グループ識別情報とその声グループ識別情報により表される声グループに含まれる声を伴う画像データの識別情報を１対多の関係で表すファイルを作成しても良い。なお、声の類似度を判断するために、声紋を用いても良い。

なお、未分類声データベース１９２と分類済声データベース１９４は、説明の都合上、別々のものとしたが、未分類声データベース１９２の各声に声グループの識別情報を付加して、分類済声データベース１９４を構成するようにしても良い。

画像データから複数の声が抽出された場合には、それらの声が属する声グループの識別情報を全て画像データに追加する。また、画像データが動画像データである場合には、各フレームについて声グループの識別情報の追加を行う。又は、画像データが動画像データである場合には、各声グループ識別情報毎に、声グループ識別情報により表される声グループに属する声がどの画像データのどのフレームに含まれるかという１対多の関係を保持するファイルを作成しても良い。

以上が人物を検索条件として画像データを抽出する第４の場合の下準備である。

図２０を参照すると、画像データを抽出するときには、ユーザは、抽出したい画像データに含まれるべき人物の声を音声入力部１９７に入力する。声照合部１９５は、音声入力部１９７が入力した声が、分類済声データベース１９４に格納されている分類済声のうちのどの声に最も類似するかを判断し、その類似する声がどの声グループに属するかを判断し、その声グループの識別情報を画像データ抽出部１１６に渡す。画像データ抽出部１１６は、その声グループの識別情報を有する画像データを画像データ群１０１から抽出し、表示部１１３に出力すると共にその画像データに付随する音声データを音声出力部１９８に出力する。

［実施形態１５］
次に、人物を検索条件として画像データを抽出する第５の場合について図２１を参照して説明する。

実施形態１４では、ユーザが抽出したい画像データに含まれるべき人物の声を入力することとしたのに対し、実施形態１５では、各声グループの代表声をユーザに聴かせ、ユーザにその聴かせた代表声から検索条件として用いたい声を１又は複数選択させ、選択された代表声が属する声グループの識別情報を有する画像データを画像データ群１０１から抽出する。

図２１を参照すると、まず、代表声選択部２０１は、各声グループのなかで最も平均的な声のうち所定の鮮明度が得られている画像データを各声グループの代表声として選択する。音声出力部１９８は、全ての声グループの代表声を出力する。操作入力部１１４は、ユーザによる１又は複数の代表声の選択を入力する。検索条件生成部１１５は、ユーザにより選択された代表声が属する声グループの識別情報を得る。画像データ抽出部１１６は、その声グループの識別情報を有する画像データを画像データ群１０１から抽出し、表示部１１３に出力すると共にその画像データに付随する音声データを音声出力部１９８に出力する。

［実施形態１６］
次に、人物を検索条件として画像データを抽出する第６の場合について図１７及び１８を参照して説明する。

実施形態１６では、画像データが音声付き動画像データである場合に、検索条件として設定された声グループに含まれる声を伴うフレームのみをその音声付き動画像データから抽出する。又は、検索条件として設定された声グループに含まれる声を有する人物が撮影されているフレームのみをその音声付き動画像データから抽出する。

実施形態１４の図１８に示す構成において、声照合部１９５は、各動画像データの各フレームに付随する音声から声抽出部１９１が抽出した声を分類済声データベース１９４から読み出した各声グループに属する声と照合することにより、各動画像データの各フレームに付随する音声から声抽出部１９１が抽出した声がどの声グループのどの声に最も類似するかを判断し、その最も類似する声が属する声グループの識別情報を図２に示す声グループ識別情報として動画像データ１０２の各フレームに追加する。なお、各声グループのなかで最も平均的な声のうち所定の鮮明度が得られている画像データを各声グループの代表声として選択しておき、声照合部１９５は、各動画像データの各フレームに付随する音声から声抽出部１９１が抽出した声を分類済声データベース１９４から読み出した各声グループの代表声と照合することにより、各動画像データの各フレームに付随する音声から声抽出部１９１が抽出した声がどの声グループに属しているかを判断しても良い。

抽出する動画像データに付随するべき声の選択を、実施形態１４又は１５で説明した方法により行い、抽出する動画像データに付随するべき声が属する声グループの識別情報を得る。

画像データ抽出部１１６は、各動画像データのフレームのうち検索条件として設定されている声が付随するフレームを抽出する。又は、画像データ抽出部１１６は、各動画像データのフレームのうち検索条件として設定されている声を有する人物が撮影されているフレームを抽出する。

ここで、ある登場人物が一時的に話を中断することにより合間が生ずると、その合間のフレームには登場人物の声が含まれていないため、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図２に示す声グループ識別情報として有するフレームを抽出する方法を採用すると、その合間が歯抜けしてしまい、人物が撮影されているフレームの一部が欠落することとなってしまう。

そこで、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図２に示す声グループ識別情報として有するフレームのみならず、そのようなフレームの近傍のフレームも抽出し、これらの抽出したフレームを各動画像データのフレームのうち検索条件として設定されている声を有する人物が撮影されているフレームとする。例えば、図１７に示すように、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図２に示す声グループ識別情報として有する第１のフレームグループと、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図２に示す声グループ識別情報として有する第２のフレームグループとの間の時間がしきい値以下であれば、第１のフレームグループと第２のフレームグループの間にある全フレームを近傍のフレームとして扱い、他方で、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図２に示す声グループ識別情報として有する第１のフレームグループと、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図２に示す声グループ識別情報として有する第２のフレームグループとの間の時間ががしきい値を超えれば、第１のフレームグループと第２のフレームグループの間にある全フレームを近傍のフレームでないフレームとして扱う。又は、各動画像データのフレームのうち検索条件として設定されている声が属する声グループの識別情報を図２に示す声グループ識別情報として有するフレームからその声を発する人物の顔又は体を認識し、その顔又は体が現れているフレームを各動画像データのフレームのうち検索条件として設定されている声を有する人物が撮影されているフレームとして扱う。

［実施形態１７］
実施形態１〜１６においては、日時の範囲、場所の範囲又は人物を単独の検索条件として画像データを抽出することとした。これに対し、実施形態１７では、日時の範囲、場所の範囲及び人物のうちの２以上を組み合わせて検索条件を生成し、この検索条件に従って画像データを抽出する。

例えば、ある日時の範囲のある場所の範囲の画像データを抽出したり、ある日時のある人物の画像データを抽出したり、ある場所のある人物の画像データを抽出したり、ある日時のある場所のある人物の画像データを抽出する。

複数の検索条件を組み合わせて画像データを抽出する場合、順次検索条件に従って画像データを段階的に絞り込んでいっても良いし、複数の検索条件を同時に用いて画像データを抽出しても良い。

なお、画像データ書込部１１２、操作入力部１１４、検索条件生成部１１５、画像データ抽出部１１６、顔抽出部１７１、顔分類部１７３、顔照合部１７５、代表顔選択部１８１、声抽出部１９１、声分類部１９３及び声照合部１９５は、ハードウェアによって実現することもできるが、コンピュータをこれらの部分として機能させるためのプログラムをコンピュータが実行することによっても実現することができ、ハードウェアを用いてコンピュータをこれらの部分として機能させるためのプログラムをコンピュータが実行することによっても実現することができる。

本発明は、蓄積された画像データを基にアルバムを作成することに利用することができる。

本発明の実施形態によるアルバム作成装置が行うアルバム作成方法を説明するための概念図である。 本発明の実施形態で用いる画像データの構成を示すフォーマット図である。 本発明の実施形態によるアルバム作成装置の主要部を示すブロック図である。 本発明の実施形態１で用いる画面の図である。 本発明の実施形態２で用いる第１の画面の図である。 本発明の実施形態２で用いる第２の画面の図である。 本発明の実施形態によるアルバム作成装置のうち実施形態３に係る部分を示すブロック図である。 本発明の実施形態４による検索条件生成方法を説明するための図である。 本発明の実施形態６で用いる第１の画面の図である。 本発明の実施形態６で用いる第２の画面の図である。 本発明の実施形態によるアルバム作成装置のうち実施形態８に係る部分を示すブロック図である。 本発明の実施形態９による検索条件生成方法を説明するための図である。 本発明の実施形態によるアルバム作成装置のうち実施形態１１に係る部分を示す第１のブロック図である。 本発明の実施形態１１による検索条件生成方法を説明するための図である。 本発明の実施形態によるアルバム作成装置のうち実施形態１１に係る部分を示す第２のブロック図である。 本発明の実施形態によるアルバム作成装置のうちの実施形態１２に係る部分を示すブロック図である。 本発明の実施形態１３による画像データの抽出方法を説明するための図である。 本発明の実施形態によるアルバム作成装置のうち実施形態１４に係る部分を示す第１のブロック図である。 本発明の実施形態１４による検索条件生成方法を説明するための図である。 本発明の実施形態によるアルバム作成装置のうち実施形態１４に係る部分を示す第２のブロック図である。 本発明の実施形態によるアルバム作成装置のうちの実施形態１５に係る部分を示すブロック図である。

符号の説明

１０１ 画像データ群
１１１ 画像データ入力部
１１２ 画像データ書込部
１１３ 表示部
１１４ 操作入力部
１１５ 検索条件生成部
１１６ 画像データ抽出部
１３２ カレンダ
１５２ 地図
１７１ 顔抽出部
１７２ 未分類顔データベース
１７３ 顔分類部
１７４ 分類済顔データベース
１７５ 顔照合部
１８１ 代表顔選択部
１９１ 声抽出部
１９２ 未分類声データベース
１９３ 声分類部
１９４ 分類済声データベース
１９５ 声照合部
１９７ 音声入力部
１９８ 音声出力部

Claims (55)

1. 蓄積された複数の画像データから、画像データが作成された日時の範囲、画像データが撮影された場所の範囲、画像データに画像が含まれる人物若しくは画像データが伴う音声に含まれる話し声を出す人物又はこれらの組合せを検索条件として１又は複数の画像データを抽出する抽出手段と、
   該抽出された画像データを表示する表示手段と、
   を備えることを特徴とするアルバム作成装置。
2. 請求項１に記載のアルバム作成装置において、
   検索条件として利用する日時の範囲を対話形式によりユーザから入力する日時検索条件入力手段を更に備えることを特徴とするアルバム作成装置。
3. 請求項２に記載のアルバム作成装置において、
   前記日時検索条件入力手段は、表示する日時の範囲を対話形式により変化させ、表示した日時の範囲内で、検索条件として利用する日時の範囲をユーザに入力させることを特徴とするアルバム作成装置。
4. 請求項１に記載のアルバム作成装置において、
   検索条件として利用する日時の範囲を表す文字列を入力する文字列手段と、
   前記文字列及びカレンダを基に、検索条件として利用する日時の範囲の候補を１又は複数作成する日時検索条件作成手段を更に備えることを特徴とするアルバム作成装置。
5. 請求項１に記載のアルバム作成装置において、
   前記複数の画像データの撮影日時の分布を基に、検索条件として利用する日時の範囲の候補を１又は複数作成する日時検索条件作成手段を更に備えることを特徴とするアルバム作成装置。
6. 請求項５に記載のアルバム作成装置において、
   各候補に、該候補の範囲及びカレンダを基に該候補を表す文字列であって少なくとも一部に日時以外を含むものを付記する文字列付記手段を更に備えることを特徴とするアルバム作成装置。
7. 請求項１に記載のアルバム作成装置において、
   検索条件として利用する場所の範囲を対話形式によりユーザから入力する場所検索条件入力手段を更に備えることを特徴とするアルバム作成装置。
8. 請求項７に記載のアルバム作成装置において、
   前記対話形式による対話において、場所の範囲毎の画像データ数を表すものを地図上に表示する画像データ数分布表示手段を更に備えることを特徴とするアルバム作成装置。
9. 請求項７に記載のアルバム作成装置において、
   前記場所検索条件入力手段は、表示する場所の範囲を対話形式により変化させ、表示した場所の範囲内で、検索条件として利用する場所の範囲をユーザに入力させることを特徴とするアルバム作成装置。
10. 請求項７に記載のアルバム作成装置において、
    前記場所検索条件入力手段は、鉄道路線、バス路線、道路又は航路を表示し、ユーザに希望の鉄道路線、バス路線、道路又は航路を選択させ、選択されたものの界隈を、検索条件として利用する場所の範囲とすることを特徴とするアルバム作成装置。
11. 請求項１に記載のアルバム作成装置において、
    検索条件として利用する場所の範囲を表す文字列を入力する文字列入力手段と、
    前記文字列及び地図を基に、検索条件として利用する場所の範囲の候補を１又は複数作成する場所検索条件作成手段を更に備えることを特徴とするアルバム作成装置。
12. 請求項１に記載のアルバム作成装置において、
    前記複数の画像データの撮影場所の分布を基に、検索条件として利用する場所の範囲の候補を１又は複数作成する場所検索条件作成手段を更に備えることを特徴とするアルバム作成装置。
13. 請求項１２に記載のアルバム作成装置において、
    各候補に、該候補の範囲及び地図を基に該候補を表す文字列を付記する文字列付記手段を更に備えることを特徴とするアルバム作成装置。
14. 請求項１に記載のアルバム作成装置において、
    前記複数の画像データのうちの各画像データに含まれる１又は複数の人物の顔を抽出する顔抽出手段と、
    抽出された人物の顔を類似度に応じて１又は複数の顔グループに分類する分類手段と、
    を更に備えることを特徴とするアルバム作成装置。
15. 請求項１４に記載のアルバム作成装置において、
    ユーザから入力された人物の顔が属する顔グループを人物検索条件として設定する人物検索条件入力手段を更に備えることを特徴とするアルバム作成装置。
16. 請求項１に記載のアルバム作成装置において、
    各顔グループの代表の顔を表示し、ユーザにより選択された顔に対応する顔グループを人物検索条件として設定する人物検索条件入力手段を更に備えることを特徴とするアルバム作成装置。
17. 請求項１５又は１６に記載のアルバム作成装置において、
    少なくとも１つの画像データは動画像データであり、検索条件として利用される顔グループに含まれる顔を有する人物が撮影されているフレームのみを前記動画像データから抽出するフレーム抽出手段を更に備えることを特徴とするアルバム作成装置。
18. 請求項１７に記載のアルバム作成装置において、
    前記フレーム抽出手段は、前記検索条件として利用される顔グループに含まれる顔を有する人物が撮影されているフレームとして、前記顔が撮影されているフレーム及び該フレームの近傍のフレームを抽出することを特徴とするアルバム作成装置。
19. 請求項１８に記載のアルバム作成装置において、
    前記フレーム抽出手段は、前記検索条件として利用される顔グループに含まれる顔が撮影されている第１のフレームグループと前記検索条件として利用される顔グループに含まれる顔が撮影されている第２のフレームグループとの間の時間が所定時間以下である場合には、それらの間のフレームを前記顔が撮影されているフレームの近傍のフレームとして扱うことを特徴とするアルバム作成装置。
20. 請求項１５又は１６に記載のアルバム作成装置において、
    少なくとも１つの画像データは動画像データであり、検索条件として利用される顔グループに含まれる顔が撮影されているフレームのみを前記動画像データから抽出するフレーム抽出手段を更に備えることを特徴とするアルバム作成装置。
21. 請求項１に記載のアルバム作成装置において、
    前記複数の画像データのうちの少なくとも一部の画像データは、話し声を伴い、
    前記複数の画像データのうちの少なくとも一部の画像データのうちの各画像データが伴う１又は複数の話し声を抽出する話し声抽出手段と、
    抽出された話し声を類似度に応じて１又は複数の話し声グループに分類する分類手段と、
    を更に備えることを特徴とするアルバム作成装置。
22. 請求項２１に記載のアルバム作成装置において、
    ユーザから入力された話し声が属する話し声グループを人物検索条件として設定する人物検索条件入力手段を更に備えることを特徴とするアルバム作成装置。
23. 請求項１に記載のアルバム作成装置において、
    各顔グループの代表の話し声を出力し、ユーザにより選択された話し声に対応する話し声グループを人物検索条件として設定する人物検索条件入力手段を更に備えることを特徴とするアルバム作成装置。
24. 請求項２２又は２３に記載のアルバム作成装置において、
    少なくとも１つの画像データは動画像データであり、検索条件として利用される話し声グループに含まれる話し声を有する人物が撮影されているフレームのみを前記動画像データから抽出するフレーム抽出手段を更に備えることを特徴とするアルバム作成装置。
25. 請求項２４に記載のアルバム作成装置において、
    前記フレーム抽出手段は、前記検索条件として利用される話し声グループに含まれる話し声を有する人物が撮影されているフレームとして、前記話し声を発する人物の顔が撮影されているフレーム及び該フレームの近傍のフレームを抽出することを特徴とするアルバム作成装置。
26. 請求項２５に記載のアルバム作成装置において、
    前記フレーム抽出手段は、前記検索条件として利用される話し声グループに含まれる話し声を有する人物の顔が撮影されている第１のフレームグループと前記検索条件として利用される話し声グループに含まれる話し声を有する人物の顔が撮影されている第２のフレームグループとの間の時間が所定時間以下である場合には、それらの間のフレームを前記話し声を発する人物の顔が撮影されているフレームの近傍のフレームとして扱うことを特徴とするアルバム作成装置。
27. 請求項２２又は２３に記載のアルバム作成装置において、
    少なくとも１つの画像データは動画像データであり、検索条件として利用される話し声グループに含まれる話し声が収録されているフレームのみを前記動画像データから抽出するフレーム抽出手段を更に備えることを特徴とするアルバム作成装置。
28. 蓄積された複数の画像データから、画像データが作成された日時の範囲、画像データが撮影された場所の範囲、画像データに画像が含まれる人物若しくは画像データが伴う音声に含まれる話し声を出す人物又はこれらの組合せを検索条件として１又は複数の画像データを抽出する抽出ステップと、
    該抽出された画像データを表示する表示ステップと、
    を備えることを特徴とするアルバム作成方法。
29. 請求項２８に記載のアルバム作成方法において、
    検索条件として利用する日時の範囲を対話形式によりユーザから入力する日時検索条件入力ステップを更に備えることを特徴とするアルバム作成方法。
30. 請求項２９に記載のアルバム作成方法において、
    前記日時検索条件入力ステップは、表示する日時の範囲を対話形式により変化させ、表示した日時の範囲内で、検索条件として利用する日時の範囲をユーザに入力させることを特徴とするアルバム作成方法。
31. 請求項２８に記載のアルバム作成方法において、
    検索条件として利用する日時の範囲を表す文字列を入力する文字列ステップと、
    前記文字列及びカレンダを基に、検索条件として利用する日時の範囲の候補を１又は複数作成する日時検索条件作成ステップを更に備えることを特徴とするアルバム作成方法。
32. 請求項２８に記載のアルバム作成方法において、
    前記複数の画像データの撮影日時の分布を基に、検索条件として利用する日時の範囲の候補を１又は複数作成する日時検索条件作成ステップを更に備えることを特徴とするアルバム作成方法。
33. 請求項３２に記載のアルバム作成方法において、
    各候補に、該候補の範囲及びカレンダを基に該候補を表す文字列であって少なくとも一部に日時以外を含むものを付記する文字列付記ステップを更に備えることを特徴とするアルバム作成方法。
34. 請求項２８に記載のアルバム作成方法において、
    検索条件として利用する場所の範囲を対話形式によりユーザから入力する場所検索条件入力ステップを更に備えることを特徴とするアルバム作成方法。
35. 請求項３４に記載のアルバム作成方法において、
    前記対話形式による対話において、場所の範囲毎の画像データ数を表すものを地図上に表示する画像データ数分布表示ステップを更に備えることを特徴とするアルバム作成方法。
36. 請求項３４に記載のアルバム作成方法において、
    前記場所検索条件入力ステップは、表示する場所の範囲を対話形式により変化させ、表示した場所の範囲内で、検索条件として利用する場所の範囲をユーザに入力させることを特徴とするアルバム作成方法。
37. 請求項３４に記載のアルバム作成方法において、
    前記場所検索条件入力ステップは、鉄道路線、バス路線、道路又は航路を表示し、ユーザに希望の鉄道路線、バス路線、道路又は航路を選択させ、選択されたものの界隈を、検索条件として利用する場所の範囲とすることを特徴とするアルバム作成方法。
38. 請求項２８に記載のアルバム作成方法において、
    検索条件として利用する場所の範囲を表す文字列を入力する文字列入力ステップと、
    前記文字列及び地図を基に、検索条件として利用する場所の範囲の候補を１又は複数作成する場所検索条件作成ステップを更に備えることを特徴とするアルバム作成方法。
39. 請求項２８に記載のアルバム作成方法において、
    前記複数の画像データの撮影場所の分布を基に、検索条件として利用する場所の範囲の候補を１又は複数作成する場所検索条件作成ステップを更に備えることを特徴とするアルバム作成方法。
40. 請求項３９に記載のアルバム作成方法において、
    各候補に、該候補の範囲及び地図を基に該候補を表す文字列を付記する文字列付記ステップを更に備えることを特徴とするアルバム作成方法。
41. 請求項２８に記載のアルバム作成方法において、
    前記複数の画像データのうちの各画像データに含まれる１又は複数の人物の顔を抽出する顔抽出ステップと、
    抽出された人物の顔を類似度に応じて１又は複数の顔グループに分類する分類ステップと、
    を更に備えることを特徴とするアルバム作成方法。
42. 請求項４１に記載のアルバム作成方法において、
    ユーザから入力された人物の顔が属する顔グループを人物検索条件として設定する人物検索条件入力ステップを更に備えることを特徴とするアルバム作成方法。
43. 請求項２８に記載のアルバム作成方法において、
    各顔グループの代表の顔を表示し、ユーザにより選択された顔に対応する顔グループを人物検索条件として設定する人物検索条件入力ステップを更に備えることを特徴とするアルバム作成方法。
44. 請求項４２又は４３に記載のアルバム作成方法において、
    少なくとも１つの画像データは動画像データであり、検索条件として利用される顔グループに含まれる顔を有する人物が撮影されているフレームのみを前記動画像データから抽出するフレーム抽出ステップを更に備えることを特徴とするアルバム作成方法。
45. 請求項４４に記載のアルバム作成方法において、
    前記フレーム抽出ステップは、前記検索条件として利用される顔グループに含まれる顔を有する人物が撮影されているフレームとして、前記顔が撮影されているフレーム及び該フレームの近傍のフレームを抽出することを特徴とするアルバム作成方法。
46. 請求項４５に記載のアルバム作成方法において、
    前記フレーム抽出ステップは、前記検索条件として利用される顔グループに含まれる顔が撮影されている第１のフレームグループと前記検索条件として利用される顔グループに含まれる顔が撮影されている第２のフレームグループとの間の時間が所定時間以下である場合には、それらの間のフレームを前記顔が撮影されているフレームの近傍のフレームとして扱うことを特徴とするアルバム作成方法。
47. 請求項４２又は４３に記載のアルバム作成方法において、
    少なくとも１つの画像データは動画像データであり、検索条件として利用される顔グループに含まれる顔が撮影されているフレームのみを前記動画像データから抽出するフレーム抽出ステップを更に備えることを特徴とするアルバム作成方法。
48. 請求項２８に記載のアルバム作成方法において、
    前記複数の画像データのうちの少なくとも一部の画像データは、話し声を伴い、
    前記複数の画像データのうちの少なくとも一部の画像データのうちの各画像データが伴う１又は複数の話し声を抽出する話し声抽出ステップと、
    抽出された話し声を類似度に応じて１又は複数の話し声グループに分類する分類ステップと、
    を更に備えることを特徴とするアルバム作成方法。
49. 請求項４８に記載のアルバム作成方法において、
    ユーザから入力された話し声が属する話し声グループを人物検索条件として設定する人物検索条件入力ステップを更に備えることを特徴とするアルバム作成方法。
50. 請求項２８に記載のアルバム作成方法において、
    各顔グループの代表の話し声を出力し、ユーザにより選択された話し声に対応する話し声グループを人物検索条件として設定する人物検索条件入力ステップを更に備えることを特徴とするアルバム作成方法。
51. 請求項４９又は５０に記載のアルバム作成方法において、
    少なくとも１つの画像データは動画像データであり、検索条件として利用される話し声グループに含まれる話し声を有する人物が撮影されているフレームのみを前記動画像データから抽出するフレーム抽出ステップを更に備えることを特徴とするアルバム作成方法。
52. 請求項５１に記載のアルバム作成方法において、
    前記フレーム抽出ステップは、前記検索条件として利用される話し声グループに含まれる話し声を有する人物が撮影されているフレームとして、前記話し声を発する人物の顔が撮影されているフレーム及び該フレームの近傍のフレームを抽出することを特徴とするアルバム作成方法。
53. 請求項５２に記載のアルバム作成方法において、
    前記フレーム抽出ステップは、前記検索条件として利用される話し声グループに含まれる話し声を有する人物の顔が撮影されている第１のフレームグループと前記検索条件として利用される話し声グループに含まれる話し声を有する人物の顔が撮影されている第２のフレームグループとの間の時間が所定時間以下である場合には、それらの間のフレームを前記話し声を発する人物の顔が撮影されているフレームの近傍のフレームとして扱うことを特徴とするアルバム作成方法。
54. 請求項４９又は５０に記載のアルバム作成方法において、
    少なくとも１つの画像データは動画像データであり、検索条件として利用される話し声グループに含まれる話し声が収録されているフレームのみを前記動画像データから抽出するフレーム抽出ステップを更に備えることを特徴とするアルバム作成方法。
55. コンピュータに請求項２８乃至５４のいずれか１項に記載のアルバム作成方法を実行させるためのプログラム。

Images