JP2008269076A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】枚数の制限に合わせて、撮影された画像を適切な枚数にグループ分けする。
【解決手段】クラスタリング部９１は、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の画像どうしをより強く結び付けるように、複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングし、グループ作成部１０１は、二分木構造において、ルートノードから下位の階層に向かって、ノードを辿ることにより、注目ノードの２つの子ノードに対応するクラスタに含まれる画像どうしの距離が所定の閾値以下となる場合、２つの子ノードに対応するクラスタそれぞれに含まれる画像のグループであって、そのグループに含まれる画像の枚数が所定の制限枚数以下であるグループを作成する。本発明は、例えば、HDDレコーダなどの画像やコンテンツを記録または再生する情報処理装置に適用することができる。
【選択図】図３

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、例えば、撮影された画像を適切な枚数にグループ分けすることができるようにした情報処理装置および方法、並びにプログラムに関する。

近年、HDD（Hard Disk Drive）レコーダやパーソナルコンピュータなどの機器において、記録されているコンテンツを分類するために、様々なクラスタリングの技術が提案されている。この技術を用いて、記録されている画像を分類して、銀塩カメラで撮影された写真のアルバムのようなコンテンツを作成することが考えられる。

銀塩カメラで撮影された写真をアルバムに保存する場合、例えば、イベント毎、撮影された場所毎、日付毎にアルバムを分けたり、ページを分けたりして写真を保存することができる。ユーザは、それぞれのページに、イベント、場所、日付などが近い写真を、そのページの大きさや写真の枚数に応じて配置することができる。

そこで、HDDレコーダやパーソナルコンピュータにおいても、銀塩カメラで撮影された写真のアルバムのように、写真や動画などの画像を分類するために、ユーザが目的の画像を容易に探し出すことができるように、画像をクラスタリングするクラスタリング技術が提案されている（例えば、特許文献１参照）。

特開２００６−３４４００５号公報

しかしながら、クラスタリングされた画像について、１つのクラスタに含まれる画像の枚数の制限を考慮したものはまだ提案されていない。そのため、クラスタリングされた画像を表示する場合、任意の枚数の画像が表示されることになる。

クラスタリングされた画像は、クラスタ毎に、例えば、撮影時刻の早い順に表示されるが、一画面に表示される画像の枚数に制限がある場合、撮影時刻の間隔が短い画像同士など、一画面に表示された方が望ましいものが、別の画面に表示されてしまうことがある。

図１は、特許文献１に記載のクラスタリング技術によって画像をクラスタリングすることにより得られる二分木構造のクラスタツリーを示している。

図１のクラスタツリーでは、撮影時刻がｔ＝０である画像PIC0、撮影時刻がｔ＝４である画像PIC1、撮影時刻がｔ＝６である画像PIC2、撮影時刻がｔ＝９である画像PIC3、撮影時刻がｔ＝１０である画像PIC4の５枚の画像がクラスタリングされている。

すなわち、図１のクラスタツリーでは、ノードｎ１をルートノード（親ノード（１階層だけ上位階層のノード）を有しないノード）として、そのノードｎ１が、子ノード（１階層だけ下位階層のノード）としてのノードｐ１およびｎ３を有している。

ノードｐ１は、子ノードを有せずに、画像が割り当てられるノード（リーフノード）であり、リーフノードであるノードｐ１には、画像PIC0が割り当てられている。

ノードｎ３は、子ノードとしてのノードｐ２およびｎ４を有しており、ノードｎ２は、子ノードとしてのノードｐ２およびｐ３を有し、ノードｎ４は、子ノードとしてのノードｐ４およびｐ５を有している。

ノードｐ２，ｐ３，ｐ４，ｐ５は、いずれも、リーフノードであり、ノードｐ２，ｐ３，ｐ４，ｐ５には、画像PIC1，PIC2，PIC3，PIC4がそれぞれ割り当てられている。

なお、クラスタツリーにおいて、ノードは、クラスタに対応し、あるノードｎに対応するクラスタには、そのノードｎを、直接的または間接的に上位階層のノードとするリーフノード（ノードｎがリーフノードである場合には、そのノードｎ）に割り当てられている画像が属する（含まれる）。

したがって、図１のクラスタツリーにおいて、例えば、リーフノードｐ１に対応するクラスタには、そのリーフノードｐ１に割り当てられている画像PIC0が属する。

また、例えば、ノードｎ２に対応するクラスタには、そのノードｎ２を親ノードとするノードｐ２に割り当てられている画像PIC1と、やはり、ノードｎ２を親ノードとするノードｐ３に割り当てられている画像PIC2とが属する。

さらに、例えば、ノードｎ４に対応するクラスタには、そのノードｎ４を親ノードとするノードｐ４に割り当てられている画像PIC3と、やはり、ノードｎ４を親ノードとするノードｐ５に割り当てられている画像PIC4とが属する。

ここで、以下、適宜、ノードｎに対応するクラスタをクラスタｎとも記載する。

図１に示されるようにクラスタリングされた画像PIC0乃至PIC4が、１つのクラスタに含まれる画像の枚数の制限（一画面に表示される画像の枚数の制限）を、例えば３枚として表示される場合、画像PIC0乃至PIC4の５枚の画像は、含まれる画像が３枚以内のクラスタ毎、すなわち画像PIC0を含むクラスタｐ１、画像PIC1およびPIC2を含むクラスタｎ２、並びに画像PIC3およびPIC4を含むクラスタｎ４の３つのクラスタ毎に表示される。すなわち、５枚の画像PIC0乃至PIC4は、１枚と２枚と２枚との３つの画面（ページ）に分けて表示される。

しかしながら、画像PIC0乃至PIC4が、１つのクラスタに含まれる画像の枚数の制限を３枚として表示される場合には、例えば、３枚と２枚との２つのページに分けて表示された方が好ましいことがある。

本発明は、このような状況に鑑みてなされたものであり、枚数の制限に合わせて、撮影された画像を適切な枚数にグループ分けすることができるようにするものである。

本発明の一側面の情報処理装置、またはプログラムは、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングするクラスタリング手段と、前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成するグループ作成手段とを備える情報処理装置、または情報処理装置として、コンピュータを機能させるプログラムである。

前記メタデータが、前記画像が撮影された撮影時刻を示す場合、前記クラスタリング手段には、前記複数の画像のそれぞれの撮影時刻に基づいて、前記撮影時刻の時間間隔のより小さい前記画像どうしをより強く結び付けるように、前記複数の画像を、前記二分木構造のノードに対応する前記クラスタにクラスタリングさせ、前記グループ作成手段には、前記二分木構造において、前記ルートノードから下位の階層に向かって、ノードを辿ることにより、注目ノードが有する前記２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの前記撮影時刻の時間間隔が前記閾値以下となるときに、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が前記制限枚数以下であるグループを作成させることができる。

前記閾値は、前記グループに含まれる前記画像を前記撮影時刻の順に並べたときに、隣接する前記画像どうしの前記撮影時刻の時間間隔として許容される最大値として設定された値とされる。

前記グループ作成手段には、注目ノードの左側の子ノードである左ノードに包含されるノードのうちの右端に位置する左側右端ノード、および注目ノードの右側の子ノードである右ノードに包含されるノードのうちの左端に位置する右側左端ノードのそれぞれに割り当てられている前記画像の前記撮影時刻の時間間隔が前記閾値以下となる場合、前記左ノードと右ノードとに対応する前記クラスタそれぞれに含まれる前記画像の前記グループであって、その前記グループに含まれる前記画像の枚数が前記制限枚数以下である前記グループを作成させることができる。

前記グループ作成手段には、注目ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下でない場合、注目ノードの前記２つの子ノードのうちの１つの子ノードに対応する前記クラスタに含まれる前記画像の枚数が、前記制限枚数以下であるかを判定させ、注目ノードの前記２つの子ノードのうちの前記１つの子ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下でない場合、注目ノードの前記２つの子ノードのうちの前記１つの子ノードを新たな注目ノードとして、その新たな注目ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下であるかを判定させ、注目ノードの前記２つの子ノードのうちの前記１つの子ノードに対応するクラスタに含まれる画像の枚数が制限枚数以下である場合、注目ノードの前記２つの子ノードのうちの前記１つの子ノードと、注目ノードの前記２つの子ノードのうちの他の１つの子ノードの下位階層のノードとに対応する前記クラスタそれぞれに含まれる前記画像の枚数の和が制限枚数以下となる画像のグループを作成させることができる。

本発明の一側面の情報処理方法は、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングし、前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成するステップを含む。

本発明の一側面においては、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の画像どうしをより強く結び付けるように、複数の画像が、二分木構造のノードに対応するクラスタにクラスタリングされ、二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応するクラスタに含まれる画像どうしの距離が所定の閾値以下となる場合、２つの子ノードに対応するクラスタそれぞれに含まれる画像のグループであって、そのグループに含まれる画像の枚数が所定の制限枚数以下であるグループが作成される。

以上のように、本発明の一側面によれば、画像をグループ分けすることができ、特に、例えば、枚数の制限に合わせて、撮影された画像を適切な枚数にグループ分けすることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の情報処理装置、またはプログラムは、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングするクラスタリング手段（例えば、図３のクラスタリング部９１）と、前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成するグループ作成手段（例えば、図３のグループ作成部１０１）とを備える情報処理装置（例えば、図２のHDDレコーダ１）、または情報処理装置として、コンピュータを機能させるプログラムである。

前記メタデータは、前記画像が撮影された撮影時刻を示す場合、前記クラスタリング手段には、前記複数の画像のそれぞれの撮影時刻に基づいて、前記撮影時刻の時間間隔のより小さい前記画像どうしをより強く結び付けるように、前記複数の画像を、前記二分木構造のノードに対応する前記クラスタにクラスタリングさせ（例えば、図１４のステップＳ１３）、前記グループ作成手段には、前記二分木構造において、前記ルートノードから下位の階層に向かって、ノードを辿ることにより、注目ノードが有する前記２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの前記撮影時刻の時間間隔が前記閾値以下となるときに、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像の前記グループであって、その前記グループに含まれる前記画像の枚数が前記制限枚数以下である前記グループを作成させることができる（例えば、図１８のステップＳ５３、並びに図２０のステップＳ７１およびステップＳ７２）。

前記グループ作成手段には、注目ノードの左側の子ノードである左ノードに包含されるノードのうちの右端に位置する左側右端ノード、および注目ノードの右側の子ノードである右ノードに包含されるノードのうちの左端に位置する右側左端ノードのそれぞれに割り当てられている前記画像の前記撮影時刻の時間間隔が前記閾値以下となる場合、前記左ノードと右ノードとに対応する前記クラスタそれぞれに含まれる前記画像の前記グループであって、その前記グループに含まれる前記画像の枚数が前記制限枚数以下である前記グループを作成させることができる（例えば、図１８のステップＳ５３、並びに図２０のステップＳ７１およびステップＳ７２）。

前記グループ作成手段には、注目ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下でない場合、注目ノードの前記２つの子ノードのうちの１つの子ノードに対応する前記クラスタに含まれる前記画像の枚数が、前記制限枚数以下であるかを判定させ（例えば、図２０のステップＳ７３）、注目ノードの前記２つの子ノードのうちの前記１つの子ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下でない場合、注目ノードの前記２つの子ノードのうちの前記１つの子ノードを新たな注目ノードとして、その新たな注目ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下であるかを判定させ（例えば、図２０のステップＳ７７）、注目ノードの前記２つの子ノードのうちの前記１つの子ノードに対応するクラスタに含まれる画像の枚数が制限枚数以下である場合、注目ノードの前記２つの子ノードのうちの前記１つの子ノードと、注目ノードの前記２つの子ノードのうちの他の１つの子ノードの下位階層のノードとに対応する前記クラスタそれぞれに含まれる前記画像の枚数の和が制限枚数以下となる画像のグループを作成させることができる（例えば、図２０のステップＳ７４）。

本発明の一側面の情報処理方法は、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングし（例えば、図１４のステップＳ１３）、前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成するステップ（例えば、図１６のステップＳ３３）を含む。

図２は、本発明を適用したHDDレコーダの一実施の形態の構成例を示すブロック図である。

図２のHDDレコーダ１は、図示せぬ外部装置から供給されるAV（Audio Video）信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号として入力される映像信号および音声信号を記録または再生する。HDDレコーダ１は、再生された映像信号を、外部に接続されているモニタ２に出力する。また、HDDレコーダ１は、再生された音声信号を、外部に接続されているスピーカ３に出力する。

AV信号を供給する外部装置は、例えば、i.LINK（商標）を介して接続される外部装置、デジタルBS（Broadcasting Satellite）チューナもしくはデジタルCS（Communications Satellite）チューナ、デジタルビデオカメラ、デジタルスチルカメラ、またはスキャナなどである。

HDDレコーダ１には、必要に応じてドライブ４が接続される。ドライブ４には、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどのリムーバブルメディア５が必要に応じて装着され、データの授受を行うようになされている。

図２のHDDレコーダ１は、コーデック１１、サンプリングレートコンバータ１２、アナログ入力処理部１３，A/D（Analog to Digital）コンバータ１４、切換部１５，NTSC（National Television System Committee）デコーダ１６、エンコーダ１７、記録再生部１８、操作部１９、制御部２０、デコーダ２１，NTSCエンコーダ２２、およびD/A（Digital to Analog）コンバータ２３から構成される。

コーデック１１は、図示せぬ外部装置から供給されるAV信号のうち、デジタルビデオ信号の圧縮を伸張し、NTSCデコーダ１６に供給する。

サンプリングレートコンバータ１２は、図示せぬ外部装置から供給されるAV信号のうち、デジタルオーディオ信号のサンプリングレートを異なるサンプリングレートに変換する。サンプリングレートコンバータ１２は、サンプリングレートが変換されたデジタルオーディオ信号を切換部１５に供給する。

アナログ入力処理部１３は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、図示せぬアナログチューナ、または図示せぬラインチューナから供給されるアナログ信号のうちの一方を選択する。アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログビデオ信号をNTSCデコーダ１６に供給する。また、アナログ入力処理部１３は、選択されたアナログ信号のうちのアナログオーディオ信号をA/Dコンバータ１４に供給する。

A/Dコンバータ１４は、アナログ入力処理部１３から供給されたアナログオーディオ信号をA/D変換する。A/Dコンバータ１４は、アナログオーディオ信号をA/D変換した結果であるデジタルオーディオ信号を切換部１５に供給する。

切換部１５は、制御部２０から供給される、操作部１９におけるユーザからの操作を示す信号に基づいて、サンプリングレートコンバータ１２から供給されたデジタルオーディオ信号、またはA/Dコンバータ１４から供給されたデジタルオーディオ信号のうちの一方を選択する。切換部１５は、選択されたデジタルオーディオ信号をNTSCデコーダ１６に供給する。

NTSCデコーダ１６は、コーデック１１より供給されたデジタルビデオ信号、またはアナログ入力処理部１３より入力されたアナログビデオ信号を、NTSC方式のデジタルビデオ信号に変換する。また、NTSCデコーダ１６は、NTSC方式のデジタルビデオ信号と、切換部１５から供給されたデジタルオーディオ信号とを合成する。

HDDレコーダ１に入力される映像信号および音声信号を記録する場合は、NTSCデコーダ１６は、NTSC方式のデジタルビデオ信号とデジタルオーディオ信号とを合成した信号である合成デジタルAV信号を、エンコーダ１７に供給するとともに、後述するNTSCエンコーダ２２およびD/Aコンバータ２３に供給する。一方、HDDレコーダ１に入力される映像信号および音声信号を記録せずそのまま再生する場合は、NTSCデコーダ１６は、合成デジタルAV信号を、後述するNTSCエンコーダ２２およびD/Aコンバータ２３に供給する。

エンコーダ１７は、NTSCデコーダ１６より供給されたデジタルAV信号に対して、例えば、MPEG（Moving Picture Experts Group）方式などの所定の方式に従ったエンコード処理を施す。エンコーダ１７は、エンコード処理の結果得られるエンコードデータを記録再生部１８に供給する。

記録再生部１８は、例えば、ハードディスクまたは光ディスクなどの記録媒体で構成される。記録再生部１８は、エンコーダ１７から供給されたエンコードデータを記録媒体に記録する。また、記録再生部１８は、記録媒体に記録されたエンコードデータをデコーダ２１に供給する。すなわち、記録再生部１８は、記録されたエンコードデータを再生する。

操作部１９は、例えば、各種の操作ボタン、キー、またはタッチパネルなどからなる。ユーザは、HDDレコーダ１に対する指示を入力するために操作部１９を操作する。操作部１９は、ユーザの操作に応じて、その操作を示す信号（操作信号）を制御部２０に供給する。

制御部２０は、例えば、マイクロプロセッサなどからなり、操作部１９から供給される操作信号に基づいて、HDDレコーダ１全体を制御する。

デコーダ２１は、記録再生部１８から供給されたエンコードデータに対して、例えば、MPEG（Moving Picture Experts Group）方式など、上述した方式に対応する方式に従ったデコード処理を施す。デコーダ２１は、デコード処理の結果である、エンコードデータを伸張復号したデジタルAV信号のうちのデジタルビデオ信号をNTSCエンコーダ２２に供給する。また、デコーダ２１は、デジタルAV信号のうちのデジタルオーディオ信号をD/Aコンバータ２３に供給する。

NTSCエンコーダ２２は、デコーダ２１から供給されたデジタルビデオ信号をNTSC方式のビデオ信号に変換し、モニタ２に供給する。

D/Aコンバータ２３は、デコーダ２１から供給されたデジタルオーディオ信号をD/A変換し、スピーカ３に供給する。

このような構成により、HDDレコーダ１は入力された映像信号および音声信号を記録または再生することができる。

図３は、図２のHDDレコーダ１の記録再生部１８および制御部２０の構成例を示すブロック図である。

記録再生部１８は、画像データベース３１、テンプレートデータベース３２、およびコンテンツデータベース３３から構成される。以下、画像データベース３１を画像DB（Database）３１と称し、テンプレートデータベース３２をテンプレートDB３２と称し、コンテンツデータベース３３をコンテンツDB３３と称する。

画像DB３１は、図２のエンコーダ１７から供給された画像と、画像の属性を示すメタデータを対応づけて記憶する。

テンプレートDB３２は、コンテンツDB３３に記録されるコンテンツであるスクラップブックを表示する場合の、スクラップブックに配置される画像の背景となる背景画像のデータである背景テンプレートを記録する。また、テンプレートDB３２は、背景テンプレートと、その属性を示すメタデータとを対応づけて記録する。

さらに、テンプレートDB３２は、コンテンツDB３３に記録されるコンテンツであるスクラップブックを表示する場合の、スクラップブックにおける画像の配置および配置される画像の枚数を設定する情報である配置テンプレートを記録する。テンプレートDB３２には、画像の配置または画像の枚数に応じた複数の配置テンプレートが記録され、そのうちの最大の画像の枚数を設定する配置テンプレートによって、スクラップブックの１ページに配置される画像の枚数が制限される。

例えば、テンプレートDB３２に、配置される画像の枚数が１枚に設定されている配置テンプレートと、配置される画像の枚数が２枚に設定されている配置テンプレートと、配置される画像の枚数が３枚に設定されている配置テンプレートとが記録されている場合、作成されるスクラップブックの１ページに配置される画像の枚数は、多くても３枚に制限される。配置テンプレートに設定される画像の枚数は、予め決められていてもよいし、ユーザによって設定されるようにしてもよい。

コンテンツDB３３は、グループに分けられた画像が、グループ毎に配置されてなるコンテンツであるスクラップブックのデータを記録する。なお、コンテンツ（スクラップブック）の詳細は後述する。

制御部２０は、選択部５１、記録再生制御部５２、表示制御部５３、メタデータ抽出部５４、およびコンテンツ作成部５５から構成される。

選択部５１は、ユーザの指示に応じて、画像またはスクラップブックを選択する。より具体的には、例えば、選択部５１は、操作部１９から供給される、モニタ２に表示される画像、またはスクラップブックを選択する操作を示す操作信号に基づいて、ユーザが操作部１９を操作することにより選択した画像またはスクラップブックを示す情報を記録再生制御部５２に供給する。

記録再生制御部５２は、記録再生部１８が行う記録と再生とを制御する。また、記録再生制御部５２は、例えば、選択部５１から供給される情報に基づいて、記録再生部１８から画像、背景テンプレート、配置テンプレート、またはスクラップブックのデータを読み出し、表示制御部５３やメタデータ抽出部５４、コンテンツ作成部５５に供給する。

表示制御部５３は、モニタ２に表示される画像またはスクラップブックの表示を制御する。より具体的には、表示制御部５３は、記録再生制御部５２によって記録再生部１８から読み出された画像またはスクラップブックのデータを基に、デコーダ２１のデコード処理を制御する。

メタデータ抽出部５４は、記録再生制御部５２から供給される画像に付加されているメタデータを抽出し、コンテンツ作成部５５に供給する。

コンテンツ作成部５５は、演算部７１およびテンプレート設定部７２から構成され、グループ分けされた画像がグループ毎に配置されてなるコンテンツであるスクラップブックを作成し、記録再生制御部５２に供給する。

すなわち、コンテンツ作成部５５を構成する演算部７１は、クラスタリング部９１およびグループ分け処理部９２を含む。

クラスタリング部９１は、画像のクラスタを生成するための所定の条件に基づいて、画像のクラスタリングを行う。画像のクラスタを生成するための条件は、予め用意されている複数の条件の中からユーザにより選択されるようにしてもよい。例えば、クラスタリング部９１は、メタデータ抽出部５４から供給されるメタデータに基づいて、画像のクラスタリングを行う。より具体的には、例えば、クラスタリング部９１は、同じイベントを表すメタデータが付加されている画像からなる１つのクラスタを生成する。

また、クラスタリング部９１は、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の画像どうしをより強く結び付けるように、複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングする。例えば、クラスタリング部９１は、イベントを表すメタデータが付加されている画像からなる１つのクラスタにおいて、複数の画像のそれぞれの撮影時刻に基づいて、撮影時刻の時間間隔のより小さい画像どうしをより強く結び付けるように、複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングする。クラスタリング部９１は、画像のクラスタリングの結果、すなわち、クラスタツリー（の情報）を、グループ分け処理部９２に供給する。

グループ分け処理部９２は、グループ作成部１０１を含み、クラスタリング部９１から供給されたクラスタリングの結果であるクラスタツリーのノードに対応するクラスタに含まれる画像の枚数が、最小時間間隔閾値以下になるように、画像のグループ分けをする。

ここで、最小時間間隔閾値は、１つのグループに含まれる画像を撮影時刻の順に並べたときに、隣接する画像どうしの撮影時刻の時間間隔として許容される最大値であり、例えば、予めユーザによって設定される。

グループ分け処理部９２において、グループ作成部１０１は、二分木構造のクラスタツリーにおいて、ルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応するクラスタに含まれる画像どうしの距離が所定の閾値以下となる場合、２つの子ノードに対応するクラスタそれぞれに含まれる画像のグループであって、そのグループに含まれる画像の枚数が所定の制限枚数以下であるグループを作成する。例えば、グループ作成部１０１は、クラスタリング部９１から供給されたクラスタツリーの二分木構造において、ルートノードから下位の階層に向かって、ノードを辿ることにより、注目ノードが有する２つの子ノードに対応するクラスタに含まれる画像どうしの撮影時刻の時間間隔が最小時間間隔閾値以下であれば、その２つの子ノードに対応するクラスタそれぞれに含まれる画像を１つのグループとする。

但し、撮影時刻の時間間隔が所定の閾値以下の画像を、無制限に、１つのグループに含めると、そのグループに含まれる画像の枚数が多くなりすぎることがあるため、グループ作成部１０１は、グループに含める画像の枚数を、所定の制限枚数以下に制限する。制限枚数は、一画面に表示される画像の最大枚数であり、テンプレートDB３２に記録されている配置テンプレートにより設定される画像の枚数のうちの最大値に等しい。

より具体的には、グループ作成部１０１は、注目ノードの左側の子ノードである左ノードに包含されるノード（左ノードを直接的または間接的に上位階層のノードとするリーフノードであり、左ノードがリーフノードである場合には、左ノードそのもの）のうちの右端に位置する左側右端ノード、および注目ノードの右側の子ノードである右ノードに包含されるノード（右ノードを直接的または間接的に上位階層のノードとするリーフノードであり、右ノードがリーフノードである場合には、右ノードそのもの）のうちの左端に位置する右側左端ノードのそれぞれに割り当てられている画像の撮影時刻の時間間隔が最小時間間隔閾値以下であり、かつ、注目ノードに対応するクラスタに含まれる画像の枚数が制限枚数以下である場合、その注目ノードに対応するクラスタに含まれる画像を１つのグループとする。

一方、注目ノードに対応するクラスタに含まれる画像の枚数が制限枚数以下でない場合、グループ作成部１０１は、注目ノードの２つの子ノードのうちの１つの子ノードに対応するクラスタに含まれる画像の枚数が、制限枚数以下であるかを判定する。

注目ノードの２つの子ノードのうちの１つの子ノードに割り当てられている画像の枚数が制限枚数以下でない場合、グループ作成部１０１は、注目ノードの２つの子ノードのうちの１つの子ノードを新たな注目ノードとして、上述の処理、すなわち、新たな注目ノードに対応するクラスタに含まれる画像の枚数が、制限枚数以下であるかを判定する処理を繰り返す。

また、注目ノードの２つの子ノードのうちの１つの子ノードに対応するクラスタに含まれる画像の枚数が制限枚数以下である場合、グループ作成部１０１は、注目ノードの２つの子ノードのうちの１つの子ノードと、注目ノードの２つの子ノードのうちの他の１つの子ノードの下位階層のノードとのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下となる画像のグループを作成する。

テンプレート設定部７２は、グループ分けされた画像がグループ毎に配置されるスクラップブックに対して、背景テンプレートおよび配置テンプレートを設定する。

より具体的には、テンプレート設定部７２は、メタデータ抽出部５４から供給されるメタデータに応じた背景テンプレートを、記録再生部１８から記録再生制御部５２に読み出させて供給させる。テンプレート設定部７２は、記録再生制御部５２から供給された背景テンプレートを、グループの画像が配置されるスクラップブックに設定し、スクラップブックの背景を決める。

また、テンプレート設定部７２は、グループの画像の枚数に応じた配置テンプレートを、記録再生部１８から記録再生制御部５２に読み出させて供給させる。テンプレート設定部７２は、記録再生制御部５２から供給された配置テンプレートを、グループの画像が配置されるスクラップブックに設定し、スクラップブックのページ毎の画像の配置および配置される枚数を決める。

コンテンツ作成部５５は、グループ分け処理部９２によってグループ分けされた画像と、テンプレート設定部７２によって設定された背景テンプレートおよび配置テンプレートとを基に、複数の画像がグループ毎に配置されたスクラップブックを作成し、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に供給する。これにより、スクラップブックは、コンテンツDB３３に保存される。

図４は、画像のクラスタの例を示す図である。

図４において、画像ｐ１乃至画像ｐ２５は、記録再生部１８の画像DB３１に記録されている画像を示す。図４の１つの四角形は１枚の画像を表す。また、画像ｐ１乃至画像ｐ２５には、それぞれメタデータが付加されている。

図４の例においては、画像ｐ１乃至画像ｐ１２には、イベントを表すメタデータとして「結婚式」が付加されている。画像ｐ１３乃至画像ｐ１９には、イベントを表すメタデータとして「お花見」が付加されている。画像ｐ２０乃至画像ｐ２５には、イベントを表すメタデータとして「社員旅行」が付加されている。

クラスタリング部９１は、画像ｐ１乃至画像ｐ２５に付加されているイベントを表すメタデータに基づいて、画像のクラスタリングを行う。

具体的には、図４に示すように、クラスタリング部９１は、画像ｐ１乃至画像ｐ１２からなるクラスタ、画像ｐ１３乃至画像ｐ１９からなるクラスタ、および画像ｐ２０乃至画像ｐ２５からなるクラスタを生成する。

例えば、このように生成されたそれぞれのクラスタに含まれる画像は、クラスタ毎のフォルダによりまとめて管理される。具体的には、画像ｐ１乃至画像ｐ１２は「結婚式」の名称のフォルダにより管理される。また、画像ｐ１３乃至画像ｐ１９は「お花見」の名称のフォルダにより管理される。さらに、画像ｐ２０乃至画像ｐ２５は「社員旅行」の名称のフォルダにより管理される。例えば、それぞれのクラスタに属する画像を示す情報が、記録再生部１８に記録される。

次に、クラスタ毎のフォルダによって管理される画像に対して、クラスタリング部９１により行われる二分木構造のクラスタツリーの作成の処理の詳細について説明する。

図５乃至図１３を参照して、１００枚の画像ｐ１乃至画像ｐ１００を対象とした二分木構造のクラスタツリーの作成の処理について説明する。

図５乃至図１３において、「ｐ」の文字と数字がその中に書かれている１つの円は１枚の画像が割り当てられたリーフノードを表し、「ｎ」の文字と数字がその中に書かれている１つの円は子ノードを有するノードを表す。ここで、以下、適宜、リーフノードｐに割り当てられた画像を、画像ｐとも記載する。

また、図の右方は、左方より時間的に後の方向であるものとする。なお、ここでは、画像ｐ１乃至画像ｐ１００を、撮影時刻順（画像ｐ１が一番古く、画像ｐ１００が一番新しいデータ）にクラスタリングの対象とする場合について説明する。

クラスタリングがまだ行われていない状態で、最初の撮影により得られた画像ｐ１がクラスタツリーに挿入されたとき（クラスタリングの対象とされたとき）、初期の状態ではクラスタツリーのルートノードとなるノードが存在しないから、図５に示されるように、ルートノードｐ１が新たに作成され、画像ｐ１がルートノードｐ１に割り当てられる。

画像ｐ１に続けて撮影された画像ｐ２がクラスタツリーに挿入されたとき、図６に示されるように、ノードｎ１およびｐ２が新たに作られ、画像ｐ２がノードｐ２に割り当てられる。さらに、画像ｐ２の撮影時刻は画像ｐ１の撮影時刻より後であるから、ノードｎ１には、画像ｐ１が割り当てられたノードｐ１が左の子ノードとして結び付けられ、画像ｐ２が割り当てられたノードｐ２が右の子ノードとして結び付けられる。ノードｎ１はノードｐ１に代わってルートノードとなる。

ノードｎ１の最小時刻として画像ｐ１の撮影時刻が記録され、最大時刻として画像ｐ２の撮影時刻が記録される。ノードの時刻として、そのノードを親のノードとする２つの子ノードの撮影時刻の平均値（中間の時刻）が記録されるようにしてもよい。

画像ｐ２に続けて撮影された画像ｐ３がクラスタツリーに挿入され、図７に示されるように、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔td_p2p3が、画像ｐ２の撮影時刻と画像ｐ１の撮影時刻の時間間隔td_p1p2より小さいとき、図８に示されるように、ノードｎ２およびｐ３が新たに作られ、画像ｐ３がノードｐ３に割り当てられる。さらに、ノードｎ２には、その左の子ノードとして画像ｐ２が割り当てられたノードｐ２が結び付けられ、右の子ノードとして画像ｐ３が割り当てられたノードｐ３が結び付けられる。また、ノードｎ２が、ノードｐ２の代わりに右の子ノードとしてノードｎ１に結び付けられる。

ノードｎ２の最小時刻として画像ｐ２の撮影時刻が記録され、最大時刻として画像ｐ３の撮影時刻が記録される。また、このとき、ノードｎ２の親のノードであるノードｎ１の最大時刻が画像ｐ３の撮影時刻で上書きされる。

画像ｐ３に続けて撮影された画像ｐ４がクラスタツリーに挿入され、図９に示されるように、画像ｐ４の撮影時刻と画像ｐ３の撮影時刻の時間間隔td_p3p4が、画像ｐ３の撮影時刻と画像ｐ２の撮影時刻の時間間隔td_p2p3より大きく、かつ、画像ｐ４の撮影時刻とノードｎ２の最大時刻の時間間隔td_n2maxp4が、ノードｎ２の最小時刻と画像ｐ１の撮影時刻の時間間隔td_p1n2minより大きいとき、図１０に示されるように、ノードｎ３およびｐ４が新たにルートノードとして作られ、画像ｐ４がノードｐ４に割り当てられる。また、ノードｎ３には、その左の子ノードとしてノードｎ１が結び付けられ、右の子ノードとして画像ｐ４が割り当てられたノードｐ４が結び付けられる。

ノードｎ３の最小時刻として画像ｐ１の最小時刻が記録され、最大時刻として画像ｐ４の撮影時刻が記録される。

画像ｐ４に続けて撮影された画像ｐ５がクラスタツリーに挿入され、図１１に示されるように、画像ｐ５の撮影時刻と画像ｐ４の撮影時刻の時間間隔td_p4p5より、画像ｐ４の撮影時刻とノードｎ１の最大時刻の時間間隔td_n1maxp4の方が大きいとき、図１２に示されるように、ノードｎ４およびｐ５が新たに作られ、画像ｐ４がノードｐ４に割り当てられる。また、ノードｎ４には、その左の子ノードとして画像ｐ４が割り当てられたノードｐ４が結び付けられ、右の子ノードとして画像ｐ５が割り当てられたノードｐ５が結び付けられる。さらに、ノードｎ４が、ノードｐ４の代わりに右の子ノードとしてノードｎ３に結び付けられる。

ノードｎ４の最小時刻として画像ｐ４の撮影時刻が記録され、最大時刻として画像ｐ５の撮影時刻が記録される。また、このとき、ノードｎ４の親のノードであるノードｎ３の最大時刻が画像ｐ５の撮影時刻で上書きされる。

この時点で、画像ｐ１乃至画像ｐ５の５枚の画像それぞれが割り当てられたノードｐ１乃至ｐ５と、ノードｎ１乃至ノードｎ４とからなる二分木構造のクラスタツリーが形成された状態になる。

クラスタツリーにおいて、ノードはクラスタに対応する。したがって、図１２に示されるようなクラスタツリーが作成されたとき、ノードｎ３に対応するクラスタに含まれる画像は画像ｐ１乃至画像ｐ５の５枚の画像となり、ノードｎ１に対応するクラスタに含まれる画像は画像ｐ１乃至画像ｐ３の３枚の画像となる。また、ノードｎ２に対応するクラスタに含まれる画像は画像ｐ２および画像ｐ３の２枚の画像となり、ノードｎ４に対応するクラスタに含まれる画像は画像ｐ４および画像ｐ５の２枚の画像となる。

このように、画像が新たに挿入される毎に、画像の撮影時刻の時間間隔のより小さい画像同士、または、画像の撮影時刻とノードに対して設定（記録）された時刻の時間間隔のより小さい画像とノードが、同じノードにぶらさがるように結び付けられていく。

撮影が繰り返し行われ、画像ｐ６乃至画像ｐ１００がクラスタツリーに挿入されたときも同様にして処理が行われ、最終的に、ルートノードｎ_rootに対応するクラスタに画像ｐ１乃至画像ｐ１００が含まれる、図１３に示されるような二分木構造のクラスタツリーが得られる。

なお、この処理は、撮影されるたびにリアルタイムに行われるようにしてもよいし、ユーザの指示に基づいて、所定のフォルダ等に記録されている画像に対して行われるようにしてもよい。

次に、HDDレコーダ１におけるスクラップブックの作成処理について説明する。

HDDレコーダ１において、例えば、操作部１９が操作されることによって制御部２０がスクラップブックの作成処理の指示を取得すると、スクラップブックの作成処理が開始される。

図１４は、HDDレコーダ１におけるスクラップブックの作成処理の例を示すフローチャートである。

ステップＳ１１において、選択部５１は、操作部１９から供給される、スクラップブックの作成の指示を表す操作信号に応じ、メタデータに基づいてクラスタリングを行うことを示す情報を記録再生制御部５２に供給する。記録再生制御部５２は、選択部５１からの情報に基づいて、画像DB３１に記録されている画像を読み出し、メタデータ抽出部５４に供給する。メタデータ抽出部５４は、記録再生制御部５２からの画像からメタデータを抽出し、コンテンツ作成部５５に供給して、処理は、ステップＳ１１からステップＳ１２に進む。

コンテンツ作成部５５では、ステップＳ１２において、演算部７１のクラスタリング部９１が、メタデータ抽出部５４から供給されるメタデータに基づいて、画像のクラスタリングを行って、処理は、ステップＳ１３に進む。より具体的には、クラスタリング部９１は、同じイベントを表すメタデータが付加されている画像からなる１つのクラスタを生成する。

より具体的には、例えば、図４に示される、画像DB３１に記録されている画像ｐ１乃至画像ｐ２５について、例えば、メタデータ「社員旅行」に注目した場合には、クラスタリング部９１は、メタデータ抽出部５４から供給されるメタデータが「社員旅行」である画像ｐ２０乃至画像ｐ２５を、１つのクラスタにクラスタリングする。

ステップＳ１３において、クラスタリング部９１は、ステップＳ１２で生成した１つのクラスタに含まれる画像のそれぞれの撮影時刻に基づいて、撮影時刻の時間間隔のより小さい画像どうしをより強く結び付けるように、複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングする。例えば、クラスタリング部９１は、図５乃至図１３を参照して説明したようにして、画像ｐ２０乃至画像ｐ２５の６枚の画像がノードに割り当てられたクラスタツリーを作成する。クラスタリング部９１は、画像のクラスタリングの結果、すなわち、クラスタツリー（の情報）を、グループ分け処理部９２のグループ作成部１０１に供給する。

ステップＳ１３の後、処理は、ステップＳ１４に進み、コンテンツ作成部５５のテンプレート設定部７２は、ステップＳ１３でクラスタリングされた画像に付加されているメタデータに応じた背景テンプレートを、記録再生制御部５２を介して、記録再生部１８のテンプレートDB３２から読み出す。例えば、テンプレート設定部７２は、記録再生部１８より、画像ｐ２０乃至画像ｐ２５のメタデータである「社員旅行」に応じた背景テンプレートを、記録再生制御部５２に読み出させて供給させる。

ステップＳ１４の後、処理は、ステップＳ１５に進み、テンプレート設定部７２は、色区再生制御部５２から供給された背景テンプレートをスクラップブックに設定して、処理は、ステップＳ１５に進む。すなわち、テンプレート設定部７２は、画像ｐ２０乃至画像ｐ２５が配置されるスクラップブックの背景を決める。

ここで、図１５は、背景テンプレートの構成の例を示す図である。

図１５には、３つの背景テンプレート１１１−１乃至１１１−３が示されており、背景テンプレート１１１−１乃至１１１−３は、それぞれメタデータを有する。

テンプレート設定部７２は、クラスタリングされた画像に付加されているメタデータに対応するメタデータを有する背景テンプレートを、クラスタリングされた画像に付加されているメタデータに応じた背景テンプレートとして、スクラップブックに設定する。

図１４の説明に戻り、ステップＳ１６において、演算部７１のグループ分け処理部９２は、グループ分けの処理を行って、処理は、ステップＳ１７に進む。

ステップＳ１７において、テンプレート設定部７２は、グループ分けされたグループに含まれる画像の枚数に応じて、ページ毎の配置テンプレートを読み出し、処理は、ステップＳ１８に進む。

ステップＳ１８において、テンプレート設定部７２は、スクラップブックの各ページに対して、読み出されたページ毎の配置テンプレートを設定して、処理は、ステップＳ１９に進む。

ステップＳ１９において、コンテンツ作成部５５は、スクラップブックを保存し、処理は終了する。より具体的には、コンテンツ作成部５５は、グループ分けされた画像と、背景テンプレートおよび配置テンプレートとを基に、複数の画像がグループ毎に配置されたスクラップブックを作成し、記録再生制御部５２を介して記録再生部１８のコンテンツDB３３に供給する。

次に、図１６乃至図２０を参照して、グループ分け処理部９２のグループ分けの処理について説明する。

図１６は、図１４のフローチャートのステップＳ１６の、グループ分けの処理の詳細を説明するフローチャートである。

ステップＳ３１において、グループ分け処理部９２のグループ作成部１０１は、図１４のステップＳ１３で、クラスタリング部９１から供給されたクラスタリングの結果であるクラスタツリーにおけるルートノードＮ_ROOTを注目ノードＮ_pとして、処理は、ステップＳ３２に進む。

ステップＳ３２において、グループ分け処理部９２のグループ作成部１０１は、注目ノードＮ_pに対応するクラスタに含まれる画像について作成されるグループを初期化する。より具体的には、グループ分け処理部９２は、空のグループを作成する。

その後、処理は、ステップＳ３２からステップＳ３３に進み、グループ分け処理部９２のグループ作成部１０１は、グループの作成の処理を行って、処理はリターンする。

図１７は、図１６のフローチャートのステップＳ３３の、グループの作成の処理の詳細を説明するフローチャートである。

ステップＳ５１において、グループ作成部１０１は、注目ノードＮ_pがリーフノードであるか否かを判定する。ステップＳ５１において、注目ノードＮ_pがリーフノードであると判定された場合、処理はステップＳ５２に進む。

ステップＳ５２において、グループ作成部１０１は、注目ノードＮ_pに対応するクラスタに含まれる画像を、注目ノードＮ_pについてステップＳ３２で作成した１つのグループの画像とし、処理はリターンする。

一方、ステップＳ５１において、注目ノードＮ_pがリーフノードでない場合、処理はステップＳ５３に進む。

ステップＳ５３において、グループ作成部１０１は、注目ノードＮ_pの左側右端ノードＲ_m（ｌ（Ｎ_p））および右側左端ノードＬ_m（ｒ（Ｎ_p））のそれぞれに対応するクラスタに含まれる画像の撮影時刻の時間間隔が最小時間間隔閾値以下であるか否かを判定する。

ステップＳ５３において、左側右端ノードＲ_m（ｌ（Ｎ_p））および右側左端ノードＬ_m（ｒ（Ｎ_p））のそれぞれに対応するクラスタに含まれる画像の撮影時刻の時間間隔が最小時間間隔閾値以下でないと判定された場合、処理は、ステップＳ５４に進む。

ここで、注目ノードＮ_pの左ノードｌ（Ｎ_p）に包含されるノードのうちの右端に位置するノード（リーフノード）を左側右端ノードＲ_m（ｌ（Ｎ_p））と表し、注目ノードＮ_pの右ノードｒ（Ｎ_p）に包含されるノードのうちの左端に位置するノード（リーフノード）を右側左端ノードＬ_m（ｒ（Ｎ_p））と表すこととする。

グループの作成の処理では、左側右端ノードＲ_m（ｌ（Ｎ_p））に割り当てられている画像の撮影時刻と、右側左端ノードＬ_m（ｒ（Ｎ_p））に割り当てられている画像の撮影時刻との時間間隔が、最小時間間隔閾値以下であれば、後述するように、注目ノードＮ_pに対応するクラスタに含まれる画像のうちの一部または全部が含まれるグループが作成される。

ステップＳ５４において、グループ作成部１０１は、注目ノードＮ_pに対応するクラスタに含まれる画像の撮影時刻の時間間隔がグループ分割閾値を超えているか否かを判定する。

グループ分割閾値は、注目ノードＮ_pに対応するクラスタに含まれる画像の撮影時刻の時間間隔のばらつきの程度によって、その子ノードに対応するクラスタに含まれる画像をそれぞれ別のグループとするか、または同じグループとするかを決定する値である。例えば、グループ分割閾値は、注目ノードに対応するクラスタに含まれる画像の撮影時刻の時間間隔の標準偏差と、注目ノードの子ノードに対応するクラスタに含まれる画像の撮影時刻の時間間隔の偏差との比と比較される値であり、この比較によって、その子ノードに対応するクラスタに含まれる画像をそれぞれ別のグループとするか、または同じグループとするかが決定される。

ステップＳ５４において、注目ノードＮ_pに対応するクラスタに含まれる画像の撮影時刻の時間間隔がグループ分割閾値を超えていると判定された場合、すなわち、注目ノードＮ_pに対応するクラスタに含まれる画像の撮影時刻の時間間隔のばらつきが大きい場合、処理はステップＳ５５に進む。

ステップＳ５５において、グループ作成部１０１は、グループ分割閾値を超えた子ノードに対応するクラスタに含まれる画像をそれぞれ別のグループとして、処理は、ステップＳ５６に進む。すなわち、グループ作成部１０１は、注目ノードＮ_pに対応するクラスタに含まれる画像の撮影時刻の時間間隔のばらつきの程度に応じて、撮影時刻の並びを維持したまま、画像を、例えば、グループＡおよびグループＢの２つのグループに分ける。なお、ここでは、画像がグループＡおよびグループＢの２つのグループに分けられることとしたが、注目ノードＮ_pに対応するクラスタに含まれる画像の撮影時刻の時間間隔のばらつきの程度に応じて、画像は、２以上のグループに分けられる。

ステップＳ５６において、グループ作成部１０１は、ステップＳ５５において分けられた画像のグループのうちのグループＡの最上位階層のノードをルートノードとする二分木構造を１つのクラスタツリーとみなし、そのグループＡについてのクラスタツリーのルートノードを注目ノードＮ_pとして、処理は、ステップＳ５７に進む。

ステップＳ５７において、グループ作成部１０１は、グループＡについてのクラスタツリーについて、図１７のフローチャートで示されるグループの作成の処理を再帰的に行う。

ステップＳ５８において、グループ作成部１０１は、ステップＳ５５において分けられた画像のグループのうちのグループＢの最上位階層のノードをルートノードとする二分木構造を１つのクラスタツリーとみなし、そのグループＢについてのクラスタツリーのルートノードを注目ノードＮ_pとして、処理は、ステップＳ５９に進む。

ステップＳ５９において、グループ作成部１０１は、グループＢについてのクラスタツリーについて、図１７のフローチャートで示されるグループの作成の処理を再帰的に行って、処理はリターンする。

一方、ステップＳ５４において、注目ノードＮ_pの子ノードである左ノードｌ（Ｎ_p）に対応するクラスタに含まれる画像の撮影時刻と、右ノードｒ（Ｎ_p）に対応するクラスタに含まれる画像の撮影時刻との時間間隔がグループ分割閾値を超えていないと判定された場合、すなわち、注目ノードＮ_pに対応するクラスタに含まれる画像の撮影時刻の時間間隔のばらつきが小さい場合、処理は、ステップＳ６０に進み、グループ作成部１０１は、左ノードｌ（Ｎ_p）を新たな注目ノードＮ_pとする。

ステップＳ６０の後、処理は、ステップＳ６１に進み、グループ作成部１０１は、新たな注目ノードＮ_pについて、グループの作成の処理を再帰的に行って、処理は、ステップＳ６２に進む。

ステップＳ６２において、グループ作成部１０１は、右ノードｒ（Ｎ_p）を新たな注目ノードＮ_pとする。

ステップＳ６２の後、処理は、ステップＳ６３に進み、グループ作成部１０１は、新たな注目ノードＮ_pについて、グループの作成の処理を再帰的に行って、処理はリターンする。

一方、ステップＳ５３において、左側右端ノードＲ_m（ｌ（Ｎ_p））および右側左端ノードＬ_m（ｒ（Ｎ_p））のそれぞれに割り当てられている画像の撮影時刻の時間間隔が、最小時間間隔閾値以下であると判定された場合、処理はステップＳ６４に進み、注目ノードＮ_pを引数とする関数join_restricted(N_p)が呼び出され、グループ作成部１０１は、関数join_restricted(N_p)の処理を行って、処理はリターンする。

ここで、注目ノードＮ_pを引数とする関数join_restricted(N_p)は、グループ内の画像の枚数を制限する関数であり、関数join_restricted(N_p)の処理では、グループ内の画像の枚数が制限枚数以下に制限される。

図１８は、図１７のフローチャートのステップＳ６４の、関数join_restricted(N_p)の処理の詳細を説明するフローチャートである。

ステップＳ７１において、グループ作成部１０１は、注目ノードＮ_pに対応するクラスタに含まれる画像の枚数が制限枚数以下であるか否かを判定する。

制限枚数は、上述したように、一画面に表示される画像の最大枚数である。

ステップＳ７１において、注目ノードＮ_pに対応するクラスタに含まれる画像の枚数が制限枚数以下であると判定された場合、処理はステップＳ７２に進む。

ステップＳ７２において、グループ作成部１０１は、注目ノードＮ_pに対応するクラスタに含まれる全ての画像を１つのグループとして、処理はリターンする。

一方、ステップＳ７１において、注目ノードＮ_pに対応するクラスタに含まれる画像の枚数が制限枚数以下でないと判定された場合、処理はステップＳ７３に進む。

ステップＳ７３において、グループ作成部１０１は、左ノードｌ（Ｎ_p）に対応するクラスタに含まれる画像の枚数が制限枚数以下であるか否かを判定する。

ステップＳ７３において、左ノードｌ（Ｎ_p）に対応するクラスタに含まれる画像の枚数が制限枚数以下であると判定された場合、処理は、ステップＳ７４に進み、グループ作成部１０１は、左ノードｌ（Ｎ_p）および右ノードｒ（Ｎ_p）を引数とする関数join_left(l(N_p),r(N_p))を呼び出し、これにより、その関数join_left(l(N_p),r(N_p))の処理を行って、処理はリターンする。

ここで、左ノードｌ（Ｎ_p）および右ノードｒ（Ｎ_p）を引数とする関数join_left(l(N_p),r(N_p))は、グループ内の画像の枚数を決定する関数であり、関数join_left(l(N_p),r(N_p))の処理では、注目ノードＮ_pに対応するクラスタに含まれる画像の左側、すなわち、撮影時刻の古いものから、制限枚数以下の枚数となる画像のグループを作成する処理が行われる。

一方、ステップＳ７３において、左ノードｌ（Ｎ_p）に対応するクラスタに含まれる画像の枚数が制限枚数以下でないと判定された場合、処理はステップＳ７５に進む。

ステップＳ７５において、グループ作成部１０１は、右ノードｒ（Ｎ_p）に対応するクラスタに含まれる画像の枚数が制限枚数以下であるか否かを判定する。右ノードｒ（Ｎ_p）に対応するクラスタに含まれる画像の枚数が制限枚数以下であると判定された場合、処理は、ステップＳ７６に進み、グループ作成部１０１は、左ノードｌ（Ｎ_p）および右ノードｒ（Ｎ_p）を引数とする関数join_right(l(N_p),r(N_p))を呼び出し、これにより、その関数join_right(l(N_p),r(N_p))の処理を行って、処理はリターンする。

ここで、左ノードｌ（Ｎ_p）および右ノードｒ（Ｎ_p）を引数とする関数join_right(l(N_p),r(N_p))は、グループ内の画像の枚数を決定する関数であり、関数join_right(l(N_p),r(N_p))の処理は、注目ノードＮ_pに対応するクラスタに含まれる画像の右側、すなわち、撮影時刻の新しいものから、制限枚数以下の枚数となる画像のグループを作成する処理が行われる。

一方、ステップＳ７５において、注目ノードＮ_pの右ノードｒ（Ｎ_p）に対応するクラスタに含まれる画像の枚数が制限枚数以下でないと判定された場合、処理はステップＳ７７に進む。

ステップＳ７７において、グループ作成部１０１は、左ノードｌ（Ｎ_p）を新たな注目ノードＮ_pとし、処理はステップＳ７８に進む。ステップＳ７８において、グループ作成部１０１は、関数join_restricted(N_p)を呼び出し、関数join_restricted(N_p)の処理を行って、処理は、ステップＳ７９に進む。

ステップＳ７９において、グループ作成部１０１は、右ノードｒ（Ｎ_p）を新たな注目ノードＮ_pとし、処理はステップＳ８０に進む。ステップＳ８０において、グループ作成部１０１は、関数join_restricted(N_p)を呼び出し、関数join_restricted(N_p)の処理を行って、処理はリターンする。

図１９は、図１８のフローチャートのステップＳ７４の、関数join_left(l(N_p),r(N_p))の処理の詳細を説明するフローチャートである。

ステップＳ９１において、グループ作成部１０１は、注目ノードＮ_pの左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であるか否かを判定する。

ステップＳ９１において、注目ノードＮ_pの左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下でないと判定された場合、処理は、ステップＳ９２に進む。

ステップＳ９２において、グループ作成部１０１は、右ノードｒ（Ｎ_p）がリーフノードであるか否かを判定する。

ステップＳ９２において、右ノードｒ（Ｎ_p）がリーフノードであると判定された場合、処理は、ステップＳ９３に進む。

ステップＳ９３において、グループ作成部１０１は、左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であるか否かを判定する。

ステップＳ９３において、左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であると判定された場合、処理は、ステップＳ９９に進む。

また、ステップＳ９３において、左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下でないと判定された場合、処理はステップＳ９４に進む。

ステップＳ９４において、グループ作成部１０１は、左ノードｌ（Ｎ_p）に対応するクラスタに含まれる画像で１つのグループを作成するとともに、右ノードｒ（Ｎ_p）に対応するクラスタに含まれる画像で１つのグループを作成し、処理はリターンする。

一方、ステップＳ９２において、右ノードｒ（Ｎ_p）がリーフノードでないと判定された場合、処理は、ステップＳ９５に進む。

ステップＳ９５において、グループ作成部１０１は、右ノードｒ（Ｎ_p）の左ノードｌ（ｒ（Ｎ_p））を右ノードｒ（Ｎ_p）として、処理は、ステップＳ９６に進む。

ステップＳ９６では、グループ作成部１０１は、左ノードｌ（Ｎ_p）および右ノードｒ（Ｎ_p）を引数とする関数join_left(l(N_p),r(N_p))を再帰的に呼び出し、関数join_left(l(N_p),r(N_p))の処理を、再帰的に行って、処理は、ステップＳ９７に進む。

ステップＳ９７において、グループ作成部１０１は、右ノードｒ（Ｎ_p）の右ノードｒ（ｒ（Ｎ_p））を注目ノードＮ_pとして、処理は、ステップＳ９８に進む。

ステップＳ９８では、グループ作成部１０１は、注目ノードＮ_pを引数とする関数join_restricted(N_p)を再帰的に呼び出し、関数join_restricted(N_p)の処理を、再帰的に行って、処理はリターンする。

一方、ステップＳ９１において、グループ作成部１０１は、左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であると判定した場合、処理は、ステップＳ９９に進む。

ステップＳ９９において、グループ作成部１０１は、左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とに対応するクラスタに含まれる画像で１つのグループを作成して、処理はリターンする。

図２０は、図１８のフローチャートのステップＳ７６の、関数join_right(l(N_p),r(N_p))の処理の詳細を説明するフローチャートである。

ステップＳ１１１において、グループ作成部１０１は、注目ノードＮ_pの左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であるか否かを判定する。

ステップＳ１１１において、注目ノードＮ_pの左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下でないと判定された場合、処理は、ステップＳ１１２に進む。

ステップＳ１１２において、グループ作成部１０１は、左ノードｌ（Ｎ_p）がリーフノードであるか否かを判定する。

ステップＳ１１２において、左ノードｌ（Ｎ_p）がリーフノードであると判定された場合、処理は、ステップＳ１１３に進む。

ステップＳ１１３において、グループ作成部１０１は、左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であるか否かを判定する。

ステップＳ１１３において、左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であると判定された場合、処理は、ステップＳ１１９に進む。

また、ステップＳ１１３において、左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下でないと判定された場合、処理はステップＳ１１４に進む。

ステップＳ１１４において、グループ作成部１０１は、左ノードｌ（Ｎ_p）に対応するクラスタに含まれる画像で１つのグループを作成するとともに、右ノードｒ（Ｎ_p）に対応するクラスタに含まれる画像で１つのグループを作成し、処理はリターンする。

一方、ステップＳ１１２において、左ノードｌ（Ｎ_p）がリーフノードでないと判定された場合、処理は、ステップＳ１１５に進む。

ステップＳ１１５において、グループ作成部１０１は、左ノードｌ（Ｎ_p）の右ノードｒ（ｌ（Ｎ_p））を左ノードｌ（Ｎ_p）として、処理は、ステップＳ１１６に進む。

ステップＳ１１６では、グループ作成部１０１は、左ノードｌ（Ｎ_p）および右ノードｒ（Ｎ_p）を引数とする関数join_right(l(N_p),r(N_p))を再帰的に呼び出し、関数join_right(l(N_p),r(N_p))の処理を、再帰的に行って、処理は、ステップＳ１１７に進む。

ステップＳ１１７において、グループ作成部１０１は、左ノードｌ（Ｎ_p）の左ノードｌ（ｌ（Ｎ_p））を注目ノードＮ_pとして、処理は、ステップＳ１１８に進む。

ステップＳ１１８では、グループ作成部１０１は、注目ノードＮ_pを引数とする関数join_restricted(N_p)を再帰的に呼び出し、関数join_restricted(N_p)の処理を、再帰的に行って、処理はリターンする。

一方、ステップＳ１１１において、グループ作成部１０１は、左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であると判定した場合、処理は、ステップＳ１１９に進む。

ステップＳ１１９において、グループ作成部１０１は、左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とに対応するクラスタに含まれる画像で１つのグループを作成して、処理はリターンする。

次に、図２１を参照して、図１６乃至図２０を参照して説明した、グループ分け処理部９２のグループ分け処理によって得られる、画像のグループの具体例について説明する。

図２１は、クラスタリング部９１から供給されたクラスタツリーの例を示す図である。

図２１のクラスタツリーでは、ノードＮ₁₁がルートノードＮ_ROOTとされ、２つの子ノードとして、ノードＮ₂₁とノードＮ₂₂とを有している。ノードＮ₂₁は、２つの子ノードとして、ノードＮ₃₁とノードＮ₃₂とを有しており、ノードＮ₃₂は、２つの子ノードとして、ノードＮ₄₁とノードＮ₄₂とを有している。そして、ノードＮ₄₁は、２つの子ノードとして、ノードＮ₅₁とノードＮ₅₂とを有しており、ノードＮ₄₂は、２つの子ノードとして、ノードＮ₅₃とノードＮ₅₄とを有している。

さらに、図２１のクラスタツリーでは、ノードＮ₃₁，Ｎ₅₁，Ｎ₅₂，Ｎ₅₃，Ｎ₅₄，Ｎ₂₂がそれぞれ、子ノードが接続されていないノードであるリーフノードとなっている。そして、リーフノードＮ₃₁，Ｎ₅₁，Ｎ₅₂，Ｎ₅₃，Ｎ₅₄，Ｎ₂₂には、画像PIC0，PIC1，PIC2，PIC3，PIC4，PIC5がそれぞれ割り当てられている。

また、図２１において、画像PIC0乃至PIC5の下の時間軸には、画像PIC0乃至PIC5のそれぞれの撮影時刻が示されている。すなわち、画像PIC0の撮影時刻はｔ＝０であり、画像PIC1の撮影時刻はｔ＝４であり、画像PIC2の撮影時刻はｔ＝６である。また、画像PIC3の撮影時刻はｔ＝９であり、画像PIC4の撮影時刻はｔ＝１０であり、画像PIC5の撮影時刻はｔ＝２０である。

まず、グループ分け処理部９２のグループ作成部１０１は、クラスタツリーにおけるルートノードＮ_ROOTを注目ノードＮ_pとする。図２１においては、ルートノードＮ₁₁が注目ノードＮ_pとされる。

そして、グループの初期化がなされた後、処理は、グループの作成の処理に進む。

グループの作成の処理において、グループ作成部１０１は、注目ノードＮ_pがリーフノードであるか否かを判定する。注目ノードＮ_pであるノードＮ₁₁は、リーフノードでないと判定されるので、グループ作成部１０１は、注目ノードＮ_pの左側右端ノードＲ_m（ｌ（Ｎ_p））および右側左端ノードＬ_m（ｒ（Ｎ_p））のそれぞれに対応するクラスタに含まれる画像の撮影時刻の時間間隔が最小時間間隔閾値以下であるか否かを判定する。

図２１において、ノードＮ₁₁が注目ノードＮ_pである場合、左側右端ノードＲ_m（ｌ（Ｎ_p））は、注目ノードＮ_pであるノードＮ₁₁の左ノードｌ（Ｎ_p）（＝Ｎ₂₁）に包含されるノードＮ₃₁，Ｎ₃₂，Ｎ₄₁，Ｎ₄₂，Ｎ₅₁，Ｎ₅₂，Ｎ₅₃，Ｎ₅₄のうちの右端に位置するノードＮ₅₄となり、右側左端ノードＬ_m（ｒ（Ｎ_p））は、注目ノードＮ_pであるノードＮ₁₁の右ノードｒ（Ｎ_p）（＝Ｎ₂₂）に包含されるノードＮ₂₂のうちの左側に位置するノードＮ₂₂となる。

ここで、最小時間間隔閾値を８とした場合、左側右端ノードＲ_m（ｌ（Ｎ_p））および右側左端ノードＬ_m（ｒ（Ｎ_p））のそれぞれに割り当てられている画像の撮影時刻の時間間隔は、ノードＮ₅₄に割り当てられている画像PIC4の撮影時刻ｔ＝１０と、ノードＮ₂₂に割り当てられている画像PIC5の撮影時刻ｔ＝２０との差として得られる１０であり、最小時間間隔閾値以下でないので、グループ作成部１０１は、注目ノードＮ_pに対応するクラスタに含まれる画像の撮影時刻の時間間隔がグループ分割閾値を超えているか否かを判定する。

図２１においては、ノードＮ₁₁に対応するクラスタに含まれる画像の撮影時刻の時間間隔は、グループ分割閾値を超えていないとすると、グループ作成部１０１は、左ノードｌ（Ｎ_p）を新たな注目ノードＮ_pとする。すなわち、図２１において、注目ノードＮ_pがノードＮ₁₁であるので、ノードＮ₁₁の左ノードｌ（Ｎ_p）であるノードＮ₂₁が新たな注目ノードＮ_pとされる。

次に、グループ作成部１０１は、新たな注目ノードＮ_pであるノードＮ₂₁について、グループの作成の処理を再帰的に行う。

グループ作成部１０１は、注目ノードＮ_pがリーフノードであるか否かを判定する。注目ノードＮ_pであるノードＮ₂₁はリーフノードでないので、グループ作成部１０１は、注目ノードＮ_pの左側右端ノードＲ_m（ｌ（Ｎ_p））および右側左端ノードＬ_m（ｒ（Ｎ_p））のそれぞれに対応するクラスタに含まれる画像の撮影時刻の時間間隔が最小時間間隔閾値以下であるか否かを判定する。

ここで、最小時間間隔閾値を８とした場合、ノードＮ₂₁が注目ノードＮ_pであるときは、左側右端ノードＲ_m（ｌ（Ｎ_p））および右側左端ノードＬ_m（ｒ（Ｎ_p））のそれぞれに割り当てられている画像の撮影時刻の時間間隔は、ノードＮ₃₁に割り当てられている画像PIC0の撮影時刻ｔ＝０と、ノードＮ₅₁に割り当てられている画像PIC1の撮影時刻ｔ＝４との差４であり、最小時間間隔閾値以下であるので、グループ作成部１０１は、ステップＳ６４において、注目ノードＮ_pを引数とする関数join_restricted(N_p)の処理を行う。

関数join_restricted(N_p)の処理において、グループ作成部１０１は、注目ノードＮ_pに対応するクラスタに含まれる画像の枚数が制限枚数以下であるか否かを判定する。ここで、例えば、制限枚数は３枚とすると、図２１において、注目ノードＮ_pであるノードＮ₂₁に対応するクラスタに含まれる画像の枚数は、画像PIC0乃至PIC4の５枚であり、制限枚数の３枚以下でないので、グループ作成部１０１は、左ノードｌ（Ｎ_p）に対応するクラスタに含まれる画像の枚数が制限枚数以下であるか否かを判定する。

図２１においては、ノードＮ₂₁が注目ノードＮ_pである場合には、その注目ノードＮ_pの左ノードｌ（Ｎ_p）であるノードＮ₃₁に対応するクラスタに含まれる画像の枚数は、画像PIC0の１枚であり、制限枚数の３枚以下であるので、グループ作成部１０１は、左ノードｌ（Ｎ_p）および右ノードｒ（Ｎ_p）を引数とする関数join_left(l(N_p),r(N_p))を呼び出す。

関数join_left(l(N_p),r(N_p))の処理において、グループ作成部１０１は、注目ノードＮ_pの左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であるか否かを判定する。

図２１においては、例えば、ノードＮ₂₁が注目ノードＮ_pである場合には、左ノードであるノードＮ₃₁と右ノードであるノードＮ₃₂とに対応するクラスタに含まれる画像の枚数の和は、画像PIC0の１枚と画像PIC1乃至PIC4の４枚との和の５枚であり、制限枚数の３枚以下でないので、グループ作成部１０１は、右ノードｒ（Ｎ_p）がリーフノードであるか否かを判定する。

図２１において、ノードＮ₂₁が注目ノードである場合、その右ノードであるノードＮ₃₂はリーフノードでないので、グループ作成部１０１は、右ノードｒ（Ｎ_p）の左ノードｌ（ｒ（Ｎ_p））を右ノードｒ（Ｎ_p）とする。すなわち、図２１において、ノードＮ₂₁が注目ノードＮ_pであるので、右ノードｒ（Ｎ_p）であるノードＮ₃₂の左ノードＮ₄₁が、注目ノードＮ_pの右ノードｒ（Ｎ_p）とされる。

次に、グループ作成部１０１は、左ノードｌ（Ｎ_p）および右ノードｒ（Ｎ_p）を引数とする関数join_left(l(N_p),r(N_p))を再帰的に呼び出し、関数join_left(l(N_p),r(N_p))の処理を、再帰的に行う。

関数join_left(l(N_p),r(N_p))の処理において、グループ作成部１０１は、注目ノードＮ_pの左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とのそれぞれに対応するクラスタに含まれる画像の枚数の和が制限枚数以下であるか否かを判定する。

図２１においては、ノードＮ₂₁が注目ノードＮ_pであり、左ノードであるノードＮ₃₁と右ノードであるノードＮ₄₁とに対応するクラスタに含まれる画像の枚数の和は、画像PIC0の１枚と画像PIC1およびPIC2の２枚との和の３枚であり、制限枚数の３枚以下であるので、グループ作成部１０１は、左ノードｌ（Ｎ_p）と右ノードｒ（Ｎ_p）とに対応するクラスタに含まれる画像で１つのグループを作成する。すなわち、グループ作成部１０１は、図２１におけるノードＮ₃₁とノードＮ₄₁とに対応するクラスタに含まれる画像PIC0乃至PIC2の３枚の画像が含まれるグループＣ₁を生成する。

また、グループ作成部１０１は、右ノードｒ（Ｎ_p）の右ノードｒ（ｒ（Ｎ_p））を注目ノードＮ_pとする。すなわち、グループ作成部１０１は、図２１における右ノードｒ（Ｎ_p）であるノードＮ₃₂の右ノードＮ₄₂を注目ノードＮ_pとし、グループ作成部１０１は、注目ノードＮ_pを引数とする関数join_restricted(N_p)を再帰的に呼び出し、関数join_restricted(N_p)の処理を、再帰的に行う。

関数join_restricted(N_p)の処理において、グループ作成部１０１は、注目ノードＮ_pに対応するクラスタに含まれる画像の枚数が制限枚数以下であるか否かを判定する。図２１において、注目ノードＮ_pであるノードＮ₄₂に対応するクラスタに含まれる画像の枚数は、画像PIC3乃至PIC4の２枚であり、制限枚数の３枚以下であるので、グループ作成部１０１は、注目ノードＮ_pに対応するクラスタに含まれる全ての画像を１つのグループとする。すなわち、グループ作成部１０１は、図２１におけるノードＮ₄₂に対応するクラスタに含まれる画像PIC3乃至PIC4の２枚の画像が含まれるグループＣ₂を作成する。

さらに、グループ作成部１０１は、右ノードｒ（Ｎ_p）を新たな注目ノードＮ_pとする。すなわち、図２１において、注目ノードＮ_pがノードＮ₁₁である場合の、ノードＮ₁₁の右ノードｒ（Ｎ_p）であるノードＮ₂₂が新たな注目ノードＮ_pとされる。

グループ作成部１０１は、新たな注目ノードＮ_pについて、グループの作成の処理を再帰的に行う。

グループの作成の処理において、グループ作成部１０１は、注目ノードＮ_pがリーフノードであるか否かを判定する。注目ノードＮ_pであるノードＮ₂₂はリーフノードであるので、グループ作成部１０１は、注目ノードＮ_pに対応するクラスタに含まれる画像を１つのグループとする。注目ノードＮ_pであるノードＮ₂₂はリーフノードであるので、グループ作成部１０１は、１枚の画像PIC5のみが含まれる１つのグループＣ₃を作成する。

このようにして、グループ作成部１０１は、クラスタリング部９１から供給されたクラスタツリーのノードに対応するクラスタに含まれる画像の枚数が制限枚数以下であり、含まれる画像どうしの撮影時間の時間間隔が最小時間間隔閾値以下であるグループを作成する。

従来の手法によれば、図２１に示される画像PIC0乃至PIC5についての二分木構造は、画像PIC0の画像が１枚のグループ、画像PIC1およびPIC2の画像が２枚のグループ、画像PIC3およびPIC4の画像が２枚のグループ、および画像PIC5の画像が１枚のグループにグループ分けされる。

本発明の手法によれば、図２１に示される画像PIC0乃至PIC5についての二分木構造は、画像PIC0乃至PIC2の画像が３枚のグループＣ₁と、画像PIC3およびPIC4の画像が２枚のグループＣ₂と、画像PIC5の画像が１枚のグループＣ₃とにグループ分けされる。このようにグループ分けされた画像は、スクラップブックのページにグループ毎に配置される。

図２２は、配置テンプレートの構成の例を示す図である。配置テンプレートは、スクラップブックの各ページに配置される画像の枚数を決定する。図２２に示されるように、配置テンプレート１３１−１は４枚、配置テンプレート１３１−２は３枚、配置テンプレート１３１−３は２枚、配置テンプレート１３１−４は１枚の画像をそれぞれ配置するためのものである。このような配置テンプレート１３１−１乃至１３１−４によって、スクラップブックのページあたりの枚数が制限される。

図２３は、スクラップブックのページの構成の例を示す図である。

図２３の例において、ページ１５１には、背景テンプレート１１１および配置テンプレート１３１が設定されている。背景テンプレート１１１は、例えば、ページ１５１に配置されている４枚の画像のメタデータと同じメタデータを有する。また、配置テンプレート１３１によって、例えば、４枚の画像の配置が決定される。また、ページ１５１には、「○△□×２００５」のコメントが表示されている。ユーザは、操作部１９を操作することによって、ページ１５１の任意の位置に、任意のコメントを設定することができる。

図２４は、スクラップブックの構成の例を示す図である。

図２４の例において、スクラップブック１７１は、ページ１５１乃至ページ１５５の５ページで構成される。スクラップブック１７１のページ１５１乃至ページ１５５に配置されている画像は全て、同じイベントを表すメタデータを有する。スクラップブック１７１には、そのメタデータに対応する背景テンプレート１１１が設定される。ページ１５１は、スクラップブック１７１の表紙となる。ページ１５２乃至ページ１５５には、ページ１５１と同様に、それぞれ配置テンプレート１３１−１乃至１３１−４によって決定される枚数の画像が配置される。

以上のように、HDDレコーダ１は、撮影された画像がページあたりの枚数の制限に合わせて適切な枚数にグループ分けされ、配置されてなるスクラップブックを作成することができる。

このようにして、一画面に表示する画像の枚数に制限があった場合でも、それぞれの画面にはまとまった内容の画像が表示されるため、ユーザは違和感を覚えない。

また、上述した説明においては、クラスタリング部９１は、画像の撮影時刻を示すメタデータに基づいて、クラスタリングを行うようにしたが、画像の撮影場所を示すメタデータや、画像に関するキーワードを示すメタデータに基づいて、クラスタリングを行うようにしてもよい。

次に、HDDレコーダ１におけるスクラップブックの表示処理について説明する。

HDDレコーダ１は、例えば、操作部１９が操作され、制御部２０がスクラップブックの表示処理の指示を取得すると処理を開始する。

図２５は、スクラップブックの表示処理の例を示すフローチャートである。

ステップＳ１３１において、選択部５１は、操作部１９から供給される、モニタ２に表示されるスクラップブックを表示する一覧の表示パターンを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックを表示する一覧の表示パターンを示す情報を記録再生制御部５２に供給する。

ステップＳ１３２において、記録再生制御部５２は、記録再生部１８から記録されている全部のスクラップブックを読み出す。記録再生制御部５２は、供給されたユーザにより選択されるスクラップブックを表示する一覧の表示パターンを示す情報に応じて、スクラップブックの一覧を表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２にスクラップブックの一覧を表示させる。

ステップＳ１３３において、選択部５１は、操作部１９から供給される、モニタ２に表示されるスクラップブックの一覧からスクラップブックの１つを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるスクラップブックの一覧からスクラップブックの１つを示す情報を記録再生制御部５２に供給する。

図２６乃至図２８は、モニタ２に表示されるスクラップブックの一覧の例を示す図である。

図２６は、インデックス形式で表示されるスクラップブックの一覧の例を示す図である。図２６の例においては、モニタ２の画面１９１上に、それぞれのスクラップブックの表紙となる１ページ目が一覧として表示されている。ユーザは、操作部１９を操作し、カーソル２１１を移動させスクラップブックの１つを選択することができる。

図２７は、カレンダーを用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示されるカレンダー表示領域と、右方に表示されるプレビュー画面表示領域とから構成される。カレンダー表示領域には、例えば、スクラップブックに付加されている日付を表すメタデータに基づいて、カレンダーの対応する日の欄に、それぞれのスクラップブックの表紙となる１ページ目が表示される。プレビュー画面表示領域には、カレンダー表示領域のカーソル２３１−１により選択される日に存在するスクラップブックのプレビュー画面２３１−２が表示される。

図２７の例においては、１１月を表すカレンダー表示領域において、カーソル２３１−１によって１１月１８日が選択されている。プレビュー画面表示領域には、選択された１１月１８日のメタデータが付加されているスクラップブックのプレビュー画面２３１−２が表示される。

図２８は、地図を用いて表示されるスクラップブックの一覧の例を示す図である。モニタ２の画面１９１は、左方に表示される地図表示領域と、右方に表示される一覧表示領域とから構成される。地図表示領域には、所定の地域を表す地図が表示される。ユーザは、表示される地図上の所定の場所を選択することができる。一覧表示領域には、例えば、ユーザにより選択された場所のメタデータが付加されているスクラップブックの一覧が表示される。

図２８の例においては、地図表示領域の地図上の「東京都」がカーソル２５１−１により選択されている。一覧表示領域には、「東京都」のメタデータが付加されているスクラップブックの表紙が表示される。ユーザは、表示された一覧から、スクラップブックの１つを選択することができる。

このようにして、表示されたスクラップブックの一覧からスクラップブックの１つを選択することができる。

図２５の説明に戻り、ステップＳ１３４において、記録再生制御部５２は、供給されたユーザにより選択されるスクラップブックの一覧からスクラップブックの１つを示す情報に基づいて、選択されたスクラップブックを表示させる表示データを表示制御部５３に供給する。制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に選択されたスクラップブックの最初のページを表示させる。

ステップＳ１３５において、記録再生制御部５２は、表示されているスクラップブックの次のページが存在しないか否かを判定する。ステップＳ１３５において、次のページが存在しないと判定された場合、処理は終了する。

一方、ステップＳ１３５において、次のページが存在すると判定された場合、処理はステップＳ１３６に進む。

ステップＳ１３６において、制御部２０の制御に基づいて、HDDレコーダ１は、モニタ２に選択されたスクラップブックの次のページを表示させ、処理はステップＳ１３５に戻る。

このように、HDDレコーダ１は、スクラップブックを表示させることができる。

なお、上述した説明では、画像からスクラップブックを作成するものとしたが、スクラップブックからスクラップブックを作成するようにしてもよい。

また、上述した説明において、クラスタリングの処理およびグループ分けの処理は、単純に、画像の撮影時刻の時間間隔を用いて行われるものとしたが、画像全体の撮影間隔の平均を基準とした分散に基づいて行われるようにしてもよい。

このように、複数のデータをクラスタリングするようにした場合には、撮影された画像をグループ分けすることができる。また、複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の画像どうしをより強く結び付けるように、複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングし、二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応するクラスタに含まれる画像どうしの距離が所定の閾値以下となる場合、２つの子ノードに対応するクラスタそれぞれに含まれる画像のグループであって、そのグループに含まれる画像の枚数が所定の制限枚数以下であるグループを作成するようにした場合には、枚数の制限に合わせて、撮影された画像を適切な枚数にグループ分けすることができる。

また、本発明をHDDレコーダに適用した実施の形態について説明したが、本発明は、コンテンツを記録または再生する機能を有する、その他の情報処理装置に適用することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、制御部２０に、リムーバブルメディア５からインストールされる。

なお、本明細書において、リムーバブルメディア５に格納されるプログラムを記述するステップは、記載された順序に沿って時系列に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来のクラスタツリーの分割の手法を説明する図である。 本発明の一実施の形態であるHDDレコーダの例を示す図である。 HDDレコーダの制御部の構成の例を示すブロック図である。 画像のクラスタの例を示す図である。 二分木構造のクラスタツリーの作成について説明する図である。 二分木構造のクラスタツリーの作成について説明する図である。 二分木構造のクラスタツリーの作成について説明する図である。 二分木構造のクラスタツリーの作成について説明する図である。 二分木構造のクラスタツリーの作成について説明する図である。 二分木構造のクラスタツリーの作成について説明する図である。 二分木構造のクラスタツリーの作成について説明する図である。 二分木構造のクラスタツリーの作成について説明する図である。 二分木構造のクラスタツリーの作成について説明する図である。 スクラップブックの作成処理の例を説明するフローチャートである。 背景テンプレートの例を示す図である。 グループ分けの処理を説明するフローチャートである。 グループの作成の処理を説明するフローチャートである。 関数join_restricted(N_p)の処理を説明するフローチャートである。 関数join_left(N_p)の処理を説明するフローチャートである。 関数join_right(N_p)の処理を説明するフローチャートである。 クラスタリング部から供給されたクラスタツリーを示す図である。 配置テンプレートの例を示す図である。 スクラップブックのページの構成の例を示す図である。 スクラップブックの構成の例を示す図である。 スクラップブックの表示処理の例を説明するフローチャートである。 スクラップブックの一覧の表示の例を示す図である。 スクラップブックの一覧の表示の他の例を示す図である。 スクラップブックの一覧の表示のさらに他の例を示す図である。

符号の説明

１ HDDレコーダ， ２ モニタ， ５ リムーバブルメディア， １８ 記録再生部， １９ 操作部， ２０ 制御部， ３１ 画像DB， ３２ テンプレートDB， ３３ コンテンツDB， ５１ 選択部， ５２ 記録再生制御部， ５３ 表示制御部， ５４ メタデータ抽出部， ５５ コンテンツ作成部， ７１ 演算部， ７２ テンプレート設定部， ９１ クラスタリング部， ９２ グループ分け処理部， １０１ グループ作成部

Claims (7)

1. 複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングするクラスタリング手段と、
   前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成するグループ作成手段と
   を備える情報処理装置。
2. 前記メタデータは、前記画像が撮影された撮影時刻を示し、
   前記クラスタリング手段は、前記複数の画像のそれぞれの撮影時刻に基づいて、前記撮影時刻の時間間隔のより小さい前記画像どうしをより強く結び付けるように、前記複数の画像を、前記二分木構造のノードに対応する前記クラスタにクラスタリングし、
   前記グループ作成手段は、前記二分木構造において、前記ルートノードから下位の階層に向かって、ノードを辿ることにより、注目ノードが有する前記２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの前記撮影時刻の時間間隔が前記閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が前記制限枚数以下であるグループを作成する
   請求項１に記載の情報処理装置。
3. 前記閾値は、前記グループに含まれる前記画像を前記撮影時刻の順に並べたときに、隣接する前記画像どうしの前記撮影時刻の時間間隔として許容される最大値として設定された値である
   請求項２に記載の情報処理装置。
4. 前記グループ作成手段は、注目ノードの左側の子ノードである左ノードに包含されるノードのうちの右端に位置する左側右端ノード、および注目ノードの右側の子ノードである右ノードに包含されるノードのうちの左端に位置する右側左端ノードのそれぞれに割り当てられている前記画像の前記撮影時刻の時間間隔が前記閾値以下となる場合、前記左ノードと前記右ノードとに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が前記制限枚数以下である前記グループを作成する
   請求項２に記載の情報処理装置。
5. 前記グループ作成手段は、
   注目ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下でない場合、注目ノードの前記２つの子ノードのうちの１つの子ノードに対応する前記クラスタに含まれる前記画像の枚数が、前記制限枚数以下であるかを判定し、
   注目ノードの前記２つの子ノードのうちの前記１つの子ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下でない場合、注目ノードの前記２つの子ノードのうちの前記１つの子ノードを新たな注目ノードとして、その新たな注目ノードに対応する前記クラスタに含まれる前記画像の枚数が前記制限枚数以下であるかを判定し、
   注目ノードの前記２つの子ノードのうちの前記１つの子ノードに対応するクラスタに含まれる画像の枚数が制限枚数以下である場合、注目ノードの前記２つの子ノードのうちの前記１つの子ノードと、注目ノードの前記２つの子ノードのうちの他の１つの子ノードの下位階層のノードとに対応する前記クラスタそれぞれに含まれる前記画像の枚数の和が制限枚数以下となる画像のグループを作成する
   請求項２に記載の情報処理装置。
6. 複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングし、
   前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成する
   ステップを含む情報処理方法。
7. 複数の画像のそれぞれに対応付けられているメタデータで決められる距離に基づいて、より近い距離の前記画像どうしをより強く結び付けるように、前記複数の画像を、二分木構造のノードに対応するクラスタにクラスタリングするクラスタリング手段と、
   前記二分木構造において、親ノードが存在しないルートノードから下位の階層に向かって、ノードを辿ることにより、注目している注目ノードが有する２つの子ノードに対応する前記クラスタに含まれる前記画像どうしの距離が所定の閾値以下となる場合、前記２つの子ノードに対応する前記クラスタそれぞれに含まれる前記画像のグループであって、そのグループに含まれる前記画像の枚数が所定の制限枚数以下であるグループを作成するグループ作成手段と
   を備える情報処理装置として、コンピュータを機能させるプログラム。

Images