以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理装置(例えば、図1の画像処理装置1)は、画像の配置を決定するテンプレートを管理する管理手段(例えば、図2のテンプレートDB33)と、第1の画像の一部を切り出す切り出し手段(例えば、図54のステップS113,S116,S118,S119)と、前記切り出し手段により前記第1の画像より切り出された第2の画像を前記テンプレートに配置する配置手段(例えば、図54のステップS114)とを備える。
以下に、本発明の実施の形態について図面を参照して説明する。
[画像処理装置の構成について]
図1は、本発明の一実施の形態である情報処理装置の構成を示す図である。情報処理装置1は、HDD(Hard Disc Recorder)レコーダなどである。
図1の画像処理装置1は、図示せぬ外部装置から供給されるAV(Audio Video)信号、または図示せぬアナログチューナ若しくは図示せぬラインチューナから供給されるアナログ信号として入力される映像信号および音声信号を記録または再生する。画像処理装置1は、再生された映像信号を、外部に接続されているモニタ2に出力する。また、画像処理装置1は、再生された音声信号を、外部に接続されているスピーカ3に出力する。
AV信号を供給する外部装置は、例えば、i.LINK(商標)を介して接続される外部装置、 デジタルBS(Broadcasting Satellite)チューナもしくはデジタルCS(Communications Satellite)チューナ、デジタルビデオカメラ、デジタルスチルカメラ、またはスキャナなどである。
画像処理装置1には、必要に応じてドライブ4が接続される。ドライブ4には、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスクを含む)、もしくは半導体メモリなどのリムーバブルメディア5が必要に応じて装着され、データの授受を行うようになされている。
図1の画像処理装置1は、コーデック11、サンプリングレートコンバータ12、アナログ入力処理部13、A/Dコンバータ14、切換部15、NTSC(National Television System Committee)デコーダ16、エンコーダ17、記録再生部18、操作部19、制御部20、デコーダ21、NTSCエンコーダ22、およびD/Aコンバータ23を含む構成とされている。
コーデック11は、図示せぬ外部装置から供給されるAV信号のうち、デジタルビデオ信号の圧縮を伸張し、NTSCデコーダ12に供給する。
サンプリングレートコンバータ12は、図示せぬ外部装置から供給されるAV信号のうち、デジタルオーディオ信号のサンプリングレートを異なるサンプリングレートに変換する。サンプリングレートコンバータ12は、変換されたデジタルオーディオ信号を切換部15に供給する。
アナログ入力処理部13は、制御部20から供給される、操作部19におけるユーザからの操作を示す信号に基づいて、図示せぬアナログチューナ、または図示せぬラインチューナから供給されるアナログ信号のうちの一方を選択する。アナログ入力処理部13は、選択されたアナログ信号のうちのアナログビデオ信号をNTSCデコーダ16に供給する。また、アナログ入力処理部13は、選択されたアナログ信号のうちのアナログオーディオ信号をA/Dコンバータ14に供給する。
A/Dコンバータ14は、アナログ入力処理部13から供給されたアナログオーディオ信号をA/D変換する。A/Dコンバータ14は、A/D変換された結果であるデジタルオーディオ信号を切換部15に供給する。
切換部15は、制御部20から供給される、操作部19におけるユーザからの操作を示す信号に基づいて、サンプリングレートコンバータ12から供給されたデジタルオーディオ信号、またはA/Dコンバータ14から供給されたデジタルオーディオ信号のうちの一方を選択する。切換部15は、選択されたデジタルオーディオ信号をNTSCデコーダ16に供給する。
NTSCデコーダ16は、コーデック11より供給されたデジタルビデオ信号、またはアナログ入力処理部13より入力されたアナログビデオ信号を、NTSC方式のデジタルビデオ信号に変換する。NTSCデコーダ16は、変換されたNTSC方式のデジタルビデオ信号と、切換部15から供給されたデジタルオーディオ信号とを合成する。
画像処理装置1に入力される映像信号および音声信号を記録する場合は、NTSCデコーダ16は、合成された信号であるデジタルAV信号を、エンコーダ17に供給する。一方、画像処理装置1に入力される映像信号および音声信号を記録せずそのまま再生する場合は、NTSCデコーダ16は、合成された信号であるデジタルAV信号を、後述するNTSCエンコーダ22およびD/Aコンバータ23に供給する。
エンコーダ17は、NTSCデコーダ16より供給されたデジタルAV信号に対して、例えば、MPEG(Moving Picture Experts Group)方式などの所定の方式に従ったエンコード処理を施す。エンコーダ17は、エンコード処理の結果である圧縮符号化された信号データを記録再生部18に供給する。
記録再生部18は、例えば、ハードディスク(HDD)や光ディスクなどで構成される。記録再生部18は、エンコーダ17から供給された信号データを記録する。また、記録再生部18は、記録された信号データをデコーダ21に供給する。即ち、記録再生部18は、記録された信号データを再生する。
操作部19は、例えば、各種の操作ボタン、キー、またはタッチパネルなどからなる。ユーザは、画像処理装置1に対する指示を入力するために操作部19を操作する。操作部19は、ユーザの操作に応じて、ユーザの操作を示す信号を制御部20に供給する。
制御部20は、例えば、マイクロプロセッサを含む構成とされ、操作部19から供給されるユーザの操作を示す信号に基づいて、画像処理装置1内の各部を制御する。
デコーダ21は、記録再生部18から供給された信号データに対して、例えば、MPEG方式などに対応する方式に従ったデコード処理を施す。デコーダ21は、処理の結果である伸張復号化されたデジタルAV信号のうちのデジタルビデオ信号をNTSCエンコーダ22に供給する。また、デコーダ21は、処理の結果である伸張復号化されたデジタルAV信号のうちのデジタルオーディオ信号をD/Aコンバータ23に供給する。
NTSCエンコーダ22は、デコーダ21から供給されたデジタルビデオ信号をNTSC方式のビデオ信号に変換する。NTSCエンコーダ22は、変換されたビデオ信号をモニタ2に供給する。
D/Aコンバータ23は、デコーダ21から供給されたデジタルオーディオ信号をD/A変換する。D/Aコンバータ23は、変換された結果であるオーディオ信号をスピーカ3に供給する。
このような構成により、画像処理装置1は入力された映像信号および音声信号を記録、または再生することができる。また、画像処理装置1は、記録再生部18に記録されている映像信号や音声信号を再生することができる。
画像処理装置1は、映像信号の他、静止画像の信号(データ)も入力し、記録したり、再生したりする機能を有する。すなわち、本実施の形態における画像処理装置1は、動画像と静止画像を扱うことが可能な装置であり、例えば、エンコーダ17やデコーダ21は、動画像に適した方式や静止画像に適した方式を、サポートするように構成されている。
また、図1に示した構成例においては、映像信号を処理する構成を主に図示したが、同一の構成で、静止画像の画像データを処理できるように構成しても良いし、例えば、記録再生部18に直接的に静止画像データが記録されるような構成としても良く、図1に示した構成は適宜変更可能である。
図2は、図1の画像処理装置1の記録再生部18および制御部20の構成例を示す図である。
記録再生部18は、静止画像データベース31、動画像データベース32、テンプレートデータベース33、およびコンテンツデータベース34を含む構成とされている。以下、静止画像データベース31を静止画像DB31と記述し、動画像データベース32を動画像DB32と記述し、テンプレートデータベース33をテンプレートDB33と記述し、コンテンツデータベース34をコンテンツDB34と記述する。
静止画像DB31は、外部の装置から供給された静止画像のデータである静止画像データ、または、後述するように動画像から抽出された静止画像の静止画像データ(サムネイル画像のサムネイルデータ)を記録する。動画像DB32は、図1のエンコーダ17から供給された動画像のデータである動画像データを記憶する。なお、以下の説明において、例えば、“静止画像DB31に記録されている画像”との表記をするが、この“画像”は、“画像データ”の意味を含む表記であるとする。
テンプレートDB33は、コンテンツDB34に記録されるコンテンツであるアルバムを表示する場合の、アルバムに配置される画像の背景となる背景画像のデータである背景テンプレートおよびアルバムにおける画像の配置を設定する情報である配置テンプレートを記憶する。
コンテンツDB34は、アルバムのデータを記録する。なお、アルバムの詳細については後述するが、後述するように、アルバムとは、静止画像が貼り付けられたページから構成され、紙媒体のアルバムと同じ感覚で扱うことができ、電子アルバムなどと称されることもある。
制御部20は、選択部51、記録再生制御部52、表示制御部53、およびコンテンツ作成部54を含む構成とされている。
選択部51は、操作部19から供給される、ユーザの操作を示す信号に基づいて、ユーザにより操作される内容を示す情報を生成し、記録再生制御部52に供給する。
例えば、選択部51は、操作部19から供給される、モニタ2に表示されるアルバムなどを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されたアルバムを示す情報を生成し、記録再生制御部52に供給する。
また例えば、選択部51は、操作部19から供給される、画像が保存されている所定のフォルダを選択するユーザの操作を示す信号に基づいて、ユーザにより選択される所定のフォルダを示す情報を生成し、記録再生制御部52に供給する。
記録再生制御部52は、記録再生部18が行う記録、または再生を制御する。また記録再生制御部52は、記録再生部18から画像データ、背景テンプレート、配置テンプレート、またはアルバムのデータを読み出す。
例えば記録再生制御部52は、選択部51から供給される、ユーザにより選択される所定のフォルダを示す情報に基づいて、静止画像DB31または動画像DB32から所定のフォルダに保存されている画像データを読み出す。
また記録再生制御部52は、読み出された画像データ、背景テンプレート、配置テンプレート、またはアルバムのデータを、コンテンツ作成部54に供給する。また、記録再生制御部52は、コンテンツ作成部54により作成されたコンテンツ(アルバムのデータ)を、コンテンツDB34に供給し、記憶させる。
表示制御部53は、記録再生制御部52により読み出された画像データ、背景テンプレート、配置テンプレート、またはアルバムのデータを基に、デコーダ21のデコ ード処理を制御する。
コンテンツ作成部54は、記録再生制御部52の制御の基、記録再生部18から供給される画像データを用いて、コンテンツを作成する。コンテンツ作成部54は、演算部71、およびテンプレート設定部72から構成される。
演算部71は、記録再生制御部52から供給される、画像に付随するデータに基づいて、複数の画像をグループに分ける(クラスタリングする)。演算部71は、クラスタリング部91、および階層決定部92から構成される。
クラスタリング部91は、記録再生制御部52から供給される、画像に付随するデータに基づいて、画像のクラスタリングを行う。 階層決定部92は、クラスタリング部91のクラスタリング結果であるクラスタの階層を決定する。
テンプレート設定部72は、記録再生瀬領部52に、背景テンプレートおよび配置テンプレートをテンプレートDB33から読み出させるための指示を出したり、読み出された背景テンプレートや配置テンプレートを生成されたクラスタに設定したりする。
またコンテンツ作成部54は、背景テンプレートおよび配置テンプレートが設定されたアルバムを、記録再生制御部52を介して記録再生部18のコンテンツDB34に記録させる。
このような構成を有する画像処理装置1の動作について説明する。以下の説明においては、アルバムを作成するときの画像処理装置1の動作を例に挙げて説明する。
[アルバム(コンテンツ)の作成について]
図3のフローチャートを参照し、アルバムの作成に係わる処理の概略について説明を加え、その後、各ステップの処理の詳細を、他の図面を参照して説明する。
ステップS11において、画像データが読み出される。記録再生制御部52は、静止画像DB31から画像データを読み出す。このステップS11においては、画像データ本体ではなく、ステップS12で行われるクラスタリングの処理で必要とされる画像データに付随するデータが読み出される。画像データに付随するデータとして読み出されるのは、例えば、EXIF(Exchangeable Image File Format)タグである。
画像データが読み出されるタイミング、すなわちこの場合、アルバムが作成されるタイミングとしては、以下のようなタイミングがある。
タイミング1として、ユーザの指示があったときである。ユーザは、アルバムを作成したいときに、アルバム作成の指示を、操作部19を操作して出す。ユーザが指示を出す場合であっても、例えば、ユーザがアルバムの作成を指示したタイミングで作成されるようにしても良いし、ユーザがアルバムの再生を指示したときに、アルバムが作成され、再生されるようにしても良い。
タイミング2として、静止画像を管理するフォルダが新たに作成されたときである。フォルダが作成されたときには、そのフォルダで管理される画像に対して、アルバムが作成される。
タイミング3として、既に作成されているフォルダに、新たな画像が追加されたときである。新たな画像が、既存のフォルダに追加された場合、その新たな画像を含めたアルバムが作成される。換言すれば、新たな画像を含めたアルバムに再編集される。
タイミング1乃至3は、タイミングの一例であり、限定を示すものではない。よって、タイミング1乃至3以外のタイミングで、アルバムの作成(ステップS11の処理)が開始されるようにしても良い。また、1つのタイミングに限定されるわけではなく、タイミング1乃至タイミング3および他のタイミングを、組み合わせて用いることも可能である。
ステップS11において、画像データに付随し、クラスタリングの処理に必要とされる情報が読み出されると、ステップS12において、クラスタリングの処理が開始される。クラスタリングの処理についての詳細は後述する。クラスタリングの処理が実行されることにより、複数の画像が、複数のグループに分けられる。また1つのグループに注目したとき、その注目したグループ内の画像には、何らかの関連性があるように、クラスタリングが行われる。何らかの関連性とは、以下に説明するように、ここでは、時間的な関連性である。
ステップS12において、クラスタリングが行われると、その処理結果に基づき、ステップS13において背景テンプレートが読み出される。また、ステップS14において、配置テンプレートが読み出される。
ここで、背景テンプレートと配置テンプレートについて説明を加える。
図4は、背景テンプレートの構成の例を示す図である。図4に示される111−1乃至111−3の背景テンプレートは、それぞれ異なる絵を有し、付随する情報を有する。以下の説明において、背景テンプレート111−1乃至111−3を個々に区別する必要がない場合、単に、背景テンプレート111と記述する。後述する配置テンプレートも同様の記載を行う。
例えば、背景テンプレート111−1乃至111−3は、それぞれ付随する情報として、日時に関する情報を有し、画像がその撮影日時によりクラスタリングされる場合、クラスタリングされた画像の日時の情報と、背景テンプレート111−1乃至111−3に付随する日時の情報とが一致する背景テンプレート111が、テンプレート設定部72により選択され、設定される。
例えば、背景テンプレート111−1が、“1月1日”という日時情報を有し、所定の画像の撮影日時が1月1日付近である場合、その画像には、背景テンプレート111−1が設定される。
また、背景テンプレート111が、イベントに関する情報を有し、画像がイベントによりクラスタリングされる場合(例えば、ユーザにより付与されたイベント名(タイトル)に基づきクラスタリングされる場合)、クラスタリングされた画像のイベントの情報と、背景テンプレート111に付随するイベントの情報とが一致する背景テンプレートが、テンプレート設定部72により設定される。
例えば、背景テンプレート111−1が、“正月”というイベント情報を有し、所定の画像に示すイベント名として正月と付けられていたような場合、その画像には、背景テンプレート111−1が設定される。
背景テンプレート111は、図4に示した背景テンプレート111−1乃至111−3に限定されるわけではなく、3枚以上の背景テンプレートが、テンプレートDB33に記憶されており、適宜、テンプレート設定部72により設定される。また、図4に示した、例えば、背景テンプレート111−1のように、絵が描いてあるような背景テンプレート111だけでなく、例えば、白一色の背景テンプレート111なども、背景テンプレート111としてテンプレートDB33に記憶され、テンプレート設定部72による設定の対象とされる。
図5乃至図9は、テンプレートDB33に記憶されている配置テンプレートの例を示す図である。各配置テンプレートは、所定の枚数の画像を配置するときに用いられるテンプレートであり、配置される画像の枚数毎に、複数のテンプレートが用意されている。ここでは、所定の枚数の画像、例えば、1枚の画像を配置するための複数のテンプレートをまとめて表記するときは、配置テンプレート群と記述する。
図5乃至図9にそれぞれ示す配置テンプレート群に含まれる、配置テンプレート131−1乃至131−3、配置テンプレート132−1乃至132−3、配置テンプレート133−1乃至133−3、配置テンプレート134−1乃至134−3、配置テンプレート135−1乃至135−3は、それぞれ付随する情報を有する。付随する情報は、例えば、背景テンプレート111と同じように、日時やイベントに関する情報である。
図5に示した配置テンプレート131−1乃至131−3という3枚のテンプレートを含む配置テンプレート群は、1ページに1枚の画像が配置されるときの配置テンプレート131である。配置テンプレート131−1乃至131−3は、1枚の画像が配置されるという点で共通であるが、ページ内において、その1枚の画像が配置される位置や大きさはそれぞれ異なるように設定されているテンプレートである。
図6に示した配置テンプレート132−1乃至132−3という3枚のテンプレートを含む配置テンプレート群は、1ページに2枚の画像が配置されるときの配置テンプレート132である。配置テンプレート132−1乃至132−3は、2枚の画像が配置されるという点で共通であるが、ページ内において、それらの2枚の画像がそれぞれ配置される位置やそれぞれの大きさは異なるように設定されているテンプレートである。
図7に示した配置テンプレート133−1乃至133−3という3枚のテンプレートを含む配置テンプレート群は、1ページに3枚の画像が配置されるときの配置テンプレート133である。配置テンプレート133−1乃至133−3は、3枚の画像が配置されるという点で共通であるが、ページ内において、それらの3枚の画像がそれぞれ配置される位置やそれぞれの大きさは異なるように設定されているテンプレートである。
図8に示した配置テンプレート134−1乃至134−3という3枚のテンプレートを含む配置テンプレート群は、1ページに4枚の画像が配置されるときの配置テンプレート134である。配置テンプレート134−1乃至134−3は、4枚の画像が配置されるという点で共通であるが、ページ内において、それらの4枚の画像がそれぞれ配置される位置やそれぞれの大きさは異なるように設定されているテンプレートである。
図9に示した配置テンプレート135−1乃至135−3という3枚のテンプレートを含む配置テンプレート群は、1ページに5枚の画像が配置されるときの配置テンプレート135である。配置テンプレート135−1乃至135−3は、5枚の画像が配置されるという点で共通であるが、ページ内において、それらの5枚の画像がそれぞれ配置される位置やそれぞれの大きさは異なるように設定されているテンプレートである。
各配置テンプレート131乃至135において、各画像が表示される位置と領域(大きさ)は、固定されている。例えば、配置テンプレート131―1には、1枚の画像が表示されるが、その画像が表示される位置と大きさは固定されており、仮に、表示される大きさよりも大きなサイズの画像が、配置テンプレート131−1に配置されるとしても、その画像が表示される領域の大きさが変更されることはない。よって、大きなサイズの画像が、配置テンプレートに貼り付けられる場合、その画像の一部が切り出され、配置テンプレートに貼り付けられ、表示される。
図5乃至図9に示した配置テンプレート131乃至135は、一例であり、限定を示すものではない。また、ここでは、最大で5枚の画像が1ページに表示される場合まで例示したが、5枚以上の画像が1ページに表示される配置テンプレートを、テンプレートDB33に記憶させ、用いるようにしても勿論良い。しかしながら、1ページに表示される画像を多くすると、1枚あたりの表示領域が小さくなり、そのために画像が見づらくなる可能性があるので、あまり多くの画像を1ページに配置するような配置テンプレートを用意するのは好ましくない。
テンプレート設定部72は、テンプレートDB33に記憶されている図5乃至図9に示した配置テンプレート131乃至135のうち、適切な配置テンプレートを設定する。適切な配置テンプレートを設定するための処理については後述するが、クラスタリングの結果が用いられて行われる。
図3のフローチャートの説明に戻り、ステップS13において、背景テンプレートが設定され、ステップS14において、配置テンプレートが設定されると、ステップS15において、画像の貼り付け処理が行われる。ステップS15において実行される画像の貼り付け処理についての詳細な説明は後述するが、設定されている配置テンプレートに、画像を貼り付け、背景テンプレートと合成する処理である。
このようにして、アルバム内の所定の1枚のページが作成される。ステップS11,S12の処理により、所定の1つのフォルダに対して行われ、その結果、1つのフォルダ内の複数の静止画像が、複数のクラスタに分類される。そして、1つのクラスタに対して、ステップS13乃至S15の処理が実行されることにより、アルバム内の1ページが作成される。
作成されたアルバム内の1ページの例を、図10に示す。図10の例において、ページ151には、背景テンプレート111−1と配置テンプレート135−1が設定されている。背景テンプレート111−1は、例えば、ページ151に配置されている5枚の画像のクラスタ情報と同じクラスタ情報を有する。また、配置テンプレート135−1によって、例えば、5枚の画像の配置が決定される。また、ページ151には、「○△□×2005」のコメントが表示されている。このようにユーザが、操作部19を操作することによって、ページ151の任意の位置に、任意のコメントを設定することができるようにしても良い。
このように、アルバム内の所定の1ページは、設定された背景テンプレートの上に、設定された配置テンプレートに基づき画像が貼り付けられたような画像とされる。
また、配置テンプレートに配置される画像、換言すれば、アルバム内の所定の1ページに表示される画像は、静止画像であるが、その静止画像は、静止画像DB31に記憶されている静止画像だけでなく、動画像DB32に記憶されている動画像から抽出された静止画像が含まれるようにしても良い。
例えば、動画像DB32に記憶されている動画像のインデックスなどを作成するときに、ユーザに動画像の内容を示す画像として提供され、動画像の1シーンを示す静止画像が、アルバム内のページに表示されるようにしても良い。そのような静止画像は、サムネイル画像などと称されることがある。また、サムネイル画像は、1つの動画像から複数枚作成されることがあり、それらの複数枚のサムネイル画像の全てが、アルバムを構成するページ内に表示されるようにしても良いし、選択された1枚のサムネイル画像のみが表示されるようにしても良い。
動画像から抽出された静止画像が表示されたときの、ページの画面例を図11に示す。図11において、ページ151’に表示されている3枚の静止画像のうち、静止画像161が、動画像から抽出された静止画像(サムネイル画像)である。この静止画像161は、動画像から抽出された静止画像であることをユーザに認識させるための表示として、“Video”というマーク162が、静止画像161の近傍に表示される。
このように、マーク162が表示されている静止画像161が、ユーザにより選択されると、その静止画像161の元の動画像の再生が開始される。ユーザにより選択されるとは、例えば、図示していないカーソルが、静止画像161上に位置しているときに、マウス(同じく不図示)がダブルクリックされるなど、所定の操作が行われることを意味する。
また、ページ151’に表示されている静止画像171または静止画像172が選択された場合、その選択された静止画像171(静止画像172)が、拡大表示される。
図3のフローチャートの説明に戻り、ステップS16において、全てのクラスタに対して処理が終了したか否かが判断される。ステップS16の処理を換言するならば、アルバム内の全てのページが作成されたか否かが判断される処理である。
ステップS16において、全てのクラスタに対して処理は終了していないと判断された場合、ステップS13に処理が戻され、それ以降の処理が実行される。すなわち、次のページの作成が行われる。
一方、ステップS16において、全てのクラスタに対して処理が終了したと判断された場合、ステップS17に処理が進められる。ステップS17に処理が来るのは、アルバム内の全てのページの作成が終了された場合であり、換言すれば、アルバムが完成した場合である。よって、ステップS17においては、作成されたアルバムが、コンテンツDB34に記憶(保存)される。
このようにして、アルバムが作成される。図12に、作成されたアルバムの構成の一例を示す。
図12に示した例において、アルバム181は、ページ151乃至155の5ページで構成されている。アルバム181のページ151乃至155に配置されている画像は、同じフォルダ内に記憶されている画像である。ページ151乃至155には、それぞれ配置テンプレートによって決定される所定の数の画像が配置されている。
次に、図3のフローチャートを参照して説明した各ステップの処理について、詳細な説明をする。
[クラスタリングの処理について]
まず、ステップS12において実行されるクラスタリングの処理について説明する。
本実施の形態において行われるクラスタリングの概念についてまず説明する。なお、以下に説明するクラスタリングの手法は、一例であり、本発明が、以下に説明するクラスタリングの手法のみに適用されることを意味するものではない。
図13は、画像のグループ(クラスタ)の例を示す図である。図13において、横軸は時間軸を示す。
図13は、時刻t1乃至t12のそれぞれのタイミングにおいて撮影された画像p1乃至p12がクラスタリングの対象とされている場合の例を示している。例えば、静止画像DB31に記録されている静止画像と、動画像DB32に記録されている動画像から抽出された静止画像が、クラスタリングの対象とされる。図13の1つの四角形は1枚の画像を表す。
画像処理装置1においては、それぞれの画像の撮影時刻の時間間隔が求められ、時間間隔の分布が、ある条件を満たす連続した画像から1つのクラスタが構成される。撮影されたそれぞれの画像には、EXIF(Exchangeable Image File Format)タグが属性情報として付加されており、このEXIFタグに含まれる撮影時刻の情報がクラスタリングに用いられる。
図13の例においては、クラスタを規定する条件として条件Aと条件Bが設定され、そのうちの条件Aにより、画像p1乃至p12全体からなる1つのクラスタが規定されている。条件Aにより規定されたクラスタにはイベント名「結婚式」が設定されている。
クラスタリングの詳細については後述するが、「結婚式」のイベント名が設定されているクラスタは、例えば、画像p1乃至p12のそれぞれの画像の撮影時刻の時間間隔のばらつきの程度が、ある閾値より小さいことなどから規定されたものである。
また、図13の例においては、条件Bにより、画像p1乃至p12のうちの画像p1乃至p3から1つのクラスタが規定され、画像p4乃至p7から1つのクラスタが規定されている。また、画像p8乃至p12から1つのクラスタが規定されている。
画像p1乃至p3からなるクラスタには「教会での挙式」、画像p4乃至p7からなるクラスタには「披露宴」、画像p8乃至p12からなるクラスタには「二次会」のイベント名がそれぞれ設定されている。
「教会での挙式」のイベント名が設定されているクラスタは、それを構成する画像p1乃至p3のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像p3と、次に(時間軸上で次に)撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりである画像p4乃至p7のうちの最初の画像である画像p4との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定されたものである。
また、「披露宴」のイベント名が設定されているクラスタは、それを構成する画像p4乃至p7のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像p7と、次に撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりである画像p8乃至p12のうちの最初の画像である画像p8との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定されたものである。
「二次会」のイベント名が設定されているクラスタは、それを構成する画像p8乃至p12のそれぞれの撮影時刻の時間間隔のばらつきの程度が近いものであるのに対し、画像p12と、次に撮影時刻の時間間隔のばらつきの程度が近い画像のまとまりのうちの最初の画像との時間間隔が比較的大きく、その部分で、撮影の頻度に変化があったと判断されたことから規定されたものである。
なお、「結婚式」、「教会での挙式」、「披露宴」、「二次会」のそれぞれのイベント名は、例えば、ユーザにより手動で設定されたものである。
このように、画像処理装置1においては、同じ対象の画像をクラスタリングする条件として複数の条件が設定され、それぞれの条件に基づいて、異なる粒度のクラスタが規定される。図13の例においては、条件Aは粒度の低い(粗い)クラスタを規定する条件であり、条件Bは条件Aより粒度の高い(細かい)クラスタを規定する条件である。
以上のようにして規定されたそれぞれのクラスタに含まれる画像は仮想的に1つのフォルダによりまとめて管理され、階層構造を有する形でユーザに提示される。
図14は、階層構造の例を示す図である。
図14の例においては、「私の思い出」の名前が設定されたフォルダの下位の階層のフォルダとして、条件Aにより規定される「結婚式」のイベント名が設定されたクラスタを表すフォルダと、「北海道旅行」のイベント名が設定されたクラスタを表すフォルダが示されている。
また、「結婚式」のイベント名が設定されたクラスタを表すフォルダの下位の階層のフォルダとして、条件Bにより規定される「教会での挙式」、「披露宴」、「二次会」のそれぞれのイベント名が設定されたクラスタを表すフォルダが示されている。
さらに、「北海道旅行」のイベント名が設定されたクラスタを表すフォルダの下位の階層のフォルダとして、条件Bにより規定される「釧路湿原」、「札幌すすきの」、「稚内カニ」、「富良野」、「網走監獄」のそれぞれのイベント名が設定されたクラスタを表すフォルダが示されている。これらのフォルダにより表されるクラスタも、それぞれのクラスタを構成する画像の撮影時刻の時間間隔の分布により規定されたものである。
このように、画像処理装置1においては、イベント毎にフォルダが作成され、作成されたフォルダにはそれぞれのイベントのときに撮影された画像が含められるから、ユーザは、階層構造を有するフォルダの中から所定のフォルダを選択することによって、イベ ント単位で画像を閲覧したり、整理したりすることができる。
例えば、ユーザは、撮影して得られた画像を、図15の上方に示されるように単に時系列順に閲覧するのではなく、白抜き矢印の先に示されるように、フォルダf11,f12,f122,f211,f212,f22のそれぞれに含まれる画像の順序で、すなわち、好みの粒度のフォルダを選択して、好みの順序で、画像を閲覧することができる。
図15の1つの楕円は1つのフォルダを表す。図15において、撮影して得られた画像全体がフォルダf1に含まれる画像とフォルダf2に含まれる画像に分けられ、このうちのフォルダf1に含まれる画像は、さらにフォルダf11に含まれる画像とフォルダf12に含まれる画像に分けられる。フォルダf11に含まれる画像は、フォルダf111に含まれる画像とフォルダf112に含まれる画像に分けられ、フォルダf12に含まれる画像は、フォルダf121に含まれる画像とフォルダf122に含まれる画像に分けられる。同様に、フォルダf2に含まれる画像も下位の階層のフォルダに含まれる画像に分けられる。
図16は、画像処理装置1内で、クラスタリングの処理を実行する部分を図1または図2に示した画像処理装置1の構成から抽出するとともに、クラスタリングの処理を実行するうえで必要とされる部分を追加した図である。
図16に示したクラスタリングの処理を実行する部分は、静止画像DB31、動画像DB32、演算部71(クラスタリング部91、階層決定部92)、タグ読み取り部201、条件設定部202、および、イベント名設定部203を含む構成されている。
静止画像DB31には、撮影時刻、撮影日などの情報を含むEXIFタグが、撮影された画像と対応付けられて記録されている。
タグ読み取り部201は、画像のクラスタリングを行うとき、静止画像DB31に記録されているEXIFタグから、クラスタリングの対象とするそれぞれの画像の撮影時刻を読み出し、読み出した撮影時刻を演算部71に出力する。また、タグ読み取り部201は、後述するように、ユーザからの指示があった場合など、動画像DB33に記録されている動画像の撮影時刻に関する情報を読み出し、読み出した撮影時刻を演算部71に出力する。
画像のクラスタリングは、1枚の画像の撮影が行われる毎に行われるようにしてもよいし、ユーザによりクラスタリングを行うことが指示されたときなどの所定のタイミングで行われるようにしてもよい。本実施の形態においては、アルバムが作成されるタイミングで行われるとする(ステップS12の処理として行われるとする)。
演算部71はクラスタリング部91と階層決定部92から構成される。クラスタリング部91は、コンテンツDB34に記録されているクラスタデータを取得し、取得したクラスタデータと、タグ読み取り部201から供給された撮影時刻に基づいて画像のクラスタリング を行う。例えば、過去にクラスタリングが行われた画像も含めて、画像全体が二分木構造を有する形で管理されるクラスタリング結果がクラスタリング部91により取得される。
コンテンツDB34に記録されているクラスタデータには、それまでに求められた、それぞれの画像がどのクラスタに属するのかを表す情報や、画像全体の二分木構造を表す情報が含まれる。
階層決定部92は、クラスタリング部91により取得されたクラスタリング結果である二分木構造を表す情報に基づいて、条件設定部202により設定された条件にあうクラスタを決定する。例えば、それぞれのクラスタがどの画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが階層決定部92により取得され、画像全体の二分木構造を表すとともに、最終的なクラスタリングの結果を表すクラスタデータとしてコンテンツDB34に記録される。
条件設定部202は、クラスタを規定する条件であるグループ化条件を設定し、階層決定部92に出力する。グループ化条件は、あらかじめ用意される複数の条件の中からユーザにより選択されることによって設定されるようにしてもよいし、複数のクラスタを1つのクラスタに結合したり、1つのクラスタを複数のクラスタに分割したりするなどの、ユーザにより行われたクラスタの編集の履歴が管理されている場合、ユーザが好むと考えられるクラスタの粒度が編集の履歴を用いて学習により求められ、そのような粒度のクラスタを得ることができるような条件が動的に設定されるようにしてもよい。
コンテンツDB34は、階層決定部92から供給されたクラスタデータを、静止画像DB31に記録されている画像データと対応付けて記録する。クラスタリング結果により表されるそれぞれのクラスタには、イベント名設定部203から供給されたイベント名も対応付けて記録される。このように、画像処理装置1においては、画像データ本体とクラスタデータは別々に管理されるようになされている。
イベント名設定部203は、ユーザにより設定されたイベント名をコンテンツDB34に出力し、クラスタと対応付けて記録させる。また、イベント名設定部203は、ユーザによりイベント名が設定されない場合、コンテンツDB34に記録されているクラスタデータを用いてそれぞれのクラスタに属する画像を識別し、識別した画像の撮影日や撮影時間帯(午前、午後など)を含むイベント名をクラスタと対応付けて記録させる。
ここで、演算部71により行われる処理の詳細について説明する。
例えば、100枚の画像p1乃至p100をクラスタリングの対象として、それらの画像をイベントクラスタA(グループ化条件Aを満たす画像のクラスタ)と、サブイベントクラスタB(グループ化条件Bを満たす画像のクラスタ)に分ける処理について説明する 。
はじめに、図17乃至図25を参照して、クラスタリング部91により行われる二分木構造の作成について説明する。
図17乃至図25において、「p」の文字と数字がその中に書かれている1つの円は1枚の画像を表し、「n」の文字と数字がその中に書かれている1つの円は1つのノードを表す。また、図の右方は、左方より時間的に後の方向であるものとする。なお、ここでは、画像p1乃至p100を、撮影時刻順(画像p1が一番古く、画像p100が一番新しいデータ)にクラスタリングの対象とする場合について説明する。画像p1とp2をクラスタリングの対象とした後(二分木構造に組み込んだ後)で、画像p1よりも新しく、画像p2より古い画像p3を新たにクラスタリングの対象とするように、撮影時刻順にではなく、それぞれの画像を対象として行われるクラスタリングについては後述する。
クラスタリングがまだ行われていない状態で、最初の撮影により得られた画像p1がツリーに挿入されたとき(クラスタリングの対象とされたとき)、初期の状態ではツリーのルートとなるノードが存在しないから、図17に示されるように、画像p1自身がルートノードとなる。
画像p1に続けて撮影された画像p2がツリーに挿入されたとき、図18に示されるように、ノードn1が新たに作られ、画像p2の撮影時刻は画像p1の撮影時刻より後であるから、ノードn1には、画像p1が左の子ノードとして連結され、画像p2が右の子ノードとして連結される。ノードn1は画像p1に代えてルートノードとなる。
ノードn1の最小時刻として画像p1の撮影時刻が記録され、最大時刻として画像p2の撮影時刻が記録される。ノードの時刻として、そのノードを親のノードとする2つの子ノードの撮影時刻の平均値(中間の時刻)が記録されるようにしてもよい。
画像p2に続けて撮影された画像p3がツリーに挿入され、図19に示されるように、画像p3の撮影時刻と画像p2の撮影時刻の時間間隔tdp2p3が、画像p2の撮影時刻と画像p1の撮影時刻の時間間隔tdp1p2より小さいとき、図20に示されるように、ノードn2が新たに作られ、ノードn2には、その左の子ノードとして画像p2が連結され、右の子ノードとして画像p3が連結される。また、ノードn2が、画像p2の代わりに右の子ノードとしてノードn1に連結される。
ノードn2の最小時刻として画像p2の撮影時刻が記録され、最大時刻として画像p3の撮影時刻が記録される。また、このとき、ノードn2の親のノードであるノードn1の最大時刻が画像p3の撮影時刻で上書きされる。
画像p3に続けて撮影された画像p4がツリーに挿入され、図21に示されるように、画像p4の撮影時刻と画像p3の撮影時刻の時間間隔tdp3p4が、画像p3の撮影時刻と画像p2の撮影時刻の時間間隔tdp2p3より大きく、かつ、画像p4の撮影時刻とノードn2の最大時刻の時間間隔tdn2maxp4が、ノードn2の最小時刻と画像p1の撮影時刻の時間間隔tdp1n2minより大きいとき、図22に示されるように、ノードn3が新たにルートノードとして作られる。また、ノードn3には、その左の子ノードとしてノードn1が連結され、右の子ノードとして画像p4が連結される。
ノードn3の最小時刻としてノードn1の最小時刻が記録され、最大時刻として画像p4の撮影時刻が記録される。
画像p4に続けて撮影された画像p5がツリーに挿入され、図23に示されるように、画像p5の撮影時刻と画像p4の撮影時刻の時間間隔tdp4p5より、画像p4の撮影時刻とノードn1の最大時刻の時間間隔tdn1maxp4の方が大きいとき、図24に示されるように、ノードn4が新たに作られる。また、ノードn4には、その左の子ノードとして画像p4が連結され、右の子ノードとして画像p5が連結される。さらに、ノードn4が、画像p4の代わりに右の子ノードとしてノードn3に連結される。
ノードn4の最小時刻として画像p4の撮影時刻が記録され、最大時刻として画像p5の撮影時刻が記録される。また、このとき、ノードn4の親のノードであるノードn3の最大時刻が画像p5の撮影時刻で上書きされる。
この時点で、画像p1乃至p5の5枚の画像を含むノードn1乃至n4から二分木構造が形成された状態になる。
それぞれのノードに含まれる画像は、それぞれのノードに直接に、または他のノードを介して間接的に連結される画像であるから、図24に示されるようなツリーが作成されているとき、ノードn3に含まれる画像は画像p1乃至p5の5枚の画像となり、ノードn1に含まれる画像は画像p1乃至p3の3枚の画像となる。また、ノードn2に含まれる画像は画像p2およびp3の2枚の画像となり、ノードn4に含まれる画像は画像p4およびp5の2枚の画像となる。
このように、画像が新たに挿入される毎に、撮影時刻の時間間隔のより小さい画像同士、または、撮影時刻と設定された時刻の時間間隔のより小さい画像とノードが、同じノードにぶらさがるように連結されていく。
撮影が繰り返し行われ、画像p6乃至p100がツリーに挿入されたときも同様にして処理が行われ、最終的に、ルートノードnrootに画像p1乃至p100が含まれる、図25に示されるような二分木構造が得られる。
次に、図26乃至図32を参照して、階層決定部92により行われるグループ化条件に基づくクラスタリングについて説明する。
階層決定部92においては、二分木構造内のそれぞれのノードが注目され、ノード内の全ての画像の撮影時刻の時間間隔の標準偏差sdが下式(1)により算出される。
Nは画像の撮影時刻の時間間隔の数であり、「ノードに含まれる画像の数−1」で表される。tdnは、N個の時間間隔のうちの、時間的に先のものから見てn番目の時間間隔である。「 ̄」が付されたtdはノード内の時間間隔tdの平均値である。
また、注目するノードを親のノードとする子ノード間の時間間隔の偏差dev(子ノード間の時間間隔と、撮影時刻の時間間隔の平均との差の絶対値)が下式(2)により算出される。
Nは画像の撮影時刻の時間間隔の数であり、「ノードに含まれる画像の数−1」で表される。tdcは子ノード間の時間間隔である。「 ̄」が付されたtdはノード内の時間間隔tdの平均値である。なお、子ノード間の時間間隔とは、注目するノードを親のノードとする2つの子ノードのうちの時間的に先の子ノードに含まれる時間的に最後の画像の撮影時刻と、時間的に後の子ノードに含まれる時間的に最初の画像の撮影時刻の時間間隔である。具体例については後述する。
さらに、式(2)により算出された偏差devの、式(1)により算出された標準偏差sdに対する比が、分割パラメータthとして、注目するノードに設定される。分割パラメータthは下式(3)で表され、注目するノードを親のノードとする子ノードを、それぞれ異なるクラスタに属するものとして分割するか否かを判断する基準となるパラメータである。
ここで、上式により求められる値について図26を参照して具体的に説明する。
図26は、クラスタリング部91により作成された二分木構造全体のうちの一部の、図24と同じ範囲の構造を示す図である。
図26において、td1は、画像p1の撮影時刻と画像p2の撮影時刻の時間間隔であり、td2は、画像p2の撮影時刻と画像p3の撮影時刻の時間間隔である。また、td3は、画像p3の撮影時刻と画像p4の撮影時刻の時間間隔であり、td4は、画像p4の撮影時刻と画像p5の撮影時刻の時間間隔である。
例えば、図26のうちのルートノードに最も近いノードであるノードn3が注目されている場合、はじめに、式(1)にそれぞれの値が代入され、標準偏差sdは下式(4)で表される。また、撮影時刻の時間間隔の平均値は下式(5)で表される。
偏差devは下式(6)で表される。
すなわち、注目するノードn3を親のノードとする2つの子ノードはノードn1とn4であり、そのうちの時間的に先のノードn1に含まれる時間的に最後の画像p3の撮影時刻と、時間的に後のノードn4に含まれる時間的に最初の画像4の撮影時刻の時間間隔td3がノードn1とノードn4の時間間隔であり、それが、ノードn3に注目したときの偏差devの算出に用いられる。
式(4)により算出された標準偏差sdと、式(6)により算出された偏差devから、ノードn3に注目したときの分割パラメータthが算出され、ノードn3に設定される。
以上のようにして全てのノードに対する分割パラメータの設定が終了したとき、階層決定部92においては、次に、グループ化条件としての閾値が設定される。
例えば、グループ化条件Aとして閾値aが設定され、グループ化条件Bとして閾値bが設定された場合、「a=3.0」、「b=2.6」などのように、「a>b」の条件を満たすときには、図27に示されるように、「グループ化条件Aにより規定されるクラスタ>グループ化条件Bにより規定されるクラスタ」となる(グループ化条件Aにより規定されるクラスタの中に、グループ化条件Bにより規定されるクラスタがいくつかできることになる)。
図27の例においては、対象となる画像全体が、グループ化条件Aによりグループg1とg2の2つのクラスタに分けられ、グループ化条件Bによりグループg3乃至g7の5つのクラスタに分けられている。
すなわち、後述するように、設定されている分割パラメータの値が閾値より大きい場合に、その分割パラメータが設定されているノードの部分がクラスタの境界部分となるから、閾値が大きいほど、そのノードの部分はクラスタの境界部分となりにくく、従って、全体として見たときにクラスタの粒度は粗くなる。反対に、閾値が小さいほど、そのノードの部分はクラスタの境界部分となりやすく、従って、全体として見たときにクラスタの粒度は細かくなる。
なお、ある画像の撮影時刻と、次に撮影された画像の撮影時刻の時間間隔が30分以上ある場合(時間間隔td>30min)や1日以上ある場合(時間間隔td>1day)、その時間間隔のある部分がクラスタの境界部分となるようなグループ化条件、いわば、1つのクラスタに含まれる画像の撮影時刻の時間間隔の上限を規定するようなグループ化条件が設定されるようにしてもよい。これにより、撮影時刻の時間間隔が30分、あるいは1日以上ある画像同士はそれぞれ異なるクラスタに含まれる画像となる。
グループ化条件としての閾値が設定された後、階層決定部92においては、次に、設定された閾値と、上述したようにしてそれぞれのノードに設定された分割パラメータthに基づいてそれぞれのノードに分割フラグが設定される。
例えば、分割パラメータthが、グループ化条件Aとして設定された閾値aを越えるノードには1の値のグループA分割フラグが設定され、閾値aを越えないノードには0の値のグループA分割フラグが設定される。
分割フラグとして1の値が設定されていることは、その分割フラグが設定されているノ ードを親のノードとする子ノード間の時間間隔が、注目しているノード内全体の画像の撮影時刻の時間間隔より比較的大きいことを表す。反対に、分割フラグとして0の値が設定されていることは、その分割フラグが設定されているノードを親のノードとする子ノード間の時間間隔が、注目しているノード内全体の画像の撮影時刻の時間間隔とあまり変わらないことを表す。
グループA分割フラグの値の設定が終了したとき、二分木構造内のノードが昇順で(葉から根の方向に順に)注目され、子ノードの時間間隔がノード内全体の画像の撮影時刻の時間間隔より比較的大きいノード、すなわち、グループA分割フラグとして1の値が設定されているノードを境界として画像が区切られ、グループ化条件Aによりクラスタが規定される。
図28はグループA分割フラグの設定の例を示す図である。
図28の例においては、ルートノードに最も近いノードであるノードn10には、ノードn11とn12がそれぞれ左右の子ノードとして連結され、ノードn11には、ノードn13とn14がそれぞれ左右の子ノードとして連結される。また、ノードn12には、ノードn15とn16がそれぞれ左右の子ノードとして連結され、ノードn14には、ノードn17とn18がそれぞれ左右の子ノードとして連結される。
また、図28の例においては、これらのノードのうちのノードn10,n11,n12,n14のそれぞれにグループA分割フラグとして1の値が設定されており、それらのノードの部分を境界として、太線で示されるようにクラスタが分けられる。
なお、図28の右方に示されるように、ノードn13は画像p1乃至p17を含むノードであり、ノードn17は画像p18乃至p30を含むノードである。また、ノードn18は画像p31乃至p68を含むノードであり、ノードn15は画像p69乃至p93を含むノードである。ノードn16は画像p94乃至p100を含むノードである。
従って、グループA分割フラグの値として1が設定されているノードの部分を境界としてクラスタが分けられた場合、いまクラスタリングの対象とされている画像p1乃至p100は、図29に示されるようなそれぞれのクラスタ(イベントクラスタA)に分けられる。
すなわち、ノードn13に含まれる画像p1乃至p17からクラスタA1が構成され、ノードn17に含まれる画像p18乃至p30からクラスタA2が構成される。
また、ノードn18に含まれる画像p31乃至p68からクラスタA3が構成され、ノードn15に含まれる画像p69乃至p93からクラスタA4が構成される。さらに、ノードn16に含まれる画像p94乃至p100からクラスタA5が構成される。
以上のようにしてグループ化条件Aに基づくクラスタリングが行われ、グループ化条件Aにより規定されるそれぞれのクラスタがどの範囲の画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが、グループ化条件Aに基づくクラスタリング結果として取得される。
グループ化条件Aに基づくクラスタリングが行われたとき、同様にして、グループ化条件Bに基づくグループ分けが行われる。
すなわち、階層決定部92においては、分割パラメータthが、グループ化条件Bとして 設定された閾値bを越えるノードには1の値のグループB分割フラグが設定され、閾値bを越えないノードには0の値のグループB分割フラグが設定される。
グループB分割フラグの値の設定が終了したとき、二分木構造内のノードが昇順で注目され、子ノードの時間間隔がノード内全体の画像の撮影時刻の時間間隔より比較的大きいノード、すなわち、グループB分割フラグとして1の値が設定されているノードを境界として画像が区切られ、グループ化条件Bによりクラスタが規定される。
図30はグループB分割フラグの設定の例を示す図である。
図30の例においては、ルートノードに最も近いノードであるノードn10には、ノードn11が左の子ノードとして連結され、ノードn11には、ノードn13とn14がそれぞれ左右の子ノードとして連結される。また、ノードn14には、ノードn17とn18がそれぞれ左右の子ノードとして連結され、ノードn17には、ノードn19とn20がそれぞれ左右の子ノードとして連結される。さらに、ノードn18には、ノードn21とn22がそれぞれ左右の子ノードとして連結され、ノードn19には、ノードn23とn24がそれぞれ左右の子ノードとして連結される。
また、図30の例においては、これらのノードのうちのノードn10,n11,n14,n17,n18,n19のそれぞれにグループB分割フラグとして1の値が設定されており、それらのノードの部分を境界として、太線で示されるようにクラスタが分けられる。
なお、図30の右側に示されるように、ノードn13は画像p1乃至p17を含むノードであり、ノードn23は画像p18乃至p21を含むノードである。また、ノードn24は画像p22乃至p26を含むノードであり、ノードn20は画像p27乃至p30を含むノードである。ノードn21は画像p31乃至p57を含むノードであり、ノードn22は画像p58乃至p68を含むノードである。
従って、グループB分割フラグの値として1が設定されているノードの部分を境界としてクラスタが分けられた場合、いまクラスタリングの対象とされている画像p1乃至p100のうちの画像p1乃至p68は、図31に示されるようなそれぞれのクラスタ(サブイベントクラスタB)に分けられる。
すなわち、ノードn13に含まれる画像p1乃至p17からクラスタB1が構成され、ノードn23に含まれる画像p18乃至p21からクラスタB2が構成される。
また、ノードn24に含まれる画像p22乃至p26からクラスタB3が構成され、ノードn20に含まれる画像p27乃至p30からクラスタB4が構成される。さらに、ノードn21に含まれる画像p31乃至p57からクラスタB5が構成され、ノードn22に含まれる画像p58乃至p68からクラスタB6が構成される。
以上のようにしてグループ化条件Bに基づくクラスタリングが行われ、グループ化条件Bにより規定されるそれぞれのクラスタがどの範囲の画像を含むのかを表す情報、あるいは、それぞれの画像がどのクラスタに属するのかを表す情報などが、グループ化条件Bに基づくクラスタリング結果として取得される。取得されたクラスタリング結果はコンテンツDB34に出力され、記録される。
図32は、グループ化条件Aに基づくクラスタリング結果(図29)と、グループ化条件Bに基づくクラスタリング結果(図31)を重ねて示す図である。
図32に示されるように、複数のグループ化条件に基づいてグループ化が行われた場合、クラスタリング結果のクラスタは入れ子関係を有する。
図32の例においては、クラスタA1とクラスタB1は同じ範囲の画像を含むクラスタであり、クラスタA2にはクラスタB2乃至B4が含まれる。また、クラスタA3にはクラスタB5とB6が含まれる。
図32に示されるような関係をそれぞれのクラスタが有する場合、例えば、クラスタA2を表すフォルダの下位の階層のフォルダとして、クラスタB2乃至B4を表すフォルダがそれぞれ表示され、クラスタA3を表すフォルダの下位の階層のフォルダとして、クラスタB5とB6を表すフォルダがそれぞれ表示される。
以上のように、演算部71においては、階層的なクラスタリングと、分散に基づくクラスタリング(画像全体の撮影間隔の平均を基準としたクラスタリング)が行われる。これにより、単に撮影間隔の近い画像同士が同じクラスタに含まれるようにクラスタリングが行われるのではなく、時間間隔が揃っている画像同士が同じクラスタに含まれるようにクラスタリングが行われることになる。
従って、撮影間隔の近い画像同士が同じクラスタに含まれるようにクラスタリングを行う場合に較べて、ユーザ個人の主観に沿った形でクラスタリングを行うことが可能となる。
ユーザが欲しいイベントの単位を見分け、そのイベント単位でクラスタを作成するためには、撮影間隔そのものではなく、撮影の頻度に注目する必要があり、その頻度が変わった部分をクラスタの境界部分とすることで、得られるクラスタは、よりイベントの単位に近づくことになる。撮影の頻度を知るためには、それまで撮った画像全体(クラスタリングの対象の画像全体)を統計的に分析することが必要となり、そのための手法として、上述したような階層的なクラスタリングと、分散に基づくクラスタリングが採用される。
また、それぞれの画像が階層構造を有する形で管理されていることから、グループ化条件としての閾値を変更することによって、複数のクラスタを1つのクラスタに結合したり、1つのクラスタを複数のクラスタに分割したりするなどの、クラスタの再構成をユーザは容易に行うことができる。上述したように、閾値を高くすることによって、クラスタの粒度を粗くすること、すなわち、複数のクラスタを1つのクラスタに結合することができ、反対に、閾値を低くすることによって、クラスタの粒度を細かくすること、すなわち、1つのクラスタを複数のクラスタに分割することができる。
これにより、例えば、スライドショー再生によって画像を閲覧しているときに、ビデオでいうチャプタージャンプと同様に、イベント単位(イベントクラスタ単位)でジャンプしたり、イベント内をさらにサブイベントに分けてサブイベント単位(サブイベントクラスタ単位)でジャンプしたりすることが可能となる。
さらに、画像全体の撮影間隔の平均を基準としてクラスタリングが行われることにより、撮影スタイルの個人差を考慮することなくグループ化条件を設定することが可能となる。すなわち、ユーザが、あまり頻繁に撮らない撮影スタイルの人であっても、頻繁に撮る撮影スタイルの人であっても、個別のグループ化条件を設定しておく必要がない。
例えば、30分未満の間に撮影された画像を同じクラスタの画像とする場合、先の画像を撮影してから30分以上の間隔が空いてしまうと、先に撮影した画像と次に撮影した画 像はそれぞれ別のクラスタの画像とされることから、ユーザが、頻繁に撮影しない撮影スタイルの人であるときには(30分以上の間隔を空けて撮影するスタイルの人であるときには)、旅行中に撮った画像が1枚ずつ別のクラスタの画像とされてしまったりすることになる。
一方、1日の間に撮影された画像を同じクラスタの画像とするように、クラスタリングの基準となる時間間隔の設定を長くすると、午前と午後で全く違うイベントで撮影を行ったにもかかわらず、撮影した画像が全て同じクラスタの画像とされてしまったりすることになる。画像全体の撮影間隔の平均を基準としてクラスタリングが行われることにより、ユーザ個人の撮影スタイルに応じた形でのクラスタリングが可能となるから、このようなことが回避される。
次に、図33のフローチャートを参照して、クラスタデータを生成する図16に示した画像処理装置1の処理について説明する。即ち、図3のステップS12において実行されるクラスタリングの処理の詳細について説明する。
ステップ11(図3)において、タグ読み取り部201により、静止画像DB31のクラスタリングの対象となっているフォルダ内の静止画像に関連付けられているEXIFタグが読み出される。必要に応じ、動画像DB32に記憶されている動画像の撮影日時に関する情報も読み出される。
ステップS31において、タグ読み取り部201は、撮影された画像のEXIFタグから撮影時刻を取得し、取得した撮影時刻を演算部71に出力する。すなわち、この例は、1枚の画像が撮影される毎にクラスタリングが行われる場合の例を示している。
ステップS32において、演算部71のクラスタリング部91は、タグ読み取り部201から供給された撮影時刻と、コンテンツDB34に記録されているクラスタデータに基づいて、クラスタリングの対象となる画像全体からなる二分木構造を図17乃至図25を参照して説明したようにして作成する。
ステップS33において、階層決定部92は、二分木構造の所定の階層にある1つのノードに注目し、ステップS34に進み、注目するノード内の全ての画像の撮影時刻の時間間隔の標準偏差sdを算出する。
ステップS35において、階層決定部92は、注目するノードを親のノードとする子ノード間の時間間隔の偏差devを算出する。
ステップS36において、階層決定部92は、ステップS35で算出した偏差devの、ステップS34で算出した標準偏差sdに対する比を算出し、算出した比を分割パラメータthとして、いま注目しているノードに記録する。
ステップS37において、階層決定部92は、二分木構造の全てのノードに注目したか否かを判定し、注目していないと判定した場合、ステップS33に戻り、注目するノードを切り替えてそれ以降の処理を繰り返す。
一方、階層決定部92は、ステップS37において、二分木構成の全てのノードに注目したと判定した場合、ステップS38に進み、グループ化条件としての閾値を設定する。同じ画像を対象として異なる粒度のクラスタを求める場合、ここでは、複数のグループ化条件が設定される。
ステップS39において、階層決定部92は、ステップS38で設定したグループ化条件としての閾値と、それぞれのノードに設定された分割パラメータthを比較し、例えば、分割パラメータthが閾値を越えるノードには1の値の分割フラグを設定し、閾値を越えないノードには0の値の分割フラグを設定する。グループ化条件が複数設定されている場合、それぞれのグループ化条件について分割パラメータの設定が行われる。
ステップS40において、階層決定部92は、二分木構造のそれぞれのノードに昇順で注目し、分割フラグに1の値が設定されているノードを境界としてクラスタを分け、それぞれのクラスタの範囲を表すクラスタデータを作成する。
ステップS41において、階層決定部92は、作成したクラスタデータをコンテンツDB34に保存させ、処理を終了させる。
このようにしてクラスタリングが行われる。
このようなクラスタリングは、配置テンプレートとして用意されている配置テンプレートのうち、最大の枚数を配置する配置テンプレートに依存した、最終的な結果が得られるように行われる。すなわち、、この場合、図9に示したような5枚の画像を配置する配置テンプレートが、最大の枚数を配置する配置テンプレートであるので、クラスタリングの結果、1つのグループ内に含まれる画像の枚数が5枚以下になるように、上記したクラスタリングの処理が行われる。
[配置テンプレートの選択、設定に関わる処理について]
次に、クラスタリングの結果に基づき配置テンプレートが選択される際の処理について説明する。すなわち、図3のステップS14において実行される背景テンプレート設定処理の詳細について説明を加える。
背景テンプレートについては、図5乃至図9を参照して説明したように、1乃至5枚の画像が、1ページの中の所定の位置に、所定の大きさで配置される際のテンプレートである。
図34は、ステップS14において実行される背景テンプレート設定処理の詳細について説明するフローチャートである。ステップS61において、テンプレート設定部72(図2)は、クラスタリングされた静止画像の数に応じて、配置テンプレート群を設定する。
クラスタリングの処理が実行されたことにより、例えば、図35に示したようなグループ分けがされたとする。グループ1には、3月1日に撮影された3枚の画像が含まれ、グループ2には、3月2日に撮影された2枚の画像が含まれ、グループ3には、3月3日に撮影された3枚の画像が含まれ、グループ4には、3月3日に撮影された2枚の画像が含まれ、グループ5には、3月4日に撮影された5枚の画像が含まれ、グループ6には、3月4日に撮影された1枚の画像と3月5日に撮影された4枚の画像が含まる。
上記したクラスタリングの手法によれば、例えば、3月3日に撮影された画像は、5枚であるが、グループ3とグループ4に分けられる。このように、同日に撮影された画像群であっても、撮影された時間が離れていると、異なるグループに分けられる。撮影された時間が離れていると、異なる場面(異なるイベント)で撮影された可能性が高く、また、仮に同一のイベントであっても、異なるシーンである可能性が高い。
また、グループ6には、3月4日に撮影された1枚の画像と3月5日に撮影された4枚の画像が含まれる。このように、異なる日付であっても、時間的に一連性があると判断されるようなときには、同一のグループに分類される。撮影時間に一連性があるときには、同じ場面(同じイベント、同じシーン)で撮影された画像である可能性が高い。
同じグループに分類された画像は、同一のページに表示される。同一のページに表示される画像には、関連性、一連性がある方がよい。上記したように、関連性があると思われる画像が、同じグループに分類されるため、同一のページに表示される画像は関連性が高い画像同士となる。
図35に示した例は、所定のフォルダに、3月1日から3月5日までに撮影された画像が管理されている場合であるため、1つのグループに含まれる画像は、比較的短い時間内に撮影された画像とされている。例えば、所定のフォルダに、1ヶ月毎に1枚の写真が撮影され、12枚含まれていたような場合であり、上記したクラスタリングの手法でクラスタリングが行われた場合、そのクラスタリングのときの条件にもよるが、4つのグループが作成され、1つのグループに4枚の画像が含まれるように分類される。すなわち、季節毎に画像が分類される。
このように、1グループに含まれる画像の撮影時刻は、比較的短い時間内である場合もあるし、離れている時間内である場合もある。しかしながら、1グループ内の画像は、何らかの関連性、一連性があるものとされる。
このように、クラスタリングが行われた後の各グループに分類された画像同士は、関連性が高いため、同一のページに表示されるようにする。同一のページに表示させるようにするために、所定の1つのグループ内で管理されている画像の枚数により配置テンプレート群が選択される。
例えば、図35を参照するに、グループ1は、3枚の画像を含むため、グループ1に対して設定される配置テンプレート群は、3枚の画像が配置される配置テンプレート133−1乃至133−3(図7)のうちのいずれか1枚の配置テンプレート133が設定される。
また例えば、グループ5は、5枚の画像を含むため、グループ5に対して設定される配置テンプレート群は、5枚の画像が配置される配置テンプレート135−1乃至135−3(図9)のうちのいずれか1枚の配置テンプレート135が設定される。
このように、処理対象とされているグループに含まれる画像の枚数により、配置テンプレート群が選択され、その配置テンプレート群から、さらに1枚の配置テンプレートが選択され、設定される。
図9を再度参照するに、5枚の画像を配置するための配置テンプレートとして、配置テンプレート135−1乃至135−3という3枚の配置テンプレートが用意されている。処理対象とされるグループ内に、5枚の画像が含まれる場合、これらの配置テンプレート135−1乃至135−3から1枚の配置テンプレートが選択されるが、その選択は、所定の条件により行われる。
例えば、ランダムに選択されることが考えられる。ランダムに選択される場合であっても、同一の配置テンプレートが連続して選択されることがないように制御されると、ユーザにバラエティに富んだアルバムを提供することが可能となる。
また例えば、順番に選択されるようにしても良い。例えば、配置テンプレート135−1が選択された後は、配置テンプレート135−2が選択されるといったように、所定の順序に従って選択されるようにしても良い。
また、以下に説明するように、グループ内の画像同士の撮影時刻に基づいてテンプレートが選択されるようにしても良い。ステップS14(図3)において実行される配置テンプレート設定処理の他の処理について、図36のフローチャートを参照して説明する。
テンプレート設定部72は、ステップS71において、クラスタリングされた静止画像の数と、撮影間隔に応じて配置テンプレートを設定する。
クラスタリングの処理が施されることにより、例えば、図35に示したように、複数のグループに分類され、それぞれのグループ内に1枚以上の画像が含まれる状態とされる。グループ内の画像が撮影された時刻を比較すると、上述したように、一連性のある時間内に撮影されている。
例えば、図35を再度参照するに、グループ1には3枚の画像が含まれるが、その3枚の画像の撮影時刻は、それぞれ、3月1日の“0:10”、“0:12”、および“0:13”である。また、グループ3にも3枚の画像が含まれるが、その3枚の画像の撮影時刻は、それぞれ、3月3日の“3:03”、“3:43”、および“4:03”である。
グループ1に含まれる3枚の画像は、3分間の間に撮影された画像であるが、グループ3に含まれる3枚の画像は、1時間の間に撮影された画像である。このように、1つのグループに含まれる画像の数が同じであっても、最も古い撮影時刻と最も新しい撮影時刻との差分値は異なる。換言すれば、1つのグループに含まれる画像の数が同じであっても、そのグループに含まれる画像が撮影された時間の間隔(撮影間隔)は異なる。そこで、画像同士の撮影間隔に応じて、配置テンプレートが選択されるようにする。
ここでは、画像同士の撮影間隔が短いときには、そのことをユーザに認識させるような(直感的に理解できるような)、画像の配置が行われる配置テンプレートが選択され、画像同士の撮影間隔が長いときには、そのことをユーザに認識させるような(直感的に理解できるような)、画像の配置が行われる配置テンプレートが選択されるようにする。
このような選択に関し、図37、図38を参照し、具体的な例を挙げて説明する。図37は、3枚の画像が配置されるときの配置テンプレートを示し、図38は、5枚の画像が配置されるときの配置テンプレートを示す。なお、図37に示した3枚の画像用の配置テンプレートは、図7に示した3枚の画像用の背景テンプレート133と異なる例を示し、図38に示した5枚の画像用の配置テンプレートは、図9に示した5枚の画像用の背景テンプレート135と異なる例を示している。
図37に示した配置テンプレート231は、配置テンプレート232よりも撮影間隔が短いときに設定される配置テンプレートであり、配置テンプレート232は、配置テンプレート233よりも撮影間隔が短いときに設定される配置テンプレートである。
すなわちこの場合、配置テンプレート231が最も撮影間隔が短いと判断されるときに設定される配置テンプレートである。図37に示したように、配置テンプレート231は、撮影間隔が短いことを表現するために、それぞれの画像が重なるような形で画像が配置されるようにされている。このように、画像自体を近くに配置することで、撮影間隔が短いことをユーザに認識させるような表示とすることが可能となる。
一方この場合、配置テンプレート233が最も撮影間隔が長いと判断されるときに設定される配置テンプレートであるが、図37に示したように、撮影間隔が長いことを表現するために、各画像が重なることなく、離れた位置に、かつ、直線上に並ぶことがないような形で画像が配置されるようにされている。このように、画像自体を離して配置することで、撮影間隔が長いことをユーザに認識させるような表示とすることが可能となる。
図38に示した5枚の画像が配置される配置テンプレート234,235,236も同様である。すなわちこの場合、配置テンプレート234が最も撮影間隔が短いと判断されるときに設定される配置テンプレートであり、配置テンプレート236が最も撮影間隔が長いと判断されるときに設定される配置テンプレートである。
図38に示したように、配置テンプレート234は、配置テンプレート231(図37)と同じように、撮影間隔が短いことを表現するために、5枚の画像が、それぞれ重なりあって配置されるようにするためのテンプレートである。また、配置テンプレート236は、配置テンプレート234(図37)と同じように、撮影間隔が長いことを表現するために、5枚の画像が、それぞれ重なりあうことなく、離れた位置に、かつ、直線状に並ぶことなく配置されるようにするためのテンプレートである。
このように、画像の配置により、画像同士の撮影間隔を表現するようにし、撮影間隔により、配置テンプレートが選択されるようにする。
再度、図37を参照して説明する。図37に示したように、配置テンプレート231,232,233のうちの1枚の配置テンプレートを選択するために、閾値Aと閾値Bが設けられており、撮影間隔が閾値A以下であるときには配置テンプレート231が選択され、撮影間隔が閾値A以上であり閾値B以下であるときには配置テンプレート232が選択され、撮影間隔が閾値B以上であるときには配置テンプレート233が選択される。
このように、撮影時間に関する閾値を設け、その閾値と比較することにより、配置テンプレートが選択される。
同様に、図38に示した5枚の画像を配置するための配置テンプレート234,235,236のうちの1枚の配置テンプレートを選択するために、閾値Cと閾値Dが設けられている。この場合、撮影間隔が閾値C以下であるときには配置テンプレート234が選択され、撮影間隔が閾値C以上であり閾値D以下であるときには配置テンプレート235が選択され、撮影間隔が閾値D以上であるときには配置テンプレート236が選択される。
閾値A、閾値B、閾値C、閾値Dは、それぞれ異なる値とされる。または、同一の値としても良い閾値は、同一の値とされる。
例えば、閾値Aと閾値Cは、共に、撮影間隔が最も短いと判断されるときの配置テンプレート231(234)を選択するか否かの判断を行うときに用いられる閾値であるので、同一の値としても良いし、選択する配置テンプレートが異なるので異なる値としても良い。この閾値は、設計の段階などで、または、ユーザの設定により、適切な配置テンプレートが適切に選択されるような値に設定されればよい。
このように閾値と撮影間隔が比較されることにより、配置テンプレートが設定される。閾値と撮影間隔が比較されるときに用いられる撮影間隔の値は、処理対象とされているグループ内の画像の撮影時刻のうち、最も古い撮影時刻と最も新しい撮影時刻との差分が演算され、その差分値とされる。
または、処理対象とされているグループ内の画像の撮影時刻を、時刻順に並べたときに、隣り合う時刻の差分を演算し、その差分の平均値をさらに演算し、その演算された平均値が撮影間隔の値として用いられるようにしても良い。
または、処理対象とされているグループ内の画像の撮影時刻を、時刻順に並べたときに、隣り合う時刻の差分を演算し、その差分の最も小さい値を撮影間隔の値とするか、最も大きな値を撮影間隔の値として用いられるようにしても良い。
勿論、その他の方法により、閾値と比較される撮影間隔の値が決定されるようにしても良い。
また、1つの閾値に注目したとき、その閾値は、固定値とされていても良いし、可変値とされていても良い。例えば、閾値Aは、固定値とされ、常に、同じ値が設定されているようにしても良い。または閾値Aは、可変値とされ、1つのフォルダ内の画像が処理される毎に設定されるような値としても良い。
閾値を可変値とした場合、例えば、1つのフォルダ内の画像が、例えば、図35に示したように複数のグループに分類された時点で、閾値が設定されるようにしても良い。
閾値を固定とした場合、例えば、1年間に撮影された画像を分類したときには、各グループ内の画像の撮影時刻は比較的長い時間となる可能性が高く、そのために、撮影間隔が長いときに選択される配置テンプレート233や配置テンプレート236が選択される可能性が高くなる。
連続して同じ配置テンプレートが選択されることにより、バラエティに富んだページ構成を行うことができなくなってしまう可能性がある。また、連続して同じ配置テンプレートが選択されることは、複数の配置テンプレートを用意する意味が無くってしまい、上記したような複数の配置テンプレートを用意することにより得られる効果を得られなく名手しまう。
よって、このようなことがないように、閾値を固定値としたような場合であっても、処理対象とされているフォルダ内の画像の撮影間隔に応じて、何らかの処理が加えられるほうが好ましい。
また閾値を可変値とした場合、分類された複数のグループ毎に、最も古い撮影時刻と最も新しい撮影時刻の差分が演算され、そのグループ毎の差分が用いられて、閾値が決定されるようにしても良い。このようにすれば、例えば、図35に示したように、5日間の間に撮影された画像を分類したときと、1年間に撮影された画像を分類したとき(不図示)とでは、異なる閾値が用いられることになり、より的確な配置テンプレートの設定が行えるようになる。
すなわち、換言すれば、閾値を可変値とすることで、処理対象とされている画像群が、短期間に撮影された画像群のときと、長期間に撮影された画像群のときとで、同じような配置テンプレートの設定が行われるようにすることができる。
このように、図36のフローチャートにおけるステップS71の処理は、撮影間隔と閾値が比較されることにより行われる。ステップS71における処理の詳細は、上記したが、再度図39のフローチャートを参照し、簡便に説明を加える。
ステップS91において、処理対象とされているグループで管理されている画像の枚数が把握され、その枚数を配置する配置テンプレート群が選択される。例えば、処理対象とされているグループに、4枚の画像が含まれている場合、配置テンプレート134−1乃至134−3(図8)を含む配置テンプレート群が選択される。
ステップS92において、処理対象とされているグループの撮影間隔が算出される。撮影間隔には、上述したように、差分や平均値などが算出されることにより算出された値が用いられる。
ステップS93において、ステップS91において選択された配置テンプレート群に含まれる複数の配置テンプレートから、1枚の配置テンプレートが選択される。その選択は、上述したように、撮影間隔と閾値が比較されることにより行われる。そして、その選択された配置テンプレートが、処理対象とされているグループに対する配置テンプレートとして設定される。
ステップS93における処理は、上述したように、撮影間隔が設定されている閾値以上であるか否かなどが判断されることにより行われる。また、閾値が可変値とされているときには、例えば、ステップS92とステップS93の間の処理として、閾値を設定する処理が実行される。
このような処理が行われることにより、例えば、図35に示した各グループに対する配置テンプレートは、図40に示したように設定される。図40に示した例は、3枚の画像が配置される配置テンプレート群として、図37に示した配置テンプレート231乃至233が用意され、5枚の画像が配置される配置テンプレート群として、図38に示した配置テンプレート234乃至236が用意されている状態である。なお、2枚の画像が配置される配置テンプレート群の図示および説明は省略する。
図40に示したように、グループ1は、3枚の画像を含むため、図37に示した配置テンプレート群が選択される。そしてグループ1内の画像同士の撮影間隔は、閾値A以下であると判断され、その結果として、配置テンプレート231が設定される。
グループ3は、3枚の画像を含むため、図37に示した配置テンプレート群が選択される。そしてグループ3内の画像同士の撮影間隔は、閾値A以上であり、閾値B以下であると判断され、その結果として、配置テンプレート232が設定される。
グループ5は、5枚の画像を含むため、図38に示した配置テンプレート群が選択される。そしてグループ4内の画像同士の撮影間隔は、閾値C以上であり閾値D以下であると判断され、その結果として、配置テンプレート235が設定される。
グループ6は、5枚の画像を含むため、図38に示した配置テンプレート群が選択される。そしてグループ5内の画像同士の撮影間隔は、閾値C以下であると判断され、その結果として、配置テンプレート234が設定される。
このようにして、配置テンプレートが設定されるため、ユーザに、同一の画像の配置が続くような単調なアルバムが提供されることを防ぐことができ、バラエティに豊かな画像配置のアルバムを提供することが可能となる。
[画像の貼り付けの処理について]
このようにして配置テンプレートが設定されると、その配置テンプレートに基づいて、グループ内の画像の貼り付けが行われる。すなわち、図3のフローチャートにおけるステップS15において、画像の貼り付け処理が実行される。このステップS15において実行される画像の貼り付け処理について説明を加える。
ここで再度、配置テンプレートについて説明を加える。図41に、配置テンプレート301と配置テンプレート302を示す。配置テンプレート301と配置テンプレート302は、共に、2枚の画像が貼り付けられるときの配置テンプレートである。配置テンプレート301と配置テンプレート302の違いは、配置テンプレート301のほうは、貼り付けられる画像同士が重なり合うことなく画像が配置される配置テンプレートであるが、配置テンプレート302のほうは、貼り付けられる画像同士の一部が重なり合うように画像が配置され配置テンプレートであることである。
配置テンプレート301や配置テンプレート302において、1枚の画像が表示される領域を表示領域と記述する。配置テンプレート301において、表示領域311と表示領域312は、共に四角形である。グループ内に管理されている画像(静止画像DB31に記録されている静止画像)も、通常四角形である。よって、表示領域311(312)の形と、表示される画像の形(画像の枠の形)は一致していることになる。
配置テンプレート302において、表示領域321は四角形であるが、表示領域322は六角形である。この場合、表示領域322の形と、貼り付けられる静止画像の形は異なることになる。このような場合であっても、貼り付けられる静止画像が、表示領域322の形に合わせて六角形に加工されてから貼り付けられるのではなく、四角形の静止画像が表示領域322内に貼り付けられ、表示される。
図41に点線に示した四角形(表示領域322と重なる部分は実線で図示してある)は、画像が貼り付けられる領域である。以下、画像が貼り付けられる領域を貼付領域と記述する。
図41に示した、表示領域311と貼付領域411、表示領域312と貼付領域412、表示領域321と貼付領域421は、それぞれ同じ形であり、同じ大きさとされている。よって、それらの領域はそれぞれ重なっているので、図41では表示領域を表す実線しか記載されていない。
しかしながら、表示領域322と貼付領域422は、上記したように表示領域322が六角形であるのに対し、貼付領域422は四角形である。配置テンプレートに貼り付けられる静止画像は、貼付領域の大きさ(この大きさについての定義などの詳細は後述するが、アスペクト比に基づく大きさである)に合わせて切り出される。
さらに、図42を参照して表示領域と貼付領域について説明を加える。図42に示した配置テンプレート303には、表示領域として、ハート型をした表示領域331と楕円形をした表示領域332が設けられている。上記したように、例えば、ハート型の表示領域311であっても、貼付領域431は、四角形である。そして、表示領域331のハート型に合わせて、表示される静止画像が切り出されるわけではなく、貼付領域431の形に合わせて静止画像が切り出される。
同様に、楕円形の表示領域332であっても、貼付領域432は四角形であり、切り出される静止画像は、貼付領域432と同じ形の四角形である。
このように、例えば、表示領域331と貼付領域431のように形が異なる場合、貼付領域431の形で画像が切り出され、その切り出された画像のうち、表示領域331以外の部分がマスキング処理されることにより、表示領域331内だけに画像が表示されるように加工される。
さらに図43を参照して説明するに、表示領域341が、背景テンプレート304上で斜めに設けられているような領域である場合、その表示領域341を含み、四角形の領域が貼付領域441とされる。表示領域341は、背景テンプレート304に対して斜めに配置されているが、形は四角形である。このように、表示領域341の形が四角形であっても、斜めに配置されているような場合には、貼付領域441の画枠で画像が切り出され、表示領域341以外の部分がマスキング処理されることにより、ユーザ側にはあたかも、斜めに画像が貼り付けられたかのようなページが提供される。
なお、図43に示したように斜めに配置された表示領域341に画像を表示させるとき、表示領域341と同じ貼付領域441を設けるようにしても良い。仮に、表示領域341と貼付領域441を同一とした場合、貼り付けられる画像を斜めの画像に画像変換する必要がある。画像変換を行うには、多大な処理能力が必要とされるため、図43に示したような配置テンプレート304が設定されたページだけ、表示が遅くなるといった不都合が生じる可能性がある。
そのような画像変換を行わなくても、斜めに画像が貼り付けられたようなページをユーザに提供するには、上記したように、表示領域341を含む大きさで四角形の貼付領域441で、画像を切り出し、その切り出された画像をマスキング処理して、表示領域341内だけ画像が表示されるようにすればよい。このようにすれば、他の配置テンプレート、例えば、配置テンプレート301(図41)が設定されたページのときと同様の処理で、ページの表示に関わる処理を実行することが可能であるので、多大な処理能力を必要とせずに処理を行うことが可能となる。
このように、表示領域と貼付領域という2つの異なる領域の概念を用いて処理を行うことで、画像表示に関わる処理の能力を低減させることが可能となると共に、ユーザに提供される画像に変化を持たせる(例えば、図42に示すようなハート型の画像を提供する)ことが可能となる。
このように、表示領域の形にかかわらず貼付領域は四角形とされている。
表示領域や貼付領域は、配置テンプレート内で固定の大きさとされている。貼付領域が所定の大きさとされているため、その貼付領域に貼り付ける画像が貼付領域と同じ大きさでなかった場合、何らかの加工が必要とされる。この加工について説明を加える。なお、上記した説明において、“加工”とは“画像の切り出し”などと記述した処理のことである。
静止画像DB31(図2)に記憶されている静止画像は、図44に示すように、複数のアスペクト比を有する画像を含んでいる。図44に示した例においては、画像511のアスペクトは“16:9”であり、画像512のアスペクトは“3:2”であり、画像513のアスペクトは“4:3”である。図示はしていないが、ユーザが画像を加工したりすることにより、さらに他のアスペクト比を有する画像もある。このように、静止画像DB31(図2)に記録されている静止画像のアスペクト比はさまざまあると考えられる。
また、画像は、横長の画像と縦長の画像とがある。例えば、図45に示すように、画像521と画像522は、共にアスペクト比が“16:9”であっても、画像521は、横長の画像であり、画像522は縦長の画像である。このように静止画像DB31(図2)に記録されている静止画像には、横長の画像と縦長の画像(方向の異なる画像と適宜記述する)がある。
このようなアスペクト比や方向が異なる画像から、貼付領域に合う大きさの画像が切り出される。
図46を参照して画像の切り出しについて説明する。図46の上図に示したように、アスペクト比が16:9の画像511から、貼付領域411の形で最大の大きさとなる画像を切り出した場合、画像511の上側の一部と下側の一部が切れた状態の画像が切り出される。
“画像511から、貼付領域411の形で最大の大きさとなる画像を切り出す”とは、貼付領域411のアスペクト比を維持した状態で、画像511から画像を切り出し、かつ、その切り出される画像が、画像511を最大限に含むように切り出しが行われることを意味する。
図47を参照して後述するが、画像を切り出すときに貼付領域自体の大きさは関係なく、貼付領域のアスペクト比が関係してくる。
図46の下図に示したように、アスペクト比が16:9の画像511から、貼付領域412の形で最大の大きさとなる画像を切り出した場合、画像511の左側の一部と右側の一部が切れた状態の画像が切り出される。
このように、図46に示したように、同じ画像511から、貼付領域に合った画像を切り取る場合であっても、貼付領域のアスペクト比が異なると、切り出される画像511の領域が異なる。
貼付領域のアスペクト比についてさらに具体的な数値を挙げて説明を加える。
図47の上図は、配置テンプレートと貼付領域との関係を示す図であり、図47の下図は、貼付領域に貼り付けられる画像(以下、適宜、元画像と記述する)と貼付領域との関係を示す図である。
図47の上図を参照するに、配置テンプレート541の横の長さは1920ドットであり、縦の長さは1080ドットである。このような“1920:1080”のアスペクト比、すなわち“16:9”のアスペクト比を有する配置テンプレート541の上に、横の長さが200ドットであり、縦の長さが400ドットの貼付領域542が設けられている。貼付領域542のアスペクト比は、“200:400”、すなわち“1:2”である。
このような“1:2”のアスペクト比を有する貼付領域542に貼り付ける画像が、図47の下図に示したような元画像543であった場合、図47の下図に示すように、元画像543から画像が切り出される。
元画像543は、横の長さが1600ドットであり、縦の長さが900ドットである。よって、元画像543のアスペクト比は“16:9”である。元画像543のアスペクト比は“16:9”であり、貼付領域542のアスペクト比は“2:1”であるので異なるアスペクト比であることがわかる。このように異なるアスペクト比である場合には、元画像543から、貼付領域542のアスペクト比で、最大の大きさの画像が切り出されるように制御が行われる。
図47の下図に示すように、貼付領域542のアスペクト比“2:1”を維持して元画像543を最大に含む領域を求めると、横の長さが450ドット、縦の長さが900ドットの領域で切り出せることがわかる。“450:900”は、“2:1”である。
縦の長さとして設定された900ドットは、元画像543の縦の長さと同じドット数である。すなわちこの場合、元画像543の縦方向に関しては、最大限の領域(長さ)を確保できたことになる。
縦方向を900ドットした場合、アスペクト比“1:2”を維持するためには、横方向を450ドットする必要がある。よって、上記したように、元画像543から、アスペクト比が“1:2”である“450ドット×900ドット”の画像が切り出される。
図47に示した例においては、貼付領域542の大きさは“200ドット×400ドット”であり、切り出される画像の大きさは、“450ドット×900ドット”である。よって、大きさで比較すると、貼付領域542の大きさと切り出される画像の大きさは異なる大きさである。
このように、本実施の形態においては、貼付領域542の大きさと同一の大きさの画像が元画像543から切り出されるのではなく、貼付領域542のアスペクト比と同一のアスペクト比を有する画像が元画像543から切り出される。
勿論図47に示した例の場合、切り出される画像の方が貼付領域542よりも大きいため、切り出された画像が貼付領域542に貼り付けられときには、画像の縮小の処理などが行われて貼り付けが行われる。
ところで、このように、貼付領域のアスペクト比に基づき、元画像から貼り付けられる画像が切り出される場合、図47を参照して説明したように、元画像543の一部だけが切り出されることがある。換言すれば、貼付領域には、元画像の全てが貼り付けられるわけではなく、元画像の一部のみが貼り付けられることがある。
このように元画像の一部のみが切り出される場合、その切り出す位置(領域)によっては、不適切な画像がユーザに提供されてしまう可能性がある。例えば、図48に示すように、人の顔が大きく写し出されているような元画像543に対し、アスペクト比を維持した貼付領域542’の領域で画像が切り出された場合、その切り出された画像543’は、人の顔の一部しか含まれていないような画像となってしまう。
元画像543を撮影した撮影者は、人の顔を中心に撮影したいという意図で元画像543を撮影したと思われる。そのような意図のもと撮影された元画像543から切り出された画像543’が、人の顔の一部しか含まないような場合、または、全く含まないような画像が切り出されてしまったような場合、撮影者の意図に反していると考えられ、そのような画像は、不適切な画像であるといえる。
人の顔に限らず、元画像を撮影した撮影者の意図を反映したかたちで、画像が切り出されることが望ましい。
そこで、切り出しを行うとき、すなわち、配置テンプレートに画像を貼り付ける処理が実行されるとき、その切り出され、貼り付けられる画像が、撮影者の意図ができる限り反映された画像となるようにする。そのような処理について説明を加える。
[画像の貼り付け処理について]
図3のフローチャートにおけるステップS15において実行される画像の貼り付け処理についてさらに説明を続ける。上記したように、撮影者の意図が反映されるように、表示領域に表示される画像の切り出しが行われるようにする。ここでは、画像に写し出されている人の顔に注目して処理が行われる場合を例に挙げて説明する。
図49は、元画像543に複数の顔が写し出されている画像を示している。複数の顔のうち、顔601は、他の顔(符号は付けず)よりも大きく写し出されている。すなわち、複数の顔が撮影されているような画像であっても、顔601だけがアップで写し出されているような画像であれば、撮影者は、顔601を撮影する意図でその元画像543を撮影したと考えられる。よって、このような元画像543の場合には、顔601が含まれるように貼付領域542’が設定され、その貼付領域542’内の画像が元画像543から切り出される。
画像を切り出すときのアルゴリズムとして、元画像内で、最も大きく写し出されている顔が含まれている領域で切り出すアルゴリズムをアルゴリズム1とする。アルゴリズム1を換言すると、元画像内で、所定の大きさ以上の領域の顔の中で、最も大きい領域の顔が含まれる領域で切り出しを行うアルゴリズムである。
アルゴリム1は、1人で写真に収まっているような場合や、少人数の人が写真に収まっているような場合に適したアルゴリズムである。
図50は、アルゴリズム2に関した説明をするための図である。図50に示した元画像543には、複数の顔(いずれも符号は付けず)が写し出されている。図50に示した元画像543と図49に示した元画像543は、ともに複数の顔が写し出されている画像であるが、図50に示した元画像543には、所定の大きさ以上の領域の顔がない画像である点が異なる。
このように、元画像543に複数の顔が写し出されていても、所定の大きさ以上の領域の顔が存在しない画像の場合、できるだけ多くの顔が含まれる領域で切り出しが行われるように制御される。このような複数の小さな顔が写し出されているような画像は、集合写真のような画像であり、そのような集合写真のような場合には、元画像543に写し出されている複数の顔のうち、できるだけ多くの顔が含まれる領域で切り出された画像が撮影者の意図に合う画像であると考えられる。
アルゴリズム2は、元画像内で所定の大きさ以上の領域の顔がないときに、できるだけ多くの顔が含まれている領域で、元画像から画像を切り出すアルゴリズムである。アルゴリズム2は、集合写真など、多くの人が写っているような画像に適したアルゴリズムである。
図51は、アルゴリズム3に関した説明をするための図である。図51に示した元画像543には、複数の顔が写し出されている。写し出されている顔のうち、顔611、顔612、顔613は、歪んでいたり、ピントがぼけた状態であったり、または、顔と認識されるが、絵であったりする顔である。顔614は、他の顔と比較すると最もきちんと写し出されている顔であり、最も顔らしい顔と判断できる顔である。
例えば、顔614にはピントが合っているが、その他の顔を含む部分にはピントが合っていないような画像がある。また、撮影者が画像を加工し、顔614以外の部分を歪ませたり他の画像を合成したりした画像がある。そのような元画像543から貼付領域542’にあった領域で画像を切り出す場合、最も顔らしいと判断される顔が含まれる領域が、貼付領域542’に設定され、その領域内の画像が元画像543から切り出されるようにする。
アルゴリム3は、元画像543に複数の顔が含まれると判断されるときに、最も顔である確率が高い顔が含まれている領域を切り出すアルゴリズムである。
図52は、アルゴリム4に関した説明をするための図である。図52に示した元画像543には、複数の顔が写し出されている。写し出されている顔のうち、顔621は、例えば絵画などに描かれた顔である。顔622、顔623、顔624は、それぞれ実写の顔である。
例えば、絵画の前で被写体を含めて写真を撮影したような場合、その写真には、被写体は勿論のこと、絵画も撮影されている。その絵画に、顔が描かれているような場合、その顔も検出されることがある。画像から顔を検出する手法については、後述するような文献に記載があるが、どのような手法を用いるかにより検出精度が異なると考えられる。用いる手法の検出精度により、絵画など描かれた顔も的確に抽出できる場合がある。
このように、絵画などに描かれた顔が抽出される場合、その顔が含まれる領域が切り出されるようにしても良い。絵画などに描かれた顔は、実写の顔に比べると、最も顔らしくない顔であると換言できる。
アルゴリズム4は、元画像543に複数の顔が含まれると判断されるときに、最も顔である確率が低い顔が含まれている領域を、貼付領域542’として設定し、その貼付領域542’内の画像を、元画像543から切り出すアルゴリズムである。
アルゴリズム4は、アルゴリズム3と反するアルゴリズムである。アルゴリズム3だけで切り出しが行われると、同じ人の顔が連続して表示されるようなアルバムが作成される可能性があるが、適宜、アルゴリズム4を適用して切り出しを行うと、実写の顔の間に絵画の顔などが挟まれるようなアルバムとすることができる。よって、ユーザに単調なアルバムではないアルバムを提供できる(バラエティに富んだアルバムを提供できる)ようになる。
図53は、アルゴリズム5を説明するための図である。図53に示した元画像543には、複数の顔が写し出されている。アルゴリズム5は、元画像543からランダムに貼付領域542’を設定し、切り出しを行うアルゴリズムである。
例えばアルゴリズム5は、複数の顔が検出されるような場合であっても、アルゴリズム1乃至4で処理できないような場合に適用される。
またアルゴリズム1乃至4は、撮影者の意図をできるだけ反映させるために行う処理であるが、アルゴリズム5を適用した場合、撮影者の意図にそくした画像が提供されない可能性もある。しかしながら、例えば、アルゴリズム5に従って画像の切り出しが行われる場合、アルバムが閲覧される毎にアルゴリズム5に基づき画像の切り出しが行われ、アルバムが作成されるようにすると、同一の静止画像を扱うアルバムであっても、画像の切り出し方が異なるため(ランダムに切り出が実行されるため)、異なるアルバムが作成されたようになり、ユーザに提供されるアルバムを、閲覧毎に違った内容とすることが可能となる。
閲覧する人の好みがあるが、人によっては、常に同じ画像が提供されるのがアルバムであると考え、そのようなアルバムの提供を望んでいる人もいるが、閲覧する毎に異なる画像となるようなアルバムの方が面白いと考える人もいる。よって、アルゴリズム5を適用するか否かは、アルバムを閲覧するユーザ側で設定できるようにしても良い。
ここでは、アルゴリズム1乃至5を例に挙げて説明したが、これらのアルゴリズム1乃至5は、画像の切り出しが行われるときの限定を示す記載ではない。勿論、アルゴリズム乃至5以外のアルゴリズムで切り出しが行われるようにしても良い。さらに、アルゴリズム1乃至5は、単独で用いられるアルゴリズムとしても良いし、組み合わせで用いられるアルゴリズムとしても良い。
アルゴリズム1乃至5は、顔を検出し、検出された顔をどのように切り出される画像に含ませるかに関するアルゴリズムであった。このようなアルゴリズムを適用するには、画像から顔であると判断される領域を検出する必要がある。画像から顔であると判断される領域を検出する手法として、例えば、本出願人が先に出願した特願2004―93001号(特開2005−284348号公報)や、特願2004−94792(特開2005−2844478号公報)を適用することができる。
適用する手法によっては、画像から顔の領域を検出するだけでなく、その顔が男性の顔であるか女性の顔であるか(性別)をさらに検出できたり、笑っている顔であるか怒っている顔であるか(表情)をさらに検出できたりする。このような、顔の検出だけでなく、性別や表情(表情から読み取れる感情)など、顔の特徴に付随する情報も検出されるような場合には、そのような付随する情報も用いられるような処理が行われるようにしても良い。
例えば、検出される顔に付随する情報も取得されるような場合、その付随する情報を用いたアルゴリズムをアルゴリズム6とし、そのアルゴリズム6を用いて画像の切り出しが行われるようにしても良い。
アルゴリズム6は、元画像から顔の領域が検出されたときに、かつ、その検出された顔に付随する情報が取得されたときに、その付随する情報から、その顔が特定の顔の条件を満たしている顔であるか否かを判断し、特定の条件を満たす顔であると判断したときには、その顔が、切り出される画像において中央に配置されるように、元画像から切り出しを行うようにするアルゴリズムである。
特定の顔の条件とは、付随する情報から判断される条件であり、上記したように例えば、顔の表情、顔の向いている方向、性別などである。
例えば、アルゴリズム6に基づき画像の切り出しが行われる場合、元画像から複数の顔が検出されたとき、検出された複数の顔のうち、笑っている顔が中央に配置されるように、貼付領域が設定され、切り出しが行われる。また例えば、元画像から男性と女性の顔が検出された場合、その2人が中央に来るように切り出しが行われる。
このように、複数のアルゴリズムが用いられて、元画像から貼付領域に合った画像が切り出され、配置テンプレートの貼付領域に貼り付けられる処理について、図54のフローチャートを参照して説明する。図54のフローチャートを参照して説明する処理は、図3のステップS15において実行される画像の貼り付け処理である。
ステップS111において、顔認識処理が行われる。この顔認識処理は、処理対象とされている元画像に含まれる顔を、所定の手法で検出する処理である。この所定の手法については、上記した文献に記載されている手法を用いることが可能であり、ここでは、その説明は省略する。また、上記した文献に記載されている手法以外で顔検出がされたときであっても、本発明を適用できることは言うまでもない。
ステップS111において、処理対象とされている元画像から顔が写っている領域が検出されると、ステップS112に処理が進められる。ステップS112において、検出された顔の領域のうち、所定のサイズ以上の領域の顔を検出したか否かが判断される。この判断は、上述したアルゴリズム1を実行するために行われる判断である。
ステップS112において、検出された顔の領域のうち、所定のサイズ以上の領域の顔を検出したと判断された場合、ステップS113に処理が進められる。ステップS113において、貼付領域のアスペクト比で、所定のサイズ以上の領域の顔が含まれるような領域が設定され、その領域内の画像が切り出される。所定のサイズ以上の領域の顔が、複数検出された場合には、最大サイズの領域の顔が含まれるように領域が設定され、画像の切り出しが行われる。
画像が切り出されると、ステップS114において、処理対象とされていた配置テンプレートの貼付領域に、切り出された画像が貼り付けられる。
一方、ステップS112において、検出された顔の領域のうち、所定のサイズ以上の領域の顔は検出していないと判断された場合、ステップS115に処理が進められる。ステップS115において、所定の数以上の顔を検出したか否かが判断される。この判断は、上述したアルゴリズム2を実行するために行われる判断である。
ステップS115において、検出された顔の数が、所定の数以上であると判断された場合、ステップS116に処理が進められる。ステップS116において、貼付領域のアスペクト比で、顔の数が最大となるような領域が設定され、画像の切り出しが行われる。画像が切り出されると、ステップS114において、処理対象とされていた配置テンプレートの貼付領域に、切り出された画像が貼り付けられる。
一方、ステップS115において、検出された顔の数が、所定の数以上ではないと判断された場合、ステップS117に処理が進められる。ステップS117において、特定の条件に該当する顔を検出したか否かが判断される。この判断は、顔の検出とともに、顔の特徴(付随する情報)が取得できる場合であって、アルゴリズム6を実行するために行われる判断である。または、顔の特徴が取得されない場合には、アルゴリズム3またはアルゴリズム4を実行するために行われる判断である。
アルゴリズム3またはアルゴリズム4に基づく処理を実行するためにステップS117における判断が行われる場合、特定の条件とは、最も顔らしい顔であると判断される条件であるか、最も顔らしくない顔であると判断される条件である。
アルゴリズム6に基づく処理を実行するためにステップS117における判断が行われる場合、特定の条件とは、笑っている顔、正面を向いている顔、男性の顔、女性の顔であるなど、顔の特徴を特定するような条件である。
画像が切り出されると、ステップS114において、処理対象とされていた配置テンプレートの貼付領域に、切り出された画像が貼り付けられる。
一方、ステップS117において、特定の条件に該当する顔は検出されていないと判断された場合、ステップS119に処理が進められる。ステップS119に処理が進められた場合、アルゴリズム5に基づいて切り出しに関わる処理が実行される。すなわち、貼付領域のアスペクト比で、ランダムに画像が切り出される。
ステップS119に処理が来る場合、元画像に顔が含まれているが、どの顔に注目して画像を切り出せば良いか判断できないような状態のときであるので、そのような状態の画像のときには、例えば、元画像の中央の領域が含まれる領域が切り出されるように制御される。
“ランダムに画像が切り出される”場合であっても、所定の条件を設けておいた方がよく、例えば、元画像の中央部分を含むように切り出される、元画像の中央より少し上の方の領域が含まれるように切り出されるなどの条件が設定され、その条件に基づいて切り出しが行われる。
画像が切り出されると、ステップS114において、処理対象とされていた配置テンプレートの貼付領域に、切り出された画像が貼り付けられる。
このような処理が、配置テンプレートの配置すべき画像の数だけ繰り返されることにより、アルバムを構成する1ページが作成される。作成された1ページは、例えば、図10に示したページ151や図11に示したページ151’である。
そして、1ページ毎の作成が繰り返されることによりアルバムが作成される。作成されたアルバムは、例えば図12に示したアルバム181である。作成されたアルバムは、コンテンツDB34(図2)に記録される。
[作成されたアルバムの閲覧について]
次に、このようにして作成されたアルバムの閲覧について説明を加える。
図55は、アルバムの表示処理について説明するためのフローチャートである。
ステップS141において、記録再生制御部52(図2)は、記録再生部18から記録されているアルバムに関する情報を読み出す。記録再生制御部52は、アルバムの一覧を表示させる表示データを表示制御部53に供給する。制御部20の制御に基づいて、画像処理装置1は、モニタ2にアルバムの一覧を表示させる。
モニタ2に表示されるアルバムの一覧の表示例を、図56に示す。図56に示した画面には、アルバム一覧表示部701が設けられている。アルバム一覧表示部701には、各アルバムを示すアイコンと、そのアイコンの右側にアルバム名、そして、アルバム名の下側にそのアルバムで管理されている画像が撮影された日時が表示されている。
図56に示した画面のアルバム一覧表示部701には、アルバム1乃至6をそれぞれ示す6個のアイコン、アルバム名、および、日付が表示されている。図56では、アイコンを四角形で示したが、例えば、アルバムの表紙となる画像が、各アルバムを示すアイコンとして使用されるようにしても良い。
図56において例えば、“アルバム1”というアルバム名が撮影された日時は、“2005/3/15”から“2005/3/18”であることが表示されている。このように、各アルバム名の下側に表示される日時は、そのアルバムの最も古い写真が撮影された日時と、最も新しい写真が撮影された日時である。
モニタ2には、アルバム一覧表示部701に表示しきれないアルバムのアイコンなどを表示させるときに操作されるスクロールバー702が、画面右側に表示されている。さらに、どのアルバムが選択されている状態かを示すカーソル703も表示されている。図56に示した表示例では、“アルバム3”というアルバム名のアイコン上に、カーソル703が位置している。
このような画面が、ステップS141においてモニタ2に表示される。
ステップS142において、選択部51は、操作部19から供給される、モニタ2に表示されるアルバムの一覧から、アルバムの1つを選択するユーザの操作を示す信号に基づいて、ユーザにより選択されるアルバムの一覧からアルバムの1つを示す情報を記録再生制御部52に供給する。
例えば、図56に示した画面の状態のとき、すなわち、カーソル703が“アルバム3”のアイコン上にあるときに、ユーザが決定を指示する操作を行うと、その選択されたアルバムを識別するための情報が生成され、記録生成制御部52に供給される。
ステップS143において、記録再生制御部52は、供給されたアルバムの1つを示す情報に基づいて、選択されたアルバムを表示させる表示データを表示制御部53に供給する。制御部20の制御に基づいて、画像処理装置1は、モニタ2に選択されたアルバムの最初のページを表示させる。
ステップS144において、記録再生制御部52は、表示されているアルバムの次のページが存在するか否かを判定する。ステップS144において、次のページが存在しないと判定された場合、処理は終了する。
一方、ステップS144において、次のページが存在すると判定された場合、ステップS145に処理が進められる。ステップS145において、制御部20の制御に基づいて、画像処理装置1は、モニタ2に選択されたアルバムの次のページを表示させる。ステップS144とステップS145の処理が繰り返されることにより、アルバムを構成するページが順次、ユーザに提供される。
このように、画像処理装置1は、アルバムを表示させることができる。
ところで、図10または図11に、アルバムの1ページとして表示される表示例を示した。図11を再度参照するに、ページ151’には、3枚の画像が表示されており、そのうち画像171と画像172は、静止画像DB31(図2)から読み出された静止画像であり、画像161は、動画像DB32に記録されている動画像から抽出された静止画像(サムネイル画像)であると説明した。
このように、本実施の形態においては、動画像から抽出された、その動画像の1場面を表すサムネイル画像も、アルバム内のページに、静止画像として表示される。このような表示を行うために、クラスタリングされるときに、動画像DB32に記録されている動画像の撮影日時も考慮してクラスタリングされると説明した。図35に、クラスタリングされた結果の一例を示したが、例えば、グループ1の3月1日の0:13に撮影された画像は動画像である場合もある。
クラスタリングされるとき、動画像DB32が参照され、動画像の撮影日時も含めてクラスタリングが行われれば、結果としてユーザに提供されるアルバムに、動画像のサムネイル画像が含まれるようにできることは既に説明したので、ここではその説明は省略する。さらに、ここでは、ユーザが所定のアルバムに、所定の動画像のサムネイル画像を関連付けるときの処理について説明を加える。
ユーザが、所望のアルバムに、所望の動画像のサムネイル画像を関連付けることができるようにするのは、以下のような理由がある。
上述したように、クラスタリングのときに、動画像の撮影日時も考慮されてクラスタリングされれば、結果として動画像のサムネイル画像を所定のページに表示させることができるが、クラスタリングされることにより、静止画像と関連性(この場合、時間的に近傍に位置するという関連性)がある動画像しか表示されないことになる。
例えば、再度図35を参照するに、グループ1の“3月1日の0:13”に撮影された画像が動画像から抽出されたサムネイル画像であった場合、グループ1内の“3月1日の0:10”に撮影された静止画像や“3月1日の0:12”に撮影された静止画像と、時間的に近くに撮影された動画像であるので、グループ1に分類された。しかしながら、例えば、1ヶ月前の2月1日に撮影された動画像を、グループ1に関連付けたいような場合、または、グループ1を含むアルバムと関連付けたいよな場合、上記したクラスタリングの手法だけでは関連付けることができない。
このような、撮影日時的には離れていても、同一のグループ(同一のアルバム)に関連付けたいというユーザ側の要望に対応するために、ユーザが、所望のアルバムに所望の動画像のサムネイル画像を関連付けられるようにする。そのような処理について、図57のフローチャートを参照して説明する。
ステップS161において、ユーザから動画像の関連付けの処理を実行するように指示を受ける。図58に、動画像の関連付けが指示されるときにモニタ2に表示される画面例を示す。図58に示した画面は、例えば、図56に示した画面において、ユーザがメニュー画面の表示を指示したときに、モニタ2に表示される画面である。
メニュー画面とは、図58において、右側に示した2つのメニュー項目が表示されている状態の画面のことを示す。すなわち、図58に示した画面においては、“アルバムの再生”という項目731と“動画像の関連付け”という項目732が、メニュー画面のメニュー項目として表示されている。このような項目のうち、“動画像の関連付け”という項目732が選択された場合、ステップS161において、ユーザから動画像の関連付けの処理を実行するように指示を受けと判断され、ステップS162に処理が進められる。
なお、図58に示したメニュー画面のうち、“アルバムの再生”という項目131が選択された場合、その時点で選択されているアルバム(図58に示した画面例においては、カーソル703が位置する“アルバム3”というアルバム名が付けられたアルバム)の再生が開始される。すなわち、上述した図55に示したフローチャートに基づく処理が開始される。
ステップS162において、選択されているアルバムの日時に近い日時に撮影された動画像が検索される。検索の対象となるのは、ユーザが撮影した動画像であり、テレビジョン放送などの動画像は含まれないとする。換言すれば、個人的な動画像だけが検索の対象とされる。個人的な動画像であるか否か(テレビジョン放送などの著作権があるような動画像であるか否か)は、動画像に付随するメタデータを参照することで判定することができる。
なおここでは、個人的な動画像のみが検索の対象となるとして説明を続けるが、テレビジョン放送などの動画像も検索の対象とすることは可能である。
例えば、図58に示した画面例において、“動画像の関連付け”という項目732が選択された場合、“選択されているアルバム”は、カーソル703が位置している“アルバム3”というアルバム名を持つアルバムである。よって、“アルバム3”というアルバム名を持つアルバムは、“2005/5/15―2005/5/18”という日付であるので、この日付に近い日時に撮影された動画像が、動画像DB32から検索される。
ステップS163(図57)において、検索結果が用いられ、検索された動画像の一覧表示が行われる。その結果、図59に示したような画面が、モニタ2に表示される。図59に示した画面には、動画像一覧表示部751が設けられている。動画像一覧表示部751には、各動画像を示すアイコンと、そのアイコンの右側に動画像名、そして、動画像名の下側にその動画像が撮影された日時(撮影が開始された日時と終了された日時)が表示されている。
なお、ステップS162において、選択されているアルバムの日時に近い日時に撮影された動画像が検索されるのは、ステップS163において、検索された動画像が一覧表示されるときに、選択されたアルバムに含まれる画像の撮影日時に近い動画像の順に表示されるようにするためである。選択されたアルバムに含まれる画像の撮影日時に近い動画像が、そのアルバムと関連付けられる可能性が高いと考えられるからである。
動画像の一覧表示を行う際、例えば、撮影日時の古い順や新しい順に表示されるのであれば、その設定されている順に表示が行われるように、ステップS162における動画像の検索が行われる。
図59に示した画面の動画像一覧表示部751には、動画像1乃至6をそれぞれ示す6個のアイコン、動画像名、および、日付が表示されている。図59では、アイコンを四角形で示したが、例えば、動画像の1シーンを示すサムネイル画像が、各動画像を示すアイコンとして使用されるようにしても良い。
図59において例えば、“動画像3”という動画像名が撮影された日時は、“2005/5/16”から“2005/5/16”であることが表示されている。このように、各動画像名の下側に表示される日時は、その動画像の撮影が開始された日時と、撮影が終了された日時である。
モニタ2には、動画像一覧表示部751に表示しきれない動画像のアイコンなどを表示させるときに操作されるスクロールバー752が、画面右側に表示されている。さらに、どの動画像が選択されている状態かを示すカーソル703も表示されている。図59に示した表示例では、“動画像3”という動画像名のアイコン上に、カーソル703が位置している。
このような画面が、ステップS163においてモニタ2に表示される。なお、動画像の一覧が表示される画面の構成と、アルバムの一覧が表示される画面の構成は、図59および図58にそれぞれ示したように、基本的に同様の構成である。
図59に示したような画面が、モニタ2に表示されているときに、ユーザが操作部19を操作して所定の操作を行うと、モニタ2の画面は、図60に示したようなメニュー画面に切り替えられる。図60に示した画面には、モニタ2の右側に、2つのメニュー項目が表示されている。図60に示した画面においては、“決定”という項目771と“戻る”という項目772が、メニュー画面のメニュー項目として表示されている。
このような項目のうち、“決定”という項目771が選択された場合、ステップS164において、ユーザから、選択されているアルバムに、選択されている動画像を関連付けるように指示を受けと判断され、その指示に対応する処理が実行される。
図60においては、“動画像3”という動画像名が付けられた動画像を示すアイコン上に、カーソル703が位置している。すなわち図60に示した画面の状態は、ユーザにより“動画像3”という動画像名が付けられた動画像が、アルバムと関連付ける対象として選択されている状態である。関連付けられるアルバムを、ユーザに認識させるために、“動画像3”を示すアイコンの左側に“アルバム3”というアルバム名が表示されるとともに、“アルバム3”というアルバム名が付けられたアルバムを示すアイコンが表示されている。
図60に示した画面において、“決定”という項目771が操作されたときには、ステップS164において、“アルバム3”と“動画像3”が関連付けるための処理が実行され、“戻る”という項目772が操作されたときには、モニタ2の画面が、図59または図58に戻され、それらの画面において行われる処理が実行される。
このような処理が行われることにより、アルバムと動画像が関連付けられ、アルバムが再生されたとき、再生されたアルバムに、動画像のサムネイル画像が表示されることになる。
[動画像の削除について]
ところで、動画像は、静止画像に比べてデータサイズが大きい。そのため、動画像DB32の記録容量が、新たな動画像を記録する程の残量がないような場合、古い動画像データが削除され、容量が空けられるような処理が行われる。このような処理は、ユーザの指示により行われることもあるし、画像処理装置1の判断により行われることもある。
このように、動画像DB32に記録されている動画像は削除されることがある。勿論、静止画像DB33に記録されている静止画像も削除される可能性はあるが、動画像よりデータサイズが小さいため、例えば、容量不足のために削除しなくてはならないといったような状況が発生する可能性が低く、動画像より削除される確率は低いと考えられる。よって、ここでは、動画像が削除されることを前提として説明を続ける。
上記したように、クラスタリングのときや、ユーザの指示があったときなどに、アルバムに動画像が関連付けられるが、その関連付けられた動画像が削除されてしまった場合、動画像から抽出された静止画像が表示されるページに、その静止画像が表示されないといった不都合が発生する。
ここで、図61のフローチャートを参照し、動画像が削除されたときの処理について説明する。図61のフローチャートの処理は、動画像DB32に記録されている動画像のうち、所定の動画像に対し、削除の指示が出されたときに実行される。
ステップS181において、ユーザにより削除の対象とされた動画像に、関連付けられていたアルバムが存在するか否かが判断される。ステップS181において、削除の対象とされた動画像に、関連付けられていたアルバムはないと判断された場合、ステップS182に処理が進められ、削除の対象とされた動画像が、動画像DB32から削除される。
一方、ステップS181において、削除の対象とされた動画像に、関連付けられていたアルバムが存在すると判断された場合、ステップS183に処理が進められる。ステップS183において、動画像から予め生成され、動画像に関連付けられて記録されていた静止画像が、動画像が関連付けられていたアルバムに、動画像の代わりに関連付けられ保存される。
“動画像から予め生成され、動画像に関連付けらていた静止画像”として、動画像の1シーンを示すサムネイル画像を用いることができる。また、そのようなサムネイル画像が、“動画像が関連付けられていたアルバムに、動画像の代わりに関連付けられ保存される”とは、サムネイル画像が静止画像DB31に新たに記録されることを意味する。また、静止画像DB31に記録される際、動画像の撮影日時(撮影が開始された日時、撮影が終了された日時、または、撮影が開始された日時と終了された日時の中間の日時)が、そのサムネイル画像の日時として記録される。
ステップS183において、静止画像が静止画像DB31に記録されると、ステップS182に処理が進められ、削除の対象とされた動画像が、動画像DB32から削除される。
図61のフローチャートを参照して説明した動画像の削除に関わる処理について、図62を参照し、再度簡便に説明を加える。動画像DB32には、動画像161’が記録され、その動画像161’から抽出されたサムネイル画像(静止画像161)が、動画像161’と関連付けられて記録されている。
また、静止画像DB31には、静止画像171と静止画像172が記録されている。図62に示したような状態のとき(動画像161’が削除される前の状況のとき)には、アルバムの1ページとして、図11に示したようなページ151’がユーザに提供される。
動画像DB32に記録されている動画像161’が削除の対象とされた場合、動画像161’に関連付けられいる静止画像161が、静止画像DB31に移動される。よって、静止画像DB31には、静止画像171、静止画像172、および、静止画像161’が記録されている状態とされる。
このように、動画像から抽出された静止画像が静止画像DB31に記録されれば、そのサムネイル画像も、他の静止画像と同等に扱われ、アルバムに表示されることになる。
図11を再度参照するに、図11は、アルバム内の所定のページの表示例を示しているが、そのページ151’に動画像から抽出されたサムネイル画像(静止画像161)があると、“Video”というマーク162が表示されることは既に説明した。
この静止画像161の元となった動画像161’が削除された場合であっても、上述した処理が行われることにより、静止画像161自体は削除されずに静止画像DB31に記録されるため、静止画像171や静止画像172とともにページ151’上に表示されることになる。しかしながら、動画像161’は削除されているので、“Video”というマーク162は表示されないページ151’が、ユーザに提供される。
動画像の削除に関わる他の処理について、図63のフローチャートを参照して説明する。図61を参照して説明した処理においては、動画像に予め関連付けられている静止画像があり、その静止画像が、動画像の代わりにアルバムと関連付けられる処理であったが、図63のフローチャートを参照して説明する処理は、動画像を削除するときに、その動画像から静止画像を生成し、アルバムと関連付ける処理である。
ステップS201において、ユーザにより削除の対象とされた動画像に、関連付けられていたアルバムが存在するか否かが判断される。ステップS201において、削除の対象とされた動画像に、関連付けられていたアルバムはないと判断された場合、ステップS202に処理が進められ、削除の対象とされた動画像が、動画像DB32から削除される。
一方、ステップS201において、削除の対象とされた動画像に、関連付けられていたアルバムが存在すると判断された場合、ステップS203に処理が進められる。ステップS203において、動画像のシーンチェンジの箇所が検出される。動画像からシーンチェンジを検出する手法としては、例えば、本出願人が先に出願した特願2002−254562(特許第3731657号)に記載されている手法を用いることができる。
ステップS203において、削除の対象とされている動画像から、その動画像のシーンチェンジの箇所が検出されると、ステップS204において、検出されたシーンチェンジの箇所に対応する静止画像が生成される。この場合、シーンチェンジの箇所毎に静止画像が生成されることになるので、シーンチェンジの箇所の個数と同じ数だけ静止画像が生成される。
なお、シーンチェンジの箇所が多いと、静止画像の数も多くなるので、生成される静止画像の枚数に上限を設定したり、その設定に合わせて、生成された静止画像が間引かれるなどの処理が適宜行われるようにしても良い。
またここでは、動画像のシーンチェンジの箇所が検出され、その箇所から静止画像が生成されるとしたが、ユーザにより指定された任意の箇所から静止画像が生成されるようにしても良い。
さらには、生成された静止画像が複数枚であるとき、アルバムに関連付けられ、削除された動画像分の枚数だけ(前提として、1つの動画像から複数の静止画像が抽出され、それらの静止画像がアルバムと関連付けられていた)、生成された静止画像から抽出されるようにしても良い。
このように、削除される動画像から、静止画像が生成されるようにするのは、動画像より静止画像の方がデータサイズが小さいため、動画像の代わりに記録されるようにしてもデータベースの残量に大きな影響を及ぼすことはないと考えられること、また、動画像が削除されても、その動画像に関連付けられていたアルバムは削除されない限り、ユーザは、動画像のサムネイル画像も含めた形でアルバムを閲覧したいという要望があるということに対応するためである。
ステップS204において、生成された静止画像は、ステップS205において、静止画像DB31に記録される。
このように動画像から静止画像が生成され、静止画像DB31に記録されると、ステップS202において、削除の対象とされた動画像が動画像DB32から削除される。
このように動画像から静止画像が生成され、静止画像DB31に記録されると、その静止画像は、静止画像DB31に記録されている他の静止画像と同等に扱われる。よって、アルバムが再生されるとき、動画像から生成された静止画像も含められたアルバムの再生が行われる。
なお、複数の静止画像が生成され、生成された複数の静止画像を全てアルバムに含ませるようにした場合、単に、1枚の動画像のサムネイル画像が表示されていた箇所に、生成された複数の静止画像を貼り付けるといったことはできないため、複数の静止画像を含めたアルバムを再編集することにより生成するなどの処理が適宜行われる。
[ファイル管理について]
ところで、上述した実施の形態においては、図2に示したように、静止画像DB31と動画像DB32をそれぞれ設け、静止画像と動画像を、それぞれのデータベースで、それぞれ管理するとした。また、静止画像と動画像を、それぞれのデータベースで管理しているときに、動画像が削除されると、図61や図63に示したフローチャートの処理が実行されるとした。
すなわち、静止画像と動画像が、それぞれのデータベースで別々に管理されるために、動画像DB32から所定の動画像が削除されたとき、その削除される動画像から抽出された静止画像が、静止画像DB31に新たに記録されるといった処理が行われた。
静止画像と動画像をそれぞれ異なるデータベースで管理するときだけでなく、静止画像と動画像を同じデータベースで管理したり、同じフォルダで管理したりするときであっても、勿論本発明を適用できる。
静止画像と動画像を同じフォルダで管理した場合、例えば、図64に示したようなデータ構成とすることができる。すなわち、図64に示したフォルダ構成においては、フォルダとして、フォルダ1とフォルダ2が設けられている。フォルダ1は、“静止画像_01.jpg”、“静止画像_02.jpg”、“動画像_01.mpg”を管理し、フォルダ2は、“静止画像_03.jpg”、“静止画像_04.jpg”、“静止画像_05.jpg”、“静止画像_06.jpg”、“動画像_02.mpg”を管理している。
このように、図64に示したフォルダの構成例では、フォルダ1は、2枚の静止画像と1本の動画像を管理し、フォルダ2は、4枚の静止画像と1本の動画像を管理している。このように、1つのフォルダ内に、静止画像と動画像が管理されるようにしても良い。換言すれば、異なるフォルダやデータベースで、それぞれ静止画像と動画像を管理するのではなく、同一のフォルダやデータベースで、静止画像と動画像を管理するようにしても良い。
図64に示したフォルダ構成のときに、フォルダ1で管理されている“動画像_01.mpg”が削除の対象され、上記したように、例えば、“動画像_01.mpg”のシーンチェンジの箇所毎に静止画像が生成された場合、“動画像_01.mpg”が削除された後には、図65に示したようなフォルダ構成に変更される。
“動画像_01.mpg”が削除される際、“動画像_01.mpg”から“静止画像_07.jpg”と“静止画像_08.jpg”が生成されると、図65に示したように、“動画像_01.mpg”の代わりに、“静止画像_07.jpg”と“静止画像_08.jpg”が、フォルダ1に記録される。
このように、1つのフォルダ内で、静止画像と動画像が管理されているような場合には、削除された動画像の代わりに、削除された動画像から抽出された静止画像が記録される。
このように、1つのフォルダ内で静止画像と動画像を管理するときの動画像の削除に関わる処理について、図66のフローチャートを参照して説明する。
ステップS221において、ユーザにより削除の対象とされた動画像に関連付けられていたフォルダが存在するか否かが判断される。ステップS221において、削除の対象とされた動画像に、関連付けられていたフォルダはないと判断された場合、ステップS222に処理が進められ、動画像が削除される。
一方、ステップS221において、削除の対象とされた動画像に、関連付けられていたフォルダが存在すると判断された場合、ステップS223に処理が進められる。ステップS223において、動画像のシーンチェンジの箇所が抽出される。そして、ステップS224において、検出されたシーンチェンジの箇所に対応する静止画像が生成される。生成された静止画像は、ステップS225において、削除対象にされた動画像の代わりに、その動画像を管理していたフォルダ内に記録される。
このように動画像から静止画像が生成され、フォルダ内に記録されると、ステップS222において、削除の対象とされた動画像がフォルダ内から削除される。
このように、本実施の形態においては、動画像に関連付けられていたアルバムやフォルダがあった場合、その動画像が削除されるとき、その動画像から静止画像が生成される。そして、削除される動画像の代わりに、生成された静止画像が記録される。
なお、図2に示したような静止画像DB31と動画像DB32が、それぞれ設けられ、静止画像と動画像がそれぞれ異なるデータベースで管理されるような場合であっても、上記したように(例えば、図3のフローチャートを参照して説明したように)、アルバムは、1つのフォルダに記録されている画像を対象として作成される。よって、フォルダ内で動画像と静止画像を管理する場合であっても、上述した実施の形態と同様の処理によりアルバムを作成することが可能である。
例えば、図64に示したようなファイル構造において、“フォルダ1”がアルバムの作成の対象とされたとき、“動画像_01.mpg”から抽出される静止画像も含めたアルバムが、上記した実施の形態と同様に作成される。ただしこの場合、1つのフォルダ内に、動画像と静止画像が管理されているため、動画像DB32を参照して動画像の撮影日時を読み出すといった処理(それに相当する処理)を省略することが可能であり、フォルダに記録されている画像の撮影日時を読み出すだけでよい。
また、“動画像_01.mpg”が削除された後も、図64に示したように、フォルダ1には、“動画像_01.mpg”から抽出された“静止画像_07.mpg”と“静止画像_08.mpg”が記録されているため、これらの静止画像を含めたアルバムが、上述した実施の形態と同様に作成される。
すなわち、本発明は、フォルダ内に、動画像と静止画像を共存するような場合であっても、上述した処理と基本的に同様な処理で、アルバムを作成することができる。
このように、比較的容量の大きなデータ(上記した例では、動画像のデータ)が削除されるとき、比較的容量の小さいデータ(上記した例では、静止画像のデータ)に変換され、その容量の大きなデータの代わりに用いられるようにすることで、上述したアルバムの例の場合のように、一度作成されたデータを有効利用したり、一度ユーザに提示されたデータを内容に変更が合ったとしても、以前に提示した状態に近い形で再度データを提示したりすることができるようになる。
また、ここではアルバムの例を示したが、また、動画像や静止画像の場合を例に挙げて説明したが、このように、比較的容量の大きなデータが削除されるとき、比較的容量の小さいデータに変換され、その容量の大きなデータの代わりに用いられるようにすることは、アルバム、動画像、静止画像など、上記した例に限定されず適用することできる。
また、上述した実施の形態においては、画像処理装置1を例に挙げて説明した。例えば、図64に示したようなファイル構造は、例えば、パーソナルコンピュータなどでデータを管理するときのファイル構造と同じである。すなわち、パーソナルコンピュータなどにおいては、1つのフォルダで、異なる種類のデータを管理することがある。
このようなことを考慮すると、図64乃至図66を参照して説明した処理、すなわち、比較的容量の大きなデータが削除されるとき、比較的容量の小さいデータに変換し、その容量の大きなデータの代わりに用いられるようにするといった処理は、画像処理装置1に限らず、パーソナルコンピュータなどにも適用できる処理である。
[記録媒体について]
図67は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU(Central Processing Unit)1001は、ROM(Read Only Memory)1002、または記憶部1008に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)1003には、CPU1001が実行するプログラムやデータなどが適宜記憶される。これらのCPU1001、ROM1002、およびRAM1003は、バス1004により相互に接続されている。
なお、CPU1001として、”Cell誕生”、日経エレクトロニクス、日経BP社、2005年2月28日、89頁乃至117頁に記載されているCellを採用することができる。
CPU1001にはまた、バス1004を介して入出力インターフェース1005が接続されている。入出力インターフェース1005には、キーボード、マウス、マイクロホンなどよりなる入力部1006、ディスプレイ、スピーカなどよりなる出力部1007が接続されている。CPU1001は、入力部1006から入力される指令に対応して各種の処理を実行する。そして、CPU1001は、処理の結果を出力部1007に出力する。
入出力インターフェース1005に接続されている記憶部1008は、例えばハードディスクからなり、CPU1001が実行するプログラムや各種のデータを記憶する。通信部1009は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部1009を介してプログラムを取得し、記憶部1008に記憶してもよい。
入出力インターフェース1005に接続されているドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア1011が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部1008に転送され、記憶される。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図67に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア1011、または、プログラムが一時的もしくは永続的に格納されるROM1002や、記憶部1008を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部1009を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
1 画像処理装置, 2 モニタ, 18 記録再生部, 19 操作部, 20 制御部, 31 静止画像DB, 32 動画像DB, 33 テンプレートDB, 34 コンテンツDB, 51 選択部, 52 記録再生制御部, 53 表示制御部, 54 コンテンツ作成部, 71 演算部, 72 テンプレート設定部, 91 クラスタリング部, 92 階層決定部