JP2008077445A - 画像再生装置ならびにその制御方法およびその制御プログラム - Google Patents

Abstract

【目的】実際の時間の流れに沿って特定人物の成長記録を示す画像を再生する。
【構成】多数駒の検索対象画像を撮影年ごとに分類する。撮影年ごとに分類された検索対象画像の中から特定人物の顔画像に類似した顔画像が含まれている２駒の検索対象画像を再生画像として決定する。決定された再生画像を撮影年の古い順に連続して再生する。各年に２駒の画像が再生され，特定人物の成長に沿って画像が再生される。
【選択図】図４

Description

この発明は，画像再生装置ならびにその制御方法およびその制御プログラムに関する。

極めて多数の画像が保存されている場合，所望の画像を探し出すのは画像の駒数が多ければ多いほど難しい。たとえば，特定の人物の成長の様子を見るために，特定の人物の画像を抽出することは単純にはできない。このために，たとえば，画像の類似度を利用して画像の表示順序をソートしてスライドショーするものや（特許文献１），検出した顔領域の顔画像と特定人物の顔画像との類似度を判定し，特定人物と同一と考えられる画像を順次再生するものなどがある（特許文献２）。しかしながら，撮影画像数の多い年の画像が多く抽出されてしまうために成長の様子を見るには適していないことが多い。
特開2000-67057号公報 特開2005-33276号公報

この発明は，特定の人物の成長の様子を見ることができるようにすることを目的とする。

この発明による画像再生装置は，多数駒の検索対象画像を，撮影年月日にもとづいて一定期間ごとのグループとなるように，複数のグループに撮影順に分類する分類手段，上記分類手段によって分類された複数のグループのそれぞれのグループに属する検索対象画像の中から，検出すべき人物の顔画像を表すキー顔画像に類似する顔画像が含まれているｎ駒（ｎは，１以上の整数）の検索対象画像を類似度の高い順に抽出する抽出手段，および上記抽出手段によって抽出された検索対象画像を，撮影年月日順に再生する再生手段を備えていることを特徴とする。

この発明は，上記画像再生装置に適した制御方法も提供している。すなわち，この方法は，分類手段が，多数駒の検索対象画像を，撮影年月日にもとづいて一定期間ごとのグループとなるように，複数のグループに撮影順に分類し，抽出手段が，上記分類手段によって分類された複数のグループのそれぞれのグループに属する検索対象画像の中から，検出すべき人物の顔画像を表すキー顔画像に類似する顔画像が含まれているｎ駒の検索対象画像を類似度の高い順に抽出し，再生手段が，上記抽出手段によって抽出された検索対象画像を，撮影年月日順に再生するものである。

この発明は，上記画像再生装置の制御方法を実現するためのプログラムも提供している。

この発明によると，多数駒の検索対象画像が，撮影年月日にもとづいて一定期間ごとのグループとなるように，複数のグループに撮影順に分類される。分類された複数のグループのそれぞれのグループに属する検索対象画像の中から，検出すべき人物の顔画像を表すキー顔画像に類似する顔画像が含まれているｎ駒の検索対象画像が，類似度の高い順に抽出される。抽出された検索対象画像が，撮影年月日順に再生される。多数駒の検索対象画像があっても撮影年月日順に分類された各グループからはｎ駒の検索対象画像が抽出されるので，特定の撮影年月日近傍の検索対象画像が集中して再生されてしまうことを未然に防止できる。特定人の成長の様子を実際の成長に沿った状態で比較的簡単に見ることができる。

上記抽出手段によって，１つのグループに属する検索対象画像の中から上記キー顔画像に類似する顔画像が含まれているｎ駒の検索対象画像を抽出できないかどうかを判定する判定手段，および上記判定手段によって抽出できないと判定されたグループの前後のそれぞれのグループに属する検索対象画像のうち，上記キー顔画像にもっとも類似する検索対象画像である２駒の検索対象画像を用いて，ｎ駒の検索対象画像のうち抽出できない検索対象画像を生成する生成手段をさらに備えるようにしてもよい。特定の期間の撮影枚数が少なく，グループの中からｎ駒の検索対象画像を抽出できない場合であっても，その抽出できない分の検索対象画像を生成することができ，特定人の成長の様子を時系列にしたがって観察できる。

図１は，この発明の実施例を示すもので，画像再生装置の電気的構成を示すブロック図である。

画像再生装置の全体の動作は，プロセッサ１によって統括される。

画像再生装置には，プログラム，データ等があらかじめ記憶されているＲＯＭ２，データを一時的に記憶するＲＡＭ３，再生画像を表示する表示装置５を制御するグラフィック制御回路４，画像等をプリントするプリンタ６，マウス７，キーボード８，再生すべき画像（検索対象画像）を表す画像データが多数記憶されているハードディスク（図示略）にアクセスするハードディスク・ドライブ９，およびＦＤ（フレキシビリ・ディスク）11にデータを書き込み，かつＦＤ11に書き込まれているデータを読み取るＦＤドライブ10が含まれている。

さらに，画像再生装置には，CD-ROMドライブ12が含まれている。後述する動作を行なうプログラムが格納されているCD-ROM13がCD-ROMドライブ12に装填されることにより，CD-ROM13に格納されている動作プログラムが読み取られて，画像再生装置にインストールされる。

図２は，画像再生装置の処理手順を示すフローチャートである。

この実施例による画像再生装置は，ハードディスクに記録されている多数の検索対象画像の中から特定の人物の顔画像が含まれている画像を撮影年月日の古い順に撮影年当たり２駒の割合で再生する成長記録再生をすることができる。もっとも，撮影年当たり２駒でなくとも１駒または３駒以上であってもよい。また，撮影年月日の古い順でなく新しい順でも良いし，撮影年を基準にせずに半年，または２年など所定の期間を基準に再生される画像の駒数を決定するようにしてもよい。

まず，特定の人物の顔画像がキー顔画像として選択される（ステップ21）。このキー顔画像は，多数の検索対象画像の中から特定人物の顔画像が含まれている画像を選択し，その選択された画像の中から顔画像を抽出することにより実現できる。もっとも顔画像を選択しなくとも特定人物の顔画像が含まれている一駒の画像を選択するようにしてもよい。

次に，検索対象画像が撮影年ごとに分割される（分割数はＬとされる）。分割により撮影年ごとの画像グループが生成され，これらの画像グループを特定するためのグループ番号が０にセットされる（ステップ22）。つづいて，次に述べるように，グループごとにキー顔画像に類似した顔画像が含まれている検索対象画像が見つけられ，グループごとに類似度の高いｎ駒（例えば，２駒）の検索対象画像が再生画像となる。

図３は，分割により生成されたグループに属する検索対象画像を示すテーブルである。

ハードディスクには，1974年から2006年に撮影された検索対象画像が記録されているものとする。撮影されていない年は存在しないものとすると，グループ番号０からグループ番号32の33分割される。撮影年が古い順から新しい順にグループ番号が増加している。最初の撮影年1974年のグループのグループ番号Ｉは０である。

図２にもどって，グループ番号Ｉと分割数Ｌとが比較され（ステップ23），分割数Ｌよりもグループ番号Ｉの方が小さければ（ステップ23でＹＥＳ），そのグループ番号Ｉのグループに属する検索対象画像についてキー顔画像に類似した顔画像が含まれている検索対象画像を見つける処理が行われていないと考えられる。このため，キー顔画像に類似した顔画像が含まれている検索対象画像を見つける処理が行われる。グループ番号Ｉのグループに属する画像数がＭとされ，変数Ｊがセットされる（ステップ24）。

変数Ｊと画像数Ｍとが比較される（ステップ25）。変数Ｊが画像数Ｍ以上となると，そのグループに属する画像についてキー顔画像に類似した顔画像が含まれている検索対象画像を見つける処理は終了する。変数Ｊが画像数Ｍ未満であれば，キー顔画像と変数Ｊによって指定される画像に含まれる顔画像との類似度が算出される（ステップ26）。類似度の算出処理が終了すると変数Ｊがインクレメントされ（ステップ27），次の画像について類似の算出処理が行われる。

類似度の算出処理は，顔の各々の特徴量の比較により行われる。特徴量は，画像から顔画像部分が抽出され，抽出された顔画像部分の中から，目，鼻，口などのパーツ部分を検出し，それらのパーツ部分について２値化，ベクトル化などの画像処理を行い，多角形の座標の集合に変換することにより得られる。キー顔画像と抽出した顔画像の特徴量の差分を算出して類似度が得られる。差分値と類似度値とが反比例の関係となるように，たとえば，類似度＝１／（特徴量の差分）という計算式が利用される。画像内に複数の顔画像部分が存在した場合には，もっとも類似度の高いものが利用される。

変数Ｊが画像数Ｍ以上となると（ステップ25でＮＯ），そのグループに属する検索対象画像のすべてについて類似度算出処理が終了したこととなる。グループごとに類似度の高い順に検索対象画像がソーティングされる（ステップ28）。類似度の高いｎ駒の検索対象画像が再生キューに登録される（ステップ29）。もっとも，所定のしきい値以下の類似度をもつ検索対象画像については最初から再生対象から外すようにしても良い。グループ番号Ｉがインクレメントされる（ステップ30）。これにより，次のグループについて類似度の高いｎ駒の画像が再生キューに登録される処理が繰り返される。

グループ番号Ｉが分割数Ｌと同じとなると（ステップ23でＮＯ），すべてのグループについて類似度の算出処理が終了したこととなるから，再生キューの登録順に画像が連続して再生される（ステップ31）。

図４は，画像の再生順番を示すテーブルである。

上述のように，グループは撮影年ごとに分割されており，グループごとに上述した類似度の高い２駒の画像が再生キューに登録されることとなる。これにより，撮影年ごとに２駒の割合で画像が再生されることとなる。また，再生順番は，撮影年の古い順となり，同一の撮影年の場合には撮影年月日の古い画像または類似度の高い画像が先に再生されることとなる。

この実施例によると，撮影駒数の多い年，少ない年に関わらず，撮影年ごとに２駒の画像が表示されるので，特定の年のみ多い駒数の画像が表示される，あるいは特定の年のみ少ない駒数の画像が表示される，ということが防止される。特定人の成長記録を実際の時間の流れに対応して眺めることができるようになる。

図５から図11は，他の実施例を示すものである。

上述した実施例においては，各撮影年に少なくともｎ駒の検索対象画像が含まれているものであるが，以下に述べる実施例においては各撮影年にｎ駒の検索対象画像が含まれていない場合に対処するものである。ｎ駒の検索対象画像が含まれていない場合には，そのｎ駒の検索対象画像が含まれていない撮影年の前後の撮影年のそれぞれの画像のうち上述した類似度がもっとも高い２駒の画像を用いて合成画像が生成される。生成された合成画像がｎ駒の検索対象画像が含まれていない撮影年の画像として再生される。

図５および図６は，画像再生装置の処理手順を示すフローチャートである。この図において，図２に示す処理と同一の処理については同一符号を付して説明を省略する。

類似度の高い順にグループ番号Ｉのグループに属する検索対象画像がソーティングされると，ソーティング後のグループ内の画像の駒数がＫと置かれる（ステップ41）。グループ内の画像の駒数が上述したように抽出すべき駒数ｎ以上かどうかが判定される（ステップ42）。グループ内の画像の駒数Ｋが抽出すべき駒数ｎ以上であれば（ステップ42でＹＥＳ），そのグループ（撮影年）において表示される駒数ｎ以上の駒数の画像が含まれているので，上述した合成画像を生成する必要は無い。グループ内の画像の駒数Ｋが抽出すべき駒数ｎ未満であれば（ステップ42でＮＯ），合成画像を生成するために，そのグループ番号Ｉのグループに対して未解決フラグがオンにセットされる（ステップ43）。

グループ番号Ｉが分割数Ｌ以上となり（ステップ23でＮＯ），すべてのグループに属する画像についての類似度算出処理が終了すると，未解決フラグがオンにセットされているグループに対応する合成画像を生成する処理が行われる。このためにまず，グループ番号Ｉが０にセットされる（ステップ44）。

グループ番号Ｉが分割数Ｌ未満であれば（ステップ45でＹＥＳ），グループ番号Ｉのグループの未解決フラグがオンにセットされているかどうかが判定される（ステップ46）。オンにセットされていると（ステップ46でＹＥＳ），類似度が最上位の画像を用いて画像を生成する処理が行われる（ステップ47）。この処理について詳しくは，後述する。グループ番号Ｉがインクレメントされ（ステップ48），分割されたすべてのグループについて未解決フラグの確認および画像生成処理が行われる。

グループ番号Ｉが分割数Ｌ以上となり，分割されたすべてのグループについて未解決フラグの確認および画像生成処理が終了すると，再生キューの登録順で画像が連続して再生される（ステップ31）。

図７は，合成画像が生成されていない場合の再生順番を示すテーブルであり，図４に対応している。1974年，2006年などは再生すべき画像として２駒の画像が抽出されているが，1975年は撮影駒数が１駒しか無く，再生すべき画像はファイル名DSCF0015.JPGのみとなっている。このために画像合成が行われない場合には，1975年の再生画像は，DSCF0015.JPGのファイル名をもつ１駒の画像となってしまい，成長記録再生が実際の時間の流れに合わなくなってしまう。このために，1975年の前年である1974年の再生画像のうち，類似度のもっとも高い画像と，1975年の次の年である1976年の再生画像のうち，類似度のもっとも高い画像とを用いて合成画像が生成される。生成された合成画像が1975年の画像として再生される。

図８は，合成画像が生成された場合の再生順番を示すテーブルである。上述したように，ファイル名DSCF9999.JPGの画像が合成画像であり，1975年に撮影されたものとして再生される。

図９は，類似度が最上位の画像を用いて合成画像を生成する処理手順（図５ステップ47の処理手順）を示すフローチャートである。図10（Ａ），（Ｂ）および（Ｃ）ならびに図11（Ａ），（Ｂ）および（Ｃ）は，合成画像の生成の仕方を示している。

合成画像を生成すべき撮影年の前年の検索対象画像のうち類似度がもっとも高い画像を画像Ｉ１，合成画像を生成すべき撮影年の後年（次の年）の検索対象画像のうち類似度がもっとも高い画像が画像Ｉ２とされる（ステップ51）。画像Ｉ１および画像Ｉ２のそれぞれの画像の中から，目，口，鼻などの顔パーツが検出される（ステップ52）。

画像Ｉ１および画像Ｉ２の顔パーツの位置座標からそれぞれの顔パーツの平均座標が算出される（ステップ53）。図９（Ａ）に示すように，画像Ｉ１の顔画像（多角形画像）60の右目のパーツ画像61の座標（xp１，yp１）および図９（Ｃ）に示す画像Ｉ２の顔画像（多角形画像）70の右目のパーツ画像71の座標（xa１，ya１）の平均座標（xv１，yv１）が算出され，図９（Ｂ）に示す合成画像80の右目のパーツ画像81の座標となる。同じようにして，顔画像60の左目のパーツ画像62の座標（xp２，yp２）と鼻のパーツ画像63の座標（xp３，yp３）と口のパーツ画像64の座標（xp４，yp４）と，顔画像70の左目のパーツ画像72の座標（xa２，ya２）と鼻のパーツ画像73の座標（xa３，ya３）と口のパーツ画像74の座標（xa４，ya４）と，を用いて合成画像の左目のパーツ画像82の座標（xv２，yv２）と鼻のパーツ画像83の座標（xv３，yv３）と口のパーツ画像84の座標（xv４，yv４）とが決定される。

このようにして決定された合成画像Ｉ３の各パーツ画像の座標位置に，画像Ｉ１の各パーツ画像が変形されながら移動される（ステップ54）。同様に，合成画像Ｉ３の各パーツ画像の座標位置に，画像Ｉ２の各パーツ画像が変形されながら移動される（ステップ55）。

つづいて，画像Ｉ２の顔画像部分が切り抜かれ，画像Ｉ１の顔画像部分に，画像Ｉ２の顔画像部分と画像Ｉ１の顔画像部分とが１：１の割合となるように画像Ｉ１に合成される（ステップ56）。画像Ｉ１の顔画像部分を除く領域は何も加工しないで合成される。このようにして，図10（Ａ）に示す前年の画像のうち類似度のもっとも高い画像91と後年の画像のうち類似度のもっとも高い画像93（図10（Ｃ））とからそれらの間の年に撮影されたものとみなされる合成画像92（図10（Ｂ））が生成される。いずれにしても２駒の画像91と93とから合成画像92が生成されればよい。

画像再生装置の電気的構成を示すブロック図である。 画像再生装置の処理手順を示すフローチャートである。 グループ番号と検索対象画像との関係を示すテーブルである。 再生画像の再生順番を示すテーブルである。 画像再生装置の処理手順の一部を示すフローチャートである。 画像再生装置の処理手順の一部を示すフローチャートである。 再生画像の再生順番を示すテーブルである。 再生画像の再生順番を示すテーブルである。 合成画像を生成する処理手順を示すフローチャートである。 （Ａ）〜（Ｃ）は，合成画像を生成する様子を示している。 （Ａ）〜（Ｃ）は，合成画像を生成する様子を示している。

符号の説明

１ プロセッサ
５ 表示装置
９ ハードディスク・ドライブ
12 CD-ROMドライブ
13 CD-ROM

Claims (5)

1. 多数駒の検索対象画像を，撮影年月日にもとづいて一定期間ごとのグループとなるように，複数のグループに撮影順に分類する分類手段，
   上記分類手段によって分類された複数のグループのそれぞれのグループに属する検索対象画像の中から，検出すべき人物の顔画像を表すキー顔画像に類似する顔画像が含まれているｎ駒の検索対象画像を類似度の高い順に抽出する抽出手段，および
   上記抽出手段によって抽出された検索対象画像を，撮影年月日順に再生する再生手段，
   を備えた画像再生装置。
2. 上記抽出手段によって，１つのグループに属する検索対象画像の中から上記キー顔画像に類似する顔画像が含まれているｎ駒の検索対象画像を抽出できないかどうかを判定する判定手段，および
   上記判定手段によって抽出できないと判定されたグループの前後のそれぞれのグループに属する検索対象画像のうち，上記キー顔画像にもっとも類似する検索対象画像である２駒の検索対象画像を用いて，ｎ駒の検索対象画像のうち抽出できない検索対象画像を生成する生成手段，
   をさらに備えた請求項１に記載の画像再生装置。
3. 分類手段が，多数駒の検索対象画像を，撮影年月日にもとづいて一定期間ごとのグループとなるように，複数のグループに撮影順に分類し，
   抽出手段が，上記分類手段によって分類された複数のグループのそれぞれのグループに属する検索対象画像の中から，検出すべき人物の顔画像を表すキー顔画像に類似する顔画像が含まれているｎ駒の検索対象画像を類似度の高い順に抽出し，
   再生手段が，上記抽出手段によって抽出された検索対象画像を，撮影年月日順に再生する，
   画像再生装置の制御方法。
4. 多数駒の検索対象画像を，撮影年月日にもとづいて一定期間ごとのグループとなるように，複数のグループに撮影順に分類させ，
   分類された複数のグループのそれぞれのグループに属する検索対象画像の中から，検出すべき人物の顔画像を表すキー顔画像に類似する顔画像が含まれているｎ駒の検索対象画像を類似度の高い順に抽出させ，
   抽出された検索対象画像を，撮影年月日順に再生させるように画像再生装置を制御するプログラム。
5. 請求項４に記載のプログラムを格納した記録媒体。
   
   

Images