JP2009080794A - 画像選択装置、画像選択方法、およびプログラム - Google Patents

Abstract

【課題】画像選択装置、画像選択方法、およびプログラムを提供すること。
【解決手段】画像選択装置であって、画像の選択数を指定する選択数指定部と、複数の画像を解析し、各画像の特徴量を抽出する画像解析部２２８と、前記画像解析部により抽出された各画像の特徴量に基づいて前記複数の画像から少なくとも前記選択数の画像を選択する第１の選択部と、前記第１の選択部と異なる任意の方法で前記複数の画像から画像を選択する第２の選択部と、前記選択数が第１の設定数を上回る場合、前記第１の選択部でなく、前記第２の選択部に画像の選択を行なわせる選択制御部２４０と、を備える。
【選択図】図５

Description

本発明は、画像選択装置、画像選択方法、およびプログラムに関する。

近日、デジタルカメラが普及しており、デジタルカメラで撮像した写真画像のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）上での編集や、写真画像を順次切替えて表示装置に表示するスライドショーの実行などが広く行なわれている。

また、上記スライドショーにおいては、画像の表示と併せて音楽を再生することも可能である。例えば、対象となる複数の写真画像の最後の写真画像が表示されるまで音楽をリピート再生させるスライドショーや、音楽１曲の再生時間内に写真画像を順次切替えて表示させるスライドショーが考えられる。後者の場合、音楽１曲の再生時間内に表示可能な写真画像の枚数には制限があるため、例えばユーザーがスライドショーさせたいと思っている写真画像の母集団が該制限を上回る場合、母集団から該制限に納まる枚数の写真画像を選択する必要がある。

写真画像の選択方法としてはランダムに選択する方法が挙げられるが、かかる方法では好適な写真画像が選択されない場合がある。例えば、写真画像の母集団に多様なイベントにおいて撮像された写真画像が含まれているとき、様々なイベントにおいて撮像された写真画像が選択されることをユーザが所望したとする。しかし上記、ランダムに選択する方法では、同じイベントにおいて撮像された写真画像ばかりが選択されてしまう場合がある。近年のデジタルカメラの普及やデジタルカメラへの連写機能の搭載により、同じ構図の写真画像が何枚も存在することが多く想定されるため、上記問題は一層重要となっている。なお、スライドショーに限らず、例えば写真のサムネイル表示を所定範囲に収めたい場合、すなわち限られたスペースに固定枚数の写真画像を表示したいような場合にも同様の問題は発生する。

このため、例えば特許文献１に記載されているように、写真画像の類似度を解析することにより、類似する写真画像ばかりが選択されることを防止する選択方法も考えられる。

特開２００７−２０６９１９号公報

しかし、一般に写真画像の類似度を解析するための処理負荷は重いため、従来の選択方法では、最終的に選択すべき写真画像の枚数が増加するにつれて処理負荷が増大してしまうという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、最終的に選択すべき写真画像の枚数に応じた画像選択処理を行なうことが可能な、新規かつ改良された画像選択装置、画像選択方法、およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、画像の選択数を指定する選択数指定部と、複数の画像を解析し、各画像の特徴量を抽出する画像解析部と、前記画像解析部により抽出された各画像の特徴量に基づいて前記複数の画像から少なくとも前記選択数の画像を選択する第１の選択部と、前記第１の選択部と異なる任意の方法で前記複数の画像から画像を選択する第２の選択部と、前記選択数が第１の設定数を上回る場合、前記第１の選択部でなく、前記第２の選択部に画像の選択を行なわせる選択制御部と、を備える画像選択装置が提供される。

かかる構成においては第１の選択部が各画像の特徴量に基づいて画像選択を行なうため、第１の選択部は、複数の画像から、例えば各々の類似の程度が比較的低い少なくとも選択数の画像を選択することができる。一方、第１の選択部は上記の通り各画像の特徴量に基づいて画像選択を行なうため、選択数が増加するにつれて第１の選択部における処理負荷が膨大になりかねない。そこで、選択制御部が、選択数が第１の設定数を上回る場合、第１の選択部でなく、第１の選択部と異なる任意の方法で前記複数の画像から画像を選択する第２の選択部に画像選択を行なわせることにより、当該画像選択装置における画像選択のための処理負荷を抑制することができる。すなわち、当該画像選択装置によれば、選択数が第１の設定数を上回る場合は第２の選択部に画像選択を行なわせることにより処理負荷を抑制しつつ、選択数が第１の設定数を下回る場合は例えば第１の選択部に画像選択を行なわせることにより類似を考慮した画像を選択することができる。

前記選択制御部は、前記選択数が第１の設定数を下回る場合、前記第１の選択部に前記少なくとも選択数の画像を選択させた後に、前記第２の選択部に前記少なくとも選択数の画像から前記選択数の画像を選択させてもよい。かかる構成においては、第１の選択部において各画像の特徴量に基づいた画像選択が行なわれ、第２の選択部において他の方法を用いた画像選択が行なわれる。したがって、当該画像選択装置は、複数の画像から、各画像の特徴量に加え他の要素を複合的に考慮して選択数の画像を選択することができる。

前記第２の選択部は、前記少なくとも選択数の画像から前記選択数の画像をランダムに選択してもよい。かかる構成においては、当該画像選択装置は、複数の画像から画像選択を行なうたびに、各画像の類似の程度を考慮しつつ異なる選択数の画像を選択することができる。

前記第１の選択部は、前記複数の画像から、前記選択数および所定指数に基づいて特定される数の画像を選択してもよい。かかる構成においては、第２の選択部は、第１の選択部により選択された画像から選択数の画像を選択するため、第１の選択部により選択された画像の数と選択数との差分が大きいほど、第２の選択部により選択される画像のランダム性は高くなる。また、第１の選択部により選択される画像の数は選択数および所定指数に基づいて特定されるため、所定指数を調整することにより、第２の選択部により選択される画像のランダム性を増減することが可能である。

当該画像選択装置は、所定の画像群を、各々の撮影時刻の間隔が設定間隔値を下回る画像からなるグループに区分し、該グループの各々から少なくとも１の画像を選択する第３の選択部をさらに備え、前記複数の画像は、前記第３の選択部により選択される画像群に含まれてもよい。ここで、例えば撮影時刻の間隔が１秒差や２秒差などの設定間隔値を下回る画像の各々は、類似の場所において類似の構図である可能性が高い。そこで、第３の選択部は、所定の画像群を、各々の撮影時刻の間隔が設定間隔値を下回る画像からなるグループに区分し、該グループの各々から少なくとも１の画像を選択することにより、類似の程度が高い画像が選択される場合を抑制することができる。

当該画像選択装置は、前記第３の選択部により選択された画像群を、該画像群に含まれる各画像の撮影時刻の分散に従って複数のグループに区分し、該グループの各々から少なくとも１の画像を前記複数の画像として選択する第４の選択部をさらに備えてもよい。ここで、撮影時刻の分散に従って区分された複数のグループの各々は、場所やイベントなどの環境が類似する状況下において撮影された画像を含む可能性が高い。そこで、第４の選択部は、第３の選択部により選択された画像群を、該画像群に含まれる各画像の撮影時刻の分散に従って複数のグループに区分し、該グループの各々から少なくとも１の画像を前記複数の画像として選択することにより、異なる状況下において撮影された画像を高い割合で含む複数の画像を選択することができる。

前記選択制御部は、前記第３の選択部により選択された画像群に含まれる画像の数が第２の設定数を上回る場合、前記第４の選択部でなく、前記第２の選択部に画像の選択を行なわせてもよい。上述したように、第４の選択部は、異なる状況下において撮影された画像を高い割合で含む複数の画像を選択することができる。一方、第４の選択部は各画像の撮影時刻の分散を考慮して画像選択を行なうため、第３の選択部により選択された画像群に含まれる画像の数が増加するにつれて第４の選択部における処理負荷が増大する。そこで、第３の選択部により選択された画像群に含まれる画像の数が第２の設定数を上回る場合、第４の選択部でなく、第２の選択部に画像の選択を行なわせることにより、当該画像選択装置における画像選択のための処理負荷を抑制することができる。

前記選択制御部は、前記第３の選択部により選択された画像群に含まれる画像の数が、前記選択数および所定指数に基づいて特定される数を下回る場合、前記第３の選択部により選択された画像群に含まれる画像から前記選択数の画像を前記第１の選択部に選択させてもよい。

前記画像選択装置は、楽曲を再生する楽曲再生部と、楽曲を構成する１または２以上の区間ごとに画像の表示パターンを設定するレイアウト制御部と、画像を表示する画像表示部と、前記選択制御部による制御に基づいて選択された画像を、順次に、前記楽曲再生部による楽曲の再生位置を含む区間に設定されている表示パターンに従って表示させる表示制御部と、をさらに備えてもよい。

また、前記レイアウト制御部は、前記楽曲のムードに応じた規則に従って前記楽曲を前記１または２以上の区間に区分し、前記１または２以上の区間に前記楽曲のムードに応じた表示パターンを設定してもよい。

前記レイアウト制御部は、前記選択制御部による制御に基づいて選択された画像のうちで、最も多く顔を含む画像を最後に配置してもよい。

前記画像選択装置は、楽曲の再生区間を設定する再生区間設定部をさらに備え、前記選択数指定部は、前記再生区間が再生される間の表示のために必要となる画像数に基づいて前記画像の選択数を指定してもよい。

前記再生区間設定部は、
楽曲の盛り上がり部分の開始位置を中心とする区間を仮設定し、当該区間の始点および終点が１拍目でない場合、始点および終点を各々１拍目まで伸ばして再生区間を設定してもよい。

前記再生区間設定部は、さらに、始点から所定範囲内、または終点から所定範囲内に楽曲の構成要素が変化する構成変化点が存在する場合、始点または終点を構成変化点に更新して再生区間を設定してもよい。

前記表示パターンは、画像の切替タイミング、または画像に施すエフェクトの少なくともいずれかを含んでもよい。

前記レイアウト制御部は、楽曲のコード進行に基づいて画像を切替る場合、コード変化点において画像のフェードインが終了するように制御してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、画像の選択数を指定するステップと、前記選択数が第１の設定数を上回るか否かを判断するステップと、前記選択数が第１の設定数を下回ると判断された場合、複数の画像を解析して各画像の特徴量を抽出し、前記各画像の特徴量に基づいて前記複数の画像から少なくとも前記選択数の画像を選択するステップと、前記選択数が第１の設定数を上回ると判断された場合、前記各画像の特徴量を用いない他の任意の方法で前記複数の画像から画像を選択するステップと、を含む画像選択方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、画像の選択数を指定する選択数指定部と、複数の画像を解析し、各画像の特徴量を抽出する画像解析部と、前記画像解析部により抽出された各画像の特徴量に基づいて前記複数の画像から少なくとも前記選択数の画像を選択する第１の選択部と、前記第１の選択部と異なる任意の方法で前記複数の画像から画像を選択する第２の選択部と、前記選択数が第１の設定数を上回る場合、前記第１の選択部でなく、前記第２の選択部に画像選択を行なわせる選択制御部と、を備える画像選択装置として機能させるためのプログラムが提供される。

かかるプログラムは、例えばＣＰＵ、ＲＯＭまたはＲＡＭなどを含むコンピュータのハードウェア資源に、上記のような選択数指定部、第１の選択部、第２の選択部および選択制御部の機能を実行させることができる。すなわち、当該プログラムを用いるコンピュータを、上述の画像選択装置として機能させることが可能である。

以上説明したように本発明にかかる画像選択装置、画像選択方法、およびプログラムによれば、最終的に選択すべき画像の枚数に応じた画像選択処理を行なうことができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す順序に従って当該「発明を実施するための最良の形態」を説明する。
〔１〕第１の実施形態にかかる画像選択システムの概要
〔２〕第１の実施形態の目的
〔３〕第１の実施形態にかかるＰＣの説明
〔３−１〕ＰＣのハードウェア構成
〔３−２〕ＰＣの機能
〔３−３〕ＰＣの動作
〔４〕第２の実施形態
〔４−１〕第２の実施形態に至る経緯
〔４−２〕第２の実施形態にかかるＰＣの説明
〔４−３〕第２の実施形態の補足
〔５〕まとめ

〔１〕第１の実施形態にかかる画像選択システムの概要
まず、図１および図２を参照して第１の実施形態にかかる画像選択システム１の概要を説明する。

図１は、第１の実施形態にかかる画像選択システム１の構成を示した説明図である。図１に示したように、当該画像選択システム１は、撮影装置１０、およびＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２０を含む。

撮影装置１０は、撮影装置１０に集光された静止画や動画などの画像を半導体素子を用いて電気信号に変換し、撮影装置１０に内蔵されている記憶媒体に該電気信号をデジタル形式で記録する。上述したように、撮影装置１０は静止画や動画などの画像を撮影し得るが、本実施形態の説明においては、特に記載が無い場合、画像は主に静止画を示すものとする。撮影装置１０により撮影される画像の一例を図２に示す。

図２は、撮影装置１０により撮影される画像の一例を示した説明図である。ここでは、ある家族の旅行中に図２に示したような画像が撮影されたものとする。図２に示したように、撮影装置１０は、複数の画像を撮影し、各画像に撮影時刻を対応付けて記憶媒体に記録することができる。なお、撮影時刻はＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）情報として記録されてもよい。

具体的には、橋が被写体である画像Ａが「２００７／８／１８／８：３２：２４」に撮影され、山が被写体である画像ＢおよびＣが「２００７／８／１８／１２：２４：１６」および「２００７／８／１８／１２：２４：１７」に撮影されている。また、家族を被写体とする画像Ｄ〜Ｆが「２００７／８／１８／１４：０６：１１」、「２００７／８／１８／１４：０６：１３」、および「２００７／８／１８／１４：０６：１５」に撮影されている。

ここで、画像Ｄ〜Ｆのように２秒間隔などでの連続的な撮影は手動で行なうことも可能であるが、撮影装置１０が一度の撮影指示に応じて自動的に画像を連続撮影する連写機能に基づいて行なうことも可能である。かかる連写機能は、連続撮影された画像のうちでユーザが最も気に入った画像を選択できる点で有効である。

以下同様に、被写体が屋台である画像Ｇ、被写体が花火である画像ＨおよびＩ、被写体が川である画像Ｊ、被写体が花である画像ＫおよびＬが撮影装置１０により撮影された場合を図２に示している。

画像選択システム１を構成する本実施形態にかかるＰＣ２０は、上記のように撮影装置１０により撮影された画像群から、ある枚数の画像を選択する。かかる画像の選択は、例えば、ある曲中に所定間隔で画像を切替えて表示するスライドショーを実行する場合や、限られたスペースに画像を敷き詰める場合など、多様なシチュエーションにおいて行なわれることが想定される。詳細については後述するが、本実施形態にかかる画像選択装置として機能するＰＣ２０は、最終的に選択すべき画像の枚数に応じた画像選択処理を行なうことができる。

なお、図１においては画像選択装置の一例としてＰＣ２０を示しているが、画像選択装置はかかる例に限定されず、例えば、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、携帯用ゲーム機器、家電機器、プリンタなどの情報処理装置であってもよい。また、撮影装置１０が、上記画像群からある枚数の画像を選択する画像選択の機能を実装していてもよい。また、ＰＣ２０に実装される画像選択装置としての機能は、ネットワーク上に設けられたサーバに実装することも可能である。すなわち、ネットワーク上に設けられたサーバが、クライアント機器からの要求に応じて画像群から画像選択を行い、クライアント機器に画像選択の結果を通知してもよい。

〔２〕第１の実施形態の目的
以上、第１の実施形態にかかる画像選択システム１について概略的に説明した。続いて、本実施形態の目的を説明する。

例えば図２に示した画像群からある枚数の画像を選択する場合、単純には、ランダムに選択するという方法が考えられる。この場合、例えば図３に示す画像が選択される。

図３は、ランダムな画像選択の結果例を示した説明図である。図３に示したように、ランダムな画像選択では、類似する画像が重複して含まれ、画像群に含まれていた個性のある画像が選択されない場合がある。すなわち、選択された画像ＤおよびＥ、画像ＨおよびＩのように被写体、および構図が類似する画像が選択される場合がある。

しかし、類似する画像が少なく、各々が個性を有する画像ができるだけ多く選択された方が、選択された画像を見たユーザがより多くの情報を得ることができるという観点からは有効である。

このため、画像の類似度を解析することにより、類似する写真画像ばかりが選択されることを防止する選択方法も考えられる。しかし、一般に画像の類似度を解析するための処理負荷は重いため、当該選択方法では、最終的に選択すべき画像の枚数が増加するにつれて処理負荷が増大してしまうという問題があった。

そこで、上記のような事情に鑑みて本実施形態にかかる画像選択装置として機能するＰＣ２０を創作するに至った。本実施形態にかかるＰＣ２０によれば、最終的に選択すべき画像の枚数に応じた画像選択処理を行なうことができる。以下、図４〜図１３を参照し、当該ＰＣ２０について詳細に説明する。

〔３〕第１の実施形態にかかるＰＣの説明
〔３−１〕ＰＣのハードウェア構成
図４は、ＰＣ２０のハードウェア構成を示したブロック図である。ＰＣ２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、ホストバス２０４と、ブリッジ２０５と、外部バス２０６と、インターフェース２０７と、入力装置２０８と、出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、通信装置２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従ってＰＣ２０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置２０８は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。ＰＣ２０のユーザは、該入力装置２０８を操作することにより、ＰＣ２０に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置２１０は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力装置２１０は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。

ストレージ装置２１１は、本実施形態にかかるＰＣ２０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置２１１は、ハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。また、このストレージ装置２１１には、後述の、画像、画像関連情報、画像選択結果などが記録される。

ドライブ２１２は、記憶媒体用リーダライタであり、ＰＣ２０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ２０３に出力する。

通信装置２１５は、例えば、通信網１２に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置２１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。この通信装置２１５は、撮影装置１０との間で画像を送受信することができる。

〔３−２〕ＰＣの機能
以上、図４を参照して本実施形態にかかるＰＣ２０のハードウェア構成を説明した。続いて、図５〜図１２を参照し、当該ＰＣ２０の機能を説明する。

図５は、第１の実施形態にかかるＰＣ２０の構成を示した機能ブロック図である。図５に示したように、ＰＣ２０は、通信部２１６、画像記憶部２２０、撮影時刻情報取得部２２４、画像解析部２２８、画像関連情報記憶部２３２、選択枚数指定部２３６、選択制御部２４０、画像選択部２５０、および画像選択結果記憶部２６０を備える。

通信部２１６は、撮影装置１０とのインターフェースであって、撮影装置１０により撮影された画像群を受信する。画像記憶部２２０は通信部２１６により受信された画像群を、撮影時刻と併せて記憶する。なお、撮影装置１０により撮影された画像が撮影装置１０およびＰＣ２０と着脱可能な記憶媒体に記録されている場合、画像記憶部２２０は該記憶媒体であってもよい。

なお、記憶媒体としては、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性メモリや、ハードディスクおよび円盤型磁性体ディスクなどの磁気ディスクや、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ／＋Ｒ／＋ＲＷ／ＲＡＭ（Ｒａｍｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））―Ｒ／ＢＤ−ＲＥなどの光ディスクや、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどがあげられる。後述の画像関連情報記憶部２３２、および画像選択結果記憶部２６０も上記同様の記憶媒体であってもよい。また、図５においては、画像記憶部２２０、画像関連情報記憶部２３２、および画像選択結果記憶部２６０を異なる構成として記載しているが、画像記憶部２２０、画像関連情報記憶部２３２、および画像選択結果記憶部２６０は同一の記憶媒体であってもよい。

撮影時刻情報取得部２２４は、画像記憶部２２０に記憶されている画像の例えばＥＸＩＦ情報から撮影時刻情報を取得し、画像関連情報記憶部２３２に記録する。具体的には、撮影時刻情報取得部２２４は、画像を識別する画像ＩＤと、該画像の撮影時刻とを対応付けて画像関連情報記憶部２３２に記録してもよい。

画像解析部２２８は、画像記憶部２２０に記憶されている画像を解析し、画像の特徴量を抽出し、画像関連情報記憶部２３２に記録する。画像の特徴量としては、画像に含まれる色とその割合を示す色分布、画像に含まれる顔の位置や大きさ、画像に含まれる各周波数成分の大きさ、画像に含まれる被写体の笑顔の度合いなどがあげられる。

画像関連情報記憶部２３２は、撮影時刻情報取得部２２４において取得された画像の撮影時刻情報や、画像解析部２２８において抽出された画像の特徴量などの画像関連情報を記憶する。

選択枚数指定部２３６は、画像記憶部２２０に記憶されている画像群から最終的に選択すべき画像の枚数である最終選択枚数（選択数）を指定する選択数指定部として機能する。選択枚数指定部２３６は、多様な情報、または入力などに基づいて上記最終選択枚数を指定することができる。例えば、ある曲が再生される間に所定間隔で画像をスライドショーさせる場合、選択枚数指定部２３６は、該曲の再生時間を上記所定間隔で除した値を最終選択枚数として指定してもよい。

または、ある範囲内に所定サイズの画像を敷き詰める場合、選択枚数指定部２３６は、該範囲に敷き詰めた場合に要する上記所定サイズの画像の枚数を計算して最終選択枚数として指定してもよい。または、選択枚数指定部２３６は、ユーザにより入力された画像の枚数を最終選択枚数として指定してもよい。

または、画像のプリントを業者に依頼する場合、選択枚数指定部２３６は、ユーザにより入力された予算を１枚あたりのプリント料金で除した値を最終選択枚数として指定してもよい。または、選択枚数指定部２３６は、ユーザにより入力されたデータ量に対応する画像の枚数を最終選択枚数として指定してもよい。

選択制御部２４０は、画像記憶部２２０に記憶されている画像群から、選択枚数指定部２３６により指定された最終選択枚数の画像を画像選択部２５０に選択させる。そして、選択制御部２４０の制御に基づいて画像選択部２５０により選択された画像、または画像ＩＤを画像選択結果記憶部２６０が記憶する。以下、画像記憶部２２０に記憶されている画像群から、最終選択枚数の画像を選択する選択制御部２４０および画像選択部２５０の機能を詳細に説明する。

図６は、選択制御部２４０および画像選択部２５０において用いられるパラメータ例を示した説明図である。図６に示したように、連写基準値、類似指数（所定指数）、ランダム指数、最終枚数判断値、および対象枚数判断値などのパラメータが本実施形態において利用される。またこれらのパラメータによって、各選択部においてどれだけの量の画像を処理するかも決定される。したがって、これらのパラメータは、所望する最終選択枚数や、システムとして許容可能な演算時間などにより決定されてもよい。これら各パラメータの利用方法および意味合いについては適当な箇所で適宜説明する。

また、画像選択部２５０は、連写判断選択部２５２と、イベント判断選択部２５４と、類似判断選択部２５６と、ランダム選択部２５８と、を備える。

（連写判断選択部）
連写判断選択部２５２は、一連の連写画像から複数の画像がなるべく選択されないようにして、選択対象の画像の枚数を削減する第３の選択部として機能する。具体的には、まず、連写判断選択部２５２は、撮影時刻順に整列された選択対象の画像の、各々に隣接する画像との撮影時刻の差、つまり撮影時刻間隔を画像関連情報記憶部２３２に記憶されている撮影時刻情報に基づいて求める。

そして、連写判断選択部２５２は、撮影時刻間隔が規定時間以内の画像を順に同一グループにまとめてゆき、規定時間より大きい画像があれば、該画像を次のグループに区分する。ここで、連写判断選択部２５２は、規定時間として図６に示した連写基準値（設定間隔値）を用いることができる。その後、連写判断選択部２５２は、各グループから１枚ずつ画像を選択する。ここまでの連写判断選択部２５２による処理を、図７に模式的に示した。

図７は、画像選択部２５０による処理を模式的に示した説明図である。図７に示したように、連写判断選択部２５２は、撮影時刻順に整列された画像ａ〜ｕを、撮影時刻間隔に応じて複数のグループに区分する。図７には、撮影時刻準に整列された画像ａ〜ｕが、画像ａ〜ｃからなるグループ１、画像ｄおよびｅからなるグループ２、画像ｆ〜ｊからなるグループ３、画像ｋ〜ｍからなるグループ４、画像ｎのみからなるグループ５、画像ｏおよびｐからなるグループ６、画像ｑのみからなるグループ７、画像ｒ〜ｔからなるグループ８、および画像ｕのみからなるグループ９に区分された場合を示している。

さらに、連写判断選択部２５２は、例えば各グループから１枚ずつ画像を選択する。図７には、連写判断選択部２５２がグループ１から画像ｂを、グループ２から画像ｄを、グループ３から画像ｉを、グループ４から画像ｋを、グループ５から画像ｎを、グループ６から画像ｐを、グループ７から画像ｑを、グループ８から画像ｔを、グループ９から画像ｕを選択した場合を示している。

連写判断選択部２５２は、「グループ数≧最低選択写真枚数」である場合、各グループを代表する画像を選択結果として処理を終了する。一方、連写判断選択部２５２は、「グループ数＜最低選択写真枚数」である場合、各グループを代表する画像に加え、選択されなかった写真画像全体に対して追加でランダムに画像の選択を行い、最低選択写真枚数分の写真画像を確保して処理を終了する。

このような連写判断選択部２５２が図２に示した画像群に対して画像選択を行なった場合、例えば図８に示す画像が選択される。

図８は、連写判断選択部２５２による画像選択の結果例を示した説明図である。図８に示したように、連写判断選択部２５２は、１秒間隔で撮影された画像ＢおよびＣからは画像Ｃのみを、２秒間隔で撮影された画像Ｄ〜Ｆからは画像Ｄのみを選択することができる。画像Ｄ〜Ｆのように、撮影間隔が短い画像は類似の場所において類似の構図である可能性が高いため、連写判断選択部２５２により、類似する可能性が高い画像が複数選択される場合を抑制することができる。

（イベント判断選択部）
イベント判断選択部２５４は、撮影時刻間隔の分散に従って選択対象の画像を複数のグループに区分し、なるべく異なるイベントの画像を含むようにして画像選択を行う第４の選択部として機能する。イベントとしては、例えば、家族旅行、運動会、結婚式、などの行事や、家族旅行中の登山、花火、ドライブなどの詳細な工程が想定される。また、イベント判断選択部２５４は、選択対象の画像から選択する画像の枚数が選択制御部２４０により指定され、該指定された枚数の画像を選択する。

具体的には、まず、イベント判断選択部２５４は、撮影時刻順に整列された画像を撮影時刻間隔の分散、各単位時間内に撮像された画像数などに基づいて選択対象の画像を複数のグループに区分する。さらに、イベント判断選択部２５４は、各グループから１枚ずつランダムにグループを代表する画像を選択する。イベント判断選択部２５４によるここまでの処理は、連写判断選択部２５２の説明で参照した図７に示したように行なわれる。また、イベント判断選択部２５４による選択対象の画像の複数のグループへの区分は、例えば図９に示すように行なわれる。

図９は、イベント判断選択部２５４による選択対象の画像が複数のグループに区分される様子を示した説明図である。グラフは、選択対象の画像の撮影頻度の移動平均をとったものであり、横軸は時間を示し、縦軸は撮影頻度を示す。図９に示したように、イベント判断選択部２５４は、撮影頻度がある水平方向の点線で示した境界値を上下する度にグループを区分してもよい。図９に示した例では、選択対象の画像は、時刻ｔ１〜ｔ２の間を撮影時刻とする画像のグループ、時刻ｔ２〜ｔ３の間を撮影時刻とする画像のグループ、時刻ｔ３〜ｔ４の間を撮影時刻とする画像のグループ、時刻ｔ４〜ｔ５の間を撮影時刻とする画像のグループ、時刻ｔ５〜ｔ６の間を撮影時刻とする画像のグループ、に区分されている。

なお、イベント判断選択部２５４による選択対象の画像の複数のグループへの区分については、例えば下記参考文献にも記載されている。
参考文献：特開２００７−２０６９１９号公報

イベント判断選択部２５４は、「グループ数≧選択枚数」である場合、例えば画像数の多いグループから優先的に、各グループを代表する写真画像を取り出し、画像の選択結果として処理を終了する。一方、イベント判断選択部２５４は、「グループ数＜選択枚数」である場合、各グループを代表する画像に加え、選択されなかった画像全体からランダムに選択した画像を追加し、指定された枚数分の画像を確保して処理を終了する。

このようなイベント判断選択部２５４が図８に示した画像群に対して画像選択を行なった場合、例えば図１０に示す画像が選択される。

図１０は、イベント判断選択部２５４による画像選択の結果例を示した説明図である。図１０に示したように、イベント判断選択部２５４は、図８に示した画像群から、画像Ａ、Ｃの朝の写真、画像Ｄの昼頃の写真、画像Ｇ、Ｈ、Ｉの夕方の写真、のように時間的に異なるイベントから、満遍なく画像を選択することができる。ここで、撮影時刻の分散に従って区分された複数のグループの各々は、場所やイベントなどの環境が近似する状況下において撮影された画像を含む可能性が高い。そこで、イベント判断選択部２５４は、上述のように各グループから画像を選択することにより、近似する状況下において撮影された画像の選択数を抑制することができる。

（類似判断選択部）
類似判断選択部２５６は、選択対象の画像から、見た目の類似する画像がなるべく削減されるように画像を選択する第１の選択部として機能する。また、類似判断選択部２５６は、選択対象の画像のうちから選択する画像の枚数を例えば選択制御部２４０により指定され、該指定された枚数の画像を選択する。

具体的には、まず、類似判断選択部２５６は、撮影時刻順に整列された画像の、各々に隣接する画像との間の類似距離を求める。類似距離とは、画像関連情報記憶部２３２に格納された画像の特徴量に基づき、画像間の見た目の類似度を数値化したものであって、特徴量が近似するほど大きな値で表現される。

例えば、赤色が１０％、白色が９０％含まれる画像特徴量Ａと、赤色が１５％、白色が８５％含まれる画像特徴量Ｂとの類似距離は１０と表現されてもよい。一方、上記画像特徴量Ａと、赤色が８０％、黒色が２０％含まれる画像特徴量Ｃとの類似距離は１と表現されてもよい。

そして、類似判断選択部２５６は、全ての隣接する画像間の類似距離の中で、「指定された画像の選択枚数―１」番目に大きかった類似距離を求め、これを閾値とする。類似判断選択部２５６は、類似距離が、この閾値より小さい画像を順に同一グループにまとめてゆき、該閾値以上となる画像があれば、そこでグループを区分する。その後、類似判断選択部２５６は、各グループからは１枚ずつランダムにグループを代表する画像を選択する。類似判断選択部２５６によるここまでの処理は、連写判断選択部２５２の説明で参照した図７に示したように行なわれる。

このような類似判断選択部２５６が図１０に示した画像群に対して画像選択を行なった場合、例えば図１１に示す画像が選択される。

図１１は、類似判断選択部２５６による画像選択の結果例を示した説明図である。図１１に示したように、類似判断選択部２５６は、図１０に示した画像群から、花を被写体とするため見た目の類似の程度が高い画像Ｋ、Ｌから画像Ｌのみを選択することができる。また、類似判断選択部２５６は、全体的に暗い画像である点で類似する画像Ｇ、Ｈから画像Ｈのみを選択することができる。

なお、上記では類似判断選択部２５６が隣接する画像間の類似距離に基づいてグループ分割を行う場合を説明したが、全ての選択対象の画像間の類似距離に基づき、公知のクラスタリング技術によってグループ分割を行ってもよい。ただしその場合、一般的に画像の枚数によっては演算量が増大する。

また、上記では類似判断選択部２５６が各グループからはランダムでグループを代表する画像を選択する場合を説明したが、画像解析の結果に基づき、例えば顔の写っている写真画像を優先的に代表としたり、同じ顔でも笑顔度の高い顔の写っている写真画像を代表としたり、また色分布に基づきより色彩豊かな画像を代表としてもよい。

（ランダム選択部）
ランダム選択部２５８は、選択対象の画像からランダムに画像を選択する第２の選択部として機能する。また、ランダム選択部２５８は、選択対象の画像から選択する枚数が例えば選択制御部２４０により指定され、該指定された枚数の画像を選択する。

（選択制御部）
選択制御部２４０は、上述した画像選択部２５０の各構成を制御することにより、画像記憶部２２０に記憶されている画像群から、選択枚数指定部２３６により指定された最終選択枚数の画像を選択する。以下、選択制御部２４０の機能を詳細に説明する。

なお、本実施形態は、多数の画像から必要な枚数の画像を選び出すことを目的とする。したがって、「選択対象の画像枚数≦最終選択枚数」である場合、既に選択対象の画像枚数が最終選択枚数以内に収まっているので画像選択の必要がない。このように「選択対象の画像枚数≦最終選択枚数」である場合にどうするべきであるかは、一般にアプリケーションに依存する部分である。例えば使用する画像枚数の決まったスライドショーのような場合では、画像を繰り返し使うなどして最終選択枚数準備する必要があるし、単に一覧性を高めるために枚数を絞る目的であればそのまま全ての画像を使うことが考えられる。よって、以下では「選択対象の画像枚数＞最終選択枚数」である場合を想定して説明する。

選択制御部２４０は、基本的には、画像記憶部２２０に記憶されている画像群から、図１２に示すように、連写判断選択部２５２、イベント判断選択部２５４、類似判断選択部２５６、ランダム選択部２５８、の順に画像選択を行なわせ、最終選択枚数の画像を得る。

図１２は、最終選択枚数の画像が選択される様子を示した説明図である。図１２に示したように、画像記憶部２２０が記憶する画像群の枚数が（１＋α＋β）・Ｍを上回っており、連写判断選択部２５２により選択された画像の枚数も（１＋α＋β）・Ｍを上回ったものとする。

この場合、選択制御部２４０は、連写判断選択部２５２により選択された画像から、（１＋α＋β）・Ｍ枚の画像をイベント判断選択部２５４に選択させる。そして、選択制御部２４０は、イベント判断選択部２５４により選択された（１＋α＋β）・Ｍ枚の画像から、（１＋β）・Ｍ枚の画像を類似判断選択部２５６に選択させる。

さらに、選択制御部２４０は、類似判断選択部２５６により選択された（１＋β）・Ｍ枚の画像から、最終選択枚数であるＭ枚の画像をランダム選択部２５８に選択させる。その結果、ＰＣ２０は、例えば図１１に示したような類似判断選択部２５６により選択された見た目の類似度が低い画像からランダムに画像を選択することができる。

上記説明から理解されるように、ランダム指数βは、最終的に選択される画像にどれだけのランダム性を持たせるかを示す。例えば、図６に示したようにβ＝０．１とし、最終選択枚数Ｍが１０枚であった場合には、ランダム選択部２５８以前に選択された１１枚の画像から１０枚がランダム選択部２５８によりランダム選択される。したがって、ランダム指数βを大きくすればするほど、最終的に選択される画像のランダム性は高まる。一方特にランダム性を求めない場合、すなわち本実施形態による画像選択は一度だけ行われれば十分で再び選択しなおすといったユースケースがないような場合には、β＝０．０として、相対的に他の選択部において処理される画像の枚数の割合を増やしてもよい。

また、類似指数αは、類似判断選択部２５６においてどれだけの枚数の画像を処理対象とするかを示す。β＝０．１、α＝０．５とし、最終選択枚数Ｍが１０枚だとすれば、類似判断選択部２５６以前までに選択された１６枚の画像から１１枚が類似判断選択部２５６により選択される。したがって、類似指数αを大きくすればするほど、類似判断選択部２５６における処理枚数が増加するため、ＰＣ２０全体の演算時間が増加する傾向になる。
また、類似判断選択部２５６は、上述したように、選択対象の画像群の中から相対的に類似している画像をグループ化する処理である。従って、類似指数αを大きくすればするほど、この“類似しているかどうか”の判定は緩くなる。

このようなランダム選択部２５８による画像選択を最後に行なわせる選択制御部２４０による制御により、最終的に選択される画像のランダム性が向上される。選択制御部２４０が、仮に類似判断選択部２５６による画像選択を最後に行なわせる制御をした場合、次のような問題が発生する場合がある。

例えば、類似判断選択部２５６において図７のようにグルーピングされた結果、”ｑ”や”ｕ”のように１画像からなるグループが存在する場合、グループからランダムで1つ選び出した際の結果は必ず同じ画像となってしまう。

続いて、選択制御部２４０が、連写判断選択部２５２、イベント判断選択部２５４、類似判断選択部２５６、の順に画像選択をさせることによる利点を説明する。

類似する複数の画像が最終結果に含まれないようにする、という目的からすれば、連写判断選択部２５２や類似判断選択部２５６に画像選択をさせた後に、イベント判断選択部２５４に画像選択をさせることも有効に思われる。なぜなら、先にイベント判断選択部２５４で画像枚数を絞り込んでしまい、類似判断選択部２５６が画像選択を行う段階で類似する画像ばかりが残されている場合、類似判断選択部２５６は類似する画像を除去しきれないためである（弊害１）。

例えば、類似判断選択部２５６において１６枚から１１枚の画像を選択する場合、１６枚のうち１０枚が非常に酷似した画像であると、最終的に選択される１１枚のうち、少なくとも５枚以上は似通った画像が選択されてしまう。

しかしながら、類似判断選択部２５６による画像選択処理は一般に、画像の特徴量に基づく高次な類似距離の計算を含むため、他の処理に比べて演算量が大きい。ここで、画像選択処理が後段に位置するほど、処理対象の画像枚数が少なくなるため、演算量の大きい画像選択処理を後段に配することで演算量を抑制することができる。

一方で、連写判断選択部２５２は、時刻情報の差を計算することを主とする軽微な画像選択処理である。そこで、ＰＣ２０における演算量の観点から、連写判断選択部２５２による画像選択を最初に選択制御部２４０が行なわせる。また、上記（弊害１）が発生するケースは、選択対象である画像群に含まれる画像の多くが酷似する画像ばかりであるケースがほとんどで、その場合、先に類似判断選択部２５６が画像選択を行なったからといって自体が好転する蓋然性は低い。したがって、選択制御部２４０は、イベント判断選択部２５４において選択対象の画像数を減らさせた後に、類似判断選択部２５６に画像選択を行なわせている。

上述したように、選択制御部２４０は、基本的には、連写判断選択部２５２、イベント判断選択部２５４、類似判断選択部２５６、ランダム選択部２５８、の順に画像選択を行なわせる。しかし、類似判断選択部２５６による画像選択において用いられる類似指数αは最終選択枚数Ｍに対する割合を示すため、最終選択枚数Ｍが大きくなるほど類似判断選択部２５６における画像の処理枚数が増加してしまう。

そこで、選択制御部２４０は、最終選択枚数Ｍが最終枚数判断値γより大きい場合、類似判断選択部２５６およびイベント判断選択部２５４に画像選択を行なわせず、ランダム選択部２５８に画像選択を行なわせる。かかる構成により、選択制御部２４０は、類似判断選択部２５６において発生する負荷が許容範囲を超えると判断される場合に、ランダム選択部２５８に画像選択を行なわせることにより、ＰＣ２０における画像選択の処理負荷を抑制することができる。

なお、図６では最終枚数判断値γが８００枚である場合を示しているが、最終枚数判断値γは８００に限定されない。また、最終枚数判断値γは、ＰＣ２０の性能に応じてあらかじめ設定されている固定値であっても、ＰＣ２０のユーザが任意に設定する値であってもよい。また、ＰＣ２０のユーザが、ＰＣ２０による画像選択処理のために許容される時間を入力し、該時間内に画像選択処理を終了させることが可能になるようにＰＣ２０が最終枚数判断値γの値を算出してもよい。また、最終枚数判断値γは、類似指数αの値に応じて動的に設定されてもよい。

また、例えば１１枚の画像から１０枚の画像を選択する場合、必ずしも連写判断選択部２５２、イベント判断選択部２５４、類似判断選択部２５６、ランダム選択部２５８に画像選択を行わせることが適切とは限らない。不要な演算が発生しかねないためである。このため、最終選択枚数Ｍに対する選択対象の枚数に応じ、選択制御部２４０は適宜どの選択部から処理を行わせるかを判断してもよい。例えば、２０枚の画像から１９枚の画像を選ぶような、最終選択枚数Ｍが初期の選択対象の画像枚数に対して近い場合には、類似判断選択部２５６およびイベント判断選択部２５４などによる処理は行われず、ランダム選択部２５８のみにより処理されてもよい。その他の選択制御部２４０による制御内容は、ＰＣ２０の全体の動作と併せて図１３を参照して以下に説明する。

〔３−３〕ＰＣの動作
図１３は、第１の実施形態にかかるＰＣ２０において実行される画像選択方法の流れを示したフローチャートである。まず、ＰＣ２０の選択枚数指定部２３６は、最終選択枚数Ｍを指定する（Ｓ３０４）。続いて、各パラメータ（α、β、γ、δ）が設定される（Ｓ３０８）。当該設定は、人為的に行われても、自動的に行なわれてもよい。

続いて、選択制御部２４０は、連写判断選択部２５２に連写を考慮した画像選択を行なわせる（Ｓ３１２）。ここで、連写判断選択部２５２により選択された画像の枚数をＮとする。かかるＮが最終選択枚数Ｍと等しい場合、選択制御部２４０は、画像選択部２５０に画像選択を行なわせることなく処理を終了する（Ｓ３１６）。

一方、Ｎと最終選択枚数Ｍが異なる場合、選択制御部２４０は、「Ｍ＞γ」または「Ｎ＞δ」のいずれかの条件を満たすか否かを判断する（Ｓ３２０）。選択制御部２４０は、「Ｍ＞γ」または「Ｎ＞δ」のいずれかの条件を満たすと判断した場合、ランダム選択部２５８に最終選択枚数であるＭ枚の画像を選択させる（Ｓ３４０）。

すなわち、「Ｎ＞δ」である場合は、イベント判断選択部２５４における選択対象の画像が多大であることを意味するため、イベント判断選択部２５４における演算量が膨大になりかねない。そこで、「Ｎ＞δ」である場合は、イベント判断選択部２５４でなくランダム選択部２５８に画像選択を行なわせることにより、ＰＣ２０による画像選択の処理負荷を抑制することができる。

また、選択制御部２４０は、Ｓ３２０において「Ｍ＞γ」および「Ｎ＞δ」の双方を満たさないと判断した場合、Ｎが（１＋β）・Ｍを上回るか否かを判断する（Ｓ３２４）。選択制御部２４０は、Ｎが（１＋β）・Ｍを下回ると判断した場合、Ｓ３４０の処理に進む。一方、選択制御部２４０は、Ｎが（１＋β）・Ｍを上回ると判断した場合、さらにＮが（１＋α＋β）・Ｍを上回るか否かを判断する（Ｓ３２８）。

選択制御部２４０は、Ｎが（１＋α＋β）・Ｍを上回ると判断した場合、イベント判断選択部２５４に（１＋α＋β）・Ｍ枚の画像を選択させる（Ｓ３３２）。一方、選択制御部２４０は、Ｎが（１＋α＋β）・Ｍを下回ると判断した場合、類似判断選択部２５６に（１＋β）・Ｍ枚の画像を選択させる（Ｓ３３６）。

Ｓ３３２の後、選択制御部２４０は、類似判断選択部２５６に画像選択を行なわせ（Ｓ３３６）、ランダム選択部２５８に画像選択を行なわせ（Ｓ３４０）、処理を終了する。

〔４〕第２の実施形態
〔４−１〕第２の実施形態に至る経緯
近日、デジタルカメラが普及しており、デジタルカメラで撮像した写真画像のＰＣ上での編集や、写真画像を順次切替えて表示装置に表示するスライドショーの実行などが広く行なわれている。

また、上記スライドショーにおいては、画像の表示と併せて楽曲を再生することも可能である。スライドショーと併せて楽曲を再生する方法として、以下の方法が考えられる。
（１）固定の楽曲と、当該楽曲に合うように画像の切替タイミングやエフェクトが調整されたテンプレートを用いる。
（２）ユーザにより指定された楽曲を再生しつつ、画像のスライドショーを行なう。

上記（１）の方法では、楽曲の流れに同調したスライドショーを実現できるが、ユーザが任意の楽曲を指定できない点で利便性に欠ける。また、上記（２）の方法では、ユーザが任意の楽曲を指定できるが、スライドショーにおける画像の切替タイミングやエフェクトが楽曲の流れに合致しない点でユーザに不満が残る。

また、特開２２０７−３５１２１号公報に記載の「再生制御装置および方法、並びにプログラム」によれば、音声波形に基づいてスライドショーにおける画像のエフェクトを選択することができる。しかし、当該「再生制御装置および方法、並びにプログラム」では、楽曲のムードに一致するスライドショーを実現することが困難であった。

そこで、上記事情を一着眼点にして第２の実施形態にかかるＰＣ２１を創作するに至った。第２の実施形態にかかるＰＣ２１によれば、楽曲のムードに応じたスライドショーを実現することができる。以下、このようなＰＣ２１について、図１４〜図２７を参照して詳細に説明する。

〔４−２〕第２の実施形態にかかるＰＣの説明
図１４は、第２の実施形態にかかるＰＣ２１の構成を示した機能ブロック図である。図１４に示したように、第２の実施形態にかかるＰＣ２１は、画像選択用構成２８０と、楽曲記憶部４２０と、デコーダ４２４と、楽曲解析部４２８と、楽曲特徴量記憶部４３２と、再生区間設定部４３６と、レイアウト制御部４４０と、操作部４４８と、設定管理部４５２と、ムード判定部４５６と、ミキサ・エフェクタ回路４６０と、音響出力部４６４と、映像出力部４６８と、を備える。

画像選択用構成２８０は、１または２以上の画像群を記憶しており、１または２以上の画像群から所定数の画像を選択する。具体的には、画像選択用構成２８０は、第１の実施形態において説明した画像記憶部２２０、撮影時刻情報取得部２２４、画像解析部２２８、画像関連情報記憶部２３２、選択枚数指定部２３６、選択制御部２４０、および画像選択部２５０などから構成されてもよい。また、画像選択用構成２８０は、選択した画像を、レイアウト制御部４４０により後述の画像表示枠に配置された順序にしたがってデコーダ４２４へ供給する。

楽曲記憶部４２０は、任意の楽曲データを記憶している。なお、図１４においては楽曲記憶部４２０と楽曲特徴量記憶部４３２とを異なる構成として記載しているが、楽曲記憶部４２０は楽曲特徴量記憶部４３２は同一の記憶媒体であってもよい。

デコーダ４２４は、楽曲記憶部４２０に記憶されている楽曲データ、および画像選択用構成２８０に記憶されている画像のデコード機能を有する。例えば、デコーダ４２４は、ＭＰ３（ＭＰＥＧ１ Ａｕｄｉｏ Ｌａｙｅｒ−３）形式、またはＡＴＲＡＣ（Ａｄａｐｔｉｖｅ ＴＲａｎｓｆｏｒｍ Ａｃｏｕｓｔｉｃ Ｃｏｄｉｎｇ）形式の楽曲データをＰＣＭ形式にデコードする。

楽曲解析部４２８は、デコーダ４２４によりデコードされた楽曲データを解析し、楽曲特徴量を取得して楽曲特徴量記憶部４３２に記憶させる。楽曲解析部４２８が楽曲特徴量を取得するまでの流れを、図１５にまとめた。

図１５は、楽曲解析部４２８が楽曲特徴量を取得するまでの流れを示したフローチャートである。図１５に示したように、まず、楽曲記憶部４２０に記憶されている楽曲データのいずれかが例えば操作部４４８を介してユーザにより選択される（Ｓ５０４）。そして、当該楽曲データが解析済みでなく（Ｓ５０８）、当該楽曲データがエンコードされている場合（Ｓ５１２）、デコーダ４２４が当該楽曲データをデコードする（Ｓ５２６）。

その後、ＰＣＭ形式にデコードされた楽曲データ、またはエンコードされていなかった楽曲データを楽曲解析部４２８が例えば音楽解析し（Ｓ５２０）、楽曲特徴量を取得する（Ｓ５２４）。

ここで、楽曲解析部４２８により取得される楽曲特徴量について以下に例示する。

（ムード特徴量）
「明るい」、「楽しい」、「悲しい」、「さわやか」、などの楽曲の印象、雰囲気、または気分が数値化された特徴量である。楽曲データを信号処理（音楽解析）することにより基本特徴量（例えば、テンポ、以下の楽曲進行情報など）を抽出し、基本特徴量を利用した機械学習および音楽推定により高次特徴量である当該ムード特徴量を抽出することができる。より詳細な解析方法については、例えば、特開２００５−２７５０６８、特開２００８−２７５３８、および特開２００８−６５９０５などに記載されている。

（楽曲構成情報）
Ａメロ、Ｂメロ、サビ、エンディングなどの楽曲の構成要素が開始するタイミングを楽曲の先頭を基準に表す情報である。図１６を参照し、より具体的に楽曲構成情報について説明する。

図１６は、楽曲構成の一例を示した説明図である。図１６には、イントロ、Ａメロ、Ｂメロ、サビ、間奏、Ｂメロ、サビ、・・・という順に構成要素が配されている例を示している。この場合、楽曲解析部４２８は、イントロからＡメロに切替わる時間ｔ１、ＡメロからＢメロに切替わる時間ｔ２、Ｂメロからサビに切替わる時間ｔ３、および同様にｔ４〜ｔ６を楽曲構成情報として取得する。

なお、本明細書においては、楽曲の盛り上がり部分をサビと称する。また、楽曲構成情報の解析方法は、例えば、特開２００７−１５６４３４に記載されているため、本願での詳細な説明は省略する。

（楽曲進行情報）
楽曲中の各拍子、小節、コード（Ｃメジャー、Ａマイナーなど）が到来するタイミングを楽曲の先頭を基準に表す情報である。例えば、図１６に示した例において、楽曲解析部４２８は、コードＣに切替わる時間ｔ１１、コードＧに切替わる時間１２、コードＡｍに切替わる時間１３、コードＥｍに切替わる時間１４などを楽曲進行情報として取得する。なお、楽曲進行情報の解析方法は、例えば特開２００７−１８３４１７に記載されているため、本願での詳細な説明は省略する。

ここで、図１４を参照してＰＣ２１の構成の説明に戻ると、操作部４４８は、ユーザにより各種情報、各種指示が入力されるユーザインターフェースである。設定管理部４５２は、例えば操作部４４８へのユーザ操作に基づいて各種設定を行う。各種設定としては、後述の再生区間の設定、レイアウトの枠組みの設定、エフェクトの設定、および画像選択などがあげられる。

ミキサ・エフェクタ回路４６０は、デコーダ４２４によりデコードされた楽曲データ、および画像に所定の処理を施して出力する。例えば、ミキサ・エフェクタ回路４６０は、デコーダ４２４によりデコードされた楽曲データに、フェードイン、フェードアウト処理を施して音響出力部４６４へ出力する。また、ミキサ・エフェクタ回路４６０は、デコーダ４２４によりデコードされた画像に、レイアウト制御部４４０により設定されたエフェクトを施して映像出力部４６８へ出力する表示制御部としての機能を有する。

音響出力部４６４は、ミキサ・エフェクタ回路４６０から供給される楽曲データを例えば空気振動に変換して出力する。すなわち、デコーダ４２４、ミキサ・エフェクタ４６０、および音響出力部４６４は、協働して楽曲データを再生する楽曲再生部として機能する。また、映像出力部４６８は、ミキサ・エフェクタ回路４６０から供給される画像をユーザが視認可能に表示する。すなわち、デコーダ４２４、ミキサ・エフェクタ４６０、および映像出力部４６８は、協働して画像を表示する画像表示部として機能する。

このようなＰＣ２１は、楽曲解析部４２８により楽曲特徴量が取得されると、楽曲付きのスライドショーを実現するための一連の処理を開始する。以下、図１７を参照し、当該一連の処理にいて概略的に説明する。

図１７は、楽曲付きのスライドショーを実現するための一連の処理の概略を示したフローチャートである。まず、図１７に示したように、楽曲の再生区間が再生区間設定部４３６により設定される（Ｓ５４０）。詳細については後述するが、再生区間は楽曲の全体であっても、楽曲の一部のハイライト部分であってもよい。続いて、再生区間設定部４３６により設定された再生区間のフェードイン、フェードアウトの時間が設定される（Ｓ５４４）。

その後、レイアウト制御部４４０が、楽曲の再生区間を複数の画像表示枠に区切る、すなわち、レイアウトの枠組みをする（Ｓ５４８）。詳細については後述するが、楽曲の再生区間は、固定時間で区切られても、小節ごとに区切られも、コード変化に応じて区切られても、自動で区切られてもよい。なお、レイアウト制御部４４０により得られた画像表示枠ごとに異なる画像が表示される。

そして、レイアウト制御部４４０が、画像表示枠ごとに、画像がどのように表示されるか、すなわちエフェクトを設定する（Ｓ５５２）。詳細については後述するが、レイアウト制御部４４０は、画像表示枠ごとのエフェクトを、ランダムに設定しても、楽曲特徴量に基づく自動選択により設定してもよい。

さらに、画像選択用構成２８０が、楽曲の再生区間の再生の間に必要となる枚数の画像を選択する（Ｓ５５６）。例えば、画像選択用構成２８０は、楽曲の再生区間の再生中のスライドショーに必要となる画像数を選択数として指定し（選択枚数指定部２３６）、選択数の画像を第１の実施形態で説明した方法により選択してもよい。

そして、スライドショーが開始され、画像選択用構成２８０により選択された画像が、レイアウト制御部４４０により設定された画面表示枠およびエフェクトに基づいて楽曲データと同調して表示される。以下、当該一連の処理中の各処理について詳細に説明する。

（再生区間の設定：再生区間設定部４３６の機能）
楽曲の再生区間は、楽曲の全体（フル再生）、または楽曲のハイライト部分（ダイジェスト再生）のいずれかから選択可能である。楽曲の全体、または楽曲のハイライト部分のいずれを再生区間とするかは、操作部４４８を介してユーザにより選択されても、ＰＣ２１に事前に設定されていてもよい。楽曲のハイライト部分は、再生区間設定部４３６が例えば図１９に示す処理により設定することができる。

図１９は、再生区間設定部４３６による楽曲のハイライト部分の設定処理の流れを示したフローチャートである。図１９に示したように、再生区間設定部４３６は、まず、楽曲特徴量記憶部４３２に記憶されている楽曲構成情報に基づいてサビの開始位置を取得する（Ｓ５６０）。そして、再生区間設定部４３６は、図１９右側上段に示したように、ダイジェスト時間がサビ開始位置で２等分されるように始点と終点を仮設定する（Ｓ５６２）。

そして、再生区間設定部４３６は、仮設定した始点が１拍目でない場合（Ｓ５６４）、始点を１拍目まで戻し（Ｓ５６６）、仮設定した終点が１拍目でない場合（Ｓ５６８）、始点を１拍目まで進める（Ｓ５７０）。図１９右側中段には、仮設定した始点が２拍目であったため１拍目まで戻され、仮設定した終点が３拍目であったため１拍目まで進められた例を示している。

さらに、再生区間設定部４３６は、始点の前のＮ小節（Ｎ≧１、例えばＮ＝４）を検索し（Ｓ５７２）、楽曲の構成要素が変化する構成変化点が存在した場合（Ｓ５７４）、始点を構成変化点に更新する（Ｓ５７６）。同様に、再生区間設定部４３６は、終点の後のＮ小節（Ｎ≧１、例えばＮ＝４）を検索し（Ｓ５７８）、楽曲の構成要素が変化する構成変化点が存在した場合（Ｓ５８０）、終点を構成変化点に更新する（Ｓ５８２）。図１９右側下段には、更新前の始点のＮ小節前までにＡメロからＢメロへの構成変化点が存在したため始点が当該構成変化点に更新され、更新前の終点のＮ小節後までにサビから間奏への構成変化点が存在したため終点が当該構成変化点に更新された例を示している。

このようにして再生区間設定部４３６により得られた始点から終点までの区間がダイジェスト再生の再生区間として設定される。なお、図１９においては、Ｓ５７２において始点の前Ｎ小節を検索する例を示したが、本実施形態はかかる例に限定されない。例えば、再生区間設定部４３６は、始点の後Ｎ小節を検索対象に含めてもよい。同様に、Ｓ５７８において終点の後Ｎ小節を検索する例を示したが、本実施形態はかかる例に限定されない。例えば、再生区間設定部４３６は、終点の前Ｎ小節を検索対象に含めてもよい。

（フェードイン、フェードアウト時間の設定）
再生区間設定部４３６により設定された再生区間のフェードイン時間およびフェードアウト時間は、事前にＰＣ２１に設定されていても、操作部４４８を介したユーザ操作により設定されてもよい。また、再生区間が楽曲全体であるフル再生が行なわれる場合には、ダイジェスト再生が行なわれる場合よりフェードイン時間およびフェードアウト時間が長く設定されてもよい。また、一例としては、フェードイン時間およびフェードアウト時間は３秒程度であってもよい。

（レイアウトの枠組み：レイアウト制御部４４０の機能）
レイアウト制御部４４０は、再生区間設定部４３６により設定された楽曲の再生区間を、例えば以下に示す方法により複数の画像表示枠に区切る。

・時間固定
例えば１０秒などの一定時間で画像が切替わるように楽曲の再生区間を区切るレイアウト方法である。この方法では音楽特徴量が特に利用されない。

・小節区切り
一定の小節数で画像が切替わるように楽曲の再生区間を区切るレイアウト方法である。レイアウト制御部４４０は、楽曲進行情報に含まれる小節の切替わる時間に基づき、再生区間の先頭から何ミリ秒後で画像を切替えるかを特定することができる。一般的に、４拍子の楽曲では４小節、または８小節ごとに曲調が変化する傾向があるので、レイアウト制御部４４０は、例えば４小節、または８小節ごとに再生区間を区切ってもよい。

・コード区切り
コード進行の変化に同期して画像が切替わるように楽曲の再生区間を区切るレイアウト方法である。レイアウト制御部４４０は、楽曲進行情報に含まれるコードの切替わる時間に基づき、再生区間の先頭から何ミリ秒後で画像を切替えるかを特定することができる。例えば、コードがＣメジャーからＡマイナーに再生区間の先頭から１０００ミリ秒後に切替わる場合、レイアウト制御部４４０は、再生区間の先頭から１０００ミリ秒後で再生区間を区切ってもよい。時間固定や小節区切りの場合には一定の間隔で再生区間が区切られるため、スライドショーにおいて画像が一定の周期で切替えられる。これに対し、コード区切りの場合には不定の間隔（１小節、２小節、１小節と２拍など）で再生区間が区切られるため、スライドショーにおける画像の切替周期が一定とならず、より楽曲の流れに合ったスライドショーを実現できる。

・ムードに従った自動レイアウト
楽曲のムードに応じた規則に従って楽曲の再生区間を区切るレイアウト方法である。楽曲のムードは、楽曲特徴量に基づいてムード判定部４５６により判定される。当該事項については詳細に後述する。

（エフェクトの設定：レイアウト制御部４４０の機能）
レイアウト制御部４４０は、画像表示枠ごとに、画像をどのようなアニメーションで表示させるかを、すなわちエフェクトを設定する。より詳細には、レイアウト制御部４４０は、画像枠開始時に画像に施すアニメーション（以下、フェードインと称する）、および画像枠終了時に画像に施すアニメーション（以下、フェードアウトと称する）を設定する。また、エフェクトタイプの具体例としては、アルファフェード（イン、アウト）、ズーム（イン、アウト）、スライドイン（上下左右）、複数表示スライドイン（縦分割、横分割）、セピアカラーなどがあげられる。以下、図２０を参照し、各エフェクトタイプについて説明する。

図２０は、エフェクトタイプごとのフェードインからフェードアウトまでの様子を示した説明図である。図２０に示したように、エフェクト無しの場合、フェードインからフェードアウトまで同一の画像が維持される。アルファフェードの場合、フェードイン時に透過性が徐々に低下して画像が現れ、フェードアウト時に透過性が徐々に増加して画像が消えていく。ズームの場合、フェードイン時に画像が徐々に拡大し、フェードアウト時に画像が徐々に縮小する。スライドインの場合、フェードイン時に画像が画面枠外から画面枠内へ移動してきて、フェードアウト時に画像が画面枠内から画面枠外へ移動していく。複数表示の場合、複数に分割された画面の各々で、異なる画像にスライドイン、ズーム、またはアルファフェードなどが施される。

また、レイアウト制御部４４０は、エフェクトパラメータとして、エフェクトタイプの他にも、フェードイン開始時間、フェードイン終了時間、フェードアウト開始時間、およびフェードアウト終了時間などを設定する。レイアウト制御部４４０は、このようなエフェクトパラメータを、ランダムに設定しても、楽曲のムードに応じた規則に従って設定してもよい。楽曲のムードを用いる方法の詳細については後述する。

（画像の選択）
ここまでの処理により、楽曲の再生区間、レイアウトの枠組み、および各画像表示枠に適用するエフェクトが設定された。画像選択用構成２８０は、レイアウトにおける各画像表示枠に配置するための画像を選択し、スライドショーを完成させる処理を行う。

例えば、画像選択用構成２８０は、第１の実施形態で説明したように、任意のフォルダ内の画像群などの大量の画像群のなかからスライドショーで必要な枚数の写真を抽出することで、飽きのこないスライドショーを実現することができる。

また、各画像に含まれる顔の数を、例えば特開２００７−７９８９４に記載されている顔認識技術により特定し、画像ＩＤ（コンテンツ管理ＩＤ）、撮影時刻、画像特徴量などに加えて画像関連情報に含ませておくことが可能である。この場合、レイアウト制御部４４０は、画像選択用構成２８０により選択された画像のうちで、最も顔を多く含む画像が最後の画像表示枠に表示されるよう配置してもよい。より具体的には、最も顔を多く含む画像を最後の画像表示枠に配置してその他の画像の配置位置を前にずらしても、最後の画像表示枠の画像を最も顔を多く含む画像に置き換えてもよい。かかる構成によれば、最後に代表画像として相応しい例えば集合写真を表示してスライドショーを終了することが期待される。

（設定管理部４５２）
以上説明したように、各処理を実現するために利用する具体的方法には選択肢が存在する。この利用する具体的方法は、設定管理部４５２によって管理されていてもよい。また、設定管理部４５２は、図１８に示す設定ダイアログにおけるユーザ操作に基づいて利用する具体的方法を設定してもよい。

図１８は、設定ダイアログの構成例を示した説明図である。図１８に示したように、設定ダイアログには、再生区間、レイアウト、エフェクト、および画像選択の各々の具体的方法の選択肢を示す表示が含まれる。図１８に示した例では、再生区間に関してダイジェスト再生が選択されており、レイアウト、エフェクト、および画像選択に関して自動選択が選択されている。再生区間設定部４３６、レイアウト制御部４４０、および画像選択用構成２８０は、このように設定管理部４５２により管理されている情報に従って動作してもよい。

（ムードによるレイアウトおよびエフェクトの自動選択）
次に、ムードによるレイアウトおよびエフェクトの自動選択（表示パターンの自動選択）について図２１〜図２５を参照して説明する。

図２１は、ムードによるレイアウトおよびエフェクトの自動選択の流れを示したフローチャートである。まず、図２１に示したように、楽曲特徴量記憶部４３２に記憶されている楽曲特徴量に基づいて、ムード判定部４５６が楽曲のムード（曲調）を判定する。ここで、ムード判定部４５６は、例えばＰｌａｙＳｔａｔｉｏｎ３（登録商標）で使用されている「おまかせチャンネル」のアルゴリズムを用いてムード判定を行なってもよい。また、楽曲のムードは、楽曲の雰囲気や、楽曲から想起される抽象的なテーマ（気候、場所、季節、気分、イベント）などを表してもよい。以下では、ムード判定部４５６が、楽曲のムードをＡｃｔｉｖｅ、Ｒｅｌａｘ、Ｂａｌｌａｄ、Ａｃｏｕｓｔｉｃ、またはＥｌｅｃｔｒｏｎｉｃのいずれかに判定するものとして説明する。なお、ムード判定部４５６は、楽曲が複数のムードに該当する場合、所定の優先順位にしたがって１のムードを採用してもよい。優先順位は、統計的に楽曲が該当し難いムードほど高くてもよく、例えば、Ｂａｌｌａｄが最も低く、Ｒｅｌａｘ、Ａｃｔｉｖｅ、Ｅｌｅｃｔｒｏｎｉｃ、Ａｃｏｕｓｔｉｃの順に高くてもよい。

ムード判定部４５６により楽曲のムードが判定されると、レイアウト制御部４４０が楽曲構成情報を取得し（Ｓ６０８）、楽曲構成情報および楽曲のムードに基づいて再生区間を１または２以上の論理区間に区分し、各論理区間のエフェクトパターンを選択する（Ｓ６１２）。例えば、レイアウト制御部４４０は、各論理区間に図２２に示すようなエフェクトパターンを選択してもよい。

図２２は、エフェクトパターンの選択例を示した説明図である。図２２に示した例では、再生区間が楽曲の構成要素ごとの論理区間に区分され、ＡメロにエフェクトパターンＡが、ＢメロにエフェクトパターンＢが、サビにエフェクトパターンＣが設定されている。ここで、各エフェクトパターンには複数のエフェクトタイプが含まれる。また、エフェクトパターンＡ（弱）、エフェクトパターンＢ（中）、エフェクトパターンＣ（高）の順でユーザへの視覚効果が高いものとする。

続いて、論理区間ごとにレイアウト制御部４４０がレイアウトの枠組みを決定する（Ｓ６１６）。すなわち、レイアウト制御部４４０は、各論理区間を複数の画像表示枠に区分する。

その後、レイアウト制御部４４０が、論理区間に含まれる各画像表示枠のエフェクトタイプを、当該論理区間のエフェクトパターンに含まれるエフェクトパターンのいずれかに設定する（Ｓ６２０）。また、レイアウト制御部４４０は、図２３に示すように、画像表示枠ごとに、エフェクトタイプ以外のエフェクトパラメータも設定する。図２３は、各画像表示枠にエフェクトパラメータが設定される様子を示した説明図である。図２３に示したレイアウト「０」〜「Ｎ」が各画像表示枠に対応しており、各画像表示枠にはフェードイン開始時間、フェードイン終了時間、フェードアウト開始時間、フェードアウト終了時間、およびエフェクトタイプが設定される。

そして、全ての論理区間の処理が終了すると、画像選択用構成２８０がスライドショーに必要な画像枚数を決定することができる（Ｓ６２４）。

上記では、再生区間が楽曲の構成要素（Ａメロ、Ｂメロなど）を単位とする論理区間に区分される例を説明した。かかる例によれば、再生中のメロディに合わせたエフェクトや画像の切替を実現することができる。一方、本実施形態によれば、図２４および図２５に示すように、サビ開始位置を基準にして再生区間を複数の論理区間に区分することも可能である。

図２４および図２５は、ムードごとのレイアウトおよびエフェクトの設定例を示した説明図である。なお、図２４および図２５に示した切替周期は、画像が切替えられる周期、すなわち画像表示枠の周期を意味する。図２４に示したように、ムードがＡｃｔｉｖｅである場合、サビ４小節前、サビ１小節前、およびサビ開始位置で再生区間が区分され、早い切替周期、および多彩なエフェクトパターンが設定される。

また、図２４に示したように、ムードがＲｅｌａｘｉｎｇである場合、サビ開始位置で再生区間が区分され、切替周期が遅めであり、アルファフェードが多用される。また、図２４に示したように、ムードがＥｍｏｔｉｏｎｎａｌである場合、サビ２小節前およびサビ開始位置で再生区間が区分され、切替周期が遅めであり、ズームが多用される。また、図２５に示したように、ムードがＥｌｅｃｔｒｏｎｉｃである場合、基本的にコード変化に伴って画像が切替えられ、エフェクトはランダムに設定される。一方、コード変化が４拍以下の場合は１拍ごとに画像が切替えられ、エフェクトは施されない。さらに、図２５に示したように、ムードがＡｃｏｕｓｔｉｃである場合、サビ開始位置で再生区間が区分され、切替周期が遅めであり、サビ以外ではセピアカラーが施される。

このように、サビ開始位置を基準にして再生区間を複数の論理区間に区分することにより、楽曲の再生位置がサビに向かうにつれて盛り上がっていくような（視覚効果が激しくなっていくような）スライドショーを実現することができる。

〔４−３〕第２の実施形態の補足
上記の第２の実施形態では、再生区間または論理区間を拍子、小節、またはコード変化などに基づいて画像表示枠に区切る例を説明したが、本実施形態はかかる例に限定されない。図２６を参照して第２の実施形態の変形例を説明する。

図２６は、楽曲進行における属音の関連性を示した説明図である。図２６に示したように、楽曲は、例えば、安定感のあるトニック、緊張感のあるドミナント、不安定なサブドミナントなどの属音から構成される。そして、各属音は、図２６に示したような関連性を有する。そこで、レイアウト制御部４４０は、例えば以下に示すように、属音に基づいて再生区間または論理区間を画像表示枠に区切ってもよい。

・画像表示枠：トニック−ドミナント−トニック
エフェクト：フェードイン−静止−フェードアウト
トニック−ドミナント−トニックを１の画像表示枠とし、トニック時にフェードイン、ドミナント時に静止、次のトニック時にフェードアウトというエフェクトを設定する。

・画像表示枠：トニック−サブドミナント−ドミナント−トニック
エフェクト：フェードイン−ズームイン−静止−フェードアウト
トニック−サブドミナント−ドミナント−トニックを１の画像表示枠とし、トニック時にフェードイン、サブドミナント時にズームイン、ドミナント時に静止、次のトニック時にフェードアウトというエフェクトを設定する。

・画像表示枠：トニック−サブドミナント−トニック
エフェクト：フェードイン−ズームイン−フェードアウト
トニック−サブドミナント−トニックを１の画像表示枠とし、トニック時にフェードイン、サブドミナント時にズームイン、次のトニック時にフェードアウトというエフェクトを設定する。

このように属音のまとまりごとに再生区間を区切り、かつ、属音の変化とエフェクトの変化を同調させることにより、一層楽曲と合致するスライドショーを自動生成することが可能となる。

また、レイアウト制御部４４０は、再生区間のコード区切りを行なう場合、図２７に示すように、フェードインがコード変化点において終了するようにしてもよい。

図２７は、コード変化点と画像表示枠との関係を示した説明図である。図２７に示したように、ＣマイナーからＡメジャーへのコード変化点に基づいて画像表示枠を区切る例を考える。この場合、レイアウト制御部４４０は、ＣマイナーからＡメジャーへのコード変化点ｔ２２においてフェードインが終了するよう、ｔ２１が先頭になるように画像表示枠を区切る。同様にＡメジャーから次のコードへのコード変化点ｔ２５において次の画像のフェードインを終了させるために、次の画像表示枠の先頭をｔ２４とする必要がある。そこで、レイアウト制御部４４０は、ｔ２４においてフェードアウトが終了するよう、ｔ２３をフェードアウトの開始時間として設定する。

仮にコード変化点においてフェードインが開始されるように設定すると、コードが変化してから画像のエフェクトが開始するため、画像が楽曲に遅れている印象をユーザが受けかねない。これに対し、上記のようにフェードインがコード変化点において終了するように画像表示枠を区切ることにより、画像と楽曲がより一致した印象をユーザに与えることが可能となる。

〔５〕まとめ
以上説明したように、第１の実施形態にかかるＰＣ２０は、類似判断選択部２５６が各画像の特徴量に基づいて画像選択を行なうため、類似判断選択部２５６は、複数の画像から、例えば各々の類似の程度が比較的低い画像を選択することができる。一方、類似判断選択部２５６は上記の通り各画像の特徴量に基づいて画像選択を行なうため、選択対象の画像枚数、または最終選択枚数が増加するにつれて類似判断選択部２５６における処理負荷が膨大になりかねない。そこで、選択制御部２４０が、最終選択枚数が最終枚数判断値γを上回る場合、類似判断選択部２５６でなく、ランダム選択部２５８に画像選択を行なわせることにより、当該ＰＣ２０における画像選択のための処理負荷を抑制することができる。すなわち、当該ＰＣ２０によれば、最終選択枚数が最終枚数判断値γを上回る場合はランダム選択部２５８に画像選択を行なわせることにより処理負荷を抑制しつつ、最終選択枚数が最終枚数判断値γを下回る場合は類似判断選択部２５６に画像選択を行なわせることにより類似を考慮した画像を選択することができる。

なお、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書のＰＣ２０またはＰＣ２１の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、ＰＣ２０またはＰＣ２１の処理における各ステップは、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含んでもよい。

また、図１３には、Ｓ３２０において、画像選択制御部２４０が「Ｎ＞γ」と判断した場合にランダム選択部２５８に画像選択を行なわせる例を示したが、本発明はかかる例に限定されない。例えば、Ｓ３２０において、画像選択制御部２４０が「Ｎ＞γ」と判断した場合、類似判断選択部２５６より演算量の少ない任意の画像選択機能を有する選択部に画像選択を行なわせてもよい。

また、ＰＣ２０またはＰＣ２１に内蔵されるＣＰＵ２０１、ＲＯＭ２０２およびＲＡＭ２０３などのハードウェアを、上述したＰＣ２０またはＰＣ２１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。また、図５または図１４の機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

第１の実施形態にかかる画像選択システムの構成を示した説明図である。 撮影装置により撮影される画像の一例を示した説明図である。 ランダムな画像選択の結果例を示した説明図である。 ＰＣのハードウェア構成を示したブロック図である。 第１の実施形態にかかるＰＣの構成を示した機能ブロック図である。 選択制御部および画像選択部において用いられるパラメータ例を示した説明図である。 画像選択部による処理を模式的に示した説明図である。 連写判断選択部による画像選択の結果例を示した説明図である。 イベント判断選択部による選択対象の画像が複数のグループに区分される様子を示した説明図である。 イベント判断選択部による画像選択の結果例を示した説明図である。 類似判断選択部による画像選択の結果例を示した説明図である。 最終選択枚数の画像が選択される様子を示した説明図である。 第１の実施形態にかかるＰＣにおいて実行される画像選択方法の流れを示したフローチャートである。 第２の実施形態にかかるＰＣの構成を示した機能ブロック図である。 楽曲解析部が楽曲特徴量を取得するまでの流れを示したフローチャートである。 楽曲構成の一例を示した説明図である。 楽曲付きのスライドショーを実現するための一連の処理の概略を示したフローチャートである。 設定ダイアログの構成例を示した説明図である。 再生区間設定部による楽曲のハイライト部分の設定処理の流れを示したフローチャートである。 エフェクトタイプごとのフェードインからフェードアウトまでの様子を示した説明図である。 ムードによるレイアウトおよびエフェクトの自動選択の流れを示したフローチャートである。 エフェクトパターンの選択例を示した説明図である。 各画像表示枠にエフェクトパラメータが設定される様子を示した説明図である。 ムードごとのレイアウトおよびエフェクトの設定例を示した説明図である。 ムードごとのレイアウトおよびエフェクトの設定例を示した説明図である。 楽曲進行における属音の関連性を示した説明図である。 コード変化点と画像表示枠との関係を示した説明図である。

符号の説明

１０ 撮影装置
２０、２１ ＰＣ
２２０ 画像記憶部
２２８ 画像解析部
２３６ 選択枚数指定部
２４０ 選択制御部
２５２ 連写判断選択部
２５４ イベント判断選択部
２５６ 類似判断選択部
２５８ ランダム選択部
２８０ 画像選択用構成
４２０ 楽曲記憶部
４２４ デコーダ
４２８ 楽曲解析部
４３２ 楽曲特徴量記憶部
４３６ 再生区間設定部
４４０ レイアウト制御部
４５６ ムード判定部
４６０ ミキサ・エフェクタ回路

Claims (18)

1. 画像の選択数を指定する選択数指定部と；
   複数の画像を解析し、各画像の特徴量を抽出する画像解析部と；
   前記画像解析部により抽出された各画像の特徴量に基づいて前記複数の画像から少なくとも前記選択数の画像を選択する第１の選択部と；
   前記第１の選択部と異なる任意の方法で前記複数の画像から画像を選択する第２の選択部と；
   前記選択数が第１の設定数を上回る場合、前記第１の選択部でなく、前記第２の選択部に画像の選択を行なわせる選択制御部と；
   を備える、画像選択装置。
2. 前記選択制御部は、前記選択数が第１の設定数を下回る場合、前記第１の選択部に前記少なくとも選択数の画像を選択させた後に、前記第２の選択部に前記少なくとも選択数の画像から前記選択数の画像を選択させる、請求項１に記載の画像選択装置。
3. 前記第２の選択部は、前記少なくとも選択数の画像から前記選択数の画像をランダムに選択する、請求項２に記載の画像選択装置。
4. 前記第１の選択部は、前記複数の画像から、前記選択数および所定指数に基づいて特定される数の画像を選択する、請求項３に記載の画像選択装置。
5. 所定の画像群を、各々の撮影時刻の間隔が設定間隔値を下回る画像からなるグループに区分し、該グループの各々から少なくとも１の画像を選択する第３の選択部をさらに備え、
   前記複数の画像は、前記第３の選択部により選択される画像群に含まれる、請求項１に記載の画像選択装置。
6. 前記第３の選択部により選択された画像群を、該画像群に含まれる各画像の撮影時刻の分散に従って複数のグループに区分し、該グループの各々から少なくとも１の画像を前記複数の画像として選択する第４の選択部をさらに備える、請求項５に記載の画像選択装置。
7. 前記選択制御部は、前記第３の選択部により選択された画像群に含まれる画像の数が第２の設定数を上回る場合、前記第４の選択部でなく、前記第２の選択部に画像の選択を行なわせる、請求項６に記載の画像選択装置。
8. 前記選択制御部は、前記第３の選択部により選択された画像群に含まれる画像の数が、前記選択数および所定指数に基づいて特定される数を下回る場合、前記第３の選択部により選択された画像群に含まれる画像から前記選択数の画像を前記第１の選択部に選択させる、請求項６に記載の画像選択装置。
9. 楽曲を再生する楽曲再生部と；
   楽曲を構成する１または２以上の区間ごとに画像の表示パターンを設定するレイアウト制御部と；
   画像を表示する画像表示部と；
   前記選択制御部による制御に基づいて選択された画像を、順次に、前記楽曲再生部による楽曲の再生位置を含む区間に設定されている表示パターンに従って表示させる表示制御部と；
   をさらに備える、請求項１に記載の画像選択装置。
10. 前記レイアウト制御部は、前記楽曲のムードに応じた規則に従って前記楽曲を前記１または２以上の区間に区分し、前記１または２以上の区間に前記楽曲のムードに応じた表示パターンを設定する、請求項９に記載の画像選択装置。
11. 前記レイアウト制御部は、前記選択制御部による制御に基づいて選択された画像のうちで、最も多く顔を含む画像を最後に配置する、請求項９に記載の画像選択装置。
12. 前記画像選択装置は、楽曲の再生区間を設定する再生区間設定部をさらに備え、
    前記選択数指定部は、前記再生区間が再生される間の表示のために必要となる画像数に基づいて前記画像の選択数を指定する、請求項９に記載の画像選択装置。
13. 前記再生区間設定部は、
    楽曲の盛り上がり部分の開始位置を中心とする区間を仮設定し、
    当該区間の始点および終点が１拍目でない場合、始点および終点を各々１拍目まで伸ばして再生区間を設定することを特徴とする、請求項９に記載の画像選択装置。
14. 前記再生区間設定部は、さらに、
    始点から所定範囲内、または終点から所定範囲内に楽曲の構成要素が変化する構成変化点が存在する場合、始点または終点を構成変化点に更新して再生区間を設定する、請求項１３に記載の画像選択装置。
15. 前記表示パターンは、画像の切替タイミング、または画像に施すエフェクトの少なくともいずれかを含む、請求項９に記載の画像選択装置。
16. 前記レイアウト制御部は、楽曲のコード進行に基づいて画像を切替える場合、コード変化点において画像のフェードインが終了するように制御する、請求項９に記載の画像選択装置。
17. 画像の選択数を指定するステップと；
    前記選択数が第１の設定数を上回るか否かを判断するステップと；
    前記選択数が第１の設定数を下回ると判断された場合、複数の画像を解析して各画像の特徴量を抽出し、前記各画像の特徴量に基づいて前記複数の画像から少なくとも前記選択数の画像を選択するステップと；
    前記選択数が第１の設定数を上回ると判断された場合、前記各画像の特徴量を用いない他の任意の方法で前記複数の画像から画像を選択するステップと；
    を含むことを特徴とする、画像選択方法。
18. コンピュータを、
    画像の選択数を指定する選択数指定部と；
    複数の画像を解析し、各画像の特徴量を抽出する画像解析部と；
    前記画像解析部により抽出された各画像の特徴量に基づいて前記複数の画像から少なくとも前記選択数の画像を選択する第１の選択部と；
    前記第１の選択部と異なる任意の方法で前記複数の画像から画像を選択する第２の選択部と；
    前記選択数が第１の設定数を上回る場合、前記第１の選択部でなく、前記第２の選択部に画像選択を行なわせる選択制御部と；
    を備える画像選択装置として機能させるための、プログラム。
    

Images