JP2011109428A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】イベントにおいて撮像された数多くの画像の中から、イベントの全体的な流れを把握し得る画像を選抜する。
【解決手段】ステップＳ１１で、全ての画像の数に応じて、サブイベントの目標数ｓｎが決定される。ステップＳ１２で、各画像の撮像日時に基づく第１のクラスタリング処理が実行される。ステップＳ１３で、各画像の撮像位置に基づく第２のクラスタリング処理が実行される。ステップＳ１４で、第１のクラスタリング処理により決定されたサブイベントの区切りの位置と、第２のクラスタリング処理により決定されたサブイベントの区切りの位置とが論理和により合成されて、イベントにおいて撮像された全ての画像がいずれかのサブイベントに分類される。本発明は、例えばデジタルスチルカメラにおけるスライドショー機能に適用することができる。
【選択図】図５

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、例えば、旅行中に撮像した数多くの画像の中から、旅行の道中を把握し得る画像を自動的に選択させてスライドショーを実行する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。

従来、デジタルスチルカメラには、いわゆるスライドショーと称する機能が設けられているものが多い。このスライドショー機能は、撮像して保存した画像を、例えば撮影順に順次再生したり、ランダムな順序で再生したりしてディスプレイに表示するものである（例えば、特許文献１参照）。

ところで、デジタルスチルカメラのユーザが旅行などのイベントにおいて、数多くの画像を撮像し、それらを従来のスライドショー機能によって再生、表示させた場合、画像の枚数が多過ぎて全てを見終わるまでに多くの時間を要してしまう。これを防ぐためには、撮像された数多くの画像のうち、所定の枚数を選択し、それらを対象としてスライドショーを実行するようにすればよい。

特開２００５−１１００８８号公報

撮像された数多くの画像の中から所定の割合で画像を選択するためには、例えば、ランダムに画像を選択したり、撮影した各画像に対して所定の評価基準に基づいて評価値を算出し、この評価値に基づいて選択したりすることが考えられる。

しかしながら、このようにした場合、ユーザが見たいと思っている画像が表示されないことがある。また、評価基準によっては画像の選択に偏りが生じ、このスライドショーにより表示される画像を全て見てもイベントの全体的な流れを把握できないものとなってしまうことが起こり得る。

本発明はこのような状況に鑑みてなされたものであり、イベントにおいて撮像された数多くの画像の中から、イベントの全体的な流れを把握し得る画像を選抜できるようにするものである。

本発明の一側面である情報処理装置は、イベントにおいて撮像された複数の画像の中から所定数の画像を選抜する情報処理装置において、前記複数の画像を解析し、前記画像それぞれの評価値を算出する画像解析手段と、前記複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像日時の差を示す時間差分値に基づき、撮像日時の順序で並び替えた前記複数の画像を複数のサブイベントに分類するための複数の境界からなる第１の境界群を決定する第１のクラスタリング手段と、前記複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像位置の差を示す距離差分値に基づき、撮像日時の順序で並び替えた前記複数の画像を複数のサブイベントに分類するための複数の境界からなる第２の境界群を決定する第２のクラスタリング手段と、決定された前記第１および第２の境界群に従い、撮像日時の順序で並び替えた前記複数の画像を前記複数のサブイベントに分類する分類手段と、前記サブイベント毎に分類された画像のうち、前記評価値が小さいものを除外することにより選抜する画像を決定する画像選抜手段とを含む。

前記分類手段は、決定された前記第１の境界群と前記第２の境界群の論理和を境界として、撮像日時の順序で並び替えた前記複数の画像を前記複数のサブイベントに分類するようにすることができる。

前記画像選抜手段は、前記サブイベント毎に分類された画像のうち、前記評価値が小さい方から所定割合だけ除外することにより選抜する画像を決定するようにすることができる。

本発明の一側面である情報処理装置は、前記画像選抜手段における画像選抜の方針として、人物画像優先、風景画像優先、またはノーマルの少なくとも１つを含む選択肢をユーザに指定させる指定手段をさらに含むことができる。

本発明の一側面である情報処理装置は、前記複数の画像の中で類似画像群を検出し、前記類似画像群に属する画像のうちの前記評価値が最大のもの以外を除外する類似画像検出手段をさらに含むことができる。

前記画像解析手段は、前記複数の画像それぞれに対し、類似画像の数、被写体となる人物の顔のサイズ、前記人物の数、前記人物の表情、前記人物の配置、前記人物が属するグループ、または被写体となる風景の構図のうちの少なくとも１つを評価する評価値を算出するようにすることができる。

本発明の一側面である情報処理装置は、画像を撮像する撮像手段と、前記画像の撮像日時および撮像位置を示す情報を取得する取得手段とをさらに含むことができる。

本発明の一側面である情報処理方法は、イベントにおいて撮像された複数の画像の中から所定数の画像を選抜する情報処理装置の情報処理方法において、前記情報処理装置による、前記複数の画像を解析し、前記画像それぞれの評価値を算出する画像解析ステップと、前記複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像日時の差を示す時間差分値に基づき、撮像日時の順序で並び替えた前記複数の画像を複数のサブイベントに分類するための複数の境界からなる第１の境界群を決定する第１のクラスタリングステップと、前記複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像位置の差を示す距離差分値に基づき、撮像日時の順序で並び替えた前記複数の画像を複数のサブイベントに分類するための複数の境界からなる第２の境界群を決定する第２のクラスタリングステップと、決定された前記第１および第２の境界群に従い、撮像日時の順序で並び替えた前記複数の画像を前記複数のサブイベントに分類する分類ステップと、前記サブイベント毎に分類された画像のうち、前記評価値が小さいものを除外することにより選抜する画像を決定する画像選抜ステップとを含む。

本発明の一側面であるプログラムは、イベントにおいて撮像された複数の画像の中から所定数の画像を選抜する情報処理装置の制御用のプログラムであって、前記複数の画像を解析し、前記画像それぞれの評価値を算出する画像解析ステップと、前記複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像日時の差を示す時間差分値に基づき、撮像日時の順序で並び替えた前記複数の画像を複数のサブイベントに分類するための複数の境界からなる第１の境界群を決定する第１のクラスタリングステップと、前記複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像位置の差を示す距離差分値に基づき、撮像日時の順序で並び替えた前記複数の画像を複数のサブイベントに分類するための複数の境界からなる第２の境界群を決定する第２のクラスタリングステップと、決定された前記第１および第２の境界群に従い、撮像日時の順序で並び替えた前記複数の画像を前記複数のサブイベントに分類する分類ステップと、前記サブイベント毎に分類された画像のうち、前記評価値が小さいものを除外することにより選抜する画像を決定する画像選抜ステップとを含む処理を情報処理装置のコンピュータに実行させる。

本発明の一側面においては、複数の画像が解析されて画像それぞれの評価値が算出され、複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像日時の差を示す時間差分値に基づき、撮像日時の順序で並び替えた複数の画像を複数のサブイベントに分類するための複数の境界からなる第１の境界群が決定され、複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像位置の差を示す距離差分値に基づき、撮像日時の順序で並び替えた複数の画像を複数のサブイベントに分類するための複数の境界からなる第２の境界群が決定される。さらに、決定された第１および第２の境界群に従い、撮像日時の順序で並び替えた複数の画像が複数のサブイベントに分類され、サブイベント毎に分類された画像のうち、評価値が小さいものを除外することにより選抜する画像が決定される。

本発明の一側面によれば、イベントにおいて撮像された数多くの画像の中から、イベントの全体的な流れを把握し得る画像を選抜することができる。

本発明の概要を説明するための図である。 本発明を適用したデジタルスチルカメラの構成例を示すブロック図である。 制御部により実現される機能ブロックの構成例を示す図である。 スライド画像選抜処理を説明するフローチャートである。 サブイベント分類処理を説明するフローチャートである。 第１のクラスタリング処理を説明するフローチャートである。 サブイベントの区切りを説明するための図である。 第２のクラスタリング処理を説明するフローチャートである。 画像削減処理を説明するフローチャートである。 画像削減処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。なお、説明は以下の順序で行なう。
１．本発明の概要
２．第１の実施の形態
３．第２の実施の形態
４．変形例

＜１．本発明の概要＞
図１は、本発明の概要を説明するための図である。本願発明においては、例えば、旅行などのイベントにおいて撮像された全ての画像をその撮像日時と撮影場所に応じて複数のサブイベントに分類し、各サブイベントに属する画像の中から画像を選抜し、イベントの全体的な流れを把握し得る画像を選択するようにしたものである。

＜２．第１の実施の形態＞
［デジタルスチルカメラの構成例］
図２は、第１の実施の形態であるデジタルスチルカメラの構成例を示している。このデジタルスチルカメラ１０は、制御部１１、メモリ１２、操作入力部１３、位置情報取得部１４、バス１５、撮像部１６、画像処理部１７、符号化復号部１８、記録部１９、および表示部２０から構成される。

制御部１１は、操作入力部１３から入力されるユーザの操作に応じた操作信号に従い、デジタルスチルカメラ１０に各部を制御する。また、制御部１１は、メモリ１２に記録されている制御用プログラムを実行することにより、図３に示す機能ブロックを実現し、後述するスライド画像選抜処理などを実行する。

メモリ１２には、制御用プログラムが予め記録されている。また、メモリ１２は、スライド画像選抜処理の過程における各種の情報が保持される。

操作入力部１３は、デジタルスチルカメラ１０の筺体に設けられるボタンや表示部２０に積層されるタッチパネルなどのユーザインタフェースからなり、ユーザからの操作に応じた操作信号を発生して制御部１１に出力する。

位置情報取得部１４は、撮像タイミングにおいて、GPS(Global Positioning System)信号を受信して解析することにより、撮像日時（年月日、時刻）および位置（緯度、経度、高度）を示す情報を取得する。ここで得られた撮像日時および位置を示す情報は、撮像された画像に対応付けて記録されるexif情報に採用される。なお、撮像日時については、制御部１１に内蔵される時計の時刻情報を利用するようにしてもよい。

撮像部１６は、レンズ群とCCD、CMOSなどの光電変換素子を内蔵しており、レンズ群を介して入射される被写体の光学像を光電変換素子により画像信号に変換して画像処理部１７に出力する。

画像処理部１７は、撮像部１６から入力される画像信号に所定の画像処理を施して符号化復号部１８に出力する。また、画像処理部１７は、撮像時においては撮像部１６から、再生時においては符号化復号部１８から入力される画像信号の画素を間引くなどして表示用の画像信号を生成して表示部２０に出力する。

符号化復号部１８は、撮像時において、画像処理部１７から入力される画像信号をJPEG方式などに従って符号化し、その結果得られる画像符号化信号を記録部１９に出力する。また、符号化復号部１８は、再生時において、記録部１９から入力される画像符号化信号を復号し、その結果得られる画像信号を画像処理部１７に出力する。

記録部１９は、撮像時において、符号化復号部１８から入力される画像符号化信号を記録メディア（不図示）に記録する。また、記録部１９は、画像符号化信号に対応付けたexif情報も記録メディアに記録する。さらに、記録部１９は、再生時において、記録メディアに記録されている画像符号化信号を読み出して符号化復号部１８に出力する。

表示部２０は、液晶ディスプレイなどから成り、画像処理部１７から入力される画像信号の画像を表示する。

次に、図３は、制御部１１が制御用プログラムを実行することにより実現される機能ブロックの構成例を示している。これらの機能ブロックがそれぞれ動作することによりスライド画像選抜処理が実現される。ただし、図３に示す各機能ブロックをICチップなどのハードウェアにより構成するようにしてもよい。

統制部３１は、図３の各機能ブロックの動作を統制する。画像解析部３２は、顔検出部４１、グループ判別部４２、風景検出部４３、構図検出部４４、表情検出部４５、および類似画像群検出部４６を含み、記録メディアに記録されている全ての画像を順次処理対象として、その画像解析を行う。

顔検出部４１は、入力される画像内に存在する人物の顔を検出し、被写体の人数を特定する。また、検出した顔の特徴量を算出する。

グループ判別部４２は、検出された顔の特徴量をクラスタリングすることにより、同一人物が被写体として撮像されている画像を特定する。また、グループ判別部４２は、同一の画像内に存在している頻度やその顔の距離、位置などに応じて、被写体の人物が属するグループ（例えば、カップル、親子、家族、その他複数の人物からなる集団を指す）を推定する。また、グループ判別部４２は、全ての画像における各グループの出現頻度に応じて重要グループを決定する。さらに、グループ判別部４２は、全ての画像における各人物の出現頻度に応じて重要人物を決定する。

風景検出部４３は、入力される画像が自然や街並みを被写体とした風景画像であるか否かを判別し、風景画像と判別した画像に対して風景画像としての評価値を算出する。評価値の算出には、良い風景画像を教師データとして予め学習しているSVM(Support Vector Machine)を用いることができる。

構図検出部４４は、入力される画像内から検出された人物の顔の数、各顔の大きさと位置に基づいて、人物画像としての構図の良さを示す評価値を算出する。

表情検出部４５は、入力される画像内から検出された人物の顔の特徴量に基づいて各顔の表情（笑っている、怒っている、カメラを正視しているなど）を示す評価値を算出する。

類似画像群検出部４６は、順次入力される画像をその特徴量の類似性に応じて類似画像群に分類し、類似画像群の中から最も総合評価値が大きい画像を代表画像に選出し、その他の画像をスライド画像の候補から除外する。なお、類似画像が多いということは、ユーザ（撮像者）がその被写体に関心を持って重視している証しであると考えられるので、類似画像群に属する画像の数に応じて代表画像の総合評価値をさらに増加させるようにしてもよい。

サブイベント分類部３３は、第１クラスタリング処理部５１、第２クラスタリング処理部５２、および合成部５３を含み、イベントにおいて撮像された全ての画像を、その撮像日時と撮影位置に基づいて複数のサブイベントに分類する。

第１クラスタリング処理部５１は、イベントにおいて撮像された全ての画像の撮像日時に基づいて、全ての画像を撮像日時順に並べた時のサブイベントの区切りの位置を決定する。第２クラスタリング処理部５２は、イベントにおいて撮像された全ての画像の撮影位置に基づいて、全ての画像を撮像日時順に並べた時のサブイベントの区切りの位置を決定する。

合成部５３は、第１クラスタリング処理部５１により決定されたサブイベントの区切りの位置と、第２クラスタリング処理部５２により決定されたサブイベントの区切りの位置とを論理和により合成して、イベントにおいて撮像された全ての画像をいずれかのサブイベントに分類する。

スライド画像選抜部３４は、サブイベント毎に分類されている画像を、その評価値が低いものから順にスライド画像の候補から除外することによりスライド画像を選抜する。

表示制御部３５は、イベントにおいて撮像された全ての画像の中から選抜されたスライド画像を対象としたスライドショーの実行を制御する。すなわち、記録部１９を制御して、スライド画像に選抜された画像に対応する画像符号化信号を記録メディアから順次読み出させ、符号化復号部１８に復号させてその結果得られる画像信号に対応する画像を表示部２０に表示させる。

［動作説明］
次に、デジタルスチルカメラ１０の動作について説明する。図４は、スライド画像選抜処理を説明するフローチャートである。

このスライド画像選抜処理は、例えば、旅行などのイベントにおいて撮像された数多くの画像が記録メディアに保存されている状態において、ユーザから当該処理の開始が指示されたときに実行される。

ステップＳ１において、統制部３１は、イベントにおいて撮像された全ての画像のうち、スライド画像として選抜する枚数（以下、選抜枚数と称する）を決定する。この決定方法は、例えば、イベントにおいて撮像された全ての画像の枚数に応じた所定の割合を乗算して算出したり、スライドショーと同時に再生する楽曲の再生時間とスライド画像の表示間隔に応じて決定したりする。なお、ユーザに選抜枚数を指定させるようにしてもよい。

ステップＳ２において、統制部３１は、スライド画像の選抜方針として、ノーマル、人物画像優先、または風景画像優先のいずれかをユーザに指定させる。ここで、ノーマルが指定された場合、人物画像と風景画像がほぼ均等に選抜される。人物画像優先が指定された場合、人物画像が優先的に選抜される。風景画像優先が指定された場合、風景画像が優先的に選抜される。このように、ユーザに選抜方針を指定させることにより、ユーザの意図や目的に沿った画像を優先的に選抜させることができる。

ステップＳ３において、画像解析部３２は、イベントにおいて撮像された全ての画像を順次取得して解析し、各画像に対して様々な観点の評価値ｆ１乃至ｆ５を算出して、それらを重み付け加算することにより、各画像の総合評価値Ｆを決定する。

具体的には、各類似画像群の代表画像に対して類似画像群に属する画像の枚数に応じた評価値ｆ１を算出する。また、各画像から検出された顔の大きさ、位置、表情、被写体の人数と構図などに応じた評価値ｆ２を算出する。さらに、各画像から検出された複数の顔の大きさ、隣接具合、並び位置に応じた評価値ｆ３を算出する。またさらに、重要グループに属する人物が一人で被写体となっている場合には評価値ｆ４を追加する。さらに、風景画像としての評価を示す評価値ｆ５を算出する。

そして、次式に示すように、算出された評価値ｆ１，ｆ２，ｆ３，ｆ４，ｆ５に対して、それぞれ所定の重み付け係数ｋ１，ｋ２，ｋ３，ｋ４，ｋ５を乗算し、それらを積算して総合評価値Ｆを算出する。
Ｆ＝ｋ１×ｆ１＋ｋ２×ｆ２＋ｋ３×ｆ３＋ｋ４×ｆ４＋ｋ５×ｆ５

さらに、ステップＳ３において、画像解析部３２は、所定の画像に対してマーキング（スライド画像の候補から除外しないことを意味する）を行う。具体的には、重要人物が被写体となっている画像のうち、総合評価値Ｆが最も高い画像に対してマーキングを行う。また、重要グループに属する人物が全員写っている画像のうち、総合評価値Ｆが高い画像に対してマーキングを行う。

ステップＳ４において、サブイベント分類部３３は、全ての画像をその撮像日時と撮影位置に基づいて複数のサブイベントに分類するサブイベント分類処理を実行する。

このサブイベント分類処理について、図５乃至図８を参照して詳述する。

図５は、サブイベント分類処理を詳述するフローチャートである。ステップＳ１１において、統制部３１は、全ての画像の数に応じて、サブイベントの目標数ｓｎを決定する。以下、仮にサブイベントの目標数ｓｎ＝５とする。

ステップＳ１２において、第１クラスタリング処理部５１は、各画像の撮像日時に基づく第１のクラスタリング処理を実行する。ステップＳ１３において、第２クラスタリング処理部５２は、各画像の撮像位置に基づく第２のクラスタリング処理を実行する。なお、ステップＳ１２の第１のクラスタリング処理と、ステップＳ１３の第２のクラスタリング処理とは、並行して実行することができる。

図６は、第１のクラスタリング処理を説明するフローチャートである。ステップＳ２１において、第１クラスタリング処理部５１は、全ての画像を撮像日時順に並び替える。ステップＳ２２において、第１クラスタリング処理部５１は、隣り合う画像間の撮像日時の差分値（以下、時間差分値と称する）を算出する。

ステップＳ２３において、第１クラスタリング処理部５１は、算出した時間差分値をその値が大きい順に並び替える。ステップＳ２４において、第１クラスタリング処理部５１は、１番目（最大の時間差分値）から目標値ｓｎ−１番目までの時間差分値に対応する画像間をサブイベントの区切りの位置に決定する。

例えば、図７Ａに示す画像間の時間差分値が大きい方から順に時間差分値１、時間差分値２、時間差分値３、時間差分値４であった場合、目標値ｓｎ＝５なので、時間差分値１から時間差分値４までに対応する画像間がサブイベントの区切りの位置に決定される。この結果、同図Ｂに示すように、目標値ｓｎ＝５と同数のサブイベントが生成されたことになる。

ステップＳ２５において、第１クラスタリング処理部５１は、目標値ｓｎ−１番目の時間差分値が予め設定されている時間閾値よりも小さいか否かを判定し、小さいと判定した場合、処理をステップＳ２６に進める。

ステップＳ２６において、第１クラスタリング処理部５１は、ステップＳ２４で決定したサブイベントの区切りの位置を取り消して、１番目（最大の時間差分値）から目標値ｓｎ−１番目までの時間差分値のうち、時間閾値以上の時間差分値に対応する画像間だけを再びサブイベントの区切りの位置に決定する。

例えば、同図Ｃに示すように、時間差分値１から時間差分値３までが時間閾値以上であり、時間差分値４だけが時間閾値よりも小さい場合、時間差分値１、時間差分値２、時間差分値３にそれぞれ対応する画像間がサブイベントの区切りの位置に決定される。この結果、目標値ｓｎ＝５よりも少ない４個のサブイベントが生成される。

また例えば、同図Ｄに示すように、時間差分値１と時間差分値２が時間閾値以上であり、時間差分値３と時間差分値４が時間閾値よりも小さい場合、時間差分値１、時間差分値２にそれぞれ対応する画像間がサブイベントの区切りの位置に決定される。この結果、目標値ｓｎ＝５よりも少ない３個のサブイベントが生成される。

なお、ステップＳ２５において、目標値ｓｎ−１番目の時間差分値が予め設定されている時間閾値よりも小さくないと判定された場合、ステップＳ２６はスキップされる。従ってこの場合、同図Ｂに示されたように、目標値ｓｎと同数のサブイベントが生成されたまま維持される。以上で第１のクラスタリング処理が終了される。

図８は、第２のクラスタリング処理を説明するフローチャートである。ステップＳ３１において、第２クラスタリング処理部５２は、全ての画像を撮像日時順に並び替える。ステップＳ３２において、第２クラスタリング処理部５２は、隣り合う画像間の撮像位置の差分値（以下、距離差分値と称する）を算出する。

ステップＳ３３において、第２クラスタリング処理部５１は、算出した距離差分をその値が大きい順に並び替える。ステップＳ３４において、第２クラスタリング処理部５２は、１番目（最大の距離差分値）から目標値ｓｎ−１番目までの距離差分値に対応する画像間をサブイベントの区切りの位置に決定する。この結果、目標値ｓｎと同数のサブイベントが生成されたことになる。

ステップＳ３５において、第２クラスタリング処理部５２は、目標値ｓｎ−１番目の距離差分値が予め設定されている距離閾値よりも小さいか否かを判定し、小さいと判定した場合、処理をステップＳ３６に進める。

ステップＳ３６において、第２クラスタリング処理部５２は、ステップＳ３４で決定したサブイベントの区切りの位置を取り消して、１番目（最大の距離差分値）から目標値ｓｎ−１番目までの距離差分値のうち、距離閾値以上の距離差分値に対応する画像間だけを再びサブイベントの区切りの位置に決定する。この結果、目標値ｓｎよりも少ない数のサブイベントが生成される。

なお、ステップＳ３５において、目標値ｓｎ−１番目の距離差分値が予め設定されている距離閾値よりも小さくないと判定された場合、ステップＳ３６はスキップされる。従ってこの場合、目標値ｓｎと同数のサブイベントが生成されたまま維持される。以上で第２のクラスタリング処理が終了される。

以上説明したように、第１のクラスタリング処理においては撮像時間に基づいて、第２のクラスタリング処理においては撮像位置に基づいて、それぞれ最大で目標値ｓｎと同数のサブイベントが生成されたことになる。

図５に戻り、ステップＳ１４において、合成部５３は、第１クラスタリング処理部５１により決定されたサブイベントの区切りの位置と、第２クラスタリング処理部５２により決定されたサブイベントの区切りの位置とを論理和により合成して、イベントにおいて撮像された全ての画像をいずれかのサブイベントに分類する。

以上説明したサブイベント分類処理によれば、最大で目標値ｓｎの２倍の数のサブイベントのいずれかに全ての画像が分類される。ただし、第１のクラスタリング処理において決定されたサブイベントの区切りの位置と、第２のクラスタリング処理において決定されたサブイベントの区切りの位置とが一致することも多く、サブイベントの数がむやみに増加してしまうことはないと考えられる。一方で、例えば、旅行の往路と復路で同じ場所に２度立ち寄ったりした場合にも、往路で撮影された画像と復路で撮影された画像とが同一のサブイベントに分類されることなく、異なるサブイベントに分類することができる。

図４に戻る。ステップＳ５において、画像解析部３２の類似画像群検出部４６は、各画像をその特徴量の類似性に応じて類似画像群に分類する。具体的には、各画像の特徴得量を得るためにHSV（色相、彩度、明度）変換を行い、これを粗く量子化した後にヒストグラム処理を行い、撮影日時が隣接している画像間でヒストグラムを比較し、その差分値が所定の閾値以下である場合に類似画像群に属すると判断する。また、構図の類似性にも基づいて類似画像群を判断する。

さらに、ステップＳ５において、類似画像群検出部４６は、各類似画像群の中から最も総合評価値Ｆの値が大きい画像を代表画像に選出し、その他の画像をスライド画像の候補から除外する。

ステップＳ６において、スライド画像選抜部３４は、サブイベント毎に分類されている各画像を、その総合評価値Ｆが小さい方から順にスライド画像の候補から除外することによりスライド画像を選抜する画像除外処理を実行する。この画像除外処理について詳述する。

図９および図１０は、画像除外処理を説明するフローチャートである。ステップＳ５１において、統制部３１は、全画像の数と、ステップＳ１で決定した選抜枚数と、各サブイベントに分類された画像の枚数とに基づいて、各サブイベントに最終的に残す画像の目標数（以下、最終目標枚数と称する）を決定する。具体的には、例えば、全画像の数に対する選抜枚数の割合を、各サブイベントに分類された画像の枚数に乗算した値を、各サブイベントの最終目標枚数に決定する。

ステップＳ５２において、統制部３１は、ステップＳ５１で決定した各サブイベントの最終目標枚数に基づき、各サブイベントに対して最終目標枚数よりも大きな値を目標枚数に設定する。例えば、最終目標枚数の２割増しなどの値を目標枚数に設定する。なお、この目標枚数が以降のステップＳ５３以降の処理が繰り返される毎に徐々に最終目標枚数に近い値が設定される。

ステップＳ５３において、スライド画像選抜部３４は、画像解析部３２の解析結果に基づいて人物画像と風景画像の枚数を取得した後、ステップＳ２で指定された選抜方針（ノーマル、人物画像優先、または風景画像優先）に応じ、以降の処理において人物画像と風景画像のどちらを除外対象（除外する画像）とするかを決定する。

ステップＳ５４において、スライド画像選抜部３４は、撮影日時順に１つのサブイベントを処理対象に指定する。

ステップＳ５５において、スライド画像選抜部３４は、処理対象のサブイベントに分類されている画像のうち、除外対象（人物画像または風景画像のどちらか）であって、マーキングされていないものを、その総合評価値Ｆが小さいものから順にスライド画像の候補から除外する。そして、除外されずに残った枚数（選抜された枚数）をステップＳ５２で設定した目標値に近づける。ただし、サブイベントに属する画像のうち、除外されずに残っている画像が１枚だけである場合にはその画像を除外しない。すなわち、この段階においては、各サブイベントにおいて、最低１枚は画像を残す（選抜する）ようにする。ただし、以降のステップＳ６１の処理において、当該サブイベント自体が削除される場合がある。

ステップＳ５６において、スライド画像選抜部３４は、直前のステップＳ５５の処理で、処理対象のサブイベントに分類されている画像を１枚以上スライド画像の候補から除外できたか否かを判断し、１枚も除外できていない場合には、処理をステップＳ５７に進める。ステップＳ５７において、スライド画像選抜部３４は、除外対象を切り替える。具体的には、現在、人物画像が除外対象とされている場合には風景画像を除外対象とする。反対に、現在、風景画像が除外対象とされている場合には人物画像を除外対象とする。この後、処理はステップＳ５５に戻されて、それ以降が繰り返される。

なお、ステップＳ５６において、直前のステップＳ５５の処理で、処理対象のサブイベントに分類されている画像が１枚以上スライド画像の候補から除外できた場合、処理はステップＳ５８に進められる。

ステップＳ５８において、スライド画像選抜部３４は、全てのサブイベントを処理対象に指定したか否かを判定し、全てのサブイベントを処理対象に指定したと判定するまで、処理をステップＳ５４に戻し、それ以降を繰り返す。そして、ステップＳ５８において、全てのサブイベントを処理対象に指定したと判定された場合、処理はステップＳ５９に進められる。

ステップＳ５９において、スライド画像選抜部３４は、各サブイベントに属している画像のうち、スライド画像の候補から除外されずに残っている（選抜されている）ものの数の合計が、ステップＳ１で決定した選抜枚数に達したか否かを判定する。達していないと判定された場合、処理は図１０のステップＳ６０に進められる。

ステップＳ６０において、スライド画像選抜部３４は、全てのサブイベントのうち、属している画像の中でスライド画像の候補から除外されずに残っている（選抜されている）画像の数が１枚だけのサブイベントの数を特定する。さらに、スライド画像選抜部３４は、当該サブイベントの数が所定の閾値以上であるか否かを判定し、当該サブイベントの数が所定の閾値以上であると判定した場合、処理をステップＳ６１に進める。反対に、否と判定された場合、ステップＳ６１の処理はスキップされる。

ステップＳ６１において、スライド画像選抜部３４は、当該各サブイベントで１枚だけ残っている（選抜されている）画像の数の総合評価値を比較して、その値が最低の画像が属するサブイベントを削除する。

ステップＳ６２において、スライド画像選抜部３４は、全てのサブイベントを合わせて除外可能な画像（すなわち、マーキングされていない画像）が１枚以上あるか否かを判定し、１枚もないと判定した場合のみ、処理をステップＳ６３に進める。反対に、１枚以上あると判定された場合、ステップＳ６３の処理はスキップされる。

ステップＳ６３において、スライド画像選抜部３４は、マーキングされている画像に対して、そのマーキングを取り消す。これにより、残っている全ての画像が除外可能とされる。

ステップＳ６４において、統制部３１は、ステップＳ５１で決定した各サブイベントの最終目標枚数に基づき、各サブイベントに対して、現在の目標枚数よりも最終目標枚数に近い値を目標枚数に設定する。この後、処理は図９のステップＳ５３に戻されて、それ以降が繰り返される。

そして、ステップＳ５９において、各サブイベントに属している画像のうち、スライド画像の候補から除外されずに残っている（選抜されている）ものの数の合計が、ステップＳ１で決定した選抜枚数に達したと判定された場合、当該画像除外処理が終了される。

なお、各サブイベントに属している画像のうち、スライド画像の候補から除外されずに残っている（選抜されている）ものの数の合計が、ステップＳ１で決定した選抜枚数に達したものの除外し過ぎて選抜された画像の枚数が選抜枚数に不足してしまう場合には、除外した画像のうち、総合評価値Ｆが大きいものから順に除外を解除する（選抜に加える）ようにする。

反対に、上述したステップＳ５３以降の処理を所定の回数繰り返しても、残っている枚数が多く選抜枚数に到達できない場合には、サブイベントの残り枚数やマーキングに拘わらず、残っている画像のうち、総合評価値Ｆが小さいものから順に除外するようにする。

以上で、画像除外処理の説明を終了するとともに、スライド画像選抜処理の説明を終了する。

以上に説明したスライド画像選抜処理によれば、旅行などのイベントの全体を偏りなく、その流れを掴み易く、且つ、見所を集めた画像を選抜することが可能となる。

＜３．第２の実施の形態＞
［コンピュータの構成例］
上述した第１の実施の形態であるデジタルスチルカメラ１０においては、自らが画像の撮像も行ったが、第２の実施の形態であるコンピュータは、外部から入力される複数の画像（イベントにおいて撮像されたもの）を対象として、スライド画像選抜処理を実行する。

図１１は、第２の実施の形態であるコンピュータの構成例を示している。このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述したスライド画像選抜処理が行われる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

なお、本発明を、スライドショーにおいて表示させる画像を選抜する場合だけでなく、例えば、写真集に載せる画像を選抜するような場合にも適用することができる。

＜４．変形例＞
なお、上述した第１および第２の実施の形態は、上述した内容に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。また、以下のように拡張することが考えられる。

ユーザに対してサブイベント（削除されたサブイベントも含む）の一覧を提示し、ユーザの指示に応じて、削除したサブイベントの中から重要な画像を復活して選抜する機能、逆に、ユーザが不要なサブイベントを指定して削除させる機能を追加してもよい。

画像の撮像位置の情報に基づき、所定のデータベースを検索してその撮像位置のランドマーク名を特定し、サブイベントのタイトルとして付与するようにしてもよい。また、各サブタイトルに対してユーザが任意のタイトルやコメントを付与できるようにしてもよい。

さらに、各画像の撮像日時および撮像位置の情報に基づき、イベント実行時におけるユーザのタイムスケジュール表や行程記録などを自動的に作成する機能を追加してもよい。

さらに、地図を表示させるアプリケーションと連携し、地図上にサブイベントの位置や移動経路を表示する機能を追加するようにしてもよい。

１０ デジタルスチルカメラ， １１ 制御部， １２ メモリ， １３ 操作入力部，１４ 位置情報取得部， １６ 撮像部， ３１ 統制部， ３２ 画像解析部， ３３ サブイベント分類部， ３４ スライド画像選抜部， ３５ 表示制御部， ４１ 顔検出部， ４２ グループ判別部， ４３ 風景検出部， ４４ 構図検出部， ４５ 表情検出部， ４６ 類似画像群検出部， ５１ 第１クラスタリング処理部， ５２ 第２クラスタリング処理部， ５３ 合成部， １００ コンピュータ， １０１ CPU

Claims (9)

1. イベントにおいて撮像された複数の画像の中から所定数の画像を選抜する情報処理装置において、
   前記複数の画像を解析し、前記画像それぞれの評価値を算出する画像解析手段と、
   前記複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像日時の差を示す時間差分値に基づき、撮像日時の順序で並び替えた前記複数の画像を複数のサブイベントに分類するための複数の境界からなる第１の境界群を決定する第１のクラスタリング手段と、
   前記複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像位置の差を示す距離差分値に基づき、撮像日時の順序で並び替えた前記複数の画像を複数のサブイベントに分類するための複数の境界からなる第２の境界群を決定する第２のクラスタリング手段と、
   決定された前記第１および第２の境界群に従い、撮像日時の順序で並び替えた前記複数の画像を前記複数のサブイベントに分類する分類手段と、
   前記サブイベント毎に分類された画像のうち、前記評価値が小さいものを除外することにより選抜する画像を決定する画像選抜手段と
   を含む情報処理装置。
2. 前記分類手段は、決定された前記第１の境界群と前記第２の境界群の論理和を境界として、撮像日時の順序で並び替えた前記複数の画像を前記複数のサブイベントに分類する
   請求項１に記載の情報処理装置。
3. 前記画像選抜手段は、前記サブイベント毎に分類された画像のうち、前記評価値が小さい方から所定割合だけ除外することにより選抜する画像を決定する
   請求項２に記載の情報処理装置。
4. 前記画像選抜手段における画像選抜の方針として、人物画像優先、風景画像優先、またはノーマルの少なくとも１つを含む選択肢をユーザに指定させる指定手段を
   さらに含む請求項２に記載の情報処理装置。
5. 前記複数の画像の中で類似画像群を検出し、前記類似画像群に属する画像のうちの前記評価値が最大のもの以外を除外する類似画像検出手段を
   さらに含む請求項２に記載の情報処理装置。
6. 前記画像解析手段は、前記複数の画像それぞれに対し、類似画像の数、被写体となる人物の顔のサイズ、前記人物の数、前記人物の表情、前記人物の配置、前記人物が属するグループ、または被写体となる風景の構図のうちの少なくとも１つを評価する評価値を算出する
   請求項２に記載の情報処理装置。
7. 画像を撮像する撮像手段と、
   前記画像の撮像日時および撮像位置を示す情報を取得する取得手段と
   をさらに含む請求項２に記載の情報処理装置。
8. イベントにおいて撮像された複数の画像の中から所定数の画像を選抜する情報処理装置の情報処理方法において、
   前記情報処理装置による、
   前記複数の画像を解析し、前記画像それぞれの評価値を算出する画像解析ステップと、
   前記複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像日時の差を示す時間差分値に基づき、撮像日時の順序で並び替えた前記複数の画像を複数のサブイベントに分類するための複数の境界からなる第１の境界群を決定する第１のクラスタリングステップと、
   前記複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像位置の差を示す距離差分値に基づき、撮像日時の順序で並び替えた前記複数の画像を複数のサブイベントに分類するための複数の境界からなる第２の境界群を決定する第２のクラスタリングステップと、
   決定された前記第１および第２の境界群に従い、撮像日時の順序で並び替えた前記複数の画像を前記複数のサブイベントに分類する分類ステップと、
   前記サブイベント毎に分類された画像のうち、前記評価値が小さいものを除外することにより選抜する画像を決定する画像選抜ステップと
   を含む情報処理方法。
9. イベントにおいて撮像された複数の画像の中から所定数の画像を選抜する情報処理装置の制御用のプログラムであって、
   前記複数の画像を解析し、前記画像それぞれの評価値を算出する画像解析ステップと、
   前記複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像日時の差を示す時間差分値に基づき、撮像日時の順序で並び替えた前記複数の画像を複数のサブイベントに分類するための複数の境界からなる第１の境界群を決定する第１のクラスタリングステップと、
   前記複数の画像を撮像日時の順序で並び替えたときに隣り合う画像間の撮像位置の差を示す距離差分値に基づき、撮像日時の順序で並び替えた前記複数の画像を複数のサブイベントに分類するための複数の境界からなる第２の境界群を決定する第２のクラスタリングステップと、
   決定された前記第１および第２の境界群に従い、撮像日時の順序で並び替えた前記複数の画像を前記複数のサブイベントに分類する分類ステップと、
   前記サブイベント毎に分類された画像のうち、前記評価値が小さいものを除外することにより選抜する画像を決定する画像選抜ステップと
   を含む処理を情報処理装置のコンピュータに実行させるプログラム。

Images