JP2012138679A - 画像処理装置、画像分類プログラム、及び、画像表示プログラム - Google Patents

Abstract

【課題】ユーザが希望の撮影画像を探しにくい。
【解決手段】画像処理装置は、時間的に連続に撮影された複数の撮影画像と撮影画像との間の撮影画像の非類似度を算出する非類似度算出部と、前記非類似度の閾値が複数個設定されており、前記複数の閾値に対応して前記複数の撮影画像を複数の群に分類する画像分類部とを備える。前記非類似度算出部は、一の撮影画像と、時間的に前記一の撮影画像の１つ前の撮影画像とから前記非類似度を算出する。
【選択図】図１

Description

本発明は、画像処理装置、画像分類プログラム、及び、画像表示プログラムに関する。

複数の画像ファイルを分類する画像処理装置が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１０−８７６５４号公報

しかしながら、画像を並列な群に分けただけなので、群が多すぎたり、逆に群毎に含まれる画像が多すぎてユーザが希望の画像を探しにくいといった課題がある。

上記課題を解決するために、本発明の第１の態様は、時間的に連続に撮影された複数の撮影画像間の撮影画像の非類似度を算出する非類似度算出部と、前記非類似度の閾値が複数個設定されており、複数の前記閾値に対応して前記複数の撮影画像を複数の画像群に分類する画像分類部とを備える画像処理装置である。

本発明の第２の態様は、時間的に連続に撮影された複数の撮影画像間の撮影画像の非類似度を算出する非類似度算出段階と、前記非類似度の閾値が複数個設定されており、複数の前記閾値に対応して前記複数の撮影画像を複数の群に分類する画像分類段階とをコンピュータに実行させる画像分類プログラムである。

本発明の第３の態様は、時間的に連続に撮影された複数の撮影画像の非類似度を算出して、前記非類似度の閾値に基づいて、複数の上層の撮影画像のいずれかに下層の撮影画像が対応付けられた状態で複数の階層に階層化された前記撮影画像を画像表示部に表示させるためにコンピュータに実行させる画像表示プログラムであって、前記複数の上層の撮影画像を選択可能に表示させる段階と、前記複数の上層の撮影画像のいずれかが選択されると、選択された撮影画像と対応付けられている下層の撮影画像を表示させる段階とを有する画像表示プログラムである。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

画像処理装置の全体構成のブロック図である。 時間的に配置された連写画像の変化の大小に基づく撮影画像の分類を説明する図である。 連写画像を時系列に配列した図である。 撮影画像の階層化を説明する図である。 画像処理装置による画像分類処理を説明するフローチャートである。 画像処理装置による画像表示処理を説明するフローチャートである。 全画像群の表示画面を説明する図である。 第１階層の大変化撮影画像の表示画面を説明する図である。 大閾値を小さくした場合の大変化撮影画像の表示画面を説明する図である。 大閾値を大きくした場合の大変化撮影画像の表示画面を説明する図である。 第２階層の中変化撮影画像の表示画面を説明する図である。 第３階層の小変化撮影画像の表示画面を説明する図である。 撮影画像の表示方法を変更した実施形態の表示画面を説明する図である。 撮影画像の表示方法を変更した実施形態の表示画面を説明する図である。 撮影画像の表示方法を変更した実施形態の表示画面を説明する図である。 複数の閾値変更画像を同じ画面に表示する実施形態を説明する図である。 閾値変更画像を１つにまとめた実施形態を説明する図である。 合成画像を代表画像にする場合を説明するための図である。 複数の非類似度によって撮影画像を分類する図である。 複数の非類似度をグラフ化した図である。 複数の非類似度を選択するドロップダウンリストの図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、画像処理装置の全体構成のブロック図である。図１に示すように、画像処理装置１０は、コンピュータの一例であって、画像処理制御部１２と、記憶部１４と、画像表示部１６と、入力部１８とを備える。

画像処理制御部１２は、ＣＰＵ（＝中央処理装置）を含み、画像処理装置１０の制御全般を司る。画像処理制御部１２は、非類似度算出部の一例である変化度算出部２２と、閾値設定部２４と、画像分類部２６と、選択部２８と、表示制御部３０とを有する。

変化度算出部２２は、時間的に連続に撮影された複数の撮影画像間の変化度を算出する。尚、変化度は、非類似度の一例である。変化度算出部２２は、対象の撮影画像と、対象の撮影画像よりも時間的に１つ前の撮影画像とを比較して、変化度を算出する。変化度の算出方法は、特に限定されるものではないが、例えば、撮像画像の色味、構図、テクスチャ等に対応する特徴の差から算出してもよく、２つの撮影画像の各画素のデータの変化した割り合いから算出してもよく、撮影画像の平行移動の移動度等を考慮して算出してもよい。尚、変化度算出部２２が、撮影画像全体の変化度ではなく、撮影画像の一部の変化度を算出するようにしてもよい。例えば、人の顔と、背景とを含む撮影画像の場合、変化度算出部２２は、特徴のある人の顔の画像を２つの撮影画像から抽出して、人の画像の変化度を算出するようにしてもよい。

閾値設定部２４は、変化度の閾値を複数個設定及び変更する。例えば、閾値設定部２４は、大閾値、及び、大閾値よりも小さい中閾値を設定及び変更して、記憶部１４に格納する。閾値設定部２４は、大閾値及び中閾値を独立して設定及び変更する。大閾値は、連写画像に含まれる複数の撮影画像を、大変化撮影画像と、それ以外の撮影画像とに分類するために使用される。中閾値は、大変化撮影画像が除かれた連写画像に含まれる複数の撮影画像を、中変化撮影画像と、小変化撮影画像とに分類するために使用される。また、閾値設定部２４は、後述する画像群の数である群数が予め設定されて記憶部１４に格納された群数範囲内となるように、上述の大閾値及び中閾値を設定及び変更する。閾値設定部２４は、入力部１８によって閾値を変更する変更指示が入力されると、大閾値または中閾値を変更する。

画像分類部２６は、閾値設定部２４によって設定された複数の閾値に対応して、複数の撮影画像を複数の画像群に分類及び階層化する。複数の撮影画像の一例は、連写された撮影画像である。例えば、画像分類部２６は、閾値設定部２４によって大閾値及び中閾値が設定されていると、複数の撮影画像を３個の画像群に分類及び階層化する。詳細には、画像分類部２６は、大閾値以上の大変化画像と、大閾値未満の撮像画像とに分類する。そして、画像分類部２６は、大変化画像と、時間的に次の大変化画像の１つ前の撮影画像までを、第１画像群として分類する。また、画像分類部２６は、大変化画像以外の撮影画像を、当該撮影画像の時間的に直前の大変化画像の下層として関連付ける。更に、画像分類部２６は、大閾値未満の撮影画像のうち、中閾値以上の中変化画像と、中閾値未満の小変化画像とに分類する。そして、画像分類部２６は、中変化画像と、時間的に次の中変化画像の１つ前の撮影画像までを第２画像群として分類する。画像分類部２６は、第２画像群に含まれる小変化画像を第３画像群として分類する。また、画像分類部２６は、小変化画像を、小変化画像の時間的に直前の中変化画像の下層として関連付ける。更に、画像分類部２６は、閾値設定部２４によって大閾値または中閾値が変更されると、変更された大閾値または中閾値に基づいて、複数の撮影画像を再度分類する。

選択部２８は、ユーザによって撮影画像が選択されたか否かを判定する。選択部２８は、選択された撮影画像を表示制御部３０へと出力する。

表示制御部３０は、種々の画像を画像表示部１６に表示させる。例えば、表示制御部３０は、画像分類部２６によって分類された撮影画像を、その分類に基づいて、画像表示部１６に表示させる。更に、表示制御部３０は、撮影画像が画像分類部２６によって再度分類されると、その再度分類された撮影画像に基づいて、画像表示部１６における撮影画像の表示を変更する。また、表示制御部３０は、大変化画像を画像表示部１６に選択可能に表示させるとともに、表示された大変化画像のいずれかが選択されると、選択された大変化画像とともに、選択された大変化画像に関連付けられた中変化画像を画像表示部１６に表示させる。更に、表示制御部３０は、中変化画像を画像表示部１６に選択可能に表示させるとともに、表示された中変化画像のいずれかが選択されると、選択された大変化画像及び中変化画像とともに、選択された中変化画像に関連付けられた小変化画像を画像表示部１６に表示させる。

記憶部１４は、種々の情報を記憶する。記憶部１４が記憶する情報には、画像分類プログラム、画像処理プログラム、単写画像の撮影画像データ、連写画像データ、大閾値、中閾値、群数範囲等が含まれる。画像分類プログラムは、画像処理制御部１２が読み込むことによって、撮影画像を分類及び階層化する。画像表示プログラムは、画像処理制御部１２が読み込むことによって、ユーザの撮影画像の選択等に基づいて、撮影画像を画像表示部１６に表示させる。単写画像の撮影画像データは、１つのデータが１つの撮影画像に対応する。連写画像データは、連写の情報である連写データと、複数の撮影画像データとを含む。連写画像データに含まれる複数の撮影画像データは、それぞれを単写画像として表示することができるとともに、連写データによって時系列で表示可能に関連付けられている。大閾値及び中閾値は、閾値設定部２４によって設定及び変更されて記憶部１４に格納されている。群数範囲は、閾値設定部２４によって後述する画像群の個数の判定に用いられる。

画像表示部１６は、液晶表示装置、または、有機ＥＬ表示装置等の表示装置からなる。画像表示部１６は、表示制御部３０から入力される画像情報に基づいて、種々の画像を表示する。表示される画像には、撮影された撮影画像、閾値を変更するための閾値変更画面等が含まれる。

入力部１８は、マウス及びキーボードを有する。ユーザは、入力部１８を介して、種々の情報及び指示を入力する。ユーザが、入力部１８を介して入力する情報及び指示には、撮影画像の選択指示が含まれる。また、入力部１８は、閾値設定部２４を介して、ユーザが大閾値及び中閾値を変更するための閾値入力部の一例である。

図２は、時間的に配置された連写画像の変化の大小に基づく撮影画像の分類を説明する図である。図２において、例えば、撮影画像ＰＬ１を参照すると、時間的に１つ前の横顔の撮影画像から正面の顔の撮影画像に変化している。このような変化は、変化度算出部２２によって大閾値以上の変化度が算出される。算出された変化度は撮影画像ＰＬ１に関連付けられる。そして、画像分類部２６は、撮影画像ＰＬ１の変化度が大閾値以上と判定して、撮影画像ＰＬ１を大変化撮影画像と分類する。図２において、撮影画像ＰＭ１を参照すると、時間的に１つ前の撮影画像と比較して、少し表情が変化しただけである。このような変化は、変化度算出部２２によって大閾値未満であって中閾値以上の変化度が算出される。算出された変化度は撮影画像ＰＭ１に関連付けられる。そして、画像分類部２６は、撮影画像ＰＭ１の変化度が中閾値以上と判定して、撮影画像ＰＭ１を中変化撮影画像として分類する。図２において、撮影画像ＰＳ１を参照すると、時間的に１つ前の撮影画像とほとんど変化していない。このような変化は、変化度算出部２２によって中閾値未満の変化度が算出される。算出された変化度は撮影画像ＰＳ１に関連付けられる。そして、画像分類部２６は、撮影画像ＰＳ１の変化度が中閾値未満であると判定して、撮影画像ＰＳ１を小変化撮影画像として分類する。尚、後述の説明において、大変化撮影画像に符号ＰＬｎ（ｎ＝１、２・・）を付与し、中変化撮影画像に符号ＰＭｎを付与し、小変化撮影画像にＰＳｎを付与する。

図３は、連写画像を時系列に配列した図である。図４は、撮影画像の階層化を説明する図である。尚、図３において、上列のＴ１と中列のＴ１は同じ時刻を示し、中列のＴ２と下列のＴ２は同じ時刻を示す。

図３に示すように、連写画像には、複数の大変化撮影画像ＰＬｎ、複数の中変化撮影画像ＰＭｎ、複数の小変化撮影画像ＰＳｎが含まれている。画像分類部２６は、まず、大変化撮影画像ＰＬ１から、次の大変化撮影画像ＰＬ２の時間的に１つ前の撮影画像（ここでは小変化撮影画像ＰＳ５）までを第１画像群として分類する。同様に、画像分類部２６は、大変化撮影画像ＰＬ２から、次の大変化撮影画像ＰＬ３の１つ前の撮影画像（ここでは小変化撮影画像ＰＳ１２）までを第１画像群とする。残りの撮影画像に関しても、画像分類部２６は、同様に第１画像群として分類する。これにより、図４に示すように、複数の第１画像群が、画像分類部２６によって分類される。次に、画像分類部２６は、大変化撮影画像ＰＬ１の次の中変化撮影画像ＰＭ１と、次の中変化撮影画像ＰＭ２の時間的に１つ前の撮影画像（ここでは小変化撮影画像ＰＳ３）までを第２画像群として分類する。尚、大変化撮影画像ＰＬｎの次の撮影画像が小変化撮影画像ＰＳｎの場合（撮影画像ＰＳ６を参照）、大変化撮影画像ＰＬ２の次の小変化撮影画像ＰＳ６と、次の中変化撮影画像ＰＭｎ、または、大変化撮影画像ＰＬｎのいずれか先に出現する撮影画像の１個前の撮影画像（ここでは小変化撮影画像ＰＳ８）までを１個の第２画像群として分類する。この場合、第２画像群は、小変化撮影画像ＰＳｎのみとなる。そして、画像分類部２６は、第２画像群に含まれる小変化撮影画像ＰＳ１〜ＰＳ３を第３画像群として分類する。この後、画像分類部２６は、同様に各第１画像群の中の第２画像群及び第３画像群に分類する。

画像分類部２６は、１の第１画像群に含まれる大変化撮影画像、例えば、大変化撮影画像ＰＬ１を第１階層とする。画像分類部２６は、大変化撮影画像ＰＬ１と同じ第１画像群に含まれる中変化撮影画像ＰＭ１、ＰＭ２を大変化撮影画像ＰＬ１に関連付ける。そして、画像分類部２６は、中変化撮影画像ＰＭ１、ＰＭ２を第１階層の下層である第２階層とする。画像分類部２６は、中変化撮影画像ＰＭ１と同じ第２画像群に含まれる小変化撮影画像ＰＳ１〜ＰＳ３を中変化撮影画像ＰＭ１に関連付ける。そして、画像分類部２６は、小変化撮影画像ＰＳ１〜ＰＳ３を第２階層の下層である第３階層とする。画像分類部２６は、同様に他の撮影画像を階層化する。

図５は、画像処理装置による画像分類処理を説明するフローチャートである。画像分類処理は、画像処理制御部１２が、記憶部１４から画像分類プログラムを読み込むことにより実行される。

図５に示すように、画像分類処理が開始されると、変化度算出部２２が、時間的に連続に撮影された連写画像に含まれる複数の撮影画像間の撮影画像の変化度を算出する（Ｓ１００）。変化度は、対象の撮影画像と、対象の撮影画像の時間的に１つ前の撮影画像とから算出される。

次に、画像分類部２６が、閾値設定部２４によって予め設定された変化度の大閾値及び中閾値と、算出された変化度とを比較する。そして、画像分類部２６は、大閾値及び中閾値に対応して、連写画像に含まれる複数の撮影画像を３個の画像群に分類する（Ｓ１０２）。このステップでは、画像分類部２６は、変化度が大閾値以上の撮影画像を大変化撮影画像ＰＬｎとして分類する。次の、画像分類部２６は、残りの撮影画像のうち、変化度が中閾値以上の撮影画像を中変化撮影画像ＰＭｎとして分類するとともに、残りの撮影画像を小変化撮影画像ＰＳｎとして分類する。

次に、閾値設定部２４が、群数が予め定められて記憶部１４に記憶された群数範囲内か否かを判定する（Ｓ１０４）。群数は、連写画像に含まれる第１画像群の個数であって、連写画像に含まれる大変化撮影画像の数と等しい。更に、群数として、大変化撮影画像の数とともに、中変化撮影画像ＰＭｎの数を考慮してもよい。群数範囲の一例は、３個〜５個である。閾値設定部２４は、群数が群数範囲内でないと判定すると（Ｓ１０４：Ｎｏ）、大閾値を変更する（Ｓ１０６）。例えば、群数が群数範囲よりも大きい場合は、閾値設定部２４は、大変化撮影画像ＰＬｎの数が減少するように、大閾値を大きくする。一方、群数が群数範囲よりも小さい場合、閾値設定部２４は、大変化撮影画像ＰＬｎの数が増加するように、大閾値を小さくする。

この後、画像分類部２６は、閾値設定部２４によって変更された大閾値によって、再度、撮影画像を分類する。そして、群数が群数範囲内になるまで、ステップＳ１０２及びＳ１０６が繰り返される。

閾値設定部２４が、群数が群数範囲内になったと判定すると（Ｓ１０４：Ｙｅｓ）、画像分類部２６が、分類された撮影画像を階層化する（Ｓ１０８）。まず、画像分類部２６は、大変化撮影画像ＰＬｎと、時間的に次の大変化撮影画像ＰＬ（ｎ＋１）の１個前の撮影画像までの撮影画像を、１個の第１画像群として分類する。画像分類部２６は、同様に、残りの撮影画像をそれぞれ第１画像群に分類する。この後、画像分類部２６は、それぞれの第１画像群の撮影画像を第２画像群に分類した後、第３画像群に更に分類する。そして、画像分類部２６は、大変化撮影画像ＰＬｎを第１階層とし、同じ第１画像群に含まれる中変化撮影画像ＰＭｎを大変化撮影画像ＰＬｎに関連付けて、第２階層とする。次に、画像分類部２６は、中変化撮影画像ＰＭｎと同じ第２画像群に含まれる小変化撮影画像ＰＳｎをその中変化撮影画像ＰＭｎに関連付けて第３階層とする。

これにより、画像分類部２６は、撮影画像の階層化を終了する。この結果、画像処理装置１０による画像分類処理が終了する。

図６は、画像処理装置による画像表示処理を説明するフローチャートである。画像表示処理は、画像処理制御部１２が、記憶部１４から画像処理プログラムを読み込むことにより実行される。図７は、全画像群の表示画面を説明する図である。図８は、第１階層の大変化撮影画像の表示画面を説明する図である。図９は、大閾値を小さくした場合の大変化撮影画像の表示画面を説明する図である。図１０は、大閾値を大きくした場合の大変化撮影画像の表示画面を説明する図である。図１１は、第２階層の中変化撮影画像の表示画面を説明する図である。図１２は、第３階層の小変化撮影画像の表示画面を説明する図である。

図６に示すように、画像表示処理では、表示制御部３０が、全画像群を表示する（Ｓ２００）。図７に示すように、全画像群の表示画面では、単写の撮影画像ＮＰｎ、及び、連写の画像群ＳＰｎが表示される。単写の撮影画像は、連写とは異なり１枚毎に撮影された画像であって、それぞれ単独で表示される。一方、連写の画像群ＳＰｎは、連写画像群ＳＰｎに含まれる撮影画像のうち１枚の代表画像が表示され、残りの撮影画像は、代表画像の下に積層された状態で表示される。尚、代表画像は、特に限定されるものではないが、例えば、最も変化度の大きい撮影画像、または、最初の撮影画像等を適用できる。単写の撮影画像及び連写の画像群を表示する順は特に限定するものではないが、撮影日時順等に配列してもよい。また、表示する単写の撮影画像ＮＰｎ及び連写の画像群ＳＰｎが、多い場合、スクロールバー４０を表示して、撮影画像をスクロール可能に表示してもよい。

次に、選択部２８は、ユーザが入力部１８を介して撮影画像を選択したか否かを判定する（Ｓ２０２）。選択部２８は、ユーザが撮影画像ＮＰｎまたは撮影画像群ＳＰｎのいずれかを選択したと判定すると（Ｓ２０２：Ｙｅｓ）、選択された撮影画像が、連写の画像群ＳＰｎか否かを判定する（Ｓ２０４）。

選択部２８は、選択された画像群が連写の画像群ＳＰｎでない、即ち、単写の撮影画像ＮＰｎであると判定すると（Ｓ２０４：Ｎｏ）、表示制御部３０は、選択された単写の撮影画像ＮＰｎを画像表示部１６に表示する（Ｓ２０６）。

一方、選択部２８が、選択された撮影画像が連写の画像群ＳＰｎであると判定すると（Ｓ２０４：Ｙｅｓ）、表示制御部３０は、図８に示すように、選択された連写の画像群ＳＰｎに含まれる第１階層の大変化撮影画像ＰＬｎを選択可能に画像表示部１６に表示するとともに、閾値変更画像４２を画像表示部１６に表示する（Ｓ２０８）。大変化撮影画像ＰＬｎは、時系列で配列されて表示される。尚、大変化撮影画像ＰＬｎが多い場合、大変化撮影画像ＰＬｎは、スクロール可能に表示される。大変化撮影画像ＰＬｎは、複数の撮影画像が重なるように表示されている。これにより、ユーザは、大変化撮影画像ＰＬｎに下層の撮影画像である中変化撮影画像または小変化撮影画像が関連付けられていることを認識する。ここで、大変化撮影画像ＰＬｎに重ねられている撮影画像の枚数を、全ての大変化撮影画像ＰＬｎにおいて等しくしてもよい。また、大変化撮影画像ＰＬｎに重ねられている撮影画像の枚数を、大変化撮影画像ＰＬｎに関連付けられている中変化撮影画像ＰＭｎ及び小変化撮影画像ＰＳｎの枚数としてもよい。この場合、大変化撮影画像ＰＬｎと同じ第１画像群に属する中変化撮影画像ＰＭｎ及び小変化撮影画像ＰＳｎの枚数が変化したら、大変化撮影画像ＰＬｎに重ねられている画像の枚数を変化させてもよい。更に、表示されている大変化撮影画像ＰＬｎの各々の近傍に、その大変化撮影画像ＰＬｎに重ねられている中変化撮影画像ＰＭｎ及び小変化撮影画像ＰＳｎの枚数を表示するようにしてもよい。閾値変更画像４２は、ユーザが入力部１８を介して、中央の変更ボタン４４を移動させることができる。これにより、ユーザは、大閾値を変更することができる。

閾値設定部２４は、ユーザが入力部１８を介して、閾値変更画像４２により大閾値を変更したと判定すると（Ｓ２１０：Ｙｅｓ）、大閾値を変更する（Ｓ２１２）。画像分類部２６は、変更された大閾値に基づいて、連写画像群に含まれる撮影画像を再度分類及び階層化する（Ｓ２１４）。尚、撮影画像の分類及び階層化は、ステップＳ１０２及びＳ１０８と同様の処理である。この後、表示制御部３０は、変更された大閾値に基づいて分類された大変化撮影画像ＰＬｎを表示しなおす（Ｓ２０８）。例えば、大閾値がユーザによって小さい値に変更されると、図９に示すように、大変化撮影画像ＰＬｎが増加して表示される。尚、大変化撮影画像ＰＬｎが増加して、画像表示部１６に表示しきれない場合、スクロールバーが表示される。一方、大閾値が大きい値に変更されると、図１０に示すように、大変化撮影画像ＰＬｎが減少して表示される。

一方、閾値設定部２４が、大閾値が変更されていないと判定すると（Ｓ２１０：Ｎｏ）、選択部２８は、第１階層の大変化撮影画像ＰＬｎのいずれかがユーザによって選択された否かを判定する（Ｓ２１６）。選択部２８が、大変化撮影画像ＰＬｎのいずれかがユーザによって選択されていないと判定すると（Ｓ２１６：Ｎｏ）、閾値設定部２４は、再度、ステップＳ２１０を実行する。一方、選択部２８が、大変化撮影画像ＰＬｎのいずれが選択されたと判定すると（Ｓ２１６：Ｙｅｓ）、表示制御部３０は、図１１に示すように、選択された大変化撮影画像ＰＬｎに対応付けられている第２階層の中変化撮影画像ＰＭｎを選択可能に画像表示部１６に表示するとともに、変更ボタン４８を含む閾値変更画像４６を画像表示部１６に表示する（Ｓ２１８）。ここで、閾値変更画像の最大値は、大閾値である。これにより、中閾値は、大閾値以下の範囲で変更できる。また、表示制御部３０は、選択された大変化撮影画像ＰＬｎを左上方へと移動させて、表示を継続する。

次に、閾値設定部２４は、閾値変更画像４６を介して、ユーザによって中閾値が変更されたか否かを判定する（Ｓ２２０）。閾値設定部２４は、ユーザによって中閾値が変更されたと判定すると（Ｓ２２０：Ｙｅｓ）、中閾値を変更する（Ｓ２２２）。この後、画像分類部２６は、変更された中閾値に基づいて、撮影画像を分類するとともに、階層化する（Ｓ２２４）。そして、表示制御部３０は、再度、分類及び階層された中変化撮影画像ＰＭｎを表示する（Ｓ２１８）。

一方、閾値設定部２４が、中閾値が変更されていないと判定すると（Ｓ２２０：Ｎｏ）、選択部２８は、第２階層の中変化撮影画像ＰＭｎのいずれかがユーザによって選択されたか否かを判定する（Ｓ２２６）。選択部２８が、中変化撮影画像ＰＭｎが選択されていないと判定すると（Ｓ２２６：Ｎｏ）、閾値設定部２４は、再度、ステップＳ２２０を実行する。一方、選択部２８が、ユーザによって中変化撮影画像ＰＭｎのいずれかが選択されたと判定すると（Ｓ２２６：Ｙｅｓ）、表示制御部３０は、選択された中変化撮影画像ＰＭｎに対応付けられている第３階層の小変化撮影画像ＰＳｎを表示する（Ｓ２２８）。また、表示制御部３０は、選択された中変化撮影画像ＰＭｎを、先に選択された第１階層の大変化撮影画像ＰＬｎの右側へと移動させて、表示を継続する。

次に、選択部２８は、ユーザによって第３階層の小変化撮影画像ＰＳｎのいずれかが選択されるまでステップＳ２３０を繰り返す（Ｓ２３０：Ｎｏ）。選択部２８が小変化撮影画像ＰＳｎのいずれかがユーザによって選択されたと判定すると（Ｓ２３０：Ｙｅｓ）、選択された撮影画像を拡大表示する（Ｓ２３２）。これにより、画像表示処理が終了する。

上述したように、画像処理装置１０では、大閾値及び中閾値によって撮影画像を分類している。これにより、撮影画像の分類が細分化されるので、ユーザは、容易に希望する撮影画像を選択することができる。

画像処理装置１０では、撮影画像を階層化している。これにより、選択した撮影画像の下層の撮影画像を表示することができるので、ユーザはより容易に撮影画像を選択できる。

画像処理装置１０では、閾値を変更することができる。これにより、例えば、大閾値を変化させて、大変化撮影画像ＰＬｎを所定の数表示させることができる。また、ユーザが大閾値及び中閾値を変化できるとともに、表示制御部３０が閾値の変化を反映させて撮影画像の表示を変更する。これにより、ユーザは、希望の数の撮影画像を表示させつつ、撮影画像を選択できるので、より容易に撮影画像を選択できる。

画像処理装置１０では、大閾値及び中閾値をそれぞれ単独で変更できる。これにより、閾値の自由度を向上させることができる。

画像処理装置１０では、選択された上層の撮影画像が下層の撮影画像が表示された状態でも継続される。これにより、ユーザは、撮影画像の関連を容易に認識することができる。

図１３は、撮影画像の表示方法を変更した実施形態の表示画面を説明する図である。尚、上述した実施形態と同様の構成には、同じ符号を付けて説明を省略する。

図１３に示すように、この実施形態では、表示制御部３０は、撮影画像を選択された後も、全撮影画像の表示を継続する。例えば、ユーザが、連写の画像群ＳＰ２を選択すると、その画像群ＳＰ２に含まれる第１階層の大変化撮影画像ＰＬ１、ＰＬ２が、全撮影画像が表示されている画面の前面に表示される。更に、ユーザが、大変化撮影画像ＰＬ１を選択すると、大変化撮影画像ＰＬ１に関連付けられている第２階層の中変化撮影画像ＰＭ１、ＰＭ２、ＰＭ３が前面に表示される。その後、ユーザが、中変化撮影画像ＰＭ３を選択すると、中変化撮影画像ＰＭ３に関連付けられている第３階層の小変化撮影画像ＰＳ１、ＰＳ２が前面に表示される。これにより、選択されていない撮影画像の表示も継続されつつ、選択された撮影画像に関連付けられている下層の撮影画像が前面に表示されることになる。この結果、ユーザは、選択を変える場合でも、先の選択と異なる上層の撮影画像を選択することができる。

図１４は、撮影画像の表示方法を変更した実施形態の表示画面を説明する図である。尚、上述した実施形態と同様の構成には、同じ符号を付けて説明を省略する。

図１４に示すように、選択されなかった撮影画像を残すようにしてもよい。例えば、大変化撮影画像ＰＬ１に中変化撮影画像ＰＭ１〜ＰＭ４が関連付けられているとする。更に、中変化撮影画像ＰＭ２に小変化撮影画像ＰＳ１〜ＰＳ５が関連付けられているとする。この場合、ユーザが大変化撮影画像ＰＬ１を選択すると、表示制御部３０は、大変化撮影画像ＰＬ１、ＰＬ２の下に、大変化撮影画像ＰＬ１と関連付けられている中変化撮影画像ＰＭ１〜ＰＭ４を表示する。この際、表示制御部３０は、選択されなかった大変化撮影画像ＰＬ２の表示を継続する。次に、ユーザが中変化撮影画像ＰＭ２を選択すると、表示制御部３０は、中変化撮影画像ＰＭ１〜ＰＭ４の下に、中変化撮影画像ＰＭ２と関連付けられている小変化撮影画像ＰＳ１〜ＰＳ５を表示する。この際、表示制御部３０は、中変化撮影画像ＰＭ１、ＰＭ３、ＰＭ４の表示を継続する。これにより、ユーザは、選択を変える場合、先の選択と異なる上層の撮影画像を選択することができる。

図１５は、撮影画像の表示方法を変更した実施形態の表示画面を説明する図である。尚、上述した実施形態と同様の構成には、同じ符号を付けて説明を省略する。

図１５に示すように、表示制御部３０が、連写の画像群に含まれる全ての撮影画像を同時に画像表示部１６に表示するようにしてもよい。この場合、大変化撮影画像ＰＬ１、ＰＬ２、中変化撮影画像ＰＭ１〜ＰＭ４、及び、小変化撮影画像ＰＳ１〜ＰＳｎの階層及び関連付けを示すように、各撮影画像を直線で連結することが好ましい。

図１６は、複数の閾値変更画像を同じ画面に表示する実施形態を説明する図である。上述の実施形態では、大閾値を変更するための閾値変更画像４２、及び、中閾値を変更するための閾値変更画像４６を別々の画面に表示したが、図１６に示すように、同じ画面に２つの閾値変更画像４２、４６を表示してもよい。この場合、閾値変更画像４２のスケール５０の間隔と、閾値変更画像４６のスケール５２の間隔とを変えてもよい。更に、一方の閾値を変更すると、他方の閾値も変更されるようにしてもよい。例えば、ユーザの操作によって大閾値が中閾値以下になる場合、または、中閾値が大閾値以上となる場合、それを禁止するように操作されていない大閾値の変更ボタン４４、または、中閾値の変更ボタン４８を連動させてもよい。尚、この閾値変更画像４２、４６を撮影画像ＰＬｎ、ＰＭｎ、ＰＳｎとともに画像表示部１６に表示させてもよい。

図１７は、閾値変更画像を１つにまとめた実施形態を説明する図である。図１７に示すように、閾値変更画像５６に、大閾値及び中閾値のそれぞれに対応させた複数の２つの変更ボタン５８、６０を設けてもよい。これにより、ユーザは、１つの閾値変更画像５６によって、大閾値及び中閾値を変更することができる。尚、この閾値変更画像５６を撮影画像ＰＬｎ、ＰＭｎ、ＰＳｎとともに画像表示部１６に表示させてもよい。

図１８は、合成画像を代表画像にする場合を説明するための図である。図１８に示すように、例えば、中変化撮影画像ＰＭ１〜ＰＭ４を合成した合成画像ＰＸを代表画像としてもよい。尚、この代表画像は、全画像表示がされる場合に、連写の画像群の代表画像として表示される。

また、非類似度を算出するためのパラメータとして、ヒストグラムの標準偏差、撮影時のカメラの方位、撮影時のカメラの加速度、撮影時のカメラの傾き、撮影時の焦点距離、ホワイトバランス、被写体の移動速度、画像の特定位置の明るさ（特定位置とは、フォーカス位置、顔認識した場合の顔付近等のことである）、各画像に記録された撮影時の音のボリュームデータ（例えば、風船が割れる時の音を見て、割れた瞬間の画像を即座に見つけることができる）、温度（発熱物体の撮影における撮影時の温度の変化量）、被写体の笑顔度等をあげることができる。

例えば、ゴルフ選手がゴルフボールを打ったシーンを高速撮影した１００枚の画像を分類する場合、被写体の移動速度を分類分けの非類似度のパラメータとして用いると、ゴルフのスイング時のゴルフヘッドスピードを計測して分類できる。これにより、ゴルフボールを打った瞬間の画像等を簡単に探し出すことができる。

車の爆発シーンを高速撮影した１００枚の画像を分類しようとする場合、サーモグラフィー等を利用して被写体の温度を計測して、その温度を高速連写した各画像と関連付けて記録する。そして、撮影時の温度を分類分けの非類似度のパラメータに利用すると、車が爆発した瞬間の画像を容易に探し出すことができる。

また、非類似度を算出するためのパラメータをユーザが適宜選択できるように構成してもよい。例えば、画像表示部にドロップダウンリストを撮影画像とともに表示させてもよい。

図１９は、複数の非類似度によって撮影画像を分類する図である。複数の非類似度を組み合わせて変化度を算出してもよい。例えば、笑顔度と、顔認識した顔付近の明るさとを組み合わせてもよい。この場合、図１９に示すように、最初に笑顔度で撮影画像を笑顔度第１分類と第２分類とに分類した後、更に、笑顔度第１分類を明るさによって明るさ第１分類及び第２分類とに分類する。これにより、笑顔度の高い撮影画像のうち、顔が明るく撮影されている撮影画像を簡単に探し出すことができる。また、笑顔度の低い撮影画像のうち、顔が明るく撮影されている撮影画像も簡単に探し出すことができる。尚、明るさによって分類した後、笑顔度によって分類してもよい。

図２０は、複数の非類似度をグラフ化した図である。複数の非類似度を選択または組み合わせる場合、図２０に示すように、連写された各撮影画像の非類似度をグラフ化して表示させてもよい。これにより、ユーザは、変化の激しい非類似度を容易に認識することができるので、どの非類似度によって分類することが最適化を容易に判断することができる。

図２１は、複数の非類似度を選択するドロップダウンリストの図である。複数の非類似度を選択または組み合わせる場合、図２１に示すように、ドロップダウンリスト６２によって選択できるようにしてもよい。

上述の実施形態では、閾値を大閾値及び中閾値の２個に設定したが、閾値を３個以上設定してもよい。例えば、大閾値、中閾値及び小閾値を設定して、それぞれの閾値に関して、閾値以上、または、閾値未満を判定して撮像画像を分類及び階層化してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 画像処理装置
１２ 画像処理制御部
１４ 記憶部
１６ 画像表示部
１８ 入力部
２２ 変化度算出部
２４ 閾値設定部
２６ 画像分類部
２８ 選択部
３０ 表示制御部
４０ スクロールバー
４２ 閾値変更画像
４４ 変更ボタン
４６ 閾値変更画像
４８ 変更ボタン
５０ スケール
５２ スケール
５６ 閾値変更画像
５８ 変更ボタン
６０ 変更ボタン
６２ ドロップダウンリスト

Claims (15)

1. 時間的に連続に撮影された複数の撮影画像間の撮影画像の非類似度を算出する非類似度算出部と、
   前記非類似度の閾値が複数個設定されており、複数の前記閾値に対応して前記複数の撮影画像を複数の画像群に分類する画像分類部と
   を備える画像処理装置。
2. 前記非類似度算出部は、一の撮影画像と、前記一の撮影画像よりも時間的に１つ前の撮影画像とから前記非類似度を算出する
   請求項１に記載の画像処理装置。
3. 前記画像分類部は、
   前記非類似度が前記複数の閾値のいずれかの閾値以上の第１撮影画像と、前記閾値未満の第２撮影画像とに分類し、
   時間的に前記第２撮影画像の前の前記第１撮影画像の下層として前記第２撮影画像を関連付ける
   請求項１または２に記載の画像処理装置。
4. 前記閾値を変更する閾値設定部を
   更に備える請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記閾値設定部は、分類された撮影画像を含む前記複数の画像群の数である群数が、予め設定された群数範囲内となるように前記閾値を変更する
   請求項４に記載の画像処理装置。
6. 前記閾値設定部を介して、前記閾値を変更する閾値入力部を更に備える
   請求項４に記載の画像処理装置。
7. 画像を表示する画像表示部と、
   前記画像分類部の分類に基づいて、前記撮影画像を前記画像表示部に表示させる表示制御部とを更に備え、
   前記画像分類部は、前記閾値設定部によって閾値が変更されると、変更された前記閾値に基づいて、前記複数の撮影画像を再度分類するとともに、
   前記表示制御部は、前記画像分類部によって再度分類された前記撮影画像に基づいて、前記画像表示部の前記撮影画像の表示を変更させる
   請求項６に記載の画像処理装置。
8. 前記閾値設定部は、前記複数の閾値をそれぞれ独立して変更できる
   請求項４〜７のいずれか１項に記載の画像処理装置。
9. 画像を表示する画像表示部と、
   前記画像分類部の分類に基づいて、前記撮影画像を前記画像表示部に表示させる表示制御部とを更に備え、
   前記表示制御部は、前記第１撮影画像を前記画像表示部に選択可能に表示させるとともに、前記第１撮影画像のいずれかが選択されると、選択された前記第１撮影画像に関連付けられた前記第２撮影画像を表示させる
   請求項３に記載の画像処理装置。
10. 前記表示制御部は、第１撮影画像のいずれかが選択されると、選択された前記第１撮影画像とともに、前記第２撮影画像を表示させる
    請求項９に記載の画像処理装置。
11. 前記画像分類部は、連写された複数の撮影画像を分類する
    請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 連写された前記撮影画像は、撮影画像データと、連写の情報である連写データとを含む
    を備える請求項１１に記載の画像処理装置。
13. 前記画像分類部は、一の閾値以上の一の撮影画像と、前記一の閾値以上の他の撮影画像のうち、時間的に前記一の撮影画像の次の他の撮影画像よりも１つ前の撮影画像までを一の画像群として分類する
    請求項１〜１２のいずれか１項に記載の画像処理装置。
14. 時間的に連続に撮影された複数の撮影画像間の撮影画像の非類似度を算出する非類似度算出段階と、
    前記非類似度の閾値が複数個設定されており、複数の前記閾値に対応して前記複数の撮影画像を複数の群に分類する画像分類段階と
    をコンピュータに実行させる画像分類プログラム。
15. 時間的に連続に撮影された複数の撮影画像の非類似度を算出して、前記非類似度の閾値に基づいて、複数の上層の撮影画像のいずれかに下層の撮影画像が対応付けられた状態で複数の階層に階層化された前記撮影画像を画像表示部に表示させるためにコンピュータに実行させる画像表示プログラムであって、
    前記複数の上層の撮影画像を選択可能に表示させる段階と、
    前記複数の上層の撮影画像のいずれかが選択されると、選択された撮影画像と対応付けられている下層の撮影画像を表示させる段階と
    を有する画像表示プログラム。

Images