JP2009272740A - 撮像装置、画像選択方法及び画像選択プログラム - Google Patents

Abstract

【課題】 多数の画像の中から容易に画像を選択する。
【解決手段】 光学系による像を連続的に撮像して複数の画像を得る撮像手段と、複数の画像のそれぞれに対して、所定条件に基づいて順位付けする順位決定手段と、を備えたことを特徴とする。また、複数の画像のそれぞれに対して、所定条件に基づいた評価を行う画像評価手段を備え、順位決定手段は、評価に基づいて順位付けを行うことが好ましい。また、順位決定手段は、撮影時の焦点状態、撮影時のぶれ量、撮影時の露出量、画像における主要被写体の状態、画像の構図及び画像における人物の顔の状態のうち、少なくとも１つを所定条件として、順位付けを行うことが好ましい。
【選択図】 図４

Description

本発明は、連続的に撮像された複数の画像データの一部を選択する撮像装置、画像選択方法及び画像選択プログラムに関するものである。

デジタルカメラ等の撮像装置として、１回の撮影指示に応じて複数の画像を連続的に撮像し、得られた画像から、撮影状態が最適となる画像を選択するものが知られている（特許文献１など）。
特開２００２−２４７５１８号公報

しかしながら、連続的に撮像された画像の数が大きくなると、必ずしも最適な画像を選択できるとは限らない。

本発明は、上述した課題を解決するために発明されたものであり、多数の画像の中から容易に画像を選択することができるようにした撮像装置、画像選択方法及び画像選択プログラムを提供することを目的とする。

第１の発明の撮像装置は、光学系による像を連続的に撮像して複数の画像を得る撮像手段と、前記複数の画像のそれぞれを所定条件に基づいて順位付けする順位決定手段と、を備えたことを特徴とする。

第２の発明は、第１の発明において、前記複数の画像のそれぞれに対して、前記所定条件に基づいた評価を行う画像評価手段を備え、前記順位決定手段は、前記評価に基づいて、前記順位付けを行うことを特徴とする。

第３の発明は、第１及び第２の発明において、前記順位決定手段は、撮影時の焦点状態、撮影時のぶれ量、撮影時の露出量、画像における主要被写体の状態、画像の構図及び画像における人物の顔の状態のうち、少なくとも１つを前記所定条件として、前記順位付けを行うことを特徴とする。

第４の発明は、第１〜第３の発明のいずれかにおいて、前記複数の画像から、前記順位の高い画像を選択する画像選択手段を備えたことを特徴とする。

第５の発明は、第４の発明において、前記画像選択手段によって選択された画像を表示する表示手段を、さらに備えたことを特徴とする。

第６の発明は、第５の発明において、前記表示手段は、前記画像選択手段によって選択された画像を表示する際に、前記順位の高い画像に対して指標を付すことを特徴する。

第７の発明は、第４〜第６の発明のいずれかにおいて、前記画像選択手段により選択された画像を記録する記録手段を、さらに備えたことを特徴とする。

第８の発明は、前記所定条件を設定する条件設定手段をさらに備えたことを特徴とする。

第９の発明は、前記撮像手段による撮像条件を設定する撮像条件設定手段を備え、前記条件設定手段は、前記撮像条件設定手段によって設定された撮像条件に基づいて前記所定条件を設定することを特徴とする。

第１０の発明の画像選択方法は、光学系による像を連続的に撮像して複数の画像を得る撮像工程と、前記複数の画像のそれぞれを所定条件に基づいて順位付けする順位決定工程と、を備えたことを特徴とする。

第１１の発明は、第１０の発明において、前記複数の画像のそれぞれに対して、前記所定条件に基づいた評価を行う画像評価工程を備え、前記順位決定工程は、前記評価に基づいて、前記順位付けを行うことを特徴とする。

第１２の発明は、第１０又は第１１の発明において、前記順位決定工程は、撮影時の焦点状態、撮影時のぶれ量、撮影時の露出量、画像における主要被写体の状態、画像の構図及び画像における人物の顔の状態のうち、少なくとも１つを前記所定条件として、前記順位付けを行うことを特徴とする。

第１３の発明は、第１０〜第１２の発明のいずれかにおいて、前記複数の画像から、順位の高い画像を選択する画像選択工程を備えたことを特徴とする。

第１４の発明の画像選択プログラムは、第１０〜第１３の発明のいずれかの画像選択方法を、コンピュータにて実行させることが可能なことを特徴する。

本発明によれば、多数の画像の中から容易に画像を選択することができる。

図１は、デジタルカメラ１０の一例を示す機能ブロック図である。このデジタルカメラ１０は、後述するレリーズボタン４７を１回操作すると、動画撮影で用いられるフレームレートと略同一のフレームレートを用いた撮影が行われ、複数の静止画像を取得することができる。動画撮影で用いられるフレームレートとしては、例えば６０ｆｐｓが挙げられる。なお、６０ｆｐｓとは、１秒間に６０個の静止画像を取得することである。なお、このデジタルカメラ１０においては、撮影により得られた６０個の静止画像から、最適な撮影状態となる静止画像が選択される。以下、静止画像を画像と称し、また、画像の基になるデータを画像データと称して説明する。

デジタルカメラ１０は、周知のように、撮像光学系１５を透過した被写体光を撮像素子１６によって光電変換し、光電変換後の電気信号から画像データを取得する。

撮像光学系１５は、撮影レンズ２０と、ズームレンズやフォーカスレンズなどを含むレンズ群２１とを備えている。レンズ群２１に含まれるズームレンズは選択された撮像倍率となるように光軸Ｌに沿って移動する。また、フォーカスレンズは被写体画像の焦点調節の際に光軸Ｌに沿って微小移動する。なお、このレンズ群２１は、レンズ駆動機構２２によって駆動制御される。

撮像素子１６は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサが用いられ、受光した被写体光の光量に応じた信号電荷を蓄積する。この撮像素子１６は、ドライバ２３によって駆動制御される。この撮像素子１６により蓄積された信号電荷はＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）回路２５に出力される。なお、撮像素子１６によって蓄積された信号電荷を、以下では、アナログ画像信号と称して説明する。

このＡＦＥ回路２５は、図示しないＡＧＣ回路やＣＤＳ回路を含んで構成される。ＡＦＥ回路２５は、入力されたアナログ画像信号に対してゲインコントロール、雑音除去などのアナログ処理を施す。

ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）回路２６は、ＡＦＥ回路２５によってアナログ処理が施されたアナログ画像信号をデジタル画像信号に変換する。変換されたデジタル画像信号は１コマ毎にまとめられ、デジタル画像データ（以下、画像データ）としてバッファメモリ３０に記憶される。なお、ドライバ２３、ＡＦＥ回路２５及びＤＦＥ回路２６は、それぞれタイミングジェネレータ（ＴＧ）３１における作動タイミングに基づいて制御される。また、符号３２はバスであり、このバス３２を介してデジタルカメラ１０の各部が電気的に接続される。

画像処理部３５は、バッファメモリ３０に記憶された画像データに対して、輪郭補償、ガンマ補正、ホワイトバランス調整などの画像処理を施す。これら画像処理が施された画像データは例えばＪＰＥＧ方式などの記憶方式で圧縮するためのフォーマット処理（画像後処理）が施された後、所定の圧縮方式に対応する圧縮率を用いて圧縮処理される。

例えばデジタルカメラ１０に設けられたＬＣＤ４０にスルー画像を表示する場合には、画像処理後の画像データに対して、ＬＣＤ４０の解像度に合わせた圧縮率を用いて圧縮処理を実行し、表示制御部４１に出力する。

一方、デジタル画像データを記憶する場合には、画像記憶用に合わせた圧縮率を用いた圧縮処理が施され、内蔵メモリ３６に記憶される。この内蔵メモリ３６に格納された画像データは、メディアコントローラ４２を介して、メモリカードや光学ディスクなどの記憶媒体４３に書き込まれる。なお、画像記憶用に合わせた圧縮率としては、予めデジタルカメラ１０において設定される画像記憶用の解像度に合わせた圧縮率の他、予めユーザが操作部４６を操作することにより設定した解像度に合わせた圧縮率が挙げられる。

操作部４６は、図示は省略するが、例えばモードダイヤル、十字キー、決定ボタン等から構成される。この操作部４６は、例えば撮影モードの選択や、露出条件など撮影時の設定を行う際に操作される他に、１回の撮影で取得された画像データの画像評価を行う際の評価項目の選択（設定）の際に操作される。なお、撮影時のモードとしては、例えば記念撮影モード、集合撮影モード及び室内撮影モード等が挙げられ、評価項目としては、「目つぶれ」、「笑顔」などの撮影時の被写体の状態の他に、「画像の構図」、「焦点状態」、「露出状態」、「ブレ状態」などが挙げられる。この操作部４６が操作されると、操作部４６からの操作信号がＣＰＵ５０に逐次出力される。レリーズボタン４７は、撮影する際に操作されるボタンである。

ＣＰＵ５０は、不図示の制御プログラムを実行することにより、デジタルカメラ１０の各部を統括的に制御する。例えば上述したレリーズボタン４７が操作されると、ＣＰＵ５０は、被写体輝度の測光処理、ＡＥ処理、ＡＦ処理及びオートホワイトバランス（ＡＷＢ）処理を実行する。

また、ＣＰＵ５０は、内蔵メモリ３６に格納された画像選択プログラム５１を実行することにより、画像評価部５５、順位決定部５６、画像選択部５７の機能を有している。

画像評価部５５は、設定された評価項目に基づいて、１回の撮影で得られた複数の画像データのそれぞれに対して画像評価を行う。なお、この画像評価を行うことで、各画像データに画像評価値が付帯される。なお、上述した評価項目としては、「目つぶれ」、「笑顔」、「構図」、「焦点状態」、「露出状態」、「ブレ状態」などが挙げられる。

例えば、評価項目として「目つぶれ」が選択されている場合には、画像評価を行う画像データのそれぞれに対して被写体認識を行う。この被写体認識の際に、被写体となる画像中の人物の目の領域が特定される。画像評価を行う画像データのそれぞれから、被写体となる画像中の人物の目の領域が特定されると、画像評価部５５は、各画像データにおける目の領域を比較する。この比較により、目が開いている状態、目が閉じた状態など、目の状態を識別する。この識別後に、画像評価部５５は、目が開いている状態の画像データに対しては画像評価を高く、目が閉じている状態の画像データに対しては画像評価を低くする。

また、評価項目として「笑顔」が選択されている場合、画像評価部５５は、被写体認識を行った後、被写体となる画像中の人物の顔の領域を特定する。その後、画像評価部５５は、各画像データにおける顔の領域を比較し、被写体となる人物の顔の状態を識別する。この識別後に、画像評価部５５は画像評価を行い、人物の顔が笑顔となる画像データに対しては画像評価を高く、人物の顔が笑顔ではない画像データに対しては画像評価を低くする。

評価項目として「構図」が選択されている場合には、画像評価部５５は、まず各画像データに対する被写体認識を行う。その後、各画像データと、内蔵メモリ３６に格納された構図データとを用いて、画像評価を行う。なお、構図データは、一般的に良いとされる写真や画像の構図を示したデータである。図２は、黄金分割点を用いた構図Ｐｆ１の一例を示すものである。例えば画像範囲Ａの頂点Ｐｔ１，Ｐｔ２，Ｐｔ３，Ｐｔ４のうち、対向する２つの頂点Ｐｔ１、Ｐｔ３間で対角線Ｌ１を引き、頂点Ｐｔ２，Ｐｔ４を通り、該対角線Ｌ１に垂直な線Ｌ２，Ｌ３を引いたときの交点Ｐｔ５，Ｐｔ６をそれぞれ黄金分割点としたものである。なお、頂点Ｐｔ２、Ｐｔ４間で対角線を引き、頂点Ｐｔ１，Ｐｔ３を通り、対角線に垂直な線を引いたときの交点Ｐｔ７，Ｐｔ８をそれぞれ黄金分割点としてもよい。

図２に示す構図を用いて、撮影により取得された画像データの画像評価を行う場合、画像評価部５５は、構図と撮像された画像とを重ね合わせ、被写体となる人物の目が黄金分割点上にある場合に構図が良い画像であると評価する。一方、被写体となる人物の目が黄金分割点上にない場合には、目の位置と、黄金分割点との相対位置によって画像を評価する。なお、評価項目として「構図」を用いる場合には、構図データを予め内蔵メモリ３６に格納しておけばよい。

構図としては、黄金分割点を用いた構図Ｐｆ１の他に、ピラミッド型の構図Ｐｆ２（図３（ａ）参照）、末広がり型の構図Ｐｆ３（図３（ｂ）参照）、対角線的平行線型の構図Ｐｆ４（図３（ｃ）参照）、平行線型の構図Ｐｆ５（図３（ｄ）参照）、ジグザグ型の構図Ｐｆ６（図３（ｅ）参照）及び直交座標型の構図Ｐｆ７（図３（ｆ）参照）など、構図の種類は様々ある。このため、これら構図を用いる場合には、上述した構図のそれぞれを撮影モードに対応付けておく、又は、撮影モードに関わらず全ての構図を用いるなど、使用する構図については、適宜設定していいものとする。また、撮影モードに関わらず全ての構図を用いて画像評価する場合には、１つの画像に対して全ての構図をそれぞれ重ね合わせていき、重ね合わせた結果を用いて画像評価を行えばよい。この場合、構図のそれぞれに対して予め重み付けをしておき、構図に対する画像内の被写体のズレ量と、重み付けとを考慮して、それぞれの画像に対する評価を行えばよい。

次に、選択項目として「焦点状態」が選択されている場合について説明する。撮影時には、入力される画像信号から画像の鮮鋭度を示す焦点評価値を算出し、この焦点評価値が最大となるように、フォーカスレンズの位置を調整している。しかしながら、焦点評価値が最大となるようにフォーカスレンズの位置を調整したとしても、必ずしもピントが合った画像が得られることにはならない。このため、例えば、１つの画像データを取得したときの焦点評価値を取得される画像データに付帯させておき、この焦点評価値を用いて画像評価を行う。なお、この焦点状態については、上記の画像評価の他に、得られた画像データから被写体認識を行い、抽出される被写体の領域において、周知のエッジ検出や、焦点が合った状態の画像において検出される所定周波数以上の周波成分が含まれているか否かの検出を行い、この検出結果に基づいて画像評価を行うようにしても良い。

選択項目として「露出状態」が選択されている場合について説明する。撮影により得られた画像データから、例えばＲＧＢベイヤ信号のうち、輝度信号にもっとも近いＧ信号を画面内の複数ブロックごとに積算した値を、ＡＥ処理で使用する露出用評価値として算出する。この露出用評価値と、例えば不図示の測光センサにより得られた被写体輝度に基づいて算出された適正露出時の評価値とを比較し、各画像データにおける画像評価を行う。

選択項目として、「ブレ状態」が選択されている場合について説明する。ブレ検出装置を備えたデジタルカメラの場合には、このブレ検出装置によって各画像データの取得時のブレ量が求められることから、このブレ量に基づいて各画像データに対する画像評価を行う。一方、ブレ検出装置を備えていない場合には、得られた画像データを用いた被写体認識を行い、認識された被写体のボケ量から、撮影時のブレ量を算出する。

順位決定部５６は、上述した画像評価部５５によって画像評価された画像データに対して、１回の撮影で得られる複数の画像データを画像グループとしたときの、該画像グループ内における優先順位を決定する。なお、この優先順位は、画像評価部５５における画像評価によって各画像データに付帯される画像評価値に基づいて行われる。つまり、画像評価値の高い画像データを優先順位「１」とし、次に画像評価値の高い画像データを優先順位「２」とする。

画像選択部５７は、例えば１回の撮影にて得られた複数の画像データから、上述した優先順位の高い画像データを選択する。この画像選択部５７によって選択された画像データは表示制御部４１に出力される。表示制御部４１は、入力された画像データを用いてＬＣＤ４０に画像を表示する。

次に、本実施形態における画像選択方法について図４のフローチャートに基づいて説明する。ステップＳ１０１は、撮影モードを設定する処理である。この処理は、ユーザが操作部４６の操作を受けて実行される。ユーザは、操作部４６を操作して撮影モードを選択する。この操作部４６の操作に基づいて撮影モードが設定される。以下では、撮影モードとして、記念撮影モードを用いる場合について説明する。

ステップＳ１０２は、画像評価を行う際の評価項目を設定する処理である。撮影モードが設定されると、例えば撮影モードのサブ設定として評価項目を設定することができる。つまり、ステップＳ１０１の処理が終了すると、ＬＣＤ４０に表示には評価項目を選択する画面が表示される。これを受けて、ユーザは操作部４６を操作して評価項目を選択する。この評価項目の選択により、選択された評価項目が後述する画像評価の際の評価項目として設定される。なお、設定された撮影モードや評価項目は、内蔵メモリ３６に記録される。以下では、評価項目として「目つぶれ」が選択される場合について説明する。このステップＳ１０２の処理が終了すると、後述するレリーズ操作が実行されるまで、デジタルカメラは待機状態となる。

ステップＳ１０３は、撮像を行う処理である。なお、撮像とは、撮影を行ったときのデジタルカメラ１０の内部処理を示している。このステップＳ１０３は、ユーザがレリーズボタン４７を操作することによって実行される。なお、上述したように、本実施形態のデジタルカメラ１０は、１回のレリーズボタン４７の操作によって、６０ｆｐｓのフレームレートでの撮影を行うことから、このステップＳ１０３の処理を行うと、例えば６０個の画像データが取得される。なお、取得された画像データは、バッファメモリ３０に書き込まれる。

ステップＳ１０４は、画像処理を行う処理である。ステップＳ１０４の処理は、画像処理部において実行される。画像処理部３５は、バッファメモリ３０に書き込まれた画像データに対して、輪郭補償、ガンマ補正、ホワイトバランス調整などの画像処理を施す。これら画像処理が施された画像データは例えばＪＰＥＧ方式などの記憶方式で圧縮するためのフォーマット処理（画像後処理）が施された後、所定の圧縮方式に対応する圧縮率を用いて圧縮処理される。なお、圧縮処理された画像データは内蔵メモリ３６に格納される。

ステップＳ１０５は、画像評価を行う処理である。この処理は、ＣＰＵ５０によって実行される。なお、このステップＳ１０５の処理と、後述するステップＳ１０６，Ｓ１０７の処理とは、ＣＰＵ５０が内蔵メモリ３６に格納された画像選択プログラム５１を読み出すことで実行される処理である。

このステップＳ１０５の処理が実行されると、ＣＰＵ５０は選択された評価項目を参照する。そして、ＣＰＵ５０は、Ｓ１０３の処理にて取得された画像データのそれぞれに対して、参照した評価項目に基づいた画像評価を実行する。ステップＳ１０２の処理で選択された評価項目が「目つぶれ」である場合には、被写体認識を画像データ毎に実行する。この被写体認識の際に、目の領域が特定される。全画像データのそれぞれにおいて目の領域が特定されると、ＣＰＵ５０は、特定された目の領域を用いて全画像データを比較する。この比較により、目が閉じられた画像データ、目が開いている画像データ、半目の画像データなど、各画像データに対する評価が行われる。この画像評価が行われると、各画像データに画像評価値が付帯される。

ステップＳ１０６は、優先順位を決定する処理である。ステップＳ１０６において、各画像データに対して画像評価が行われていることから、ＣＰＵ５０は、各画像データに付帯された画像評価値に基づいて優先順位を決定する。ＣＰＵ５０は、画像評価の高い画像データを優先順位「１」とし、次に画像評価の高い画像データを優先順位「２」とするように、各画像データの優先順位を決定していく。なお、ステップＳ１０５の処理における画像評価において、同一の評価が同じ画像データに対しては、同一の優先順位とする。

図６に示すように、撮影により得られた画像をＰ１〜Ｐ４とし、評価項目として「目つぶれ」が選択された場合について説明する。図５（ａ）及び図５（ｄ）に示すように、画像Ｐ１及びＰ４は、被写体となる人物の目が開いている画像であることから優先順位が「１」となる。また、図５（ｃ）に示すように、画像Ｐ３は、被写体となる人物の目が半目の状態であることから優先順位が「２」となる。さらに、図５（ｂ）に示すように、画像Ｐ２は、被写体となる人物の目は瞑っている（閉じている）ことから優先順位が「３」となる。本実施形態では、１回の撮影においては、６０ｆｐｓのフレームレートでの撮影で得られる、６０個の画像データに対して上述した画像評価が行われる。

ステップＳ１０７は、画像を選択する処理である。このステップＳ１０７の処理はＣＰＵ５０にて実行される。ＣＰＵ５０は、ステップＳ１０６において決定された優先順位のうち、優先順位が最も高い画像データを選択する。例えば、優先順位が「１」となる画像データがある場合には、その画像データを選択する。一方、優先順位が「１」となる画像データが複数ある場合には、これら複数の画像データを全て選択する。例えば図６の画像Ｐ１〜Ｐ４が取得された画像となる場合には、画像Ｐ１及びＰ４の優先順位は「１」となることから、これら画像Ｐ１〜Ｐ４の場合には、画像Ｐ１及びＰ４が選択される。

ステップＳ１０８は、画像を表示する処理である。ステップＳ１０７においてＣＰＵ５０により選択された画像データは、このステップＳ１０８の処理時に、表示制御部４１に出力される。これを受けて、表示制御部４１は、画像データを用いて画像表示を実行する。例えば、ステップＳ１０７の処理において、複数の画像データが選択されている場合には、選択された複数の画像データを用いて、画像を順次表示すればよい。

ステップＳ１０９は、画像表示された画像を保存するか否かの判定処理である。この判定処理としては、表示制御部４１は、ＬＣＤ４０に表示された画像を保存するか否かをユーザに判断させる旨の表示を行う。この表示が行われると、ユーザは操作部４６を操作して、表示された画像を記録させるか否かを選択する。操作部４６の操作が、表示された画像を保存する旨を示すものであれば（ステップＳ１０９の処理でＹｅｓとなる場合）、ステップＳ１１０に進む。なお、ステップＳ１０７の処理において、複数の画像データが選択されている場合には、ステップＳ１０９の処理は、全ての画像データに対して実行される。

ステップＳ１１０は、選択された画像データを記録する処理である。ステップＳ１０９の処理において、ＬＣＤ４０に表示された画像を保存する旨の入力操作がユーザによって行われていることから、このステップＳ１１０の処理においては、ＬＣＤ４０に画像表示された画像データを、メディアコントローラ４２を介して記憶媒体４３に記録する。一方、画像表示の際に用いられていない画像データは消去される。

一方、ステップＳ１１０において、表示された画像を保存しない旨の入力が行われた場合には、ステップＳ１０７の処理に戻る。この場合、優先順位が「１」となる画像データは、既に選択されていることから、優先順位が「２」となる画像データが選択される。以下、ステップＳ１０８の処理においては優先順位が「２」となる画像データを用いた画像表示が行われ、ステップＳ１０９の処理において、表示された画像に対して保存するか否かの選択が実行される。このようにして、優先順位の高い画像データから順に、画像表示及び画像を保存するか否かの選択が行われていく。これにより、１回の撮影で例えば数多くの画像データを取得される場合であっても、自動的に画像評価を行うことで優先順位を決め、優先順位の高い画像から表示していくことから、ユーザは取得された画像を全て見なくとも、ユーザにとって最適な画像を容易に選択することが可能となる。

本実施形態では、予め設定された複数の評価項目から１つの評価項目を選択した場合について説明しているが、これに限定する必要はなく、予め設定された複数の評価項目から２つ以上の評価項目を選択してもよい。この場合、選択された評価項目のそれぞれで画像評価を行った後、それぞれの評価項目において画像評価の高い画像データに対して、優先順位「１」とすればよい。

本実施形態では、評価項目として例えば「目つぶれ」が選択された場合には、「目が開いている」画像データに対しては画像評価を高く、「目が閉じている」画像データに対しては画像評価を低くしているが、この他に、被写体となる人物の目が半目や目つぶれとなる画像データを、選択する画像データの候補から外し、被写体となる人物の目が開いている画像データを、選択する画像データの候補として残すように、画像評価を行うことも可能である。

本実施形態では、ＬＣＤ４０に表示された画像を保存するか否かの旨を示す表示を行い、ユーザに選択させるようにしているが、これに限定する必要はなく、ＬＣＤ４０に表示される画像の基になる画像データを記憶媒体４３に自動的に記録することも可能である。

本実施形態では、画像評価の高い画像データから順に選択し、ＬＣＤ４０に画像表示を行っているが、これに限定する必要はなく、撮影により取得された複数の画像データを用いてインデックス画像データを生成し、生成したインデックス画像データを用いた画像表示をＬＣＤ４０にて実行することも可能である。この場合、ＬＣＤ４０に表示される画像のうち、最も優先順位が高い画像に対しては、優先順位が高い旨を示す表示（アシスト表示）を施すことも可能である。このアシスト表示としては、例えば画像上にマークを表示する、或いは、画像の外周部に枠表示などの装飾表示を行うことが挙げられる。このように、優先順位の高い画像に対してアシスト表示を行うことで、ユーザがより最適な画像を選択することができるようになる。また、アシスト表示だけでなく、画像評価の際に画像データに対して評価値を算出しているのであれば、画像中、或いは画像の下方に評価値を表示するようにしてもよい。

本実施形態では、ユーザに評価項目を選択させるようにしているが、これに限定される必要はなく、デジタルカメラ１０の内部で自動的に評価項目を選択することも可能である。図６は、撮影から画像を記録するまでの処理の流れを示すフローチャートに示す。以下では、本実施形態と同一の構成となる箇所には同一の符号を付して説明し、また、その説明を省略する。

ステップＳ２０１は、撮影モードを選択する処理である。つまり、ユーザが操作部４６を操作して、撮影モードを選択する。撮影モードが選択されると、この撮影モードに応じた評価項目が自動的に選択される。例えば、集合撮影モードが選択されると、評価項目として「目つぶれ」、「焦点状態」、「ブレ状態」、「笑顔」などが選択される。なお、これら画像評価用の評価項目は予め撮影モードと対応付けておけばよく、撮影モードに対応付けられる評価項目は上述したように複数であっても良いし、１つでも良いものとする。ステップＳ２０２及びステップＳ２０３の処理は、ステップＳ１０３及びステップＳ１０４と同一の処理である。

ステップＳ２０４は、画像評価を行う処理である。ステップＳ２０１において選択された撮影モードに応じた評価項目が自動的に選択されることから、選択された評価項目に合わせて、得られた複数の画像データのそれぞれに対する画像評価を実行する。例えば撮影モードとして「集合撮影モード」が選択された場合には、評価項目として「目つぶれ」、「焦点状態」、「ブレ状態」、「笑顔」などが選択される。これら評価項目を用いて、得られた画像データに対する画像評価を行う。

この画像評価としては、まず「目つぶれ」に関する画像評価を行い、次に「焦点状態」に関する画像評価を行う。この「焦点状態」に関する画像評価を行った後、「ブレ状態」に関する画像評価、「笑顔」に関する画像評価を行う。この場合、画像評価の内容としては、評価項目となる「目つぶれ」に関する画像評価において、目つぶれしていない画像データのみを候補として残し、目つぶれしている画像を候補から外す。そして、焦点状態に関する画像評価においては、候補として残った画像データから、被写体に焦点が合っている画像データを候補として残し、焦点が合っていない画像データを候補から外す。同様にして、評価項目「ブレ状態」、「笑顔」に対しても、評価項目に合致している画像データを候補となる画像データを残し、評価項目に合致していない画像データを候補から外していく。これにより、得られた画像データに対する画像評価が実行される。このとき、最終的に候補として残った画像データに対しては、画像評価値を高くすればよい。

ステップＳ２０５は、優先順位を決定する処理である。ここでは、ステップＳ２０４において行った画像評価に基づいて優先順位を決定する。ＣＰＵ５０は、画像評価に基づいて各画像データの優先順位を決定する。なお、ステップＳ２０６〜Ｓ２０９の処理は、ステップＳ１０７〜Ｓ１１０の処理と同様である。つまり、予め評価項目を選択しなくとも撮影モードに合わせた評価項目を用いた画像評価を自動的に行うことができるとともに、撮影により取得された画像を全て確認しなくとも、ユーザによって最適な画像を単時間で選択することができる。

本実施形態では、主要被写体が１人の人物の場合について述べているが、主要被写体が複数の人物からなる場合であっても、本発明を適用することができる。以下では、主要被写体として３人の人物を撮影した画像の場合について説明する。例えば評価項目として「目つぶれ」が選択されている場合、画像評価部５５は、被写体認識を行い、主要被写体となる人物の目の領域を特定する。

図７に示すように、例えば画像Ｐ１２の場合には、左側の人物と中央の人物の目は開いているが、右側の人物の目は瞑っていることが特定される。画像Ｐ１３の場合には、左右の人物の目は開いているが、中央の人物の目が半目であることが特定される。また、画像Ｐ１３の場合には、３人の人物の目が開いていることが特定される。これら特定に基づいて各画像データに対する画像評価が行われる。つまり、画像Ｐ１１に対する画像評価が高く、画像Ｐ１２，Ｐ１３に対する画像評価が低く評価される。これにより、ＬＣＤ４０には画像評価の高い画像Ｐ１１が表示される。

なお、複数の人物が主要被写体となる画像データを取得した場合、上述した画像評価を複数の人物のそれぞれについて行うことも可能である。なお、この場合も、デジタルカメラの構成については、本実施形態と同様であることから、以下では、同一の構成に対しては同一の符号を付して説明する。

ＣＰＵ５０は、例えば1回の撮影で得られる複数の画像データのうち、最初に取得される画像データから主要被写体である人物を抽出する。その後、設定された評価項目に基づいて画像評価を行う。例えば評価項目として「目つぶれ」が選択されている場合には、抽出された全ての人物の目の状態に基づいて画像評価を行う。同時に、抽出された人物のそれぞれの目の状態に基づいて画像評価を行う。そして、これら画像評価の結果を、画像データに付帯する。

その後、ＣＰＵ５０は、画像評価を行った画像データに対して、それぞれ優先順位が決定される。この場合の優先順位としては、抽出された全ての人物の目の状態に基づいた画像評価から決定される優先順位の他に、抽出された人物のそれぞれに対する画像評価から決定される優先順位とからなる。これら優先順位を示すデータも、画像データにそれぞれ付帯される。この優先順位の決定の後、ＣＰＵ５０は複数の画像データの全てを記憶媒体４３に記録する。なお、画像評価を示すデータや優先順位を示すデータは、画像データに付帯させる必要はなく、画像データとは異なるデータとして生成することも可能である。

このようにして画像評価及び優先順位が決定された画像データを用いて画像表示する場合、デジタルカメラ１０に設けられたＬＣＤ４０にて表示する他に、デジタルカメラ１０に接続されたパーソナルコンピュータ（ＰＣ）６０のモニタ６１に画像表示を行うことも可能である。図８に示すように、デジタルカメラ１０とＰＣ６０とをＵＳＢケーブル６５など有線にて接続する。なお、デジタルカメラ１０とＰＣ６０とは有線で接続してもよいし、無線により接続できるようにしてもよい。以下では、デジタルカメラ１０の構成においては、本実施形態と同様であることから、同一の構成に対しては、本実施形態と同様の符号を付して説明する。

ＵＳＢケーブル６５を用いてデジタルカメラ１０とＰＣ６０とを接続すると、記憶媒体４３に記憶された複数の画像データを読み出し、読み出した画像データを内蔵メモリ３６に一時的に記録する。以下では、読み出す複数の画像データは、1回の撮影にて取得された画像データとして説明する。ＣＰＵ５０は、撮影により得られた画像データをＰＣ６０に転送する。例えばデジタルカメラ１０とＰＣ６０とをＵＳＢケーブル６５にて接続した場合には、ＵＳＢケーブル６５における有効転送レート値に基づいて設定された転送レートにて画像データが転送される。

ＰＣ６０は、転送された画像データを用いてインデックス画像データを生成する。なお、転送される画像データには、抽出された人物全てを用いて画像評価したときの優先順位を示すデータが付帯されていることから、ＰＣ６０は優先順位を示すデータを参照して、優先順位が「１」となる画像を主となる画像（以下、主画像）として選択し、また、転送される全画像を副となる画像（以下、副画像）とする。

その後、これら画像データから縮小画像データを生成する。なお、主画像となる画像データにおいては、主画像の画像サイズと、副画像の画像サイズとの２種類の画像サイズの縮小画像データが生成される。縮小画像データを生成した後、各画像が所定のレイアウトで配置されるように、インデックス画像データを生成する。以下では、１回の撮影で得られる画像データのデータ数は６０であるが、図の煩雑さを解消するために撮影により得られる画像データのデータ数を１２として説明する。

この生成されたインデックス画像データをＰＣ６０のモニタ６１に表示すると、優先順位が「１」となる画像Ｐ３６を主画像とし、１回の撮影にて得られた画像Ｐ３１〜Ｐ４２を副画像としたインデックス画像が表示される（図９（ａ）参照）。なお、副画像のうち、主画像として用いられる画像Ｐ３６に対しては、枠表示７０などのアシスト表示が行われる。

実際には、フレームレートが６０ｆｐｓでの撮影を行うことから、１回の撮影において得られる画像データのデータ数は６０となることから、ＰＣのモニタ上に全ての画像を表示できない場合がある。この場合には、スクロール表示などを用いて全ての画像を表示えきるようにしておけばよい。

このインデックス画像の表示の後、ユーザが付図示のマウスを操作して、モニタ６１に表示されるポインタ７１を移動させ主画像から特定の人物を選択すると、選択された人物に対して優先順位の高い画像が主画像として表示される。つまり、特定の人物が選択されることにより、ＰＣ６０は各画像データから選択された人物の優先順位を示すデータを読み出して、選択された人物の優先順位に合わせたインデックス画像データを再度生成する。

インデックス画像データを再度生成した後、ＰＣ６０は生成されたインデックス画像データを用いて、モニタ６１にインデックス画像を表示する。図９（ｂ）に示すように、画像中左側の人物が選択された場合には、例えば画像Ｐ３３の画像の優先順位が「１」となる場合には、この画像Ｐ３３が主画像として表示され、副画像として表示される画像Ｐ３３に枠表示７０が施されたインデックス画像がモニタ６１に表示される。

このように、デジタルカメラ１０をＰＣ６０に接続し、ＰＣ６０のモニタ６１に撮影された画像をインデックス画像にて表示することで、優先順位の高い画像を表示、又は選択することが可能となる。なお、このインデックス画像の表示の際に、主画像として選択される画像を記録することも可能である。この場合、記録する画像を示す情報を、ＰＣからデジタルカメラに転送し、選択された画像データのみを残し、選択されなかった画像データを消去すればよい。

本実施形態では、撮影モードが集合撮影モードや記念撮影モードについて説明しているが、このような撮影モードの中には、室内での撮影を行う、所謂室内撮影モードを備えているものもある。このような室内撮影モードを用いて撮影を行うと、例えば蛍光灯に生じるフリッカーの影響を受けた画像データを取得されてしまうことがある。フリッカーの影響を受けた画像データにおいては、明るさが欠落した画素の領域が発生する。

このような室内撮影モードで撮影を行い、画像データを記録するまでの流れを図１０のフォローチャートに示す。ステップＳ３０１〜ステップＳ３０３の処理は、ステップＳ２０１〜ステップＳ２０２の処理と同様であることから、ここでは説明を省略する。

ステップＳ３０４は、画像評価を行う処理である。このステップＳ３０４の処理は、ＣＰＵ５０にて実行される。画像評価部５５は、撮影により得られた画像データを用いて各画素の輝度値を算出した後、周縁の画素との輝度値の差分を算出する。輝度値の差分が予め設定された閾値よりも大きくなる場合に、明るさが欠落した画素がある、つまりフリッカーの影響があると判定する。つまり、ステップＳ３０４の処理は、画像評価として、フリッカーの影響がある画像データか否かを判定している。なお、フリッカーの影響の有無の他に、設定されている評価項目がある場合には、その評価項目に対しての画像評価も、このステップＳ３０４において実行される。

ステップＳ３０５は、フリッカーの影響を有する画像データであるか否かを判定する処理である。ステップＳ３０４の処理は、ＣＰＵ５０によって実行される。ＣＰＵ５０は、フリッカーの影響がある画像データか否かを判定することで画像評価を行っている。例えば、フリッカーの影響がある画像データの場合（ステップＳ３０５の判定でＹｅｓの場合）には、ステップ３０６に進む。一方、フリッカーの影響がない画像データの場合（ステップＳ３０５の判定でＮｏの場合）には、ステップＳ３０７に進む。

ステップＳ３０６は、画像データを削除する処理である。ＣＰＵ５０は、内蔵メモリ３６に記憶された複数の画像データのうち、フリッカーの影響がある画像データを削除する。

ステップＳ３０７は、画像を選択する処理である。このステップＳ３０７は、ＣＰＵ５０にて実行される。ＣＰＵ５０は、フリッカーの影響がない画像データから１つの画像データを選択する。なお、ステップＳ３０４において、フリッカーの影響の有無の他に、他の評価項目に対する画像評価を行っている場合には、その画像評価を行うことで、各画像データに対する優先順位が決定されることから、この決定された優先順位に基づいて画像データが選択される。なお、他の評価項目に対しての画像評価を行っていない場合には、フリッカーの影響のない画像データから、任意に画像データが選択される。

ステップＳ３０８は、画像表示である。ステップＳ３０７において画像データを選択する処理が実行されていることから、ＣＰＵ５０は、選択された画像データを内蔵メモリ３６から読み出して、表示制御部４１に出力する。これを受けて、表示制御部４１はＬＣＤ４０に画像表示を行う。

ステップＳ３０９は、ＬＣＤ４０に表示された画像を保存するか否かの判定処理である。この判定処理としては、表示制御部４１は、ＬＣＤ４０に表示された画像を保存するか否かをユーザに判断させる旨の表示を行う。この表示が行われると、ユーザは操作部４６を操作して、表示された画像を記録させるか否かを選択する。このユーザの操作により、表示された画像を保存する場合（ステップＳ３０９の処理でＹｅｓとなる場合）には、ステップＳ３１０に進む。

一方、表示された画像を保存しない場合（ステップＳ３０９の処理でＮｏとなる場合）には、ステップＳ３０７に戻る。この場合、選択されていない画像データから再度新たな画像データが選択され、ＬＣＤ４０にて、選択された画像データを用いた画像表示が実行される。

ステップＳ３１０は、表示された画像の基になる画像データを記憶媒体に記憶する処理である。ＣＰＵ５０は、表示された画像の基となる画像データをメディアコントローラ４２に出力する。メディアコントローラ４２は、入力された画像データを記憶媒体に記録する。また、同時に、ＣＰＵ５０は、内蔵メモリ３６に記憶された画像データを消去する。

上述した実施形態においては、画像評価を行った画像データは、同一の内蔵メモリ３６に記録された状態となっているが、これに限定する必要はなく、例えば評価項目が、「目つぶれ」となる場合に、目が開いている画像データと、目が瞑っている画像データとを別々のメモリに保存することも可能である。

本実施形態では、デジタルカメラの実施形態としているが、画像分類を行う画像分類装置としても良い。また、本実施形態では、画像選択プログラムを内蔵メモリ３６に記憶させた形態としているが、この画像選択プログラムは、磁気ディスク、光学ディスクや、メモリカードなどのコンピュータで読み取ることができる記憶媒体に記憶させておくことも可能である。

デジタルカメラの構成を示す機能ブロック図である。 黄金分割点を用いた構図の一例を示す図である。 他の構図の一例を示す図である。 撮影により取得される画像データを記録するまでの流れを示すフローチャートである。 撮影により取得された画像の一例を示す図である。 複数の人物を撮影したときに取得される画像の一例を示す図である。 画像評価を行う際の評価項目が自動的に選択される場合の、撮影により取得される画像データを記録するまでの流れを示すフローチャートである。 デジタルカメラにより取得された画像をＰＣのモニタに表示させる場合の構成を示す図である。 インデックス画像の一例を示す図である。 撮影モードとして、室内撮影モードが設定されたときの、撮影により取得される画像データを記録するまでの流れを示すフローチャートである。

符号の説明

１０…デジタルカメラ、３６…内蔵メモリ、４０…ＬＣＤ、５０…ＣＰＵ、５１…画像選択プログラム、５５…画像評価部、５６…順位決定部、５７…画像選択部、６０…ＰＣ、６１…モニタ

Claims (14)

1. 光学系による像を連続的に撮像して複数の画像を得る撮像手段と、
   前記複数の画像のそれぞれを所定条件に基づいて順位付けする順位決定手段と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記複数の画像のそれぞれに対して、前記所定条件に基づいた評価を行う画像評価手段を備え、
   前記順位決定手段は、前記評価に基づいて前記順位付けを行うことを特徴とする撮像装置。
3. 請求項１又は２に記載の撮像装置において、
   前記順位決定手段は、撮影時の焦点状態、撮影時のぶれ量、撮影時の露出量、画像における主要被写体の状態、画像の構図及び画像における人物の顔の状態のうち、少なくとも１つを前記所定条件として、前記順位付けを行うことを特徴とする撮像装置。
4. 請求項１〜３のいずれか１項に記載の撮像装置において、
   前記複数の画像から、前記順位の高い画像を選択する画像選択手段を備えたことを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記画像選択手段によって選択された画像を表示する表示手段を、さらに備えたことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記表示手段は、前記画像選択手段によって選択された画像を表示する際に、前記順位の高い画像に対して指標を付すことを特徴する撮像装置。
7. 請求項４〜６のいずれか１項に記載の撮像装置において、
   前記画像選択手段により選択された画像を記録する記録手段を、さらに備えたことを特徴とする撮像装置。
8. 請求項１〜７のいずれか１項に記載の撮像装置において、
   前記所定条件を設定する条件設定手段をさらに備えたことを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記撮像手段による撮像条件を設定する撮像条件設定手段を備え、
   前記条件設定手段は、前記撮像条件設定手段によって設定された撮像条件に基づいて前記所定条件を設定することを特徴とする撮像装置。
10. 光学系による像を連続的に撮像して複数の画像を得る撮像工程と、
    前記複数の画像のそれぞれを所定条件に基づいて順位付けする順位決定工程と、
    を備えたことを特徴とする画像選択方法。
11. 請求項１０に記載の画像選択方法において、
    前記複数の画像のそれぞれに対して、前記所定条件に基づいた評価を行う画像評価工程を備え、
    前記順位決定工程は、前記評価に基づいて、前記順位付けを行うことを特徴とする画像選択方法。
12. 請求項１０又は１１に記載の画像選択方法において、
    前記順位決定工程は、撮影時の焦点状態、撮影時のぶれ量、撮影時の露出量、画像における主要被写体の状態、画像の構図及び画像における人物の顔の状態のうち、少なくとも１つを前記所定条件として、前記順位付けを行うことを特徴とする画像選択方法。
13. 請求項１０〜１２のいずれか１項に記載の画像選択方法において、
    前記複数の画像から、順位の高い画像を選択する画像選択工程を備えたことを特徴とする画像選択方法。
14. 請求項１０〜１３のいずれか１項に記載の画像選択方法をコンピュータにて実行させることが可能な画像選択プログラム。

Images