JP2012124597A - 撮像装置および画像処理プログラム - Google Patents

Abstract

【課題】画像データが出力される状況に応じて、画像の良し悪しを適切に判定することができる。
【解決手段】被写体を撮像して画像データを生成する撮像手段と、撮像手段による撮像条件に基づいて被写界深度の範囲を算出する算出手段と、画像データを出力するときの画素数に基づいて、被写界深度の範囲外の被写体を被写界深度の範囲内に含まれているものと判定する判定手段とを備える。
【選択図】図１

Description

本発明は、撮像装置および画像処理プログラムに関する。

従来から、複数の顔を検出し、被写界深度内にある顔をユーザに知らせるデジタルカメラが知られている（特許文献１）。

特開２００７−２７４５８７号公報

しかしながら、出力される画像データの画素数によっては、被写体が単に被写界深度の範囲内に含まれているか否かのみに基づいて画像の良し悪しを判定することは必ずしも適切ではないおそれがある。

本発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像手段と、前記撮像手段による撮像条件に基づいて被写界深度の範囲を算出する算出手段と、前記画像データを出力するときの画素数に基づいて、前記被写界深度の範囲外の被写体を前記被写界深度の範囲内に含まれているものと判定する判定手段とを備えることを特徴とする。
本発明に係る画像処理プログラムは、画像データの撮像条件に基づいて被写界深度の範囲を算出する算出工程と、前記画像データを出力するときの画素数に基づいて、前記被写界深度の範囲外の被写体を前記被写界深度の範囲内に含まれているものと判定する判定工程とをコンピュータに実行させることを特徴とする。

本発明に係る撮像装置および画像処理プログラムによれば、画像データが出力される状況に応じて、画像の良し悪しを適切に判定することができる。

本発明の一実施の形態によるデジタルカメラの主要部を示すブロック図である。 図１に示したデジタルカメラの動作原理を示す説明図である。 図１に示したデジタルカメラの合焦判定処理を示すフローチャートである。 図３に示した仮想被写界深度設定ルーチンを示すフローチャートである。 図１に示したデジタルカメラの背面カラーモニタに表示される一例を示した説明図である。 複数検出された顔の測距ルーチンの一例を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態を詳細に説明する。

＜実施の形態１＞
図１は、本発明の一実施の形態によるデジタルカメラの全体構成図である。撮像レンズ１０および絞り１２を通して撮像素子１４上に結像された被写体像は、Ａ／Ｄコンバータ１６によりデジタル画像信号に変換される。なお、撮像レンズ１０は、ズームレンズ・フォーカスレンズを含む複数のレンズで構成されているが、１枚のレンズで示してある。Ａ／Ｄコンバータ１６から出力されたデジタル画像信号は画像処理部１８に入力され、予め決められた手順に従って補間処理および色処理などの各種画像処理が行われる。

本デジタルカメラの背面に設けられているカラーモニタ２０は、Ａ／Ｄコンバータ１６から得られたデジタル画像信号に所定の信号処理を施したライブビュー（リアルタイム）画像のほか、撮影後の確認画像およびメモリカード５０Ｂに格納されている撮影済み画像をバス（図示せず）経由で受信して表示する。カラーモニタ２０は、さらに、操作用メニューおよびエラーメッセージなどの文字情報表示および警告表示・動作状態表示を行うことにより、ユーザインターフェースの一部として機能する。

本デジタルカメラの基本的制御手順を決めるファームウェアはフラッシュメモリ５０Ｃに記憶されている。このファームウェアは、外部インタフェース４２を介して外部のコンピュータと通信を行うことにより、更新することが可能である。制御ユニット４０は、予め記憶されているファームウェアに基づいて、後に詳述する各種の処理を行う。なお、図１では顔検出処理部４０Ａおよび測距処理部４０Ｂを破線で示してあるが、これは、顔検出処理および測距処理は所定のアルゴリズムを実行するハードウェアで実行してもよいことを表している。

制御ユニット４０には、画像処理部１８，背面カラーモニタ２０，電子ビューファインダ２２，半押しスイッチおよび全押しスイッチ（図示せず）を備えているレリーズ釦２８，カメラ背面に設けてある十字キーおよび各種ボタン（いずれも図示せず）を有する操作部３０，外部インタフェース４２，バッファメモリ５０Ａ，カードメモリ５０Ｂ，フラッシュメモリ５０Ｃのほか、撮像レンズ１０を駆動するフォーカスドライバ２４および絞り１２を調節する絞りコントローラ２６が接続されている。

制御ユニット４０の顔検出処理部４０Ａで行う顔検出処理は、撮像素子１４から得られるスルー画像データを入力し、このスルー画像データを予め記憶されている顔データと比較することにより、スルー画像中の顔を検出する。複数の被写体人物がいる場合は、全員の顔を個別に検出する。予め記憶されている顔データとして、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを用いる。顔検出処理として、例えば、特開２００１−１６５７３号公報に開示されている検出アルゴリズムを用いることができる。この検出アルゴリズムは、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。

他の顔検出アルゴリズムとしては、例えば、特開２００５−１５７６７９号公報に開示されているアルゴリズムを用いることができる。この検出アルゴリズムは、まず入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。なお、これらのアルゴリズムに基づいて顔検出処理を行う顔検出処理部４０Ａは、既述の通り、ソフトウェアで実現するばかりでなく、ハードウェアで実現してもよいことは勿論である。

次に、撮像素子１４で撮像した画像をカードメモリ５０Ｂに記録するための記録モードについて説明する。操作部材３０として備えられているモード切換えスイッチ（図示せず）が記録モード側に操作されると、制御ユニット４０は記録モード用のプログラムを起動する。レリーズボタン２８が半押しされると半押し操作信号が制御ユニット４０に入力され、制御ユニット４０は画像処理部１８に対して制御信号を出力する。画像処理部１８は、撮像素子１４のドライバ（図示せず）を制御する。制御ユニット４０はさらに、撮像レンズ１０の焦点調節状態に基づいて、フォーカスドライバ２４に駆動信号を出力する。フォーカスドライバ２４は撮像レンズ１０を駆動してピント調節を行う。また、制御ユニット４０は、不図示の測光装置によって検出される被写体輝度に基づいて所定の露出演算を行う。

半押しスイッチ（図示せず）の操作信号に続いて全押しスイッチ（図示せず）からの操作信号が制御ユニット４０に入力されると、撮像素子１４から出力されたアナログ画像信号はＡ／Ｄコンバータ１６に入力され、デジタル変換された画像信号が画像処理部１８に入力される。画像処理部１８では、輪郭補償やガンマ補正，色温度調整，色空間変換処理などの画像前処理が行われる。画像前処理済みの画像データは、バッファ用メモリであるメモリ５０Ａに一旦格納される。バッファメモリ５０Ａに格納された画像前処理済みの画像データは、画像処理部１８により表示用の画像データとして処理され、カラーモニタ２０あるいは電子ビューファインダ２２に撮影確認画像として表示される。その画像データ処理には、バッファメモリ５０Ａが作業用メモリとして用いられる。なお、カラーモニタ２０は、本デジタルカメラの背面に設けられている小型の液晶表示器であるので、撮像素子１４で撮像される画素数に対して表示画素数が少ない。そこで、撮像素子１４で撮像された被写体像をカラーモニタ２０に表示する際には、カラーモニタ２０の表示解像度に合わせて所定の割合で間引きを行い、表示用の画像データとして用いる。

上述した画像前処理が行われた画像データに対して、画像処理部１８はＪＰＥＧ圧縮のためのフォーマット処理（画像後処理）を行う。画像処理部１８は、画像後処理済みの画像データをＪＰＥＧ方式で所定の比率にデータ圧縮する。ＪＰＥＧ方式にデータ圧縮を受けた画像データは、制御ユニット４０により所定のファイル名が付与されてフラッシュメモリなどの着脱可能な不揮発性記録媒体であるカードメモリ５０Ｂに記録される。

フラッシュメモリ５０Ｃには、制御ユニット４０が上述した処理を行うためのプログラムが格納されている。制御ユニット４０は、フラッシュメモリ５０Ｃからプログラムを読み出し、バッファ用メモリ５０Ａを作業用メモリとしてプログラムを実行する。

次に、ＡＦ動作について説明する。制御ユニット４０は、撮像素子１４により撮像されてバッファメモリ５０Ａに格納されている画像データのうち、設定されているフォーカスエリアに対応するデータからコントラストを検出する。そして、検出したコントラストに基づいて撮像レンズ１０による焦点位置の調節状態を検出する。制御ユニット４０は、被写体像のコントラストが最高となるように、いわゆる山登り法により焦点位置の調節状態を検出し、フォーカスドライバ２４を駆動して撮像レンズ１０の焦点位置を調整する。絞り１２を調節する絞りコントローラ２６も、制御ユニット４０からの制御信号を受けて動作するが、本発明とは直接関係がないので、詳細な説明は省略する。

図２は、図１に示したデジタルカメラの動作原理を示す説明図である。本図において、Face１〜Face５は顔検出処理により検出された５つの顔を示す。Ｄ１〜Ｄ５は顔Face１〜Face５までの被写体距離である。これらの被写体距離Ｄ１〜Ｄ５を測定するために、制御ユニット４０は検出された顔Face１〜Face５が在る領域を順にフォーカスエリアとして指定し、ＡＦ動作として先に説明したいわゆる山登り法を用いて被写体距離を測定する。

５つの顔Face１〜Face５は、ライブビュー画像としてカラーモニタ２０に表示される。いま、ユーザが操作部３０の十字キー（図示せず）を操作して、顔Face１をフォーカスポイントとして指定したものとする。すると、制御ユニット４０はフォーカスドライバ２４に対して、顔Face１に合焦するような制御信号を送出する。図２において、顔Face１までの被写体距離はＤ１であるので、レンズの焦点距離および絞り値に基づいて前端距離Ｌ_ＤＯＦｆおよび後端距離Ｌ_ＤＯＦｒが算出される。すなわち、顔Face１に合焦しているときの被写界深度ＤＯＦは、前側被写界深度ＤＯＦ_ｆと後側被写界深度ＤＯＦ_ｒとの和となる。

その結果として、被写界深度ＤＯＦ内に入っている顔Face１〜Face４は合焦状態となるが、顔Face５までの距離Ｄ５は被写界深度ＤＯＦの外側にあるので、合焦からはずれた（いわゆる、ピンボケ）状態となる。こういった合焦状態の判定、すなわち被写界深度ＤＯＦ内に入っているか否かという判定は、メモリカード５０Ｂに記録される画像の記録画素数とは関係なく行われているのが現状である。

いま説明の都合上、本デジタルカメラの標準記録画素数は１０メガピクセルであるが、５つの顔Face１〜Face５を撮像しているときには、記録画素数が１メガピクセルに設定されていると仮定する。このような画素数設定がなされているときには、顔Face５が被写界深度ＤＯＦ内に入っていないとしても、記録画像を再生したときには、ピントはずれの問題は事実上生じないことが多い。そこで、本実施の形態では、記録画素数に応じて、被写界深度ＤＯＦがＶＤＯＦまで広がったものと想定して合焦判定を行う。このＶＤＯＦを、本明細書では、仮想被写界深度と呼ぶ。

記録画素数がさらに小さいとき、例えば携帯電話の壁紙などデータ量を極端に小さくしたいときには、仮想被写界深度ＶＤＯＦをさらに深く（大きく）することにより、実際の画像再生状態に則した適切な合焦判定が可能となる。制御ユニット４０は、仮想被写界深度ＶＤＯＦから外れている被写体には、所定の警告マークを付してライブビュー表示をさせるよう、カラーモニタ２０の表示形態を制御する。

なお、これまで説明した仮想被写界深度ＶＤＯＦは、カードメモリ５０Ｂに記録される画像の記録画素数が標準記録画素数より小さい場合に、仮想被写界深度ＶＤＯＦを拡大するものであった（ＶＤＯＦ＝ｋ・ＤＯＦ）が、その拡大係数（ｋ）を連続的に変化させることなく、記録画素数に応じて段階的に変化させてもよい。つぎに、フローチャートを参照しながら、具体的な合焦判定処理を説明する。

図３は、図１に示したデジタルカメラによる合焦判定処理を示すフローチャートである。まず、ステップＳ１において、レリーズ釦２８が半押しされることにより半押し操作信号が制御ユニット４０に入力されるのを待機する。レリーズボタン２８の半押しが検出されると、ステップＳ２において既述の顔検出処理を実行する（顔検出処理部４０Ａによる顔検出処理）。顔検出処理の結果として複数の顔が検出されたとき（ステップＳ３：ＹＥＳ）には、ステップＳ４において、それぞれの顔までの距離を測定する（測距処理部４０Ｂによる距離測定）。この距離とは、図２のＤ１〜Ｄ５に相当する。次のステップＳ５において、被写界深度ＤＯＦを算出する。被写界深度ＤＯＦは、実際に演算をすることにより算出するほか、テーブルの形態でＲＯＭに記憶させておくことも可能である。

ステップＳ６では、図２において説明した通り、記録画素数に応じて仮想被写界深度ＶＤＯＦ（ＶＤＯＦ＝ｋ・ＤＯＦ）を設定する。換言すると、記録画素数に応じて拡大係数（ｋ）を変化させる。ステップＳ７では、検出されたそれぞれの顔までの距離と仮想被写界深度ＶＤＯＦとを比較することにより、仮想被写界深度ＶＤＯＦ外の顔の有無を判定する。その判定結果として、仮想被写界深度ＶＤＯＦ外の顔がある場合（図２のFace５に相当する顔がある場合）には、カラーモニタ２０に表示されているライブビュー画像に顔検出マークを表示させると同時に、合焦範囲からはずれていることを示す警告マークを表示する。この警告マークとして、本実施の形態では、図５に示すような三角マークを顔に重ねて表示する。他方、仮想被写界深度ＶＤＯＦ内にある顔には正方形マークを顔に重ねて表示する。

ステップＳ３において、複数の顔が検出されなかったとき（ステップＳ３：ＮＯ）には、ステップＳ１０において一つの顔か検出されたか否かを判定する。その判定結果として否定判定が得られたとき（ステップＳ１０：ＮＯ）には、一つも顔が検出されなかったことになるので、本実施の形態における合焦判定処理を終了する。他方、肯定判定が得られたとき（ステップＳ１０：ＹＥＳ）には検出された顔の個数が一つだけであるので、ステップＳ９において、その顔に合焦するようフォーカスドライバ２４を制御すると同時に顔検出マーク（図５の正方形マーク）を表示する。以上で、図１に示したデジタルカメラによる合焦判定処理を終了する。

図４は、図３に示したステップＳ６（仮想被写界深度設定ルーチン）の一例を示すフローチャートである。まずステップＳ２０では、最大出力画素数Ｐ_ｍａｘと設定画素数Ｐ_ｓｅｔとの比Ｒ（Ｒ＝Ｐ_ｍａｘ／Ｐ_ｓｅｔ）を求める。ここでいう最大出力画素数Ｐ_ｍａｘとは、既述の標準記録画素数１０メガピクセルに相当し、設定画素数Ｐ_ｓｅｔとは既述の１メガピクセルに相当する。ステップＳ２１においては、算出された比Ｒが閾値Ｒ_ｔｈより大きいか否かを判定する。その判定結果として、比Ｒが閾値Ｒ_ｔｈより大きいと判定されたとき（ステップＳ２１：ＹＥＳ）には、被写界深度ＤＯＦを用いて合焦判定をすることなく仮想被写界深度ＶＤＯＦを用いたほうが現実的に適切であるので、ステップＳ２２に制御を進める。

ステップＳ２２では、被写界深度ＤＯＦをｋ倍する演算（ＶＤＯＦ＝ｋ・ＤＯＦ）を行う。ここで、拡大係数ｋは比Ｒの関数として予め設定しておく。すなわち、設定画素数Ｐ_ｓｅｔが小さくなるほど比Ｒは大きくなるので、拡大係数ｋも大きな値とすることが可能である。他方、ステップＳ２１において否定判定（ステップＳ２１：ＮＯ）が得られたときには、敢えて被写界深度ＤＯＦを変更する必要がないと判断して、ｋ＝１に設定する。ステップＳ２２またはステップＳ２３が終了したときには、図３のメインルーチンにリターンする。

−実施の形態１による作用効果−
本実施の形態によれば、以下のような作用効果を奏することができる。
（１）撮像素子１４から画像信号を入力して顔が複数個検出されたときには、選択された一つの被写体像に基づいて被写界深度ＤＯＦを求めるステップＳ５を実行し、さらにカードメモリ５０Ｂに記録する画像データの記録画素数に基づいて被写界深度ＤＯＦを仮想被写界深度ＶＤＯＦに変更するステップＳ６を実行し、仮想被写界深度ＶＤＯＦ内に含まれない顔を被写体像を特定するステップＳ７を実行する制御ユニット４０を備えているので、記録する画像の大きさに応じて、現実に則した適切な合焦判定を行うことができる。

（２）顔を検出する顔検出処理部４０Ａは、所定のアルゴリズムに基づいて顔を抽出すればよいので、ソフトウェアで実現するばかりでなく、ハードウェアで実現してもよい。

（３）撮像素子１４から出力された画像信号をリアルタイムで表示するカラーモニタ２０を備えているので、変更された被写界深度（仮想被写界深度ＶＤＯＦ）内に含まれない顔には三角マーク（図５参照）を付加した表示を行うことができる。

（４）カラーモニタ２０によりリアルタイム表示される顔のいずれか一つを選択する十字キー（操作部材３０）を備えているので、十字キーの操作により選択された一つの顔に基づいて被写界深度ＤＯＦを求めることができる。

＜実施の形態２＞
本発明は、画像処理プログラムにも適用することができる。換言すると、デジタルカメラなどの撮像装置に限らず、画像データを処理するプログラムにも適用可能である。より具体的には、プログラムは、画像データの撮像条件に基づいて被写界深度の範囲を算出する算出工程と、画像データを出力するときの画素数に基づいて、被写界深度の範囲外の被写体を被写界深度の範囲内に含まれているものと判定する判定工程とをコンピュータに実行させる。

−実施の形態２による作用効果−
本実施の形態２によれば、画像データの撮像条件に基づいて被写界深度の範囲を算出する算出工程と、前記画像データを出力するときの画素数に基づいて、前記被写界深度の範囲外の被写体を前記被写界深度の範囲内に含まれているものと判定する判定工程とをコンピュータに実行させるので、撮影後であっても、被写体像の合焦判定を適切に行うことができる。

＜その他の変形例＞
（１）実施の形態１では、十字キーを操作することによりフォーカスポイントとする顔を選択しているが、デジタルカメラが自動的に選択することもできる。例えば、ライブビュー画面の中央付近にある顔を自動選択する、あるいは、もっともコントラストが高い顔を自動選択するなどの制御を行うことができる。

（２）実施の形態１では、カードメモリ５０Ｂに記録される画像の記録画素数に基づいて被写界深度を変更しているが、外部インタフェース４２から出力される外部モニタ信号の出力解像度に応じて被写界深度を変更してもよい。あるいは、外部インタフェース４２から出力されるプリンタ用データ・プロジェクタ用データ・モニタ表示用データの大きさに応じて被写界深度を変更してもよい。

（３）実施の形態１では、検出された顔それぞれについて測距処理を行っているが、検出された顔の占有面積を表すデータに基づいて各被写体像までの距離を推定することもできる。図６は、複数顔までの測距ルーチンの一例を示す。ステップＳ３０では、フォーカスポイントとなる顔マークを指定する。この指定は、ユーザによる指定、あるいはデジタルカメラによる自動指定のいずれでもよい。ステップＳ３１では、指定されたフォーカスポイントまでの距離Ｄ_０を求める。この測距には、既述のいわゆる山登り法を用いる。ステップＳ３２では、フォーカスポイントとなる顔の大きさ（ピクセル数Ｐ_０）およびｎ個の他の顔の大きさ（ピクセル数Ｐ_ｉ：ｉ＝１〜ｎ）を検出する。ステップＳ３３では、フォーカスポイントとなる顔のピクセル数Ｐ_０を基準として、他の顔マークまでの距離Ｄ_ｉを求める。ここで、Ｄ_ｉ＝ｋ・Ｄ_０であり、ｋはＰ_０とＰ_ｉの関数となる。以上により、複数顔までの測距ルーチンを終了する。このような測距ルーチンのほかに、特開２００３−７５７１７号公報に記載されている距離検出装置を用いることができる。

（４）実施の形態１では、所定の特徴を有する被写体像の一例として顔を検出したが、顔に限らず、所定の特徴（色，形）を有するものであれば、どのような被写体でもよい。

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、本発明は上述した実施の形態および変形例に限定されるものではない。
実施の形態と変形例の一つとを組み合わせること、もしくは、実施の形態と変形例の複数とを組み合わせることも可能である。
変形例同士をどのように組み合わせることも可能である。
さらに、本発明の技術的思想の範囲内で考えられる他の形態についても、本発明の範囲内に含まれる。

１０ 撮像レンズ
１２ 絞り
１４ 撮像素子
１６ Ａ／Ｄコンバータ
１８ 画像処理部
２０ 背面カラーモニタ
２２ 電子ビューファインダ
２４ フォーカスドライバ
２６ 絞りコントローラ
２８ レリーズ釦
３０ 操作部
４０ 制御ユニット
４０Ａ 顔検出処理部
４０Ｂ 測距処理部
４２ 外部インタフェース
５０Ａ バッファメモリ
５０Ｂ カードメモリ
５０Ｃ フラッシュメモリ

Claims (7)

1. 被写体を撮像して画像データを生成する撮像手段と、
   前記撮像手段による撮像条件に基づいて被写界深度の範囲を算出する算出手段と、
   前記画像データを出力するときの画素数に基づいて、前記被写界深度の範囲外の被写体を前記被写界深度の範囲内に含まれているものと判定する判定手段とを備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記画像データを出力するときの画素数は、記録媒体、プリンタおよび表示装置のいずれかに出力される画像データについて指定された画素数であることを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記算出手段は、特定の被写体に基づいて前記被写界深度の範囲を算出することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   顔を検出する顔検出手段をさらに備え、
   前記特定の被写体は、前記顔検出手段により検出された顔を含む被写体であることを特徴とする撮像装置。
5. 請求項１から請求項４のいずれか一項に記載の撮像装置において、
   前記被写界深度の範囲内の被写体と前記判定手段により前記被写界深度の範囲内に含まれているものと判定した被写体とを使用者が認識できるように表示装置に表示させる表示制御手段をさらに備えることを特徴とする撮像装置。
6. 請求項１から請求項５のいずれか一項に記載の撮像装置において、
   前記画像データを出力するときの画素数に応じて、前記判定手段により前記被写界深度の範囲外の被写体を前記被写界深度の範囲内に含まれているものと判定する判定基準を変更する変更手段をさらに備えることを特徴とする撮像装置。
7. 画像データの撮像条件に基づいて被写界深度の範囲を算出する算出工程と、
   前記画像データを出力するときの画素数に基づいて、前記被写界深度の範囲外の被写体を前記被写界深度の範囲内に含まれているものと判定する判定工程とをコンピュータに実行させることを特徴とする画像処理プログラム。

Images