JP2007121654A - 撮像装置 - Google Patents

Abstract

【課題】デジタルカメラにおいて、撮影シーンを自動判別する。
【解決手段】被写界の温度を温度センサ８で検出し、温度系情報特徴抽出回路２４で温度を「高温」、「人肌」、「低温」のいずれかに分類する。シーン判別回路２６は温度特徴と、画像特徴抽出回路１８で検出した画像の動き、色相、彩度、輝度等とを組み合わせてシーンを判別する。例えば、画面の下部が低温で低彩度である場合にスノーシーンと判別する。ＣＰＵ２８は判別したシーンに応じて、露出やシャッタ速度、ストロボ発光量等を制御する。
【選択図】図１

Description

本発明は撮像装置に関し、特に撮影シーンの自動判別に関する。

従来より、デジタルカメラ等の撮像装置において、マクロ撮影やポートレート、スポーツ、風景等の撮影シーン（あるいは撮影モード）を選択できるモード選択ボタンを備え、撮影すべき被写体に応じてユーザが手動でモード選択ボタンを操作、設定している。デジタルカメラは、ユーザにより設定された撮影シーン（撮影モード）に応じた露出制御やホワイトバランス制御、シャッタ速度制御を行い被写体を撮影する。

一方、このようにユーザが手動で撮影シーンを選択することは煩雑であることに鑑み、デジタルカメラ側である程度撮影シーンを自動判別して撮影する技術が提案されている。

例えば、下記に示す特許文献１には、被写体が顔を含むか否かを認識し、認識結果に応じてカメラの撮影モードを自動設定する技術が開示されている。人の顔が検出された場合であって撮影倍率が一定値以下であればノーマルモード、一定値より大きければポートレートモードに設定し、人の顔が検出されず被写体までの距離が一定値以上であって夜間であれば夜景モード、夜間でなければ風景モードに設定する等である。

また、下記の特許文献２には、赤外線センサをカメラに設け、人の体温を示す体温領域を抽出して体温領域における測光値や測距値に基づき露出や焦点を定めることが記載されている。

特開２００３−３４４８９１号公報 特開平８−１３６９７１号公報

このように、従来においてもいくつかの情報に基づいて撮影シーンを自動判別する技術はあるが、各種撮影シーンを確実に判別できるとは言い難い。例えば、人の顔が検出されずに被写体までの距離が一定値以上あり、しかも夜間でない場合であっても、実際の撮影シーンはビーチのシーンもあれば雪山のシーンもあり、これらを一律に風景モードと判別したのでは高画質の画像は得られない。

特許文献２には、赤外線センサで温度情報を取得することは開示されているが、体温領域の検出に留まっており、シーンの判別については考慮されていない。

本発明の目的は、シーンの判別精度を高め、より高画質の画像を容易に得ることができる撮像装置を提供することにある。

本発明は、被写界の温度を検出する温度検出手段と、前記被写界の画像信号を取得する画像取得手段と、前記画像取得手段で得られる前記画像信号から、色相、彩度、輝度、距離、動き等の画像特徴情報を検出する画像処理手段と、前記温度検出手段で検出された前記被写界の温度情報と、前記画像処理手段で検出された画像特徴情報との組み合わせに基づき、前記被写界が複数の撮影シーンのいずれに該当するかを判別する判別手段とを有することを特徴とする。

本発明では、被写界の温度と、画像の動きや色相、彩度、輝度等の画像特徴情報とを組み合わせることで、撮影シーンを高精度に自動判別することができる。したがって、判別したシーンに応じて撮影条件を調整することが可能となり、ユーザは単に撮像装置を被写界に向けて撮影するだけでシーンに応じた高画質画像を得ることができる。

以下、図面に基づき本発明の実施形態について説明する。

図１に、本実施形態に係るデジタルカメラの構成ブロック図を示す。レンズ群、シャッタ、絞り等を含む光学系１０は被写界の光を集光して撮像素子１２に導く。シャッタの開閉はシャッタ制御回路３０で制御され、絞りは絞りモータ制御回路３２で制御される。レンズ群のうちのフォーカスレンズはフォーカスモータ制御回路３４で制御される。

撮像素子１２は被写界の光を電気信号に変換して画像信号を生成する。撮像素子１２は公知のＢａｙｅｒ配列カラーフィルタを含む。画像信号はＡ／Ｄ回路７でデジタル信号に変換されてＣＰＵ２８に供給され、ＣＰＵ２８から画像特徴抽出回路１８及びＣＰＵ２８に供給される。ＣＰＵ２８に供給された画像信号はホワイトバランス調整やエッジ強調処理等の画像処理が施され、カラーＬＣＤ３８に表示される。また、処理画像はレリーズボタンの操作に応答してＪＰＥＧフォーマットやＲＡＷフォーマットに変換され、撮影画像として外部あるいは内蔵のメモリ３６に記憶される。撮像素子１２は撮像素子駆動回路１６で駆動制御される。

一方、光学系１０からの光はハーフミラー１１で分岐され、ＡＦ（オートフォーカス）センサ９に入射する。ＡＦセンサ９のセンサ信号はＡ／Ｆセンサ処理回路１４で処理され、例えば位相検出方式で被写体までの距離を演算する。被写体距離情報はＣＰＵ２８に供給される。また、ハーフミラー１１で分岐された光はさらに温度センサ８で電気信号に変換され、Ａ／Ｄ回路６でデジタル信号に変換されてＣＰＵ２８に供給される。温度センサ８は例えば放射温度計である。放射温度計は全ての物体は電磁波の形で熱を放射することを利用するものである。熱放射エネルギの波長分布と各波長における強度から温度を検出することができる。温度センサ８はＣＰＵ２８からの指令に基づき温度センサ制御回路２２で制御され、検出された被写界の温度はＣＰＵ２８から温度系情報特徴抽出回路２４に供給される。なお、温度センサ８以外に被写界の温度を検出する他のセンサ、例えば赤外線を検出する２次元イメージセンサで被写界の温度を検出してもよい。２次元画像の温度分布を検出する技術はサーモグラフィーや赤外線サーモグラフィー等で周知である。検出した温度は、全てＣＰＵ２８を介して温度系情報特徴抽出回路２４に供給される。

温度系情報特徴抽出回路２４は温度センサ８あるいはその他のセンサで検出した被写界の温度データを入力し、被写界の温度分布の特徴を検出する。具体的には、温度系情報特徴抽出回路２４は２次元被写界画像を複数のブロックに分割し、各ブロックの温度分布を予め定めた複数の温度カテゴリのいずれかに分類することで特徴付ける。温度カテゴリは任意であるが、例えば「人肌温度」、「高温」、「低温」の３つのカテゴリとすることができ、温度センサ８等で検出した温度をこれら３つのカテゴリのいずれかに分類する。人肌温度は人物温度の一例である。温度の大小関係は高温＞人肌＞低温であり、分類方法として例えば２つのしきい温度Ｔ１、Ｔ２を設定し（Ｔ１＞Ｔ２）、温度センサ８等で検出された温度から各ブロック毎の代表温度を算出し（代表温度は例えば各ブロックの温度分布の平均として算出される）、これらの代表温度をしきい温度Ｔ１、Ｔ２と大小比較する。そして、代表温度ＴがＴ＞Ｔ１であればそのブロックは「高温」、代表温度ＴがＴ１＞Ｔ＞Ｔ２であればそのブロックは「人肌温度」、代表温度ＴがＴ＜Ｔ２であればそのブロックは「低温」と分類される。分類結果はシーン判別回路２６に供給される。

画像特徴抽出回路１８はＣＰＵ２８から入力した被写界画像を処理して色相や彩度、輝度、動き等の画像特徴情報を検出する。また、ＡＦセンサ制御部１４で検出した被写体距離を入力し、これらの検出値のそれぞれを複数のカテゴリのいずれかに分類する。例えば色相に関しては色ヒストグラムに従い「赤」、「青」等と分類する。また、彩度に関しては「低彩度」、「高彩度」のいずれかに分類する。距離に関しては「近距離」、「中距離」、「遠距離」のいずれかに分類する。分類は画像を複数のブロックに分割し、ブロック毎に実行される。画像特徴抽出回路１８でのブロックは温度系情報特徴抽出回路２４のブロックと同一でもよいが、異なっていてもよい。例えば、画像特徴抽出回路１８のブロックは温度系情報特徴抽出回路２４のブロックよりも細分化される。分類結果はシーン判別回路２６に供給される。

シーン判別回路２６は温度系情報特徴抽出回路２４からの分類結果、及び画像特徴抽出回路１８からの分類結果を入力し、これらの結果に基づいて被写界のシーンを判別する。本実施形態で判別するシーンは、ポートレート（Ｐｏｒｔｒａｉｔ）、スポーツ（Ｓｐｏｒｔｓ）、ビーチ（Ｂｅａｃｈ）、スノー（Ｓｎｏｗ）、風景（Ｌａｎｄｓｃａｐｅ）である。判別したシーンがデジタルカメラの撮影モードとなる。シーンの判別結果はＣＰＵ２８に供給される。

ＣＰＵ２８はデジタルカメラの各部を制御し、特に判別されたシーンに応じてシャッタ制御回路３０、絞りモータ制御回路３２、フォーカスモータ制御回路３４の少なくともいずれかに制御信号を供給して撮影時の撮影条件である露出やシャッタ速度、ホワイトバランスを制御する。また、ＣＰＵ２８は撮影画像のエッジ処理を制御してシャープネスをハードに設定するか（エッジを強調する）ソフトに設定するか（エッジを円滑にする）を決定する。具体的には判別したシーン毎の制御内容を規定したプログラムをファームウェアとして予めＲＯＭに記憶しておき、このファームウエアに従って判別したシーンに対応した制御を実行する。例えば、判別されたシーンがビーチ（Ｂｅａｃｈ）である場合、ＣＰＵ２８は適正露出より若干露出オーバとなるように絞りモータ制御回路３２に制御信号を供給して露出を制御する。また、判別されたシーンが風景（Ｌａｎｄｓｃａｐｅ）である場合、ＣＰＵ２８は可能な限り絞った状態で撮影すべく絞りモータ制御回路３２に制御信号を供給して露出を制御する。

図１における温度系情報特徴抽出回路２４、画像特徴抽出回路１８、シーン判別回路２６はマイクロプロセッサで構成されるが、これらのいずれか複数を共通のマイクロプロセッサで構成してもよい。

図２に、本実施形態の全体処理フローチャートを示す。デジタルカメラの電源をＯＮすると、温度センサ８で被写界の温度情報を取得し（Ｓ１０１）、温度系情報特徴抽出回路２４で温度の特徴を検出する（Ｓ１０２）。すなわち、温度系情報特徴抽出回路２４は被写界の２次元画像の各ブロックにおける温度を複数の温度カテゴリのいずれかに分類することで被写界の温度の特徴を検出する。次に、撮像素子１２で被写界の画像を取得し（Ｓ１０３）、画像特徴抽出回路１８で画像の特徴を検出する（Ｓ１０４）。すなわち、画像特徴抽出回路１８は被写界の２次元画像の色相、彩度、動き、距離等のそれぞれを複数のカテゴリのいずれかに分類することで画像の特徴を検出する。温度の特徴及び画像の特徴を検出した後、シーン判別回路２６で被写界の撮影シーンを判別する（Ｓ１０５）。最後に、判別したシーンに基づいてＣＰＵ２８は撮影条件や画像パラメータを変更して撮影する（Ｓ１０６）。

以下、各処理について詳細に説明する。

図３に、図２のＳ１０２の処理、すなわち被写界温度の特徴抽出処理の詳細フローチャートを示す。温度系情報特徴抽出回路２４は温度センサ８で検出の対象となる被写界画像範囲を複数のブロックに分割する（Ｓ１０２１）。例えば、被写界画像範囲を６個のブロックに分割する。次に、各ブロック毎に代表温度を算出し、算出した代表温度が「人肌温度」であるか否かを判定する（Ｓ１０２２）。この判定は、上記の如く代表温度をしきい温度Ｔ１、Ｔ２と大小比較することで実行される。代表温度が「人肌温度」である場合、当該ブロックに「人肌温度」を示すフラグＴＭを設定する（Ｓ１０２３）。一方、代表温度が「人肌温度」ではない場合、次に代表温度が「高温」であるか否かを判定する（Ｓ１０２４）。この判定も、代表温度をしきい温度Ｔ１、Ｔ２と大小比較することで実行される。代表温度が「高温」である場合、当該ブロックに「高温」を示すフラグＴＨを設定する（Ｓ１０２５）。代表温度が「人肌温度」あるいは「高温」のいずれでもない場合、当該ブロックに「低温」を示すフラグＴＬを設定する（Ｓ１０２６）。以上の分類処理を全てのブロックについて繰り返し実行する（Ｓ１０２７）。

図４Ａ及び図４Ｂに、異なる被写界について温度特徴抽出を実行した結果を示す。図４Ａは被写界がビーチの場合の結果であり、図４Ｂは被写界が雪山の場合の結果である。人間の目では、ビーチの白い砂浜と雪山の白い雪面は色相及び彩度において類似しているが、温度の観点からは両者は明確に相違する。すなわち、図４Ａに示すようにビーチでは画面上部はＴＬであるが画面下部はＴＨに分類され、図４Ｂに示すように雪山では画面上部及び下部ともＴＬに分類される。このことから、温度特徴を用いることで、ビーチの白い砂浜と雪山の白い雪面を互いに判別可能であることが理解されよう。

図５に、図２のＳ１０４の処理、すなわち画像特徴の抽出処理において用いられるカテゴリを示す。画像特徴抽出回路１８は撮像素子１２で得られた画像信号を処理して動きや色相、彩度、輝度等を検出するとともに、検出した動き等を図５に示すようなカテゴリのいずれかに分類する。動きは「一部」、「全体」、「周囲」のいずれかに分類する。動きは時間的に異なるフレーム間の差分を演算することで検出できる。より具体的には、時間的に前のフレームのブロックＦ（ｎ−１）を指定された幅で上下左右に移動し、時間的に後のフレームＦ（ｎ）との差分の総和
Ｄ＝ΣΣ｜Ｆ（ｎ）（Ｘｉ，Ｙｉ）−Ｆ（ｎ−１）（Ｘ）ｉ＋ｄｘ，Ｙｉ＋ｄｙ）｜
が最小となる方向（ｄｘ，ｄｙ）を動きベクトルとして検出すればよい。動きベクトルでは動きの量と方向が検出されるが、本実施形態では特に動きの量及び動きベクトルの位置に着目する。検出された動きが被写界の一部のみに存在する場合は「一部」、動きが被写界の全体に存在する場合は「全体」、動きが被写界の周囲のみに存在する場合は「周囲」にそれぞれ分類される。肌色は色相に含まれるが本実施形態では色相とは別に検出することとしている。検出された肌色は「面積」、「円形度」、「出現頻度」で特徴付けられる。ここに、「面積」は検出された同一の肌色領域の占有画素面積であり、「円形度」は検出された同一の肌色領域の占有領域を円で近似する場合の近似度合いを示し、数値でもよく形状カテゴリーでもよい。

面積は「大」、「中」、「小」、円形度は「円形」、「楕円」、「方形」、出現頻度は「多」、「中」、「少」である。色相は色ヒストグラムで分類される。彩度は「低彩度」、「高彩度」で分類される。色温度は「低」、「中」、「高」で分類される。例えば４００ｋｌＶ以下は「低」、４０００ｋｌｖ超〜６５００ｋｌｖ未満は「中」、６５００ｋｌｖ以上は「高」等である。輝度は「低」、「中」、「高」で分類される。例えば、ＬＶ８以下は「低」、ＬＶ８超〜ＬＶ１２未満は「中」、ＬＶ１２以上は「高」等である。被写体距離は「近」、「中」、「遠」で分類される。例えば１．０ｍ以下は「近」、１．０ｍ超〜１０．０ｍ未満は「中」、１０．０ｍ以上は「遠」等である。分類結果は温度と同様に各ブロックに所定のフラグを設定することで表す。

図６に、図２のＳ１０５の処理、すなわちシーン判別処理の詳細フローチャートを示す。また、図７に、シーン判別に用いるテーブルを示す。図７のテーブルは、ファームウェアとして予めＲＯＭ等に記憶される。シーン判別回路２６は温度系情報特徴抽出回路２４からの温度特徴、及び画像特徴抽出回路１８からの色相や彩度等の画像特徴を入力し、これらに基づいてシーンを判別する。

まず、シーン判別回路２６は被写界がポートレート（Ｐｏｒｔｒａｉｔ）であるか否かを判定する（Ｓ１０５１）。図７に示すように、各ブロックのフラグを確認し、肌色領域の面積が大きく、輝度が中輝度以上、距離が中距離、かつ温度が人肌温度であるブロックが存在する場合に撮影シーンはポートレートであると判定する（Ｓ１０５２）。

ポートレートでない場合、次にスポーツ（Ｓｐｏｒｔｓ）であるか否かを判定する（Ｓ１０５３）。図７に示すように、動きが一部領域、肌色領域の面積が小さく出現率が少なく、輝度が中輝度以上、温度が人肌温度であるブロックが存在する場合にスポーツであると判定する（Ｓ１０５４）。

スポーツでない場合、次にビーチ（Ｂｅａｃｈ）であるか否かを判定する（Ｓ１０５５）。図７に示すように、被写界の上部領域（上部ブロック）で色相の青色領域の出現頻度が大きく、下部領域（下部ブロック）で彩度の低領域の出現率が大きく、下部領域の温度が高温である場合にビーチであると判定する（Ｓ１０５６）。ここに、上部領域は被写界あるいは画像内における鉛直上方（「天」方向）を意味し、下部領域は被写界あるいは画像内における鉛直下方（「地」方向）を意味する。

ビーチでない場合、次にスノー（Ｓｎｏｗ）であるか否かを判定する（Ｓ１０５７）。図７に示すように、被写界の上部領域で色相の青色領域も出現率が大きく、下部領域で彩度の低領域の出現率が大きく、かつ、下部領域の温度が低温である場合にスノーであると判定する（Ｓ１０５８）。

スノーでない場合、次に風景（ランドスケープ（Ｌａｎｄｓｃａｐｅ））であるか否かを判定する（Ｓ１０５９）。図７に示すように、上部領域で色相の青色領域の出現頻度が大きく、下部領域で彩度の高領域の出現率が大きく、距離が遠距離、輝度が中輝度以上である場合に風景であると判定する（Ｓ１０６１）。

これらのいずれにも該当しない場合には、シーンを特定しない通常撮影（オート撮影）とする（Ｓ１０６２）。

図８に、図２のＳ１０６の処理、すなわちシーン判別の結果に応じた、シーン毎の撮影条件／画像パラメータの変更処理を示す。

判別されたシーンがポートレートである場合、ＣＰＵ２８は被写界深度を浅くし背景をぼかすために開放絞りとする。また、肌色領域を適正に露出するためにシャッタ速度を設定する。また、人物の肌の陰影を消すためにストロボを発光させる。但し、ストロボ発光は人物が白飛びしない程度の光量に制限する。さらに、スチル撮影された画像に対してシャープネス（エッジ処理）はソフトに設定する。

判別されたシーンがスポーツである場合、ＣＰＵ２８は物体の動きを抑えるため可能な限りシャッタ速度を速く設定する。また、スチル撮影された画像に対してシャープネスは強く設定する。

判別されたシーンがビーチである場合、ＣＰＵ２８は適正露出制御であると露出アンダー傾向の画像となってしまうので、適正露出よりオーバーとなるようにシャッタ速度、ＩＳＯ感度、絞りを調整する。スチル撮影された画像に対しホワイトバランスは昼光とし、シャープネスは強く設定する。

判別されたシーンがスノーである場合、ＣＰＵ２８はビーチシーンと同様に適正露出であるとアンダー傾向となってしまうため、適正露出よりオーバーとなるようにシャッタ速度、ＩＳＯ感度、絞りを調整する。ホワイトバランスはノーマルとし、シャープネスは強く設定する。

判別されたシーンが風景である場合、被写界深度を深くし、近い被写体から遠景の山等の風景までを撮影するために可能な限り絞りを絞った露出制御を行う。また、ホワイトバランスモードは昼光とし、シャープネスは強く設定する。

一方、いずれのシーンとも判別されず通常撮影と判定された場合、ＣＰＵ２８は画像全体を適正露出となるように制御する。シャープネスはノーマルに設定する。

このように、本実施形態では被写界の温度を加味してシーンを判別し、判別したシーン毎にきめ細かい制御を行うことで、被写界に応じた高画質画像を簡易に得ることができる。

なお、本実施形態の温度センサ８は光学系１０に入射した光の分岐光を利用して被写界の温度を検出しているが、光学系１０とは独立に、光学系１０で得られる被写界に対応する画角を含む画角内の温度を検出できればよい。なお、ＣＰＵ２８は撮影シーンを判別した場合に、その判別結果をＬＣＤ３８に表示してユーザに報知してもよい。例えば、ビーチシーンと判別した場合に、「ビーチシーン」のメッセージを表示する、あるいはビーチを意味するアイコンを表示する等である。

＜第２実施形態＞
第１実施形態では、温度センサ８で検出した温度の特徴として、被写界画像領域を複数のブロックに分割し、各ブロック毎に「人肌温度」、「高温」、「低温」に分類したが、よりきめ細かく温度の特徴を検出してもよい。

図９に、本実施形態の温度特徴を示す。温度を「人肌温度」、「高温」、「低温」に分類するだけでなく、温度をさらに円形度、面積／領域数、位置で特徴付け、円形度を「円形」、「楕円」、「方形」のいずれかに分類し、面積あるいは領域数を「面積大」、「面積小」、「全体均一」、「領域点在」、「領域集中」のいずれかに分類し、位置を「上部」、「下部」、「右部」、「左部」のいずれかに分類する。例えば、人肌温度で面積大、領域集中、かつ画面下部等である。

図１０に、シーン判別回路２６での判別処理に用いるテーブルを示す。温度の特徴として、単に温度だけでなく、さらに円形度及び面積／領域数を用いる。シーン判別回路２６は、同じポートレートでも、温度が「人肌温度」、円形度が「楕円」、面積／領域数が「面積大」、肌色が「面積大」、輝度が「低輝度」、距離が「中距離」以下である場合、ナイトポートレートであると判別する。また、温度が「人肌温度」、円形度が「楕円」、面積／領域数が「面積大」、肌色が「面積大」、距離が「近距離」である場合、セルフポートレートであると判別する。また、温度が「人肌温度」、円形度が「円形あるいは楕円」、面積／領域数が「面積大」、動きが「一部領域」、肌色が「面積大」である場合、子供（Ｃｈｉｌｄｒｅｎ）と判別する。また、温度が「人肌温度」、円形度が「円形あるいは楕円」、面積／領域数が「領域点在」、肌色が「出現頻度大」、色温度が「低色温度」である場合、パーティ（Ｐａｒｔｙ）と判別する。

また、ポートレート以外であっても、色相が「緑領域数大」、彩度が「中央部の高彩度領域大」、距離が「近距離」である場合、フラワー（Ｆｌｏｗｅｒ）と判別する。また、温度が「低温度」、面積／領域数が「均一面」、彩度が「低彩度領域数大」、距離が「近距離」である場合、文書（Ｔｅｘｔ）と判別する。また、輝度が「低輝度」で、距離が「遠距離」である場合、夜景（Ｎｉｇｈｔ Ｌａｎｄｓｃａｐｅ）と判別する。また、温度が「人肌温度」、円形度が「円形あるいは楕円」、面積／領域数が「面積大」、肌色が「数大」、輝度が「背景と中央で輝度差大」、距離が「ストロボ到達距離以下」である場合、バックライトと判別する。また、動きが「背景領域」である場合、流し取り（Ｎａｇａｓｈｉｄｏｒｉ）と判別する。また、温度が「高温」で、面積／領域数が「領域点在」、色温度が「低色温度」、輝度が「低輝度」、距離が「中距離以下」である場合、キャンドルライト（Ｃａｎｄｌｅ Ｌｉｇｈｔ）と判別する。また、温度が「高温」で、面積／領域数が「領域一点集中」、色温度が「低色温度」、距離が「遠距離」である場合、サンセット（Ｓｕｎｓｅｔ）と判別する。

このように、温度をより細かく特徴付けることで、より高精度のシーン判別が可能となる。図１０において、さらに温度の位置を用いてもよいのは云うまでもない。人肌温度の位置が下部である場合に子供のシーンと判別する等である。

図１１に、本実施形態における、判別したシーン毎の撮影条件／画像パラメータ変更処理を示す。ナイトポートレートと判別された場合、ＣＰＵ２８はストロボ発光することで露出を制御する。セルフポートレートと判別された場合、絞りを開放絞りとし、シャープネスをソフトに設定する。子供と判別された場合、シャッタ速度を高速シャッタに設定し、シャープネスをハードに設定する。文書と判別された場合、適正露出よりオーバーとなるように露出制御し、シャープネスをハードに設定する。以下同様である。

このように、温度センサ８の感度を増大させるとともに温度特徴を高精度に検出することで、シーン判別の精度を向上させることができる。本実施形態では、人肌温度の領域を高精度に検出できるので、オートフォーカス機構と連動させて人物領域に合焦させることもできる。従来技術の特開平８−１３６９７１号公報でも赤外線カメラで体温領域を検出して焦点を定めているが、本実施形態では単に人肌温度だけでなく、その円形度や面積／領域数も加味して判定している点に留意すべきである。

＜第３実施形態＞
第１、第２実施形態では被写界の温度は高温から低温に至るまで等しい感度で検出しているが、特定の温度のみを選択的に検出してもよい。例えば、太陽温度のみを検出する、人肌温度のみを検出する、空の温度のみを検出する、氷あるいは雪の温度のみを検出する等である。図１２に、被写界の画像から人肌温度に対応する温度のみを選択的に検出する場合を示す。複数のブロックのうち、人肌温度を有するブロックのみが処理対象として選択され、それ以外は対象外とされる。処理対象とされたブロックに基づいてシーンが判別され、撮影条件や画像処理のパラメータが調整される。

以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく他の態様も可能である。

例えば、人肌温度領域を検出するとともに、その円形度や面積／領域数、位置から被写界に人物が存在する可能性が高いと判定した場合、当該人物領域を中心に目、鼻、口、耳などの少なくとも２つの特徴点を抽出し、これらの特徴が人物の顔の特徴と一致する場合にポートレートと判別してもよい。

また、フォーカスを駆動しながら温度のエッジ成分を抽出し、エッジ成分からさらにピークを検出し、最至近の被写体に対して最適なフォーカス位置へフォーカスを駆動してもよい。例えば、人肌温度領域を検出するとともにそのエッジ成分からピークを検出し、人肌領域の被写体に対して最適なフォーカス位置へ駆動する等である。

また、フォーカスを駆動しながら被写界の温度を取得するとともに撮像素子１２でＡＦ評価に影響を与えない程度のゲインアップに制限した画像を取得し、これら温度データ及び画像データに基づいてノイズが少なく、ピークを検出し易いデータを取得するようにしてもよい。

さらに、被写界の温度から人物を検出し、検出した人物のストロボプリ発光反射データを取得してストロボ本発光の発光量を制御してもよい。

実施形態のデジタルカメラの構成ブロック図である。 実施形態の全体処理フローチャートである。 実施形態の温度特徴検出処理の詳細フローチャートである。 ビーチの温度特徴説明図である。 雪山の温度特徴説明図である。 画像特徴検出処理に用いるカテゴリ（パターン）説明図である。 シーン（撮影モード）判別処理の詳細フローチャートである。 シーン判別処理に用いるテーブル説明図である。 判別シーンに基づく撮影制御に用いるテーブル説明図である。 他の実施形態の温度特徴検出に用いるカテゴリ説明図である。 他の実施形態のシーン判別処理に用いるテーブル説明図である。 判別シーンに基づく撮影制御に用いるテーブル説明図である。 さらに他の実施形態の温度特徴検出説明図であり人肌温度のみを対象とした場合の温度特徴検出説明図である。

符号の説明

８ 温度センサ、９ Ａ／Ｆセンサ、１０ 光学系、１１ ハーフミラー、１２ 撮像素子、１４ ＡＦセンサ制御部、１６ 撮像素子駆動回路、１８ 画像特徴抽出回路、２２ 温度センサ制御回路、２４ 温度系情報特徴抽出回路、２６ シーン判別回路、２８ ＣＰＵ、３０ シャッタ制御回路、３２ 絞りモータ制御回路、３４ フォーカスモータ制御回路、３６ メモリ、３８ ＬＣＤ。

Claims (9)

1. 被写界の温度を検出する温度検出手段と、
   前記被写界の画像信号を取得する画像取得手段と、
   前記画像取得手段で得られる前記画像信号から、色相、彩度、輝度、距離、動き等の画像特徴情報を検出する画像処理手段と、
   前記温度検出手段で検出された前記被写界の温度情報と、前記画像処理手段で検出された画像特徴情報との組み合わせに基づき、前記被写界が複数の撮影シーンのいずれに該当するかを判別する判別手段と、
   を有することを特徴とする撮像装置。
2. 請求項１記載の装置において、さらに、
   少なくとも前記画像特徴情報または前記温度情報のいずれかは、前記被写界の画像を複数領域に分割し、個々の領域の情報を分析することで検出されることを特徴とする撮像装置。
3. 請求項１、２のいずれかに記載の装置において、さらに、
   前記判別手段で判別した撮影シーンに応じて、前記画像取得手段で得られる前記画像の露出やホワイトバランス、焦点調節、フラッシュの発光量等の撮影条件を調整する調整手段と、
   を有することを特徴とする撮像装置。
4. 請求項１、２のいずれかに記載の装置において、さらに、
   前記温度検出手段で検出された温度を、予め設定された複数の設定温度を用いて求めた温度分布に分類する分類手段と、
   を有し、
   前記設定温度は少なくとも人物温度を分類できる温度とそれに比べて高温、低温を判定できる温度を含み、
   前記判別手段は、前記分類手段で分類された温度に基づき前記被写界が複数の撮影シーンのいずれに該当するかを判別することを特徴とする撮像装置。
5. 請求項４記載の装置において、
   前記分類手段は、前記温度検出手段で検出された温度を、さらに同温度分布の形状、同温度分布の面積、同温度分布の画角位置の少なくともいずれかで分類することを特徴とする撮像装置。
6. 請求項４、５のいずれかに記載の装置において、
   前記複数の撮影シーンは少なくともビーチシーンとスノーシーンを含み、
   前記判別手段は、前記温度検出手段で検出された温度が前記画像内における鉛直下方領域において高温であり、かつ、前記画像内における鉛直上方領域において色相が青領域である場合に前記被写界はビーチシーンであると判別し、前記画像内における鉛直下方領域において低温であり、かつ、前記画像内のおける鉛直上方領域において色相が青領域である場合に前記被写界はスノーシーンであると判別することを特徴とする撮像装置。
7. 請求項４，５のいずれかに記載の装置において、
   前記複数の撮影シーンは少なくともビーチシーンとスノーシーンを含み、
   前記判別手段は、前記温度検出手段で検出された温度が前記画像内における鉛直下方領域において高温であり、かつ、前記画像内における鉛直下方領域において彩度が低い場合に前記被写界はビーチシーンであると判別し、前記画像内の鉛直下方領域において低温であり、かつ、前記画像内の鉛直下方領域において彩度が低い場合に前記被写界はスノーシーンであると判別することを特徴とする撮像装置。
8. 請求項５記載の装置において、
   前記判別手段は、前記温度検出手段で検出された温度が人物温度である場合に、前記同温度分布の形状、同温度分布の面積、同温度分布の画角位置の少なくともいずれかに基づきポートレートシーンであると判別することを特徴とする撮像装置。
9. 請求項１乃至８のいずれかに記載の装置において、さらに、
   前記判別手段で判別した撮影シーンをユーザに報知する報知手段
   を有することを特徴とする撮像装置。

Images