JP2006217413A

JP2006217413A - 電子カメラ

Info

Publication number: JP2006217413A
Application number: JP2005029634A
Authority: JP
Inventors: Mari Sugihara; 麻理杉原
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2005-02-04
Filing date: 2005-02-04
Publication date: 2006-08-17

Abstract

【課題】人物の有無を高い精度で検出し、シーンに応じて撮影モードや色補正処理を自動選択できる電子カメラを提供する。
【解決手段】本発明の電子カメラは、撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、画像信号に基づいて撮影画面内の肌色領域データを生成する肌色領域検出部と、撮影画面内の温度分布データを生成する温度分布データ生成部と、肌色領域データと温度分布データとを対比して撮影画面内における人体の肌露出部分を検出し、該検出結果に基づいて露出条件に関する撮影モードを変化させる制御部と、を有する。
【選択図】図１

Description

本発明は人体の肌露出部分を検出可能な電子カメラに関する。

従来から、人物撮影時に最適な画像を得ることのできるカメラについては種々の提案がなされている。例えば、特許文献１には、肌色領域を検出する等の手段で顔認識を実行し、顔認識結果により撮影モードを選択するカメラが開示されている。また、特許文献２には、温度測定手段で人物の有無を検出して露出条件を設定するカメラが開示されている。さらに、特許文献３には、赤外画像と可視光の画像とに基づいて人物の肌色領域を検出して、人物の肌色領域に対して画像処理による色補正を行う電子カメラが開示されている。
特開２００３−３４４８９１号公報特開平８−１３６９７１号公報特開２００４−２０７９５３号公報

しかし、上記特許文献１および上記特許文献２のカメラでは、例えば、撮影画面内に人物のポスターや人体の温度に近い物体（動物など）がある場合には、これらを人物と誤検出して適切な撮影モードが選択されないおそれがある。一方、上記特許文献３の電子カメラでは人物の肌色領域を高い精度で検出できるが、シーンに応じた撮影モード等を選択するものではない。そのため、例えば、ポートレート撮影でボケ味を生かした人物画像などを撮影しようとする場合にはユーザーに煩雑な操作を強いる点でなお改善の余地があった。

本発明は上記従来技術の課題を解決するものであって、その目的は、人物の有無を高い精度で検出し、シーンに応じて撮影モードや色補正処理を自動選択できる電子カメラを提供することである。

第１の発明に係る電子カメラは、撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、前記画像信号に基づいて撮影画面内の肌色領域データを生成する肌色領域検出部と、前記撮影画面内の温度分布データを生成する温度分布データ生成部と、前記肌色領域データと前記温度分布データとを対比して前記撮影画面内における人体の肌露出部分を検出し、該検出結果に基づいて露出条件に関する撮影モードを変化させる制御部と、を有することを特徴とする。

第２の発明は、第１の発明において、前記制御部は、前記撮影画面内における前記肌露出部分のまとまりの大きさおよび位置に基づいて前記撮影モードを変化させることを特徴とする。
第３の発明に係る電子カメラは、撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、前記画像信号に色補正処理を施して撮影画像データを生成する画像処理部と、前記画像信号に基づいて撮影画面内の肌色領域データを生成する肌色領域検出部と、前記撮影画面内の温度分布データを生成する温度分布データ生成部と、前記肌色領域データと前記温度分布データとを対比して前記撮影画面内における人体の肌露出部分を検出し、前記肌露出部分のまとまりの大きさおよび位置に基づいて前記画像処理部の色補正処理を変化させる制御部と、を有することを特徴とする。

（作用）
第１の発明では、制御部は肌色領域データと温度分布データとを対比して撮影画面内における人体の肌露出部分を検出する。そして、制御部は肌露出部分の有無に基づいて撮影モードを変化させる。したがって、第１の発明では人体の肌露出部分を高い精度で検出でき、人物の有無に応じて的確な露出条件の撮影モードが自動選択される。

第２の発明では、制御部は、撮影画面内における肌露出部分のまとまりの大きさおよび位置に基づいてシーンを判断し、そのシーンに応じて撮影モードを適切に変化させることができる。
第３の発明では、制御部は肌色領域データと温度分布データとを対比して撮影画面内における人体の肌露出部分を検出する。そして、制御部は肌露出部分のまとまりの大きさおよび位置に基づいて画像処理部の色補正処理を変化させる。したがって、第３の発明では、所定の大きさで人物が撮影されている場合のみ人物の肌色に適した色補正を行うことができる。

本発明の電子カメラでは、肌色領域データと温度分布データとに基づいて人体の肌露出部分を検出するので人物の有無を高い精度で検出できる。そして、この検出結果に基づいて撮影モード等を設定するので、ユーザーはシーンに応じた最適な露出条件や色補正処理で撮影を行うことができる。

図１は本実施形態の電子カメラの構成を示す概要図である。本実施形態の電子カメラは、撮影レンズ１１と、レンズ駆動機構１２と、絞り部１３と、レンズマイコン１４と、ハーフミラー１５と、撮像素子１６と、アナログ信号処理部１７と、Ａ／Ｄ変換部１８と、画像処理部１９と、フレームメモリ２０と、赤外線センサ２１および温度分布データ生成部２２と、カードＩ／Ｆ２３と、操作部２４と、ＲＯＭ２５と、ＣＰＵ２６と、データバス２７とを有している。なお、Ａ／Ｄ変換部１８の出力と、画像処理部１９と、フレームメモリ２０と、温度分布データ生成部２２と、カードＩ／Ｆ２３およびＣＰＵ２６とはデータバス２７を介してそれぞれ接続されている。

撮影レンズ１１は合焦調節用のフォーカシングレンズを含む複数のレンズ群で構成されている。レンズ駆動機構１２は撮影レンズ１１を光軸方向に駆動させる。絞り部１３は複数枚の絞り羽根の位置を変化させて絞り径を調整し、撮像素子１６への入射光量調節を行う。そして、レンズマイコン１４はＣＰＵ２６からの指示に基づいてレンズ駆動機構１２および絞り部１３を制御する。

ハーフミラー１５は撮影レンズ１１の像空間側に配置されている。このハーフミラー１５は撮影レンズ１１から射出された光束を２方向に分岐させる。一方の光束はハーフミラー１５を透過して後方の撮像素子１６に導かれる。他方の光束はハーフミラー１５で反射されて赤外線センサ２１に導かれる。なお、撮影時にはハーフミラー１５を跳ね上げて、撮像素子１６の前面からハーフミラー１５を退避させる構成としてもよい。

撮像素子１６には、被写体像を光電変換してアナログ画像信号を生成する受光画素が２次元配列されている。この撮像素子１６の画像信号は、撮影画像データの生成や、ＡＦ演算およびＡＥ演算や、後述の肌色領域データの生成に使用される。なお、撮像素子１６は電荷順次転送方式（ＣＣＤ等）またはＸＹアドレス方式（ＣＭＯＳ等）のいずれであってもよい。

アナログ信号処理部１７は、相関二重サンプリングを行うＣＤＳ回路、アナログ画像信号の出力を増幅するゲイン回路、入力信号の波形を一定の電圧レベルにクランプするクランプ回路等で構成されている。Ａ／Ｄ変換部１８はアナログ信号処理部１７から出力されたアナログ画像信号をデジタル画像信号に変換する。
画像処理部１９は、デジタル画像信号にガンマ補正、補間、色補正、ホワイトバランスなどの画像処理を行って撮影画像データを生成する。また、画像処理部１９はＪＰＥＧ形式等の所定のフォーマットで撮影画像データを圧縮伸長する処理を実行する。

さらに、画像処理部１９は１画面分のデジタル画像信号に基づいて撮影画面内の肌色領域を抽出する。そして、画像処理部１９は撮影画面内での肌色領域の位置、大きさ、色情報（肌色領域の輝度、色差）等に関する肌色領域データを生成する。
フレームメモリ２０はＳＤＲＡＭ等で構成され、複数フレーム分の画像データを記録できる容量を有している。撮影時においてフレームメモリ２０には画像処理前のデジタル画像信号や、画像処理後の撮影画像データが一時保存される。

赤外線センサ２１は、例えば赤外線２次元撮像素子で構成され、撮影レンズ１１からの入射光に基づいて撮影画面内の赤外線強度分布スペクトルを出力する。温度分布データ生成部２２は赤外線強度分布スペクトルから黒体輻射を仮定して撮影画面内の物体の表面温度を推定する。そして、温度分布データ生成部２２は撮影画面内の温度分布データを生成してＣＰＵ２６に出力する。

カードＩ／Ｆ２３には記録媒体３０を接続するためのコネクタが形成されている。記録媒体３０は公知の半導体メモリなどで構成され、この記録媒体３０には上記の撮影画像データが最終的に記録される。
操作部２４は、電子カメラの各種撮影モード（ポートレート撮影モード、風景撮影モード、両者をシーンに応じて自動選択する自動モード等）の切り換えを行うモード切換スイッチ、レリーズ釦などから構成されている。ＲＯＭ２５には、記憶色の肌色などのように肌色の再現目標となる色情報（例えば、所定の色空間での座標値など）を示す肌色再現目標データが格納されている。

ＣＰＵ２６は所定のシーケンスプログラムに従って電子カメラの各部動作を制御する。例えば、ＣＰＵ２６はフォーカシングレンズの移動前後の焦点評価値の大小を比較する山登り動作でＡＦ演算を実行する。また、ＣＰＵ２６は撮像素子１６の画像信号を用いて分割測光を行い、この分割測光結果に基づいてＡＥ演算を実行する。
さらに、ＣＰＵ２６は画像処理部１９の肌色領域データと温度分布データ生成部２２の温度分布データとを照合して人体の肌露出部分を検出する。そして、上記の自動モードでは、ＣＰＵ２６は人体の肌露出部分の位置および大きさに基づいて撮影モードを自動選択し、シーンに応じて露出条件を最適化する。

また、ＣＰＵ２６は肌色領域データの色情報と肌色再現目標データの色情報とを比較し、肌露出部分の肌色を肌色再現目標データの肌色に近づける肌色用色補正係数を生成する。そして、ＣＰＵ２６は、上記の肌色用色補正係数に基づいて画像処理部１９に肌露出部分の色補正処理を指示する。
本実施形態の電子カメラは上記のように構成され、以下、本実施形態における自動モードでの撮影動作を図２の流れ図に沿って説明する。

ステップＳ１０１：レリーズ釦の半押しにより、ＣＰＵ２６は赤外線センサ２１を駆動させて撮影画面内の赤外線強度分布スペクトルを取得する。温度分布データ生成部２２は赤外線強度分布スペクトルに基づいて温度分布データを生成する。
ステップＳ１０２：続いて、ＣＰＵ２６は撮像素子１６を駆動させて撮影画面をモニタする。そして、画像処理部１９は上記モニタ時の画像信号に基づいて撮影画面の肌色領域に関する肌色領域データを生成する。

ステップＳ１０３：ＣＰＵ２６は温度分布データ（Ｓ１０１）での人体の体温領域（３５℃〜４０℃の範囲）の位置と、肌色領域データ（Ｓ１０２）での肌色領域の位置とを照合する。そして、ＣＰＵ２６は両者が一致した領域を人体の肌露出部分と決定する。
ステップＳ１０４：ＣＰＵ２６は撮影画面内の所定位置（例えば、撮影画面中央近傍やユーザーが予め選択したＡＦエリアの位置など）に肌露出部分が存在するか否かを判定する。上記所定位置に肌露出部分が存在する場合（ＹＥＳ側）にはＳ１０５に移行する。一方、上記所定位置に肌露出部分が存在しない場合（ＮＯ側）には、人物が主要被写体ではないと判断できるのでＳ１０７に移行する。

ステップＳ１０５：ＣＰＵ２６は撮影画面内に一定面積以上の肌露出部分のまとまりがあるか否かを判定する。個々の肌露出部分のまとまりが大きい場合（ＹＥＳ側）には、１人から３人程度の人物が主要被写体として大きく撮影されるシーンであると推定できる。この場合にはＳ１０６に移行する。
一方、個々の肌露出部分のまとまりが小さい場合（ＮＯ側）には、多数の人物が写った集合撮影のシーンか、あるいは風景の中に人物が小さく写っているシーンなどであると推定できる。この場合にはシーン全体をバランスよく撮影することが重視されるのでＳ１０７に移行する。

ステップＳ１０６：ＣＰＵ２６はポートレート撮影モードの設定に基づいてＡＥ演算およびＡＦ演算を実行する。そして、ＣＰＵ２６は、シャッタ秒時（撮像素子１６の電荷蓄積時間）、絞り部１３の絞り値、撮像感度（アナログ信号処理部１７のゲイン）などを調整し、露出条件等をポートレート撮影向きに設定する。ポートレート撮影モードにおいては、後述する風景撮影時に比べて明るめの露出条件に設定される。

ステップＳ１０７：ＣＰＵ２６は風景撮影モードの設定に基づいてＡＥ演算およびＡＦ演算を実行する。そして、ＣＰＵ２６は、シャッタ秒時、絞り値、撮像感度などを調整し、露出条件等を風景撮影向きに設定する。
ステップＳ１０８：レリーズ釦の全押しにより、ＣＰＵ２６は撮像素子１６を駆動させて撮影画面内の被写体を撮影する。

ステップＳ１０９：ＣＰＵ２６は、Ｓ１０４およびＳ１０５の判定に基づいてポートレート撮影のシーンであるか否かを判定する。ポートレート撮影のシーンの場合（ＹＥＳ側）にはＳ１１０に移行する。一方、風景撮影のシーンの場合（ＮＯ側）には、Ｓ１１１に移行する。
ステップＳ１１０：この場合には、ＣＰＵ２６はＲＯＭ２５から読み出した肌色再現目標データと肌色領域データの色情報とを比較し、肌露出部分の肌色を肌色再現目標データの肌色に近づける肌色用色補正係数を生成する。そして、ＣＰＵ２６は画像処理部１９に肌色用色補正係数を出力する。画像処理部１９は、撮影画像データの肌露出部分に対して肌色用色補正係数を適用して色補正処理を施す。

ステップＳ１１１：この場合には、画像処理部１９は撮影画像データに対して風景撮影時の色補正係数に基づく通常の色補正処理を実行する。なお、Ｓ１１１では、ＣＰＵ２６が肌色用の色補正係数を演算することはない。
ステップＳ１１２：ＣＰＵ２６は色補正処理後の撮影画像データを記録媒体３０に格納し、次回の撮影動作を待機する。以上で自動モードによる電子カメラの一連の撮影動作が完了する。

上記実施形態の電子カメラによれば以下の効果を得ることができる。
（１）ＣＰＵ２６は肌色領域データと温度分布データとを対比して肌露出部分を検出する（Ｓ１０３）ので、肌露出部分を高い精度で検出できる。例えば、図３に示すように人物が撮影されたポスター（図中右側）と人物（図中左側）とがあるシーンでも人物を正確に検出できるので、人物の誤検出によってＣＰＵ２６が不適切な撮影モードおよび色補正処理を選択するおそれは著しく低減する。

（２）ＣＰＵ２６は撮影画面内での肌露出部分のまとまりの大きさおよび位置に基づいてシーンを判断する（Ｓ１０４、Ｓ１０５およびＳ１０９）ので、ＣＰＵ２６が適切な撮影モードおよび色補正処理を高い精度で自動選択できる。そのため、ユーザーは撮影モード等の煩雑な選択操作から解放される一方で、適切な露出条件および色補正処理による撮影画像を撮影できる。特に、ポートレート撮影時には肌露出部分に肌色の再現性を高める色補正処理を行うので、美しい肌色での人物画像を簡単に撮影できる。

（請求項と実施形態との対応関係）
ここで、請求項と実施形態との対応関係を示しておく。なお、以下に示す対応関係はあくまで参考のために示す解釈であって、本発明の技術的範囲を限定するものではない。
「撮影光学系」には撮影レンズ１１が対応する。「撮像素子」には撮像素子１６が対応する。「肌色領域検出部」および「画像処理部」には画像処理部１９が対応する。「温度分布データ生成部」には赤外線センサ２１および温度分布データ生成部２２が対応する。「制御部」にはＣＰＵ２６が対応する。

実施形態の電子カメラの構成を示す概要図実施形態における自動モードでの撮影動作を示す流れ図実施形態での肌露出部分の検出方法を示すための説明図

符号の説明

１１撮影レンズ
１６撮像素子
１９画像処理部
２１赤外線センサ
２２温度分布データ生成部
２６ＣＰＵ

Claims

撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
前記画像信号に基づいて撮影画面内の肌色領域データを生成する肌色領域検出部と、
前記撮影画面内の温度分布データを生成する温度分布データ生成部と、
前記肌色領域データと前記温度分布データとを対比して前記撮影画面内における人体の肌露出部分を検出し、該検出結果に基づいて露出条件に関する撮影モードを変化させる制御部と、
を有することを特徴とする電子カメラ。
前記制御部は、前記撮影画面内における前記肌露出部分のまとまりの大きさおよび位置に基づいて前記撮影モードを変化させることを特徴とする請求項１に記載の電子カメラ。
撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
前記画像信号に色補正処理を施して撮影画像データを生成する画像処理部と、
前記画像信号に基づいて撮影画面内の肌色領域データを生成する肌色領域検出部と、
前記撮影画面内の温度分布データを生成する温度分布データ生成部と、
前記肌色領域データと前記温度分布データとを対比して前記撮影画面内における人体の肌露出部分を検出し、前記撮影画面内における前記肌露出部分のまとまりの大きさおよび位置に基づいて前記画像処理部の色補正処理を変化させる制御部と、
を有することを特徴とする電子カメラ。