JP2018196069A - 撮像装置 - Google Patents

Abstract

【課題】被写体の高輝度領域に対して補正を行う画像処理装置において、撮影画像から顔検出を行い検出した顔領域のテカリ部分を検出して補正する技術において、被写体の顔領域のコントラスト低下によって顔がボケた場合においても適切なテカリ補正を行うことを可能とする。【解決手段】撮像装置は、被写体を撮影する撮影手段と、撮影した画像から被写体の顔領域を検出する顔検出手段と、顔領域の画像特徴量を抽出する画像特徴量抽出手段と、顔領域のボケ量を算出するボケ量算出手段と、画像特徴量からテカリ領域の補正パラメータを算出するテカリ補正パラメータ算出手段と、テカリ補正パラメータを用いてテカリ領域の補正を行うテカリ補正手段を有し、テカリ補正パラメータ算出手段において、ボケ量に応じて算出した各顔領域のテカリ補正パラメータを修正する。【選択図】図２（ｂ）

Description

本発明は、画像処理装置に関し、特に被写体の高輝度領域を補正する画像処理装置に関する。

従来、撮影画像において、被写体の高輝度領域に対して補正を行う技術が知られている。これにより、環境光によって生じた顔のテカリなどを補正し、好ましい画像を得ることが可能となる。

被写体の顔のテカリ成分を抽出して、テカリを軽減させるための補正処理として、以下の技術が開示されている。

特許文献１では、被写体の肌色領域を検出し、彩度及び明度に基づいて、処理領域を指定し、色相、彩度、明度を調整することによって、テカリ成分を軽減している。

また、特許文献２では、各画素のテカリの強さを表すテカリ強度を輝度、明度に基づいて算出し、テカリ強度が下がるように画像補正を実施している。さらに、補正が不要な箇所である、髪、目、唇等に対しては補正を弱める処理も行っている。

しかし、元々顔領域のコントラストが低くボケた顔に対してこのような補正を行うと、顔領域内の輝度差が少なくなり立体感がなくなってしまうという弊害がある。例えば、ＡＦのピントが甘い場合、手振れや被写体ブレが生じた場合、コントラストが甘くなるようなフィルター処理が施されている場合などに、顔のコントラストが低下してボケやすくなる。

しかしながら、前記画像処理装置による補正方法では、被写体のボケ具合に対する考慮がされておらず、ボケた顔に対して適切な補正効果を得られない場合がある。

特開２０１１−４４１３２号公報 特開２００４−１４３２７９号公報

本発明の目的は、被写体のボケ具合を考慮したテカリ補正処理を実施できるようにすることであり、それにより被写体の顔がボケた場合においても適切な補正を可能とする撮像装置を提供することにある。

上記の目的を達成するために、本発明に係る撮像装置は、
被写体を撮影する撮影手段と、前記撮影した画像から被写体の顔領域を検出する顔検出手段と、前記顔領域の画像特徴量を抽出する画像特徴量抽出手段と、前記顔領域のボケ量を算出するボケ量算出手段と、前記画像特徴量からテカリ領域の補正パラメータを算出するテカリ補正パラメータ算出手段と、前記テカリ補正パラメータを用いてテカリ領域の補正を行うテカリ補正手段を有し、テカリ補正パラメータ算出手段において、前記ボケ量に応じて算出した各顔領域のテカリ補正パラメータを修正することを特徴とする。

本発明によれば、被写体の高輝度領域に対して補正を行う画像処理装置において、撮影画像から顔検出を行い検出した顔領域のテカリ部分を検出して補正する技術において、被写体の顔領域のコントラスト低下によって顔がボケた場合においても適切なテカリ補正を行うことを可能とする。

第１の実施の形態に係る処理内容を示すブロック図である。 第１の実施の形態に係る信号処理を示すブロック図である。 第１の実施の形態に係る信号処理を示すブロック図である。 第１の実施の形態に係る補正領域決定方法を示す概念図である。 第１の実施の形態に係る補正特性の一例を示す概念図である。 第１の実施の形態に係るＡＦ結果によるテカリ補正量の修正方法を説明する概念図である。 第１の実施の形態に係る補正特性決定時のＡＦ結果によるボケ量算出の様子を説明する概念図である。 第１の実施の形態に係るコントラスト値によるテカリ補正量の修正方法を説明する概念図である。 第１の実施の形態に係るブロック積分の様子を示す概念図である。 第１の実施の形態に係る補正特性決定に使用するＡＦ枠選択について説明する概念図である。

以下、本発明の実施の形態について、図面を用いて説明する。

［第１の実施の形態］
以下、本発明における第１の実施例について説明する。

図１は本実施例における撮像装置の処理内容を示したブロック図である。

図１において、ユーザによりユーザインタフェース１１２を介して撮影指示があると、システムコントローラ１０７は、鏡筒装置１０２の焦点位置や絞り・メカシャッターとＣＭＯＳなどの撮像装置１０１などを制御して撮影を行う。撮影がなされると、撮像素子１０１から信号が出力され、ＡＦＥ回路１５０を通してゲインを調整され、バッファメモリ１０３に蓄えられる。その後、システムコントローラ１０７によって、ホワイトバランス補正係数やガンマパラメータなど信号処理パラメータを信号処理回路１４０に設定し、信号処理回路１４０によって画像生成用の信号処理がなされてＹＵＶ画像が生成される。

上記生成されたＹＵＶ画像は、画像記録が行われる場合には、前記バッファメモリ内の画像は圧縮・伸長回路１０４に送られてＪＰＥＧファイルとして画像圧縮され、記録・読み出し装置１０５によって記録媒体１０６に記録される。

また前記画像から顔検出を行う場合は、顔位置検出回路１２０は、バッファメモリ１０３に蓄えられたＹＵＶ画像データから顔検出を行い、画像中の座標位置を出力する。同様に器官検出回路１２１は、顔領域に対して顔の口・目・鼻などといった各部位の位置の検出を行う。検出した顔領域をヒストグラム回路１３０にてヒストグラムを取得することで顔領域の明るさなどの画像情報が取得可能である。

また、画面を複数分割して、画面領域ごとのヒストグラムを取得する場合には、バッファメモリ１０３からＹＵＶ画像を取得して、画面内色ブロック取得回路１３２にて画面内の色分布を取得する。その場合、画面を複数のブロックに分割し、分割された領域ごとにＹＵＶの積分値を取得しＹＵＶデータから彩度・色相・輝度、などの画面データの取得が可能である。画面内のヒストグラムを取得するためには画面内ＹＵＶ画像をヒストグラム回路１３０にて解析を行うことで取得可能である。顔検出回路１２０で検出された顔領域、および器官検出回路１２１で検出した各器官の位置に応じて、額、頬、鼻、目などの顔領域に対して詳細にブロックデータの取得を行うことで、顔領域内の白とび領域（テカリ領域）やテカリの発生具合をより詳細に検出することができる。

また、ＡＦ回路１３４では、バッファメモリに蓄えられたＲａｗデータに基づいてＡＦ制御用の処理を行い、画面内のＡＦ結果を取得する。それにより、顔検出回路１２０で得られた顔領域に対応するＡＦ結果も取得することができる。

図２（ａ）は、ＲＡＷデータからＹＵＶデータを生成する画像処理のフローを示したブロック図である。

画像が取得されると撮影画像のＷＢモードや被写体輝度（Ｂｖ値）や撮影感度などの撮影条件に応じて、白領域検出設定値の算出を行い、ＷＢ検出設定値は、ＷＢ検出回路１７０に設定される。取得したＲＡＷデータはＷＢ検出回路１７０にて、設定されたＷＢ検出値に基づいて白領域の抽出が行われる。ＷＢ演算手段１７３は、ＷＢ検出回路１７０からの検出結果を用いてＷＢ係数の算出を行う。

取得されたＲＡＷデータは、ＷＢ処理回路１７４にてＷＢ処理がされる。

撮影されたＲＡＷ画像から、顔検出回路１２０にて顔検出を行う。

顔検出回路１２０は、顔検出の結果、検出顔の個数、顔の領域を示す画像中の座標、顔毎の顔検出信頼度、主被写体の顔領域などが出力される。顔検出方法としては、例えば、ニュートラルネットワークに代表される学習を用いた方法や、目や鼻と言った物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。
器官検出回路１２１において、顔の口、鼻、目、顔の角度、など詳細の情報が取得される。顔の所定部位の検出方法としては、顔検出方法と同様にテンプレートマッチングを利用した方法やニューラルネットワークを利用した方法などがある。

ヒストグラム回路１３０で、検出された顔情報および器官検出結果に応じて、顔領域の詳細なヒストグラムを取得する。同様にブロック積分回路１３２において顔領域の詳細なブロック積分値の取得を行う。図３は顔領域に対してブロック積分値の取得をしている様子をしめしたイメージ図である。顔領域の大きさに合わせてブロック積分の各ブロックサイズを可変してもよいし、前面にブロック積分値の取得を行い、顔領域のみのブロック積分値を取得してもよい。

ＡＦ回路１３４では、撮影されたＲａｗ画像に対して１つまたは複数のＡＦ枠を設定し、各ＡＦ枠でのＡＦ結果（ピント位置）を取得する。

これらの顔検出やＡＦ結果をもとに、テカリ補正パラメータ算出手段１９０にて、テカリ補正パラメータの決定を行う。画像処理パラメータ決定手段１８０は、前記テカリ補正パラメータとともに、ＷＢ検出結果に応じて諧調設定や色変換パラメータなどの画像処理パラメータを決定し、信号処理回路１４０に設定を行う。ＷＢ補正慮利された画像は、信号処理回路１４０によりＹＵＶ画像データの生成が行われる。

図２（ｂ）は、各検出回路とテカリ補正パラメータ算出手段１９０のテカリ補正パラメータを決定するフローを示したブロック図である。

テカリ補正特性決定手段１９１は画像の入力輝度に対する補正強度を決定する補正特性の決定を行う。図４は、入力輝度に対する補正の強さを示した様子を示したイメージ図である。

図４の（ａ）のように入力輝度が大きくなるにつれて補正量をコントロールする補正ゲインが大きくなるように設定することで、輝度が高い白とび領域に対して効果的に補正を行うことが可能である。一方、図４の（ｂ）のように入力輝度が大きくなっても補正ゲインを上げないようにすることで、補正量を小さくすることが可能である。入力輝度と補正ゲインの関係を可変させることで、補正特性を可変することが可能である。

補正特性の決定には、画像中の顔領域内の白とびの具合によって決定を行う。ブロック積分１３２によって顔領域毎にブロック積分値の取得を行い、顔器官検出の結果の座標から頬部、額部、鼻部のブロック積分値の白とび量の算出を行う。たとえば対象ブロック積分値の平均値や、ブロック積分の輝度平均値が所定の閾値を超えたブロック数を計測し、そのブロック数に応じて補正特性を可変するようにしてもよい。

図２（ｂ）に示すように、ＲＧＢ画像から輝度値変換を行い、輝度値から図４のような補正強度を決定することで画像領域毎のテカリ補正パラメータを決定することが可能である。テカリ補正特性とは顔の白とび具合によって補正パラメータの決定を行う。

テカリ補正特性修正手段１９２は、テカリ補正特性決定手段１９１で決定した補正パラメータの修正を行う。

図５の（ａ）に示すように、異なる距離に存在するＡさん、Ｂさん、Ｃさんの３人の人物を撮影した場合を想定する。Ａさんを主となる被写体としてＡＦ合焦制御を実施した場合に、図５の（ｂ）に示すように、各人物のピント位置と合焦位置との差分は、Ａさんが０深度、Ｂさんが１．３深度、Ｃさんが３．４深度となっている。

ここで、合焦位置からの深度差が大きくなるほど、顔の領域のコントラストは低下する。一般的に顔領域のコントラストが低い場合に、白とび領域を少なくするような補正を行うと顔の領域の輝度差分が少なくなるため、立体感がなくなってしまうという弊害がある。そのため、合焦位置からの深度差に応じてテカリ補正特性の修正を行うこととする。

ここで、深度差に応じて０〜１の値をとるような「修正比率」を用いて、修正後の補正パラメータを以下の通り算出する。

修正後の補正パラメータ＝補正パラメータ×修正比率
すなわち、修正比率が１の場合は補正パラメータの修正は実施せず、修正比率が０〜１の間の時は補正パラメータを弱め、修正比率＝０の場合はてかり補正を実施しないものとする。

図６は、各人物の合焦位置との差分に応じた修正比率を算出するグラフになっている。横軸が各人物のピント位置と合焦位置との差分を示しており、縦軸が修正比率（０〜１）を示している。修正比率の設定の方法は様々なパターンが想定されうる。

例えば、実線で示すグラフ６−１では、所定深度を境目に補正の実施有無を切り替える場合を示している。この場合では、図５で示されていた例については、Ａさん、Ｂさんは修正比率＝１となり補正を実施するが、Ｃさんは修正比率＝０となり補正を実施しない。
また、破線で示すグラフ６−２では、所定深度を超えた場合は補正の効き具合を徐々に弱めていく場合を示している。この場合では、Ａさんは補正量を変えずに補正を実施するが、Ｂさんは補正量を弱め、Ｃさんは補正を実施しない。

また、被写体の動きや低照度時など、ＡＦ結果の信頼性が保証されずにどこに
ＡＦ合焦しているか不確かな場合もある。そこで、信頼度が所定の閾値以下であれば、修正比率＝０として、補正は実施しないものとする。

また、ＡＦ結果を用いずに、画像内の顔領域部分にコントラスト量を抽出するためのフィルター処理等を施すことによってコントラスト評価値を算出することによって修正比率を求めてもよい。その場合は、図７に示すようにコントラスト評価値の強弱に基づいて、修正比率の設定を行うものとする。

手振れや被写体ぶれによって画像がぶれてコントラストが落ちている場合、カラーフィルター等の画像処理によるボケなど、ＡＦは合焦しているにも関わらず顔のコントラストが落ちる場合に有効である。

テカリ補正領域算出手段１９３は、テカリ補正領域の決定を行う。テカリ補正領域の決定には、顔検出領域および器官検出結果の各部位の座標値から行う。

図８はテカリ補正領域の設定している様子を示す概念図である。

テカリ補正領域の設定には、両目の座標の距離から楕円の大きさを決定し、また両目の位置から楕円の中心位置の決定を行う。器官検出の結果、顔の角度が正面からずれている場合、ずれている方向とは逆の方向に楕円の中心をずらすとともに角度に応じた補正領域サイズである楕円の大きさの修正を行う。このようにすることで顔領域から補正領域がはみ出すことによる弊害を除外することが可能である。

次に、高輝度であっても白とびでない目領域の特定を行い、補正領域から除外する設定を行う。補正領域に対して楕円の中心から周辺に向けて補正強度を徐々に減少させていくことで補正領域と補正領域外との切り替わりの発生を低減させることができる。同様に目領域に対して目の中心部分は補正をしないように設定し、目領域の周辺になるにつれて補正強度を強めていく設定を行い、補正領域と補正対象外領域のゲインを乗算することで領域毎の補正パラメータの決定をすることができる。

決定したテカリ補正領域パラメータと輝度によるテカリ補正パラメータを乗算することで、顔の白とび領域におけるテカリ補正パラメータの算出を行うことができる。

上記の通りテカリ補正を実施する領域を設定するのに対して、ＡＦ制御を行う領域については、瞳等の器官検出した領域優先、顔の中心優先等、様々であり、両者の思想は異なる。

そのため、前述したテカリ補正特性修正手段１９２によるテカリ補正パラメータの修正に際して、各人物のピント位置としてＡＦ制御枠を選択してしまうと、図９の（ａ）に示すように、ＡＦ制御を行ったＡＦ枠位置とテカリ補正を行った領域に差が生じる場合がある。それにより、図９の（ｂ）に示すように、ＡＦ制御枠のピント位置とテカリ補正を行う領域内のピント位置に差が生じる可能性がある。

そこで、テカリ補正パラメータの修正に際しては、顔領域内に複数のＡＦ枠が存在する場合は、テカリ補正を実施する領域の中心に位置するＡＦ枠のピント位置と合焦位置の差分を取得するものとする。

テカリ補正色算出手段１９４は、テカリ補正に用いる色味の算出を行う。

図２（ｂ）において、この色補正値は、画像信号値に補正色に補正ゲインを乗算し、本信号から減算を行う。完全飽和した信号を考えると完全飽和信号から補正色を減算した後に肌色になっている必要があるため、飽和信号と肌色との差分値が補正色になる。
肌色目標色を
（ＲＧＢ）＝（２３０，２００，１７０）＠８Ｂｉｔ
とすると
完全飽和
（ＲＧＢ）＝（２５５，２５５，２５５）＠８Ｂｉｔ
から減算すると
補正色は
（ＲＧＢ）＝（２０，５５，８５）＠８Ｂｉｔ
となる。

また被写体の明るさに応じて、肌色目標値が異なるため、補正色はそれに応じて可変される必要がある。たとえば、人種や年齢、性別、個人差などによって目標とすべきＲＧＢの比率が異なってくる。また頬はやや赤く、額は輝度が高めなど、肌の部位によっても色味が変えることで自然な補正を行うことが可能となる。

本実施例においては、ブロック積分回路１３２の結果、被写体の白とび領域以外の肌色から目標となる目標値を取得して算出する例を用いて説明を行う。

被写体の顔領域の顔の平均輝度の算出を行い、平均輝度に近いブロックから色味を算出して目標色に設定を行う。

額領域の補正値に対しては、額領域の白とびしていない領域の色味から目標値の設定を行う。頬領域も同様に両頬のブロック積分値に対して補正値の算出を行う。鼻領域も同様に補正値の算出を行う。算出した額領域と鼻領域と頬領域の値から場所を特定し、その中間領域は額領域と鼻領域のそれぞれの補正値を場所の近さに応じて線形補間をして補正値の算出を行うことで、自然な補正を行うことが可能になる。

前述した方法以外にも個人認証をもちいて、同一人物の白とびをしていない画像から目標となる色味の算出をしてもよいし、露出を下げて画像を取得し、白とびしていない画像の取得を行い、その取得した画像の色味から補正目標色の算出を行うことで自然な色味となる画像を生成することが可能になる。

以上の手法を用いることで、人物のボケ具合に応じて適応的にテカリ補正を実施することが可能となる。

１２０ 顔検出回路、１３４ ＡＦ回路、１４０ 信号処理回路、
１９０ テカリ補正パラメータ算出回路、１９１ テカリ補正特性決定手段、
１９１ テカリ補正特性修正手段

Claims (6)

1. 被写体を撮影する撮影手段と、
   前記撮影した画像から被写体の顔領域を検出する顔検出手段と、
   前記顔領域の画像特徴量を抽出する画像特徴量抽出手段と、
   前記顔領域のボケ量を算出するボケ量算出手段と、
   前記画像特徴量からテカリ領域の補正パラメータを算出するテカリ補正パラメータ算出手段と、
   前記テカリ補正パラメータを用いてテカリ領域の補正を行うテカリ補正手段を有し、
   テカリ補正パラメータ算出手段において、前記ボケ量に応じて算出した各顔領域のテカリ補正パラメータを修正することを特徴とする撮像装置。
2. 撮影時の合焦位置を決定するために画面内に１つまたは複数のＡＦ領域を設定して合焦制御を行うＡＦ手段と、前記顔領域に対するＡＦ領域のピント位置を取得する顔ピント取得手段をさらに有し、
   前記ボケ量取得手段において、合焦位置と顔領域のピント位置との差によって前記ボケ量を算出することを特徴とする、請求項１に記載の撮像装置。
3. 前記顔領域に対するコントラスト値を算出するコントラスト算出手段をさらに有し、
   前記ボケ量取得手段において、前記コントラスト値にもとづいてボケ量を算出することを特徴とする、請求項１に記載の撮像装置。
4. 前記合焦位置の信頼度を取得する信頼度取得手段をさらに有し、
   前記テカリ補正パラメータ算出手段において、前記合焦位置の信頼度が所定の閾値以下の場合は、撮影画像に対してテカリ補正手段によるテカリ補正を実施しないように、テカリ補正パラメータを修正することを特徴とする、請求項１又は請求項２に記載の撮像装置。
5. 前記顔領域のピント位置の信頼度を取得する信頼度取得手段をさらに有し、前記テカリ補正パラメータ算出手段において、ピント位置の信頼度が所定の閾値以下の顔領域に対してテカリ補正手段によるテカリ補正を実施しないように、テカリ補正パラメータを修正することを特徴とする、請求項１又は請求項２に記載の撮像装置。
6. 前記顔領域内に複数のＡＦ領域が設定されている場合は、前記顔ピント取得手段において、テカリ補正を実施する領域に基づいてＡＦ領域を選択して前記ボケ量を取得するための顔領域のピント位置を決定することを特徴とする、請求項１又は請求項２に記載の撮像装置。