JP2016004133A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】赤外光域及び可視光域に感度を有する複数の画素を有する測光センサを用いた処理を良好に行うことができる撮像装置を提供する。【解決手段】赤外光域及び可視光域に感度を有する複数の画素を有する測光センサと、測光センサを複数の画素群に分け、複数の画素群ごとに赤外光域の画像情報と可視光域の画像情報を取得する取得部と、複数の画素群ごとの画像情報から赤外光域の画像情報に基づく赤外光成分を減算した可視光成分を生成する減算部と、減算部により生成された可視光成分を用いて、光源判定処理、特定色検知処理、露光量決定処理のうちの少なくとも一つの処理を行う処理部とを備える。【選択図】 図３

Description

本発明は、撮像装置及びその制御方法に関する。

人間が知覚できる光は、一般に約４００ｎｍから約６８０ｎｍの範囲（以下可視光域）内の光である。従来、デジタルカメラやデジタルビデオカメラのような撮像装置では、上記範囲内の光のみを取り込むため、撮像用イメージセンサの前に４００ｎｍ以下の紫外光域の除去フィルタや、６８０ｎｍ以上の赤外光域の除去フィルタ等を配置している。

ところが一方で、撮像装置で光源判定を行うために、赤外光を検知することも望まれている。例えば、特許文献１では、可視光域と赤外光域を含む画像から光源の種別を判定し、光源の種別に応じて撮影条件を制御している。

また、特許文献２には、一眼レフカメラの測光用センサに赤外光域と可視光域とを含む波長帯に感度を持つ２つの受光素子を配置し、いずれか一方の入射光領域に可視光カットフィルタを配置した構成が開示されている。可視光カットフィルタを配置した受光面からの出力を用いて赤外リモコン受信や光源判定を行う。また、２つの受光面の出力の差分をとることで可視光域のみに感度を持たせた受光面相当の出力を得ることができる。この可視光域成分を用いて測光を行うことでイメージセンサの分光特性に近づけることができる。

特開２０１２−１０２８２号公報 特開２００２−２０２５４１号公報

しかしながら、上述の特許文献に開示された従来技術を一眼レフカメラの特定色検出用センサに用いようとすると、以下のような問題が生じる。

肌色等の特定色を検知する場合、可視光域で分光透過率の異なる複数のカラーフィルタが必要となる。これは、可視光域以外に赤外光域にも感度があると、赤外光を照射する太陽光下と、赤外光を照射しないＬＥＤなどの人工光源下で色相がずれるためである。

特許文献１に開示された技術では、光源判定処理を行うために赤外光域にも感度を持たせている。そのため、可視光域内で分光透過率の異なる複数のカラーフィルタを持たすことができないと、特定色検知処理ができない。

特許文献２に開示された技術では、２つの受光面の出力の差分をとることで可視光域のみに感度を持たせた受光面相当の出力を得ることができるが、可視光域内で分光透過率の異なる複数のカラーフィルタを持たせていないため、特定色検知処理ができない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、赤外光域及び可視光域に感度を有する複数の画素を有する測光センサを用いた処理を良好に行うことができる撮像装置を提供することである。

本発明に係わる撮像装置は、赤外光域及び可視光域に感度を有する複数の画素を有する測光センサと、前記測光センサを複数の画素群に分け、該複数の画素群ごとに赤外光域の画像情報と可視光域の画像情報を取得する取得手段と、前記複数の画素群ごとの画像情報から前記赤外光域の画像情報に基づく赤外光成分を減算した可視光成分を生成する減算手段と、前記減算手段により生成された前記可視光成分を用いて、光源判定処理、特定色検知処理、露光量決定処理のうちの少なくとも一つの処理を行う処理手段と、を備えることを特徴とする。

本発明によれば、赤外光域及び可視光域に感度を有する複数の画素を有する測光センサを用いた処理を良好に行うことができる撮像装置を提供することが可能となる。

本発明の一実施形態に係わる撮像装置の構成を示すブロック図。 一実施形態の撮像装置における撮影処理を説明するフローチャート。 一実施形態の撮像装置における撮影処理を説明するフローチャート。 一実施形態の撮像装置における画素配列を説明するための図。 一実施形態の撮像装置における光学特性を説明するための図。 一実施形態の撮像装置における光学特性を説明するための図。 光源の光学特性を説明するための図。 特定色を抽出するときに、基準となる色差平面を簡略化して示した図。 被写体の光学特性を説明するための図。 特定色を抽出するときに、基準となる色差平面を簡略化して示した図。 特定色を抽出するときに、基準となる色差平面を簡略化して示した図。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は本発明の一実施形態に係わる撮像装置（カメラシステム）の構成を示す図である。図１において、１００はカメラ本体を、２００はレンズを、３００は照明装置（ストロボ）を示している。

まず、カメラ本体１００とレンズ２００の構成について説明する。１０１はカメラ１００の各部を制御するマイクロコンピュータであるＣＰＵ（以下、カメラマイコン）である。１０２は赤外カットフィルタやローパスフィルタ等を含むＣＣＤ、ＣＭＯＳセンサ等の撮影用の撮像素子であり、その撮像面上にレンズ２００によって被写体の像が結像される。１０３はシャッターで、非撮影時には撮像素子１０２を遮光し、撮影時には開いて撮像素子１０２へ光線を導く。

１０４はハーフミラーで非撮影時にレンズ２００から入射する光の一部を反射しピント板１０５に結像させる。１０６は測光センサで、ＣＣＤ、ＣＭＯＳセンサ等の撮像素子を使用することにより光源判定処理、特定色検知処理や測光処理を行う。本実施形態では、測光センサ１０６としてＲ（赤），Ｇ（緑），Ｂ（青），ＩＲ（赤外光）画素からなるベイヤー配列のＣＭＯＳセンサを用いた場合について図４、図５を用いて後述する。

また、測光センサ１０６は、上記のように可視光域と赤外光域に感度を有し、ピント板１０５で拡散されてペンタプリズム１０７を通過した光のうち、光軸外の光線の一部が入射する位置に配置されている。１０７はペンタプリズムで、ピント板１０５に結像された被写体像を測光センサ１０６及びアイピース１１３に導く。１０８はＣＰＵ１０１に接続されているＲＡＭやＲＯＭ等のメモリである。

１０９は焦点検出回路である。レンズ２００から入射しハーフミラー１０４を通過した光線の一部がサブミラー１１０で反射され、焦点検出回路１０９内の焦点検出センサに導かれて焦点検出が行われる。１１１は測光センサ１０６の画像処理・演算用のＣＰＵ（以下ＩＣＰＵと呼ぶ）である。１１２はＩＣＰＵ１１１に接続されているＲＡＭやＲＯＭ等のメモリである。１１３はユーザーが被写界を確認するためのアイピースである。なお、本実施形態では、測光センサ１０６専用のＣＰＵ１１１を用意しているが、カメラマイコン１０１を用いて測光センサ１０６の制御を行ってもよい。２０１はレンズ内のＣＰＵ（以下ＬＰＵと呼ぶ）で、被写体との距離情報等をカメラマイコン１０１に送る。

次に、ストロボ３００の構成について説明する。３０１はストロボ３００の各部の動作を制御するマイクロコンピュータＳＣＰＵ（以下、ストロボマイコンと呼ぶ）である。３０２は光量制御装置で、電池電圧を昇圧して光源３０５を点灯させるための昇圧回路や、発光の開始及び停止を制御する電流制御回路等が含まれる。３０３はフレネルレンズなどのパネル等を備え、ストロボ３００の照射角を変更するズーム光学系である。３０４は反射傘であり、光源の発光光束を集光し被写体に照射する。３０５はキセノン管や白色ＬＥＤなどの光源である。

次に、図２〜図３に示すフローチャートを参照して、カメラ本体１００の動作について説明する。なお、ここでは、カメラ１００の電源がオンされ、撮影スタンバイの状態にあるものとする。

ステップＳ１０１でＣＰＵ１０１は、シャッタスイッチの第１ストローク（以下ＳＷ１と呼ぶ）がオンされたか否かを判別し、オンならステップＳ１０２に処理を進める。ステップＳ１０２でＩＣＰＵ１１１は測光センサ１０６を駆動させる。なお、測光センサ１０６の駆動の詳細は図３を参照して後述する。

ステップＳ１０３で、ＣＰＵ１０１、もしくはＩＣＰＵ１１１は、既知の位相差方式のＡＦ（オートフォーカス）処理を行う。ＡＦ評価値を算出し、ＬＰＵ２０１を介してレンズ２００のフォーカスレンズを駆動させ、ＡＦ評価値が最大となるフォーカスレンズ位置にフォーカスレンズを移動させる。

ステップＳ１０４でＣＰＵ１０１は、シャッタスイッチの第２ストローク（以下ＳＷ２と呼ぶ）がオンされたか否かを判別する。シャッタスイッチＳＷ２がオフなら、ＣＰＵ１０１はステップＳ１０５でシャッタスイッチＳＷ１の状態を確認し、オンのままならステップＳ１０２に、オフになった場合はステップＳ１０１に、それぞれ処理を戻す。

ステップＳ１０４でシャッタスイッチＳＷ２がオンであれば、ＣＰＵ１０１はステップＳ１０６で、ステップＳ１０２の測光センサ処理で得られた露出制御値に基づいて本撮像処理を実行する。

図３は、図２のステップＳ１０２における測光センサ処理の詳細を示すフローチャートである。ステップＳ２０１でＩＣＰＵ１１１は、測光センサの蓄積時間（Ｔｖ）を決定し、測光用蓄積処理を行う。ステップＳ２０２でＩＣＰＵ１１１は、撮像画像を複数のエリア（画素群）に分割し、エリア毎にＲ，Ｇ，Ｂ，ＩＲの平均値（画像情報）を算出する（取得する）。なお、エリアの大きさは任意の大きさであり、平均値を算出せずに次のステップＳ２０３へ推移してもよい。

ステップＳ２０３でＩＣＰＵ１１１は、ステップＳ２０２で算出したエリア毎のＲ，Ｇ，Ｂ，ＩＲの平均値に対して、以下の式により赤外光減算処理（赤外光成分の減算処理）を行う。

Ｒ’＝Ｒ−ｋｒ×ＩＲ …（式１）
Ｇ’＝Ｇ−ｋｇ×ＩＲ …（式２）
Ｂ’＝Ｂ−ｋｂ×ＩＲ …（式３）
ここで、ｋｒ＝１．０，ｋｇ＝０．３，ｋｂ＝０．０とする。

上記演算では、Ｒ，Ｇ，Ｂの平均値からＩＲの平均値にゲインをかけたものを減算することで、色毎に赤外光減算処理を施したＲ’，Ｇ’，Ｂ’（可視光成分）を算出（生成）している。なお、赤外光減算処理の詳細は図４から図１１を参照して後述する。

ステップＳ２０４でＩＣＰＵ１１１は、既知の光源判定処理を行う。光源判定処理結果をオートホワイトバランス処理等の画像処理に利用する。ステップＳ２０５でＩＣＰＵ１１１は、Ｒ’，Ｇ’，Ｂ’を用いて既知の特徴領域検出処理を行う。特徴領域検出処理とは、撮像画面内で人物の顔領域や特定色領域などの所定の条件を満たす特徴領域を検出する処理である。この特徴領域検出処理の結果もＡＦ処理や測光処理などに用いられ、特徴領域に対して好適なＡＦ処理や測光処理を行うことができる。

ステップＳ２０６でＩＣＰＵ１１１は、ステップＳ２０３で算出したエリア毎のＲ’，Ｇ’，Ｂ’の積分値Ｒ’’，Ｇ’’，Ｂ’’を任意の割合で加算した測光出力値Ｙを算出する。Ｙは例えば以下の式によって求められる。

Ｙ＝Ｒａ×Ｒ’’＋Ｇａ×Ｇ’’＋Ｂａ×Ｂ’’ …（式４）
Ｒ画素、Ｇ画素、Ｂ画素の混合比Ｒａ，Ｇａ，Ｂａに適当な値を入れることでエリア毎の輝度値Ｙが求められる。例えばＲａ＝０．２９９、Ｇａ＝０．５８７、Ｂａ＝０．１１４とする。

エリア毎の測光出力値Ｙと後述する露出制御値用重み付け係数ｋとの加重平均値Ｙｗを以下の式より算出する。

Ｙｗ＝ΣＹｉｊ×ｋｉｊ …（式５）
Ｙｉｊ、ｋｉｊは、それぞれエリア毎の測光出力値Ｙと露出制御値用重み付け係数ｋを示している。ｉは横方向、ｊは縦方向のエリアの番号で、エリアの分割数に応じて合計する数が変わる。

そしてＩＣＰＵ１１１は、加重平均値Ｙｗ、蓄積時間などから得られる被写体輝度に基づいて、本撮影時の露出制御値（シャッタ速度、絞り値、感度など）を算出する。なお、露出制御値の決定方法は本実施形態とは直接関係がなく、また任意の方法を採用しうるためその詳細説明は省略する。

また、露出制御用重み付け係数ｋは、カメラ１００の撮像モード、測光モードや撮影シーンなどに応じて各測光エリアの測光出力値の重み付けを変えるための係数である。例えば、測光モードが中央重点測光モードであれば、画像の中央付近の測光エリアに対する重み付け係数を画像の周辺付近に対する重み付け係数よりも大きくする。また、特徴領域検出機能を有する場合、特徴領域検出機能を用いる撮像モードでは特徴領域に対応する測光エリアに対する重み付け係数を他の測光エリアに対する重み付け係数よりも大きくする。

また、被写界の状況に応じてどのような撮影シーンかを自動判別するシーン判別機能を有する場合、判別されたシーンに最適な重み付け係数をそれぞれの測光エリアに対して設定する。露出制御用重み付け係数ｋは本実施形態とは直接関係がないため、これ以上の詳細説明は省略する。

次に図４の測光センサ１０６の画素配列の様子を示した図と、図５のカラーフィルタの光学特性を示した図を用いて赤外光減算処理を用いた測光処理について説明する。本実施形態では、図４のようにＲ（赤），Ｇ（緑），Ｂ（青），ＩＲ（赤外光）の画素がＭ×Ｎ個（縦Ｍ画素、横Ｎ画素）ベイヤー状に並んだＣＭＯＳセンサを使用した例について説明する。

図５（ａ）は測光センサ１０６のＲ，Ｇ，Ｂ，ＩＲ画素の分光特性を示している。図６は撮影用の撮像素子１０２の分光特性を示している。なお、赤外カットフィルタは６８０ｎｍの例である。

測光センサ１０６のＲ，Ｇ，Ｂ画素出力（分光特性：図５（ａ））から算出した測光出力値Ｙを用いて、撮影用の撮像素子１０２（分光特性：図６）の露光量を決定した場合（露光量決定処理）に、赤外光域の感度差だけ露光量がずれることがある。

たとえば、図７（ａ）のように赤外光域の光が少ないＬＥＤなどの人工光源下では、撮影用の撮像素子１０２と測光センサ１０６の出力は同等となる。つまり、撮影用の撮像素子１０２で撮影した画像は適正露出となる。しかし、図７（ｂ）のような赤外光域を多く含む太陽光下（晴天時）では、撮影用の撮像素子１０２に対して測光センサ１０６の出力が赤外光域の感度差だけ大きくなる。つまり、赤外光域の感度差だけ明るい被写体と検知するため、撮影用の撮像素子１０２で撮影した写真はアンダー露出となる。このように、測光センサ１０６のＲ，Ｇ，Ｂ画素出力（分光特性：図５（ａ））を使って撮影用の撮像素子１０２（分光特性：図６）の露光量を決定する場合、上記２つのセンサの赤外光域の感度差だけずれが生じてしまう。

そこで、測光センサ１０６のＲ，Ｇ，Ｂ分光特性を、撮影用の撮像素子１０２のＲ，Ｇ，Ｂ分光特性に近づけるために、赤外光域成分を減算する必要がある。本実施形では、測光センサ１０６のＲ，Ｇ，Ｂ画素出力に対して、上述した（式１）〜（式３）により赤外光減算処理を施したＲ’，Ｇ’，Ｂ’を算出している。

図５（ｂ）は図５（ａ）の出力に対して、赤外光減算処理を施したＲ’，Ｇ’，Ｂ’の分光特性である。図５と図６より、２つのセンサの分光特性の赤外光域の差を抑制できていることが確認できる。つまり、上記Ｒ’，Ｇ’，Ｂ’ （分光特性：図５（ｂ））から任意の割合で加算した測光出力値Ｙを用いて撮影用の撮像素子１０２（分光特性：図４）の露光量を決定することで、赤外光域の感度差による露光量のずれを抑制することができる。これらの処理により測光演算処理などを良好に行うことができる。

次に、図８から図１１を用いて赤外光減算処理を用いた特定色検知処理について説明する。

特定色の抽出では、まず撮影環境における光源判定処理を行い、オートホワイトバランス制御を行う。これは、画面内の画像から得られる輝度情報や色情報により光源の色温度を推定し、白い被写体を撮影した時に、各Ｒ，Ｇ，Ｂの画素出力が同一のレベルになるように、Ｒ，Ｇ，Ｂのゲインを調整する既知の技術である。

図８は測光センサ１０６のＲ，Ｇ，Ｂ画素出力（分光特性：図４（ａ））にゲイン調整を行ったものを、縦軸Ｒ／Ｇ、横軸Ｂ／Ｇの色差平面上に簡略化してグラフとして示したものである。

ホワイトバランス制御した画像データより、エリア毎に色成分毎の平均値をＢ／Ｇ値とＲ／Ｇ値の色差信号とする。色差信号の二次元平面上（色空間）において、特定色がプロットされる範囲が決まっているため、色空間であらかじめサンプリングした特定色の情報から特定色枠を定め、エリア毎に色空間上で特定色枠内に入るか否かを判定する。

例えば、特定色として肌色を抽出する場合に、肌色は図８に示す色空間において左上（第２象限）の範囲に存在することがわかっているため、左上の範囲に肌検出枠４００を設定し、肌色の抽出を行う。

図９（ａ）は肌色の分光特性、図９（ｂ）は赤外線反射材を含む黒色繊維の分光特性を示している。図１０は図７（ａ）のＬＥＤ光源下と図７（ｂ）の太陽光下（晴天時）の場合に、肌色座標４１０と赤外線反射材を含む黒色繊維座標４２０が図８の色差平面でどこにプロットされるかを示している。

図１０（ａ）のＬＥＤ光源下（分光特性：図７（ａ））では赤外光域の光が少ないため、肌色４１０は肌検出枠４００内にプロットされる。赤外線反射材を含む黒色繊維４２０は無彩色である色差平面中央にプロットされる。

しかし、図１０（ｂ）の太陽光下（晴天時）（分光特性：図７（ｂ））では、ＬＥＤ光源下（分光特性：図７（ａ））に対して赤外光域の光が大きいため、図１０（ａ）に対して相対的にＲ／Ｇが大きくなり、Ｂ／Ｇが小さくなる。つまり、肌色４１０が肌検出枠４００外にプロットされることがある。また、赤外線反射材を含む黒色繊維４２０が肌検出枠４００内にプロットされ、肌色と誤検知することがある。また、他の赤外線を多く反射する物質も、光源によって色差平面でプロットされる位置がずれるため、色の誤検知が発生することがある。

図１１は、上述した赤外光減算処理を行ったＲ’，Ｇ’，Ｂ’ （分光特性：図５（ｂ））にゲイン調整を行った後の色差平面において、図７（ａ）のＬＥＤ光源と図７（ｂ）の太陽光下（晴天時）の場合に肌色４１０と赤外線反射材を含む黒色繊維４２０が色空間のどこにプロットされるかを示している。

図１１（ａ）のＬＥＤ光源下（分光特性：図７（ａ））、図１１（ｂ）の太陽光下（晴天時）（分光特性：図７（ｂ））共に、肌色４１０は肌検出枠４００内にプロットされる。赤外線反射材を含む黒色繊維４２０は無彩色である色空間の中央にプロットされる。赤外光減算処理により色毎に赤外光域を減算することで、光源の赤外光の有無にかかわらず、色差平面におけるプロット位置のずれを抑制できる。これらの処理により光源判定処理、特定色検知処理などを良好に行うことができる。なお、本実施形態では、赤外光減算処理を用いて、測光演算処理、光源判定処理、特定色検知処理を行っているが、少なくとも１つの処理を行う構成であればよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：カメラ本体、１０１：カメラマイコン、１０２：撮像素子、１０６：測光センサ、１０９：焦点検出回路、３００：照明装置（ストロボ）

Claims (10)

1. 赤外光域及び可視光域に感度を有する複数の画素を有する測光センサと、
   前記測光センサを複数の画素群に分け、該複数の画素群ごとに赤外光域の画像情報と可視光域の画像情報を取得する取得手段と、
   前記複数の画素群ごとの画像情報から前記赤外光域の画像情報に基づく赤外光成分を減算した可視光成分を生成する減算手段と、
   前記減算手段により生成された前記可視光成分を用いて、光源判定処理、特定色検知処理、露光量決定処理のうちの少なくとも一つの処理を行う処理手段と、
   を備えることを特徴とする撮像装置。
2. 前記取得手段は、前記複数の画素群の画像情報の平均値を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記減算手段は、前記複数の画素群ごとの画像情報から、前記赤外光域の画像情報に所定のゲインをかけた値を差し引くことにより前記可視光成分を生成することを特徴とする請求項１または２に記載の撮像装置。
4. 前記露光量決定処理は、可視光域に感度を有する画素を有する撮影用のセンサの露光量を決定する処理であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 赤外光域及び可視光域に感度を有する複数の画素を有する測光センサを備える撮像装置を制御する方法であって、
   前記測光センサを複数の画素群に分け、該複数の画素群ごとに赤外光域の画像情報と可視光域の画像情報を取得する取得工程と、
   前記複数の画素群ごとの画像情報から前記赤外光域の画像情報に基づく赤外光成分を減算した可視光成分を生成する減算工程と、
   前記減算工程により生成された前記可視光成分を用いて、光源判定処理、特定色検知処理、露光量決定処理のうちの少なくとも一つの処理を行う処理工程と、
   を有することを特徴とする撮像装置の制御方法。
6. 前記取得工程では、前記複数の画素群の画像情報の平均値を算出することを特徴とする請求項５に記載の撮像装置の制御方法。
7. 前記減算工程では、前記複数の画素群ごとの画像情報から、前記赤外光域の画像情報に所定のゲインをかけた値を差し引くことにより前記可視光成分を生成することを特徴とする請求項５または６に記載の撮像装置の制御方法。
8. 前記露光量決定処理は、可視光域に感度を有する画素を有する撮影用のセンサの露光量を決定する処理であることを特徴とする請求項５乃至７のいずれか１項に記載の撮像装置の制御方法。
9. 請求項５乃至８のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
10. 請求項５乃至８のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images