JP2012212975A - 撮像装置および撮像装置の制御プログラム - Google Patents
撮像装置および撮像装置の制御プログラム Download PDFInfo
- Publication number
- JP2012212975A JP2012212975A JP2011076374A JP2011076374A JP2012212975A JP 2012212975 A JP2012212975 A JP 2012212975A JP 2011076374 A JP2011076374 A JP 2011076374A JP 2011076374 A JP2011076374 A JP 2011076374A JP 2012212975 A JP2012212975 A JP 2012212975A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image data
- image
- pixel
- photoelectric conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】AF情報を利用して撮影した画像データに写り込む複数の被写体のそれぞれを分離し、被写体の領域ごとにホワイトバランス調整を行う場合、AF情報から取得される被写体の距離情報が粗いので、最適な調整を行うことが困難であった。
【解決手段】撮像装置は、少なくとも2つの視差画像データを出力する撮像部と、視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出部と、輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算部とを備える。
【選択図】図19
【解決手段】撮像装置は、少なくとも2つの視差画像データを出力する撮像部と、視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出部と、輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算部とを備える。
【選択図】図19
Description
本発明は、撮像装置および撮像装置の制御プログラムに関する。
撮影時におけるAF情報を利用して撮影した画像データに写り込む複数の被写体のそれぞれを分離し、被写体の領域ごとにホワイトバランス調整を行う技術が知られている。
[先行技術文献]
[特許文献]
[特許文献1] 特開2001−28762号公報
[先行技術文献]
[特許文献]
[特許文献1] 特開2001−28762号公報
しかし、AF情報から取得される被写体の距離情報は粗く、被写体の輪郭を精確に抽出することができないので、被写体領域ごとの最適なホワイトバランス調整は困難であった。
本発明の第1の態様における撮像装置は、少なくとも2つの視差画像データを出力する撮像部と、視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出部と、輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算部とを備える。
本発明の第2の態様における撮像装置の制御プログラムは、少なくとも2つの視差画像データを出力する撮像ステップと、視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出ステップと、輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算ステップとをコンピュータに実行させる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
撮像装置の一形態である本実施形態に係るデジタルカメラは、1つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
図1は、本発明の実施形態に係るデジタルカメラ10の構成を説明する図である。デジタルカメラ10は、撮影光学系としての撮影レンズ20を備え、光軸21に沿って入射する被写体光束を撮像素子100へ導く。撮影レンズ20は、デジタルカメラ10に対して着脱できる交換式レンズであっても構わない。デジタルカメラ10は、撮像素子100、制御部201、A/D変換回路202、メモリ203、駆動部204、画像処理部205、メモリカードIF207、操作部208、表示部209、LCD駆動回路210およびAFセンサ211を備える。
なお、図示するように、撮像素子100へ向かう光軸21に平行な方向をz軸プラス方向と定め、z軸と直交する平面において紙面手前へ向かう方向をx軸プラス方向、紙面上方向をy軸プラス方向と定める。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮影レンズ20は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図1では撮影レンズ20を説明の都合上、瞳近傍に配置された仮想的な1枚のレンズで代表して表している。撮像素子100は、撮影レンズ20の焦点面近傍に配置されている。撮像素子100は、二次元的に複数の光電変換素子が配列された、例えばCCD、CMOSセンサ等のイメージセンサである。撮像素子100は、駆動部204によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してA/D変換回路202へ出力する。
A/D変換回路202は、撮像素子100が出力する画像信号をデジタル画像信号に変換してメモリ203へ出力する。画像処理部205は、メモリ203をワークスペースとして種々の画像処理を施し、画像データを生成する。特に、画像処理部205は、視差画像データ間のマッチング処理を実行して被写体像の輪郭を抽出する輪郭抽出部231、抽出された輪郭を被写体領域としてホワイトバランスの制御量を演算する制御量演算部232、演算された制御量を用いて被写体像のホワイトバランスを調整する画像調整部233を有する。それぞれの処理の詳細については、後述する。
画像処理部205は、他にも、撮像素子100の画素配列に即して、入力される画像信号から非視差画像データとしての2D画像データおよび視差画像データを生成したり、選択された画像フォーマットに従って画像データを調整する機能も担う。生成された画像データは、LCD駆動回路210により表示信号に変換され、表示部209に表示される。また、メモリカードIF207に装着されているメモリカード220に記録される。
AFセンサ211は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部208がユーザの操作を受け付けて、制御部201へ操作信号を出力することにより開始される。撮影シーケンスに付随するAF,AE等の各種動作は、制御部201に制御されて実行される。例えば、制御部201は、AFセンサ211の検出信号を解析して、撮影レンズ20の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。
次に、撮像素子100の構成について詳細に説明する。図2は、本発明の実施形態に係る撮像素子の断面を表す概略図である。図2(a)は、カラーフィルタ102と開口マスク103が別体で構成される撮像素子100の断面概略図である。また、図2(b)は、撮像素子100の変形例として、カラーフィルタ部122と開口マスク部123が一体的に構成されたスクリーンフィルタ121を備える撮像素子120の断面外略図である。
図2(a)に示すように、撮像素子100は、被写体側から順に、マイクロレンズ101、カラーフィルタ102、開口マスク103、配線層105および光電変換素子108が配列されて構成されている。光電変換素子108は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子108は、基板109の表面に二次元的に複数配列されている。
光電変換素子108により変換された画像信号、光電変換素子108を制御する制御信号等は、配線層105に設けられた配線106を介して送受信される。また、各光電変換素子108に一対一に対応して設けられた開口部104を有する開口マスク103が、配線層に接して設けられている。開口部104は、後述するように、対応する光電変換素子108ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部104を備える開口マスク103の作用により、光電変換素子108が受光する被写体光束に視差が生じる。
一方、視差を生じさせない光電変換素子108上には、開口マスク103が存在しない。別言すれば、対応する光電変換素子108に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部104を有する開口マスク103が設けられているとも言える。視差を生じさせることはないが、実質的には配線106によって形成される開口107が入射する被写体光束を規定するので、配線106を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク103は、各光電変換素子108に対応して別個独立に配列しても良いし、カラーフィルタ102の製造プロセスと同様に複数の光電変換素子108に対して一括して形成しても良い。
カラーフィルタ102は、開口マスク103上に設けられている。カラーフィルタ102は、各光電変換素子108に対して特定の波長帯域を透過させるように着色された、光電変換素子108のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも2種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには3種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。
マイクロレンズ101は、カラーフィルタ102上に設けられている。マイクロレンズ101は、入射する被写体光束のより多くを光電変換素子108へ導くための集光レンズである。マイクロレンズ101は、光電変換素子108のそれぞれに一対一に対応して設けられている。マイクロレンズ101は、撮影レンズ20の瞳中心と光電変換素子108の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子108に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク103の開口部104の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
このように、各々の光電変換素子108に対応して一対一に設けられる開口マスク103、カラーフィルタ102およびマイクロレンズ101の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク103が設けられた画素を視差画素、視差を生じさせる開口マスク103が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子100の有効画素領域が24mm×16mm程度の場合、画素数は1200万程度に及ぶ。
なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ101を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層105が光電変換素子108とは反対側に設けられる。
カラーフィルタ102と開口マスク103の組み合わせには、さまざまなバリエーションが存在する。図2(a)において、開口マスク103の開口部104に色成分を持たせれば、カラーフィルタ102と開口マスク103を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素として特化させる場合、その画素には、対応するカラーフィルタ102を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。
輝度情報を取得する画素を視差画素とする場合、つまり、視差画像をモノクロ画像として出力するのであれば、図2(b)として示す撮像素子120の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部122と、開口部104を有する開口マスク部123とが一体的に構成されたスクリーンフィルタ121を、マイクロレンズ101と配線層105の間に配設することができる。
スクリーンフィルタ121は、カラーフィルタ部122において例えば青緑赤の着色が施され、開口マスク部123において開口部104以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ121を採用する撮像素子120は、撮像素子100に比較して、マイクロレンズ101から光電変換素子108までの距離が短いので、被写体光束の集光効率が高い。
次に、開口マスク103の開口部104と、生じる視差の関係について説明する。図3は、撮像素子100の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ102の配色については後に言及を再開するまで考慮しない。カラーフィルタ102の配色に言及しない以下の説明においては、同色のカラーフィルタ102を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ102における隣接画素として考えても良い。
図3に示すように、開口マスク103の開口部104は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部104は互いに変位した位置に設けられている。
図の例においては、それぞれの画素に対する開口部104の位置として、互いに左右方向にシフトした6種類の開口マスク103が用意されている。そして、撮像素子100の全体は、紙面左側から右側へ徐々にシフトする開口マスク103をそれぞれ有する6つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子100は、一組の光電変換素子群を含む繰り返しパターン110が、周期的に敷き詰められて構成されていると言える。
図4は、視差画素と被写体の関係を説明する概念図である。特に図4(a)は撮像素子100のうち撮影光軸21と直交する中心に配列されている繰り返しパターン110tの光電変換素子群を示し、図4(b)は周辺部分に配列されている繰り返しパターン110uの光電変換素子群を模式的に示している。図4(a)、(b)における被写体30は、撮影レンズ20に対して合焦位置に存在する。図4(c)は、図4(a)に対応して、撮影レンズ20に対して非合焦位置に存在する被写体31を捉えた場合の関係を模式的に示している。
まず、撮影レンズ20が合焦状態に存在する被写体30を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ20の瞳を通過して撮像素子100へ導かれるが、被写体光束が通過する全体の断面領域に対して、6つの部分領域Pa〜Pfが規定されている。そして、例えば繰り返しパターン110t、110uを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Pfから射出された被写体光束のみが光電変換素子108へ到達するように、開口マスク103の開口部104fの位置が定められている。同様に、右端の画素に向かって、部分領域Peに対応して開口部104eの位置が、部分領域Pdに対応して開口部104dの位置が、部分領域Pcに対応して開口部104cの位置が、部分領域Pbに対応して開口部104bの位置が、部分領域Paに対応して開口部104aの位置がそれぞれ定められている。
別言すれば、例えば部分領域Pfと左端画素の相対的な位置関係によって定義される、部分領域Pfから射出される被写体光束の主光線Rfの傾きにより、開口部104fの位置が定められていると言っても良い。そして、合焦位置に存在する被写体30からの被写体光束を、開口部104fを介して光電変換素子108が受光する場合、その被写体光束は、点線で図示するように、光電変換素子108上で結像する。同様に、右端の画素に向かって、主光線Reの傾きにより開口部104eの位置が、主光線Rdの傾きにより開口部104dの位置が、主光線Rcの傾きにより開口部104cの位置が、主光線Rbの傾きにより開口部104bの位置が、主光線Raの傾きにより開口部104aの位置がそれぞれ定められていると言える。
図4(a)で示すように、合焦位置に存在する被写体30のうち、光軸21と交差する被写体30上の微小領域Otから放射される光束は、撮影レンズ20の瞳を通過して、繰り返しパターン110tを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン110tを構成する光電変換素子群の各画素は、それぞれ6つの部分領域Pa〜Pfを介して、一つの微小領域Otから放射される光束を受光している。微小領域Otは、繰り返しパターン110tを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図4(b)で示すように、合焦位置に存在する被写体30のうち、光軸21から離間した被写体30上の微小領域Ouから放射される光束は、撮影レンズ20の瞳を通過して、繰り返しパターン110uを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン110uを構成する光電変換素子群の各画素は、それぞれ6つの部分領域Pa〜Pfを介して、一つの微小領域Ouから放射される光束を受光している。微小領域Ouも、微小領域Otと同様に、繰り返しパターン110uを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
つまり、被写体30が合焦位置に存在する限りは、撮像素子100上における繰り返しパターン110の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン110において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン110t、110uのそれぞれの左端の画素は、同じ部分領域Pfからの被写体光束を受光している。
撮影光軸21と直交する中心に配列されている繰り返しパターン110tにおいて左端画素が部分領域Pfからの被写体光束を受光する開口部104fの位置と、周辺部分に配列されている繰り返しパターン110uにおいて左端画素が部分領域Pfからの被写体光束を受光する開口部104fの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Pfからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図4の例では、撮像素子100上に配列される視差画素のそれぞれは、6種類の開口マスクの一つを備えると言える。
次に、撮影レンズ20が非合焦状態に存在する被写体31を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体31からの被写体光束は、撮影レンズ20の瞳の6つの部分領域Pa〜Pfを通過して、撮像素子100へ到達する。ただし、非合焦位置に存在する被写体31からの被写体光束は、光電変換素子108上ではなく他の位置で結像する。例えば、図4(c)に示すように、被写体31が被写体30よりも撮像素子100に対して遠い位置に存在すると、被写体光束は、光電変換素子108よりも被写体31側で結像する。逆に、被写体31が被写体30よりも撮像素子100に対して近い位置に存在すると、被写体光束は、光電変換素子108よりも被写体31とは反対側で結像する。
したがって、非合焦位置に存在する被写体31のうち、微小領域Ot'から放射される被写体光束は、6つの部分領域Pa〜Pfのいずれを通過するかにより、異なる組の繰り返しパターン110における対応画素に到達する。例えば、部分領域Pdを通過した被写体光束は、図4(c)の拡大図に示すように、主光線Rd'として、繰り返しパターン110t'に含まれる、開口部104dを有する光電変換素子108へ入射する。そして、微小領域Ot'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン110t'に含まれる光電変換素子108へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子108へ入射する。換言すると、繰り返しパターン110t'を構成する各光電変換素子108へ到達する被写体光束は、被写体31の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部104dに対応する108へは主光線をRd'とする被写体光束が入射し、他の開口部に対応する光電変換素子108へは主光線をRa+、Rb+、Rc+、Re+、Rf+とする被写体光束が入射するが、これらの被写体光束は、被写体31の互いに異なる微小領域から放射された被写体光束である。このような関係は、図4(b)における周辺部分に配列されている繰り返しパターン110uにおいても同様である。
すると、撮像素子100の全体で見た場合、例えば、開口部104aに対応する光電変換素子108で捉えた被写体像Aと、開口部104dに対応する光電変換素子108で捉えた被写体像Dは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Paと部分領域Pdの距離により、方向と量が定まる。つまり、被写体像Aと被写体像Dは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部104aから104fに対応して、6つの視差像が形成されることになる。
したがって、このように構成されたそれぞれの繰り返しパターン110において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、6つの部分領域Pa〜Pfうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
図5は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部104fに対応する視差画素の出力を集めて生成される視差画像データIm_fの生成の様子、開口部104eの出力による視差画像データIm_eの生成の様子、開口部104dの出力による視差画像データIm_dの生成の様子、開口部104cの出力による視差画像データIm_cの生成の様子、開口部104bの出力による視差画像データIm_bの生成の様子、開口部104aの出力による視差画像データIm_aの生成の様子を表す。まず開口部104fの出力による視差画像データIm_fの生成の様子について説明する。
6つの視差画素を一組とする光電変換素子群から成る繰り返しパターン110は、横一列に配列されている。したがって、開口部104fを有する視差画素は、撮像素子100上において、左右方向に6画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
しかし、本実施形態における撮像素子100の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が1/6に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に6倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データIm_fを生成する。ただし、そもそも補間処理前の視差画像データが横方向に1/6に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
同様にして、視差画像データIm_e〜視差画像データIm_aが得られる。すなわち、デジタルカメラ10は、横方向に視差を有する6視点の視差画像を生成することができる。
上記の例では、横一列を繰り返しパターン110として周期的に配列される例を説明したが、繰り返しパターン110はこれに限らない。図6は、繰り返しパターン110の他の例を示す図である。
図6(a)は、縦6画素を繰り返しパターン110とした例である。ただし、それぞれの開口部104は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン110によっても、横方向に視差を与える6視点の視差画像を生成することができる。この場合は、図3の繰り返しパターン110に比較すると、縦方向の解像度を犠牲にする代わりに横方向の解像度を維持する繰り返しパターンであると言える。
図6(b)は、斜め方向に隣接する6画素を繰り返しパターン110とした例である。それぞれの開口部104は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン110によっても、横方向に視差を与える6視点の視差画像を生成することができる。この場合は、図3の繰り返しパターン110に比較すると、縦方向の解像度および横方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。
図3の繰り返しパターン110、および図6(a)(b)の繰り返しパターン110をそれぞれ比較すると、いずれも6視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、縦方向、横方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図3の繰り返しパターン110の場合は、横方向の解像度を1/6とする構成である。図6(a)の繰り返しパターン110の場合は、縦方向の解像度を1/6とする構成である。また、図6(b)の繰り返しパターン110の場合は、縦方向を1/3、横方向を1/2とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部104a〜104fが一つずつ設けられており、それぞれが対応する部分領域Pa〜Pfのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン110であっても視差量は同等である。
上述の例では、左右方向に視差を与える視差画像を生成する場合について説明したが、もちろん上下方向に視差を与える視差画像を生成することもできるし、上下左右の二次元方向に視差を与える視差画像を生成することもできる。図7は、二次元的な繰り返しパターン110の例を示す図である。
図7の例によれば、縦6画素横6画素の36画素を一組の光電変換素子群として繰り返しパターン110を形成する。それぞれの画素に対する開口部104の位置として、互いに上下左右方向にシフトした36種類の開口マスク103が用意されている。具体的には、各開口部104は、繰り返しパターン110の上端画素から下端画素に向かって、上側から下側へ徐々にシフトすると同時に、左端画素から右端画素に向かって、左側から右側へ徐々にシフトするように位置決めされている。
このような繰り返しパターン110を有する撮像素子100は、上下方向および左右方向に視差を与える、36視点の視差画像を出力することができる。もちろん図7の例に限らず、さまざまな視点数の視差画像を出力するように繰り返しパターン110を定めることができる。
以上の説明においては、開口部104の形状として矩形を採用した。特に、横方向に視差を与える配列においては、シフトさせる方向である左右方向の幅よりも、シフトさせない上下方向の幅を広くすることにより、光電変換素子108へ導く光量を確保している。しかし、開口部104の形状は矩形に限定されない。
図8は、開口部104の他の形状を説明する図である。図においては、開口部104の形状を円形とした。円形とした場合、半球形状であるマイクロレンズ101との相対的な関係から、予定外の被写体光束が迷光となって光電変換素子108へ入射することを防ぐことができる。
次に、カラーフィルタ102と視差画像について説明する。図9は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の2画素に、赤フィルタが左下の1画素に、青フィルタが右上の1画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をGb画素と、同じく緑色フィルタが割り当てられた右下の画素をGr画素とする。また、赤色フィルタが割り当てられた画素をR画素と、青色が割り当てられた画素をB画素とする。そして、Gb画素およびB画素が並ぶ横方向をGb行とし、R画素およびGr画素が並ぶ横方向をGr行とする。また、Gb画素およびR画素が並ぶ縦方向をGb列とし、B画素およびGr画素が並ぶ縦方向をGr列とする。
このようなカラーフィルタ102の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン110が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い2D画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる3D画像としては画質が低下する。逆に、視差画素の割合を増やせば、3D画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い2D画像が出力される。
このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン110が設定される。図10は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が2つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部104が中心よりも左側に偏心した視差L画素と、同じく右側に偏心した視差R画素を想定している。つまり、このような視差画素から出力される2視点の視差画像は、いわゆる立体視を実現する。
それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の2D画像データとなり、RGBのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の2D画像データとなる。視差画素の出力も利用して2D画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のR画素が視差画素であったとしても2D画像を生成することはできるものの、その画質は自ずと低下する。
一方、視差画素が多く割り振られていれば高解像度の3D画像データとなり、RGBのいずれの画素に対しても均等に割り振られていれば、3D画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して3D画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のR画素が視差なし画素であったとしてもカラーの3D画像を生成することはできるものの、やはりその品質は低下する。
以下にいくつかのバリエーションについて説明する。図11は、バリエーションの一例を示す図である。図11のバリエーションは、図10における繰り返しパターン分類A−1に相当する。
図の例においては、ベイヤー配列と同じ4画素を繰り返しパターン110とする。R画素とB画素は視差なし画素であり、Gb画素を視差L画素に、Gr画素を視差R画素に割り当てる。この場合、同一の繰り返しパターン110に含まれる視差L画素と視差R画素は、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部104が定められる。
図の例においては、視感度の高い緑画素であるGb画素およびGr画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるGb画素およびGr画素を視差画素として用いるので、これら2つの出力から視差のない出力に変換演算がし易く、視差なし画素であるR画素およびB画素の出力と共に、高画質の2D画像データを生成できる。
図12は、他のバリエーションの一例を示す図である。図12のバリエーションは、図10における繰り返しパターン分類B−1に相当する。
図の例においては、ベイヤー配列の4画素が左右に2組続く8画素を繰り返しパターン110とする。8画素のうち、左側のGb画素に視差L画素を、右側のGb画素に視差R画素を割り当てる。このような配列においては、Gr画素を視差なし画素としたことにより、図10の例よりも、更に2D画像の高画質化が望める。
図13は、更に他のバリエーションの一例を示す図である。図13のバリエーションは、図10における繰り返しパターン分類D−1に相当する。
図の例においては、ベイヤー配列の4画素が左右に2組続く8画素を繰り返しパターン110とする。8画素のうち、左側のGb画素に視差L画素を、右側のGb画素に視差R画素を割り当てる。さらに、左側のR画素に視差L画素を、右側のR画素に視差R画素を割り当てる。さらに、左側のB画素に視差L画素を、右側のB画素に視差R画素を割り当てる。2つのGr画素には視差なし画素を割り当てる。
2つのGb画素に割り当てられた視差L画素と視差R画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、2つのR画素に割り当てられた視差L画素と視差R画素は、Gb画素のそれとは異なる一つの微小領域から放射される光束を受光し、2つのB画素に割り当てられた視差L画素と視差R画素は、Gb画素およびR画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図12の例に比較して、3D画像としての解像度が縦方向に3倍となる。しかも、RGBの3色の出力が得られるので、カラー画像としての3D画像として高品質である。
なお、上述のように視差画素の種類を2つにすれば2視点の視差画像が得られるが、もちろん視差画素の種類は、出力したい視差画像数に合わせて、図3、図7、図8などで説明したような様々な数を採用し得る。視点数が増えていっても、さまざまな繰り返しパターン110を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン110を選択することができる。
上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。図3等を用いて説明したように、カラーフィルタ配列を構成するある1色に着目して寄せ集めた場合に、隣接する複数の画素を一組の光電変換素子群とする繰り返しパターンを形成し、視差画像を出力するように視差画素が割り当てられていれば良い。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部104を有する開口マスク103を備えると良い。
したがって、撮像素子100は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子108と、光電変換素子108の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク103と、光電変換素子108の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ102とを備え、隣接するn個(nは3以上の整数)の光電変換素子108のうち、少なくとも2つ(3つ以上であっても良い)に対応して設けられたそれぞれの開口マスク103の開口部104は、互いに異なる波長帯域を透過させる少なくとも2種類(好ましくは3種類)のカラーフィルタ102から構成されるカラーフィルターパターンの一パターン内に含まれると共に、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、n個の光電変換素子108を一組とする光電変換素子群が周期的に配列されていれば良い。
図14は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図9で示したベイヤー配列のGr画素を緑フィルタが割り当てられるG画素として維持する一方、Gb画素をカラーフィルタが割り当てられないW画素に変更した配列である。なお、W画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。
このようなW画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、W画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。W画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。
W画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン110は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してW画素から出力された画像であれば、被写体像のコントラストが高い。そこで、W画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。後述するように、マッチング処理は、画像データに写り込む被写体像の距離情報を取得する処理の一環として実行される。したがって、2D画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン110が設定される。
図15は、図14の他のカラーフィルタ配列を採用する場合の、W画素と視差画素の配列の一例を示す図である。図15のバリエーションは、ベイヤー配列における図12の繰り返しパターン分類B−1に類似するので、ここではB'−1とする。図の例においては、他のカラーフィルタ配列の4画素が左右に2組続く8画素を繰り返しパターン110とする。8画素のうち、左側のW画素に視差L画素を、右側のW画素に視差R画素を割り当てる。このような配列において撮像素子100は、視差画像をモノクロ画像として出力し、2D画像をカラー画像として出力する。
この場合、撮像素子100は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子108と、光電変換素子108の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク103と、光電変換素子108の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ102とを有し、隣接するn個(nは4以上の整数)の光電変換素子108のうち、少なくとも2つに対応して設けられたそれぞれの開口マスク103の開口部104は、互いに異なる波長帯域を透過させる少なくとも2種類(好ましくは3種類)のカラーフィルタ102から構成されるカラーフィルターパターンの一パターン内には含まれず、かつ、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、n個の光電変換素子108を一組とする光電変換素子群が周期的に配列されていれば良い。
ここで、モノクロ画像としての視差画像の生成と、カラー画像としての2D画像の生成について説明する。
図16は、視差画像と2D画像の生成過程を示す概念図である。図示するように、視差L画素の出力が、撮像素子100上の相対的な位置関係を維持しながら寄せ集められて、L画像データが生成される。一つの繰り返しパターン110に含まれる視差L画素は一つであるので、L画像データを形成する各視差L画素は、それぞれ異なる繰り返しパターン110から寄せ集められていると言える。すなわち、寄せ集められたそれぞれの視差L画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、L画像データは、特定の視点(L視点)から被写体を捉えた一つの視差画像データとなる。そして、視差L画素は、W画素に割り振られているので、L画像データは、カラー情報を持たず、モノクロ画像として生成される。
同様に、視差R画素の出力が、撮像素子100上の相対的な位置関係を維持しながら寄せ集められて、R画像データが生成される。寄せ集められたそれぞれの視差R画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、R画像データは、特定の視点(R視点)から被写体を捉えた一つの視差画像データとなる。そして、視差R画素は、W画素に割り振られているので、R画像データは、カラー情報を持たず、モノクロ画像として生成される。
被写体が合焦位置に存在するときに、一つの繰り返しパターン110において、L画素とR画素は、被写体の同一の微小領域から放射される光束を受光する。また、被写体が非合焦位置に存在するときに、一つの繰り返しパターン110において、L画素とR画素は、被写体の互いにずれた微小領域から放射される光束を受光する。そのずれは、被写体位置の合焦位置に対する相対関係と瞳の部分領域の関係とから、方向と量が定まる。したがって、L画像データとR画像データのそれぞれにおいて、視差L画素と視差R画素が撮像素子100上の相対的な位置関係を維持しながら寄せ集められていれば、それぞれが視差画像を形成する。
また、視差なし画素の出力が、撮像素子100上の相対的な位置関係を維持しながら寄せ集められて、2D画像データが生成される。このとき、W画素は視差画素であるので、視差なし画素のみで構成されるベイヤー配列からの出力に対して、Gb画素の出力に相当する出力が欠落する。そこで、本実施形態においては、この欠落した出力の値として、G画素の出力値を代入する。つまり、G画素の出力で補間処理を行う。このように、補間処理を施せば、ベイヤー配列の出力に対する画像処理を採用して2D画像データを生成することができる。
なお、以上の画像処理は、画像処理部205によって実行される。画像処理部205は、制御部201を介して撮像素子100から出力される画像信号を受け取り、上述のようにそれぞれの画素の出力ごとに分配してL画像データ、R画像データおよび2D画像データを生成する。
次に、図16で説明したL画像データ、R画像データおよび2D画像データを用いて、よりシーンに適したホワイトバランスを施す処理について説明する。図16の例によって出力される画像データは、L画像データおよびR画像データがモノクロ画像データであり、2D画像データがカラー画像データである。そこで、以下の処理においては、L画像データおよびR画像データを利用して、各被写体までの距離情報を算出してそれぞれの被写体の輪郭を定め、この輪郭を2D画像に当てはめて、輪郭に囲まれた領域ごとにホワイトバランス調整に用いるWB制御量を算出する。そして、算出されたWB制御量を用いて2D画像のホワイトバランス調整を実行する。以下に、処理の具体的な例について説明する。
図17は、光学ファインダから観察される被写体像および測距領域を示す図である。ここではシーンの例として、手前から順に少女301、少年302および女性303が存在する場合を説明する。
AFセンサ211は、被写体空間に対して二次元的かつ離散的に配置される複数の測距点460を有する。図の例の場合、11点の測距点460が、全体として略菱形形状に離散的に配置されている。AFセンサ211は、それぞれの測距点460に対応するデフォーカス量を独立に出力することができる。
制御部201は、例えば近点優先等のアルゴリズムにより選択された合焦測距点461のデフォーカス量を検出して、合焦に至るフォーカスレンズの移動量および移動方向を決定する。さらに制御部201は、これらの情報に従ってフォーカスレンズを移動させる。フォーカスレンズの移動が完了すると、制御部201は、AFセンサ211により合焦測距点461のデフォーカス量を再度検出して、合焦測距点461に対応するオブジェクトにピントが合ったことを確認する。
制御部201は、ピントが合ったことを確認できたら、スーパーインポーズ表示等により合焦測距点461を明滅させ、合焦動作完了をユーザに告知する。また、制御部201は、合焦測距点461のデフォーカス量を再度検出すると同時に、他の測距点460のデフォーカス量も検出する。
図18は、デジタルカメラ10と各被写体との距離を示す概念図である。制御部201は、それぞれの測距点460におけるデフォーカス量から、被写体までの距離を算出できる。具体的には、レンズ情報として、フォーカスレンズ位置と合焦被写体距離の対応テーブルを取得し、現在のフォーカスレンズ位置を入力することにより、合焦被写体までの距離を得る。この距離は少女301までの距離DAに相当する。オートフォーカスにおいては、あるデフォーカス量に対して、合焦位置までフォーカスレンズをどれだけ移動させればよいかの移動量変換関数を利用している。そこで、ここでもこの移動量関数を利用して、非合焦測距点におけるデフォーカス量から、フォーカスレンズの移動量を算出する。そして、現在のフォーカスレンズ位置に算出した移動量を加算した値を対応テーブルに入力することにより、距離DBおよび距離DCを得る。本実施形態においては、絶対距離を用いる場合に、このようにAFセンサ211の出力であるデフォーカス情報から算出された距離情報を参照する。
本実施形態においては、奥行き方向の距離に従って区分された区分帯によりそれぞれの被写体の輪郭を定める。例えば、図示するように、デジタルカメラ10から予め定められた距離までの区分帯をレンジAとし、レンジAに続く区分帯をレンジB,レンジBに続く区分帯をレンジC、レンジCから無限遠までの区分をレンジDというように、距離を区分する。区分帯の区分幅は、装着される撮影レンズ20の焦点距離等に応じて、適宜変更されても良い。なおここでは、少女301がレンジAに属し、少年302がレンジBに属し、女性303がレンジCに属するものと規定して以下の説明を続ける。
図19は、マッチング処理から被写体領域の確定までの過程を示す概念図である。上述のように撮像素子100の出力信号から生成された視差画像データであるL画像データとR画像データは、まず、画像処理部205の輪郭抽出部231によって、マッチング処理が施される。
輪郭抽出部231は、対象画素481に対して局所ウィンドウ482を定め、2画像間でマッチング処理を行い、対象画素481における視差量を決定する。具体的には、輪郭抽出部231は、L画像上の局所ウィンドウ482に対応してR画像上に局所ウィンドウ484を設定して、局所ウィンドウ484を局所ウィンドウ482に対して相対的にずらしながら互いにマッチングの良い画像領域を探索する。そして、マッチングが良いと判断される局所ウィンドウ484の位置を定め、その中心座標である探索画素483の座標値を算出する。視差量は、対象画素481の座標値と探索画素483の座標値の差として決定される。つまり、輪郭抽出部231は、被写体の同一点を捉えている対象画素481と探索画素483が、互いに何ピクセルずれているかを視差量として決定する。
対象画素481が合焦領域に含まれる場合は、視差量が0となる。また、対象画素481が合焦領域に対して奥行き方向に遠い被写体の領域に含まれる場合は、視差量が大きくなる。つまり、ピクセル単位で決定される視差量は、被写体の奥行き方向の距離と比例関係にある。また、レンズ情報および合焦被写体の絶対距離から、単位ピクセルあたりの奥行き方向の距離が算出される。したがって、輪郭抽出部231は、算出した単位ピクセルあたりの距離に決定した視差量を乗じて合焦被写体の絶対距離を加算することにより、対象画素481における奥行き方向の距離を決定することができる。このようにして、輪郭抽出部231は、L画像およびR画像に対する奥行き情報を取得することができる。
輪郭抽出部231は、L画像上の局所ウィンドウ482に対して、2D画像上にも局所ウィンドウ486を定め、2画像間でマッチング処理を行う。具体的には、輪郭抽出部231は、L画像上の局所ウィンドウ482に対応して2D画像上に局所ウィンドウ486を設定して、局所ウィンドウ486を局所ウィンドウ482に対して相対的にずらしながら互いにマッチングの良い画像領域を探索する。このとき、図16を用いて説明したように、L画像のサイズと2D画像のサイズは異なるので、画像サイズの違いに合わせて互いのウィンドウサイズも異ならせる。
そして、輪郭抽出部231は、マッチングが良いと判断される局所ウィンドウ486の位置を定め、その中心座標である探索画素485の座標値を算出する。そして、輪郭抽出部231は、L画像とR画像のマッチング処理により決定された対象画素481の奥行き方向の距離を、探索画素485の奥行き方向の距離として定める。
輪郭抽出部231は、L画像上において対象画素481を左上から右下まで順次走査しながら上記のマッチング処理を逐次実行して、L画像、R画像および2D画像のそれぞれの画素における奥行き方向の距離を算出する。なお、本実施形態においては、2D画像のサイズはL画像のサイズよりも大きいので、2D画像上におけるすべての画素が探索画素485には成り得ない。この場合、探索画素485と成らなかった他の画素については、近傍の探索画素485を参照して、奥行き方向の距離が算出される。
輪郭抽出部231は、以上の処理により、2D画像の各画素に対する奥行き情報を取得する。つまり、2D画像の各画素に対する距離マップである、いわゆるデプスマップを完成させる。そして、輪郭抽出部231はさらに、各画素の距離が如何なる区分帯に属するかにより、各画素をグループ化する。具体的には、レンジAに含まれる画素、レンジBに含まれる画素、レンジCに含まれる画素、レンジDに含まれる画素でグループ化する。ここでは、各被写体である少女301、少年302および女性303はそれぞれレンジA、レンジBおよびレンジCに含まれるので、輪郭抽出部231がグループごとに輪郭を抽出すると、それぞれの輪郭は、図19の下図のように表される。輪郭抽出部231は、このように輪郭で囲まれたそれぞれの領域を、被写体像の輪郭を規定する領域として確定する。なお、ここでは各区分帯に対応して、4つの領域A〜領域Dを確定する。
本実施形態においては、画像処理部205の制御量演算部232が、以上のように確定した領域ごとにホワイトバランス調整に用いるWB制御量を算出する。ここで、WB制御量の算出について説明する。
一般的に基準となる色温度は、画像中の白領域について、色差信号R−Y、B−Yと輝度信号Yを用いた、(R−Y)/Y、(B−Y)/Yの平均値の演算結果から推定される。ホワイトバランス調整とは、これらの色差信号が0になるように補正することである。ここで、輝度信号Yは、ベイヤー配列の場合、Y=(R+Gr+Gb+B)/4で与えられる。図16の例による他のカラーフィルタ配列の場合であれば、Y=(R+2G+B)/4で与えられる。なお、それぞれの4つの画素の単位を画素ブロックとする。
図20は、(R−Y)、(B−Y)座標上における白抽出領域502を示す図である。制御量演算部232は、対象となる画像領域ごとに、図の白抽出領域502に入る画素ブロックの数、各色の出力値の積分値を算出する。なお、白抽出領域502は、黒体輻射カーブ501に対して予め定められた幅を有する領域として規定される。
本実施形態においては、輪郭抽出部231が抽出した輪郭に囲まれた領域ごとにWB制御量を算出するが、制御量演算部232は、ある領域において白抽出領域に含まれる画素ブロック数Nが予め設定されたブロック数N0以下であると算出したら、その領域を、WB制御量の算出ができない小さすぎる被写体領域であると判断する。予め設定されるブロック数N0としては、例えば、画像全体のブロック数に対する割合として規定される。制御量演算部232により小さすぎる被写体領域が存在すると判断されたら、輪郭抽出部231は、その領域を区分帯が隣り合う領域に併合して、輪郭を修正する。
制御量演算部232は、領域KのWB制御量として(ΔRK,ΔBK)を算出する。具体的には、領域Kにおいて、ΔRK=Σ(R−Y)/N、ΔBK=Σ(B−Y)/Nのように算出する。
制御量演算部232が算出したWB制御量(ΔRK,ΔBK)を用いて、画像調整部233は、2D画像データにホワイトバランス調整を施す。具体的には、画像調整部233は、領域Kに含まれる各R画素、B画素の値を補正することによりホワイトバラスを調整する。例えば、R'=R−γΔRK、B'=B−γΔBKのように補正値が算出される。ここで、γは補正係数であり、通常は1が採用されるが、ゲイン補正のフィードバックが効きすぎるときに1以下の小数値を採用する。
このように、奥行き情報に従って区分された領域ごとにホワイトバランス調整を実行すれば、被写体の特徴を適切に表現する色味を実現することが期待できる。特に奥行き方向に沿って各々の被写体の照射環境が変化するようなシーンでは有効である。例えば、図17の例のシーンにおいて、フラッシュを照射する場合、デジタルカメラ10から近い距離に存在する少女301の領域Aにおいては、フラッシュ光の色温度がホワイトバランス調整に大きな影響を与える。一方で、フラッシュ光が減衰する距離である少年302、女性303の領域B、Cにおいては、例えば街路灯である白熱球の色温度がホワイトバランス調整に大きな影響を与える。さらには、背景領域である領域Dにおいては、例えば夕方の太陽光の色温度がホワイトバランス調整に大きな影響を与える。このようなシーンであっても、領域ごとにホワイトバランス調整を行えば、全体としてより調和の取れた2D画像データを生成することができる。
なお、図17のシーンにおいては、それぞれの被写体が別個の区分帯に属するものとして説明したが、ある被写体が奥行き方向に分散するシーンも多く想定される。つまり、ひとつの纏まった被写体が、複数の区分帯に跨がる場合がある。特に設定する区分帯数を少なくする場合、広い画角を有する撮影レンズを使用する場合等において、区分帯を跨ぐ被写体に対するホワイトバランス調整に考慮が必要となる。すなわち、上述のように領域ごとにWB制御量を算出してホワイトバランス調整を実行すると、同一被写体でありながら位置によって異なるWB制御量が適用され、不自然な色味となる場合がある。そこで、被写体が奥行き方向に分散するシーンに対しては、以下に説明するようにホワイトバランス調整を実行する。
図21は、被写体が奥行き方向に分散するシーンの説明図である。図示するように、このシーンでは、デジタルカメラ10に近い側から順に、バス601、樹木602、山603が存在する。デジタルカメラ10において奥行き方向に区分される区分帯は、図のように、デジタルカメラ10に近い側から順に、レンジA,レンジB、レンジCおよびレンジDである。そして、奥行き方向に分散する樹木602は、レンジCとレンジDに跨いで存在する。
このようなシーンを撮影して生成される2D画像では、図22で示すように、輪郭抽出部231により、それぞれおよそ点線の輪郭が抽出され、領域B〜領域Dが規定される。ここで、領域Dは、2つの被写体である樹木602と山603を含む。
上述の手法により、制御量演算部232は、領域Bに含まれる画素の色情報を用いて、領域BにおけるWB制御量Wbを算出する。領域Bにおいては、バス601の色がWB制御量Wbに対して支配的に影響を与える。同様に、制御量演算部232は、領域Cに含まれる画素の色情報を用いて、領域CにおけるWB制御量Wcを算出する。領域Cにおいては、樹木602の色がWB制御量Wcに対して支配的に影響を与える。さらに、制御量演算部232は、領域Dに含まれる色情報を用いて、領域DにおけるWB制御量Wdを算出する。領域Dには樹木602と山603の像がそれぞれ含まれ、両者の色が共にWB制御量Wdに影響を与える。
図19を用いて説明したように、領域に含まれる画素のホワイトバランス調整を、その領域において算出されたWB制御量で行うと、領域Cと領域Dの境界で色味の違いが目立つことになる。つまり、同じ被写体としての樹木602でありながら、領域CではWB制御量Wcが適用され、領域DではWB制御量Wdが適用されるので、境界部分の色味の違いが観察者に違和感を与えることになる。
そこで、このような一つの領域に複数の被写体が含まれる場合には、画素ごとにWB制御量を算出して適用すると良い。以下に具体的な処理について説明する。
上述のように、区分帯は奥行き方向の距離によって区分されている。その区分帯には、例えばその区分の中央値をレンジ代表距離として定義することができる。したがって、それぞれ、領域Bにはレンジ代表距離Dbが、領域Cにはレンジ代表距離Dcが、領域Dにはレンジ代表距離Ddが定義される。
また、上述のように、輪郭抽出部231は、各画素に対して距離を算出している。そこで、制御量演算部232は、各画素に適用するWB制御量を、画素の距離を利用して算出する。具体的には、対象となる画素Pの距離をDpとし、DpがDcとDdの間に存在する場合、その内分比に従ってWcとWdを内分した値を画素PにおけるWB制御量Wpとして算出する。つまり、Wp={(Wd−Wc)/(Dd−Dc)}・Dp+(Dd・Wc−Dc・Wd)/(Dd−Dc)で算出される。
このようにして、制御量演算部232が、全ての画素に対して各々WB制御量を算出する。そして、画像調整部233が、その値を利用して各画素に対してホワイトバランス調整を実行する。すると、領域の境界で不連続となるWB制御量が算出されないので、観察者に違和感を与えない、滑らかで自然な色味を提供することができる。
図23は、画像の取得からホワイトバランス調整完了までの処理フローを示す図である。フローは、例えば露光動作を終え撮像素子100が画像信号を出力する時点から開始する。
ステップS101において、画像処理部205は、L画像データ、R画像データおよび2D画像データを取得する。なお、画像処理部205は、これらの画像データを取得するにあたり、撮像素子100から出力される画像信号を受け取って画素の出力ごとに3つの画像データに分配して生成することにより取得しても良いし、メモリカード220に記録されているこれらの画像を読み出すことにより取得しても良い。
ステップS102へ進み、画像処理部205の輪郭抽出部231は、上述のように、L画像の対象画素に対するR画像とのマッチング処理を実行し、奥行き量(距離)を決定する。さらに、ステップS103で、輪郭抽出部231は、L画像の対象画素に対応する対応画素を探索し、探索された画素にステップS102で決定した奥行き量を対応付ける。
ステップS104へ進み、輪郭抽出部231は、2D画像データの全ての画素に対して奥行き量の関連付けが完了したか、つまりデプスマップが完成したか否かを判断する。未処理の画素があればステップS102へ戻る。
輪郭抽出部231は、ステップS104で、デプスマップが完成していると判断した場合はステップS105へ進み、奥行き方向の区分帯に従って輪郭を生成し、生成された輪郭で囲まれた領域を決定する。
ステップS106へ進み、制御量演算部232は、領域GiがWB制御量を算出できるだけの画素数を含むか否かを判断する。含まないと判断されると、ステップS107へ進み、輪郭抽出部231は、当該領域を隣接する領域と併合し、領域の修正を実行して、再びステップS106へ戻す。
ステップS106で、制御量演算部232は、領域GiがWB制御量を算出できるだけの画素数を含むと判断すると、領域Giに対するWB制御量を算出して、画像調整部233へ引き渡す。
ステップS108で、画像調整部233は、領域Giの各画素に対するホワイトバランス調整を実行する。なお、ある被写体が他の領域と領域Giに跨っていると判断される場合には、図22を用いて説明したように、画像調整部233は、各画素に対するWB制御量を算出してホワイトバランス調整を実行しても良い。
ステップS109へ進み、画像調整部233は、全ての領域においてホワイトバランス調整が完了したか否かを判断する。完了していないと判断した場合は、ステップS106へ進み、完了したと判断した場合は、一連のホワイトバランス調整処理を終了する。
以上説明したマッチング処理においては、対応画素を画素単位で探索した。しかし、1画素未満の小数値でマッチング度合いが最大となる場合もあり得る。そのような場合においては、隣接する画素との比例配分等により補間処理を実行して、奥行き情報等を決定しても良い。
以上の本実施形態におけるホワイトバランス調整処理では、モノクロ画像データであるL画像データ、R画像データおよびカラー画像データである2D画像データの組み合わせの例により説明した。しかし、撮像素子100の繰り返しパターン110に対するバリエーションは、上述のように膨大であり、画像処理部205は、それぞれにおいて出力される画像データを用いて、上述のホワイトバランス調整処理を応用し得る。例えば、色情報が欠落する非視差画像データとしての2D画像データに、視差画像データから色情報を補間した後に、ホワイトバランス調整を実行することができる。
また、視差画像データはL画像データおよびR画像データに限らず、更に多数の視差画像データを利用することもできる。例えば、複数の視差画像データを利用することにより、奥行き情報の精度を高めることができる。
さらに、ホワイトバランス調整を行う対象画像データは、2D画像データに限らない。視差画像をカラー画像として表示する場合、視差画像データに対しても、上述のように奥行き情報を利用したホワイトバランス調整を施せば良い。
以上説明した本実施形態においては、開口マスク103を備える撮像素子100が出力した視差画像データと2D画像データを用いてホワイトバランス調整を説明した。しかし、上述のホワイトバランス調整が適用される視差画像データと2D画像データは、撮像素子100によって出力された画像データに限らない。対応する視差画像データと2D画像データであれば、如何なる撮像素子、撮像装置によって出力された画像データであっても構わない。例えば、対となる視差画像データと2D画像データは、一度の露光により共に出力される場合に限らず、視差画像データと2D画像データが連続的に出力される場合であっても良い。
また、上述の実施形態においては、AF情報を利用して奥行き情報を絶対距離に換算して処理を実行した。しかし、視差画像データにおけるそれぞれの被写体像間のずれ量は、相対的な距離差に比例するので、画像処理部205は、絶対距離を用いなくても距離に応じたホワイトバランス調整を行うことができる。
また、上述の実施形態によれば、各画素が距離情報を有するので、換言すればデプスマップを生成するので、ホワイトバランス調整において、距離情報を加味した視覚効果を付与することもできる。例えば、画像調整部233は、遠方に向かうほど青味が増すように、制御量WbのうちBの値の算出にオフセット量を加えることができる。もちろん、オフセット量は、距離に応じて増減させても良い。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 デジタルカメラ、20 撮影レンズ、21 光軸、30、31 被写体、100 撮像素子、101 マイクロレンズ、102 カラーフィルタ、103 開口マスク、104 開口部、105 配線層、106 配線、107 開口、108 光電変換素子、109 基板、110 繰り返しパターン、120 撮像素子、121 スクリーンフィルタ、122 カラーフィルタ部、123 開口マスク部、201 制御部、202 A/D変換回路、203 メモリ、204 駆動部、205 画像処理部、207 メモリカードIF、208 操作部、209 表示部、210 LCD駆動回路、211 AFセンサ、220 メモリカード、231 輪郭抽出部、232 制御量演算部、233 画像調整部、301 少女、302 少年、303 女性、460 測距点、461 合焦測距点、481 対象画素、482、484、486 局所ウィンドウ、483、485 探索画素、501 黒体輻射カーブ、502 白抽出領域、601 バス、602 樹木、603 山
Claims (12)
- 少なくとも2つの視差画像データを出力する撮像部と、
前記視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出部と、
前記輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算部と、
を備える撮像装置。 - 前記制御量に基づいて撮影画像データにホワイトバランス調整を実行する画像調整部を備える請求項1に記載の撮像装置。
- 前記撮影画像データは、前記視差画像データを含む請求項2に記載の撮像装置。
- 前記撮影画像データは、前記撮像部に対する一度の露光により前記視差画像データと共に出力される非視差画像データを含む請求項2または3に記載の撮像装置。
- 前記撮像部は、
入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスクと、
前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタと
を備え、
隣接するn個(nは3以上の整数)の前記光電変換素子のうち、少なくとも2つに対応して設けられたそれぞれの前記開口マスクの開口は、互いに異なる波長帯域を透過させる少なくとも2種類の前記カラーフィルタから構成されるカラーフィルターパターンの一パターン内に含まれると共に、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記n個の前記光電変換素子を一組とする光電変換素子群が周期的に配列されている撮像素子を有し、
前記撮像部は、前記開口マスクが設けられた前記光電変換素子の出力信号に基づいて前記視差画像データを出力する請求項2から4のいずれか1項に記載の撮像装置。 - 前記撮像部は、
入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスクと、
前記光電変換素子の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタと
を有し、
隣接するn個(nは4以上の整数)の前記光電変換素子のうち、少なくとも2つに対応して設けられたそれぞれの前記開口マスクの開口は、互いに異なる波長帯域を透過させる少なくとも2種類の前記カラーフィルタから構成されるカラーフィルターパターンの一パターン内には含まれず、かつ、前記入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、前記n個の前記光電変換素子を一組とする光電変換素子群が周期的に配列されている撮像素子を有し、
前記撮像部は、前記開口マスクが設けられた前記光電変換素子の出力信号に基づいて前記視差画像データを出力する請求項2から4のいずれか1項に記載の撮像装置。 - 前記輪郭抽出部は、奥行き方向の距離に従って区分されたそれぞれの区分帯に基づいて前記輪郭を定める請求項2から6のいずれか1項に記載の撮像装置。
- 前記輪郭抽出部は、前記輪郭に含まれる画素数が予め定められた画素数以上となるように前記輪郭を定める請求項2から7のいずれか1項に記載の撮像装置。
- 前記画像調整部は、前記奥行き情報に基づいて前記制御量を修正して、前記ホワイトバランス調整を実行する請求項2から8のいずれか1項に記載の撮像装置。
- 前記画像調整部は、画素ごとに対応付けられた奥行き情報に基づいて前記制御量を修正し、当該画素に対して前記ホワイトバランス調整を実行する請求項9に記載の撮像装置。
- 前記画像調整部は、奥行きに対応して設定されたオフセット量を前記制御量に加えて、前記ホワイトバランス調整を実行する請求項9または10に記載の撮像装置。
- 少なくとも2つの視差画像データを出力する撮像ステップと、
前記視差画像データ間のマッチング処理を行うことにより算出される奥行き情報に基づいて、被写体像の輪郭を抽出する輪郭抽出ステップと、
前記輪郭により囲まれた領域ごとにホワイトバランス調整に用いる制御量を算出する制御量演算ステップと
をコンピュータに実行させる撮像装置の制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011076374A JP2012212975A (ja) | 2011-03-30 | 2011-03-30 | 撮像装置および撮像装置の制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011076374A JP2012212975A (ja) | 2011-03-30 | 2011-03-30 | 撮像装置および撮像装置の制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012212975A true JP2012212975A (ja) | 2012-11-01 |
Family
ID=47266606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011076374A Pending JP2012212975A (ja) | 2011-03-30 | 2011-03-30 | 撮像装置および撮像装置の制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012212975A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015106841A (ja) * | 2013-11-29 | 2015-06-08 | 株式会社ニコン | 撮像装置 |
JP5942984B2 (ja) * | 2011-03-30 | 2016-06-29 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09181913A (ja) * | 1995-12-26 | 1997-07-11 | Olympus Optical Co Ltd | カメラシステム |
JP2001028762A (ja) * | 1999-07-15 | 2001-01-30 | Asahi Optical Co Ltd | 電子カメラのホワイトバランス制御量算出装置 |
JP2004222052A (ja) * | 2003-01-16 | 2004-08-05 | Minolta Co Ltd | デジタルカメラおよび処理プログラム |
JP2008017116A (ja) * | 2006-07-05 | 2008-01-24 | Nikon Corp | 撮像素子および撮像装置 |
JP2011023823A (ja) * | 2009-07-13 | 2011-02-03 | Canon Inc | 画像処理装置及び画像処理方法 |
-
2011
- 2011-03-30 JP JP2011076374A patent/JP2012212975A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09181913A (ja) * | 1995-12-26 | 1997-07-11 | Olympus Optical Co Ltd | カメラシステム |
JP2001028762A (ja) * | 1999-07-15 | 2001-01-30 | Asahi Optical Co Ltd | 電子カメラのホワイトバランス制御量算出装置 |
JP2004222052A (ja) * | 2003-01-16 | 2004-08-05 | Minolta Co Ltd | デジタルカメラおよび処理プログラム |
JP2008017116A (ja) * | 2006-07-05 | 2008-01-24 | Nikon Corp | 撮像素子および撮像装置 |
JP2011023823A (ja) * | 2009-07-13 | 2011-02-03 | Canon Inc | 画像処理装置及び画像処理方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5942984B2 (ja) * | 2011-03-30 | 2016-06-29 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
JP2015106841A (ja) * | 2013-11-29 | 2015-06-08 | 株式会社ニコン | 撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5915537B2 (ja) | 撮像素子、及び、撮像装置 | |
JP5804055B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6131545B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
WO2013136819A1 (ja) | 撮像素子、撮像装置および撮像システム | |
WO2013161313A1 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5979134B2 (ja) | 画像処理装置および画像処理プログラム | |
WO2013114895A1 (ja) | 撮像装置 | |
JP5942984B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
WO2013057859A1 (ja) | 撮像素子 | |
JP6197316B2 (ja) | 撮像素子および撮像装置 | |
WO2013038598A1 (ja) | 撮像素子、撮像装置および画像処理装置 | |
JP5979137B2 (ja) | 撮像装置および撮像装置の制御プログラム | |
JP5978736B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5874334B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム | |
JP2012212975A (ja) | 撮像装置および撮像装置の制御プログラム | |
JP2013102368A (ja) | 画像処理方法および画像処理プログラム | |
JP5978737B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5978738B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6205770B2 (ja) | 撮像素子および撮像システム | |
JP2013090265A (ja) | 画像処理装置および画像処理プログラム | |
JP6019611B2 (ja) | 撮像装置 | |
JP5978735B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2013150055A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2013162362A (ja) | 撮像装置および撮像プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150526 |