JP2014098912A - 撮像装置およびシェーディング補正方法 - Google Patents

Abstract

【課題】瞳分割方式の立体撮像装置で得られた画像の品質を向上させる。
【解決手段】立体撮像装置で得られた第１および第２の画像は、瞳分割方向に対象のシェーディングを有する。よって、第１および第２の画像を合成すれば、シェーディングがキャンセルされた参照データが生じる。この参照データに基づいて、第１および第２の画像のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて第１および第２の画像をシェーディング補正することができる。
【選択図】図８

Description

本発明は撮像装置に係り、特に撮影レンズの２方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、異なる視点画像を取得する技術に関する。

特許文献１〜３は、従来の瞳分割方式の立体撮像装置の一例を示す。

特許文献１では、異なる射出瞳領域から得られたＡ像及びＢ像をシェーディング補正し、位相差量を算出する立体撮像装置が開示されている。なお、かかるシェーディング補正は、Ａ像からＢ像を除算すること、或いは、Ａ像とＢ像とを乗算することにより実施している。

特許文献２では、フォトダイオードの上部に積層されるマイクロレンズをずらすことで立体撮像を行う立体撮像装置が開示されている。かかる立体撮像の際には、マイクロレンズのずらし方向とずらし量を基盤の受光面中央部と受光面周辺部とで変更することにより、シェーディングによる画質への影響を減ずるような処理を行っている。

また、単眼立体撮像装置として、例えば、特許文献３に開示されている図１３に示すような光学系を有するものが知られている。

図１３に示す光学系は、メインレンズ１およびリレーレンズ２の左右方向の異なる領域を通過した被写体像をミラー４により瞳分割し、それぞれ結像レンズ５、６を介して撮像素子７、８に結像させるようにしている。

図１４Ａ〜図１４Ｃは、それぞれ前ピン、合焦（ベストフォーカス）、および後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。なお、図１４Ａ〜図１４Ｃでは、フォーカスによる分離の違いを比較するために、図１３に示したミラー４を省略している。

図１４Ｂに示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図１４Ａおよび図１４Ｃに示すように前ピンおよび後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。

従って、左右方向に瞳分割された被写体像を撮像素子７、８を介して取得することにより、被写体距離に応じて視点の異なる左視点画像および右視点画像が得られる。そして、得られた左視点画像および右視点画像から３Ｄ画像を生成することが可能となる。

被写体となる物体をズームレンズ等の光学系により撮像素子の撮像面上に結像した場合、撮像素子で撮像した像は元の物体に比べて光学系の収差の影響によりボケが生じ、画質が劣化することが知られている。この時の像による画像の強度分布ｇは、元の物体の輝度分布ｆと光学系の結像性能を表す点像強度分布ｈの畳み込み（Convolution ）にノイズｎが加わった
ｇ＝ｆ＊ｈ＋ｎ （＊は畳み込み積分） ・・・（Ａ）
で表される。ｇ、ｈ、ｎを既知として、式（Ａ）から元の物体の輝度分布ｆを求めることができる。このようにして、光学系のボケを信号処理により取り除き、理想的な像を得る技術は、像の「復元」、「逆畳み込み」、あるいは「デコンボリューション（Deconvolution ）」と呼ばれている。点像強度分布（ＰＳＦ）に基づく復元フィルタは、撮像時の画像の劣化に関する情報、例えば撮影条件（露光時間、露光量、被写体までの距離、焦点距離等）や撮像装置の特性情報（レンズの光学特性、撮像装置の識別情報等）等を考慮して生成される（特許文献４）。

ボケによる劣化モデルは、関数によって表すことができる。例えば、中心画素からの距離（像高）をパラメータとする正規分布でボケ現象を表すことができる（特許文献５）。

特許文献６は、一つのマイクロレンズに対して、撮像素子上の画素が３×３＝９個割り当てられている撮像装置の例を示す。

特開2010-145544号公報 特開2007-279512号公報 特表2009-527007号公報 特開2008-172321号公報 特開2000-020691号公報 特開2009-165115号公報

しかし、瞳分割方式の立体撮像装置に特有の画素配列に起因して、明暗のひずみを生ずるシェーディングが各視点画像において発生し、視点画像間の明るさが均一とはならずに画像の品質が低下する。また、フル画素での平面画像の記録時は、単に暗くなるだけでなく、解像度の低下や偽解像などの画質低下も発生する。更に、シェーディングの強度はレンズの絞りによっても変わるため、撮像条件に応じた補正が必要となる。

特許文献１では、Ａ像とＢ像の各々にローパスフィルタ（Low Pass Filter）によるフィルタリングを施すことにより、ランダムノイズを減少させるレベル補正を行う。しかし、撮像条件の変化に伴いレベル補正の結果が変化してしまうという問題がある。また、特許文献２では、撮像素子の中心と周辺でマイクロレンズのずらし量を調整するため、画素の位置によって位相差量が変わってしまう。そのため、変化する位相差に合わせた補正が必要となるという問題がある。

本発明はこのような事情に鑑みてなされたもので、瞳分割方式の立体撮像装置で得られた画像の品質を向上させる技術を提供することを目的とする。

上記目的を達成するため、本発明は、単一の撮像光学系からの光束に対する瞳分割により位相差を有する複数の画像を出力し、複数の画像から位相差に応じた視差を有する立体視画像を復元可能な立体撮像装置であって、複数の画像を合成して、複数の画像から合成された画像に基づき、シェーディング補正の参照データを出力する合成部と、合成部の出力した参照データと複数の画像の各々とを比較することにより、複数の画像の各々のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて複数の画像の各々をシェーディング補正する補正部と、を備える立体撮像装置である。

また、本発明の立体撮像装置は、複数の画像の各々において、各画像の画素を間引く間引き部を備え、合成部は、間引き部により画素を間引いた複数の画像を合成して、複数の画像から合成された画像に基づき、シェーディング補正の参照データを出力し、補正部は、参照データを複数の画像の各々の元のサイズと一致するよう補間し、補間した参照データと複数の画像の各々とを比較することにより、複数の画像の各々のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて複数の画像の各々をシェーディング補正することが好ましい。

更に、本発明の立体撮像装置は、参照データ、複数の画像の各々にローパスフィルタによるフィルタリングを施して出力するフィルタ部を更に備え、補正部は、フィルタ部の出力した参照データと複数の画像の各々とを比較することにより、複数の画像の各々のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて複数の画像の各々をシェーディング補正することが好ましい。

更にまた、本発明の立体撮像装置は、複数の画像の各々の撮影時における設定情報を取得する取得部と、取得部の取得した設定情報に基づいて補正部によるシェーディング補正の実行の要否を判定する判定部と、を備え、補正部は、判定部が補正部によるシェーディング処理シェーディング補正の実行を要すると判定したことに応じ、複数の画像の各々をシェーディングを補正することが好ましい。

このとき、設定情報は立体視画像撮影モードか平面画像撮影モードのいずれか一方の撮影モードの設定情報を含み、判定部は、撮影モードの設定情報が平面画像撮影モードの場合、補正部によるシェーディング補正の実行を要すると判定することが好ましい。

また、判定部は、撮影モードの設定情報が立体視画像撮影モードの場合、補正部によるシェーディング補正の実行を不要と判定することが好ましい。

更に、設定情報は絞りの設定情報を含み、判定部は、絞りの設定情報が所定の絞り値よりも絞り側の場合、補正部によるシェーディング補正の実行を要すると判定することが好ましい。

更にまた、設定情報はズーム位置の設定情報を含み、判定部は、レンズ絞りの設定情報が所定の絞り値よりも開放側でありかつズーム位置の設定情報が所定のズーム位置よりもワイド側の場合、補正部によるシェーディング補正の実行を要すると判定することが好ましい。

加えて、参照データ、複数の画像の各々にローパスフィルタによるフィルタリングを施して出力するフィルタ部を備え、判定部は、レンズ絞りの設定情報が所定の絞り値よりも開放側でありかつズーム位置の設定情報が所定のズーム位置よりもテレ側の場合、補正部によるシェーディング補正の実行を要すると判定し、補正部は、判定部が補正部によるシェーディング補正の実行を要すると判定したことに応じ、フィルタ部の出力した参照データと複数の画像の各々とを比較することで、複数の画像の各々のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて複数の画像の各々をシェーディング補正することが好ましい。

また、上記目的を達成するため、本発明は、単一の撮像光学系からの光束に対する瞳分割により位相差を有する複数の画像を出力し、複数の画像から位相差に応じた視差を有する立体視画像を復元可能な立体撮像装置の実行するシェーディング補正方法であって、複数の画像の各々を合成して、前記複数の画像から合成された画像に基づき、シェーディング補正の参照データを出力するステップと、合成部の出力した参照データと複数の画像の各々とを比較することで、複数の画像の各々のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて複数の画像の各々をシェーディング補正するステップと、を備えるシェーディング補正方法である。

本発明に係る立体撮像装置で得られた複数の画像は、瞳分割方向に対象のシェーディングを有する。よって、該複数の画像を合成すれば、シェーディングがキャンセルされた参照データが生じる。この参照データに基づいて、複数の画像の各々のシェーディング補正量を決定し、決定されたシェーディング補正量に基づいて複数の画像の各々をシェーディング補正することができる。

単眼立体撮像装置のブロック図 （Ａ）〜（Ｃ）は、瞳分割視差画像取得撮像素子ＣＣＤ（２視点）の構成例を示す図 主、副画素の１画素ずつを示した図 図３の要部拡大図 第１実施形態に係る補正部の詳細な構成を示す図 第１実施形態に係る補正部の実行する補正処理（２視点）のフローチャート 参照データ（２視点）の概念説明図 シェーディング補正（２視点）の概念説明図 第２実施形態に係る補正部の詳細な構成を示す図 第２実施形態に係る補正部の実行する補正処理のフローチャート 第３実施形態に係る補正部の詳細な構成を示す図 第４実施形態に係る補正部の実行する補正処理のフローチャート 従来の単眼立体撮像装置の一例を示す図 撮像素子に結像する像の分離状態を示す図 瞳分割視差画像取得撮像素子ＣＣＤ（４視点）の構成例を示す図 第１実施形態に係る補正部の実行する補正処理（４視点）のフローチャート 参照データ（４視点）の概念説明図 シェーディング補正（４視点）の概念説明図 瞳分割視差画像取得撮像素子ＣＣＤ（９視点）の構成例を示す図 第１実施形態に係る補正部の実行する補正処理（９視点）のフローチャート 参照データ（９視点）の概念説明図 シェーディング補正（９視点）の概念説明図

＜第１実施形態＞
以下、添付図面に従って本発明に係る単眼立体撮像装置の実施の形態について説明する。

［撮像装置の全体構成］
図１は本発明に係る単眼立体撮像装置１０の実施の形態を示すブロック図である。

この単眼立体撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

単眼立体撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて単眼立体撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ３０の表示制御などを行う。

シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、立体視画像を撮影する立体視画像撮影モード、平面画像を撮影する平面画像撮影モードの設定を受け付ける。立体視画像撮影モードおよび平面画像撮影モードは、静止画モード又は動画モードに分岐し、いずれか一方を選択できる。

再生ボタンは、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

撮影モード時において、被写体を示す画像光は、撮像レンズ１２、絞り１４を介して瞳分割視差画像を取得可能な位相差イメージセンサである撮像部（以下、「ＣＣＤ」という）１６の受光面に結像される。撮像レンズ１２は、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム（焦点距離）制御等が行われる。絞り１４は、例えば、５枚の絞り羽根からなり、ＣＰＵ４０によって制御される絞り駆動部３３によって駆動され、例えば、絞り値（Ｆ値）Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。

また、ＣＰＵ４０は、絞り駆動部３３を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。

＜ＣＣＤの構成例＞
図２は２視点のＣＣＤ１６の構成例を示す図である。

ＣＣＤ１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。各画素群に対応する複数の受光素子は、有効な撮像信号を得るための有効画素領域と、黒レベルの基準信号を得るためのオプティカルブラック領域（以下「ＯＢ領域」という）とを形成する。ＯＢ領域は、実際には、有効画素領域の周囲を取り囲むように形成される。

図２に示すようにＣＣＤ１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図３は撮像レンズ１２、絞り１４、およびＣＣＤ１６の主、副画素の１画素ずつを示した図であり、図４は図３の要部拡大図である。

図４Ａに示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。

これに対し、図４Ｂに示すようにＣＣＤ１６の主画素（Ａ面）および副画素（Ｂ面）には遮光部材１６Ａが形成される。単眼立体撮像装置１０を横置きにして撮像する場合、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の右半分又は左半分が遮光される。あるいは単眼立体撮像装置１０を縦置きにして撮像する場合、この遮光部材１６Ａにより主画素、副画素（フォトダイオードＰＤ）の受光面の上半分又は下半分が遮光される。マイクロレンズＬの光軸Ｚから右、左、上、あるいは下方向（例えば図４Ｂでは光軸より左方向）に所定量Δだけ偏位した位置には、遮光部材１６Ａの開口１６Ｂが設けられている。光束は開口１６Ｂを通過し、フォトダイオードＰＤの受光面に到達する。即ち、遮光部材１６Ａが瞳分割部材としての機能を有している。

なお、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分／左半分、あるいは上半分／下半分）が異なる。例えば、主画素では光束の左半分が制限され、副画素では光束の右半分が制限されると、主画素からは右の視点画像、副画素からは左の視点画像が得られる。あるいは、主画素では光束の上半分が制限され、副画素では光束の下半分が制限されると、主画素からは下の視点画像、副画素からは上の視点画像が得られる。上記構成のＣＣＤ１６は、主画素と副画素とでは、遮光部材１６Ａより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、ＣＣＤ１６の構成はこれに限らず、遮光部材１６Ａを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよいし、ミラーにより瞳分割するもの（例えば図１３）でもよい。

図１に戻って、ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。ＣＣＤ１６から読み出された電圧信号は、アナログ信号処理部１８に加えられ、ここで画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正および感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。

ここで、図２の（Ｂ）および（Ｃ）に示すように，ＣＣＤ１６の奇数ラインの主画素（Ａ面）から読み出される主画像データは、左視点画像データとして処理され、偶数ラインの副画素（Ｂ面）から読み出される副画像データは、右視点画像データとして処理される。

デジタル信号処理部２４で処理された左視点画像データおよび右視点画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力する。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域およびＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。ＶＲＡＭ５０から読み出された３Ｄ画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ（ＬＣＤ）３０に出力され、これにより３Ｄの被写体像が液晶モニタ３０の表示画面上に表示される。

この液晶モニタ３０は、立体視画像（左視点画像及び右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段であるが、これに限らず、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものでもよい。

また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作およびＡＥ動作を開始させ、レンズ駆動部３６を介して撮像レンズ１２内のフォーカスレンズが合焦位置にくるように制御する。また、シャッタボタンの半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値およびＣＣＤ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部３３を介して絞り１４を制御するとともに、決定したシャッタスピードに基づいてＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間を制御する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左視点画像データおよび右視点画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左視点画像データおよび右視点画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮像レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。

ＡＥ動作およびＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素および副画素に対応する左視点画像（主画像）および右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出され、ここで画像データの輝度データおよび色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。

メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。

デフォーカスマップ作成部６１は、主画素および副画素に対応する位相差を、所定のフォーカス領域に含まれる小領域の各々について算出するだけでなく、有効画素領域の全体を実質的に被覆する複数の小領域の各々について算出する。有効画素領域の全体を実質的に被覆する複数の小領域とは、有効画素領域の全体を完全に覆っている必要はなく、有効画素領域の全体に渡って密にあるいは粗に配列されていればよい。例えば、有効画素領域をマトリクス状に所定の単位（例えば８×８画素）、あるいはそれ以下（例えば１×１画素）、あるいはそれ以上（例えば１０×１０画素）で分割した分割領域の各々について位相差が算出される。あるいは、有効画素領域の外縁を起点に所定のピッチ（例えば分割領域１つ分、あるいはそれ以上、あるいはそれ以下）を隔てた所定の単位の分割領域ごとに位相差が算出される。要するに位相差は有効画素領域の全体に渡って算出されるものとするが、必ずしも有効画素領域を構成する小領域の全てについて算出されなくてもよい。

デフォーカスマップ作成部６１は、上記小領域の各々について算出された位相差に基づき、上記小領域の各々に対応するデフォーカス量を求める。この、有効画素領域の全体に渡って求められた小領域の各々に対応するデフォーカス量の集合を、デフォーカスマップと呼ぶ。デフォーカスマップ作成部６１は、ＲＡＭなどの揮発性記憶媒体を有しており、求まったデフォーカスマップを一時的に保存する。なお、デフォーカス量は被写体距離情報と等価であるため、デフォーカスマップは、小領域の各々に対応する被写体距離情報と等価である。デフォーカスマップ作成部６１は、各視点画像間で特徴点および対応点検出を行い、それらの特徴点および対応点の間の位置情報の差に基づいてデフォーカスマップを作成してもよい。

復元フィルタ保存部６２は、ＲＯＭなどの不揮発性記憶媒体で構成されており、各視点画像における各小領域の像高（画像中心からの距離、典型的には撮像レンズ１２の光軸中心Ｌからの距離）およびデフォーカス量（ないしは被写体距離）に対応する復元フィルタを保存している。

復元部６３は、情報処理装置、例えばＣＰＵ４０で構成されており、各視点画像の小領域ごとに選択された復元フィルタで当該小領域をデコンボリューションし、対応する視点画像の小領域を復元する。これにより、デフォーカス量（ボケ量）に応じた視差を画像に与えることができる。

補正部６４は、デジタル信号処理部２４で処理された左視点画像データおよび右視点画像データに対し、所定の補正処理を行う。そして、補正部６４は補正処理後の左視点画像データおよび右視点画像データをＶＲＡＭ５０に記憶する。補正部６４による補正処理は、特定の条件が満たされた場合に限って実行されてもよい。例えば、操作部３８により、撮影モードが特定のモードに設定された場合に補正処理が実行される。特定のモードとしては、平面モード、平面モードのフル画素記録モードなどがある。あるいは、ある特定の撮影条件が満たされた場合に補正処理が実行されてもよい。絞り値がある閾値（例えばＦ値＝2.8）よりも小さくなった場合に補正処理が実行されてもよい。

図５は第１実施形態に係る補正部６４の詳細な構成を示す。補正部６４は、合成処理部６４ａ（合成部）と補正処理部６４ｂを含む。なお、第１実施形態では、補正部６４と合成処理部６４ａ（合成部）とが一体となって構成されているが、その他の態様においては、補正部６４と合成処理部６４ａ（合成部）とを別体として構成しても良い。

図６は第１実施形態に係る補正部６４の実行する補正処理のフローチャートである。

Ｓ１では、合成処理部６４ａは、主画素（Ａ面）から読み出された左画像データと副画素（Ｂ面）から右画像データとを合成することで、シェーディング補正のための参照データ（Ｘ面）を作成する。合成とは画像信号の可算を意味する。

図７は参照データの概念説明図である。図７に示すように、Ａ面の画像データとＢ面の画像データは、瞳分割方向、ここでは左右の両眼視差方向に対象のシェーディングを有する。よって、Ａ面の画像データとＢ面の画像データを合成すれば、シェーディングがキャンセルされた参照データが生じる。

図６に戻って、Ｓ２では、補正処理部６４ｂは、参照データとＡ面の画像データ、および参照データとＢ面の画像データを比較することで、Ａ面・Ｂ面の補正量を決定し、当該決定された補正量に基づいて、Ａ面の画像データとＢ面の画像データをシェーディング補正する。メモリ４８がＡ面・Ｂ面・参照データを同時に保存可能であれば、それらをメモリ４８に保存し、メモリ上で参照データとＡ面の画像データ、および参照データとＢ面の画像データを比較し、補正する。

このシェーディング補正と、Ａ面の画像データとＢ面の画像データが、ともに参照データと同じ明るさになるような補正である。その具体的方法は、以下のものが挙げられるが、これらに限定されない。

例えば、補正処理部６４ｂは、参照データを複数の小領域で区切るとともに、Ａ面の画像データとＢ面の画像データを参照データと同じ単位の小領域に区切る。補正処理部６４ｂは、参照データの小領域ごとに、濃度の平均値を算出する。補正処理部６４ｂは、Ａ面の画像データと参照データの双方で、対応する小領域ごとに、濃度の平均値を算出する。補正処理部６４ｂは、対応する双方の小領域の濃度の平均値の差分値を算出することで小領域ごとの補正量を決定する。そして、補正処理部６４ｂは、Ａ面の画像データの各画素から得られた画像データに、当該画素の属する小領域に対応する補正量（差分値）を可算する。補正処理部６４ｂは、Ｂ面の画像データについても、Ａ面と同様の補正量の決定と当該補正量に基づく補正処理を行う。

例えば、参照データの小領域Δｉの濃度の平均値Ｍｉ、それに対応するＡ面の画像データの小領域δｉの濃度の平均値ｍｉ、小領域Δｉの濃度差ｄｉ＝Ｍｉ−ｍｉとする。Ａ面ないしＢ面の画像データのある画素Pが小領域δｉに属し、その濃度がＹｉとする場合、補正処理部６４ｂは、Ｙｉ’＝Ｙｉ＋ｄｉとし、Ｙｉ’を補正後の画素Pの濃度とする。

あるいは、補正処理部６４ｂは、上記と同様、Ａ面の画像データと参照データの双方で、小領域ごとに濃度の平均値を算出する。補正処理部６４ｂは、対応する双方の小領域の濃度の平均値の比を算出することで小領域ごとの補正量を決定する。そして、補正処理部６４ｂは、Ａ面の画像データの各画素から得られた画像データに、当該画素の属する小領域に対応する補正量（濃度の比）を可算する。補正処理部６４ｂは、Ｂ面の画像データについても、Ａ面と同様の処理を行う。

例えば、参照データの小領域Δｉの濃度の平均値Ｍｉ、それに対応するＡ面の画像データの小領域δｉの濃度の平均値ｍｉ、小領域Δｉの比ｒｉ＝Ｍｉ／ｍｉとする。Ａ面ないしＢ面の画像データのある画素Pが小領域δｉに属し、その濃度がＹｉとする場合、補正処理部６４ｂは、Ｙｉ’＝Ｙｉ＊ｒｉとし、Ｙｉ’を補正後の画素Pの濃度とする。

あるいは、Ａ面・Ｂ面の画像データの高周波成分に、Ｘ面の画像データの低周波成分を加えてもよい。

つまり、図８のように、シェーディングの影響のあるＡ面・Ｂ面の画素の濃度を、シェーディングの影響のない参照データの濃度分だけ補償することで、左右の視点画像データから明暗のひずみを除去する。

Ａ面・Ｂ面の個々の画素について個別に補正量（濃度差ｄｉや比ｒｉ）を求めて補正する必要がない場合には、間引き部（図示せず）によりＡ面・Ｂ面の画像を所定のサイズに間引き、間引いたＡ面・Ｂ面の画像を合成してサイズの低減された参照データを作成し、この参照データに基づいてＡ面・Ｂ面の各小領域に対応する補正量を求める。この際、参照データとＡ面・Ｂ面の画像の小領域のサイズが合わなくなるため、これらが一致するよう、参照データの各小領域の各画素を周囲の画素で補間してＡ面・Ｂ面の画像の小領域と参照データの小領域の対応関係を維持する。そして、この補間後の小領域ごとに決定された補正量に基づいて対応するＡ面・Ｂ面の画像の各小領域をシェーディング補正してもよい。なお、サイズの低減された参照データを作成する方法は、上記に限られない。例えば、Ａ面・Ｂ面の画像を合成したあとに所定のサイズに間引いてもよい。

Ｓ３では、補正処理部６４ｂは、シェーディング補正した左右の視点画像データをＶＲＡＭ５０に記憶する。この左右の視点画像データは、立体視画像として利用されてもよいし平面画像として利用されてもよい。例えば、平面画像記録モードが設定されている場合は、左右の視点画像データを合成して高解像度の平面画像を作成したあと、これを圧縮し、フル画素の平面画像としてメモリカード５４に記録することができる。あるいは、立体視画像記録モードが設定されている場合は、左右の視点画像データを個別に圧縮し、立体視画像としてメモリカード５４に記録することができる。

＜第２実施形態＞
図９は第２実施形態に係る補正部６４の詳細な構成を示す。補正部６４は、合成処理部６４ａと補正処理部６４ｂとフィルタ処理部６４ｃ（フィルタ部）を含む。フィルタ処理部６４ｃは、ローパスフィルタであり、画像データの輪郭を抑制してぼかす。

図１０は第２実施形態に係る補正部６４の実行する補正処理のフローチャートである。

Ｓ１１〜Ｓ１２はＳ１〜Ｓ２と同様である。

Ｓ１３では、フィルタ処理部６４ｃは、合成処理部６４ａから出力された参照データとＡ面・Ｂ面の画像データにフィルタリングを施し、フィルタリング後の参照データとＡ面・Ｂ面の画像データを、それぞれ新たな参照データ、Ａ面・Ｂ面の画像データとして補正処理部６４ｂに出力する。

Ｓ１４では、補正処理部６４ｂは、フィルタ処理部６４ｃから出力された参照データ、Ａ面・Ｂ面の画像データについて、Ｓ４と同様の補正処理を行う。

このフィルタリングを施すことで、Ａ面・Ｂ面の画像データの位相差（デフォーカス量、ボケ量）をなくすことができ、合成によるシェーディングのキャンセルを効果的に行うことができる。なお、補正量（濃度差ｄｉや比ｒｉ）を正確に求めるため、Ａ面・Ｂ面の画像データについても同じこのフィルタリングを施す。

＜第３実施形態＞
図１１は第３実施形態に係る補正部６４の詳細な構成を示す。補正部６４は、処理制御部６４ｄをさらに含む。処理制御部６４ｄは、ＣＰＵなどの情報処理装置で構成されており、撮影条件および撮影モードに応じて、補正処理部６４ｂによる補正処理を実行するか否かを制御する。

図１２は第３実施形態に係る補正部６４の実行する補正処理のフローチャートである。

Ｓ３１はＳ１と同様である。

Ｓ３２では、処理制御部６４ｄは、Ａ面・Ｂ面の画像データの取得時（シャッタ全押し時）のタイミングでＣＰＵ４０などが設定した撮影条件と撮影モード（設定情報）を識別する。撮影条件は、撮像レンズ１２のズーム位置（焦点距離）、絞り１４の絞り値などを含む。撮影モードは、立体画像撮影モード、平面画像撮影モード、フル画素記録モードなどがある。

Ｓ３３では、処理制御部６４ｄは、Ａ面・Ｂ面の画像データの取得時に設定されている撮影モードは、立体画像撮影モードか平面画像撮影モードのいずれであるかを判定部（図示せず）により判断する。撮影モードが立体モードの場合は処理を終了し、平面モードの場合はＳ３４に進む。

Ｓ３４では、処理制御部６４ｄは、Ａ面・Ｂ面の画像データの取得時に設定されている絞り１４の絞り値が、所定の閾値（例えばＦ値＝2.8）よりも小さい（開放側）か大きい（絞り側）かを判断する。絞り側の場合はＳ３６に進み、開放側の場合はＳ３５に進む。

Ｓ３５では、処理制御部６４ｄは、Ａ面・Ｂ面の画像データの取得時に設定されている撮像レンズ１２のズーム位置が、テレ端とワイド端の間のズーム位置の中間点よりもワイド側にあるかテレ側にあるかを判断する。ワイド側の場合はＳ３６、テレ側の場合はＳ３８に進む。

Ｓ３６〜Ｓ３７は、Ｓ２〜Ｓ３と同様である。

Ｓ３８〜Ｓ３９は、Ｓ１２〜Ｓ１４と同様である。

以上の処理により、例えば、立体モードの場合、補正処理が行われない。これは立体視画像ではシェーディングの影響がさほど大きくなく、観察者が気にならないためである。また、平面モードの場合は、補正処理が行われるが、絞り１４が開放で撮像レンズ１２がテレ側の場合はシェーディングの影響が大きいため、フィルタリングを施す補正処理を行う。なお、Ｓ３３、Ｓ３４，Ｓ３５の分岐条件は一例であり、その他の条件の充足の有無に基づいて分岐してもよい。

このように、シェーディング補正の必要性の有無、またシェーディングの影響の強弱に応じて補正処理を行うことで、無駄な処理を行わず、良好な画像を得ることができる。

＜第４実施形態＞
第１実施形態における２視点のＣＣＤ１６は、４視点または９視点の位相差画像を取得するＣＣＤでもよく、第１〜３実施形態の補正処理は、４視点または９視点の位相差画像にも適用できる。

図１５は４視点のＣＣＤ１６の構成例を示す図である。

図１５に示すように、ＣＣＤ１６の受光面には、赤、青または緑のカラーフィルタ、当該カラーフィルタに対応する画素Ａ，Ｂ，Ｃ，Ｄの４視点の画素群、およびその４画素群に対するマイクロレンズＭＬが配置されている。カラーフィルタ、４画素群、マイクロレンズからなる受光単位は、ベイヤ型に配列される。

ベイヤ配列は、ＣＣＤ１６の半導体基板表面部に正方格子状に形成された上記４画素群の上に、赤色（Ｒ，ｒ），緑色（Ｇ，ｇ），青色（Ｂ，ｂ）の三原色系のカラーフィルタを配列するに際し、赤色と緑色の各フィルタを交互に配列した行と、緑色と青色の各フィルタを交互に配列した行とを、列方向に交互に設ける構成である。

図１５では、ＸＹ平面がＣＣＤ１６の受光面であり、Ｘは行方向、Ｙ方向は列方向である。撮影者から見て、画素Ａ・Ｃは左側、画素Ｂ・Ｄは右側に位置する。Ｚはレンズ１２の光軸方向であり、被写体に向かう方向（この図では紙面表から裏に向かう方向）を正の方向とする。以下、画素Ａ、Ｂ、Ｃ、Ｄから読み出された画像データは、それぞれ、Ａ面の画像データ、Ｂ面の画像データ、Ｃ面の画像データ、Ｄ面の画像データと呼ぶ。

ベイヤ配列は、ＣＣＤ１６の半導体基板表面部に正方格子状に形成された上記４画素群の上に、赤色（Ｒ，ｒ），緑色（Ｇ，ｇ），青色（Ｂ，ｂ）の三原色系のカラーフィルタを配列するに際し、赤色と緑色の各フィルタを交互に配列した行と、緑色と青色の各フィルタを交互に配列した行とを、列方向に交互に設ける構成である。

４視点の場合の補正処理は次のようになる。すなわち、図１６に示すように、Ｓ１では、Ａ面〜Ｄ面の画像データを取得する。Ｓ２では、Ａ面〜Ｄ面の画像データを全て合成することで、シェーディングのない参照データＸを得る（図１７参照）。Ｓ３では、当該参照データをＡ面〜Ｄ面の画像データの各々と比較することで、Ａ面〜Ｄ面の補正量を各々決定し、その補正量でＡ面〜Ｄ面の各々を補正することで、シェーディングのないＡ面〜Ｄ面の画像データを得る（図１８参照）。

９視点のＣＣＤ１６の構成は、特許文献４の図４および明細書段落００３３等と同様である。図１９に例示するように、ＣＣＤ１６の受光面には、赤、青または緑のカラーフィルタ、当該カラーフィルタに対応する画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉの９視点の画素群、およびその９画素群に対するマイクロレンズＭＬが配置されている。カラーフィルタ、９画素群、マイクロレンズからなる受光単位は、ベイヤ型に配列される。

９視点の場合の補正処理は次のようになる。すなわち、図２０に示すように、Ｓ１では、Ａ面〜Ｉ面の画像データを取得し、Ｓ２では、Ａ面〜Ｉ面の画像データを全て合成することで、シェーディングのない参照データを得る（図２１参照）。ただし、中央の画素Ｅには、シェーディングが存在しないかあっても微小なため、Ｅ面を除くＡ面〜Ｉ面の画像データを全て合成することで、シェーディングのない参照データを得てもよい。Ｅ面そのものを参照データとしてもよい。Ｓ３では、当該参照データをＡ面〜Ｉ面の画像データの各々と比較してＡ面〜Ｉ面の補正量を各々決定し、その補正量でＡ面〜Ｉ面の各々を補正することで、シェーディングのないＡ面〜Ｄ面の画像データを得る（図２２参照）。参照データの合成にＥ面を使用しない場合は、Ｅ面の補正量決定と補正は必要ない。また、間引いた画像で参照データを作成してもよいのは、２視点、４視点、９視点のＣＣＤ１６のいずれであっても同様である。

さらに、第２実施形態の補正処理（図１０）、第３実施形態の補正処理（図１２）は、２視点、４視点、９視点のＣＣＤ１６のいずれであっても同様に成立しうる。

例えば、４視点のＣＣＤ１６の場合、第２実施形態の補正処理のＳ１３では、フィルタ処理の対象をＡ〜Ｄ面の画像データとし、Ｓ１４では、フィルタ処理後のＡ〜Ｄ面の画像データを、フィルタ処理後のＸ面の画像データと比較してフィルタ処理後のＡ〜Ｄ面の補正量を決定し、その補正量でフィルタ処理後のＡ〜Ｄ面の画像データを補正する。９視点のＣＣＤ１６の場合、第２実施形態の補正処理のＳ１３では、フィルタ処理の対象をＡ〜Ｉ面の画像データとし、Ｓ１４では、フィルタ処理後のＡ〜Ｉ面の画像データを、フィルタ処理後のＸ面の画像データと比較してフィルタ処理後のＡ〜Ｉ面の補正量を決定し、その補正量でフィルタ処理後のＡ〜Ｉ面の画像データを補正する。

また、第３実施形態の補正処理のＳ３６〜Ｓ４０では、２視点、４視点あるいは９視点のＣＣＤ１６から取得される２つ、４つあるいは９つの画像データに対応した参照データに基づいて、第１実施形態、第２実施形態、またはこれらに対応する上記の変形例と同様のシェーディング補正を行えばよい。

平面画像記録モードが設定されている場合は、シェーディング補正後、２つ、４つあるいは９つの画像データを合成して高解像度の平面画像を作成したあと、これを圧縮し、フル画素の平面画像としてメモリカード５４に記録することができる。あるいは、立体視画像記録モードが設定されている場合は、２つ、４つあるいは９つの画像データを個別に圧縮し、立体視画像としてメモリカード５４に記録することができる。

なお、立体視画像記録モードの場合において、４視点あるいは９視点のＣＣＤ１６から得られた４つあるいは９つの画像データに対応した３Ｄ画像の生成の仕方は任意である。４視点の場合は、ＡおよびＣ面の合成画像Ｌと、ＣおよびＤ面の合成画像Ｒを作成することで、左右方向に視差を有する視差画像を作成できる。あるいは、ＡおよびＢ面の合成画像Ｕと、ＣおよびＤ面の合成画像Ｄを作成することで、上下方向に視差を有する視差画像を作成できる。

９視点の場合は、Ａ、ＤおよびＧ面の合成画像Ｌと、Ｃ，ＦおよびＩ面の合成画像Ｒを作成することで、左右方向に視差を有する視差画像を作成できる。あるいは、Ａ，ＢおよびＣ面の合成画像Ｕと、Ｇ，ＨおよびＩ面の合成画像Ｄを作成することで、上下方向に視差を有する視差画像を作成できる。

さらに一般化すれば、本発明は、瞳分割により上下ないし左右に視差を有するｎ×ｎ（ｎ＝１，２，３，４・・）視点の画像データに適用可能である。

１２：撮像レンズ、１４：絞り、１６：ＣＣＤ、６１：デフォーカスマップ作成部、６２：復元フィルタ保存部、６３：復元部、６４：補正部

Claims (10)

1. 単一の撮像光学系からの光束に対する瞳分割により位相差を有する複数の画像を出力し、前記複数の画像から前記位相差に応じた視差を有する立体視画像を復元可能な立体撮像装置であって、
   前記複数の画像を合成して、前記複数の画像から合成された画像に基づき、シェーディング補正の参照データを出力する合成部と、
   前記合成部の出力した参照データと前記複数の画像の各々とを比較することにより、前記複数の画像の各々のシェーディング補正量を決定し、前記決定されたシェーディング補正量に基づいて前記複数の画像の各々をシェーディング補正する補正部と、
   を備える立体撮像装置。
2. 前記複数の画像の各々において、各画像の画素を間引く間引き部を備え、
   前記合成部は、前記間引き部により画素を間引いた複数の画像を合成して、前記複数の画像から合成された画像に基づき、シェーディング補正の参照データを出力し、
   前記補正部は、前記参照データを前記複数の画像の各々の元のサイズと一致するよう補間し、前記補間した参照データと前記複数の画像の各々とを比較することにより、前記複数の画像の各々のシェーディング補正量を決定し、前記決定されたシェーディング補正量に基づいて前記複数の画像の各々をシェーディング補正する請求項１に記載の立体撮像装置。
3. 前記参照データ、前記複数の画像の各々にローパスフィルタによるフィルタリングを施して出力するフィルタ部を備え、
   前記補正部は、前記フィルタ部の出力した参照データと前記複数の画像の各々とを比較することにより、前記複数の画像の各々のシェーディング補正量を決定し、前記決定されたシェーディング補正量に基づいて前記複数の画像の各々をシェーディング補正する請求項１または２に記載の立体撮像装置。
4. 前記複数の画像の各々の撮影時における設定情報を取得する取得部と、
   前記取得部の取得した設定情報に基づいて前記補正部によるシェーディング補正の実行の要否を判定する判定部と、
   を備え、
   前記補正部は、前記判定部が前記補正部によるシェーディング補正の実行を要すると判定したことに応じ、前記複数の画像の各々をシェーディング補正する請求項１〜３のいずれかに記載の立体撮像装置。
5. 前記設定情報は立体視画像撮影モードか平面画像撮影モードのいずれか一方の撮影モードの設定情報を含み、
   前記判定部は、前記撮影モードの設定情報が平面画像撮影モードの場合、前記補正部によるシェーディング補正の実行を要すると判定する請求項４に記載の立体撮像装置。
6. 前記判定部は、前記撮影モードの設定情報が立体視画像撮影モードの場合、前記補正部によるシェーディング補正の実行を不要と判定する請求項５に記載の立体撮像装置。
7. 前記設定情報は絞りの設定情報を含み、
   前記判定部は、前記絞りの設定情報が所定の絞り値よりも絞り側の場合、前記補正部によるシェーディング補正の実行を要すると判定する請求項５に記載の立体撮像装置。
8. 前記設定情報はズーム位置の設定情報を含み、
   前記判定部は、前記レンズ絞りの設定情報が所定の絞り値よりも開放側でありかつ前記ズーム位置の設定情報が所定のズーム位置よりもワイド側の場合、前記補正部によるシェーディング補正の実行を要すると判定する請求項７に記載の立体撮像装置。
9. 前記参照データ、前記複数の画像の各々にローパスフィルタによるフィルタリングを施して出力するフィルタ部を備え、
   前記判定部は、前記レンズ絞りの設定情報が前記所定の絞り値よりも開放側でありかつ前記ズーム位置の設定情報が前記所定のズーム位置よりもテレ側の場合、前記補正部によるシェーディング補正の実行を要すると判定し、
   前記補正部は、前記判定部が前記補正部によるシェーディング補正の実行を要すると判定したことに応じ、前記フィルタ部の出力した参照データと前記複数の画像の各々とを比較することにより、前記複数の画像の各々のシェーディング補正量を決定し、前記決定されたシェーディング補正量に基づいて前記複数の画像の各々をシェーディング補正する請求項８に記載の立体撮像装置。
10. 単一の撮像光学系からの光束に対する瞳分割により位相差を有する複数の画像を出力し、前記複数の画像から前記位相差に応じた視差を有する立体視画像を復元可能な立体撮像装置の実行するシェーディング補正方法であって、
    前記複数の画像を合成して、前記複数の画像から合成された画像に基づき、シェーディング補正の参照データを出力するステップと、
    前記合成部の出力した参照データと前記複数の画像の各々とを比較することにより、前記複数の画像の各々のシェーディング補正量を決定し、前記決定されたシェーディング補正量に基づいて前記複数の画像の各々をシェーディング補正するステップと、
    を備えるシェーディング補正方法。

Images