JP2014039311A - 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム - Google Patents

Abstract

【課題】撮像素子に特有のシェーディング特性を補正することができる撮像装置、シェーディング補正方法及びプログラムを提供する。
【解決手段】焦点距離を取得し（ステップＳ１１）、複数記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを取得する（ステップＳ１２、Ｓ１３、Ｓ１４…）。取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ１５）。すなわち、主画素から任意の画素を選択し、取得された主画素用の１次元の補正テーブルから選択された画素位置に対応した補正値を読み出し、この補正値と任意の画素の画素値とによりシェーディング補正を行う。この処理を主画素、副画素のすべての画素に対して行う。このシェーディング補正（ステップＳ１５）が行われたデータに対して、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。
【選択図】 図１１

Description

本発明は単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラムに係り、特に撮影レンズの左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左眼用の画像及び右眼用の画像を取得する技術に関する。

特許文献１には、右目用画像と左目用画像とを別々の撮像素子から取得して立体画像を生成する場合において、右目用画像と左目用画像の少なくとも１つにシェーディング補正を行うことが開示されている。

特許文献２には、１つの撮像素子を構成する各フォトダイオード上にマイクロレンズを設け、マイクロレンズの位置を対応フォトダイオードの位置とずらすことによりＡ群画素とＢ群画素とを分ける立体撮像素子が開示されている。

特開２００８−２７０９３７号公報 特開２００７−２７９５１２号公報

しかしながら、特許文献１に記載の発明は、複数の撮影光学系を有する多眼カメラが前提となっており、単一の撮影レンズ（撮影光学系）を用い、単一の撮影レンズを通過した光束を複数の光束に分離し、それぞれの光束を単一の撮像素子に結像させること（瞳分割）により立体視画像を撮影する（以下、瞳分割方式という）単眼３Ｄカメラ（単眼立体撮像装置）に適用することはできない。また、特許文献１には、シェーディング補正の詳細については記載されていない。

特許文献２に記載の発明には、Ａ群画素による撮影画像とＢ群画素による撮影画像とでは異なるシェーディング特性を有することが記載されている。

図３１は、Ａ群画素とＢ群画素を有する撮像素子の模式図であり、図３１Ａは撮像素子全体図、図３１ＢはＡ群画素、図３１ＣはＢ群画素である。単眼３Ｄカメラでは、フォトダイオードの前面にマイクロレンズが配設されており、マイクロレンズの位置、形状等によりＡ群画素、Ｂ群画素（すなわち、視差）が得られるように設計されている。

単眼３Ｄカメラにおいては、通常の２Ｄカメラと同様に、撮像素子の中心と光学レンズの中心とは略一致している。したがって、まず、撮影レンズの中心部（すなわち撮像素子中心部Ｍ）付近の撮像信号レベルに対して、中心部から距離が離れるにつれて、すなわち撮像素子周辺部（Ｕ、Ｄ、Ｒ、Ｌ）の信号レベルが低下するというシェーディング特性を補正（以下、通常のシェーディング補正という）する必要がある。この通常のシェーディング補正には、例えば撮像素子の各画素毎のバラツキの補正も含まれる。

それに加え、図３１Ｂに示す主画素群でも、図３１Ｃに示す副画素群でも、中心部Ｍ１、Ｍ２と比較して、周縁部（Ｕ１、Ｄ１、Ｒ１、Ｌ１、Ｕ２、Ｄ２、Ｒ２、Ｌ２）は各画素の受光量が小さくなる。特に、図３１Ｂに示す主画素群では、瞳分割方向（左右方向）において、図中の左端側よりも右端側の受光量が小さくなる。また、図３１Ｃに示す副画素群では、瞳分割方向（左右方向）において、図中の右端側よりも左端側の受光量が小さくなる。例えば、Ｍ１、Ｍ２の受光量を１００とすると、上下方向であるＵ１、Ｄ１、Ｕ２、Ｄ２の受光量は約３０であるのに対し、主画素群においてはＬ１の受光量が約４０、Ｒ１の受光量が約２０となる。それに対し、副画素群においては、Ｒ２の受光量が約４０、Ｌ２の受光量が約２０となる。すなわち、瞳分割方向に起因するシェーディング特性が発生する。

この理由について図３２を用いて説明する。図３２に示すように、単眼３Ｄカメラにおいては、撮像レンズＬを通過した光束が、各マイクロレンズ（Ｌｍ、Ｌｃなど）ごとに分割して配置したフォトダイオード（ＰＤｍａ・ＰＤｍｂ、ＰＤｃａ・ＰＤｃｂなど）に射出されることで、複数の視点画像が得られる。この構成にて、撮像レンズＬの光軸Ｉ０を中心とした撮像素子の受光面の中心部Ｒ１では、光束がマイクロレンズの光軸中心を基準としてＸ方向（左右方向）に関して均等に入射するため、フォトダイオード（ＰＤｃａ、ＰＤｃｂ）間で均一な明るさの信号が出力される。しかし、撮像素子の受光面の周縁部Ｒ２、Ｒ３では、光束がＸ方向（左右方向）に関して不均等に入射するため、フォトダイオード（ＰＤｍａ、ＰＤｍｂ）間で不均一な明るさの信号が出力されてしまう。即ち、撮像素子の受光面の瞳分割方向Ｘにおける周縁部では複数の視点画像間で明るさが均一とはならない。

このような瞳分割方向に沿って受光量が変化するという単眼３Ｄカメラに特有のシェーディング特性は、通常のシェーディング補正では補正できない。

なお、特許文献２に記載の発明は、マイクロレンズの位置をずらすことによりシェーディングを抑制するものであり、シェーディングをなくすための画像処理を行うことについては記載されていない。

本発明はこのような事情に鑑みてなされたもので、単眼立体撮像装置に特有のシェーディング特性を簡単な方法で補正することができる単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラムを提供することを目的とする。

上記目的を達成するため、この発明の単眼立体撮像装置は、単一の撮影光学系と、撮影光学系を通過した光束を複数の光束に分割する瞳分割手段と、複数の光束をそれぞれ受光する複数の画素群により構成された単一の撮像素子と、少なくとも撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、単一の撮像素子より出力される撮像信号全体に対してシェーディング補正をする第１のシェーディング補正手段と、瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、複数の画素群より出力される撮像信号をそれぞれシェーディング補正する第２のシェーディング補正手段と、を備えたことを特徴とする。

かかる単眼立体撮像装置によれば、少なくとも撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、単一の撮像素子より出力される撮像信号全体に対してシェーディング補正をすると共に、瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、複数の画素群より出力される撮像信号をそれぞれシェーディングを補正する。これにより、撮影レンズの中心部付近の撮像信号レベルに対して、中心部から距離が離れるにつれて信号レベルが低下するというシェーディング特性を補正すると共に、瞳分割方向に沿って受光量が変化するという単眼立体撮像装置に特有のシェーディング特性を補正することができる。

また、本発明の単眼立体撮像装置において、第２のシェーディング補正手段は、複数の画素群に対するシェーディング補正を同一の１次元の補正テーブルを用いて行うことが好ましい。

かかる単眼立体撮像装置によれば、同一の１次元の補正テーブルを用いて複数の画素群に対するシェーディング補正を行う。これにより、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。

また、本発明の単眼立体撮像装置において、撮像素子は、複数の光束をそれぞれ受光する第１の画素群と第２の画素群とを有し、第２のシェーディング補正手段は、第１の画素群の所定の列の任意の位置の画素を第１の画素として選択し、かつ第２の画素群の所定の列の第１の画素に対応する位置にある画素を第２の画素として選択する手段と、第１の画素に対する補正値を、第１の画素の位置に対応する位置にある補正値を１次元の補正テーブルから読み出す手段と、１次元の補正テーブルにおいて第１の画素に対する補正値と左右対称位置にある補正値を、第２の画素に対する補正値として読み出す手段と、第１の画素の画素値と第１の画素に対する補正値とに基づいて第１の画素に対してシェーディング補正をし、かつ第２の画素の画素値と第２の画素に対する補正値とに基づいて第２の画素に対してシェーディング補正をする手段と、を有することが好ましい。

かかる単眼立体撮像装置によれば、第１の画素群の所定の列の任意の位置の画素を第１の画素として選択し、第１の画素の位置に対応する位置にある補正値を１次元の補正テーブルより第１の画素に対する補正値を読み出し、第１の画素の画素値と第１の画素に対する補正値とに基づいて第１の画素に対してシェーディング補正をする。また、第２の画素群の所定の列の第１の画素に対応する位置にある画素を第２の画素として選択し、１次元の補正テーブルにおいて第１の画素に対する補正値と左右対称位置にある補正値を第２の画素に対する補正値として読み出し、第２の画素の画素値と第２の画素に対する補正値とに基づいて第２の画素に対してシェーディング補正をする。これにより、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについて１つの１次元の補正テーブルでシェーディング補正を行うことができる。

また、本発明の単眼立体撮像装置において、撮像素子は、複数の光束をそれぞれ受光する第１の画素群と第２の画素群とを有し、第２のシェーディング補正手段は、第１の画素群の所定の列の任意の位置の画素を第１の画素として選択し、かつ第２の画素群の所定の列から第１の画素と左右対称位置にある画素を第２の画素として選択する手段と、第１の画素の位置に対応する位置にある補正値を１次元の補正テーブルから読み出す手段と、第１の画素の画素値と第１の画素の位置に対応する位置にある補正値とに基づいて第１の画素に対してシェーディング補正をし、かつ第２の画素の画素値と第１の画素の位置に対応する位置にある補正値とに基づいて第２の画素に対してシェーディング補正をする手段と、を有することが好ましい。

かかる単眼立体撮像装置によれば、第１の画素群の所定の列の任意の位置にある画素を第１の画素として選択し、第１の画素の位置に対応する位置にある補正値を１次元の補正テーブルから読み出し、第１の画素の画素値と第１の画素の位置に対応する位置にある補正値とに基づいて第１の画素に対してシェーディング補正をする。また、第２の画素群の所定の列から第１の画素と左右対称位置にある画素を第２の画素として選択し、第１の画素の位置に対応する位置にある補正値を１次元の補正テーブルから読み出し、第１の画素の画素値と第１の画素の位置に対応する位置にある補正値とに基づいて第１の画素に対してシェーディング補正をする。これにより、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについて１つの１次元の補正テーブルでシェーディング補正を行うことができる。

また、本発明の単眼立体撮像装置において、撮影光学系はズームレンズを有し、ズームレンズの位置より焦点距離を取得する焦点距離取得手段を備え、第２のシェーディング補正手段は、焦点距離に応じて複数の１次元の補正テーブルを記憶し、焦点距離取得手段により取得された焦点距離に応じた１次元の補正テーブルを用いてシェーディング補正をすることが好ましい。

かかる単眼立体撮像装置によれば、焦点距離に基づいて、複数の１次元の補正テーブルの中から適切な１次元の補正テーブルを用いてシェーディング補正をする。これにより、焦点距離に応じた適切なシェーディング補正をすることができる。

また、本発明の単眼立体撮像装置において、撮影光学系は絞り値を変化させる絞りを有し、第２のシェーディング補正手段は、絞りの絞り値に応じて複数の１次元の補正テーブルを記憶し、絞りの現在の絞り値に応じた１次元の補正テーブルを用いてシェーディング補正をすることが好ましい。

かかる単眼立体撮像装置によれば、絞りの絞り値に基づいて、複数の１次元の補正テーブルの中から適切な１次元の補正テーブルを用いてシェーディング補正をする。これにより、絞り値に応じた適切なシェーディング補正をすることができる。

また、本発明の単眼立体撮像装置において、第２のシェーディング補正手段は、Ｒ、Ｇ、Ｂの各色の１次元の補正テーブルを記憶し、複数の画素群から選択された画素（以下、選択された画素）の画素色がＲの場合にはＲ色用の１次元の補正テーブルを用い、選択された画素の画素色がＧの場合にはＧ色用の１次元の補正テーブルを用い、選択された画素の画素色がＢの場合にはＢ色用の１次元の補正テーブルを用いてシェーディング補正をすることが好ましい。

かかる単眼立体撮像装置によれば、複数の画素群から選択された画素の画素色がＲの場合にはＲ色用の１次元の補正テーブルを用い、選択された画素の画素色がＧの場合にはＧ色用の１次元の補正テーブルを用い、選択された画素の画素色がＢの場合にはＢ色用の１次元の補正テーブルを用いてシェーディング補正をする。これにより、ＲＧＢでシェーディング特性が異なる場合においても、特にＧ画素についてより適切なシェーディング補正を行うことができる。

また、本発明の単眼立体撮像装置において、第２のシェーディング補正手段は、Ｇ色用の１次元の補正テーブルとして、ＲＧＲＧ…の配列の水平ライン（以下、ＧＲラインという）のＧ画素であるＧｒ色用の１次元の補正テーブルと、ＧＢＧＢ…の配列の水平ライン（以下、ＧＢラインという）のＧ画素であるＧｂ色用の１次元の補正テーブルを記憶し、選択された画素の画素色がＧＲラインから読み出されたＧ画素の場合にはＧｒ色用の１次元の補正テーブルを用い、選択された画素の画素色がＧＢラインから読み出されたＧ画素の場合にはＧｂ色用の１次元の補正テーブルを用いてシェーディング補正をすることが好ましい。

かかる単眼立体撮像装置によれば、複数の画素群から選択された画素がＧＲラインから読み出されたＧ画素の場合にはＧｒ色用の１次元の補正テーブルを用い、選択された画素がＧＢラインから読み出されたＧ画素の場合にはＧｂ色用の１次元の補正テーブルを用いてシェーディング補正をする。これにより、ＲＧＢでシェーディング特性が異なる場合においても、特にＧ画素についてより適切なシェーディング補正を行うことができる。

また、本発明の単眼立体撮像装置において、撮像素子の向きを検出する向き検出手段を備え、第２のシェーディング補正手段は、撮像素子が横向きの場合の１次元の補正テーブルと、撮像素子が縦向きの場合の１次元の補正テーブルとを記憶し、向き検出手段により検出された撮像素子の向きに基づいた１次元の補正テーブルを用いてシェーディング補正をすることが好ましい。

かかる単眼立体撮像装置によれば、撮像素子の向きを検出し、撮像素子の向きに基づいた１次元の補正テーブルを用いてシェーディング補正をする。これにより、水平方向に視差がある立体視画像の場合のみならず、垂直方向に視差がある立体視画像の場合においても適切なシェーディング補正をすることができる。

更に、上記目的を達成するため、本発明の単眼立体撮像装置用シェーディング補正方法は、単一の撮影光学系を通過した光束を瞳分割手段により瞳分割して得られた複数の光束がそれぞれ受光された複数の画素群からの出力信号を取得するステップと、複数の画素群からの出力信号に対してシェーディング補正するステップであって、瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、複数の画素群よりそれぞれ出力される出力信号に対してそれぞれシェーディング補正をする、及び少なくとも撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、複数の画素群より出力される出力信号全体に対してシェーディング補正をするステップと、を有することを特徴とする。

更にまた、上記目的を達成するため、本発明の単眼立体撮像装置用プログラムは、単一の撮影光学系を通過した光束を瞳分割手段により瞳分割して得られた複数の光束がそれぞれ受光された複数の画素群からの出力信号を取得するステップと、複数の画素群からの出力信号に対してシェーディング補正するステップであって、瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、複数の画素群よりそれぞれ出力される出力信号に対してそれぞれシェーディング補正をする、及び少なくとも撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、複数の画素群より出力される出力信号全体に対してシェーディング補正をするステップと、を演算装置に実行させることを特徴とする。

本発明によれば、単眼立体撮像装置に特有のシェーディング特性を簡単な方法で補正することができる。

本発明の第１の実施の形態に係る単眼立体撮像装置１の正面斜視図 単眼立体撮像装置１の背面図 単眼立体撮像装置１の位相差ＣＣＤの構成例を示す図 撮影レンズ、絞り、及び位相差ＣＣＤの主、副画素の１画素ずつを示した図 図４の部分拡大図であり、図５Ａは瞳分割が無い場合であり、図５Ｂ、図５Ｃはそれぞれ瞳分割がある場合である。 図６Ａ〜６Ｃはそれぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図 単眼立体撮像装置１内部のブロック図 単眼立体撮像装置１のＳＤ補正部のブロック図 通常のシェーディング補正に用いられる２次元の補正テーブルの例 単眼立体撮像装置１特有のシェーディング補正に用いられる１次元の補正テーブルの例 単眼立体撮像装置１のシェーディング補正処理のフローチャート 単眼立体撮像装置２のＳＤ補正部のブロック図 単眼立体撮像装置２のシェーディング補正処理のフローチャート 単眼立体撮像装置２のシェーディング補正について説明する図であり、図１４Ａは主画素から選択された任意の画素を示し、図１４Ｂは主画素用に１次元の補正テーブルから読み出す補正値を示し、図１４Ｃは副画素用に１次元の補正テーブルから読み出す補正値を示す。 単眼立体撮像装置３のＳＤ補正部のブロック図 単眼立体撮像装置３のシェーディング補正について説明する図であり、図１６Ａは主画素の任意の画素の選択方法を示し、図１６Ｂは副画素の任意の画素の選択方法を示す。 単眼立体撮像装置３のシェーディング補正処理のフローチャート 単眼立体撮像装置４のＳＤ補正部のブロック図 単眼立体撮像装置４のシェーディング補正処理のフローチャート 単眼立体撮像装置５のＳＤ補正部のブロック図 単眼立体撮像装置５のシェーディング補正処理のフローチャート 単眼立体撮像装置６のＳＤ補正部のブロック図 単眼立体撮像装置６のシェーディング補正処理のフローチャート 単眼立体撮像装置７の位相差ＣＣＤの構成例を示す図 単眼立体撮像装置７の位相差ＣＣＤの主画素、副画素を説明する図 単眼立体撮像装置７のＳＤ補正部のブロック図 単眼立体撮像装置７のシェーディング補正処理のフローチャート ４画素１マイクロレンズを有するＣＣＤの各面のシェーディング特性を示す図 ９画素１マイクロレンズの構成例を示す図 ９画素１マイクロレンズを有するＣＣＤの各面のシェーディング特性を示す図 単眼立体撮像装置特有のシェーディング特性について説明する図 単眼立体撮像装置特有のシェーディング特性について説明する図

以下、添付図面に従って本発明に係る単眼立体撮像装置の実施の形態について説明する。

＜第１の実施の形態＞
［撮像装置の全体構成］
図１は本発明に係る第１の実施の形態の撮像装置である単眼立体撮像装置１の一実施形態を示す斜視図である。図２は、上記単眼立体撮像装置１の一実施形態を示す背面図である。この単眼立体撮像装置１は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。

単眼立体撮像装置１のカメラボディ１０は、横長の四角い箱状に形成されており、その正面には、図１に示すように、レンズユニット１２、ストロボ２１等が配設されている。また、カメラボディ１０の上面にはシャッタボタン２２、電源／モードスイッチ２４、モードダイヤル２６等が配設されている。一方、カメラボディ１０の背面には、図２に示すように、液晶モニタ２８、ズームボタン３０、十字ボタン３２、ＭＥＮＵ／ＯＫボタン３４、再生ボタン３６、ＢＡＣＫボタン３８等が配設されている。

なお、図示しないカメラボディ１０の下面には、三脚ネジ穴と、開閉自在なカバーを介してバッテリ挿入部とメモリカードスロットとが設けられており、このバッテリ挿入部とメモリカードスロットにバッテリとメモリカードが装填される。

レンズユニット１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ２４によってカメラのモードを撮影モードに設定することにより、カメラボディ１０から繰り出される。なお、レンズユニット１２のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。

ストロボ２１は、主要被写体に向けてストロボ光を照射するものである。

シャッタボタン２２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。単眼立体撮像装置１は、撮影モードで駆動しているときは、このシャッタボタン２２が「半押し」されることにより、ＡＥ／ＡＦが作動し、「全押し」されることにより、撮影を実行する。また、単眼立体撮像装置１は、投影モードで駆動しているときは、このシャッタボタン２２が「全押し」されることにより、投影を実行する。

電源／モードスイッチ２４は、単眼立体撮像装置１の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、単眼立体撮像装置１のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。単眼立体撮像装置１は、電源／モードスイッチ２４をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ２４をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

モードダイヤル２６は、単眼立体撮像装置１の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、単眼立体撮像装置１の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体視画像（３Ｄ画像）の撮影を行う「立体視画像撮影モード」、動画撮影を行う「動画撮影モード」、立体パノラマ撮影の撮影を行う「立体パノラマ撮影モード」等である。

液晶モニタ２８は、左眼用画像及び右眼用画像をパララックスバリアによりそれぞれ所定の指向性をもった立体視画像として表示できる立体表示手段である。立体視画像が液晶モニタ２８に入力された場合には、液晶モニタ２８のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像や使用者インターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。なお、液晶モニタ２８の形態はこれに限らず、立体視画像を立体画像として認識可能に表示させるものであれば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左眼用画像と右眼用画像とを個別に見ることができるものでもよい。なお、液晶モニタの代わりに有機ＥＬ等を用いてもよい。

ズームボタン３０は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するズームテレボタン３０Ｔと、広角側へのズームを指示するズームワイドボタン３０Ｗとからなる。単眼立体撮像装置１は、撮影モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されることにより、レンズユニット１２の焦点距離が変化する。また、再生モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

十字ボタン３２は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

ＭＥＮＵ／ＯＫボタン３４は、液晶モニタ２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。

再生ボタン３６は、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ２８に表示させる再生モードに切り替えるためのボタンである。

ＢＡＣＫボタン３８は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

［撮影光学系、撮像素子の構成例］
レンズユニット１２は、主として撮影レンズ１４、絞り１６、位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ」という）１７で構成される。

撮影レンズ１４は、フォーカスレンズ、ズームレンズを含む多数のレンズから構成される撮像光学系である。絞り１６は、例えば、５枚の絞り羽根からなり、例えば、絞り値Ｆ2.8 〜Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。撮影モード時において、被写体を示す画像光は、撮影レンズ１４、絞り１６を介して位相差ＣＣＤ１７の受光面に結像される。

図３は位相差ＣＣＤ１７の構成例を示す図である。

位相差ＣＣＤ１７は、それぞれマトリクス状に配列された奇数ラインの画素（主画素、Ａ面画素ともいう）と、偶数ラインの画素（副画素、Ｂ面画素ともいう）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。

図３に示すように位相差ＣＣＤ１７の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図４は撮影レンズ１４、及び位相差ＣＣＤ１７の主、副画素の１画素ずつを示した図であり、図５は図４の要部拡大図である。

位相差ＣＣＤ１７の主画素の前面側（マイクロレンズＭＬ側）には、遮光部材１７Ａが配設され、副画素の前面側には、遮光部材１７Ｂが配設される。遮光部材１７Ａ、１７Ｂは瞳分割部材としての機能を有している。図５Ａに示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＭＬを介して制限を受けずに入射する。図５Ｂに示すように遮光部材１７Ａは、主画素（フォトダイオードＰＤ）の受光面の右半分を遮光する。そのため、主画素には、射出瞳を通過する光束の光軸の左側のみが受光される。また、図５Ｃに示すように遮光部材１７Ｂは、副画素（フォトダイオードＰＤ）の受光面の左半分を遮光する。そのため、副画素には、射出瞳を通過する光束の光軸の右側のみが受光される。このように、瞳分割手段である遮光部材１７Ａ、１７Ｂにより、射出瞳を通過する光束が左右に分割される。

このように位相差ＣＣＤ１７の主画素に射出瞳を通過する光束の光軸の左側のみを受光させ、副画素に射出瞳を通過する光束の光軸の右側のみを受光させるようにすることで、位相差ＣＣＤ１７で立体視画像を撮影する仕組みについて説明する。

図６Ａ〜図６Ｃは、フォーカスレンズがそれぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図６Ａ〜図６Ｃでは、フォーカスによる分離の違いを比較するために絞り１６を省略している。

図６Ｂに示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図６Ａ及び図６Ｃに示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。

従って、左右方向に瞳分割された被写体像を位相差ＣＣＤ１７を介して取得することにより、フォーカス位置に応じて視差の異なる左眼用画像及び右眼用画像（立体視画像）を取得することができる。すなわち、合焦位置の視差は０となり、３Ｄ再生像の位置（虚像の位置）は表示面と一致する。合焦位置を奥にずらしていくにつれて、視差が０となる位置が奥にずれ、表示面上の被写体は表示面から飛びだしてくるように見える。逆に、合焦位置を手前にずらしていくにつれて、視差が０となる位置が手前にずれ、表示面上の被写体は表示面から奥へ移動していくように見える。

尚、上記構成の位相差ＣＣＤ１７は、主画素と副画素とでは、遮光部材１７Ａ、１７Ｂより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１７Ａ、１７Ｂを設けずに、マイクロレンズＭＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

［撮像装置の内部構成］
図７は本発明の第１の実施の形態に係る単眼立体撮像装置１のブロック図である。この単眼立体撮像装置１は、撮像した画像を記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

単眼立体撮像装置１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部４８が設けられている。この操作部４８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて単眼立体撮像装置１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ２８の表示制御などを行う。

電源／モードスイッチ２４により単眼立体撮像装置１の電源がＯＮされると、電源部５８から各ブロックへ給電され、単眼立体撮像装置１の駆動が開始される。

撮影レンズ１４、絞り１６等を通過した光束は位相差ＣＣＤ１７に結像され、位相差ＣＣＤ１７には信号電荷が蓄積される。位相差ＣＣＤ１７に蓄積された信号電荷は、タイミングジェネレータ４５から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１７から読み出された電圧信号は、アナログ信号処理部６０に加えられる。

アナログ信号処理部６０は、位相差ＣＣＤ１７から出力された電圧信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器６１に加えられる。Ａ／Ｄ変換器６１は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ６２に出力する。

デジタル信号処理部６３は、画像入力コントローラ６２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。ここで、位相差ＣＣＤ１７の奇数ラインの主画素から読み出される主画像データは、左眼用画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右眼用画像データとして処理される。

デジタル信号処理部６３で処理された左眼用画像データ及び右眼用画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。

ＶＲＡＭ５０から読み出された３Ｄ画像データは、３Ｄ画像信号処理部６４で短冊状の画像断片に加工され、ビデオエンコーダ６６においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ２８に出力され、これにより３Ｄの被写体像が連続的に液晶モニタ２８の表示画面上に表示される。

操作部４８のシャッタボタン２２の第１段階の押下（半押し）があると、ＣＣＤ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部４７を介してフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左眼用画像データ及び右眼用画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左眼用画像データ及び右眼用画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。

ＣＰＵ４０は、必要に応じてレンズ駆動部４７を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。

また、シャッタボタン２２の半押し時にＡ／Ｄ変換器６１から出力される画像データは、ＡＥ／ＡＷＢ検出部４４に取り込まれる。

ＡＥ／ＡＷＢ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ／ＡＷＢ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１６の絞り値及び位相差ＣＣＤ１７の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部４６を介して絞り１６を制御するとともに、決定したシャッタスピードに基づいてタイミングジェネレータ４５を介して位相差ＣＣＤ１７での電荷蓄積時間を制御する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタン２２の第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器６１から出力される主画素及び副画素に対応する左眼用画像（主画像）及び右眼用画像（副画像）の２枚分の画像データが画像入力コントローラ６２からＶＲＡＭ５０に入力され、一時的に記録される。

ＶＲＡＭ５０に一時的に記録された２枚分の画像データは、デジタル信号処理部６３により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びＶＲＡＭ５０に記録される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸張処理部６５に出力され、JPEG (joint photographic experts group)などの所定の圧縮処理が実行されたのち、再びＶＲＡＭ５０に記録される。

ＶＲＡＭ５０に記録された２枚分のＹＣデータ（圧縮データ）から、３Ｄ画像信号処理部６４でマルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、記録メディア５４に記録される。

なお、ＡＦ動作は、シャッタボタン２２の第１段階の押下（半押し）がある場合のみでなく、右眼用画像データ、左眼用画像データを連続的に撮影する場合にも行われる。右眼用画像データ、左眼用画像データを連続的に撮影する場合とは、例えばライブビュー画像（スルー画像）を撮影する場合や、動画を撮影する場合が挙げられる。この場合には、ＡＦ処理部４２は、連続的に右眼用画像データ、左眼用画像データを撮影している間、常時繰り返しＡＦ評価値の演算を行って、連続的にフォーカスレンズ位置を制御するコンティニュアスＡＦを行う。この場合には、フォーカスレンズ位置の移動に応じて、連続的に液晶モニタ２８の表示画面上に表示された右眼用画像、左眼用画像の視差が変化することとなる。

ところで、本実施の形態は、シャッタボタン２２の全押しにより主画素、副画素から出力された信号に対してシェーディング補正を行うシェーディング補正手段として、シェーディング（ＳＤ）補正部６７を有している。

ＳＤ補正部６７は、通常のシェーディング補正と、単眼立体撮像装置１に特有のシェーディング補正との２通りのシェーディング補正を行う。

２次元シェーディング（ＳＤ）補正部６７Ｂ（第１のシェーディング補正手段）は、撮影レンズの中心と端部とで光量がことなるという撮影光学系に起因するもの、位相差ＣＣＤ１７の画素のバラツキに起因するもの等の補正、すなわち通常のシェーディング補正を行う部分であり、左右上下方向の２次元に補正値が並べられた２次元の補正テーブル（図９参照）が１つ記憶されている。この２次元の補正テーブルは、例えば中心部の受光量が大きく周辺部の受光量が小さいというシェーディングカーブの逆カーブを基に求められたゲイン（すなわち中心から外側に向けて大きくなるようなゲイン）すなわち補正値が２次元に並べられたテーブルである。２次元ＳＤ補正部６７Ｂは、この２次元の補正テーブルを用いて位相差ＣＣＤ１７全体に対してシェーディング補正を行う。なお、２次元ＳＤ補正部６７Ｂが行う処理は既に公知であるため、説明を省略する。

１次元シェーディング（ＳＤ）補正部６７Ａ（第２のシェーディング補正手段）は、瞳分割方向（本実施の形態では左右方向）に起因し、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図８に示すように、主として、座標演算部６７−１、焦点距離取得部６７−２（焦点距離取得手段）、テーブル選択制御部６７−３、テーブル選択部６７−４、１次元補正テーブル記憶部６７−５、シェーディング（ＳＤ）係数演算部６７−６、シェーディング（ＳＤ）補正部６７−７で構成される。

１次元補正テーブル記憶部６７−５には、主画素用の１次元の補正テーブルと副画素用の１次元の補正テーブルとが記憶されている。単眼立体撮像装置１では、マイクロレンズＭＬの形状や位置に関係して、左右方向に単眼立体撮像装置特有のシェーディングが発生するため、１次元の補正テーブル（図１０参照）のみで補正を行うことができる。

また、１次元補正テーブル記憶部６７−５には、焦点距離に応じて主画素用の１次元の補正テーブル及び副画素用の１次元の補正テーブルがそれぞれ複数記憶されている。単眼立体撮像装置１では、焦点距離を変化させると、位相差ＣＣＤ１７の各フォトダイオードに光束が入射する入射角が異なるため、左右方向のシェーディング形状は大きく変化する。そのため、焦点距離に応じて１次元補正テーブル記憶部６７−５に記憶された１次元の補正テーブルの中から適切な補正テーブルを選択することによって、焦点距離によって異なるシェーディング特性に対応することができる。

焦点距離取得部６７−２は、ズームレンズの位置より焦点距離を求め、テーブル選択制御部６７−３は、１次元補正テーブル記憶部６７−５に記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７−４へ指示を出し、テーブル選択部６７−４は、テーブル選択制御部６７−３の指示に応じて１次元補正テーブル記憶部６７−５から適切な１次元の補正テーブルを取得する。

座標演算部６７−１は、主画素又は副画素から任意の画素を選択し、その情報をテーブル選択部６７−４へ出力する。テーブル選択部６７−４は、焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７−１で選択された画素位置に対応した位置の補正値を読み出す。１次元補正テーブル記憶部６７−５に記憶されている補正値は、全ての画素位置に対応する補正値ではなく、離散的に補正値をもっている。したがって、本実施の形態では、テーブル選択部６７−４は２つの補正値を読みだすこととなる。

ＳＤ係数演算部６７−６は、テーブル選択部６７−４が取得した補正値に対して線形補間等を行うことにより、座標演算部６７−１が選択した任意の画素のシェーディング補正係数を算出する。

ＳＤ補正部６７−７は、ＳＤ係数演算部６７−６が算出したシェーディング補正係数を座標演算部６７−１が選択した任意の画素の画素値に乗じることによりシェーディング補正を行う。

単眼立体撮像装置１は、立体視画像のみでなく、２次元画像の取得も可能である。また、単眼立体撮像装置１は、動画、静止画のみでなく、音声の記録再生が可能である。マイクロフォン５７は送話音声を入力し、スピーカ５６は受話音声を出力し、音声入出力回路５５はマイクロフォンから入力された音声の符号化及び受信した音声の復号化などを行う。

［撮像装置の動作の説明］
次に、単眼立体撮像装置１の動作について説明する。この撮像処理はＣＰＵ４０によって制御される。この撮像処理をＣＰＵ４０に実行させるためのプログラムはＣＰＵ４０内のプログラム格納部に記録されている。

撮影が開始されると、ＣＰＵ４０は、撮影レンズ１４、絞り１６を初期位置へ駆動する。撮影レンズ１４を通過した被写体光は、絞り１６を介して位相差ＣＣＤ１７の受光面に結像される。タイミングジェネレータ４５により、位相差ＣＣＤ１７の主画素及び副画素に蓄えられた信号電荷は、信号電荷に応じた電圧信号（画像信号）として所定のフレームレートで順次読み出され、アナログ信号処理部６０、Ａ／Ｄ変換器６１、画像入力コントローラ６２を介してデジタル信号処理部６３に順次入力され、左眼用画像データ及び右眼用画像データが順次生成される。生成された左眼用画像データ及び右眼用画像データは順次ＶＲＡＭ５０に入力される。

ＣＰＵ４０は、左眼用画像データ及び右眼用画像データにもとづいて、絞り駆動部４６を介して絞り１６の開口量（Ｆ値）を変更する。また、ＣＰＵ４０は、操作部４８からの入力に応じて、レンズ駆動部４７を介してズーミングをおこなう。

撮影者は、この液晶モニタ２８にリアルタイムに表示される画像（スルー画像）を見ることにより、撮影画角を確認することができる。

シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ４０に入力され、ＣＰＵ４０はＡＦ処理部４２及びＡＥ／ＡＷＢ検出部４４を介してＡＥ／ＡＦ動作を実施する。立体視画像の撮影処理においては、ＡＦ処理部４２は、位相差ＡＦ処理によりＡＦ動作を行う。

シャッタボタンが全押しされると、ＣＰＵ４０にＳ２ＯＮ信号が入力され、ＣＰＵ４０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で位相差ＣＣＤ１７を露光する。

図１１は、位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。

まず、ＣＰＵ４０は、単眼立体撮像装置１で撮影された画像が立体視画像であるか、すなわち位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されているか否かを判断する（ステップＳ１０）。立体視画像が得られていない（たとえば、主画素と副画素とが加算されて１枚の２次元画像が得られている）場合（ステップＳ１０でＮＯ）には、瞳分割に起因する主画素の画面と副画素の画面の濃度ムラ（シェーディング）は相殺されるため、１次元ＳＤ補正部６７Ａによるシェーディング補正は行わず、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、焦点距離取得部６７−２は焦点距離を取得し（ステップＳ１１）、テーブル選択制御部６７−３は、１次元補正テーブル記憶部６７−５に記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７−４へ指示を出し、テーブル選択部６７−４は、テーブル選択制御部６７−３の指示に応じて１次元補正テーブル記憶部６７−５から適切な１次元の補正テーブルを取得する（ステップＳ１２、Ｓ１３、Ｓ１４…）。例えば、焦点距離がＡである場合には、焦点距離がＡの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ａ（主画素用）及び１次元ＳＤ補正テーブル２Ａ（副画素用）が取得され（ステップＳ１２）、焦点距離がＢである場合には、焦点距離がＢの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｂ（主画素用）及び１次元ＳＤ補正テーブル２Ｂ（副画素用）が取得され（ステップＳ１３）、焦点距離がＣである場合には、焦点距離がＣの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｃ（主画素用）及び１次元ＳＤ補正テーブル２Ｃ（副画素用）が取得される（ステップＳ１４）。これにより、シェーディング補正に使用される１次元の補正テーブルが取得される。なお、１次元ＳＤ補正テーブル１Ａ（主画素用）と１次元ＳＤ補正テーブル２Ａ（副画素用）とは左右対称の補正値を有し、１次元ＳＤ補正テーブル１Ｂ（主画素用）と１次元ＳＤ補正テーブル２Ｂ（副画素用）とは左右対称の補正値を有し、１次元ＳＤ補正テーブル１Ｃ（主画素用）と１次元ＳＤ補正テーブル２Ｃ（副画素用）とは左右対称の補正値を有する。

１次元ＳＤ補正部６７Ａは、取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ１５）。以下、ステップＳ１５を具体的に説明する。

座標演算部６７−１は、主画素から任意の画素を選択し、その情報を出力されたテーブル選択部６７−４はステップＳ１２〜Ｓ１４で取得された１次元の補正テーブルのうちの主画素用のテーブル（１次元ＳＤ補正テーブル１Ａ、１次元ＳＤ補正テーブル１Ｂ、１次元ＳＤ補正テーブル１Ｃ）の中から座標演算部６７−１で選択された画素位置に対応した補正値を読み出す（ステップＳ１５−１）。ＳＤ係数演算部６７−６は、テーブル選択部６７−４が取得した補正値に対して線形補間等により、座標演算部６７−１が選択した任意の画素のシェーディング補正係数を算出する（ステップＳ１５−２）。なお、座標演算部６７−１は、 主画素群の所定の列の任意の位置の画素を第１の画素として選択し、かつ副画素群の所定の列の第１の画素に対応する位置にある画素を第２の画素として選択する手段と、第１の画素に対する補正値を、第１の画素の位置に対応する位置にある補正値を１次元の補正テーブルから読み出す手段と、から構成されている。

ＳＤ補正部６７−７は、ＳＤ係数演算部６７−６が算出したシェーディング補正係数を座標演算部６７−１が選択した任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ１５−３）。１次元ＳＤ補正部６７Ａは、ステップＳ１５−１〜ステップＳ１５−３の処理を主画素のすべての画素について繰り返し行う。

主画素のすべての画素についてシェーディング補正が行われたら、１次元ＳＤ補正部６７Ａは、副画素についてシェーディング補正をおこなう。すなわち、座標演算部６７−１は、副画素から任意の画素を選択し、その情報を出力されたテーブル選択部６７−４はステップＳ１２〜Ｓ１４で取得された１次元の補正テーブルのうちの副画素用のテーブル（１次元ＳＤ補正テーブル２Ａ、１次元ＳＤ補正テーブル２Ｂ、１次元ＳＤ補正テーブル２Ｃ）の中から座標演算部６７−１で選択された画素位置に対応した補正値を読み出す（ステップＳ１５−４）。ＳＤ係数演算部６７−６は、テーブル選択部６７−４が取得した補正値に対して線形補間等により、座標演算部６７−１が選択した任意の画素のシェーディング補正係数を算出する（ステップＳ１５−５）。

ＳＤ補正部６７−７は、ＳＤ係数演算部６７−６が算出したシェーディング補正係数を座標演算部６７−１が選択した任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ１５−６）。１次元ＳＤ補正部６７Ａは、ステップＳ１５−４〜ステップＳ１５−６の処理を主画素のすべての画素について繰り返し行う。

これにより、単眼立体撮像装置１特有のシェーディング補正（ステップＳ１５）が終了される。その後、シェーディング補正（ステップＳ１５）が行われたデータに対して、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

これにより、シェーディング補正が終了する。このようにしてシェーディング補正された２枚分の画像データは、Ａ／Ｄ変換器６１、画像入力コントローラ６２を介してＶＲＡＭ５０に取り込まれ、３Ｄ画像信号処理部６４において輝度／色差信号に変換されたのち、ＶＲＡＭ５０に格納される。ＶＲＡＭ５０に格納された左眼用画像データは、圧縮伸張処理部６５に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、ＶＲＡＭ５０に格納される。

ＶＲＡＭ５０に記録された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディア・コントローラ５２を介して記録メディア５４に記録される。これにより、立体視画像が撮影、記録される。

なお、本実施の形態では、立体視画像を撮影する場合を例に説明したが、単眼立体撮像装置１は、平面画像、立体視画像の両方が撮影可能である。平面画像を撮影する場合には、位相差ＣＣＤ１７の主画素のみを用いて撮影を行うようにすればよい。撮影処理の詳細については立体視画像を撮影する場合と同様であるため、説明を省略する。

以上のようにして記録メディア５４に記録された画像は、再生ボタンにより単眼立体撮像装置１のモードを再生モードに設定することにより、液晶モニタ２８で再生表示させることができる。

再生モードに設定されると、ＣＰＵ４０は、メディア・コントローラ５２にコマンドを出力し、記録メディア５４に最後に記録された画像ファイルを読み出させる。

読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部６５に加えられ、非圧縮の輝度／色差信号に伸張されたのち、ビデオエンコーダ６６を介して液晶モニタ２８に出力される。

画像のコマ送りは、十字キーの左右のキー操作によって行われ、十字キーの右キーが押されると、次の画像ファイルが記録メディア５４から読み出され、液晶モニタ２８に再生表示される。また、十字キーの左キーが押されると、一つ前の画像ファイルが記録メディア５４から読み出され、液晶モニタ２８に再生表示される。

本実施の形態によれば、通常のシェーディング補正に加え、主画素群（第１の画素群又は第２の画素群）では左端側よりも右端側の受光量が小さくなり、副画素群（第１の画素群又は第２の画素群）では右端側よりも左端側の受光量が小さくなるという瞳分割方向（左右方向）に沿ってシェーディング特性が異なるという単眼立体撮像装置に特有のシェーディング特性を、簡単な方法で補正することができる。

なお、本実施の形態では、２次元ＳＤ補正部６７Ｂには２次元の補正テーブルが１つだけ記憶されている、すなわち焦点距離に応じた複数の２次元の補正テーブルが記憶されていない。これは、通常のシェーディング特性に関する焦点距離によるシェーディングの変化は、単眼撮像装置特有のシェーディング特性に関する焦点距離によるシェーディングの変化に比べて小さいからである。しかしながら、焦点距離によってシェーディング特性も変化するため、２次元ＳＤ補正部６７Ｂに焦点距離に応じた複数の２次元の補正テーブルを記憶するようにし、焦点距離に応じて使用する２次元の補正テーブルを変えるようにしてもよい。

＜第２の実施の形態＞
本発明の第１の実施の形態は、主画素用の１次元の補正テーブルと副画素用の１次元の補正テーブルとが記憶されていたが、１次元の補正テーブルは主画素と副画素とで共有することも可能である。

本発明の第２の実施の形態は、主画素と副画素と同一の１次元の補正テーブルを用いる形態である。以下、第２の実施の形態に係る単眼立体撮像装置２について説明する。なお、撮像装置の構成については、内部構成のうちのＳＤ補正部のみが異なり、その他は第１の実施の形態と同一であるため、同一の部分については説明を省略し、ＳＤ補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第１の実施の形態と異なるため、シェーディング補正の方法のみ説明する。

［撮像装置の内部構成］
図１２は、第２の実施の形態のＳＤ補正部６７−Ａを示す図である。ＳＤ補正部６７−Ａは、主として、通常のシェーディング補正を行う２次元ＳＤ補正部６７Ｂと、単眼立体撮像装置２に特有のシェーディング補正を行う１次元ＳＤ補正部６７Ａ−１とで構成される。

１次元ＳＤ補正部６７Ａ−１は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図１２に示すように、主として、座標演算部６７−１、焦点距離取得部６７−２、テーブル選択制御部６７−３、テーブル選択部６７−４ａ、１次元補正テーブル記憶部６７−５ａ、シェーディング（ＳＤ）係数演算部６７−６、シェーディング（ＳＤ）補正部６７−７とで構成される。

１次元補正テーブル記憶部６７−５ａには、焦点距離に応じた複数の１次元の補正テーブルが記憶されている。本実施の形態では、主画素と副画素とで同一の１次元の補正テーブルを使用する。

座標演算部６７−１は、主画素から任意の画素を選択し、その情報をテーブル選択部６７−４へ出力する。テーブル選択部６７−４ａは、焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７−１で選択された画素位置に対応した位置の補正値を読み出す。

座標演算部６７−１は、副画素から任意の画素を選択し、その情報をテーブル選択部６７−４へ出力する。テーブル選択部６７−４ａは、主画素の任意の画素が選択された場合と同様にして焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７−１で選択された画素位置に対応した位置を決定し、１次元の補正テーブルのなかの決定した位置と左右対称位置の補正値を読み出す。

［撮像装置の動作の説明］
図１３は、位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。

まず、ＣＰＵ４０は、単眼立体撮像装置１で撮影された画像が立体視画像であるか否かを判断する（ステップＳ１０）。立体視画像が得られていない場合（ステップＳ１０でＮＯ）には、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、焦点距離取得部６７−２は焦点距離を取得し（ステップＳ１１）、テーブル選択制御部６７−３は、１次元補正テーブル記憶部６７−５に記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７−４ａへ指示を出し、テーブル選択部６７−４ａは、テーブル選択制御部６７−３の指示に応じて１次元補正テーブル記憶部６７−５ａから適切な１次元の補正テーブルを取得する（ステップＳ２１、Ｓ２２、Ｓ２３…）。例えば、焦点距離がＡである場合には、焦点距離がＡの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ａが取得され（ステップＳ２１）、焦点距離がＢである場合には、焦点距離がＢの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｂが取得され（ステップＳ２２）、焦点距離がＣである場合には、焦点距離がＣの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｃが取得される（ステップＳ２３）。これにより、シェーディング補正に使用される１次元の補正テーブルが取得される。

１次元ＳＤ補正部６７Ａ−１は、取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ２４）。以下、ステップＳ２４を具体的に説明する。

座標演算部６７−１は、図１４Ａに示すように、主画素（Ａ群画素）及び副画素（Ｂ群画素）から同じ位置にある任意の画素を選択する（ステップＳ２４−１）。任意の画素の情報はテーブル選択部６７−４ａに出力され、テーブル選択部６７−４ａは、図１４Ｂに示すように、ステップＳ２１〜Ｓ２３で取得された１次元の補正テーブルの中から座標演算部６７−１で選択された主画素の画素位置に対応した補正値を読み出す（ステップＳ２４−２）。また、テーブル選択部６７−４ａは、図１４Ｃに示すように、ステップＳ２１〜Ｓ２３で取得された１次元の補正テーブルの中の補正値であって、ステップＳ２４−２で読みだされた補正値と左右対称位置にある補正値を読み出す（ステップＳ２４−３）。

ＳＤ係数演算部６７−６は、テーブル選択部６７−４ａがステップＳ２４−２、ステップＳ２４−３のそれぞれで取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する（ステップＳ２４−４）。

ＳＤ補正部６７−７は、テーブル選択部６７−４ａがステップＳ２４−２で取得した補正値に基づいてＳＤ係数演算部６７−６が算出したシェーディング補正係数を、座標演算部６７−１が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ２４−５）。また、ＳＤ補正部６７−７は、テーブル選択部６７−４ａがステップＳ２４−３で取得した補正値に基づいてＳＤ係数演算部６７−６が算出したシェーディング補正係数を、座標演算部６７−１が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ２４−５）。

これを主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置１特有のシェーディング補正（ステップＳ２４）が終了される。その後、シェーディング補正（ステップＳ２４）が行われたデータに対して、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

本実施の形態によれば、１つの１次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。

＜第３の実施の形態＞
本発明の第３の実施の形態は、第２の実施の形態と同様、主画素と副画素と同一の１次元の補正テーブルを用いる形態である。以下、第３の実施の形態に係る単眼立体撮像装置３について説明する。なお、撮像装置の構成については、内部構成のうちのＳＤ補正部のみが異なり、その他は第１の実施の形態と同一であるため、同一の部分については説明を省略し、ＳＤ補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第１の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第１の実施の形態及び第２の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

［撮像装置の内部構成］
図１５は、第３の実施の形態のＳＤ補正部６７−Ｂを示す図である。ＳＤ補正部６７−Ｂは、主として、通常のシェーディング補正を行う２次元ＳＤ補正部６７Ｂと、単眼立体撮像装置３に特有のシェーディング補正を行う１次元ＳＤ補正部６７Ａ−２とで構成される。

１次元ＳＤ補正部６７Ａ−２は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図１５に示すように、主として、座標演算部６７−１、焦点距離取得部６７−２、テーブル選択制御部６７−３、テーブル選択部６７−４ａ、１次元補正テーブル記憶部６７−５ａ、シェーディング（ＳＤ）係数演算部６７−６、シェーディング（ＳＤ）補正部６７−７、読み出し方向制御部６７−８で構成される。

読み出し方向制御部６７−８は、座標演算部６７−１が任意の画素を選択するときの読み出し方向を制御する。読み出し方向制御部６７−８は、主画素に対しては座標演算部６７−１が左方向から読み出すように制御し、副画素に対しては座標演算部６７−１が右方向から読み出すように制御する。例えば、座標演算部６７−１が端から５個目の画素を任意の画素として選択する場合には、読み出し方向制御部６７−８は、主画素の場合には、図１６Ａに示すように座標演算部６７−１が左端から５個目の画素を読み出すように制御し、副画素の場合には、図１６Ｂに示すように座標演算部６７−１が左端から５個目の画素を読み出すように制御する。

座標演算部６７−１は、主画素及び副画素から任意の画素を選択し、その情報をテーブル選択部６７−４へ出力する。テーブル選択部６７−４ａは、焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７−１で選択された画素位置に対応した位置の補正値を読み出す。

［撮像装置の動作の説明］
図１７は、位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。

まず、ＣＰＵ４０は、単眼立体撮像装置１で撮影された画像が立体視画像であるか否かを判断する（ステップＳ１０）。立体視画像が得られていない場合（ステップＳ１０でＮＯ）には、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、焦点距離取得部６７−２は焦点距離を取得し（ステップＳ１１）、テーブル選択制御部６７−３は、１次元補正テーブル記憶部６７−５ａに記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７−４ａへ指示を出し、テーブル選択部６７−４ａは、テーブル選択制御部６７−３の指示に応じて１次元補正テーブル記憶部６７−５ａから適切な１次元の補正テーブルを取得する（ステップＳ２１、Ｓ２２、Ｓ２３…）。

１次元ＳＤ補正部６７Ａ−２は、取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ３１）。以下、ステップＳ３１を具体的に説明する。

座標演算部６７−１は、主画素（Ａ群画素）から任意の画素を選択し、テーブル選択部６７−４ａは、ステップＳ２１〜Ｓ２３で取得された１次元の補正テーブルの中から座標演算部６７−１で選択された主画素の画素位置に対応した補正値を読み出す（ステップＳ３１−１）。

ＳＤ係数演算部６７−６は、テーブル選択部６７−４ａがステップＳ３１−１で取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する（ステップＳ３１−２）。ステップＳ３１−１において、図１６Ａに示すように主画素の左端から５番目の画素が任意の画素として選択された場合には、ステップＳ３１−２においては、主画素の左端から５番目の画素に対するシェーディング補正係数が算出される。

ＳＤ補正部６７−７は、ＳＤ係数演算部６７−６が算出したシェーディング補正係数を、座標演算部６７−１が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ３１−３）。

また、ＳＤ補正部６７−７は、読み出し方向制御部６７−８の制御のもと、主画素（Ａ群画素）から選択された任意の画素の位置と左右対称の位置にある画素を任意の画素として副画素から読み出す。そして、ＳＤ補正部６７−７は、ＳＤ係数演算部６７−６が算出したシェーディング補正係数を、座標演算部６７−１が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ３１−３）。ステップＳ３１−１において、図１６Ａに示すように主画素の左端から５番目の画素が任意の画素として選択された場合には、ステップＳ３１−３では図１６Ｂに示すように副画素の左端から５番目の画素が任意の画素として選択され、ステップＳ３１−２で算出された主画素の左端から５番目の画素に対するシェーディング補正係数を副画素の左端から５番目の画素の画素値に乗じることでシェーディング補正が行われる。

これを主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置１特有のシェーディング補正（ステップＳ３１）が終了される。その後、シェーディング補正（ステップＳ３１）が行われたデータに対して、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

本実施の形態によれば、１つの１次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。

＜第４の実施の形態＞
本発明の第４の実施の形態は、絞り１６の絞り値に応じて１次元補正テーブル記憶部６７−５ｂから、その絞り値に対応する１次元の補正テーブルを選択する点で、第１の実施の形態と相違する。

絞り１６の絞り値（開口径）が異なると、位相差ＣＣＤ１７の各フォトダイオードに光束が入射する入射角が異なるため、左右方向のシェーディング形状は大きく変化する。そのため、第４の実施の形態では、絞り値に応じて１次元補正テーブル記憶部６７−５ｂに記憶された１次元の補正テーブルの中から適切な補正テーブルを選択することによって、絞り値によって異なるシェーディング特性に対応できるようにしている。

以下、第４の実施の形態に係る単眼立体撮像装置４について説明する。なお、撮像装置の構成については、内部構成のうちのＳＤ補正部のみが異なり、その他は第１の実施の形態と同一であるため、同一の部分については説明を省略し、ＳＤ補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第１の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

［撮像装置の内部構成］
図１８は、第４の実施の形態のＳＤ補正部６７−Ｃを示す図である。ＳＤ補正部６７−Ｃは、主として、通常のシェーディング補正を行う２次元ＳＤ補正部６７Ｂと、単眼立体撮像装置４に特有のシェーディング補正を行う１次元ＳＤ補正部６７Ａ−３とで構成される。

１次元ＳＤ補正部６７Ａ−３は、図１８に示すように、主として、座標演算部６７−１、絞り値取得部６７−３、テーブル選択制御部６７−４、テーブル選択部６７−４ｂ、１次元補正テーブル記憶部６７−５ｂ、シェーディング（ＳＤ）係数演算部６７−６、シェーディング（ＳＤ）補正部６７−７で構成される。

座標演算部６７−１は、主画素及び副画素から任意の画素を選択し、その情報をテーブル選択部６７−４ｂへ出力する。テーブル選択部６７−４ｂは、絞り値に応じて選択された１次元の補正テーブルの中から座標演算部６７−１で選択された画素位置に対応した位置の補正値を読み出す。

［撮像装置の動作の説明］
図１９は、位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。

尚、図１９に示したフローチャートは、図１１に示した第１の実施の形態とは、点線で囲んだステップ（ステップＳ１１’、及びステップＳ１２’、Ｓ１３’、Ｓ１４’…）の処理のみが異なるため、以下、これらのステップＳ１１’、及びステップＳ１２’、Ｓ１３’、Ｓ１４’…についてのみ説明する。

図１９において、位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、絞り値取得部６７−３は、絞り１６の現在の絞り値を取得し、現在の絞り値が、絞り値Ｆ_１、Ｆ_２、Ｆ_３、…のうちのいずれの絞り値かを判別し（ステップＳ１１’）、その判別結果をテーブル選択制御部６７−４に出力する。

テーブル選択制御部６７−４は、１次元補正テーブル記憶部６７−５ｂに絞り値Ｆ_１、Ｆ_２、Ｆ_３、…に応じて記憶された１次元の補正テーブルの中から、現在の絞り１６の絞り値に応じたテーブルを選択するようにテーブル選択部６７−４ｂへ指示を出し、テーブル選択部６７−４ｂは、テーブル選択制御部６７−４からの指示に応じて１次元補正テーブル記憶部６７−５ｂから適切な１次元の補正テーブルを取得する（ステップＳ１２’、Ｓ１２’、Ｓ１２’…）。

本実施の形態によれば、絞り１６の絞り値に応じて適切な補正テーブルを選択するようにしたため、絞り値によって異なるシェーディング特性に対応することができる。

＜第５の実施の形態＞
本発明の第５の実施の形態は、第２の実施の形態と同様、主画素と副画素と同一の１次元の補正テーブルを用い、画素の色（ＲＧＢ）に応じて使用する１次元の補正テーブルを切り替える形態である。以下、第５の実施の形態に係る単眼立体撮像装置５について説明する。なお、撮像装置の構成については、内部構成のうちのＳＤ補正部のみが異なり、その他は第１の実施の形態と同一であるため、同一の部分については説明を省略し、ＳＤ補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第１の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第１の実施の形態〜第３の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

［撮像装置の内部構成］
図２０は、第５の実施の形態のＳＤ補正部６７−Ｄを示す図である。ＳＤ補正部６７−Ｄは、主として、通常のシェーディング補正を行う２次元ＳＤ補正部６７Ｂと、単眼立体撮像装置５に特有のシェーディング補正を行う１次元ＳＤ補正部６７Ａ−４とで構成される。

１次元ＳＤ補正部６７Ａ−４は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図２０に示すように、主として、座標演算部６７−１、焦点距離取得部６７−２、テーブル選択制御部６７−３ｂ、テーブル選択部６７−４ｃ、１次元補正テーブル記憶部６７−５ｃ、シェーディング（ＳＤ）係数演算部６７−６、シェーディング（ＳＤ）補正部６７−７、画素色（ＲＧＢ）取得部６７−９で構成される。

１次元補正テーブル記憶部６７−５ｃには、画素色（ＲＧＢ）に応じた複数の１次元の補正テーブルが記憶されている。各色ごとの１次元の補正テーブルのそれぞれに対して、焦点距離に応じた複数の１次元の補正テーブルが記憶されている。本実施の形態では、主画素と副画素とで同一の１次元の補正テーブルを使用する。

座標演算部６７−１は、主画素から任意の画素を選択し、その情報をテーブル選択部６７−４及び画素色（ＲＧＢ）取得部６７−９へ出力する。画素色（ＲＧＢ）取得部６７−９は、座標演算部６７−１が選択した任意の画素の画素色が何であるかを判断し、テーブル選択制御部６７−３ｂへ出力する。テーブル選択制御部６７−３ｂは、１次元補正テーブル記憶部６７−５に記憶された１次元の補正テーブルの中から画素色及び焦点距離に応じたテーブルを選択するようにテーブル選択部６７−４ｃへ指示を出し、テーブル選択部６７−４ｃは、焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７−１で選択された画素位置に対応した位置の補正値を読み出す。

座標演算部６７−１は、副画素から任意の画素を選択し、その情報をテーブル選択部６７−４ｃへ出力する。テーブル選択部６７−４ｃは、主画素の任意の画素が選択された場合と同様にして画素色及び焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７−１で選択された画素位置に対応した位置を決定し、１次元の補正テーブルのなかの決定した位置と左右対称位置の補正値を読み出す。

［撮像装置の動作の説明］
図２１は、位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。

まず、ＣＰＵ４０は、単眼立体撮像装置１で撮影された画像が立体視画像であるか否かを判断する（ステップＳ１０）。立体視画像が得られていない場合（ステップＳ１０でＮＯ）には、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、焦点距離取得部６７−２は焦点距離を取得し（ステップＳ１１）、テーブル選択制御部６７−３ｂは、１次元補正テーブル記憶部６７−５ｃに記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７−４ｃへ指示を出す。以下、焦点距離がＡである場合について説明する。焦点距離がＢ，Ｃ…である場合については、焦点距離がＡである場合の処理と同様であるため、説明を省略する。

座標演算部６７−１は、主画素（Ａ群画素）及び副画素（Ｂ群画素）から同じ位置にある任意の画素を選択する（ステップＳ４１）。画素色（ＲＧＢ）取得部６７−９は、主画素（Ａ群画素）、副画素（Ｂ群画素）のそれぞれについて、ステップＳ４１で選択された任意の画素の画素色を判断する（ステップＳＳ４２）。

画素色に応じて、テーブル選択部６７−４ａは、テーブル選択制御部６７−３の指示に応じて、１次元補正テーブル記憶部６７−５ａから適切な１次元の補正テーブルを取得する（ステップＳ４３、Ｓ４４、Ｓ４５）。例えば、画素色がＲの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＲの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｒが取得され（ステップＳ４３）、画素色がＧの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＧの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｇが取得され（ステップＳ４４）、画素色がＢの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＢの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｂが取得される（ステップＳ４５）。これにより、シェーディング補正に使用される１次元の補正テーブルが取得される。

１次元ＳＤ補正部６７Ａ−４は、取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ４６）。以下、ステップＳ４６を具体的に説明する。

ステップＳ４１で選択された任意の画素の情報はテーブル選択部６７−４ｃに出力され、テーブル選択部６７−４ｃは、ステップＳ４３〜Ｓ４５で取得された１次元の補正テーブルの中から座標演算部６７−１で選択された主画素の画素位置に対応した補正値を読み出す（ステップＳ４６−１）。

また、テーブル選択部６７−４ｃは、ステップＳ４３〜Ｓ４５で取得された１次元の補正テーブルの中の補正値であって、ステップＳ４６−１で読みだされた補正値と左右対称位置にある補正値を読み出す（ステップＳ４６−２）。左右対称位置にある補正値を読み出す方法は、ステップＳ２４−３と同様である。

ＳＤ係数演算部６７−６は、テーブル選択部６７−４ｃがステップＳ４６−１、ステップＳ４６−２のそれぞれで取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する（ステップＳ４６−３）。

ＳＤ補正部６７−７は、テーブル選択部６７−４ｃがステップＳ４６−１で取得した補正値に基づいてＳＤ係数演算部６７−６が算出したシェーディング補正係数を、座標演算部６７−１が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ４６−４）。また、ＳＤ補正部６７−７は、テーブル選択部６７−４ａがステップＳ４６−２で取得した補正値に基づいてＳＤ係数演算部６７−６が算出したシェーディング補正係数を、座標演算部６７−１が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ４６−４）。

ステップＳ４１〜Ｓ４６を主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置５特有のシェーディング補正が終了される。その後、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

本実施の形態によれば、１つの１次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。

また、本実施の形態によれば、ＲＧＢでシェーディング特性が異なる場合においても、適切なシェーディング補正を行うことができる。

＜第６の実施の形態＞
本発明の第６の実施の形態は、第５の実施の形態と同様、画素の色（ＲＧＢ）に応じて使用する１次元の補正テーブルを切り替える形態であるが、第６の実施の形態はさらにＧｒ，Ｇｂで使用する１次元テーブルを切り替える形態である。以下、第６の実施の形態に係る単眼立体撮像装置６について説明する。なお、撮像装置の構成については、内部構成のうちのＳＤ補正部のみが異なり、その他は第１の実施の形態と同一であるため、同一の部分については説明を省略し、ＳＤ補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第１の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第１の実施の形態〜第５の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

［撮像装置の内部構成］
図２２は、第６の実施の形態のＳＤ補正部６７−Ｅを示す図である。ＳＤ補正部６７−Ｅは、主として、通常のシェーディング補正を行う２次元ＳＤ補正部６７Ｂと、単眼立体撮像装置６に特有のシェーディング補正を行う１次元ＳＤ補正部６７Ａ−５とで構成される。

１次元ＳＤ補正部６７Ａ−５は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図２２に示すように、主として、座標演算部６７−１、焦点距離取得部６７−２、テーブル選択制御部６７−３ｃ、テーブル選択部６７−４ｄ、１次元補正テーブル記憶部６７−５ｄ、シェーディング（ＳＤ）係数演算部６７−６、シェーディング（ＳＤ）補正部６７−７、画素色（Ｒ、Ｇｒ、Ｂ、Ｇｂ）取得部６７−９ａで構成される。

１次元補正テーブル記憶部６７−５ｄには、画素色（Ｒ、Ｇｒ、Ｂ、Ｇｂ）に応じた複数の１次元の補正テーブルが記憶されている。画素色のうちのＧｒは、ＧＲＧＲ…の画素配列のラインに配設されたＧ画素であり、Ｇｂは、ＢＧＢＧ…の画素配列のラインに配設されたＧ画素である。各色ごとの１次元の補正テーブルのそれぞれに対して、焦点距離に応じた複数の１次元の補正テーブルが記憶されている。本実施の形態では、主画素と副画素とで同一の１次元の補正テーブルを使用する。

同じＧ画素であっても、隣接する画素の色によってシェーディング特性が変わる。本実施の形態では、Ｇｒ、Ｇｂとで異なる１次元の補正テーブルを持つことでより正確なシェーディング補正が可能となる。

座標演算部６７−１は、主画素から任意の画素を選択し、その情報をテーブル選択部６７−４及び画素色（ＲＧＢ）取得部６７−９ａへ出力する。画素色（Ｒ、Ｇｒ、Ｂ、Ｇｂ）取得部６７−９ａは、座標演算部６７−１が選択した任意の画素の画素色が何であるかを判断し、テーブル選択制御部６７−３ｃへ出力する。テーブル選択制御部６７−３ｃは、１次元補正テーブル記憶部６７−５ｄに記憶された１次元の補正テーブルの中から画素色及び焦点距離に応じたテーブルを選択するようにテーブル選択部６７−４ｄへ指示を出し、テーブル選択部６７−４ｄは、焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７−１で選択された画素位置に対応した位置の補正値を読み出す。

座標演算部６７−１は、副画素から任意の画素を選択し、その情報をテーブル選択部６７−４ｄへ出力する。テーブル選択部６７−４ｄは、主画素の任意の画素が選択された場合と同様にして画素色及び焦点距離に応じて選択された１次元の補正テーブルの中から座標演算部６７−１で選択された画素位置に対応した位置を決定し、１次元の補正テーブルのなかの決定した位置と左右対称位置の補正値を読み出す。

［撮像装置の動作の説明］
図２３は、位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。

まず、ＣＰＵ４０は、単眼立体撮像装置６で撮影された画像が立体視画像であるか否かを判断する（ステップＳ１０）。立体視画像が得られていない場合（ステップＳ１０でＮＯ）には、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、焦点距離取得部６７−２は焦点距離を取得し（ステップＳ１１）、テーブル選択制御部６７−３ｃは、１次元補正テーブル記憶部６７−５ｄに記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７−４ｄへ指示を出す。以下、焦点距離がＡである場合について説明する。焦点距離がＢ，Ｃ…である場合については、焦点距離がＡである場合の処理と同様であるため、説明を省略する。

座標演算部６７−１は、主画素（Ａ群画素）及び副画素（Ｂ群画素）から同じ位置にある任意の画素を選択する（ステップＳ４１）。画素色（Ｒ、Ｇｒ、Ｂ、Ｇｂ）取得部６７−９ａは、主画素（Ａ群画素）、副画素（Ｂ群画素）のそれぞれについて、選択された任意の画素の画素色を判断する（ステップＳＳ５１）。

画素色に応じて、テーブル選択部６７−４ｄは、テーブル選択制御部６７−３の指示に応じて、１次元補正テーブル記憶部６７−５ｄから適切な１次元の補正テーブルを取得する（ステップＳ２１、Ｓ２２、Ｓ２３…）。例えば、画素色がＲの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＲの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｒが取得され（ステップＳ５２）、画素色がＧｒの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＧｒの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｇｒが取得され（ステップＳ５３）、画素色がＢの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＢの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｂが取得され（ステップＳ５４）、画素色がＧｂの場合には、焦点距離がＡの場合の１次元の補正テーブルの中から、画素色がＧｂの場合の１次元の補正テーブルである１次元ＳＤ補正テーブル１Ｇｂが取得される（ステップＳ５５）。これにより、シェーディング補正に使用される１次元の補正テーブルが取得される。

１次元ＳＤ補正部６７Ａ−５は、取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ５６）。以下、ステップＳ５６を具体的に説明する。

ステップＳ４１で選択された任意の画素の情報はテーブル選択部６７−４ｄに出力され、テーブル選択部６７−４ｄは、ステップＳ５２〜Ｓ５５で取得された１次元の補正テーブルの中から座標演算部６７−１で選択された主画素の画素位置に対応した補正値を読み出す（ステップＳ５６−１）。

また、テーブル選択部６７−４ｄは、ステップＳ５２〜Ｓ５５で取得された１次元の補正テーブルの中の補正値であって、ステップＳ５６−１で読みだされた補正値と左右対称位置にある補正値を読み出す（ステップＳ５６−２）。左右対称位置にある補正値を読み出す方法は、ステップＳ２４−３と同様である。

ＳＤ係数演算部６７−６は、テーブル選択部６７−４ｄがステップＳ５６−１、ステップＳ５６−２のそれぞれで取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する（ステップＳ５６−３）。

ＳＤ補正部６７−７は、テーブル選択部６７−４ｄがステップＳ４６−１で取得した補正値に基づいてＳＤ係数演算部６７−６が算出したシェーディング補正係数を、座標演算部６７−１が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ５６−４）。また、ＳＤ補正部６７−７は、テーブル選択部６７−４ｄがステップＳ５６−２で取得した補正値に基づいてＳＤ係数演算部６７−６が算出したシェーディング補正係数を、座標演算部６７−１が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ５６−４）。

ステップＳ４１〜Ｓ５６を主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置６特有のシェーディング補正が終了される。その後、シェーディング補正（ステップＳ５６）が行われたデータに対して、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

本実施の形態によれば、１つの１次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。

また、本実施の形態によれば、ＲＧＢでシェーディング特性が異なる場合においても、特にＧ画素についてより適切なシェーディング補正を行うことができる。

なお、本実施の形態では、Ｒ、Ｇｒ、Ｂ、Ｇｂで別々の１次元の補正テーブルを用いたが、ＧＲライン用の１次元の補正テーブルとＧＢライン用の１次元の補正テーブルとを記憶させておき、シェーディング補正の対象がＧＲラインなのかＧＢラインなのかに応じて適切な補正テーブルを用いるようにしてもよい。

＜第７の実施の形態＞
本発明の第１の実施の形態では、位相差ＣＣＤ１７の主画素に射出瞳を通過する光束の光軸の左側のみを受光させ、副画素に射出瞳を通過する光束の光軸の右側のみを受光させるようにすることで立体視画像を撮影したが、立体視画像の撮影方法はこれに限られない。

本発明の第７の実施の形態は、左右方向、上下方向の２通りの方法で立体視画像を用いる形態である。以下、第７の実施の形態に係る単眼立体撮像装置７について説明する。なお、撮像装置の構成については、固体撮像素子の構造及び内部構成のうちのＳＤ補正部のみが異なり、その他は第１の実施の形態と同一であるため、同一の部分については説明を省略し、固体撮像素子の構造及びＳＤ補正部についてのみ説明する。また、撮像装置の動作の説明については、シェーディング補正の方法のみ第１の実施の形態と異なるため、シェーディング補正の方法のみ説明する。なお、第１の実施の形態〜第６の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

［撮影光学系、撮像素子の構成例］
レンズユニット１２は、主として撮影レンズ１４、絞り１６、位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ」という）１７’で構成される。

図２４は位相差ＣＣＤ１７’の構成例を示す図である。

位相差ＣＣＤ１７’は、４個のフォトダイオードＡ、Ｂ、Ｃ、Ｄが２次元に並べられ、その４個のフォトダイオードを覆うように１つのマイクロレンズＭＬ’が配設されたものを１個のユニット（４画素１マイクロレンズ）として、このユニットが２次元に配置されている。ユニット内の各フォトダイオードは、それぞれ独立して読み出すことができるようになっている。

図２４に示すように位相差ＣＣＤ１７’の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインが設けられ、一方、偶数ライン（２、４、６、…）の画素は、ＢＧＢＧ…の画素配列のラインが設けられる。

図２５は、位相差ＣＣＤ１７’で立体視画像を撮影する仕組みについて説明する図である。

位相差ＣＣＤ１７’が水平方向で撮影された場合（通常の横撮り）には、各ユニットのフォトダイオードＡ及びＣを合成したものが、射出瞳を通過する光束の光軸の左側のみが受光される主画素となり、フォトダイオードＡ及びＣの合成画像が左目用の画像となる。また、各ユニットのフォトダイオードＢ及びＤを合成したものが、射出瞳を通過する光束の光軸の右側のみが受光される副画素となり、フォトダイオードＢ及びＤの合成画像が左目用の画像となる。

位相差ＣＣＤ１７’が垂直方向で撮影された場合（単眼立体撮像装置７を９０度回転させて撮影するいわゆる縦撮り）には、各ユニットのフォトダイオードＡ及びＢを合成したものが、射出瞳を通過する光束の光軸の左側のみが受光される主画素となり、フォトダイオードＡ及びＢの合成画像が左目用の画像となる。また、各ユニットのフォトダイオードＣ及びＤを合成したものが、射出瞳を通過する光束の光軸の右側のみが受光される副画素となり、フォトダイオードＣ及びＤの合成画像が左目用の画像となる。

［撮像装置の内部構成］
図２６は、第７の実施の形態のＳＤ補正部６７−Ｆを示す図である。ＳＤ補正部６７−Ｆは、主として、通常のシェーディング補正を行う２次元ＳＤ補正部６７Ｂと、単眼立体撮像装置７に特有のシェーディング補正を行う１次元ＳＤ補正部６７Ａ−５とで構成される。

１次元ＳＤ補正部６７Ａ−５は、主画素と副画素とで逆となっているシェーディング特性を補正する部分であり、図２６に示すように、主として、座標演算部６７−１、焦点距離取得部６７−２、テーブル選択制御部６７−３ｄ、テーブル選択部６７−４ｅ、１次元補正テーブル記憶部６７−５ｅ、シェーディング（ＳＤ）係数演算部６７−６、シェーディング（ＳＤ）補正部６７−７、水平、垂直補正制御部６７−１０で構成される。

１次元補正テーブル記憶部６７−５ｅには、位相差ＣＣＤ１７’が水平方向で撮影された場合の複数の１次元の補正テーブルと、位相差ＣＣＤ１７’が垂直方向で撮影された場合の複数の１次元の補正テーブルとが記憶されている。位相差ＣＣＤ１７’が水平方向で撮影された場合の複数の１次元の補正テーブルと、位相差ＣＣＤ１７’が垂直方向で撮影された場合の複数の１次元の補正テーブルとのそれぞれに対して、焦点距離に応じた複数の１次元の補正テーブルが記憶されている。本実施の形態では、主画素と副画素とで同一の１次元の補正テーブルを使用する。

水平、垂直補正制御部６７−１０は、ジャイロセンサ等〜なり、位相差ＣＣＤ１７’が水平方向で撮影されたか、位相差ＣＣＤ１７’が垂直方向で撮影されたか（以下、撮影方向という）を判断する。水平、垂直補正制御部６７−１０での判断結果は、テーブル選択制御部６７−３ｄへ出力される。

座標演算部６７−１は、主画素から任意の画素を選択し、その情報をテーブル選択部６７−４ｅへ出力する。テーブル選択制御部６７−３ｄは、１次元補正テーブル記憶部６７−５ｅに記憶された１次元の補正テーブルの中から撮影方向及び焦点距離に応じたテーブルを選択するようにテーブル選択部６７−４ｅへ指示を出し、テーブル選択部６７−４ｅは、選択された１次元の補正テーブルの中から座標演算部６７−１で選択された画素位置に対応した位置の補正値を読み出す。

座標演算部６７−１は、副画素から任意の画素を選択し、その情報をテーブル選択部６７−４ｅへ出力する。テーブル選択制御部６７−３ｄは、１次元補正テーブル記憶部６７−５ｅに記憶された１次元の補正テーブルの中から撮影方向及び焦点距離に応じたテーブルを選択するようにテーブル選択部６７−４ｅへ指示を出し、テーブル選択部６７−４ｅは、選択された１次元の補正テーブルの中から座標演算部６７−１で選択された画素位置に対応した位置の補正値を読み出す。

［撮像装置の動作の説明］
図２７は、位相差ＣＣＤ１７’の主画素、副画素からそれぞれ出力され、アナログ信号処理部６０で処理された２枚分の画像データに対してシェーディング補正を行う処理の流れを示すフローチャートである。以下の処理は、主としてＣＰＵ４０によって制御される。

まず、ＣＰＵ４０は、単眼立体撮像装置１で撮影された画像が立体視画像であるか否かを判断する（ステップＳ１０）。立体視画像が得られていない場合（ステップＳ１０でＮＯ）には、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

位相差ＣＣＤ１７の主画素、副画素から２枚分の画像データが取得されている場合（ステップＳ１０でＹＥＳ）には、焦点距離取得部６７−２は焦点距離を取得し（ステップＳ１１）、テーブル選択制御部６７−３ｄは、１次元補正テーブル記憶部６７−５ｅに記憶された１次元の補正テーブルの中から焦点距離に応じたテーブルを選択するようにテーブル選択部６７−４ｅへ指示を出す。以下、焦点距離がＡである場合について説明する。焦点距離がＢ，Ｃ…である場合については、焦点距離がＡである場合の処理と同様であるため、説明を省略する。

水平、垂直補正制御部６７−１０は、撮影方向を判断し、テーブル選択制御部６７−３ｄへ出力する（ステップＳ６１）。テーブル選択制御部６７−３ｄは、１次元補正テーブル記憶部６７−Ｅｆに記憶された１次元の補正テーブルの中から撮影方向及び焦点距離に応じたテーブルを選択するようにテーブル選択部６７−４ｅへ指示を出し、テーブル選択部６７−４ｅは、テーブル選択制御部６７−３ｄの指示に応じて１次元補正テーブル記憶部６７−５ｅから適切な１次元の補正テーブルを取得する（ステップＳ６２、Ｓ６３）。すなわち、焦点距離がＡである場合に、位相差ＣＣＤ１７’が水平方向で撮影された場合には、焦点距離がＡの場合かつ撮影方向が水平方向の１次元の補正テーブルである１次元ＳＤ補正テーブルＸが取得され（ステップＳ６２）、焦点距離がＡである場合に、位相差ＣＣＤ１７’が垂直方向で撮影された場合には、焦点距離がＡの場合かつ撮影方向が垂直方向の１次元の補正テーブルである１次元ＳＤ補正テーブルＹが取得される（ステップＳ６３）。これにより、シェーディング補正に使用される１次元の補正テーブルが取得される。

１次元ＳＤ補正部６７Ａ−５は、取得された１次元の補正テーブルを用いてシェーディング補正を行う（ステップＳ６４）。以下、ステップＳ６４を具体的に説明する。

座標演算部６７−１は、主画素及び副画素から同じ位置にある任意の画素を選択する（ステップＳ６４−１）。任意の画素の情報はテーブル選択部６７−４ｅに出力され、テーブル選択部６７−４ｅは、ステップＳ６２〜Ｓ６３で取得された１次元の補正テーブルの中から座標演算部６７−１で選択された主画素の画素位置に対応した補正値を読み出す（ステップＳ６４−２）。また、テーブル選択部６７−４ｅは、ステップＳ６２〜Ｓ６３で取得された１次元の補正テーブルの中の補正値であって、ステップＳ６４−２で読みだされた補正値と左右対称位置にある補正値を読み出す（ステップＳ６４−３）。

ＳＤ係数演算部６７−６は、テーブル選択部６７−４ｅがステップＳ６４−２、ステップＳ６４−３のそれぞれで取得した補正値に対して、線形補間等によりシェーディング補正係数を算出する（ステップＳ６４−４）。

ＳＤ補正部６７−７は、テーブル選択部６７−４ｅがステップＳ６４−２で取得した補正値に基づいてＳＤ係数演算部６７−６が算出したシェーディング補正係数を、座標演算部６７−１が選択した主画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ６４−５）。また、ＳＤ補正部６７−７は、テーブル選択部６７−４ｅがステップＳ６４−３で取得した補正値に基づいてＳＤ係数演算部６７−６が算出したシェーディング補正係数を、座標演算部６７−１が選択した副画素の任意の画素の画素値に乗じることによりシェーディング補正を行う（ステップＳ６４−５）。

これを主画素、副画素のすべての画素に対して行うことにより、単眼立体撮像装置７特有のシェーディング補正（ステップＳ６４）が終了される。その後、シェーディング補正（ステップＳ６４）が行われたデータに対して、２次元ＳＤ補正部６７Ｂが２次元の補正テーブルを用いて通常のシェーディング補正を行う（ステップＳ１６）。

本実施の形態によれば、１つの１次元の補正テーブルを用いて、左右対称のシェーディング特性を有する主画素、副画素のそれぞれについてシェーディング補正を行うことができる。したがって、メモリ容量や計算量や回路規模が大きくなることを防止し、回路規模やメモリ等を節約することができる。

また、本実施の形態では、水平方向に視差がある立体視画像の場合のみならず、垂直方向に視差がある立体視画像の場合においても適切なシェーディング補正をすることができる。

また、本実施の形態では、主画素と副画素とが加算されて１枚の２次元画像を得る場合、又は図２４に示した４画素１マイクロレンズの４画素を加算することにより１枚の２次元画像を得る場合には、単眼３Ｄ（瞳分割）に起因する各面の濃度ムラが相殺されるため、１次元のシェーディング補正を行わないようにしたが、各面を加算せずに高解像度の２Ｄ画像を取得する場合には、瞳分割に起因する各面の濃度ムラを個別にシェーディング補正する必要がある。

［瞳分割に起因する濃度ムラをシェーディング補正する他の実施の形態］
次に、４画素１マイクロレンズの位相差ＣＣＤ１７’から得られる４面（Ａ，Ｂ，Ｃ，Ｄ面）の瞳分割に起因する濃度ムラを、面ごとに補正する場合について説明する。

図２８は、４画素１マイクロレンズの位相差ＣＣＤ１７’から得られる４面（Ａ，Ｂ，Ｃ，Ｄ面）の瞳分割に起因する濃度ムラを示すイメージ図である。尚、図２８上で、濃度の濃い部分は明るい部分に対応する。

いま、４画素１マイクロレンズの位相差ＣＣＤ１７’（図２４）のフォトダイオードＡのみからなる１画面（Ａ面）の場合、瞳分割に起因する濃度ムラは、Ａ面の右下隅の位置Ｏ_Ａが最も明るくなり、この位置Ｏ_Ａから遠ざかるにしたがって暗くなる濃度勾配を有している。

従って、図２８のＡ面上に示した矢印の方向の１次元の補正テーブル（位置Ｏ_Ａとその対角の位置とを結ぶ対角線上の、位置Ｏ_Ａからの距離に応じた１次元の補正テーブル）を準備し、補正しようとするＡ面の画素をシェーディング補正する場合には、そのＡ面の画素の位置Ｏ_Ａからの距離に基づいて前記１次元の補正テーブルから対応する補正値を読み出して適用することにより、瞳分割に起因するＡ面の濃度ムラのシェーディング補正を行うことができる。

尚、Ａ面内の各画素の位置Ｏ_Ａからの距離は、予め求めることができるため、画素ごとに位置Ｏ_Ａからの距離を示す情報を持たせることができる。

また、Ｂ面、Ｃ面及びＤ面の瞳分割に起因する濃度ムラを補正する場合も、上記Ａ面と同じ１次元の補正テーブルを使用することができる。この場合、１次元の補正テーブルから補正値を読み出すためのＢ面の各画素の距離は、Ｂ面の左下隅の位置Ｏ_Ｂからの距離とし、同様にＣ面、Ｄ面の各画素の距離は、それぞれＣ面の右上隅の位置Ｏ_Ｃからの距離、Ｄ面の左上隅の位置Ｏ_Ｄからの距離とする。

即ち、Ａ面からＤ面の各面の画素は、それぞれ基準とする位置（Ｏ_Ａ〜Ｏ_Ｄ）からの距離情報を予め保持し、各画素の距離に応じた補正値を１次元の補正テーブルから読み出して適用することにより、瞳分割に起因する濃度ムラを補正することができる。

次に、９画素１マイクロレンズの位相差ＣＣＤ１７から得られる９面（Ａ〜Ｉ面）の瞳分割に起因する濃度ムラを、面ごとに補正する場合について説明する。

図２９は、９画素１マイクロレンズの位相差ＣＣＤの要部を示す図である。同図に示すように９画素１マイクロレンズの位相差ＣＣＤは、９個のフォトダイオードＡ〜Ｉが２次元に並べられ、その９個のフォトダイオードを覆うように１つのマイクロレンズＭＬ”が配設されたものを１個のユニット（９画素１マイクロレンズ）として、このユニットが２次元に配置されている。尚、９画素１マイクロレンズの１ユニットは、図２４に示した４画素マイクロレンズと同様にユニット毎に同じカラーフィルタが配設されている。

図３０は、９画素１マイクロレンズの位相差ＣＣＤから得られる９面（Ａ〜Ｉ面）の瞳分割に起因する濃度ムラを示すイメージ図である。尚、図３０上で、濃度の濃い部分は明るい部分に対応する。

いま、図３０に示すように９面（Ａ〜Ｉ面）をマトリクス状に並べると、中央のＥ面が明るく、Ｅ面の中心から遠ざかるにしたがって暗くなる濃度勾配を有している。

従って、図３０に示した矢印の方向の１次元の補正テーブル（Ｅ面の中央からの距離に応じた１次元の補正テーブル）を準備し、補正しようとする面の画素をシェーディング補正する場合には、その面の画素のＥ面の中央からの距離に基づいて前記１次元の補正テーブルから対応する補正値を読み出して適用することにより、瞳分割に起因する各面の濃度ムラのシェーディング補正を行うことができる。

尚、各面の画素のＥ面の中央からの距離は、図３０に示すように幾何的に決まっているため、画素ごとに距離情報を持たせることができる。また、１次元の補正テーブルとしては、Ｅ面の画素はシェーディング補正を行わない補正値を持たせるようにしてもよい。

なお、上記実施の形態では、１次元補正テーブル記憶部に記憶されている補正値は、全ての画素位置に対応する補正値ではなく、離散的に補正値をもっており、テーブル選択部が２つの補正値を読みだし、ＳＤ係数演算部が線形補間等によりシェーディング補正係数を算出したが、１次元補正テーブルがすべての画素位置に対応する補正値を持つようにし、読み出した補正値を画素値に乗ずることによりシェーディング補正を行ってもよい。

また、位相差ＣＣＤ１７のマイクロレンズＭＬ側に設けられた遮光部材１７Ａ、１７Ｂにより光束を分割する単眼立体撮像装置を例に説明したが、光束を分割するリレーレンズを含む撮影レンズ１２’を用いた単眼立体撮像装置にも適用可能である。また、２つの画素（主画素、副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

また、上記実施の形態では、撮像素子にＣＣＤを用いた例で説明したが、ＣＣＤに限定されるものではない。本発明はＣＭＯＳ等他のイメージセンサにも適用可能である。また、ＣＣＤについても、フォトダイオードの配列はこれに限られず、フォトダイオードが異なる配列で並べられたＣＣＤについても適用可能である。

さらに、上記第１〜第７の実施の形態では、主画素、副画素から出力された信号に対して１次元の補正テーブルを用いて単眼３Ｄ起因のシェーディング補正をした後、その補正後の信号に対して２次元の補正テーブルを用いて光学系起因のシェーディング補正を行うようにしたが、シェーディング補正は、信号に対するシェーディング補正係数の乗算であるため、上記とは逆に主画素、副画素から出力された信号に対して２次元の補正テーブルを用いて光学系起因のシェーディング補正をした後、その補正後の信号に対して１次元の補正テーブルを用いて単眼３Ｄ起因のシェーディング補正を行うようにしてもよいし、１次元の補正テーブルのシェーディング補正係数と２次元の補正テーブルのシェーディング補正係数とを乗算して１つのシェーディング補正係数を作成し、主画素、副画素から出力された信号に対して、前記作成したシェーディング補正係数を乗算することにより単眼３Ｄ起因及び光学系起因のシェーディング補正を１度に行うようにしてもよい。

さらにまた、各実施の形態は別々に実施する場合に限定されず、複数の実施の形態を組み合わせて実施することも可能である。また、第３〜第７の実施の形態においては、シェーディング補正に用いる１次元テーブルは、主画素、副画素同一のものでもよいし、別々のものでもよい。

１、２、３、４、５、６：単眼立体撮像装置、１４：撮影レンズ、１６：絞り、１７Ａ、１７Ｂ：遮光部材、１７、１７’：位相差ＣＣＤ、４０：ＣＰＵ、４５：タイミングジェネレータ、４６：絞り駆動部、４７：レンズ駆動部、５４：記録メディア、６７、６７−Ａ、６７−Ｂ、６７−Ｃ、６７−Ｄ、６７−Ｅ、６７−Ｆ：ＳＤ補正部

Claims (11)

1. 単一の撮影光学系と、
   前記撮影光学系を通過した光束を複数の光束に分割する瞳分割手段と、
   前記複数の光束をそれぞれ受光する複数の画素群により構成された単一の撮像素子と、
   少なくとも前記撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、前記単一の撮像素子より出力される撮像信号全体に対してシェーディング補正をする第１のシェーディング補正手段と、
   前記瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、前記複数の画素群より出力される撮像信号をそれぞれシェーディング補正する第２のシェーディング補正手段と、
   を備えたことを特徴とする単眼立体撮像装置。
2. 前記第２のシェーディング補正手段は、前記複数の画素群に対するシェーディング補正を同一の１次元の補正テーブルを用いて行うことを特徴とする請求項１に記載の単眼立体撮像装置。
3. 前記撮像素子は、前記複数の光束をそれぞれ受光する第１の画素群と第２の画素群とを有し、
   前記第２のシェーディング補正手段は、
   前記第１の画素群の所定の列の任意の位置の画素を第１の画素として選択し、かつ前記第２の画素群の所定の列の前記第１の画素に対応する位置にある画素を第２の画素として選択する手段と、
   前記第１の画素に対する補正値を、前記第１の画素の位置に対応する位置にある補正値を前記１次元の補正テーブルから読み出す手段と、
   前記１次元の補正テーブルにおいて前記第１の画素に対する補正値と左右対称位置にある補正値を、前記第２の画素に対する補正値として読み出す手段と、
   前記第１の画素の画素値と前記第１の画素に対する補正値とに基づいて前記第１の画素に対してシェーディング補正をし、かつ前記第２の画素の画素値と前記第２の画素に対する補正値とに基づいて前記第２の画素に対してシェーディング補正をする手段と、
   を有することを特徴とする請求項２に記載の単眼立体撮像装置。
4. 前記撮像素子は、前記複数の光束をそれぞれ受光する第１の画素群と第２の画素群とを有し、
   前記第２のシェーディング補正手段は、
   前記第１の画素群の所定の列の任意の位置の画素を第１の画素として選択し、かつ前記第２の画素群の所定の列から前記第１の画素と左右対称位置にある画素を第２の画素として選択する手段と、
   前記第１の画素の位置に対応する位置にある補正値を前記１次元の補正テーブルから読み出す手段と、
   前記第１の画素の画素値と前記第１の画素の位置に対応する位置にある補正値とに基づいて前記第１の画素に対してシェーディング補正をし、かつ前記第２の画素の画素値と前記第１の画素の位置に対応する位置にある補正値とに基づいて前記第２の画素に対してシェーディング補正をする手段と、
   を有することを特徴とする請求項２に記載の単眼立体撮像装置。
5. 前記撮影光学系はズームレンズを有し、
   前記ズームレンズの位置より焦点距離を取得する焦点距離取得手段を備え、
   前記第２のシェーディング補正手段は、焦点距離に応じて複数の１次元の補正テーブルを記憶し、前記焦点距離取得手段により取得された焦点距離に応じた１次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項１から４のいずれかに記載の単眼立体撮像装置。
6. 前記撮影光学系は絞り値を変化させる絞りを有し、
   前記第２のシェーディング補正手段は、前記絞りの絞り値に応じて複数の１次元の補正テーブルを記憶し、前記絞りの現在の絞り値に応じた１次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項１から５のいずれかに記載の単眼立体撮像装置。
7. 前記第２のシェーディング補正手段は、Ｒ、Ｇ、Ｂの各色の１次元の補正テーブルを記憶し、前記複数の画素群から選択された画素（以下、選択された画素）の画素色がＲの場合にはＲ色用の１次元の補正テーブルを用い、選択された画素の画素色がＧの場合にはＧ色用の１次元の補正テーブルを用い、選択された画素の画素色がＢの場合にはＢ色用の１次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項１から６のいずれかに記載の単眼立体撮像装置。
8. 前記第２のシェーディング補正手段は、Ｇ色用の１次元の補正テーブルとして、ＲＧＲＧ…の配列の水平ライン（以下、ＧＲラインという）のＧ画素であるＧｒ色用の１次元の補正テーブルと、ＧＢＧＢ…の配列の水平ライン（以下、ＧＢラインという）のＧ画素であるＧｂ色用の１次元の補正テーブルを記憶し、選択された画素の画素色が前記ＧＲラインから読み出されたＧ画素の場合には前記Ｇｒ色用の１次元の補正テーブルを用い、選択された画素の画素色が前記ＧＢラインから読み出されたＧ画素の場合にはＧｂ色用の１次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項７に記載の単眼立体撮像装置。
9. 前記撮像素子の向きを検出する向き検出手段を備え、
   前記第２のシェーディング補正手段は、前記撮像素子が横向きの場合の１次元の補正テーブルと、前記撮像素子が縦向きの場合の１次元の補正テーブルとを記憶し、前記向き検出手段により検出された撮像素子の向きに基づいた１次元の補正テーブルを用いてシェーディング補正をすることを特徴とする請求項１から８のいずれかに記載の単眼立体撮像装置。
10. 単一の撮影光学系を通過した光束を瞳分割手段により瞳分割して得られた複数の光束がそれぞれ受光された複数の画素群からの出力信号を取得するステップと、
    前記複数の画素群からの出力信号に対してシェーディング補正するステップであって、前記瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、前記複数の画素群よりそれぞれ出力される出力信号に対してそれぞれシェーディング補正をする、及び少なくとも前記撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、前記複数の画素群より出力される出力信号全体に対してシェーディング補正をするステップと、
    を有することを特徴とする単眼立体撮像装置用シェーディング補正方法。
11. 単一の撮影光学系を通過した光束を瞳分割手段により瞳分割して得られた複数の光束がそれぞれ受光された複数の画素群からの出力信号を取得するステップと、
    前記複数の画素群からの出力信号に対してシェーディング補正するステップであって、前記瞳分割手段による瞳分割に起因する濃度ムラの勾配方向にシェーディング補正用の補正値が並べられた１次元の補正テーブルを用いて、前記複数の画素群よりそれぞれ出力される出力信号に対してそれぞれシェーディング補正をする、及び少なくとも前記撮影光学系に起因する左右上下方向にシェーディング補正用の補正値が並べられた２次元の補正テーブルを用いて、前記複数の画素群より出力される出力信号全体に対してシェーディング補正をするステップと、
    を演算装置に実行させることを特徴とする単眼立体撮像装置用プログラム。

Images