JP2014026051A - 撮像装置、画像処理装置 - Google Patents

Abstract

【課題】撮像光学系の異なる瞳領域を通過した光により撮影された画像から鑑賞用として好ましい自然なボケ形状の立体視画像を得ることができる撮像装置等を提供する。
【解決手段】撮像素子２２と、被写体像を撮像素子２２に結像する撮像光学系９と、撮像素子２２に、撮像光学系９の瞳領域中の第１の領域を通過した光線による第１の画像と、第１の領域と異なる第２の領域を通過した光線による第２の画像と、が形成されるようにする撮像素子２２上の画素に設けられた遮光部と、第１の画像と第２の画像との位相差量を演算する距離演算部３９と、演算された位相差量に基づき、第２／第１の画像のボケの重心位置を第１／第２の画像のボケの重心位置の方向へ移動させるとともに第２／第１の画像のボケ形状を理想的な画像のボケ形状に近似させた２つの片目用画像でなる立体視画像を生成するステレオ画像生成部４０と、を備えた撮像装置。
【選択図】図１

Description

本発明は、撮像素子から得られた画像に基づき距離情報を取得し得る撮像装置、画像処理装置に関する。

距離情報は、自動焦点調節（ＡＦ）機構によるＡＦ処理を行うためや、立体視画像を作成するため、あるいは画像処理（例えば、被写体抽出処理や背景抽出処理、あるいはボケ量コントロールの画像加工処理）を行うためなど、撮像装置における様々な機能を実現するのに利用可能である。

このような距離情報を取得する測距方式としては、従来より、被写体に赤外線や超音波などを照射して反射波が戻るまでの時間や照射角度に基づき距離を検出するアクティブ方式と、赤外線などを用いることなく光学系を介して取得した画像を利用して測距を行うパッシブ方式と、が知られている。

一眼カメラ等で広く用いられている位相差検出方式は、これらの内のパッシブ方式の一つであり、異なる瞳を通過した光束から得られた複数の画素信号間で相関演算を行うことにより、被写体までの距離情報を取得する技術である。

クイックリターンミラーを備えた一眼レフレックスカメラでは、撮影レンズを介してクイックリターンミラーに照射された光束の一部を、例えばクイックリターンミラーの背面側に配設されたサブミラーにより反射して、異なる瞳を実現するためのスプリットレンズを介して位相差検出用のＡＦセンサに入射させ、距離情報を取得することが行われている。

ところで近年、ミラーレスタイプの一眼カメラが普及しつつあり、こうしたカメラに好適な位相差検出方式として、画像を取得するための撮像素子上に位相差を検出するための画素（位相差画素）を設ける技術（像面（イメージャ）位相差方式などと呼ばれる）が提案され、製品化されてきている（例えば、特開２０００−３０５０１０号公報や特開２０１１−１９７０８０号公報等参照）。ここに位相差画素は、特定の位置の画素上に、画素開口の一部を遮光するための遮光部（マスク）を配置して構成されるものである。そして、画素開口の一部（例えば左半分）を遮光した位相差画素と、画素開口の他の一部（例えば右半分）を遮光した位相差画素と、を位相差検出方向に各複数配列して、これら２種類の画素群により撮像された画素信号間で相関演算を行って距離情報を取得するようになっている。

この像面位相差方式によれば画像と距離情報とを同時に取得可能であるが、位相差画素は測距のみに用いられ、観賞用の２次元画像においては欠落画素として扱われる。ここに、欠落画素として扱われる理由の１つは、位相差画素で得られる画像は異なる瞳を通過した光により結像された画像となるために、合焦位置にない被写体像に対してボケの範囲で像ズレが生じ２重像となるから（従って、観賞用画像としての品質が確保されないから）である（ただし、合焦位置にある被写体像であれば像ズレは生じない）。

欠落画素は、従来より、周辺の画素からの補間等が行われており、この補間技術としては例えば特開２００９−９４８８１号公報に記載の技術が一例として挙げられる。

一方、上述したような位相差画素から得られた画像は、立体視画像の生成にも用いられる。

例えば、特開２００３−７９９４号公報には、像面位相差方式の撮像素子を用いて立体視画像を生成する技術が記載されている。

また、特開２００６−１０５７７１号公報には、像面位相差方式の撮像素子を用いた立体視画像に対して、位相差量に基づいて２枚の立体視画像を合成する技術が記載されている。

さらに、特開平４−２５１２３９号公報には、偏光を利用して瞳分割を行うことにより得られた位相差が生じている画像を用いて、立体視画像を生成する技術が記載されている。

ところで、特開２００１−１６６１１号公報には、第１の開口部を通過した第１の画像と第２の開口部を通過した第２の画像とのズレ量を取得して、レンズの公式により距離情報を演算する技術が記載されている。

特開２０００−３０５０１０号公報 特開２０１１−１９７０８０号公報 特開２００９−９４８８１号公報 特開２００３−７９９４号公報 特開２００６−１０５７７１号公報 特開平４−２５１２３９号公報 特開２００１−１６６１１号公報

撮像素子に結像される被写体像は、合焦位置にない被写体の場合にはボケを生じることになるが、このボケ形状は撮像光学系の瞳形状に依存する。撮像光学系の瞳形状は、絞りが開放であるときには一般的に円形であり、多角形絞りを絞った場合には多角形形状となるが、この場合であってもなるべく円形に近付くような多角形形状となるように構成されている。これは、円形をなすボケが自然で好ましい画像となるからである。

ところで、位相差検出を行うために、略円形をなす撮像光学系の瞳を例えば２つに瞳分割する場合、瞳領域を通過する光束を無駄にしないように２分割すると、例えば半円形状の２つの部分瞳に分割することになる。

従って、位相差画素から得られる画像のボケは、半円形状の部分瞳を反映した例えば半円形状のボケとなってしまい、自然な円形のボケを得ることができない。

そして、上記特開２００３−７９９４号公報、上記特開２００６−１０５７７１号公報、および上記特開平４−２５１２３９号公報に記載された技術は、何れも、立体視画像を生成する際に、このような自然な円形のボケを得ることについて考慮されていない。

本発明は上記事情に鑑みてなされたものであり、撮像光学系の異なる瞳領域を通過した光により撮影された画像から、鑑賞用として好ましい自然なボケ形状の立体視画像を得ることができる撮像装置、画像処理装置を提供することを目的としている。

上記の目的を達成するために、本発明の一態様による撮像装置は、撮像素子と、被写体像を前記撮像素子に結像する撮像光学系と、前記撮像素子に、前記撮像光学系の瞳領域の一部である第１の領域を通過した光線による第１の画像と、前記第１の領域と異なる前記撮像光学系の瞳領域の一部である第２の領域を通過した光線による第２の画像と、が形成されるようにする瞳分割部と、前記撮像素子から得られた前記第１の画像に係る信号と前記第２の画像に係る信号とに基づき、前記第１の画像と前記第２の画像との位相差量を演算する位相差演算部と、前記位相差演算部により演算された位相差量に基づき、前記第２の画像のボケの重心位置を前記第１の画像のボケの重心位置の方向へ移動させるとともに該第２の画像のボケ形状を理想的な画像のボケ形状に近似させた一の片目用画像を生成し、前記第１の画像のボケの重心位置を前記第２の画像のボケの重心位置の方向へ移動させるとともに該第１の画像のボケ形状を前記理想的な画像のボケ形状に近似させた他の片目用画像を生成することにより、立体視画像を生成するステレオ画像生成部と、を具備している。

また、本発明の他の態様による画像処理装置は、撮像素子と、被写体像を前記撮像素子に結像する撮像光学系と、前記撮像素子に、前記撮像光学系の瞳領域の一部である第１の領域を通過した光線による第１の画像と、前記第１の領域と異なる前記撮像光学系の瞳領域の一部である第２の領域を通過した光線による第２の画像と、が形成されるようにする瞳分割部と、を有する撮像装置により得られた画像を処理するための画像処理装置であって、前記撮像素子から得られた前記第１の画像に係る信号と前記第２の画像に係る信号とに基づき、前記第１の画像と前記第２の画像との位相差量を演算する位相差演算部と、前記位相差演算部により演算された位相差量に基づき、前記第２の画像のボケの重心位置を前記第１の画像のボケの重心位置の方向へ移動させるとともに該第２の画像のボケ形状を理想的な画像のボケ形状に近似させた一の片目用画像を生成し、前記第１の画像のボケの重心位置を前記第２の画像のボケの重心位置の方向へ移動させるとともに該第１の画像のボケ形状を前記理想的な画像のボケ形状に近似させた他の片目用画像を生成することにより、立体視画像を生成するステレオ画像生成部と、を具備している。

本発明の撮像装置、画像処理装置によれば、撮像光学系の異なる瞳領域を通過した光により撮影された画像から、鑑賞用として好ましい自然なボケ形状の立体視画像を得ることが可能となる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１において、画素に遮光部が設けられた撮像素子の構成例を説明するための図。 上記実施形態１において、合焦位置にある被写体を撮像するときの被写体光束集光の様子を示す平面図。 上記実施形態１において、合焦位置よりも近距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図。 上記実施形態１において、合焦位置よりも近距離側にある被写体上の１点からの光により位相差画素ｒ，ｌに形成されるボケの形状を示す図。 上記実施形態１において、合焦位置よりも遠距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図。 上記実施形態１において、合焦位置よりも遠距離側にある被写体上の１点からの光により位相差画素ｒ，ｌに形成されるボケの形状を示す図。 上記実施形態１において、合焦位置とそれよりも近距離および遠距離にある被写体を撮像したときの画像および位相差信号の例を示す図。 上記実施形態１において、ボケ画像補正処理後のボケ形状の概要を示す図。 上記実施形態１の実施例１のボケ画像補正処理において、位相差画素ｒから得られる、合焦位置よりも遠距離側にある被写体の画像に対して、ボケ画像補正処理において適用されるフィルタカーネルの形状を示す図。 上記実施形態１の実施例１のボケ画像補正処理において、位相差画素ｌから得られる、合焦位置よりも遠距離側にある被写体の画像に対して、ボケ画像補正処理において適用されるフィルタカーネルの形状を示す図。 上記実施形態１において、実施例１の変形例のボケ画像補正処理における合焦位置よりも遠距離側にある被写体のｒ画像およびｌ画像のシフトの様子を示す図。 上記実施形態１の実施例１の変形例のボケ画像補正処理においてｒ画像およびｌ画像に対して適用されるフィルタカーネルの形状を示す図。 上記実施形態１の実施例１において、横方向の標準偏差を大きくした楕円型ガウシアンフィルタの形状を示す図。 上記実施形態１の実施例１において、縦方向の標準偏差を小さくした楕円型ガウシアンフィルタの形状を示す図。 上記実施形態１の実施例１において、ボケ画像補正部により行われるボケ画像補正処理を示すフローチャート。 上記実施形態１の実施例１における画像処理装置の構成を示すブロック図。 上記実施形態１の実施例２において、ボケ画像補正部により行われるボケ画像補正処理の概要を示す図。 上記実施形態１の実施例２において、位相差検出を行う際にｒ画像およびｌ画像に設定する部分領域を示す図。 上記実施形態１の実施例２において、オリジナルｒ画像のボケ拡散部分領域をｒコピー画像にコピー加算する様子を示す図。 上記実施形態１の実施例２において、オリジナルｌ画像のボケ拡散部分領域をｌコピー画像にコピー加算する様子を示す図。 上記実施形態１の実施例２において、位相差量に応じてボケ拡散部分領域のサイズを変更する例を示す線図。 上記実施形態１の実施例２において、ボケ画像補正部により行われるボケ画像補正処理を示すフローチャート。 上記実施形態１の実施例３において、位相差量に応じたｒ画像、ｌ画像、理想的な画像のＰＳＦのテーブルの概要を示す図。 上記実施形態１の実施例３において、ボケ画像補正部により行われるボケ画像補正処理の概要を示す図。 上記実施形態１の実施例３において、ボケ画像補正部により行われるボケ量コントロールを伴うボケ画像補正処理の概要を示す図。 上記実施形態１の実施例３において、ボケ画像補正部により行われるボケ画像補正処理を示すフローチャート。 上記実施形態１において、ボケ画像補正処理後の２次元画像から左目画像および右目画像を生成する様子を示す図。 上記実施形態１において、ステレオ画像生成部による立体視画像の生成処理を示すフローチャート。 本発明の実施形態２の立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から右目画像を生成する際のシフトの様子を示す図。 上記実施形態２の立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から左目画像を生成する際のシフトの様子を示す図。 上記実施形態２において、シフト後の右目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図。 上記実施形態２において、シフト後の左目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図。 本発明の実施形態３における撮像装置の構成を示すブロック図。 上記実施形態３における偏光フィルタの一構成例を説明するための図。 上記実施形態３において、偏光板が配設された撮像素子の構成例を説明するための図。 上記実施形態３において、合焦位置よりも近距離側にある被写体上の１点からの光により形成されるボケの形状を示す図。 上記実施形態３において、合焦位置よりも遠距離側にある被写体上の１点からの光により形成されるボケの形状を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図２９は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

本実施形態の撮像装置は、例えばデジタルスチルカメラとして構成されている。ただし、ここではデジタルスチルカメラを例に挙げているが、撮像装置は、撮像素子を備え、撮像機能を有する装置であればどのようなものでも良く、幾つかの例を挙げれば、上述したデジタルスチルカメラ、ビデオカメラ、カメラ付携帯電話、カメラ付携帯情報端末（カメラ付ＰＤＡ）、カメラ付パーソナルコンピュータ、監視カメラ、内視鏡などである。

撮像装置は、レンズユニット１と、このレンズユニット１がレンズマウントを介して着脱自在に取り付けられる本体部であるボディユニット２と、を備えている。なお、ここではレンズユニット１が着脱式である場合を例に挙げて説明するが、勿論、着脱式でなくても構わない。

レンズユニット１は、レンズ１０と絞り１１とを含む撮像光学系９と、レンズ制御部１４と、レンズ側通信コネクタ１５と、を備えている。

ボディユニット２は、シャッタ２１と、撮像素子２２と、撮像回路２３と、撮像駆動部２４と、画像処理部２５と、画像メモリ２６と、表示部２７と、インターフェース（ＩＦ）２８と、システムコントローラ３０と、センサ部３１と、操作部３２と、ストロボ制御回路３３と、ストロボ３４と、ボディ側通信コネクタ３５と、を備えている。なお、図１のボディユニット２内には記録媒体２９も記載されているが、この記録媒体２９は撮像装置に対して着脱自在な例えばメモリカード（スマートメディア、ＳＤカード、ｘＤピクチャーカード等）で構成されているために、撮像装置に固有の構成でなくても構わない。

まず、レンズユニット１における撮像光学系９は、被写体像を撮像素子２２に結像するためのものである。この撮像光学系９のレンズ１０は、焦点調節を行うためのフォーカスレンズを備えて構成されている。レンズ１０は、一般的には複数枚のレンズで構成されることが多いが、図１においては簡単のために１枚のレンズのみを図示している。

撮像光学系９の絞り１１は、レンズ１０を通過する被写体光束の通過範囲を規制することにより、撮像素子２２上に結像される被写体像の明るさを調節するためのものである。

レンズ制御部１４は、レンズユニット１の制御を行うものである。すなわち、レンズ制御部１４は、レンズ側通信コネクタ１５およびボディ側通信コネクタ３５を介してシステムコントローラ３０から受信した指令に基づき、レンズ１０内のフォーカスレンズを駆動して合焦させたり、絞り１１を駆動して絞り開口径を変更させたりするものである。

レンズ側通信コネクタ１５は、レンズユニット１とボディユニット２とがレンズマウントにより結合されてボディ側通信コネクタ３５と接続されることにより、レンズ制御部１４とシステムコントローラ３０との間の通信を可能にするコネクタである。

次に、ボディユニット２におけるシャッタ２１は、撮像光学系９から撮像素子２２に到達する被写体光束の通過時間を規制することにより、撮像素子２２の露光時間を調節するための光学シャッタである。なお、ここでは光学シャッタを用いているが、光学シャッタに代えて、または光学シャッタに加えて、撮像素子２２による素子シャッタ（電子シャッタ）を用いるようにしても構わない。

撮像素子２２は、撮像光学系９により結像される被写体像を光電変換し、電気信号として出力するものであり、例えば、ＣＣＤやＣＭＯＳ等として構成されている。本実施形態の撮像素子２２は、図２に示すように、フォトダイオードを備えるモノクロ画素の２次元配列上に原色ベイヤー配列のカラーフィルタおよび画素毎のマイクロレンズをオンチップで搭載してカラーＲＧＢ画素を構成した、単板カラー撮像素子となっている。従って、得られる色成分は１画素に付き１色のみとなるために、画像処理部２５においてデモザイキング処理を行い１画素につきＲＧＢの３色が揃ったカラー画像を生成するようになっている。なお、ここでは、単板のカラー撮像素子を例に挙げているが、その他の方式のカラー撮像素子であっても良いし、モノクロ撮像素子であっても構わない。

本実施形態の撮像素子２２は、上述したような原色ベイヤー配列の画素上に、さらに、画素開口を部分的にマスクする瞳分割部たる遮光部２２ｓを形成したものとなっている。

ここに、図２は画素に遮光部２２ｓが設けられた撮像素子２２の構成例を説明するための図である。この図２は、撮像素子２２を被写体側から見たときの図となっている。なお、以下では基本的な左右位置として、撮像素子２２から被写体側を見たときの左右位置を述べることにする。

まず原色ベイヤー配列は、よく知られているように、２×２画素の基本配列の、対角方向に２つのＧ画素を、残りの対角方向にＢ画素およびＲ画素を配列し、この基本配列を撮像素子２２の撮像面上に敷き詰めた構成となっている。従って、ある水平ラインの画素配列がＧ，Ｂ，Ｇ，Ｂ，…である場合には、次の水平ラインの画素配列はＲ，Ｇ，Ｒ，Ｇ，…となっている。

そして、図２に示す撮像素子２２は、全ての画素上に、画素開口の左半分または右半分の何れか一方を遮光する遮光部２２ｓを設けたものとなっている。図２に具体的に示す撮像素子２２は、上述した基本配列の縦並び毎に、つまり垂直方向２ラインを単位として、画素開口の右半分（被写体側から見た左半分）に第１の遮光部２２ｓを設けることにより画素開口の左半分が受光するように構成された位相差画素ｒと、画素開口の左半分（被写体側から見た右半分）に第２の遮光部２２ｓを設けることにより画素開口の右半分が受光するように構成された位相差画素ｌと、を交互に配列したものとなっている。なお、これらの位相差画素ｒ，ｌ上にも、図示はしないが、上述した画素毎のマイクロレンズが配置されている。

このような構成の撮像素子２２においては、撮像装置を標準姿勢（いわゆる、カメラを通常の横位置に構えた姿勢）にしたときに、被写体が合焦位置と合焦位置よりも近距離側と合焦位置よりも遠距離側との何れにあるかに関わらず、位相差画素ｒは、撮像素子２２から見た瞳領域の右半分（第１の領域と第２の領域との一方）を通過した光線を受光し、位相差画素ｌは、撮像素子２２から見た瞳領域の左半分（第１の領域と第２の領域との他方）を通過した光線を受光することになる（原理については、上述した特開２０００−３０５０１０号公報の図６や図７とのその対応説明を参照）。

このため、撮像素子２２により撮影を行うと、位相差画素ｒで撮影された画像は撮像光学系９の瞳領域の左半分をマスクした状態で撮影された画像と、また、位相差画素ｌで撮影された画像は撮像光学系９の瞳領域の右半分をマスクした状態で撮影された画像と、それぞれ等価的な画像となる。

従って、非合焦位置にある被写体を撮影した場合には、位相差画素ｒから得られた画像（ｒ画像）と位相差画素ｌから得られた画像（ｌ画像）との間に位相差が発生することになる。このために、ｒ画像およびｌ画像を、距離情報の取得に利用することができる。なお、距離情報の取得の詳細に関しては、後で説明を行う。

撮像回路２３は、撮像素子２２から出力される画像信号を増幅（ゲイン調整）したり、撮像素子２２がアナログ撮像素子であってアナログの画像信号を出力する場合には、Ａ／Ｄ変換してデジタル画像信号（以下では「画像情報」ともいう）を生成したりするものである（撮像素子２２がデジタル撮像素子である場合には、撮像回路２３に入力される時点で既にデジタルとなっているためにＡ／Ｄ変換は行わない）。撮像回路２３は、後述するように撮像駆動部２４で切り換えられた撮像モードに対応するフォーマットで、画像信号を画像処理部２５へ出力する。

撮像駆動部２４は、システムコントローラ３０の指令に基づいて、撮像素子２２および撮像回路２３にタイミング信号および電力を供給して、撮像素子２２に露光、読出、素子シャッタ等の動作を行わせるとともに、撮像素子２２の動作に同期させて撮像回路２３によるゲイン調整およびＡ／Ｄ変換を実行させるように制御するものである。また、この撮像駆動部２４は、撮像素子２２の撮像モードを切り換える制御も行う。

画像処理部２５は、ＷＢ（ホワイトバランス）調整、黒レベルの補正、γ補正、欠陥画素の補正、デモザイキング、画像情報の色情報の変換処理、画像情報の画素数変換処理、等のデジタル画像処理を行うものである。この画像処理部２５は、さらに、画素値補正部３６と、画像補正部たるボケ画像補正部３７と、ステレオ画像生成部４０と、を備えている。

画素値補正部３６は、同一輝度の被写体に対する位相差画素ｒの受光光量と位相差画素ｌの受光光量とが異なる場合（具体的に例えば、位相差画素ｒ上に設けられた遮光部２２ｓの面積と、位相差画素ｌ上に設けられた遮光部２２ｓの面積と、が異なる場合等）に、位相差画素ｒにより生成される画素値と位相差画素ｌにより生成される画素値との不均衡を補正するためのものである。ただし、位相差画素ｒと位相差画素ｌの受光光量が同一である場合には、この画素値補正部３６を省略しても構わない。

ボケ画像補正部３７は、図２に示したような撮像素子２２を用いた場合に発生する、ｒ画像とｌ画像との空間的な位置ズレ（位相差）やボケ形状の相違を補正するボケ画像補正処理を行うものである。

ここで、各位相差画素ｒ，ｌで撮影された画像、すなわち、撮像光学系９の瞳領域の異なる部分を通過した光線により結像される画像と等価的な画像、の空間的な位置ズレについて、図３〜図８を参照して説明する。ここに、図３は合焦位置にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図４は合焦位置よりも近距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図５は合焦位置よりも近距離側にある被写体上の１点からの光により位相差画素ｒ，ｌに形成されるボケの形状を示す図、図６は合焦位置よりも遠距離側にある被写体を撮像するときの被写体光束集光の様子を示す平面図、図７は合焦位置よりも遠距離側にある被写体上の１点からの光により位相差画素ｒ，ｌに形成されるボケの形状を示す図、図８は合焦位置とそれよりも近距離および遠距離にある被写体を撮像したときの画像および位相差信号の例を示す図である。なお、ボケ形状の説明に際しては、絞り１１の開口が円形状である場合を例に挙げて説明する。

被写体ＯＢＪｃが合焦位置にあるときには、被写体ＯＢＪｃ上の１点から放射された光は、図３に示すように、撮像素子２２上の１点に集光されて点像ＩＭＧを形成するために、点像ＩＭＧが形成された画素が位相差画素ｒと位相差画素ｌの何れであっても位相差は発生しない（ただし、上述したような遮光部２２ｓの遮光面積の大きさに応じた光量の相違は生じる）。従って、合焦位置にある被写体ＯＢＪｃを撮像したときには、被写体ＯＢＪｃが結像した位置にある画素が位相差画素ｒと位相差画素ｌの何れであっても、図８に示すように、位相差のない被写体像ＩＭＧが露光される。なお、図８におけるＰＤＰは位相差画素列を示している。

これに対して、被写体ＯＢＪｎが例えば合焦位置よりも近距離側にある場合には、被写体ＯＢＪｎ上の１点から放射された光により、図４、図５に示すように、仮想の通常画素から得られる画像は円形ボケをなす被写体像ＩＭＧを形成し、位相差画素ｒから得られる画像は右半分（被写体側から見た左半分）の半円形ボケをなす被写体像ＩＭＧｒを形成し、位相差画素ｌから得られる画像は左半分（被写体側から見た右半分）の半円形ボケをなす被写体像ＩＭＧｌを形成する。

従って、合焦位置よりも近距離側にある被写体ＯＢＪｎを撮像したときには、図８に示すように、位相差画素ｒから得られる被写体像ＩＭＧｒが右側（被写体側から見た左側）にズレ、位相差画素ｌから得られる被写体像ＩＭＧｌが左側（被写体側から見た右側）にズレたボケ画像が形成され、このボケ画像における被写体像ＩＭＧｒと被写体像ＩＭＧｌの左右位置は、撮像素子２２から見た、位相差画素ｒに結像する光線が通過する瞳開口部分と位相差画素ｌに結像する光線が通過する瞳開口部分の左右位置と同じである（なお、図８においてはズレを強調して示しており、実際に生じているボケ形状の図示は省略している（下記遠距離側の場合も同様））。

そして、被写体ＯＢＪｎが合焦位置から近距離側へ離れるほど、ボケが大きくなって、被写体像ＩＭＧｒの重心位置と被写体像ＩＭＧｌの重心位置との離間距離が大きくなることになる。

なお、仮想の通常画素から得られる画像については、図７に示すように、位相差画素ｒから得られる被写体像ＩＭＧｒと位相差画素ｌから得られる被写体像ＩＭＧｌとにまたがったボケ形状の被写体像ＩＭＧとなる。

一方、被写体ＯＢＪｆが例えば合焦位置よりも遠距離側にある場合には、被写体ＯＢＪｆ上の１点から放射された光により、図６、図７に示すように、仮想の通常画素から得られる画像は円形ボケをなす被写体像ＩＭＧを形成し、位相差画素ｒから得られる画像は左半分（被写体側から見た右半分）の半円形ボケをなす被写体像ＩＭＧｒを形成し、位相差画素ｌから得られる画像は右半分（被写体側から見た左半分）の半円形ボケをなす被写体像ＩＭＧｌを形成する。

従って、合焦位置よりも遠距離側にある被写体ＯＢＪｆを撮像したときには、図８に示すように、位相差画素ｒから得られる被写体像ＩＭＧｒが左側（被写体側から見た右側）にズレ、位相差画素ｌから得られる被写体像ＩＭＧｌが右側（被写体側から見た左側）にズレたボケ画像が形成され、このボケ画像における被写体像ＩＭＧｒと被写体像ＩＭＧｌの左右位置は、撮像素子２２から見た、位相差画素ｒに結像する光線が通過する瞳開口部分と位相差画素ｌに結像する光線が通過する瞳開口部分の左右位置と逆である。

そして、被写体ＯＢＪｆが合焦位置から遠距離側へ離れるほど、ボケが大きくなって、被写体像ＩＭＧｒの重心位置と被写体像ＩＭＧｌの重心位置との離間距離が大きくなることになる。

なお、仮想の通常画素から得られる画像が、位相差画素ｒから得られる被写体像ＩＭＧｒと位相差画素ｌから得られる被写体像ＩＭＧｌとにまたがったボケ形状の被写体像ＩＭＧとなるのは、この遠距離側においても同様である（図７参照）。

従って、画素が位相差画素ｒまたは位相差画素ｌである場合には、該画素が仮想の通常画素であった場合のボケ形状に一致するようにボケ画像補正処理を行えば良く、つまり通常画素を仮想的に想定して、ボケ画像補正部３７が行うボケ画像補正処理における標準画像とすれば良い。

図１の説明に戻って、ボケ画像補正部３７による、位相差画素ｒから得られる画像と位相差画素ｌから得られる画像との位相差の補正は、概略、次のように行う。

まず、撮像素子２２から得られたベイヤー配列の画像（ベイヤー画像）を、ベイヤー配列における上述した基本配列の画素位置毎に分類して、４種類の単色画像を生成する。具体的に、Ｒ画素が設けられた水平ライン上のＧ画素をＧｒ、Ｂ画素が設けられた水平ライン上のＧ画素をＧｂとすると、ここではベイヤー画像中の、全てのＲ画素を抽出して得られるＲ画像と、全てのＧｒ画素を抽出して得られるＧｒ画像と、全てのＢ画素を抽出して得られるＢ画像と、全てのＧｂ画素を抽出して得られるＧｂ画像と、の４種類の単色画像を生成する。

さらに、これら４種類の単色画像のそれぞれについて、位相差画素ｒから得られた画素データのみで構成される画像（以下では適宜、ｒ画像という。このｒ画像は、第１の画像と第２の画像との何れか一方である）と、位相差画素ｌから得られた画素データのみで構成されるｌ画像（以下では適宜、ｌ画像という。このｌ画像は、第１の画像と第２の画像との何れか他方である）と、を抽出する。

ここで抽出された４種類の単色画像毎のｒ画像およびｌ画像は、位相差演算部たる距離演算部３９へ送信されて位相差演算が行われ、位相差の情報が取得される。

ボケ画像補正部３７は、取得された位相差情報に基づいて、４種類の単色画像毎に、位相差画素ｒと位相差画素ｌの位相差を補正する（この位相差の補正処理については、後で詳細に説明する）。位相差が補正された４種類の単色画像は、ボケ画像補正部３７により合成されて、再度ベイヤー画像に戻される。これにより、位相差が補正されたベイヤー画像が得られる。

その後は、位相差が補正されたベイヤー画像を、画像処理部２５によりデモザイキング処理して、１画素につき３色が揃ったカラー画像を生成することになる。

ステレオ画像生成部４０は、ボケ画像補正部３７により位相差が補正されたカラー画像に基づいて、距離演算部３９により演算された位相差量に基づき、カラーの立体視画像を生成するものである。すなわち、ステレオ画像生成部４０は、位相差が補正されたカラー画像のボケの重心位置をｒ画像のボケの重心位置の方向へ移動させた一の片目用画像（左目画像と右目画像との何れか一方）を生成するとともに、位相差が補正されたカラー画像のボケの重心位置をｌ画像のボケの重心位置の方向へ移動させた他の片目用画像（左目画像と右目画像との何れか他方）を生成することにより、カラーの立体視画像を生成する。このステレオ画像生成部４０の処理については、後で詳しく説明する。

画像メモリ２６は、高速な書き込みや読み出しが可能なメモリであり、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）により構成されていて、画像処理用のワークエリアとして使用されるとともに、システムコントローラ３０のワークエリアとしても使用される。例えば、画像メモリ２６は、画像処理部２５により処理された最終的な画像を記憶するだけでなく、画像処理部２５による複数の処理過程における各中間画像も適宜記憶する。

表示部２７は、ＬＣＤ等を有して構成されていて、画像処理部２５により表示用に処理された画像（記録媒体２９から読み出されて画像処理部２５により表示用に処理された画像も含む）を表示するものである。具体的には、この表示部２７は、ライブビュー画像の表示、静止画像記録時の確認表示、記録媒体２９から読み出した静止画像または動画像の再生表示、等を行う。また、本実施形態においては、表示部２７は、立体視画像を表示可能に構成されているものとする。

インターフェース（ＩＦ）２８は、記録媒体２９を着脱可能に接続するものであり、記録媒体２９へ記録する情報の伝達、および記録媒体２９から読み出した情報の伝達を行う。

記録媒体２９は、画像処理部２５により記録用に処理された画像や、該画像に関連する各種データを記録するものであり、上述したように例えばメモリカード等として構成されている。

センサ部３１は、例えば、撮像装置のブレを検出するための加速度センサ等で構成される手振れセンサ、撮像素子２２の温度を測定するための温度センサ、撮像装置周辺の明るさを測定するための明るさセンサ、等を含んでいる。このセンサ部３１による検出結果はシステムコントローラ３０に入力される。ここに、手振れセンサによる検出結果は撮像素子２２やレンズ１０を駆動して手振れ補正を行ったり、画像処理による手振れ補正を行ったりするために用いられる。また、温度センサによる検出結果は撮像駆動部２４による駆動クロックの制御や撮像素子２２から得られる画像中のノイズ量を推定するのに用いられる。さらに、明るさセンサによる検出結果は、例えば、周囲の明るさに応じて表示部２７の輝度を適正に制御するために用いられる。

操作部３２は、撮像装置の電源をオン／オフするための電源スイッチ、静止画像や動画像等の撮像動作を指示入力するための２段式の押圧ボタンでなるレリーズボタン、撮像モード等を変更するためのモードボタン、選択項目や数値などを変更するのに用いられる十字キー、等を含んでいる。この操作部３２の操作により発生した信号は、システムコントローラ３０に入力される。

ストロボ制御回路３３は、システムコントローラ３０の指令に基づいて、ストロボ３４の発光量や発光タイミングを制御するものである。

ストロボ３４は、ストロボ制御回路３３の制御により、被写体へ照明光を照射する発光源である。

ボディ側通信コネクタ３５は、上述したように、レンズユニット１とボディユニット２とがレンズマウントにより結合されてレンズ側通信コネクタ１５と接続されることにより、レンズ制御部１４とシステムコントローラ３０との間の通信を可能にするコネクタである。

システムコントローラ３０は、このボディユニット２の制御を行うとともに、レンズ制御部１４を介してレンズユニット１の制御も行うものであり、この撮像装置を統合的に制御する制御部である。このシステムコントローラ３０は、図示しないフラッシュメモリ等の不揮発性メモリから撮像装置の基本制御プログラムを読み出して、操作部３２からの入力に応じて、撮像装置全体を制御するようになっている。

例えば、システムコントローラ３０は、レンズ制御部１４を介して絞り１１の絞り調整を制御したり、シャッタ２１を制御して駆動したり、センサ部３１の加速度センサによる検出結果に基づいて図示しない手振れ補正機構を制御駆動して手振れ補正を行ったり、等を行う。さらに、システムコントローラ３０は、操作部３２のモードボタンからの入力に応じて、撮像装置の撮像モード（静止画像を撮像するための静止画モード、動画像を撮像するための動画モード、立体視画像を撮像するための３Ｄモード等）の設定を行うものとなっている。

さらに、システムコントローラ３０は、コントラストＡＦ制御部３８と、距離演算部３９とを備え、コントラストＡＦ制御部３８によりＡＦ制御を行わせ、あるいは、距離演算部３９により算出された距離情報に基づきレンズユニット１を制御してＡＦを行うものである。

コントラストＡＦ制御部３８は、画像処理部２５から出力される画像信号（この画像信号は、輝度成分を含む割合が高いＧ画像であっても良いし、後述するボケ画像補正処理により位相差が補正された画像に係る輝度信号画像であっても構わない）からコントラスト値（ＡＦ評価値ともいう）を生成し、レンズ制御部１４を介してレンズ１０内のフォーカスレンズを制御するものである。すなわち、コントラストＡＦ制御部３８は、画像信号にフィルタ、例えばハイパスフィルタを作用させて高周波成分を抽出し、コントラスト値とする。そして、コントラストＡＦ制御部３８は、フォーカスレンズ位置を異ならせてコントラスト値を取得し、コントラスト値が大きくなる方向へフォーカスレンズを移動させて、さらにコントラスト値を取得する。このような処理を繰り返して行うことにより、最大のコントラスト値が得られるフォーカスレンズ位置（合焦位置）へフォーカスレンズを駆動するように制御するものである。

次に、距離演算部３９は、上述したようにボケ画像補正部３７により抽出されたｒ画像と画像ｌとの位相差量を演算し、演算した位相差量に基づき、被写体までの距離を演算するものである。

具体的に例えばＧ色（Ｇｒ色またはＧｂ色の何れか一方）の場合、距離演算部３９は、図５、図７、図８等に示したような、位相差画素列ＰＤＰ上の位相差画素ｒから得られる画像の信号値ＳｉｇＧｒ（図８参照）と、位相差画素列ＰＤＰ上の位相差画素ｌから得られる画像の信号値ＳｉｇＧｌ（図８参照）と、で位相をずらしながら複数位置で相関演算を行うことにより位相差量（位相差の方向と位相差の大きさ）を求める。この距離演算部３９による位相差量の算出処理は、上述したように、例えば４種類の単色画像毎に行われる（ただし、１色の画像について位相差量の算出処理を行った結果得られた被写体距離分布を他の色の画像に適用しても構わないし、複数色の算出結果に基づいてより精度の高い１つの被写体距離分布を作成しても良い）。さらに、距離演算部３９は、必要に応じて、求めた位相差量をレンズの公式に代入して距離情報を演算する。

図４〜図８を参照して説明したように、ｒ画像とｌ画像との位相差の方向は、被写体が合焦位置よりも近いか遠いかに応じて逆になる。従って、位相差の方向は、着目する被写体が合焦位置よりも近いか遠いかを判別するための情報となる。

また、合焦位置から近距離側または遠距離側へ離れれば離れるほど、ｒ画像とｌ画像との位相差の大きさが大きくなる。従って、位相差の大きさは、着目する被写体が合焦位置からどの程度の距離だけ離れているかを判定するための情報となる。

こうして、距離演算部３９は、算出した位相差の方向と位相差の大きさとに基づいて、着目する被写体が、合焦位置よりも近い側または遠い側へ、どの程度の距離だけ離れているかを算出するようになっている。

距離演算部３９は、基本的に撮像画像の全領域について、上述したような距離演算を行う。なお、距離演算を行うことができない画素がある場合には、周辺の画素に対して得られた距離情報に基づいて補間等を行い距離情報を取得する。このような、位相差量を取得して距離情報を演算する技術は、例えば上記特開２００１−１６６１１号公報に記載された技術を用いることができる。

距離演算部３９により取得された距離情報は、例えばオートフォーカス（ＡＦ）に利用することができる。

すなわち、距離演算部３９により取得した距離情報に基づきシステムコントローラ３０がレンズ制御部１４を介してレンズ１０のフォーカスレンズを駆動するＡＦ、すなわち位相差ＡＦを行うことができる。これにより、１枚の撮像画像に基づいて、高速なＡＦが可能となる。

ただし、システムコントローラ３０内には上述したように距離演算部３９とコントラストＡＦ制御部３８とが設けられているために、ＡＦ制御を距離演算部３９による算出結果に基づいてオートフォーカスを行っても良いが、コントラストＡＦ制御部３８によりオートフォーカスを行っても構わない。

ここに、コントラストＡＦ制御部３８によるコントラストＡＦは合焦精度が高い反面、フォーカスレンズを移動させながら複数枚の画像を撮像することが必要になるために、合焦速度が早いとはいえない課題がある。一方、距離演算部３９による被写体距離の算出は、１枚の撮像画像に基づいて行うことができるために、合焦速度が早い反面、合焦精度はコントラストＡＦよりも劣ることがある。

そこで、コントラストＡＦ制御部３８内に設けられているＡＦアシスト制御部３８ａが、コントラストＡＦ制御部３８と距離演算部３９とを組み合わせてＡＦを行わせるようにしても良い。すなわち、撮像素子２２を介して取得した撮影画像中の、位相差画素ｒから得られる画像と位相差画素ｌから得られる画像の位相差に基づく距離演算を、距離演算部３９に行わせて、被写体が現在のフォーカス位置よりも遠距離側にあるのか、あるいは近距離側にあるのかを取得する。あるいはさらに、被写体が現在のフォーカス位置から離れている距離を取得する。次に、ＡＦアシスト制御部３８ａは、取得した遠距離側または近距離側へ（取得した距離の分だけ）フォーカスレンズを駆動し、コントラストＡＦを行わせるようにコントラストＡＦ制御部３８を制御する。このような処理を行うことにより、早い合焦速度で高い合焦精度を得ることが可能となる。

また、撮像素子２２から得られたｒ画像とｌ画像とは、例えばステレオ立体視画像（３Ｄ画像）として用いることができる。

３Ｄ画像は、左側の瞳からの画像を左目で観察し、右側の瞳からの画像を右目で観察できれば良い。このような３Ｄ画像の観察方式として、従来よりアナグリフ方式が知られている（上述した特開平４−２５１２３９号公報も参照）。このアナグリフ方式は、一般に、赤色の左目画像と青色の右目画像とを生成して両方を表示し、左目側に赤色透過フィルタ、右目側に青色透過フィルタを配置したアナグリフ用の赤青メガネを用いてこの画像を観察することにより、モノクロの立体視画像を観察可能とする方式である。

そこで本実施形態においては、標準姿勢の撮像素子２２から得られたｒ画像とｌ画像（ボケ画像補正部３７によるボケ画像補正処理を行わない画像）を、デジタル処理によりそれぞれ赤と青に着色し、生成された赤青画像をアナグリフ方式の赤青メガネで観察すればそのまま立体視が可能となるようにしている。

また、本実施形態においては、上述したように、ステレオ画像生成部４０により、アナグリフ方式ではない、カラーの立体視画像を生成することもできるようになっている。

次に、ボケ画像補正部３７において行われる、ｒ画像とｌ画像の位相差を補正するためのボケ画像補正処理について説明する。
［実施例１］

まず、図９〜図１７は、ボケ画像補正処理の実施例１を示す図である。

合焦位置よりも近距離側にある被写体を撮影したときには図５に示すようなボケが形成され、合焦位置よりも遠距離側にある被写体を撮影したときには図７に示すようなボケが形成される。

ボケ画像補正処理は、これら図５または図７に示したような形状のボケを、図９に示すような形状のボケに補正するための処理である。ここに、図９は、ボケ画像補正処理後のボケ形状の概要を示す図である。

以下では、説明を簡単にするために、被写体が合焦位置よりも遠距離側にある場合（図７に示す場合）を例に挙げて説明するが、被写体が合焦位置よりも近距離側にある場合には、図５を図７と比較すれば分かるように、位相差画素ｒから得られる画像のボケと位相差画素ｌから得られる画像のボケの形状や位置が左右反対になるだけであるために、以下の処理を適宜変更すれば同様に適用することが可能である。

図１０は実施例１のボケ画像補正処理において位相差画素ｒから得られる、合焦位置よりも遠距離側にある被写体の画像に対して、ボケ画像補正処理において適用されるフィルタカーネルの形状を示す図、図１１は実施例１のボケ画像補正処理において位相差画素ｌから得られる、合焦位置よりも遠距離側にある被写体の画像に対して、ボケ画像補正処理において適用されるフィルタカーネルの形状を示す図である。

このボケ画像補正処理は、位相差の補正およびボケ形状の補正を、フィルタリング処理（フィルタカーネルを画像に畳み込み演算する処理）により行うものとなっている。すなわち、位相差画素ｒから得られる画像に対してフィルタリング処理を行うことにより、位相差画素ｒから得られる画像のボケの形状および重心位置を、標準画像である仮想の通常画素から得られるはずの画像（理想的な画像の一例）のボケの形状および重心位置に近付けるとともに、位相差画素ｌから得られる画像に対してフィルタリング処理を行うことにより、位相差画素ｌから得られる画像のボケの形状および重心位置を、標準画像である仮想の通常画素から得られるはずの画像のボケの形状および重心位置に近付ける処理となっている。ここに、重心位置を近接させるのは位相差を補正するためであり、ボケの形状を近似させるのは各色毎にボケの形状が異なるのを補正して自然な形状のボケとするためである。

特に、ここでは、位相差画素ｒから得られる画像および位相差画素ｌから得られる画像のボケの形状を、標準画像である仮想の通常画素から得られるはずの画像のボケの形状に合わせているが、その理由としては、通常画素から得られる画像のボケが円形状をしており自然なボケであること、通常画素から得られる画像のボケの大きさが位相差画素ｒから得られる画像および位相差画素ｌから得られる画像のボケの大きさよりも大きいために、位相差画素ｒから得られる画像および位相差画素ｌから得られる画像のボケ形状を通常画素から得られる画像のボケ形状に合わせる方が処理が容易であること、等が挙げられる。

図１０に示すｒ画像用フィルタカーネルは、位相差画素ｒから得られる画像に畳み込み演算するためのものであり、ボケフィルタの一例としてガウシアンフィルタを配置したものとなっている。このｒ画像用フィルタカーネルは、ガウシアンフィルタのフィルタ係数のピーク（フィルタ係数の重心位置にほぼ対応する）が、カーネル中心の位置（カーネルの上下を２等分する横ラインＣｈと、カーネルの左右を２等分する縦ラインであり仮想の通常画素から得られるはずの画像のボケ形状の重心を通る縦ラインＣとが交差する位置（Ｃｈ，Ｃ））（理想的な画像のボケ形状の重心位置、ここに理想的な画像の一例は、絞り１１の開口全域の情報（つまり、瞳が制限されていない情報）を取得可能な通常画素から得られるはずの画像）から、仮想の通常画素から得られるはずの画像と位相差画素ｒから得られる画像の間の位相差分ズレた位置（横ラインＣｈと、ｒ画像のボケ形状の重心を通る縦ラインＣｒとが交差する位置（Ｃｈ，Ｃｒ））にあるフィルタ形状となっている。

図１１に示すｌ画像用フィルタカーネルは、位相差画素ｌから得られる画像に畳み込み演算するためのものであり、ｒ画像用フィルタカーネルと同様に、ボケフィルタの一例としてガウシアンフィルタを配置したものとなっている。このｌ画像用フィルタカーネルは、ガウシアンフィルタのフィルタ係数のピーク（フィルタ係数の重心位置にほぼ対応する）が、理想的な画像のボケ形状の重心位置であるカーネル中心の位置（横ラインＣｈと縦ラインＣとが交差する位置（Ｃｈ，Ｃ））から、仮想の通常画素から得られるはずの画像と位相差画素ｌから得られる画像の間の位相差分ズレた位置（横ラインＣｈと、ｌ画像のボケ形状の重心を通る縦ラインＣｌとが交差する位置（Ｃｈ，Ｃｌ））にあるフィルタ形状となっている。

このようなフィルタ形状のｒ画像用フィルタカーネルおよびｌ画像用フィルタカーネルをｒ画像およびｌ画像にそれぞれ作用させることにより、位相差の補正と、ボケ形状の補正と、を同時に行うことが可能となっている。

次に、図１２および図１３を参照して、ボケ画像補正処理の変形例を説明する。ここに、図１２は実施例１の変形例のボケ画像補正処理における合焦位置よりも遠距離側にある被写体のｒ画像およびｌ画像のシフトの様子を示す図、図１３は実施例１の変形例のボケ画像補正処理においてｒ画像およびｌ画像に対して適用されるフィルタカーネルの形状を示す図である。

この変形例のボケ画像補正処理は、位相差の補正を平行移動（シフト）により行い、ボケ形状の補正をフィルタリング処理により行うものとなっている。

すなわちまず、図７に示す位相差画素ｒから得られる画像に対して位相差に応じたｒ画像用のシフト処理を行うことにより、図１２に示すようにｒ画像のボケの重心位置を標準画像である仮想の通常画素から得られるはずの画像のボケの重心位置（理想的な画像のボケ形状の重心位置）に近接させるとともに、図７に示す位相差画素ｌから得られる画像に対して位相差に応じたｌ画像用のシフト処理を行うことにより、図１２に示すようにｌ画像のボケの重心位置を標準画像である仮想の通常画素から得られるはずの画像のボケの重心位置（理想的な画像のボケ形状の重心位置）に近接させる。

その後に、ｒ画像およびｌ画像に対して図１３に示すようなフィルタリング処理（すなわち、同一のフィルタリング処理）を行うことにより、ｒ画像およびｌ画像のボケの形状を、標準画像である仮想の通常画素から得られるはずの画像のボケの形状に近似させるようになっている（図９参照）。

ここに、図１３に示すフィルタカーネルは、ｒ画像およびｌ画像に畳み込み演算するためのものであり、ボケフィルタの一例としてガウシアンフィルタを配置したものとなっている。このフィルタカーネルは、ガウシアンフィルタのフィルタ係数のピーク（フィルタ係数の重心位置に対応する）が、カーネル中心の位置（横ラインＣｈと縦ラインＣとが交差する位置（Ｃｈ，Ｃ））にあるフィルタ形状となっている。

ただし、ここでは図２に示したような、位相差画素ｒと位相差画素ｌとが画素開口を遮光部２２ｓにより左右対称にマスクされた画素であることを想定しているために、ｒ画像およびｌ画像に対して同一のフィルタリング処理を行っているが、位相差画素ｒのマスクと位相差画素ｌのマスクとが非対称である場合には、ｒ画像とｌ画像とに対して異なるフィルタリング処理を行うようにしても良いことは勿論である。

また、上述ではボケフィルタとしてガウシアンフィルタ（円型ガウシアンフィルタ）を例に挙げているが、勿論これに限定されるものではない。例えば図２に示したフィルタ形状の場合には、図５や図７に示したように、ｒ画像およびｌ画像に発生するボケは縦方向の半円状（すなわち、円形よりも横方向に短い形状）となる。従って、横方向（より一般には、位相差が生じている方向）を長軸方向とする、図１４や図１５等に示すような楕円型ガウシアンフィルタを用いれば、より高精度にボケを円形状に近づける補正処理を行うことが可能となる。ここに、図１４は実施例１において横方向の標準偏差を大きくした楕円型ガウシアンフィルタの形状を示す図、図１５は実施例１において縦方向の標準偏差を小さくした楕円型ガウシアンフィルタの形状を示す図である。なお、図１４および図１５には図１３に対応したフィルタカーネルの中心にフィルタ係数のピーク（フィルタ係数の重心位置に対応する）が位置する例を示したが、図１０や図１１に対応させる場合には、フィルタカーネルの中心からフィルタ係数のピーク（フィルタ係数の重心位置にほぼ対応する）をずらすことは勿論である。

さらに、ボケフィルタは、円型ガウシアンフィルタや楕円型ガウシアンフィルタに限るものでないことも勿論であり、ｒ画像やｌ画像のボケ形状を、仮想の通常画素から得られるはずの画像のボケ形状に近似することができるようなボケフィルタであれば、広く適用することが可能である。

次に、図１６は、実施例１においてボケ画像補正部３７により行われるボケ画像補正処理を示すフローチャートである。

（ステップＳ１）
この処理を開始すると、初期設定を行う。この初期設定においては、まず、処理対象のベイヤー画像（つまり、Ｒ画素、Ｇ画素、およびＢ画素で構成された色モザイク画像）の読み込みを行う。次に、読み込んだベイヤー画像を、Ｇｂ，Ｂ，Ｒ，Ｇｒ色の４種類の単色画像に分ける。そして、４種類の単色画像のそれぞれに対して、以下のような処理を行う。まず、４種類の単色画像のそれぞれについて、位相差画素ｒのみで構成される単色画像（ｒ画像）と、位相差画素ｌのみで構成される単色画像（ｌ画像）と、を抽出する。なお、ここではベイヤー画像を４種類の単色画像に分けた後にｒ画像とｌ画像とを抽出したが、ベイヤー画像からｒ画像とｌ画像とを抽出（図２に示すような位相差画素ｒ，ｌの配置によれば、ここで抽出したｒ画像とｌ画像とは何れもベイヤー配列の画像となる。逆に言えば、抽出したｒ画像とｌ画像とがベイヤー配列の画像となるように、撮像素子２２上における位相差画素ｒ，ｌの配置を決定すると良い。）した後に４種類の単色画像に分ける順序で処理を行っても構わない。次に、ｒ画像のコピーであるｒコピー画像と、ｌ画像のコピーであるｌコピー画像と、を作成する。

（ステップＳ２）
そして、４種類の単色画像の内のどの単色画像についての処理を行うかを設定する。４種類の単色画像の処理は適宜の順序で行われ、ここでは未処理の単色画像の中から１種類が設定される。

（ステップＳ３）
続いて、ステップＳ２で設定された単色画像から抽出されたｒ画像およびｌ画像について、位相差検出を行うための注目画素を設定する。ここでは、注目画素を、ｒ画像とｌ画像との内の何れか一方、ここでは例えばｒ画像に設定する。

（ステップＳ４）
ステップＳ３で設定された注目画素に対する位相差を検出する。この位相差の検出は、注目画素を中心位置に含む部分領域をｒ画像に設定して基準画像とし、ｌ画像に同一サイズの部分領域を設定して参照画像として（図１９等参照）、参照画像の位置を位相差が発生している方向にずらしながら距離演算部３９において基準画像と参照画像との間で相関演算を行い、最も相関値が高いと判定された参照画像と基準画像との間の位置ズレ量を位相差量とする。なお、この位相差量の符号が位相差の方向の情報を与える。

また、部分領域は任意のサイズに設定することができるが、安定的に位相差を検出するためには縦横それぞれ３０［ピクセル］以上の部分領域を利用することが好ましく、一例としては５１×５１［ピクセル］の領域が挙げられる。

そして、距離演算部３９における相関演算は、具体的には、例えばＺＮＣＣ演算、あるいは予めフィルタ処理が施された画像に対するＳＡＤ演算などの処理により行う。

まず、ＺＮＣＣによる相関演算は、以下の数式１に基づき行う。
［数１］

ここに、Ｉはｒ画像の部分領域、Ｔはｌ画像の部分領域（Ｉと同一サイズの部分領域）、Ｉ（バー）はＩの平均値、Ｔ（バー）はＴの平均値、Ｍは部分領域の横幅［ピクセル］、Ｎは部分領域の縦幅［ピクセル］である。この数式１に基づきＺＮＣＣ演算を行い、その結果の絶対値｜ＲZNCC｜を相関演算の結果として得られた相関値とする。

また、予めフィルタ処理が施された画像に対するＳＡＤ演算を行う場合は、はじめにｒ画像およびｌ画像に対してソーベルフィルタなどに代表される微分フィルタや、ＬＯＧフィルタなどのバンドパスフィルタなどのフィルタリング処理を施しておく。そしてその後に、以下の数式２に示すＳＡＤ演算により相関演算を行う。
［数２］

ここに、Ｉ’はフィルタリング処理が施された後のｒ画像の部分領域、Ｔ’はフィルタリング処理が施された後のｌ画像の部分領域（Ｉ’と同一サイズの部分領域）、Ｍは部分領域の横幅［ピクセル］、Ｎは部分領域の縦幅［ピクセル］である。この場合には、ＲSADが相関演算の結果得られた相関値である。

（ステップＳ５）
画像（ここで説明している例ではｒ画像）内における全ての注目画素に対する位相差検出処理が完了したか否かを判定する。そして、完了するまで、注目画素の位置をずらしながらステップＳ３およびステップＳ４の処理を繰り返して行う。ここに、ｒ画像内における全ての注目画素とは、ｒ画像内において位相差検出可能な全ての画素のことを指している。なお、位相差検出不可能な画素については、上述したように周囲の注目画素の検出結果に基づいて補間等を行って位相差量を算出する。

（ステップＳ６）
ステップＳ５において全ての注目画素に対する位相差検出処理が完了したと判定された場合には、補正処理を行うための注目画素を、位相差量が求められた画素に対して設定する。ここに、注目画素の画素位置は、ｒ画像とｌ画像とで同一の（つまり共通の）画素位置である。なお、以下では補正処理として、図１０および図１１を参照して説明したような、フィルタのみを用いたボケ画像補正処理（つまり、図１２に示したような平行移動（シフト）を伴わない処理）を行う場合について説明する。

（ステップＳ７）
注目画素の位相差量に応じて、ｒ画像にフィルタリング処理を行うためのｒ画像用フィルタの形状を取得する。ここに、位相差量とｒ画像用フィルタの形状との関係は、例えば以下の表１に示すようなテーブルとして、撮像装置内に予め保持されている。この表１に示す例では、フィルタ形状を決定するのは、フィルタカーネルの大きさ、フィルタカーネル中心からのガウシアンフィルタのズレ、ガウシアンフィルタの標準偏差σ（この標準偏差σは、ボケフィルタのボケの広がり度合いを示している）である。従って、注目画素の位相差量に基づきテーブル参照を行うことにより、ｒ画像用フィルタの形状を取得することができる。
［表１］

（ステップＳ８）
次に、ｒ画像における注目画素とその近傍の画素とでなる近傍領域に対してフィルタリング処理を行い、注目画素におけるフィルタ出力値を取得する。そして、取得したフィルタ出力値を、ｒコピー画像の注目画素位置にコピーして、ｒコピー画像を更新する。

（ステップＳ９）
注目画素の位相差量に応じて、ｌ画像にフィルタリング処理を行うためのｌ画像用フィルタの形状を取得する。ここに、位相差量とｌ画像用のフィルタ形状との関係は、例えば以下の表２に示すようなテーブルとして、撮像装置内に予め保持されている。この表２に示す例においても、フィルタ形状を決定するのは、フィルタカーネルの大きさ、フィルタカーネル中心からのガウシアンフィルタのズレ、ガウシアンフィルタの標準偏差σである。従って、注目画素の位相差量に基づきテーブル参照を行うことにより、ｌ画像用フィルタの形状を取得することができる。
［表２］

（ステップＳ１０）
次に、ｌ画像における注目画素とその近傍の画素とでなる近傍領域に対してフィルタリング処理を行い、注目画素におけるフィルタ出力値を取得する。そして、取得したフィルタ出力値を、ｌコピー画像の注目画素位置にコピーして、ｌコピー画像を更新する。

（ステップＳ１１）
画像内における全ての注目画素に対するフィルタリング処理が完了したか否かを判定する。そして、処理が完了するまで、注目画素の位置をずらしながらステップＳ６〜Ｓ１０の処理を繰り返して行う。

（ステップＳ１２）
全ての単色画像に係るｒ画像およびｌ画像に対して上述したステップＳ３〜Ｓ１１の処理が完了したか否かを判定する。ここで、未処理の単色画像が存在すると判定された場合には、上述したステップＳ２へ戻って未処理の単色画像の内の一つを選択し設定してから、上述したステップＳ３〜Ｓ１１の処理を行う。

こうしてステップＳ１２において、全ての単色画像に対するフィルタリング処理が完了したと判定された場合には、ｒコピー画像およびｌコピー画像を、ｒ画像およびｌ画像に対する補正画像とする。これら４種類の単色画像の補正画像は、ボケ画像補正部３７においてベイヤー画像として再構成される。再構成されたベイヤー画像は、画像処理部２５によりデモザイキング処理が行われる。こうして、デモザイキング処理が終了したところで、このボケ画像補正処理を終了する。

なお、ステップＳ７やステップＳ９において、円型ガウシアンフィルタを用いるのに代えて、図１４や図１５等に示したような楕円型ガウシアンフィルタを用いる場合は、楕円形ガウシアンフィルタの標準偏差値をｘ方向とｙ方向とで別々に設定すると良いために、撮像装置内に保持するフィルタ形状に関するパラメータテーブルは、フィルタカーネル中心からのズレを除いて、例えば以下の表３に示すようになる。
［表３］

ここに記載は省略したが、ステップＳ７において楕円型ガウシアンフィルタを用いる場合のフィルタカーネル中心からのズレは例えば表１と同様、ステップＳ９において楕円型ガウシアンフィルタを用いる場合のフィルタカーネル中心からのズレは例えば表２と同様とすれば良い。

さらに、上述では表１や表２を参照して、テーブルを用いて位相差量に応じたフィルタの形状を取得する例を説明したが、これに限るものでもない。例えば、フィルタの形状を決定するための各パラメータと位相差量との対応関係を例えば数式等として保持しておいて、位相差量を数式に代入して、演算等によりフィルタの形状を決定するようにしても構わない。

また、像面位相差方式における位相差画素の構造は、上述した構成に限るものではなく、例えばマイクロレンズを偏芯させた構成のものなど、各種のバリエーションを広く採用することができる（例えば、上述した特開２０１１−１９７０８０号公報参照）。また、構造の違いなどに伴って、ボケ形状も半円形でない場合もあるが、その場合には、ボケ形状に対応したフィルタ形状を設定することで観賞用として好ましい円形ボケ形状にすることが可能である。

なお、遮光部２２ｓを備える撮像素子２２により撮影した画像から位相差を検出する処理および位相差を補正するボケ画像補正処理は、撮像装置という形態において行うに限るものではなく、撮像装置とは別途の画像処理装置４１（例えば、画像処理プログラムを実行するコンピュータなど）において行うようにしても構わない。

図１７は実施例１における画像処理装置４１の構成を示すブロック図である。

この画像処理装置４１は、図１に示した撮像装置のボディユニット２から、撮像機構に係る図示しないレンズマウント、シャッタ２１、撮像素子２２、撮像回路２３、撮像駆動部２４や、レンズユニット１のＡＦ制御に係るコントラストＡＦ制御部３８（ＡＦアシスト制御部３８ａを含む）、レンズユニット１との通信に係るボディ側通信コネクタ３５、被写体の照明に係るストロボ制御回路３３およびストロボ３４、撮像装置の状態を取得するためのセンサ部３１などを取り除き、インターフェース（ＩＦ）２８から入力された情報を記録するための記録部４２をさらに設けたものとなっている。この記録部４２は、インターフェース２８を介して入力し記録した情報を、画像処理部２５へ出力するようになっている。なお、画像処理部２５から記録部４２へ情報を記録することも可能である。そして、記録部４２は、インターフェース２８とともに、システムコントローラ３０Ａ（コントラストＡＦ制御部３８を取り除いたことに伴い、システムコントローラの符号を３０Ａとしている）により制御されるようになっている。また、撮像に係るレリーズボタン等も不要であるために、操作部の符号を３２Ａとしている。

また、画像処理装置４１における一連の処理は、例えば次のように行う。まず、遮光部２２ｓを有する撮像素子２２を備えた撮像装置を用いて、画像を撮影し、撮像回路２３から出力されたままのＲＡＷ画像として記録媒体２９に記録する。さらに、位相差画素ｒ，ｌの配置等に係る情報や、撮像光学系９のレンズデータ等も記録媒体２９に併せて記録する。

次に、この記録媒体２９を画像処理装置４１のインターフェース２８に接続して、画像および各種情報を記録部４２に記録する。記録が終了したら、記録媒体２９はインターフェース２８から取り外しても構わない。

その後は、記録部４２に記録されている画像および各種情報を読み出して、上述した撮像装置と同様にして、距離演算部３９による位相差の演算を行い、ボケ画像補正部３７による位相差を補正するボケ画像補正処理を行い、画像処理部２５によるデモザイキング処理を行う。

こうして、画像処理装置４１によりボケ画像補正処理およびデモザイキング処理がなされた後の画像は、再び記録部４２に記録される。また、記録部４２に記録されたボケ画像補正処理およびデモザイキング処理がなされた後の画像は、表示部２７に表示されたり、インターフェース２８を介して外部機器に送信されたりする。従って、外部機器においては、ボケ画像補正後の画像を様々な用途に利用することができる。さらに、ボケ画像補正後の画像は、この画像処理装置４１において、後述する立体視画像の生成にも用いられる。

このようなボケ画像補正処理の実施例１によれば、理想的な画像として、例えば絞り１１の開口全域の情報（瞳が制限されていない情報）を取得可能な通常画素から得られるはずの仮想的な画像想定して、瞳領域が制限される位相差画素ｒ，ｌから得られた画像のボケの重心位置を理想的な画像のボケの重心位置に近接させ、さらにボケの形状も理想的な画像のボケの形状に近似させるボケ画像補正処理を行うことにより、観賞に耐え得る高品質な画像を生成することが可能となる。

具体的に、ボケフィルタ自体を用いることにより、またはボケフィルタを用いる前に平行移動（シフト）することにより、ｒ画像およびｌ画像の重心位置を合わせているために、位相差が軽減された鑑賞用としてより好ましい画像を得ることができる。

このときさらに、ボケフィルタにより、ｒ画像およびｌ画像のボケ形状を、同一のボケ形状に近似させているために、自然なボケ形状の、鑑賞用としてより好ましい画像を得ることができる。

従って、位相差画素を欠落画素として扱う必要がなくなり、撮像素子２２から得られた全ての画素情報を観賞用の画像を構成する画素情報として有効に利用することが可能となる。こうして、観賞に耐え得る高品質な画像を生成可能であるために、位相差画素ｒ，ｌを撮像素子２２上の全画素に設ける図２に示したような構成を採用することも可能となる。これにより、撮像素子２２上の全領域において位相差検出、ひいては測距を行うことが可能となる。そして、画面全体でｒ画像およびｌ画像を取得することができるために、画面全体の立体視画像を後述するように作成することが可能となる。
［実施例２］

図１８から図２３はボケ画像補正処理の実施例２を示したものであり、図１８は実施例２においてボケ画像補正部３７により行われるボケ画像補正処理の概要を示す図である。

この実施例２において、上述の実施例１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施例は、ボケ画像補正部３７におけるボケ画像補正処理を上述した実施例１とは異ならせたものとなっている。すなわち、上述した実施例１は、位相差の補正を、カーネルの中心からフィルタ係数のピークがずれたボケフィルタにより、あるいは平行移動処理およびボケフィルタにより、行っていたが、本実施例は画像のコピー加算処理により行うものとなっている。

図１８を参照して、被写体が合焦位置よりも遠距離側にある場合の、本実施例におけるボケ画像補正処理の概念を説明する。

被写体が合焦位置よりも遠距離側にある場合には、図７に示したように、位相差画素ｒから得られる画像（ｒ画像）のボケは、仮想の通常画素から得られるはずの画像のボケの左半分が欠けた形状であり、位相差画素ｌから得られる画像（ｌ画像）のボケは、仮想の通常画素から得られるはずの画像のボケの右半分が欠けた形状である。

そこで、図１８に示すように、ｒ画像のボケを仮想の通常画素から得られるはずの画像のボケに近似させるために、ｒ画像のボケを、ｒ画像のボケの欠損部分へコピー加算し、ｌ画像のボケを、ｌ画像のボケの欠損部分へコピー加算するようにしたものである。

コピー加算する部分領域の形状は、ｒ画像およびｌ画像におけるボケの欠損部分の各形状と合致することが望ましいが、ここでは処理を簡単にするために、矩形状（例えば正方形状）の領域としている。

仮想の通常画素から得られるはずの画像における円形状をなすボケ拡散領域の中に、ボケ拡散部分領域Ｖ１と、ボケ拡散部分領域Ｖ２と、を示している。ここに、ボケ拡散部分領域Ｖ１とボケ拡散部分領域Ｖ２とは、仮想の通常画素から得られるはずの画像の円形状をなすボケ拡散領域の重心を通る縦ラインＣに対して左右対称の位置に、同一の大きさとして配置されている。また、部分領域Ｖ１，Ｖ２の大きさは、位相差補正の機能を果たすことを考慮すると、円形状をなすボケ拡散領域の半径程度の大きさであることが望ましい。

一方、ｒ画像に対して示したボケ拡散部分領域Ｒ１は、ボケ拡散部分領域Ｖ２と同じ大きさで同一位置の領域である。そして、ｒ画像のボケ拡散領域には、ボケ拡散部分領域Ｖ１と同じ大きさで同一位置のボケ拡散部分領域Ｒ２が不足している。

同様に、ｌ画像に対して示したボケ拡散部分領域Ｌ１は、ボケ拡散部分領域Ｖ１と同じ大きさで同一位置の領域である。そして、ｌ画像のボケ拡散領域には、ボケ拡散部分領域Ｖ２と同じ大きさで同一位置のボケ拡散部分領域Ｌ２が不足している。

そこで、ｒ画像のボケ拡散部分領域Ｒ１を、ボケ拡散部分領域Ｖ２を移動させたときにボケ拡散部分領域Ｖ１に完全に重なる移動量（例えば、円形状をなすボケ拡散領域の半径程度の移動量になると考えられる）だけ移動させて、（後述するように、ｒ画像のコピーであるｒコピー画像に対して）コピー加算することにより、ｒ画像のボケ拡散部分領域Ｒ２を生成する。このボケ拡散部分領域Ｒ２は、仮想の通常画素から得られるはずの画像のボケ拡散部分領域Ｖ１（あるいはｌ画像のボケ拡散部分領域Ｌ１）に相当する領域となる。

同様に、ｌ画像のボケ拡散部分領域Ｌ１を、ボケ拡散部分領域Ｖ１を移動させたときにボケ拡散部分領域Ｖ２に完全に重なる移動量（同上）だけ移動させて、（後述するように、ｌ画像のコピーであるｌコピー画像に対して）コピー加算することにより、ｌ画像のボケ拡散部分領域Ｌ２を生成する。このボケ拡散部分領域Ｌ２は、仮想の通常画素から得られるはずの画像のボケ拡散部分領域Ｖ２（あるいはｒ画像のボケ拡散部分領域Ｒ１）に相当する領域となる。

このような処理により、ｒ画像およびｌ画像においてそれぞれ不足しているボケ拡散部分領域を補うことができ、その結果として、ｒ画像、ｌ画像のボケ拡散領域を、仮想の通常画素から得られるはずの画像のボケ拡散領域に近似させることができる。そして、これにより、ｒ画像のボケ拡散領域の重心は仮想の通常画素から得られるはずの画像のボケ拡散領域の重心に近接し、ｌ画像のボケ拡散領域の重心は仮想の通常画素から得られるはずの画像のボケ拡散領域の重心に近接することになる。

このような処理を、ｒ画像およびｌ画像の全体に対して行うことにより、位相差が補正された画像を得ることができる。

次に、図１９は実施例２において位相差検出を行う際にｒ画像およびｌ画像に設定する部分領域を示す図、図２０は実施例２においてオリジナルｒ画像のボケ拡散部分領域をｒコピー画像にコピー加算する様子を示す図、図２１は実施例２においてオリジナルｌ画像のボケ拡散部分領域をｌコピー画像にコピー加算する様子を示す図、図２２は実施例２において位相差量に応じてボケ拡散部分領域のサイズを変更する例を示す線図、図２３は実施例２においてボケ画像補正部３７により行われるボケ画像補正処理を示すフローチャートである。図１９〜図２２を適宜参照しながら、図２３に沿って説明する。

（ステップＳ２１）
この処理を開始すると、初期設定を行う。この初期設定においては、まず、処理対象のＲＧＢ画像（つまり、Ｒ画像、Ｇ画像、およびＢ画像）の読み込みを行う。ここで、入力画像がベイヤー画像である場合には、事前に画像処理部２５において、位相差画素ｒで構成される画像および位相差画素ｌで構成される画像に分け、さらにその位相差画素ｒで構成される画像を画素色（Ｇｂ，Ｂ，Ｒ，Ｇｒ）毎に４種類の単色画像に分け、同様に位相差画素ｌで構成される画像を画素色（Ｇｂ，Ｂ，Ｒ，Ｇｒ）毎に４種類の単色画像に分けておく。以下の処理は、これら４種類の単色画像毎のｒ画像とｌ画像のペアに対して位相差の補正を行い、位相差の補正が行われた後に、補正後の４種類の単色画像からベイヤー画像を再構成する処理となっている。ただし、ある画素色の単色画像に対する処理と、他の画素色の単色画像に対する処理とは同様であるために、以下では、１つの画素色の単色画像に対するボケ画像補正処理を説明する。

さらにこの初期設定において、ある単色画像に係る、オリジナル画像ｒ０のコピー画像であるｒ１（図２０参照）と、オリジナル画像ｌ０のコピー画像であるｌ１（図２１参照）と、を作成する。さらに、コピー画像ｒ１およびコピー画像ｌ１と同一サイズの、ｒカウント画像およびｌカウント画像を生成する（ここに、これらのカウント画像は、画素値の初期値を、全画素について１としておく）。

（ステップＳ２２）
続いて、位相差検出を行うための部分領域を設定する。ここでは、部分領域を、ｒ画像とｌ画像との内の何れか一方、ここでは例えばｒ画像に設定する。

（ステップＳ２３）
ステップＳ２２で設定された部分領域に対する位相差を検出する。この位相差の検出は、ｒ画像に設定した部分領域を基準画像とし、ｌ画像における基準画像と同一サイズの部分領域を参照画像として、上述したステップＳ４と同様の処理を図１９に示すように行うことにより、ｒ画像とｌ画像との間で位相差検出を行う。

（ステップＳ２４）
ステップＳ２３の処理により得られた位相差量に基づいて、仮想の通常画素から得られるはずの画像の円形ボケの半径（または、位相差画素ｒで構成される単色画像および位相差画素ｌで構成される単色画像の半円ボケの半径ということもできる）を取得する（ここでは一例として半径を挙げているが、直径であっても構わないし、仮想の通常画素から得られるはずの画像の円形ボケの大きさを表すことができる量であればその他の量であっても良い）。ここに、位相差量と仮想の通常画素から得られるはずの画像のボケ半径との関係は、撮像光学系９の構成（例えば、レンズ１０のレンズ構成や焦点距離、あるいは絞り１１の絞り値など）に依存して決定され、テーブルや数式等として撮像装置内に予め保持されている。従って、位相差量に基づいて、テーブル参照したり、数式を用いた演算を行ったりすることにより、ボケ半径を取得することができる。なお、このステップＳ２４の処理を省略して、ステップＳ２３において取得した位相差量をボケ半径に代えて用いる簡易的な方法を適用しても構わない。この場合には、位相差量とボケ半径との関係を撮像装置内に予め保持しておく必要はない。

（ステップＳ２５）
次に、オリジナル画像ｒ０から部分領域を読み出して、ステップＳ２３で検出した位相差量に応じた所定量だけずらしてから、コピー画像ｒ１にコピー加算する。ここに、部分領域をずらす所定量は、ずらす方向も含む量であり、その大きさは例えばステップＳ２４において取得したボケ半径とする。上述したステップＳ２１においてコピー画像ｒ１を作成したのは、コピー加算により画素値が変化しているコピー画像ｒ１とは別に、オリジナル画像ｒ０を保持しておく必要があるためである（コピー画像ｌ１についても同様）。ただし、部分領域を例えばラスタスキャンの順序でシーケンシャルに処理する代わりに、並列動作により処理する場合などには、コピー画像を用意する必要はない。

（ステップＳ２６）
続いて、ｒカウント画像の「ステップＳ２５においてコピー加算処理を行った位置」の領域に、加算された回数が分かるように＋１を加算する。このｒカウント画像は、後段のステップＳ３０において、画素値の正規化処理を行うために利用する。

（ステップＳ２７）
また、オリジナル画像ｌ０における「ステップＳ２５においてコピー画像ｒ１にコピーした位置」と同一の位置から部分領域を読み出して、コピー画像ｌ１の「ステップＳ２５においてオリジナル画像ｒ０からコピー元のデータを取得した位置」にコピー加算する。これにより、ｌ画像をずらす所定量は、ｒ画像をずらす所定量と絶対値が同じで向きが逆となる。

（ステップＳ２８）
そして、ｌカウント画像の「ステップＳ２５においてオリジナル画像ｒ０からコピー元のデータを取得した位置」（つまり、ステップＳ２７においてコピー加算処理を行った位置）の領域に、加算された回数が分かるように＋１を加算する。このｌカウント画像も、後段のステップＳ３０において、画素値の正規化処理を行うために利用する。

なお、上述したステップＳ２５やステップＳ２７においては、コピー加算処理を画像の部分領域毎に行っているが、この部分領域は、ステップＳ２３において位相差検出処理を行った部分領域と同一であっても良い一方で、位相差検出処理とは異なる大きさの部分領域としても構わない。

また、コピー加算処理に用いる部分領域の大きさは、画像全体で一定（すなわち、グローバルな大きさ）としても構わないが、画像内に設定する各部分領域毎に異ならせても（すなわち、ローカルな大きさとしても）良い。

例えば、ステップＳ２５〜Ｓ２８で用いる部分領域の大きさを、ステップＳ２３において検出された位相差量に応じて、図２２に示すように変化させても良い。

この図２２に示す例では、位相差量が０である場合に、部分領域の縦サイズおよび横サイズは共に１となり、部分領域は１画素となる。なお、この場合には、位相差量が０であるために上述したコピー加算処理も行わないことになり、実質的に何の処理も行わないことになる。従って、位相差量が０であるか否かに応じて処理を分岐させて、位相差量が０であるときには何の処理も行わないようにしても良い。

また、図２２に示す例では、位相差量に比例して、部分領域の大きさが大きくなるように構成されている。このときの直線の傾きは、撮像光学系９の構成に応じて適切に設定することになるために、図２２には具体的なスケールを示していない。

なお、図２２には、位相差量と部分領域の大きさとの関係が比例関係となる例を示しているが、勿論、比例関係とするに限るものではなく、例えば主観的な画質の評価に応じて位相差量に対する部分領域の大きさが適切となるように設計しても良い。

また、点光源からの光線がボケとなるときの拡散量（ＰＳＦ（Point Spread Function：点広がり関数）の点拡がりの量）は、ボケが発生している領域内において均一であるとは限らず、例えばボケの周辺部においては中央部よりも拡散量が少ない（つまり、輝度が低い）ことなどが考えられる。そこで、上述したような部分領域のコピー加算を行うときに、ボケの拡散量に応じた重み係数を乗算するようにしても良い。例えば、部分領域の周辺部の各画素には１／２の重み係数を乗算し、部分領域の中央部の各画素には１の重み係数を乗算してから、コピー加算を行うなどである。このときには、ステップＳ２６およびステップＳ２８におけるカウント画像も、部分領域の周辺部については１／２を加算し、部分領域の中央部については１を加算することになる。

（ステップＳ２９）
その後、画像内における全ての部分領域に対する処理が完了したか否かを判定する。ここで未処理の部分領域が存在すると判定された場合には、ステップＳ２２へ戻って、部分領域の位置をずらしながらステップＳ２２〜Ｓ２８の処理を繰り返して行う。ここに、部分領域をずらすときのステップ（ずらし量）は任意の値を設定可能であるが、部分領域の幅よりも小さい値であることが好ましい。

（ステップＳ３０）
こうして、ステップＳ２９において全ての部分領域に対する処理が完了したと判定された場合には、同一画素位置毎に、コピー画像ｒ１の画素値をｒカウント画像の画素値で割ることにより正規化されたコピー画像ｒ１を得るとともに、コピー画像ｌ１の画素値をｌカウント画像の画素値で割ることにより正規化されたコピー画像ｌ１を得る。

上述したようなｒ画像とｌ画像のペアに対するボケ画像補正処理を、ベイヤー画像を構成する４種類の単色画像の全てについて行う。こうして全ての単色画像に対するボケ画像補正処理が完了した場合には、補正処理後のコピー画像ｒ１およびコピー画像ｌ１をボケ画像補正部３７においてベイヤー画像として再構成する。再構成されたベイヤー画像は、画像処理部２５によりデモザイキング処理が行われ、Ｒ画像、Ｂ画像、Ｇ画像が生成される。こうして生成されたＲＧＢ画像が、ボケ画像補正部３７によるボケ画像補正処理および画像処理部２５によるデモザイキング処理の結果得られたカラー画像となる。そして、デモザイキング処理が終了したところで、このボケ画像補正処理を終了する。

このようなボケ画像補正処理の実施例２によれば、画像のコピー加算処理によって位相差の補正を行うことにより、上述した実施例１とほぼ同様の効果を奏することができる。

また、コピー加算を行う場合には、フィルタリング処理の場合よりも処理負荷を軽減することが可能となる利点がある。従って、処理回路の低コスト化や、低消費電力化を図ることもできる。
［実施例３］

図２４から図２７は本発明の実施例３を示したものであり、図２４は実施例３において位相差量に応じたｒ画像、ｌ画像、理想的な画像のＰＳＦのテーブルの概要を示す図、図２５は実施例３においてボケ画像補正部３７により行われるボケ画像補正処理の概要を示す図、図２６は実施例３においてボケ画像補正部３７により行われるボケ量コントロールを伴うボケ画像補正処理の概要を示す図、図２７は実施例３においてボケ画像補正部３７により行われるボケ画像補正処理を示すフローチャートである。

この実施例３において、上述の実施例１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施例は、ボケ画像補正部３７におけるボケ画像補正処理を上述した実施例１，２と異ならせたものとなっている。すなわち、本実施例は、ボケ画像補正処理を、ぼけた画像をぼけていない画像に復元する復元処理（逆フィルタリング処理）と、復元されたぼけていない画像を被写体距離に応じた円形のボケ形状が得られるようにするフィルタリング処理と、を組み合わせることにより行うものとなっている。

図２に示したような撮像素子２２を用いた場合には、位相差量に応じて、ｒ画像、ｌ画像、仮想の通常画素（理想的な画像の一例）から得られるはずの画像のＰＳＦは、図２４に示すように変化する。なお、この図２４において、点光源からの光が到達しない暗部にはハッチングを付している。

例えば、ｒ画像のＰＳＦであるＰＳＦｒは、位相差量の絶対値が大きくなるほど、大きな半円形状を示し、位相差量が０、つまり合焦位置においては１点に収束する。さらに、合焦位置よりも近距離である場合には図２４の上半分に示すように左半円形状であるが、合焦位置よりも遠距離である場合には図２４の下半分に示すように右半円形状となる。

同様に、ｌ画像のＰＳＦであるＰＳＦｌは、位相差量の絶対値が大きくなるほど、大きな半円形状を示し、位相差量が０、つまり合焦位置においては１点に収束する。さらに、合焦位置よりも近距離である場合には図２４の上半分に示すように右半円形状であるが、合焦位置よりも遠距離である場合には図２４の下半分に示すように左半円形状となる。

さらに、仮想の通常画素から得られるはずの画像のＰＳＦ（理想的な画像に対する撮像光学系９のＰＳＦ）であるＰＳＦｖは、位相差量の絶対値が大きくなるほど、大きな円形状を示し、位相差量が０、つまり合焦位置においては１点に収束する。また、ＰＳＦｖは、１点に収束したときを除いて、合焦位置よりも近距離であるか遠距離であるかに関わらず、常に円形状である。

この図２４に示したような、位相差量に応じた各ＰＳＦのテーブルが、例えばボケ画像補正部３７内の図示しない不揮発性メモリに予め記憶されているものとする（ただし、図１に示したようなレンズ交換式の撮像装置の場合には、レンズ制御部１４内に記憶されているテーブルを、通信により受信して用いても勿論構わない）。

このようなＰＳＦを用いた復元処理およびフィルタリング処理について、図２５を参照して説明する。この図２５は、被写体が合焦位置よりも遠距離にある場合の例であるが、被写体が合焦位置よりも近距離にある場合にも同様の処理を適用することができる。

まず、ｒ画像にＰＳＦｒの逆演算ＰＳＦｒ^-1（右肩の−１が逆演算であることを示している。以下同様。）を行うことにより、右半円形状のボケを、点光源が１点に収束するボケのない像（復元第１画像と復元第２画像との何れか一方）に変換する。同様に、ｌ画像にＰＳＦｌの逆演算ＰＳＦｌ^-1を行うことにより、左半円形状のボケを、点光源が１点に収束するボケのない像（復元第１画像と復元第２画像との何れか他方）に変換する。このような処理により、ｒ画像およびｌ画像の復元処理を行う。

次に、復元処理されたｒ画像および復元処理されたｌ画像に対して、仮想の通常画素から得られるはずの画像に対するＰＳＦ（理想的な画像に対する撮像光学系９のＰＳＦ）であるＰＳＦｖをそれぞれ作用させる。これにより、ｒ画像およびｌ画像に、仮想の通常画素から得られるはずの画像と同様の円形状のボケが生成される。

具体的な処理は、次のようにして行う。

まず、ある画素位置におけるｒ画像のボケのＰＳＦがＰｒ１、ｌ画像の同一画素位置におけるボケのＰＳＦがＰｌ１、仮想の通常画素から得られるはずの画像の同一画素位置におけるボケのＰＳＦがＰｖ１であるとする。ボケのＰＳＦは、図２４に示したように、ｒ画像とｌ画像との間の位相差に応じて異なり、位相差は基本的に画素位置毎に異なるために、ＰＳＦは各画素位置毎に決定されるものとなる。また、ＰＳＦは、着目画素位置を中心として、近傍の複数画素を含む部分領域に対して定義されているものとする（図２４参照）。

処理を開始すると、着目画素に対して求められた位相差を取得し、図２４に示したようなテーブルを参照することにより、ｒ画像における着目画素を中心としたＰＳＦであるＰｒ１と、ｌ画像における同一位置の着目画素を中心としたＰＳＦであるＰｌ１と、仮想の通常画素から得られるはずの画像における同一位置の着目画素を中心としたＰＳＦであるＰｖ１と、を取得する。

次に、取得したＰｒ１、Ｐｌ１、およびＰｖ１と、ｒ画像における着目画素を中心とする部分領域Ａｒと、ｌ画像における着目画素を中心とする部分領域Ａｌと、に対して次の数式３に示すように、２次元フーリエ変換ＦＦＴ２を行い、各変換後の値ＰＲ１，ＰＬ１，ＰＶ１，ＡＲ，ＡＬを得る。
［数３］
ＰＲ１＝ＦＦＴ２（Ｐｒ１）
ＰＬ１＝ＦＦＴ２（Ｐｌ１）
ＰＶ１＝ＦＦＴ２（Ｐｖ１）
ＡＲ ＝ＦＦＴ２（Ａｒ）
ＡＬ ＝ＦＦＴ２（Ａｌ）

次に、下記の数式４に示すように、ＡＲをＰＲ１で除算し、ＡＬをＰＬ１で除算することにより復元処理を行い、さらにそれぞれにＰＶ１を乗算することによりフィルタリング処理を行って、その結果に２次元逆フーリエ変換ＩＦＦＴ２を施し、仮想の通常画素から得られるはずの画像と同様のボケが得られた復元ｒ画像である画像ｒ’および復元ｌ画像である画像ｌ’を算出する。
［数４］
ｒ’＝ＩＦＦＴ２（ＡＲ×ＰＶ１／ＰＲ１）
ｌ’＝ＩＦＦＴ２（ＡＬ×ＰＶ１／ＰＬ１）

なお、数式４の逆フィルタリング処理による復元処理をより安定的にするために、以下の数式５のように復元処理の復元量を制御しても構わないものとする（ウィナーフィルターの方式）。
［数５］
ｒ’＝ＩＦＦＴ２（ＡＲ×ＰＶ１／ＰＲ１×｜ＰＲ１｜²／（｜ＰＲ１｜²＋Γ））
ｌ’＝ＩＦＦＴ２（ＡＬ×ＰＶ１／ＰＬ１×｜ＰＬ１｜²／（｜ＰＬ１｜²＋Γ））
ここに、ΓはＰＲ１、ＰＬ１の形状に応じて適切に設定される任意の定数である。

この数式５のような処理を採用することにより、復元処理時のノイズの増幅が抑制され、より好ましいｒ画像およびｌ画像を生成することができる。

なお、Γの設定方法として、例えばＰＲ１、ＰＬ１の周波数係数の絶対値｜ＰＲ１｜、｜ＰＬ１｜と、これらの絶対値｜ＰＲ１｜、｜ＰＬ１｜に対するΓの好ましい値との関係を撮像装置内に予め保持しておき、この関係に基づいて周波数係数毎にΓを指定する方法が考えられる。また、その他の方法としては、撮像装置の各種パラメータ（ＩＳＯ値、焦点距離、開口値など）に基づいて、画像に含まれるノイズ量を推定し、推定したノイズ量に応じてΓを変化させる方法（例えば、ＩＳＯ２００の場合Γ＝０．０１とし、ＩＳＯ８００の場合Γ＝０．０４とするなど）を採用しても構わない。

上述したような復元処理およびフィルタリング処理は、画像の部分領域毎に行い、ある部分領域で補正処理が完了したら、次に位置を少しずらして部分領域を指定し、指定した部分領域に対して再び同様の復元処理およびフィルタリング処理を行う。このような処理を繰り返して行うことにより、復元処理およびフィルタリング処理を画像の全領域に対して行う。その後、重複して処理された画素位置に関しては、その画素位置で処理された複数の補正画素値の総和を補正回数で割って平均化することにより、正規化された補正画像を得る。

なお、復元処理およびフィルタリング処理を行う部分領域の大きさは、ボケの形状よりも大きいことが好ましい。従って、ボケの大きさに応じて、部分領域の大きさを適応的に変化させることが考えられる。あるいは、位相差に応じてボケの形状がどの範囲で変化するかが予め分かっている場合には、そのボケの最大サイズ以上の部分領域を固定的に用いるようにしても良い。

次に、図２７を参照して、ボケ画像補正部３７により行われる上述したような復元処理およびフィルタリング処理によるボケ画像補正処理の流れについて説明する。なお、以下に説明するボケ画像補正処理は、上述した実施形態１，２の各処理と同様に、複数の単色画像のそれぞれに対して行われ、例えば入力画像がベイヤー画像である場合には、Ｇｂ，Ｂ，Ｒ，Ｇｒの各単色画像におけるｒ画像およびｌ画像に対して行われるが、簡単のために、以下では１つの単色画像におけるｒ画像およびｌ画像に対する処理のみを説明する。

（ステップＳ４１）
この処理を開始すると、初期設定を行う。この初期設定においては、まず、処理対象の画像（つまり、設定された単色画像における、位相差画素ｒから得られるｒ画像、および位相差画素ｌから得られるｒ画像）の読み込みを行う。次に、ｒ画像のコピーであるｒコピー画像と、ｌ画像のコピーであるｌコピー画像と、を作成する。

続いて、ｒコピー画像およびｌコピー画像と同一サイズの、ｒカウント画像およびｌカウント画像を生成する（ここに、これらのカウント画像は、画素値の初期値を、全画素について１としておく）。

（ステップＳ４２）
続いて、位相差検出を行うための部分領域を設定する。ここでは、部分領域を、ｒ画像とｌ画像との内の何れか一方、ここでは例えばｒ画像に設定する。

（ステップＳ４３）
ステップＳ４２で設定された部分領域に対する位相差を検出する。この位相差の検出は、ｒ画像に設定した部分領域を基準画像とし、ｌ画像における基準画像と同一サイズの部分領域を参照画像として、上述したステップＳ４と同様の処理を図１９に示したように行うことにより、ｒ画像とｌ画像との間で位相差検出を行う。

（ステップＳ４４）
ステップＳ４３の処理により得られた位相差量に基づいて、仮想の通常画素から得られるはずの画像の円形ボケの半径（または、ｒ画像およびｌ画像の半円ボケの半径ということもできる）を、上述したステップＳ２４と同様にして取得する。

（ステップＳ４５）
次に、オリジナルのｒ画像の上述したステップＳ４２で指定した部分領域に対して、上述したような復元処理およびフィルタリング処理を行う。こうして得られた処理結果を、ｒコピー画像におけるオリジナルのｒ画像の部分領域と同位置にコピー加算する。なお、ここでは、ボケ画像補正処理を行うための部分領域の大きさを、位相差検出を行うための部分領域の大きさと同一とする例について説明するが、勿論異なる大きさの領域を設定しても構わないし、上述したように、検出された位相差に応じた適応的な大きさの部分領域としても良い（後述するｌ画像についても同様）。

（ステップＳ４６）
続いて、ｒカウント画像の「ステップＳ４２で指定した部分領域」に、加算された回数が分かるように＋１を加算する。このｒカウント画像は、後段のステップＳ５０において、画素値の正規化処理を行うために利用する。

（ステップＳ４７）
また、オリジナルのｌ画像の上述したステップＳ４２で指定した部分領域に対して、上述したような復元処理およびフィルタリング処理を行う。こうして得られた処理結果を、ｌコピー画像におけるオリジナルのｌ画像の部分領域と同位置にコピー加算する。

（ステップＳ４８）
そして、ｌカウント画像の「ステップＳ４２で指定した部分領域」に、加算された回数が分かるように１を加算する。このｌカウント画像も、後段のステップＳ５０において、画素値の正規化処理を行うために利用する。

（ステップＳ４９）
その後、画像内における全ての部分領域に対する処理が完了したか否かを判定する。ここで未処理の部分領域が存在すると判定された場合には、ステップＳ４２へ戻って、部分領域の位置をずらしながらステップＳ４２〜Ｓ４８の処理を繰り返して行う。ここに、部分領域をずらすときのステップ（ずらし量）は任意の値を設定可能であるが、部分領域の幅よりも小さい値であることが好ましい。

（ステップＳ５０）
こうして、ステップＳ４９において全ての部分領域に対する処理が完了したと判定された場合には、同一画素位置毎に、ｒコピー画像の画素値をｒカウント画像の画素値で割ることにより正規化されたｒコピー画像を得るとともに、ｌコピー画像の画素値をｌカウント画像の画素値で割ることにより正規化されたｌコピー画像を得る。このステップＳ５０において算出された位相差画素ｒから得られる画像および位相差画素ｌから得られる画像が、ボケ画像補正部３７におけるボケ画像補正処理により得られた画像となる。

こうして、ステップＳ５０の処理が終了したところで、この図２７に示す処理を終了する。

なお、上述では、フーリエ変換を利用して実空間から周波数空間へ変換した後に、復元処理およびフィルタリング処理を行っている。しかし、これに限るものではなく、実空間における（例えばＭＡＰ推定処理などの）復元処理やフィルタリング処理を適用しても構わない。

また、上述ではｒ画像およびｌ画像のボケ形状を仮想の通常画素から得られるはずの画像のボケ形状に整合させる処理を行っているが、これに加えて、ボケ量コントロールを行うようにしても構わない。

この場合には、図２６に示すように、まず、ｒ画像にＰＳＦｒの逆演算を、ｌ画像にＰＳＦｌの逆演算を、それぞれ行う。これにより、ｒ画像およびｌ画像の復元が行われて、復元第１画像および復元第２画像に変換される。

次に、復元処理されたｒ画像およびｌ画像に対して、所望の大きさの円形状のボケを得るためのＰＳＦであるＰＳＦｖ’（このＰＳＦｖ’も理想的な画像に対する撮像光学系９のＰＳＦである）をそれぞれ作用させる。これにより、ｒ画像およびｌ画像に、所望の大きさの円形状のボケを生成するボケ量コントロールを行うことができる。

所望の大きさの円形状のボケを得るためのＰＳＦとしては、例えば、仮想の通常画素に対するＰＳＦを利用することができる（通常画素は、位相差に応じた大きさの円形状のボケを生じるため）。従って具体的には、図２４に示したようなテーブルを参照することにより、仮想の通常画素から得られるはずの画像における同一位置の着目画素を中心としたＰＳＦとして、所望のＰｖ１’をさらに取得しておく。

次に、上述した数式３の処理に加えて、さらに、取得したＰｖ１’に対して次の数式６に示すように、２次元フーリエ変換ＦＦＴ２を行い、各変換後の値ＰＶ１’を得る。
［数６］
ＰＶ１’＝ＦＦＴ２（Ｐｖ１’）

そして、下記の数式７に示すように、ＡＲをＰＲ１で除算し、ＡＬをＰＬ１で除算することにより復元処理を行い、さらにそれぞれにＰＶ１’を乗算することによりフィルタリング処理を行って、その結果に２次元逆フーリエ変換ＩＦＦＴ２を施し、所望のボケ量のボケが得られたｒ画像ｒ”およびｌ画像ｌ”を算出する。
［数７］
ｒ”＝ＩＦＦＴ２（ＡＲ×ＰＶ１’／ＰＲ１）
ｌ”＝ＩＦＦＴ２（ＡＬ×ＰＶ１’／ＰＬ１）

なお、上述した数式５と同様に、数式７に代えて、次の数式８に示すようなウィナーフィルターの方式を採用しても構わない。
［数８］
ｒ”＝ＩＦＦＴ２（ＡＲ×ＰＶ１’／ＰＲ１×｜ＰＲ１｜²／（｜ＰＲ１｜²＋Γ））
ｌ”＝ＩＦＦＴ２（ＡＬ×ＰＶ１’／ＰＬ１×｜ＰＬ１｜²／（｜ＰＬ１｜²＋Γ））
ここに、ΓはＰＲ１、ＰＬ１の形状に応じて適切に設定される任意の定数である。

このようなボケ画像補正処理の実施例３によれば、ＰＳＦを用いた復元処理およびフィルタリング処理による位相差補正を行うことにより、上述した実施例１，２とほぼ同様の効果を奏することができる。

上述した実施例１〜３の何れかの処理を行うことにより、位相差のない２次元画像が生成される。本実施形態のステレオ画像生成部４０は、この位相差のない２次元画像と、位相差情報とに基づいて、カラーの立体視画像（３Ｄ画像）を生成するものとなっている。

図２８はボケ画像補正処理後の２次元画像から左目画像および右目画像を生成する様子を示す図、図２９はステレオ画像生成部４０による立体視画像の生成処理を示すフローチャートである。

（ステップＳ６１）
この処理を開始すると、初期設定を行う。この初期設定においては、まず、ボケ画像補正処理により位相差が補正されたカラー画像ＲＧＢ０（図２８参照）の読み込みを行う。次に、処理対象となる画像の各部分領域に対応する位相差量の情報を予め用意しておく。ここに位相差量の情報は、実施例１〜３の何れかのボケ画像補正処理において既に取得されているために、この情報を用いるものとする（ただし、位相差量が取得されていない画素がある場合（例えば、デモザイキング前の画像に基づき位相差量が取得された場合や、位相差量を取得することができなかった画素が存在した場合など）には、上述したように補間処理等を行うことにより、全画素についての位相差量を生成しておく）。さらに、左目画像ＲＧＢ−Ｌおよび右目画像ＲＧＢ−Ｒと、左目カウント画像および右目カウント画像とを生成する（ここに、これら４つの各画像は、画素値の初期値を、全画素について０としておく）。

（ステップＳ６２）
次に、位相差が補正されたカラー画像ＲＧＢ０に、図２８に示すように部分領域を設定する。この部分領域の大きさは、位相差量の計測に利用した部分領域と同サイズであってもよいが、任意の大きさであっても構わない。例えば、図２２を参照して説明したのと同様に、位相差量に応じて（例えば、比例して）部分領域の大きさが大きくなるようにしても構わない。

（ステップＳ６３）
続いて、ステップＳ６１において予め用意しておいた位相差量の情報から、ステップＳ６２において設定した部分領域に対応する位相差量を取得する。

（ステップＳ６４）
そして、ｒ画像とｌ画像との間に生じている位相差量（位相差の方向および位相差の大きさ）に応じて、カラー画像ＲＧＢ０の部分領域を、左目画像ＲＧＢ−Ｌ内の位相差量の２分の１だけずらした部分領域にコピー加算する（図２８参照）。

（ステップＳ６５）
さらに、左目カウント画像の「ステップＳ６４でコピー加算された部分領域」と同一領域における各画素の画素値に、＋１を加算する。この左目カウント画像は、後段のステップＳ６９において、画素値の正規化処理を行うために利用する。

（ステップＳ６６）
同様に、ｒ画像とｌ画像との間に生じている位相差量に応じて、カラー画像ＲＧＢ０の部分領域を、右目画像ＲＧＢ−Ｒ内の位相差量の２分の１だけステップＳ６４とは逆方向にずらした部分領域にコピー加算する（図２８参照）。

（ステップＳ６７）
さらに同様に、右目カウント画像の「ステップＳ６６でコピー加算された部分領域」と同一領域における各画素の画素値に、＋１を加算する。この右目カウント画像は、後段のステップＳ６９において、画素値の正規化処理を行うために利用する。

（ステップＳ６８）
その後、カラー画像ＲＧＢ０内における全ての部分領域に対する処理が完了したか否かを判定する。そして、処理が完了するまで、部分領域の位置をずらしながらステップＳ６２〜Ｓ６７の処理を繰り返して行う。ここに、部分領域をずらすときのステップは任意の値を設定可能であるが、部分領域の幅よりも小さい値であること（すなわち、部分領域が重複しながら順次設定されていくこと）が好ましい。具体例を挙げれば、サイズが５１×５１［ピクセル］である部分領域に対して、１０［ピクセル］ずつずらしながら部分領域を設定する等が挙げられる。ただし、重複しなければならないものではなく、タイルを敷き詰めるように設定しても構わない（例えばサイズが５１×５１［ピクセル］の部分領域に対して、５１［ピクセル］ずつずらしながら部分領域を設定するなど）。

（ステップＳ６９）
こうして、ステップＳ６８において全ての部分領域に対する処理が完了したと判定された場合には、同一画素位置毎に、左目画像ＲＧＢ−Ｌの画素値を左目カウント画像の画素値で割ることにより正規化された左目画像を得るとともに、右目画像ＲＧＢ−Ｒの画素値を右目カウント画像の画素値で割ることにより正規化された右目画像を得る。なお、この処理を終えたところで、画素値が与えられていない画素が残っている場合には、補間処理を行って該画素の画素値を与えるものとする。

こうして、ステップＳ６９の処理が終了したところで、この図２９に示す処理を終了する。

なお、上述では、カラー画像ＲＧＢ０の部分領域を左目画像ＲＧＢ−Ｌおよび右目画像ＲＧＢ−Ｒへコピー加算する際に、位相差量の２分の１だけ部分領域をずらしているが、これは、位相差量の２分の１であることが実際に観測された立体視画像の視差量に忠実であり好ましいためである。しかし、これに限るものではない。例えば、取得された位相差量に１よりも大きい所定の定数を乗算した値を補正された位相差量として用いれば、立体感をより際立たせた立体視画像を生成することができる。また、取得された位相差量に１よりも小さい所定の定数を乗算した値を補正された位相差量として用いれば、立体感をより抑制した立体視画像を生成することができる。このような位相差量に乗算する所定の定数は、立体視画像を表示部２７に表示しながら、表示された画像を見たユーザが撮像装置の操作部３２を操作することにより、好みに応じて調整することができるようにしても良い（ＧＵＩを介したユーザによる所望の調整）。あるいは、撮影対象である被写体に応じて（例えば、被写体が人物であるか否かや、被写体までの距離、構図などに応じて）、適切な立体感が得られるようにシステムコントローラ３０が自動的に設定するようにしても良い。

このような実施形態１によれば、撮像光学系の異なる瞳領域を通過した光により撮影された画像から、鑑賞用として好ましい自然なボケ形状のカラーの立体視画像を得ることができる。

特に、瞳分割を行って得られる不自然なボケを、ボケ画像補正処理により理想的な自然形状（円形状）に補正しているために、ボケ部分の画像の品質が向上する。

また、瞳分割を行ったときに得られる右半円ボケと左半円ボケは形状が異なるために、ボケの形状を補正することなく立体視画像を作成するとボケ部分に色ズレが生じる原因になるが、本実施形態によればボケの形状を補正しているためにこのような色ズレも低減することができる。

さらに、本実施形態においてはボケ画像補正処理を行った結果を利用してカラーの立体視画像を生成するようにしているために、処理過程で得られるボケ画像補正処理後の画像を保存しておけば、立体視画像と位相差の低減されたカラー化後の画像（２次元画像）とを両方とも取得し、所望に観察することができる利点がある。
［実施形態２］

図３０から図３３は本発明の実施形態２を示したものであり、図３０は立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から右目画像を生成する際のシフトの様子を示す図、図３１は立体視画像の生成処理において合焦位置よりも遠距離側にある被写体の像から左目画像を生成する際のシフトの様子を示す図、図３２はシフト後の右目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図、図３３はシフト後の左目画像における各色のボケ形状を近似させるフィルタ処理を行った後の様子を示す図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１は、ボケ画像補正部３７によるボケ画像補正処理の結果を利用して立体視画像を生成するものであったが、本実施形態は、ボケ画像補正処理の結果を要することなく立体視画像を生成するようにしたものである。従って、本実施形態においては図１のボケ画像補正部３７の構成を省略しても構わない。

以下においても説明を簡単にするために、被写体が合焦位置よりも遠距離側にある場合を例に挙げて説明するが、被写体が合焦位置よりも近距離側にある場合でも以下の処理を適宜変更すれば同様に適用することが可能である。

まず、図２に示したような撮像素子２２を用いた場合には、被写体が合焦位置よりも遠距離側にあると、ｒ画像とｌ画像のボケは図７に示すようになる。

上述したように、ｌ画像に対応する部分瞳は左目側に位置し、ｒ画像に対応する部分瞳は右目側に位置している。従って、図７に示すｌ画像の被写体像ＩＭＧｌの重心位置Ｃｌが左目画像における各色成分の重心位置となるべき位置であり、図７に示すｒ画像の被写体像ＩＭＧｒの重心位置Ｃｒが右目画像における各色成分の重心位置となるべき位置である。

そこでまず、図１９を参照して説明したように、位相差量の検出を行う。

そして、右目画像を生成する際には、図３０に示すように、ｌ画像の被写体像ＩＭＧｌを位相差量だけ移動（シフト）させて重心位置をｒ画像の被写体像ＩＭＧｒの重心位置Ｃｒに一致（あるいは近接）させる。具体的には、ｌ画像を、部分領域毎に位相差量だけ移動させて、ボケの重心位置のシフトを行う。

同様に、左目画像を生成する際には、図３１に示すように、ｒ画像の被写体像ＩＭＧｒを位相差量だけ移動（シフト）させて重心位置をｌ画像の被写体像ＩＭＧｌの重心位置Ｃｌに一致（あるいは近接）させる。具体的には、ｒ画像を、部分領域毎に位相差量だけ移動させて、ボケの重心位置のシフトを行う。

こうして、図３０、図３１に示したシフトが行われた後のカラー画像が、カラーのシフト画像である。

次に、シフト後の右目画像におけるｒ画像およびｌ画像に対して、例えば図１３に示したような円型ガウシアンフィルタ、あるいは図１４や図１５に示したような楕円型ガウシアンフィルタ等のフィルタカーネルを有するボケフィルタを作用させることにより、図３２に示すように、ボケ形状を円形状に近似させる。

さらに、シフト後の左目画像におけるｒ画像およびｌ画像に対して、右目画像と同様の図１３に示したような円型ガウシアンフィルタ、あるいは図１４や図１５に示したような楕円型ガウシアンフィルタ等のフィルタカーネルを有するボケフィルタを作用させることにより、図３３に示すように、ボケ形状を円形状に近似させる。

なお、楕円型ガウシアンフィルタを用いる場合に、例えば表３に示したように、位相差に応じてフィルタ形状を変化させながらフィルタリング処理を行うことは、上述と同様である。

また、ここではｒ画像およびｌ画像のボケ形状を円形状に近似させるためにボケフィルタを用いる例を説明したが、ボケ画像補正処理の実施例３に対して図２４〜図２７を参照して説明したのとほぼ同様に、復元処理とフィルタリング処理とを組み合わせることにより、ボケの形状を近似させ、あるいはさらにボケの大きさをコントロールするようにしても構わない。そして、ｒ画像とｌ画像とではボケ形状が異なるために、ｒ画像に対して用いるボケフィルタとｌ画像に対して用いるボケフィルタとを異ならせても構わない。

さらに、本実施形態においても、シフトさせる移動量を、補正された位相差量（位相差量に所定の定数を乗算した値）に基づき大きくしたり小さくしたりするようにして、立体感をより際立たせたり、立体感をより抑制したりしても構わない。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、ボケ画像補正処理を行う必要がないために、立体視画像のみを取得したい場合に処理の負荷を軽減することが可能となる。
［実施形態３］

図３４から図３８は本発明の実施形態３を示したものであり、図３４は撮像装置の構成を示すブロック図、図３５は偏光フィルタの一構成例を説明するための図、図３６は偏光板が配設された撮像素子の構成例を説明するための図、図３７は合焦位置よりも近距離側にある被写体上の１点からの光により形成されるボケの形状を示す図、図３８は合焦位置よりも遠距離側にある被写体上の１点からの光により形成されるボケの形状を示す図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態のレンズユニット１には、上述した実施形態１の図１に示した構成に加えて、さらに瞳分割部たる偏光フィルタ１２が設けられている。

この偏光フィルタ１２は、撮像光学系９を経て撮像素子２２Ｂに至る光線の光路上（望ましくは、撮像光学系９の絞り１１の位置またはその近傍）に配設されており、撮像光学系９の瞳領域の一部（第１の領域と第２の領域との一方）を通過しようとする光線中の例えばＳ偏光の光を遮断しＰ偏光の光を通過させるＰ偏光成分透過領域としてのＰ偏光フィルタ１２ｐと、撮像光学系９の瞳領域の他の一部（第１の領域と第２の領域との他方）を通過しようとする光線中のＰ偏光を遮断しＳ偏光の光を通過させるＳ偏光成分透過領域としてのＳ偏光フィルタ１２ｓと、を備えて構成されている。

図３５に示す構成例の偏光フィルタ１２は、撮像光学系９の瞳領域が、第１の領域と第２の領域とに２分されたものとなっている。すなわち、偏光フィルタ１２は、撮像装置を上述した標準姿勢にして撮像素子２２Ｂから見たときに、右半分がＰ偏光フィルタ１２ｐ、左半分がＳ偏光フィルタ１２ｓとなっている。

一方、本実施形態の撮像素子２２Ｂは、図３６に示すように、原色ベイヤー配列の画素群上に、さらに、瞳分割部たるＰ偏光板Ｐｐと、瞳分割部たるＳ偏光板Ｐｓとを設けたものとなっている。

具体的に、図３６に示す撮像素子２２Ｂは、原色ベイヤー配列における上述した基本配列の縦並び毎に、つまり垂直方向２ラインを単位として、Ｐ偏光板ＰｐとＳ偏光板Ｐｓとを交互に配列したものとなっている。そして、Ｐ偏光板Ｐｐが配置された画素が位相差画素ｒ、Ｓ偏光板Ｐｓが配置された画素が位相差画素ｌとなっている。

このような構成において、被写体が合焦位置にあるときには、被写体上の１点から放射された光は、Ｐ偏光フィルタ１２ｐを通過するＰ偏光成分も、Ｓ偏光フィルタ１２ｓを通過するＳ偏光成分も、撮像素子２２Ｂ上の１点に集光されて点像を形成するために、位相差画素ｒに結像されるｒ画像と位相差画素ｌに結像されるｌ画像とに位置ズレは発生しない。

これに対して、被写体が合焦位置よりも近距離側にある場合には、図３７（なお、図３７および図３８は偏光フィルタ１２および撮像素子２２Ｂを上方から見た図であって、撮像素子２２Ｂ上の結像状態が分かり易くなるように撮像面を上方へ傾けたときの様子を示している）に示すように、被写体上の１点から放射された光が撮像光学系９の瞳領域を通過して形成される円形ボケをなす被写体像ＩＭＧの内の、右半分（被写体側から見た左半分）の半円形ボケをなす被写体像ＩＭＧｐがＰ偏光成分の像、左半分（被写体側から見た右半分）の半円形ボケをなす被写体像ＩＭＧｓがＳ偏光成分の像となる。従って、合焦位置よりも近距離側にある被写体を撮像したときには、Ｐ偏光成分の被写体像ＩＭＧｐの重心位置は円形ボケの重心位置よりも右側にずれ、Ｓ偏光成分の被写体像ＩＭＧｓの重心位置は円形ボケの重心位置よりも左側にずれることになる。このボケ画像におけるＰ偏光成分とＳ偏光成分の左右位置は、撮像素子２２Ｂから見たときの偏光フィルタ１２におけるＰ偏光フィルタ１２ｐとＳ偏光フィルタ１２ｓの左右位置と同じである。そして、被写体が合焦位置から近距離側へ離れるほど、ボケが大きくなって、Ｐ偏光成分の被写体像ＩＭＧｐの重心位置とＳ偏光成分の被写体像ＩＭＧｓの重心位置との離間距離が大きくなることになる。

一方、被写体が合焦位置よりも遠距離側にある場合には、図３８に示すように、被写体上の１点から放射された光が撮像光学系９の瞳領域を通過して形成される円形ボケをなす被写体像ＩＭＧの内の、左半分（被写体側から見た右半分）の半円形ボケをなす被写体像ＩＭＧｐがＰ偏光成分の像、右半分（被写体側から見た左半分）の半円形ボケをなす被写体像ＩＭＧｓがＳ偏光成分の像となる。従って、合焦位置よりも遠距離側にある被写体を撮像したときには、Ｐ偏光成分の被写体像ＩＭＧｐの重心位置は円形ボケの重心位置よりも左側にずれ、Ｓ偏光成分の被写体像ＩＭＧｓの重心位置は円形ボケの重心位置よりも右側にずれることになる。このボケ画像におけるＰ偏光成分とＳ偏光成分の左右位置は、撮像素子２２Ｂから見たときの偏光フィルタ１２におけるＰ偏光フィルタ１２ｐとＳ偏光フィルタ１２ｓの左右位置と逆である。そして、被写体が合焦位置から遠距離側へ離れるほど、ボケが大きくなって、Ｐ偏光成分の被写体像ＩＭＧｐの重心位置とＳ偏光成分の被写体像ＩＭＧｓの重心位置との離間距離が大きくなることになる。

従って、偏光板Ｐｐ，Ｐｓを備える撮像素子２２Ｂと偏光フィルタ１２とを用いた本実施形態の位相差画素ｒ，ｌから得られるｒ画像およびｌ画像を用いても、上述した各実施形態と同様の処理を行うことにより、位相差を検出し、ボケ画像補正処理を行うことが可能となる。

なお、上述ではＰ偏光フィルタ１２ｐとＳ偏光フィルタ１２ｓとを、偏光フィルタ１２を左右２分するように配置したが、勿論この配置に限定されるものではなく、その他の配置をとるようにしても構わない。

このような実施形態３によれば、光線の光路上に偏光フィルタ１２を配置し、撮像素子２２Ｂ上に偏光板Ｐｐ，Ｐｓを配置することによって瞳分割を行っても、上述した実施形態１，２とほぼ同様の効果を奏することが可能となる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…レンズユニット
２…ボディユニット
９…撮像光学系
１０…レンズ（フォーカスレンズを含む）
１１…絞り
１２…偏光フィルタ（瞳分割部）
１２ｓ…Ｓ偏光フィルタ
１２ｐ…Ｐ偏光フィルタ
１４…レンズ制御部
１５…レンズ側通信コネクタ
２１…シャッタ
２２，２２Ｂ…撮像素子
２２ｓ…遮光部（瞳分割部）
２３…撮像回路
２４…撮像駆動部
２５…画像処理部
２６…画像メモリ
２７…表示部
２８…インターフェース（ＩＦ）
２９…記録媒体
３０，３０Ａ…システムコントローラ
３１…センサ部
３２，３２Ａ…操作部
３３…ストロボ制御回路
３４…ストロボ
３５…ボディ側通信コネクタ
３６…画素値補正部
３７…ボケ画像補正部（画像補正部）
３８…コントラストＡＦ制御部
３８ａ…ＡＦアシスト制御部
３９…距離演算部（位相差演算部）
４０…ステレオ画像生成部
４１…画像処理装置
４２…記録部
ｒ，ｌ…位相差画素
ＰＤＰ…位相差画素列
Ｐｐ…Ｐ偏光板（瞳分割部）
Ｐｓ…Ｓ偏光板（瞳分割部）

Claims (12)

1. 撮像素子と、
   被写体像を前記撮像素子に結像する撮像光学系と、
   前記撮像素子に、前記撮像光学系の瞳領域の一部である第１の領域を通過した光線による第１の画像と、前記第１の領域と異なる前記撮像光学系の瞳領域の一部である第２の領域を通過した光線による第２の画像と、が形成されるようにする瞳分割部と、
   前記撮像素子から得られた前記第１の画像に係る信号と前記第２の画像に係る信号とに基づき、前記第１の画像と前記第２の画像との位相差量を演算する位相差演算部と、
   前記位相差演算部により演算された位相差量に基づき、前記第２の画像のボケの重心位置を前記第１の画像のボケの重心位置の方向へ移動させるとともに該第２の画像のボケ形状を理想的な画像のボケ形状に近似させた一の片目用画像を生成し、前記第１の画像のボケの重心位置を前記第２の画像のボケの重心位置の方向へ移動させるとともに該第１の画像のボケ形状を前記理想的な画像のボケ形状に近似させた他の片目用画像を生成することにより、立体視画像を生成するステレオ画像生成部と、
   を具備したことを特徴とする撮像装置。
2. 前記位相差演算部により演算された位相差量に基づき、前記第１の画像のボケの重心位置およびボケ形状を前記理想的な画像のボケの重心位置およびボケ形状に近付けるとともに、前記第２の画像のボケの重心位置およびボケ形状を前記理想的な画像のボケの重心位置およびボケ形状に近付ける画像補正部をさらに具備し、
   前記ステレオ画像生成部は、前記画像補正部により補正された画像を、部分領域毎に補正前の前記第１の画像のボケの重心位置の方向へシフトさせることにより前記一の片目用画像を生成するとともに、部分領域毎に補正前の前記第２の画像のボケの重心位置の方向へシフトさせることにより前記他の片目用画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記画像補正部は、
   前記第１の画像のボケの重心位置およびボケ形状を前記理想的な画像のボケの重心位置およびボケ形状に近似する第１のフィルタカーネルを該第１の画像に作用させ、
   前記第２の画像のボケの重心位置およびボケ形状を前記理想的な画像のボケの重心位置およびボケ形状に近似する第２のフィルタカーネルを該第２の画像に作用させることにより、
   前記補正を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記画像補正部は、
   前記第１の画像に対する前記撮像光学系の前記位相差に応じたＰＳＦ（Point Spread Function：点広がり関数）の逆演算を該第１の画像に行うことにより、ボケのないまたはボケの大きさを小さくした復元第１画像を作成し、
   前記第２の画像に対する前記撮像光学系の前記位相差に応じたＰＳＦの逆演算を該第２の画像に行うことにより、ボケのないまたはボケの大きさを小さくした復元第２画像を作成し、
   前記理想的な画像に対する前記撮像光学系のＰＳＦを、前記復元第１画像および前記復元第２画像に各演算することにより、
   前記補正を行うことを特徴とする請求項２に記載の撮像装置。
5. 前記ステレオ画像生成部は、前記補正された画像のシフト量を、前記位相差量に所定の定数を乗算した量とすることを特徴とする請求項２に記載の撮像装置。
6. 前記ステレオ画像生成部は、さらに、前記位相差量が大きくなるにつれて、前記シフトを行う単位となる部分領域の大きさを大きくすることを特徴とする請求項５に記載の撮像装置。
7. 前記ステレオ画像生成部は、
   前記位相差演算部により演算された位相差量に基づき、前記第２の画像を部分領域毎に前記第１の画像のボケの重心位置の方向へシフトさせることにより一のシフト画像を生成するとともに、前記第１の画像を部分領域毎に前記第２の画像のボケの重心位置の方向へシフトさせることにより他のシフト画像を生成し、
   前記一のシフト画像のボケ形状を前記理想的な画像のボケ形状に近似させて前記一の片目用画像を生成するとともに、前記他のシフト画像のボケ形状を前記理想的な画像のボケ形状に近似させて前記他の片目用画像を生成することを特徴とする請求項１に記載の撮像装置。
8. 前記ステレオ画像生成部は、前記シフト画像を生成する際のシフト量を、前記位相差量に所定の定数を乗算した量とすることを特徴とする請求項７に記載の撮像装置。
9. 前記ステレオ画像生成部は、前記一のシフト画像および前記他のシフト画像のそれぞれに対して、ボケフィルタのフィルタカーネルを作用させることにより、前記ボケ形状の近似を行うことを特徴とする請求項７に記載の撮像装置。
10. 前記瞳分割部は、前記撮像素子上に配列された画素の画素開口の一部を遮光する遮光部であることを特徴とする請求項１に記載の撮像装置。
11. 前記瞳分割部は、
    前記撮像光学系を経て前記撮像素子に至る光線の光路上に配設されており、前記第１の領域と前記第２の領域との一方を通過しようとする光線中のＳ偏光の光を遮断しＰ偏光の光を通過させるＰ偏光成分透過領域と、前記第１の領域と前記第２の領域との他方を通過しようとする光線中のＰ偏光を遮断しＳ偏光の光を通過させるＳ偏光成分透過領域と、を備える偏光フィルタと、
    前記撮像素子上に配列された画素上に設けられた、Ｓ偏光の光を遮断しＰ偏光の光を通過させるＰ偏光板、およびＰ偏光を遮断しＳ偏光の光を通過させるＳ偏光板と、
    を有することを特徴とする請求項１に記載の撮像装置。
12. 撮像素子と、
    被写体像を前記撮像素子に結像する撮像光学系と、
    前記撮像素子に、前記撮像光学系の瞳領域の一部である第１の領域を通過した光線による第１の画像と、前記第１の領域と異なる前記撮像光学系の瞳領域の一部である第２の領域を通過した光線による第２の画像と、が形成されるようにする瞳分割部と、
    を有する撮像装置により得られた画像を処理するための画像処理装置であって、
    前記撮像素子から得られた前記第１の画像に係る信号と前記第２の画像に係る信号とに基づき、前記第１の画像と前記第２の画像との位相差量を演算する位相差演算部と、
    前記位相差演算部により演算された位相差量に基づき、前記第２の画像のボケの重心位置を前記第１の画像のボケの重心位置の方向へ移動させるとともに該第２の画像のボケ形状を理想的な画像のボケ形状に近似させた一の片目用画像を生成し、前記第１の画像のボケの重心位置を前記第２の画像のボケの重心位置の方向へ移動させるとともに該第１の画像のボケ形状を前記理想的な画像のボケ形状に近似させた他の片目用画像を生成することにより、立体視画像を生成するステレオ画像生成部と、
    を具備したことを特徴とする画像処理装置。

Images