JP2017102240A - 画像処理装置および画像処理方法、撮像装置、プログラム - Google Patents

Abstract

【課題】飽和画素がある場合でも画像処理が可能な視差画像を取得することができる画像処理装置を提供すること。
【解決手段】撮像素子１０７は、撮影光学系により結像された被写体の光像を電気信号に光電変換する複数の光電変換部を備える。第１の光電変換部は撮影光学系の第１の瞳部分領域を通過した光を受光し、第２の光電変換部は撮影光学系の第２の瞳部分領域を通過した光を受光する。画像処理部３００は、第１の光電変換部から得られる第１の像信号と、第１および第２の光電変換部から得られる第３の像信号を取得し、第３の像信号から第１の像信号を減算することにより第２の像信号を生成する。画像処理部３００は、第１および第２の像信号が所定の閾値を超えないように抑制するリミッタ部を備え、第１の像信号または第２の像信号から生成される視差画像または第１の像信号と第２の像信号を合成した画像の現像処理を行う。
【選択図】図１

Description

本発明は、視差画像の処理技術に関する。

撮影光学系と撮像素子を備えた画像処理装置において、視差画像を取得する技術がある。撮影光学系の異なる２つの瞳部分領域をそれぞれ通過する光束を撮像素子の異なる光電変換部が受光して光電変換することによって視差画像が取得される。視差画像データは３Ｄ画像の生成や画像合成に利用することができる。しかしながら、取得される視差画像は射出光束の撮影光学系によるケラレや、撮影光学系の諸収差により、視差による像ずれ以外の誤差が生じ得る。特に飽和時には光電変換部の電荷が飽和レベルになり、隣接する光電変換部の間で電荷漏れによるクロストークが生じる可能性がある。クロストークにより異なる瞳部分領域から取得した信号に誤差が生じた場合、正確な視差画像を取得できない。そこで光電変換部の信号を所定値以下に抑制する処理が特許文献１に記載されている。

特開２０１４−１８２３６０号公報

特許文献１に記載された技術においては、異なる瞳部分領域の射出光束を取得する一対の像信号のうち、一方の信号を第１の像信号とし、他方の信号を第２の像信号としている。撮像素子から第１の像信号、および第１の像信号と第２の像信号との加算信号の読み出しが行われる場合に第１の像信号を所定値以下に抑制する処理が行われる。第２の像信号は、第１の像信号と第２の像信号との加算信号から第１の像信号を減算することで生成される。特許文献１では焦点検出用に信号処理について記載しているが、視差画像を画像処理する場合の処理方法について言及していない。
本発明は、飽和画素がある場合でも画像処理が可能な視差画像を取得することができる画像処理装置の提供を目的とする。

本発明に係る装置は、撮影光学系の第１および第２の瞳部分領域をそれぞれ通過した光を光電変換して取得された複数の像信号を記憶する記憶手段を備え、前記複数の像信号から生成される視差画像のデータを処理する画像処理装置であって、前記第１の瞳部分領域を通過した光を第１の光電変換部が光電変換することにより取得される像信号を第１の像信号とし、前記第２の瞳部分領域を通過した光を第２の光電変換部が光電変換することにより取得される像信号を第２の像信号とし、前記第１および第２の瞳部分領域を通過した光を前記第１および第２の光電変換部が光電変換することにより取得される像信号を第３の像信号とするとき、取得された前記第１および第２の像信号に対して閾値を設定し、前記第１および第２の像信号を前記閾値以下に抑制するリミッタ手段と、前記第３の像信号から前記第１の像信号を減算して前記第２の像信号を生成し、または、前記第１の像信号と前記第２の像信号を加算して前記第３の像信号を生成する生成手段と、前記第１の像信号から生成される第１の視差画像または前記第２の像信号から生成される第２の視差画像、または前記第１および第２の視差画像から合成される画像の現像処理を行う現像処理手段と、を備える。

本発明によれば、飽和画素がある場合でも画像処理が可能な視差画像を取得することができる。

本発明の実施形態に係る撮像装置の構成例を示す図である。 図１の画像処理部の構成例を示すブロック図である。 本実施形態の撮像素子の画素配列図である。 本実施形態の撮像素子の回路図である。 本実施形態の撮影光学系の光学原理図である。 入射光量と出力信号の関係を説明する図である。 本実施形態の画素と出力信号の関係を説明する図である。 撮像素子と瞳分割の関係、およびデフォーカス量と像ずれ量の関係を説明する図である。 リフォーカス処理の概略説明図である。 リフォーカス可能範囲の概略説明図である。 本実施形態の画像処理を説明するメインフローチャートである。 図１１のＳ１０６に示すリミット処理のサブフローチャートである。 視差画像の画像処理例を説明するサブフローチャートである。 視差画像の生成に応じて飽和処理の要否を切り替える制御を説明するフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１および図２は本実施形態に係る撮像装置１００、画像処理部３００の構成図である。本実施形態では、撮像素子を有するカメラ本体部と撮影光学系が一体となった電子カメラを例示して説明する。電子カメラは動画および静止画が記録可能である。以下では、被写体側を前側と定義して各部の位置関係を説明する。

図１において、前端部に配置された第１レンズ群１０１は被写体像を結像させる撮影光学系を構成し、光軸方向に移動可能に保持される。絞り１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。第２レンズ群１０３は、絞り１０２と一体となって光軸方向に駆動され、第１レンズ群１０１の移動動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の移動により、焦点調節を行う。光学的ローパスフィルタ１０６は撮影画像の偽色やモアレを軽減するための光学素子である。

撮像素子１０７は焦点検出可能な画素を有し、例えばＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサとその周辺回路で構成される。撮像素子１０７には横方向にＭ画素、縦方向にＮ画素の受光ピクセルが正方格子状に配置され、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、２次元単板カラーセンサが用いられる。撮像素子１０７は各画素に複数の光電変換部を有し、各画素には色フィルタが配置されている。

ズームアクチュエータ１１１は、不図示のカム筒を回動させることにより、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りアクチュエータ１１２は、絞り１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。

ＣＰＵ（中央演算処理装置）１２１は、カメラの各制御を司る制御中枢部である。ＣＰＵ１２１は演算部、ＲＯＭ（リード・オンリ・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路の制御や、自動焦点調節（ＡＦ）、撮影、画像処理、記録等の一連の動作制御を実行する。

撮像素子駆動回路１２２は撮像素子１０７から信号を読み出すために、撮像素子１０７の撮像動作を制御する。撮像素子駆動回路１２２は取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。以下では取得される第１の像をＡ像とし、第２の像をＢ像とし、両者を合わせた像をＡ＋Ｂ像という。取得される画像信号は下記のとおりである。
・各画素の２つの光電変換部による出力の合計から得られる信号（以下、Ａ＋Ｂ像信号という）。
・各画素の２つの光電変換部の片方から得られる信号、つまり、撮影光学系の第１の瞳部分領域を通過した光を受光する第１の光電変換部から得られる第１の像信号（以下、Ａ像信号という）。
・第１の瞳部分領域とは異なる第２の瞳部分領域を通過した光を受光する第２の光電変換部から得られる第２の像信号（以下、Ｂ像信号という）。

Ａ像信号とＢ像信号を取得してから加算してＡ＋Ｂ像信号を生成する方法と、Ａ＋Ｂ像信号とＡ像信号またはＢ像信号を取得し、Ａ＋Ｂ像信号からＡ像信号またはＢ像信号を減算して他方の像信号を生成する方法がある。いずれの方法でも撮像部が所定のファイルフォーマットで信号を出力することで、視差画像データを取得可能である。例えば、Ａ像信号から第１の視差画像のデータが生成され、Ｂ像信号から第２の視差画像のデータが生成される。

画像処理回路１２３は、撮像素子１０７が取得した画像の補正処理（欠陥画素の補間処理や黒レベル補正等）、カラー補間、γ変換、画像圧縮等を行う。本実施形態では、視差画像でない信号について撮像装置の画像処理回路１２３が処理し、視差画像にかかわる信号（例えばＡ＋Ｂ像信号とＡ像信号）については画像処理部３００が処理する。以下では、画像処理回路１２３が行う第１の処理と、画像処理部３００が行う第２の処理とを便宜上分けて、主に第２の処理を説明する。もちろん、第１および第２の処理を１つの画像処理部が行ってもよい。

位相差演算処理回路１２４は焦点検出のために演算を行う。具体的には撮像素子１０７の各画素の２つの光電変換部から取得したＡ像信号とＢ像信号から、Ａ像とＢ像との像ずれ量を相関演算で求め、ピントずれ量（焦点状態の検出量）を算出する処理が行われる。

フォーカス駆動回路１２５は、位相差演算処理回路１２４の演算による焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御する。第３レンズ群１０５が光軸方向に移動して焦点調節が行われる。絞り駆動回路１２６は絞りアクチュエータ１１２を駆動制御して絞り１０２の開口径を制御する。ズーム駆動回路１２７は、撮影者のズーム操作にしたがってズームアクチュエータ１１１を駆動する。これらの駆動回路はＣＰＵ１２１の制御下で担当する光学部材の駆動制御を行う。

表示部１３１はＬＣＤ（液晶ディスプレイ）等の表示デバイスを備える。表示部１３１は、ＣＰＵ１２１の制御指令にしたがい、カメラの撮影モードに関する情報、撮影時のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を画面に表示する。操作部１３２は、電源スイッチ、撮影開始スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。カメラ本体部に着脱可能なフラッシュメモリ１３３は、動画および静止画を含む撮影済み画像を記録するデバイスである。撮像装置が取得した複数の視差画像（例えばＡ＋Ｂ像とＡ像）のデータは、所定のファイルフォーマットの画像データとして出力される。出力された画像データはフラッシュメモリ１３３へ保存される。

次に図２を参照して、画像処理部３００の構成について説明する。
メモリ３０１はフラッシュメモリ１３３からの画像データを保存する。リミッタ部３０２は複数の視差画像（例えばＡ＋Ｂ像とＡ像）のデータに対して後述するリミット処理を行う。減算部３０３はＡ＋Ｂ像信号からＡ像信号を減算してＢ像信号を生成する。図２のでは、演算部として減算部３０３を示す。Ａ像信号とＢ像信号からＡ＋Ｂ像信号を生成する場合には演算部は加算部である。

シェーディング処理部３０４はＡ像およびＢ像の像高による光量変化を補正する。補正処理の詳細については後述する。リフォーカス処理部３０５は、異なる視差画像であるＡ像、Ｂ像を瞳分割方向にシフト加算することで合成画像を生成する。これにより、異なる焦点位置の画像が生成される。リフォーカス処理の詳細については後述する。

以下、画像処理部３００の現像処理を行う構成要素について説明する。ホワイトバランス部３０６は、白の領域のＲ（赤）色，Ｇ（緑）色，Ｂ（青）色が等色になるようにＲ，Ｇ，Ｂの各色にゲインを乗算する処理を実行する。ホワイトバランス処理をデモザイキング処理前に行うことで、彩度を算出する際に、色被り等のために偽色の彩度よりも高い彩度になることを回避し、誤判定を防止することが可能となる。デモザイキング部３０７は各画素において欠落している３原色のうちの２色のカラーモザイク画像データを補間することによって、全ての画素においてＲ，Ｇ，Ｂのカラー画像データが揃ったカラー画像を生成する。デモザイキング処理では注目画素に対してその周辺の画素を用いて、それぞれの規定方向で補間処理が行われる。その後、方向選択を行うことで、各画素について補間処理結果としてＲ，Ｇ，Ｂの３原色のカラー画像データが生成される。

ガンマ変換部３０８は各画素のカラー画像データにガンマ補正処理を施し、基本的なカラー画像データが生成される。色調整部３０９は画像の見栄えを改善するための色調整処理を行う。具体的には、ノイズ低減、彩度強調、色相補正、エッジ強調といった各種の色調整処理が行われる。

圧縮部３１０は色調整後のカラー画像データをＪＰＥＧ（Joint Photographic Experts Group）等の方法で圧縮し、記録時のデータサイズを縮小する。記録部３１１は圧縮部３１０により圧縮された画像データを、フラッシュメモリ等の記録媒体に記録する。

次に、図３および図４を参照して、本実施形態における撮像素子１０７の画素配列について説明する。図３は、２次元ＣＭＯＳエリアセンサの６行８列の範囲を、撮影光学系側から見た状態を示す図である。縦方向をＹ方向、横方向をＸ方向と定義する。

色フィルタはベイヤー配列が適用され、奇数行の画素には、左から順にＧ（緑）とＲ（赤）の色フィルタが画素に対応して交互に設けられる。また、偶数行の画素には、左から順にＢ（青）とＧの色フィルタが画素に対応して交互に設けられる。円形枠２１１ｉは、オンチップマイクロレンズを表わす。オンチップマイクロレンズの内側に配置された複数の矩形はそれぞれ光電変換部である。撮影光学系の瞳領域の一部である第１の瞳部分領域を通過した光を第１の光電変換部２１１ａが受光する。また撮影光学系の第２の瞳部分領域を通過した光を第２の光電変換部２１１ｂが受光する。本実施形態では、すべての画素の光電変換部がＸ方向に２分割されている例を説明するが、分割数および分割方向については仕様に応じて任意に設定可能である。

例えば２分割された各領域の光電変換信号に関して、第１の光電変換部２１１ａの信号は色フィルタごとに独立して読み出せるが、第２の光電変換部２１１ｂの信号は独立して読み出すことができない。第２の光電変換部２１１ｂの信号は、第１および第２の光電変換部の出力を加算後に読み出した信号から、第１の光電変換部２１１ａの信号を減算することで算出される。

第１および第２の光電変換部の出力信号は、後述する方法で位相差方式の焦点検出に用いられる。また、視差情報を有する複数の画像から構成される３Ｄ（３次元）画像や、視差画像をシフト加算して合成したリフォーカス画像の生成に用いることもできる。一方、第１および第２の光電変換部の出力信号を加算した信号から、通常の撮影画像データが取得される。

図４は撮像素子１０７の回路図であり、２次元ＣＭＯＳエリアセンサの６行８列の範囲を示す。第１の光電変換部２１１ａは水平走査回路１５１の信号線１５２ａと、垂直走査回路１５３の信号線１５４ａに接続されて、信号の読み出しが行われる。第２の光電変換部２１１ｂは水平走査回路１５１の信号線１５２ｂと、垂直走査回路１５３の信号線１５４ｂに接続されて、信号の読み出しが行われる。

次に図５を参照して、本実施形態の撮像装置における撮影光学系と撮像部の光学的な関係について説明する。図５は、撮影光学系の射出瞳面と、像高がゼロ、すなわち像面中央近傍に配置された撮像素子１０７の光電変換部の共役関係を説明する図である。図５にて光軸方向をＺ方向とし、紙面内でＺ軸方向と直交する方向をＸ方向と定義する。

撮像素子１０７内の光電変換部２１１ａ，２１１ｂと撮影光学系の射出瞳面は、オンチップマイクロレンズによって共役関係となるように設計される。撮影光学系の射出瞳は、一般的に光量調節用の虹彩絞りが位置する面とほぼ一致する。本実施形態の撮影光学系は、変倍機能を有するズームレンズである。光学タイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化する。図５の撮影光学系は、焦点距離が広角端と望遠端との中間状態、すなわちＭｉｄｄｌｅ状態を示している。Ｚｍｉｄは、Ｍｉｄｄｌｅ状態での射出瞳距離を表しており、これを標準的な射出瞳距離Ｚｎｏｒｍと仮定して、オンチップマイクロレンズの形状設計が行われる。

図５には、第１レンズ群１０１およびこれを保持する鏡筒部材１０１ｂと、第３レンズ群１０５およびこれを保持する鏡筒部材１０５ｂを示す。絞り１０２については、絞り開放時の開口径を規定する開口板１０２ａと、絞り込み時の開口径を調節するための絞り羽根１０２ｂを示す。なお符号１０１ｂ，１０２ａ，１０２ｂ，１０５ｂで示す部分は、撮影光学系を通過する光束の制限部材として作用する部分であり、像面から観察した場合の光学的な虚像を示している。また、絞り１０２の近傍における合成開口をレンズの射出瞳と定義する。像面からの射出瞳距離がＺｍｉｄである。

画素２１１は、最下層より、光電変換部２１１ａ，２１１ｂと、配線層２１１ｅ〜２１１ｇと、色フィルタ２１１ｈと、オンチップマイクロレンズ２１１ｉにより構成される。光電変換部２１１ａ，２１１ｂはオンチップマイクロレンズ２１１ｉによって撮影光学系の射出瞳面に投影される。光電変換部２１１ａ，２１１ｂの投影像をそれぞれＥＰ１ａ，ＥＰ１ｂで示す。ここで、絞り１０２が開放（例えばＦ２．８）の場合、撮影光学系を通過する光束の最外部をＬ（Ｆ２．８）で示す。投影像ＥＰ１ａ，ＥＰ１ｂは絞り開口でのケラレが無い。一方、絞り１０２が小絞り（例えばＦ５．６）の場合、撮影光学系を通過する光束の最外部をＬ（Ｆ５．６）で示す。投影像ＥＰ１ａ，ＥＰ１ｂの外側にて絞り開口でのケラレが発生する。但し、像面中央では各投影像ＥＰ１ａ，ＥＰ１ｂのケラレ状態は光軸に対して対称となり、各光電変換部２１１ａ，２１１ｂが受光する光量は等しい。

次に、複数の光電変換部の出力から得られるＡ＋Ｂ像信号とＡ像信号からＢ像信号を生成する処理について説明する。Ａ＋Ｂ像信号は、撮像素子１０７の各画素の２つの光電変換部の出力の合計から得られる信号であり、Ａ像信号は、一方の光電変換部の出力する信号から得られる信号である。Ａ＋Ｂ像信号およびＡ像信号は、所定のファイルフォーマットとしてフラッシュメモリ１３３へ保存される。

各画素の光電変換部２１１ａ，２１１ｂは撮影光学系をそれぞれ通過する光を受光し、光電変換によって光量に応じた信号を出力する。しかし、高輝度の被写体の撮影では、光電変換部２１１ａ，２１１ｂが蓄積可能な光量の上限値を超えて隣接した光電変換部に対して電荷が漏れる、いわゆるクロストークが生じる可能性がある。光電変換部２１１ａにより生成されるＡ像信号と光電変換部２１１ｂにより生成されるＢ像信号との間に電荷漏れによるクロストークがあると、Ａ像信号とＢ像信号に誤差が生じる。この誤差はＡ＋Ｂ像信号からＡ像信号を減算する際に問題となる。Ａ＋Ｂ像信号からＡ像信号を減算してＢ像信号を生成する場合に、Ａ像に対して像の一致度が低いＢ像が生成されてしまう可能性がある。

Ａ＋Ｂ像信号からＡ像信号を減算してＢ像信号を生成する場合、像信号には出力可能な上限値がある。仮にＡ像信号、Ｂ像信号、Ａ＋Ｂ像信号ともに同一の上限値とする。Ａ像信号が上限値となった場合、Ａ＋Ｂ像信号も上限値となるため、Ａ＋Ｂ像信号からＡ像信号を減算して得られるＢ像信号はゼロとなってしまう。この場合、Ａ像信号は上限値に等しく、Ｂ像信号はゼロであるので、Ａ像に対して像の一致度が低い、誤差のあるＢ像信号が生成される。

このような視差画像（Ａ像とＢ像）を用いて画像処理によって瞳分割方向（水平方向）にシフト処理を行った後に、Ａ像信号とＢ像信号を加算して生成されるリフォーカス画像を例示して説明する。Ａ像（またはＢ像）信号を水平方向に数画素分のシフト量でシフト処理を行ってＡ像信号とＢ像信号を加算する場合、飽和境界領域でのシフト加算にて、飽和によりゼロとなっているＢ像信号と、飽和していない画素のＡ像信号が加算される。よって、画像信号をシフト加算しない場合のＡ＋Ｂ像信号に対して値が小さい領域が生じ、画像に擬似輪郭が生じてしまう。

以上のように、高輝度の被写体の撮影時に各画素が飽和する場合、Ａ像信号に上限値を設定して、Ｂ像信号を生成しなければならない。そこでリミッタ部３０２により、Ａ像信号が所定の閾値を超えることを抑制する。よって、Ａ像信号に対して上限値でリミットをかけた後にＢ像信号を生成して画像処理に用いることができる。

例えばＡ像信号に関して奇数行の緑（以下、Ｇ１と記す）と赤Ｒ、偶数行の青Ｂと緑（以下、Ｇ２と記す）の各色フィルタをもつ画素の出力を加算して輝度信号が生成される。この場合、Ｇ１、Ｒ、Ｂ、Ｇ２の各色の段階で閾値がそれぞれ設定されている。したがってＧ１、Ｒ、Ｂ、Ｇ２の特定の色に係る信号が上限値に達する場合にリミッタ部３０２が閾値を設定する。少なくとも１つの色フィルタに対応するＡ像信号およびＢ像信号に閾値が設定されて、リミット処理が行われる。設定される閾値は、Ａ像信号とＢ像信号との加算信号であるＡ＋Ｂ像信号の値より小さい値である。

図２のリミッタ部３０２はＡ像信号に対して閾値を設定してリミット処理を行う。減算部３０３は、Ａ＋Ｂ像信号からリミット処理後のＡ像信号を減算することでＢ像信号を生成する。

次に図６から図８を参照して、Ａ＋Ｂ像とＡ像のデータを画像ファイルデータとして取得した後にＡ像とＢ像のデータを生成する場合の飽和処理方法について説明する。本実施形態では、Ａ＋Ｂ像とＡ像のデータを画像ファイルデータとして取得する段階では、リミット処理は行わず、画像処理部３００がリミット処理を行う。図６は撮影光学系からの入射光量と撮像素子の出力信号との関係を示している。横軸は入射光量を示し、縦軸は撮像素子の出力信号を示す。図７は合焦時の実信号を例示する。横軸は任意行の画素（位置）を示し、縦軸は撮像素子の出力信号を示す。図６および図７では、実線のグラフ線でＡ＋Ｂ像信号を示し、点線のグラフ線でＡ像信号を示し、一点鎖線のグラフ線でＢ像信号を示す。図６（Ａ）と図７（Ａ）は飽和判定を行わない場合を示し、図６（Ｂ）と図７（Ｂ）は飽和判定を行う場合を示している。

図６（Ａ）において、入射光量が小さい０からＡ１までの区間では、入射光量を光電変換しても各画素信号が上限値に達していない。つまり、０からＡ１までの区間において、Ａ像信号およびＢ像信号は、入射光量を反映した信号である。入射光量が大きいＡ１以上の区間では、Ａ＋Ｂ像信号が上限値を超えてしまう。Ｂ像信号はＡ＋Ｂ像信号からＡ像信号を減算することで生成されるため、Ｂ像信号が減少してしまう。すなわち、各像信号の上限値が同一の値に設定されている場合、Ａ像信号が上限値の１／２を超えるときに、Ｂ像信号がＡ像信号の影響により、減少していくことになる。本来Ａ像信号の増加に対してＢ像信号も増加するべきであるが、Ａ像信号が上限値を超えることによって、Ａ像信号の増加に対してＢ像信号が減少し、逆の変化を示すことになる。この場合、図７（Ａ）に示すようにＡ像とＢ像との一致度が極端に低下してしまう。したがって、Ａ像とＢ像とのずれに関して、視差画像としての像ずれ以外の影響が大きくなり、Ａ像とＢ像を用いた画像処理ができない。

次に飽和判定を行う場合を説明する。図６（Ｂ）ではＡ像信号とＢ像信号とが同一の値を取る場合を想定する。リミッタ部３０２はＡ像信号が、例えば上限値の１／２となる値を閾値として設定するため、Ａ像信号が閾値以下に抑制される。これによりＡ像信号とＢ像信号はいずれも上限値の１／２以下に抑制されるので、Ａ＋Ｂ像信号が上限値を超えることはない。飽和判定によって図７（Ｂ）に示すように、Ａ像とＢ像との一致度が高いので、Ａ像とＢ像を用いた画像処理を行うことができる。

一般的に撮像素子の受光面の周辺部、すなわち像高が大きい領域では、撮影光学系の口径食（ヴィネッティング）により射出瞳径が小さくなる。そのため、画素の受光量が低下し、２つの光電変換部の間で出力が不均一となる。絞り開口径の減少に伴い、受光量の不均一性が顕著になる。よって、各画素内の２つの光電変換部２１１ａと２１１ｂとで受光量が異なる可能性がある。以下では、２つの光電変換部２１１ａ，２１１ｂの出力信号からそれぞれ取得されるＡ像信号とＢ像信号が同一の値ではない場合の飽和判定について、図６（Ｃ）および（Ｄ）と、図７（Ｃ）および（Ｄ）を用いて説明する。

図６（Ｃ）は、Ａ像信号の飽和判定を行い、Ｂ像信号の飽和判定を行わない場合を示す。図６（Ｄ）は、Ａ像信号およびＢ像信号の飽和判定を行う場合を示す。図６（Ｃ）および（Ｄ）では、Ａ像信号よりＢ像信号が大きいものとする。Ａ像信号が上限値の１／２以下の場合であっても、Ｂ像信号はすでに上限値の１／２を超える場合がある。この場合、Ａ＋Ｂ像信号は上限値となる。Ｂ像信号はＡ＋Ｂ像信号からＡ像信号を減算して生成されるため、Ｂ像信号として、Ａ＋Ｂ像信号が上限値を超えたことによる影響で偽信号が出力されてしまう。よって、図７（Ｃ）に示すようにＡ像とＢ像との一致度が極端に低下してしまう。

本実施形態では、図６（Ｄ）に示すようにＢ像信号に対しても閾値が設定される。すなわち、第１および第２の光電変換部の各出力に対して閾値を設定することにより、Ａ像信号およびＢ像信号が閾値以下に抑制される。具体的には、Ａ像信号とＢ像信号を上限値に対して１／２以下とするために閾値が設けられる。よって、Ｂ像信号が上限値の１／２を超えることはなくなる。Ａ像信号またはＢ像信号が上限値の１／２を超えた場合に、Ｂ像信号にＡ＋Ｂ像信号の飽和による偽信号が混入することはない。すなわち、図７（Ｄ）に示すようにＡ像とＢ像との一致度が高いので、Ａ像とＢ像を用いた画像処理を行うことができる。

次に、画像処理部３００が行うシェーディング補正について説明する。シェーディングとは像信号の強度にムラが発生する現象である。光束の一部が撮影光学系（レンズ、絞り等の光学部材やこれらを保持する鏡筒を含む）により遮られる、いわゆるケラレが発生する場合、Ａ像信号とＢ像信号の少なくとも一方に、光量の低下による信号レベルの低下やシェーディングが発生し得る。ケラレによる像信号レベルの低下やシェーディングはＡ像とＢ像との一致度を低下させる原因となる。シェーディングについては、射出瞳距離と絞り値に応じて変化する。

そこで本実施形態では、メモリに予め格納されたケラレ補正用の像信号補正値を口径比、射出瞳位置およびデフォーカス量に応じて変更した上でＡ像信号およびＢ像信号の補正に適用する。補正後の像信号を用いて焦点検出が行われる。シェーディング補正処理では、レンズの形状に基づく基準補正データと、撮像素子とレンズとの組込み位置のずれを測定して得られた組込み位置ずれ補正データとを用いる。シェーディングは像高に応じて連続的に変化する値であるため、像高関数として表現することができる。シェーディングは像高によって変化する上に、絞り値と射出瞳距離の組合せによって変化する。そのため、レンズ交換式のカメラ等でシェーディング補正を行う場合、全ての補正値をメモリに記憶すると、膨大な記憶容量が必要となってしまう。そこで、解決策の１つとして、本実施形態では予め所定の条件（絞り値と射出瞳距離情報の組合せ）でシェーディングの補正値を算出し、その近似関数を求めて、シェーディング補正処理を行う。この場合、画像データには近似関数の係数値のみを画像ファイルのヘッダ部に記憶すればよいので、記憶容量が少なくて済む。

具体的には、Ａ＋Ｂ像とＡ像の画像出力時に補正データを画像ファイルのヘッダ部に書き込む処理が行われる。画像処理部３００はＡ像とＢ像の画像出力時に、ヘッダ部の補正データを用いてシェーディング補正処理を行う。または、その他の方法を用いて、Ａ像信号およびＢ像信号のシェーディング補正処理を行ってもよい。

以下では、シェーディング補正処理後の視差画像を修正視差画像という。すなわち、第１の視差画像に対してシェーディング補正処理を施した画像を第１の修正視差画像といい、第２の視差画像に対してシェーディング補正処理を施した画像を第２の修正視差画像という。第１および第２の視差画像は２分割された各光電変換部の出力からそれぞれ取得される。

図８（Ａ）は、撮像素子と瞳分割との対応関係を示す概略図である。異なる瞳部分領域、つまり第１の瞳部分領域５０１と第２の瞳部分領域５０２をそれぞれ通過した光束は、撮像素子の各画素に異なる角度で入射する。入射光は、２分割された第１の光電変換部２１１ａと第２の光電変換部２１１ｂがそれぞれ受光して光電変換する。

図８（Ｂ）は、第１の視差画像と第２の視差画像のデフォーカス量と、第１の視差画像と第２の視差画像との間の像ずれ量について概略的に示す関係図である。撮像面８００には撮像素子（不図示）が配置され、図８（Ａ）の場合と同様に、結像光学系の射出瞳が、第１の瞳部分領域５０１と第２の瞳部分領域５０２に２分割される。

デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面８００までの距離を表す。被写体像の結像位置が撮像面８００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（合焦位置）にある合焦状態では、ｄ＝０である。図８（Ｂ）に示す被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を例示する。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１の瞳部分領域５０１（または第２の瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面８００上で暈けた像となる。暈け像は、撮像素子に配列された各画素部を構成する第１の光電変換部２１１ａ（または第２の光電変換部２１１ｂ）により受光され、第１の視差画像信号（または第２の視差画像信号）が生成される。よって、第１の視差画像（または第２の視差画像）は、撮像面８００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（暈け像）の画像データとしてメモリに記憶される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１の視差画像と第２の視差画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１の視差画像と第２の視差画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。

したがって、本実施形態の場合には、第１の視差画像と第２の視差画像、または、第１の視差画像と第２の視差画像を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１の視差画像と第２の視差画像との間の像ずれ量の大きさが増加する。

次にリフォーカス処理について説明する。
図９は、複数の修正視差画像による瞳分割方向（行方向、水平方向）のリフォーカス処理の説明図である。図９の撮像面８００は、図８（Ｂ）に示した撮像面８００に対応している。図９では、ｉを整数の変数として、撮像面８００に配置された撮像素子の行方向におけるｉ番目の画素での、第１の修正視差画像をＡ_ｉと表記し、第２の修正視差画像をＢ_ｉと表記して、模式的に表している。第１の修正視差画像Ａ_ｉの信号は、（図８の第１の瞳部分領域５０１に対応した）主光線角度θａでｉ番目の画素に入射した光束の受光信号である。第２の修正視差画像Ｂ_ｉは、（図８の第２の瞳部分領域５０２に対応した）主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。

第１の修正視差画像Ａ_ｉと第２の修正視差画像Ｂ_ｉは、光強度分布情報だけでなく、入射角度情報も有している。よって、以下の平行移動および加算処理で仮想結像面８１０でのリフォーカス信号を生成できる。
（１）第１の修正視差画像Ａ_ｉを主光線角度θａに沿って仮想結像面８１０まで平行移動させ、第２の修正視差画像Ｂ_ｉを主光線角度θｂに沿って仮想結像面８１０まで平行移動させる処理。
（２）それぞれ平行移動させた第１の修正視差画像Ａ_ｉと第２の修正視差画像Ｂ_ｉを加算する処理。

第１の修正視差画像Ａ_ｉを主光線角度θａに沿って仮想結像面８１０まで平行移動させることは、行方向への＋０．５画素分のシフトに対応する。また、第２の修正視差画像Ｂ_ｉを主光線角度θｂに沿って仮想結像面８１０まで平行移動させることは、行方向への−０．５画素分のシフトに対応する。したがって、第１の修正視差画像Ａ_ｉと第２の修正視差画像Ｂ_ｉを相対的に＋１画素分シフトさせ、Ａ_ｉとＢ_ｉ＋１を対応させて加算することで、仮想結像面８１０でのリフォーカス信号を生成できる。同様に、第１の修正視差画像Ａ_ｉと第２の修正視差画像Ｂ_ｉを整数の画素分だけシフトさせて加算することで、整数のシフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）を生成できる。つまり、下記式（１）を用いて、整数のシフト量（ｓと記す）により、第１の修正視差画像と第２の修正視差画像をシフト加算することで、シフト量ｓに応じた各仮想結像面でのリフォーカス画像Ｉ（ｊ，ｉ：ｓ）が生成される。ここで、ｊは列方向における整数の変数である。

本実施形態では、第１の修正視差画像と第２の修正視差画像の配列がベイヤー配列である。このため、２の倍数のシフト量ｓ＝２×ｎ（ｎ：整数）で、同色ごとに式（１）のシフト加算が行われる。つまり、ベイヤー配列を保ってリフォーカス画像Ｉ（ｊ，ｉ：ｓ）の生成処理が行われる。その後、リフォーカス画像Ｉ（ｊ，ｉ：ｓ）に対してデモザイキング処理が行われる。

必要に応じて、第１および第２の修正視差画像にデモザイキング処理を行った後、デモザイキング処理後の第１および第２の修正視差画像に対するシフト加算処理を行い、リフォーカス画像を生成してもよい。また必要に応じて、第１の修正視差画像と第２の修正視差画像の各画素間の補間信号を生成し、非整数のシフト量に応じたリフォーカス画像を生成してもよい。
以上のように複数の修正視差画像から、結像光学系（撮影光学系）の仮想結像面に応じた再結像画像が生成される。

次に、図１０の概略図を参照して、本実施形態におけるリフォーカス可能範囲について説明する。許容錯乱円径をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの焦点深度は、±Ｆ×δである。光電変換部における水平方向の分割数をＮ_Ｈと表記し、垂直方向の分割数をＮ_Ｖと表記し、Ｎ_Ｈ＝２、Ｎ_Ｖ＝１の場合を想定する。２分割されて狭くなった瞳部分領域５０１（または５０２）の水平方向の実効絞り値Ｆ_０１（またはＦ_０２）は、Ｆ_０１＝Ｎ_Ｈ×Ｆ（またはＦ_０２＝Ｎ_Ｈ×Ｆ）となって暗くなる。第１の修正視差画像（または第２の修正視差画像）ごとの実効的な焦点深度は、±Ｎ_Ｈ×Ｆ×δで、Ｎ_Ｈ倍深くなり、合焦範囲がＮ_Ｈ倍に広がる。実効的な焦点深度「±Ｎ_Ｈ×Ｆ×δ」の範囲内では、第１の修正視差画像（または第２の修正視差画像）ごとに合焦した被写体像が取得されている。よって、図９に示した主光線角度θａ，θｂに沿って第１および第２の修正視差画像をそれぞれ平行移動させて加算する処理により、撮影後に、合焦位置を再調整（リフォーカス）することができる。

撮影後に合焦位置を再調整可能な、撮像面からのデフォーカス量ｄは限定される。デフォーカス量ｄのリフォーカス可能範囲は、概ね、下記式（２）の範囲である。

許容錯乱円径δは、δ＝２・ΔＸ（画素周期ΔＸのナイキスト周波数１／（２・ΔＸ）の逆数）等で規定される。

次に、図１１のメインフローチャートを参照して、本実施形態の処理を説明する。
Ｓ１００で処理が開始し、Ｓ１０１へ進むと撮像素子１０７が撮像を行い、Ｓ１０２では撮像素子１０７の出力から視差画像（Ａ＋Ｂ像とＡ像）が取得される。視差画像データは所定のファイルフォーマットの画像データとしてフラッシュメモリ１３３に記憶される。次のＳ１０３で画像処理部３００は、Ｓ１０２でフラッシュメモリ１３３に記憶された画像データをメモリ３０１に読み込み、Ｓ１０４へ進む。

Ｓ１０４で画像処理部３００は、Ｓ１０３で読み込んだ視差画像データの補正処理を実行する。補正処理とは画素補間処理や、画素間の感度ばらつきを補正するゲイン調整処理のことである。次にＳ１０５へ進み、画像処理部３００はシェーディング補正処理を実行した後、Ｓ１０６でリミット処理を実行し、Ｓ１０７へ進む。リミット処理については、図１２のサブフローチャートを用いて後述する。

Ｓ１０７で画像処理部３００は視差画像データを生成する。Ａ＋Ｂ像信号からＡ像信号を減算することでＢ像信号が生成される。Ｓ１０８で画像処理部３００は、Ａ像とＢ像を合成するかどうかについて判定する。判定の結果、Ａ像とＢ像を合成する場合にはＳ１０９へ進み、Ａ像とＢ像を合成しない場合にはＳ１１０へ進む。Ｓ１０９にて画像処理部３００はＡ像信号とＢ像信号を加算して合成処理を行い、Ｓ１１０へ進む。視差画像の合成処理は、リフォーカス画像を生成するシフト加算や、視差画像であるＡ像とＢ像を合成する合成比率の設定や変更等を含む。Ｓ１１０で画像処理部３００は、視差画像データに対して各種画像処理（現像処理）を行い、Ｓ１１１で処理を終了する。Ｓ１１０の現像処理については図１３のサブフローチャートを用いて後述する。

次に図１２を参照して、図１１のＳ１０６に示すリミット処理について説明する。Ｓ２００でリミット処理が開始し、Ｓ２０１に進んでＡ＋Ｂ像とＡ像の画像データをそれぞれ読み込む処理が実行される。次にＳ２０２で画像処理部３００はＳ２０１で読み込んだ画像の画素値の参照を開始し、Ｓ２０３へ処理を進める。

Ｓ２０３で画像処理部３００は、Ａ＋Ｂ像の飽和判定処理を行う。行番号をi、列番号をｊ、Ａ＋Ｂ像の画素値をAB(i,j)、第１の閾値をTh1と表記する。Ａ＋Ｂ像の飽和判定処理では、AB(i,j)をTh1と比較することで、AB(i,j)が第１の閾値以上であるか否かが判定される。第１の閾値Th1については画素値の最大値(例えば２の１４乗)とするが、他の値に設定してもよい。判定の結果、AB(i,j)≧Th1である場合、Ｓ２０４へ進み、AB(i,j)＜Th1である場合にはＳ２０６へ進む。

Ｓ２０４ではＡ像の画素値を第２の閾値と比較する処理が行われる。Ａ像の画素値をA(i,j)、第２の閾値をTh2と表記し、「Th2<Th1」とする。A(i,j)が第２の閾値以上であるか否かが判定される。第２の閾値Th2については画素値の最大値の２分の１半分(例えば２の１３乗)とするが、他の値に設定してもよい。判定の結果、A(i,j)≧Th2である場合、Ｓ２０５へ進み、A(i,j)＜Th2である場合にはＳ２０６へ進む。

Ｓ２０５で画像処理部３００は、Ａ像の画素値Ａ(i,j)を第２の閾値Th2に書き換えることで変更し、Ｓ２０６へ進む。Ｓ２０６は、すべての画素値を参照したかどうかの判定処理である。すべての画素値の参照が終了した場合、Ｓ２０７へ進み、すべての画素値の参照が終了していない場合にはＳ２０２へ戻り、今回の画素位置とは異なる位置の画素値の参照を開始する。Ｓ２０７でリミット処理を終了してリターン処理へ移行する。

次に図１３を参照して、視差画像の画像処理例を説明する。
Ｓ３００で処理が開始し、Ｓ３０１ではホワイトバランス処理が行われ、白の領域のＲ，Ｇ，Ｂが等色になるようにＲ，Ｇ，Ｂの各色信号にゲインが乗算される。次のＳ３０２ではデモザイキング処理が行われる。デモザイキング処理では規定方向での補間処理がそれぞれ行われた後、方向選択を行うことで、各画素について補間処理結果としてＲ，Ｇ，Ｂの３原色のカラー画像信号が生成される。Ｓ３０３ではガンマ変換処理が行われた後、Ｓ３０４へ進む。

Ｓ３０４ではノイズ低減、彩度強調、色相補正、エッジ強調等の色調整処理により、画像の見栄えを改善するための処理が実行される。次のＳ３０５では色調整されたカラー画像データがＪＰＥＧ方式等で圧縮処理され、Ｓ３０６へ進む。Ｓ３０６で圧縮された画像データを記録媒体に記録する処理が行われる。Ｓ３０７で処理を終了してリターン処理へ移行し、図１１のメインフローチャートに戻る。

次に図１４を参照して、視差画像の生成に応じて飽和処理の要否を切り替える場合について説明する。Ｓ４００で処理が開始し、Ｓ４０１へ進む。Ｓ４０１から４０５については、図１１のＳ１０１からＳ１０５の処理と同様であるため説明を省略し、Ｓ４０６から説明する。

Ｓ４０６でＣＰＵ１２１は、Ｂ像を視差画像として使用するか否かの判定処理を行う。つまり、視差画像として読み込んだＡ＋Ｂ像とＡ像に基づき、Ａ＋Ｂ像信号からＡ像を減算して生成したＢ像を使用するか否かが判定される。例えばユーザ操作指示にしたがって、視差画像としてのＢ像を画像として用いるかどうかによって判定が行われる。視差画像（Ｂ像）を使用しないことが判定された場合、Ｓ４０８へ進み、視差画像（Ｂ像）を使用すると判定された場合にはＳ４０７へ進む。

Ｓ４０７で画像処理部３００はリミット処理（図１２参照）を実行し、Ｓ４０８へ進む。Ｓ４０８でＣＰＵ１２１は、視差画像（Ａ像）のみを画像として使用するか否かの判定処理を行う。視差画像（Ａ像）のみを使用しないと判定された場合、Ｓ４１０へ進み、視差画像（Ａ像）のみを使用すると判定された場合にはＳ４０９へ進む。Ｓ４０９では、視差画像の画像処理（図１３参照）が行われた後、Ｓ４１０へ進んで処理を終了する。
本実施形態によれば、飽和画素がある場合でも画像処理が可能な視差画像を生成することができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮影光学系
１０７ 撮像素子
３００ 画像処理部
３０２ リミッタ部

Claims (12)

1. 撮影光学系の第１および第２の瞳部分領域をそれぞれ通過した光を光電変換して取得された複数の像信号を記憶する記憶手段を備え、前記複数の像信号から生成される視差画像のデータを処理する画像処理装置であって、
   前記第１の瞳部分領域を通過した光を第１の光電変換部が光電変換することにより取得される像信号を第１の像信号とし、
   前記第２の瞳部分領域を通過した光を第２の光電変換部が光電変換することにより取得される像信号を第２の像信号とし、
   前記第１および第２の瞳部分領域を通過した光を前記第１および第２の光電変換部が光電変換することにより取得される像信号を第３の像信号とするとき、
   取得された前記第１および第２の像信号に対して閾値を設定し、前記第１および第２の像信号を前記閾値以下に抑制するリミッタ手段と、
   前記第３の像信号から前記第１の像信号を減算して前記第２の像信号を生成し、または、前記第１の像信号と前記第２の像信号を加算して前記第３の像信号を生成する生成手段と、
   前記第１の像信号から生成される第１の視差画像または前記第２の像信号から生成される第２の視差画像、または前記第１および第２の視差画像から合成される画像の現像処理を行う現像処理手段と、を備えることを特徴とする画像処理装置。
2. 前記リミッタ手段は、異なる色フィルタについての前記第１および第２の像信号に対して前記閾値を設定して前記第１および第２の像信号を抑制することを特徴とする請求項１に記載の画像処理装置。
3. 前記リミッタ手段は、複数の色フィルタのうちの少なくとも１つの色フィルタについて前記第１の像信号を前記閾値以下に抑制することを特徴とする請求項２に記載の画像処理装置。
4. 前記閾値は、前記第３の像信号の値より小さいことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記リミッタ手段は、前記第３の像信号が第１の閾値以上であって、かつ、前記第１の像信号が第２の閾値以上である場合、前記第１の像信号を前記第２の閾値に抑制することを特徴とする請求項１に記載の画像処理装置。
6. 前記リミッタ手段は、前記現像処理手段が前記第２の視差画像の現像処理を行わない場合、前記第１の像信号を前記閾値以下に抑制しないことを特徴とする請求項１に記載の画像処理装置。
7. 前記第１および第２の像信号のシェーディング補正を行う補正手段と、
   前記補正手段によりシェーディング補正された前記第１および第２の像信号を、瞳分割方向にシフト加算することで合成されるリフォーカス画像の信号を生成する処理手段を備えることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記第１および第２の視差画像のデータを合成比率によって合成する処理手段を備えることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
9. 請求項１から８のいずれか１項に記載の画像処理装置と、
   前記第１および第２の光電変換部を画素ごとに有する撮像素子を備えることを特徴とする撮像装置。
10. 前記撮像素子は複数のマイクロレンズを備え、
    前記マイクロレンズがそれぞれ１つの画素の前記第１および第２の光電変換部に対応することを特徴とする請求項９に記載の撮像装置。
11. 撮影光学系の第１および第２の瞳部分領域をそれぞれ通過した光を光電変換して取得された複数の像信号を記憶する記憶手段を備え、前記複数の像信号から生成される視差画像のデータを処理する画像処理装置にて実行される画像処理方法であって、
    前記第１の瞳部分領域を通過した光を第１の光電変換部が光電変換することにより取得される像信号を第１の像信号とし、
    前記第２の瞳部分領域を通過した光を第２の光電変換部が光電変換することにより取得される像信号を第２の像信号とし、
    前記第１および第２の瞳部分領域を通過した光を前記第１および第２の光電変換部が光電変換することにより取得される像信号を第３の像信号とするとき、
    取得された前記第１および第２の像信号に対して閾値を設定し、前記第１および第２の像信号を前記閾値以下に抑制する工程と、
    前記第３の像信号から前記第１の像信号を減算して前記第２の像信号を生成し、または、前記第１の像信号と前記第２の像信号を加算して前記第３の像信号を生成する工程と、
    前記第１の像信号から生成される第１の視差画像または前記第２の像信号から生成される第２の視差画像、または前記第１および第２の視差画像から合成される画像の現像処理を行う工程と、を有することを特徴とする画像処理方法。
12. 請求項１１に記載の各工程を画像処理装置のコンピュータに実行させるプログラム。
    

Images