JP2017184217A - 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム - Google Patents

Abstract

【課題】複数の視点画像に基づいて、視点変更画像を表示させる操作とピント位置を変更した画像を表示させる操作とを並行して操作することが可能な画像処理装置を提供する。【解決手段】本発明に係る画像処理装置は、入射する光線の強度と角度情報を含む画像信号を取得する取得手段と、視点を変更する操作とピント位置を変更する操作とを受け付ける操作手段と、画像信号に基づいて得られる複数の視点画像に基づいて、視点を変更する操作に応じて視点を変更すると共に、ピント位置を変更する操作に応じてピント位置を変更した表示画像を生成する処理手段と、を備える。【選択図】図１７

Description

本発明は、画像処理装置、撮像装置およびこれらの制御方法ならびにプログラムに関する。

撮影レンズの異なる瞳領域を通過した光束を記録することにより、複数の視点画像を同時に撮影可能な撮像装置が知られている。非特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成された撮像素子を用いた撮像装置が開示されている。この撮像素子は、分割された光電変換部のそれぞれが、１つのマイクロレンズを介して撮影レンズの異なる瞳部分領域を通過した光束を受光するように構成され、いわゆる瞳分割を実現する。このため、出力された信号は、光強度の空間分布と角度分布情報とを含むＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データと等価であり、複数の視点画像を得ることができる。

また、非特許文献１には、取得したＬＦデータを用いて、撮像面とは異なる仮想的な面に結像させた合成画像を生成することにより、撮影後に撮像画像のピント位置（合焦位置ともいう）を変更することができるリフォーカス技術が開示されている。

Ｒｅｎ．Ｎｇ、外７名，「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

ところで、複数の視点画像に基づいて、視点を変更した画像（視点変更画像）を表示させる操作と、リフォーカス技術によってピント位置を変更した画像を表示させる操作とを並行して行いたい場合がある。しかし、非特許文献１では、視点変更画像の表示とピント位置を変更した画像の表示とを並行して操作する方法について考慮していない。

本発明は、上述の問題点に鑑みてなされたものである。すなわち、複数の視点画像に基づいて、視点変更画像を表示させる操作とピント位置を変更した画像を表示させる操作とを並行して操作することが可能な画像処理装置、撮像装置およびこれらの制御方法ならびにプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、入射する光線の強度と角度情報を含む画像信号を取得する取得手段と、視点を変更する操作とピント位置を変更する操作とを受け付ける操作手段と、画像信号に基づいて得られる複数の視点画像に基づいて、視点を変更する操作に応じて視点を変更すると共に、ピント位置を変更する操作に応じてピント位置を変更した表示画像を生成する処理手段と、を備えることを特徴とする。

本発明によれば、複数の視点画像に基づいて、視点変更画像を表示させる操作とピント位置を変更した画像を表示させる操作とを並行して操作することが可能になる。

本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態１に係る画像処理部の機能構成例を示すブロック図 実施形態１に係る画素配列を模式的に示す図 実施形態１に係る画素を模式的に示す平面図及び断面図 実施形態１に係る瞳分割の概要を説明する図 実施形態１に係る画素内部の光強度分布の例を説明する図 実施形態１に係る瞳強度分布の例を説明する図 実施形態１に係る撮像素子と瞳分割との関係（ａ）、及び第１視点画像と第２視点画像におけるデフォーカス量と像ずれ量の関係（ｂ）を説明する図 実施形態１に係る撮像画像のコントラスト分布の例を示す図 実施形態１に係る視点画像間の差を拡大した視差強調の例を説明する図 実施形態１に係るリフォーカス処理の概略を説明する図 実施形態１に係るアンシャープネス処理の概要を説明する図 実施形態１に係るリフォーカス可能範囲を説明する図 実施形態１に係る視点移動処理の原理を説明する図 実施形態１に係る撮像素子の周辺像高における瞳ずれを説明する図 実施形態１に係る撮像画像に対する視点移動及びピント調整操作に係る一連の動作を示すフローチャート 実施形態１に係る視点画像操作処理の一連の動作を示すフローチャート 実施形態１に係る現像処理の一連の動作を示すフローチャート 、 、 、 実施形態１に係る視点移動、ピント調整のＵＩを模式的に示す図 実施形態１に係るＵＩに強調度合のＵＩを追加した例を模式的に示す図 実施形態２に係る視差画像操作処理の一連の動作を示すフローチャート 実施形態３に係る画素配列を模式的に示す図 実施形態３に係る画素を模式的に示す平面図及び断面図 実施形態３に係る視点移動、ピント調整のＵＩを模式的に示す図 実施形態４に係る視差画像操作処理の一連の動作を示すフローチャート 実施形態４に係る視点移動、ピント調整のＵＩの表記例を模式的に示す図 実施形態４に係る視点移動、ピント調整のＵＩの表記例を模式的に示す図 実施形態４に係る視点移動、ピント調整のＵＩの表記例を模式的に示す図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、ＬＦデータを取得可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、取得したＬＦデータを処理可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末、監視システム、車載システム、内視鏡などの医療システム、画像を提供可能なロボットなどが含まれてよい。また、任意の機器がインターネット又はローカルネットワーク上の、プロセッサ等の処理手段を備えたサーバ機器（仮想マシンを含む）にＬＦデータと操作内容を送信し、ＬＦデータに対する処理の一部又は全部をサーバ機器で実行する構成が含まれてよい。この場合、任意の機器はサーバ機器から処理結果を受信して表示させる構成が含まれてよい。

（デジタルカメラ１００の全体構成）
図１は、本実施形態の画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

第１レンズ群１０１は、結像光学系を構成する例えばズームレンズを含み、結像光学系の先端に配置されると共に、光軸方向に進退可能に保持される。シャッタ１０２は絞りを含み、その開口径を調節することにより撮影時に撮像素子１０７に入射する光量を調節する。また、静止画を撮影する際には露光する時間を調節するシャッタとして機能する。シャッタ１０２と、結像光学系を構成する第２レンズ群１０３とは一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。

第３レンズ群１０５は、結像光学系を構成する例えば焦点レンズを含み、光軸方向の進退により焦点調節を行なう。光学素子１０６は光学的ローパスフィルタを含み、撮像画像の偽色やモアレを軽減する。撮像素子１０７は例えばＣＭＯＳフォトセンサーと周辺回路とから構成される撮像素子を含み、結像光学系の結像面に配置される。

ズームアクチュエータ１１１は、第１レンズ群１０１ないし第３レンズ群１０３の進退動作を発生させる駆動装置を含み、不図示のカム筒を回動することにより、第１レンズ群１０１ないし第３レンズ群１０３を光軸方向に進退駆動させる。絞りシャッタアクチュエータ１１２は、シャッタ１０２の動作を発生させる駆動装置を含み、シャッタ１０２の開口径やシャッタ動作を、絞りシャッタ駆動部１２８の制御に応じて制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５の進退動作を発生させる駆動装置を含み、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。

照明装置１１５は撮影時の被写体照明用電子フラッシュを含み、例えばキセノン管を用いた閃光照明装置、或いは連続発光するＬＥＤを備えた照明装置である。補助光発光部１１６はＡＦ補助光の発光装置を含み、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラストの被写体に対する焦点検出能力を向上させる。

制御部１２１は、ＣＰＵ（又はＭＰＵ）、ＲＯＭ、及びＲＡＭを含み、ＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することによりデジタルカメラ１００全体の各部を制御して、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。また、制御部１２１はＡ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェース回路等を備えてもよい。更に、制御部１２１は、表示部１３１に表示する表示内容を制御する表示制御部としての機能を含み、また、画像処理部１２５によって実行される処理を代わりに実行してもよい。

電子フラッシュ制御部１２２は、制御回路又は制御モジュールを含み、撮影動作に同期して照明装置１１５の点灯を制御する。補助光駆動部１２３は、焦点検出動作に同期して補助光発光部１１６の点灯を制御する。撮像素子駆動部１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。

フォーカス駆動部１２６、絞りシャッタ駆動部１２８、及びズーム駆動部１２９は、それぞれ制御回路又は制御モジュールを含む。フォーカス駆動部１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を制御する。また、絞りシャッタ駆動部１２８は、撮影動作の所定のタイミングで絞りシャッタアクチュエータ１１２を制御する。更にズーム駆動部１２９は、撮影者のズーム操作に応じてズームアクチュエータ１１１を制御する。

表示部１３１は、ＬＣＤ等の表示装置を含み、例えばカメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作部１３２はデジタルカメラ１００を操作するためのスイッチ群を含み、例えば電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。操作部１３２が入力されたユーザ操作を制御部１２１に送信すると、制御部１２１はユーザ操作に対応した動作を実行するために、デジタルカメラ１００の各部を制御する。記録媒体１３３は、例えば着脱可能なフラッシュメモリを含み、撮影済み画像を記録する。

通信部１３４は、通信回路又はモジュールを含み、所定の規格に準拠した通信方式を用いて、外部装置（例えば外部に設置されたサーバ）と通信を確立する。通信部１３４は、外部装置と、例えば画像データのアップロードやダウンロード、アップロードした画像データに対して外部装置が行った所定の処理の結果の受信等を行う。

（画像処理部１２５の構成）
次に、画像処理部１２５の構成について、図２を参照して説明する。画像取得部１５１は、記録媒体１３３から読み出された画像データを保存する。画像データは、後述する第１の視点画像と第２の視点画像とを合成した画像（Ａ＋Ｂ像ともいう）と、第１の視点画像とから構成される画像データである。

減算部１５２は、Ａ＋Ｂ像から第１の視点画像を減算することで第２の視点画像を生成する。シェーディング処理部１５３は、第１の視点画像と第２の視点画像の像高による光量変化を補正する。操作情報取得部１５４は、ユーザが変更した視点移動とリフォーカス用の調整値を受け取り、視点変更処理部１５５とリフォーカス処理部１５６へユーザが操作した調整値を供給する。

視点変更処理部１５５は、第１の視点画像と第２の視点画像の加算比率（重み付け）を変更して視点を変更した画像を合成する。詳細は後述するが、視点変更処理部１５５の処理により被写界深度を拡大又は縮小した画像を生成することができる。リフォーカス処理部１５６は、第１の視点画像と第２の視点画像とを瞳分割方向にシフト加算することにより合成画像を生成し、異なるピント位置の画像を生成する。リフォーカス処理部１５６による処理についても詳細は後述する。

また、画像処理部１２５は、以下に説明するホワイトバランス部１５７、デモザイキング部１５８、ガンマ変換部１５９、色調整部１６０の構成により現像処理を行う。ホワイトバランス部１５７はホワイトバランス処理を行う。具体的には白の領域のＲ、Ｇ、Ｂが等色になるようにＲ、Ｇ、Ｂの各色にゲインをかける。このホワイトバランス処理をデモザイキング処理前に行うことにより、彩度を算出する際に、色かぶり等により偽色の彩度よりも高い彩度になることを回避し、誤判定を防止することができる。

デモザイキング部１５８は各画素において欠落している３原色のうち２色のカラーモザイク画像データを補間することによって、全ての画素においてＲ、Ｇ、Ｂのカラー画像データが揃ったカラー画像を生成する。デモザイキング部１５８は、注目画素に対して、注目画素の周辺の画素を用いた補間を行う。その後、各画素について補間処理結果としてのＲ、Ｇ、Ｂの３原色のカラー画像データを生成する。

ガンマ変換部１５９は、各画素のカラー画像データにガンマ補正処理を適用して、例えば表示部１３１の表示特性に整合させたカラー画像データを生成する。色調整部１６０は、画像の見栄えを改善するための処理である、例えばノイズ低減、彩度強調、色相補正、エッジ強調といった各種の色調整処理をカラー画像データに適用する。

圧縮部１６１は、色調整されたカラー画像データをＪＰＥＧ等の所定の圧縮方式に準拠した方法で圧縮し、記録する際のカラー画像データのデータサイズを小さくする。出力部１６３は、上述したカラー画像データ、圧縮された画像データ、又はユーザインターフェース用の表示データを出力する。

（撮像素子１０７の構成）
本実施形態に係る撮像素子１０７の画素及び副画素の配列について、図３を参照して説明する。図３は、２次元状に配置された画素配列を４列×４行の範囲で示しており、更に各画素に含まれる副画素配列を８列×４行の範囲で示している。

図３に示す画素配列のうち、２列×２行の画素群では、左上の位置にＲ（赤）の分光感度を有する画素２００Ｒを、右上と左下の位置にＧ（緑）の分光感度を有する画素２００Ｇを、右下の位置にＢ（青）の分光感度を有する画素２００Ｂをそれぞれ有する。更に、各画素は、２列×１行に配列された副画素２０１と副画素２０２を有する。

図３に示した４列×４行の画素（８列×４行の副画素）を面状に多数配置することにより、撮像画像（或いは焦点検出信号）の取得が可能になる。撮像素子１０７は、例えば、画素の配置される周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、副画素の列方向周期ＰＳが２μｍ、副画素数ＮＳが横１１１５０列×縦３７２５行＝約４１５０万画素である。

図３に示した画素２００Ｇの構造をより詳細に説明する。図４（ａ）は、画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た平面図を、図４（ｂ）は、図４（ａ）のａ−ａ断面を−ｙ側から見た断面図を、それぞれ示している。

画素２００Ｇは、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１と光電変換部３０２とを有するように構成される。光電変換部３０１と光電変換部３０２とは、副画素２０１と副画素２０２とにそれぞれ対応する。

また、画素２００Ｇは、画素の受光側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５を有し、マイクロレンズ３０５を通過して入射した光束が、光電変換部３０１又は光電変換部３０２により受光されるように構成される。光電変換部３０１と光電変換部３０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしてもよいし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。カラーフィルタ３０６は、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に配置され、所定の周波数の光を通過させる。図４（ｂ）では、カラーフィルタ３０６を画素２００Ｇに対して１つ設ける例を示しているが、必要に応じて、副画素毎に分光透過率の異なるカラーフィルタを設けてもよく、或いはカラーフィルタを省略してもよい。

光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホールが対生成され、更に空乏層で分離される。その後、負電荷の電子はｎ型層に蓄積され、ホールは定電圧源（不図示）に接続されたｐ型層３００を通じて撮像素子１０７の外部へ出力される。光電変換部３０１と光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して静電容量部（ＦＤ）に転送され、電圧信号に変換される。

（撮像素子１０７の画素構造と瞳分割の関係）
次に、図４に示した撮像素子１０７の画素構造と瞳分割との対応関係を、図５を参照して説明する。図５は、図４（ａ）に示した画素２００Ｇのａ−ａ断面を＋ｙ側から見た断面図と、結像光学系の射出瞳面の対応関係を示している。なお、図５では、射出瞳面の座標軸と対応を取るために、画素２００Ｇの断面図のｘ軸とｙ軸を図４に対して反転させている。

副画素２０１の瞳部分領域５０１は、副画素２０１で受光可能な瞳領域を表している。副画素２０１の瞳部分領域５０１は、瞳面上で＋Ｘ側に重心が偏心しており、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズによって、概ね、共役関係になっている。

一方、副画素２０２の瞳部分領域５０２は、副画素２０２で受光可能な瞳領域を表している。副画素２０２の瞳部分領域５０２は、瞳面上で−Ｘ側に重心が偏心しており、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズによって、概ね、共役関係になっている。なお、瞳領域５００は、光電変換部３０１と光電変換部３０２（副画素２０１と副画素２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。

上述した構成の画素２００Ｇに光が入射した際の様子をより具体的に説明する。図６は、画素２００Ｇに形成されたマイクロレンズ３０５に、光が入射した場合の光強度分布の例を示している。図６（ａ）はマイクロレンズ光軸に平行な断面における光強度分布を、図６（ｂ）はマイクロレンズ焦点位置でのマイクロレンズ光軸に垂直な断面における光強度分布を、それぞれ示している。図６において、Ｈはマイクロレンズ３０５の凸側の面を、ｆはマイクロレンズの焦点距離を、ｎＦΔは後述するリフォーカスによる焦点位置の可動範囲を、φは入射する光束の最大角度を示す。

入射光は、マイクロレンズ３０５によって焦点位置に集光されるが、光の波動性による回折の影響により、集光スポットの直径は回折限界Δより小さくならず、例えば図６（ａ）及び図６（ｂ）に示すように有限の大きさとなる。例えば、光電変換部３０１の受光面サイズが約１〜２μｍ程度である場合、マイクロレンズの集光スポットも約１μｍ程度である。そのため、光電変換部３０１の受光面とマイクロレンズ３０５を介して共役の関係にある瞳部分領域５０１（光電変換部３０２には瞳部分領域５０２）は、回折ボケのため、明瞭に瞳分割がされていない受光率分布（瞳強度分布）となる。

この画素２００Ｇにおける瞳強度分布は、更に横軸を瞳座標、縦軸を受光率として模式的に示すと図７のようになる。なお、瞳強度分布７０１は図５の瞳部分領域５０１のＸ軸に沿った瞳強度分布の例（実線）を、瞳強度分布７０２は瞳部分領域５０２のＸ軸に沿った瞳強度分布の例（破線）をそれぞれ示している。瞳部分領域５０１と瞳部分領域５０２とが異なる瞳位置においてなだらかな瞳強度のピークを有しており、マイクロレンズ３０５を通過した光がなだらかに瞳分割されることを示している。

更に、撮像素子１０７の位置の異なる画素と瞳分割との対応関係は、図８（ａ）のようになる。異なる瞳部分領域（瞳部分領域５０１と瞳部分領域５０２）を通過したそれぞれの光束は、撮像面８００を通過して撮像素子１０７の各画素に異なる角度で入射する。そして、２×１分割された各画素の副画素２０１（光電変換部３０１）と副画素２０２（光電変換部３０２）とによって受光される。すなわち、撮像素子１０７は、結像光学系の異なる瞳部分領域を通過する光束を受光するように構成された複数の副画素が設けられた画素を、複数配列している。

このような構成の撮像素子１０７を用いることにより、各画素の副画素２０１の受光信号を集めて第１視点画像を生成し、各画素の副画素２０２の受光信号を集めて第２視点画像を生成することができる。つまり、撮像素子１０７の各画素により取得される入力画像から、異なる瞳部分領域毎に複数の視点画像を生成することができる。なお、本実施形態では、第１視点画像と第２視点画像は、それぞれ、ベイヤー配列の画像となるため、必要に応じて第１視点画像と第２視点画像とにデモザイキング処理を適用してもよい。また、撮像素子の画素毎に、副画素２０１と副画素２０２の信号を加算して読み出すことにより、有効画素数Ｎの解像度の撮像画像を生成することができる。本実施形態では、複数の視点画像（第１視点画像と第２視点画像）から生成した撮像画像を用いる例を説明する。なお、図８（ａ）では、瞳領域が水平方向に２つに瞳分割される例を示したが、副画素の分割方法に応じて瞳分割が垂直方向に行われてもよい。しかしこれに限らず、本実施形態も他の実施形態も、公知の技術により複数の視点画像を取得できるものであれば適用出来る。例えば特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像素子１０７とみなす構成でもよい。また、図１の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

（視差画像間のデフォーカス量と像ずれ量の関係）
次に、撮像素子１０７から出力される第１視点画像と第２視点画像との間のデフォーカス量と像ずれ量の関係について説明する。図８（ｂ）は、第１視点画像と第２視点画像とのデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量との関係を模式的に示している。撮像面８００に撮像素子１０７（図８（ｂ）では不図示）が配置され、図５、図８（ａ）及び図８（ｂ）と同様に、結像光学系の射出瞳が、瞳部分領域５０１と瞳部分領域５０２に２分割される。

デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を大きさ｜ｄ｜で表わす。デフォーカス量ｄは、例えば被写体の結像位置が撮像面８００より被写体側にある状態（前ピン状態ともいう）を負符号（ｄ＜０）で表す。一方、被写体の結像位置が撮像面８００より被写体の反対側にある状態（後ピン状態ともいう）を正符号（ｄ＞０）で表す。被写体の結像位置が撮像面にある合焦状態はｄ＝０である。図９では、被写体８０１が合焦状態（ｄ＝０）である例を、被写体８０２が前ピン状態（ｄ＜０）である例を、それぞれ示している。なお、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）である場合、被写体８０２からの光束のうち、瞳部分領域５０１（瞳部分領域５０２）を通過した光束は、一度、集光した後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する副画素２０１（副画素２０２）により受光され、第１視点画像（第２視点画像）が生成される。よって、第１視点画像（第２視点画像）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜の増加に伴い、概ね、比例して増加する。同様に、第１視点画像と第２視点画像間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜の増加に伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）である場合、第１視点画像と第２視点画像間の被写体像の像ずれ方向が前ピン状態である場合と反対となるが、同様である。

従って、本実施形態では、第１視点画像と第２視点画像、もしくは、第１視点画像と第２視点画像を加算した撮像信号のデフォーカス量の大きさの増加に伴い、第１視点画像と第２視点画像間の像ずれ量の大きさが増加する。

（視点画像修正とリフォーカス）
次に、本実施形態に係る視点画像修正処理とリフォーカス処理について説明する。本実施形態のリフォーカス処理では、第１段階として、視点変更処理部１５５が撮像画像の各画素値に基づくコントラストの高低を表すコントラスト分布を算出する。第２段階として、視点変更処理部１５５は算出したコントラスト分布に基づいて、画素毎に複数の視点画像（第１視点画像と第２視点画像）間の差を拡大して視差を強調する変換を行い、複数の修正視点画像（第１修正視点画像と第２修正視点画像）を生成する。第３段階として、リフォーカス処理部１５６は複数の修正視点画像（第１修正視点画像と第２修正視点画像）を相対的にシフト加算して、リフォーカス画像を生成する。

なお、以下ではｉ、ｊを整数として、撮像素子１０７の行方向ｊ番目、列方向ｉ番目の位置を（ｊ、ｉ）と表わす。また、位置（ｊ、ｉ）の画素の第１視点画像をＡ０（ｊ、ｉ）、第２視点画像をＢ０（ｊ、ｉ）、撮像画像をＩ（ｊ、ｉ）＝Ａ０（ｊ、ｉ）＋Ｂ０（ｊ、ｉ）と表わす。

（第１段階：コントラスト分布の算出）
視点変更処理部１５５は、ベイヤー配列の撮像画像Ｉ（ｊ、ｉ）に対し、式（１）に従って、位置（ｊ、ｉ）毎にＲＧＢ毎の色重心を一致させて、輝度Ｙ（ｊ、ｉ）を算出する。

次に、視点変更処理部１５５は、輝度Ｙ（ｊ、ｉ）に対して、瞳分割方向である水平方向（列ｉ方向）に、［１、２、−１、−４、−１、２、１］などのラプラシアン型フィルタ処理を適用して、水平方向の高周波成分ｄＹ（ｊ、ｉ）を算出する。視点変更処理部１５５は、必要に応じて、瞳分割方向ではない垂直方向（行ｊ方向）に［１、１、１、１、１、１、１］などの高周波カットフィルタ処理を適用して、垂直方向の高周波ノイズを抑制してもよい。

次に、視点変更処理部１５５は、規格化（正規化）された水平方向の高周波成分ｄＺ（ｊ、ｉ）を、式（２）に従って算出する。ここで、定数Ｙ０を分母に加えるのは、０で除算することにより式（２）が発散することを防止するためである。視点変更処理部１５５は、必要に応じて、式（２）で規格化する前に、輝度Ｙ（ｊ、ｉ）に高周波カットフィルタ処理を適用して高周波ノイズを抑制してもよい。

視点変更処理部１５５は、コントラスト分布Ｃ（ｊ、ｉ）を式（３）に従って算出する。式（３）の１行目は、撮像画像の輝度が所定輝度Ｙｃよりも低輝度の場合、コントラスト分布Ｃ（ｊ、ｉ）を０とすることを示す。一方、式（３）の３行目は、規格化された高周波成分ｄＺ（ｊ、ｉ）が所定値Ｚｃより大きい場合、コントラスト分布Ｃ（ｊ、ｉ）を１とすることを示す。それ以外（すなわち式（３）の２行目）は、ｄＺ（ｊ、ｉ）をＺｃで規格化した値がコントラスト分布Ｃ（ｊ、ｉ）となることを示す。

ここで、コントラスト分布Ｃ（ｊ、ｉ）は、［０、１］の範囲の値をとり、０に近いほどコントラストが低く、１に近いほどコントラストが高くなる。

図９は、式（３）によって得られる、撮像画像のコントラスト分布Ｃ（ｊ、ｉ）の一例を示している。このコントラスト分布において、白い部分は水平方向の高周波成分が多くコントラストが高いことを示し、黒い部分は水平方向の高周波成分が少なくコントラストが低いことを示している。

（第２段階：視差画像の視差強調処理）
次に、視差画像の視差強調処理について説明する。視差強調処理では、まず視点画像の像ずれ分布を算出する。像ずれ分布の算出は、第１視点画像Ａ０と第２視点画像Ｂ０の１対の像に対して相関演算を行って、１対の像の相対的な位置ずれ量を計算することにより得られる。相関演算には、様々な公知の方法が知られているが、視点変更処理部１５５は、例えば式（４）に示すような一対の像の差の絶対値を加算することにより、像の相関値を得ることができる。

ここで、Ａ０ｉ、Ｂ０ｉは、それぞれ第１視点画像Ａ０、第２視点画像Ｂ０のｉ番目の画素の輝度を表す。またｎｉは、演算に用いる画素数を表す数字で、像ずれ分布の最小演算範囲に応じて適切に設定される。

視点変更処理部１５５は、例えば式（４）のＣＯＲ（ｋ）が最小となるｋを、像ずれ量として算出する。すなわち、１対の像をｋ画素ずらした状態で、行方向のｉ番目の各Ａ０画素とＢ０画素の差の絶対値を取り、その絶対値を行方向の複数画素について加算する。そして、視点変更処理部１５５は、加算された値、すなわちＣＯＲ（ｋ）が最も小さくなるときのｋをＡ０とＢ０の像ずれ量とみなし、ずらし量ｋ画素を算出する。

これに対し、２次元的な像を瞳分割方向のみにｋ画素分動かして第１視点画像Ａ０の画素と第２視点画像Ｂ０の差分をとるようにし、複数列について加算する場合、相関演算は式（５）で定義される。

ここで、Ａ０ｉｊ、Ｂ０ｉｊは、それぞれ第１視点画像Ａ０、第２視点画像Ｂ０のｊ列目ｉ番目の画素の輝度を表す。また、ｎｉは、演算に用いる画素数、ｎｊは相関演算を行う１対の像の列方向の数をそれぞれ表す。

視点変更処理部１５５は、式（４）と同様に式（５）のＣＯＲ（ｋ）が最小となるｋを像ずれ量として算出する。なお、添え字ｋはｉにのみ加算されてｊとは無関係である。これは、２次元的な像を瞳分割方向のみに移動させながら相関演算をしていることに対応する。視点変更処理部１５５は、式（５）に従って第１視点画像Ａ０、第２視点画像Ｂ０の各領域の像ずれ量を算出し、像ずれ分布を算出することができる。

後述する本実施形態のリフォーカス処理では、高コントラスト部分のみに後述のシャープネス処理を行って、リフォーカス処理を行う。従って、上述したコントラスト分布の算出処理において、コントラスト分布Ｃ（ｊ、ｉ）が０である領域（すなわち所定輝度Ｙｃよりも低輝度の位置）には、式（５）による相関演算を行わないようにしてもよい。

次に、具体的な視差強調処理の例について説明する。瞳強度分布の例を図７に示したように、画素毎に形成されるマイクロレンズと複数に分割された光電変換部による瞳分割では、回折ボケのために、なだらかな瞳分割となる。そのため、なだらかに分割された瞳強度分布に応じた複数の視点画像では、瞳分割方向の実効Ｆ値が十分に暗く（大きく）ならないため、実効的な焦点深度が深くなりにくい。

従って、本実施形態では、視点変更処理部１５５は、複数の視点画像（第１視点画像と第２視点画像）に対して、画素毎に視点画像間の差を拡大して視差を強調する処理を行う。視点変更処理部１５５は、視差強調処理により、複数の修正視点画像（第１修正視点画像と第２修正視点画像）を生成する。

視点変更処理部１５５は、第１視点画像Ａ０（ｊ、ｉ）と第２視点画像Ｂ０（ｊ、ｉ）に対して、式（６）および式（７）に従って視点画像間の差を拡大し、第１修正視点画像Ａ（ｊ、ｉ）と第２修正視点画像Ｂ（ｊ、ｉ）を生成する。ここで、ｋ（０≦ｋ≦１）、α（０≦α≦１）を実数とする。

図１０は、視差強調処理によって、所定の位置において視点画像間の差が拡大した例を示している。視差強調処理を行う前の第１視点画像Ａ０（１０１）と第２視点画像Ｂ０（１０２）の例を破線で示し、式（４）および式（５）による視差強調処理を行った後の第１修正視点画像Ａ（１０３）と第２修正視点画像Ｂ（１０４）の例を実線で示している。図１０では、横軸は１１５２番目〜１１５６番目の画素を副画素（サブピクセル）単位で示し、縦軸は各画素における視差の大きさを示している。視差強調処理により、視点画像間の差が小さかった部分はあまり変化しない（例えば１１５４番目付近）が、視点画像間の差が大きかった部分はより拡大（例えば１１５３番目や１１５５番目付近）して、視差が強調されている。

このように、本実施形態では、視点変更処理部１５５は、複数の視点画像毎に、複数の視点画像間の差を拡大させて視差を強調した複数の修正視点画像を生成する。なお、視点変更処理部１５５は、式（６）及び式（７）のように、画素内に含まれる複数の副画素の信号を用いて演算することにより、視差強調処理の負荷を抑制することができる。

式（６）では、ｋの値を大きくして視差強調を強くすると、複数の修正視点画像（第１修正視点画像と第２修正視点画像）間の視差が大きくなる。従って、ｋの値を大きくすることにより、分割方向の実効Ｆ値を暗く（大きく）し、分割方向の実効的な焦点深度を深く修正することができる。しかし、視差強調を過剰に強くすると、修正視点画像のノイズが増加してＳ／Ｎが低下してしまう。

このため、本実施形態では、コントラスト分布Ｃ（ｊ、ｉ）に基づいて、視差強調の変換の強さを領域適応的に調整する。例えば、視点変更処理部１５５は、コントラストが高い領域では、視差を大きくして視差強調の強度を強くし、分割方向の実効Ｆ値を暗く（大きく）する。一方、コントラストが低い領域では、Ｓ／Ｎを維持するため視差強調の強度を弱くして、Ｓ／Ｎ低下を抑制する。このようにすることで、複数の修正視点画像（第１修正視点画像と第２修正視点画像）間の視差を大きくして、分割方向の実効Ｆ値を暗く（大きく）し、分割方向の実効的な焦点深度を深く修正することができる。また、後述するリフォーカス処理では、複数の修正視点画像（第１修正視点画像と第２修正視点画像）を用いてリフォーカス画像を生成ことにより、リフォーカス効果を向上（リフォーカスによる画像の変化を強調）させることができる。

視点変更処理部１５５は、必要に応じて、撮像画像の低輝度の領域よりも高輝度の領域における視差強調の強度を強くすれば、例えばＳ／Ｎ低下を抑制することができる。また、必要に応じて、撮像画像の高周波成分が少ない領域よりも高周波成分が多い領域において、視差強調の強度をより強くしても、同様に例えばＳ／Ｎ低下を抑制することができる。

（第３段階：リフォーカス処理）
複数の修正視点画像（第１修正視点画像と第２修正視点画像）を用いた、瞳分割方向（列方向或いは水平方向）のリフォーカス処理について、図１１を参照して説明する。図１１は、撮像面８００に配置された撮像素子１０７の列方向ｉ番目の画素の信号を含む、第１修正視点画像Ａｉと第２修正視点画像Ｂｉとを模式的に示している。第１修正視点画像Ａｉは、（図８（ａ）の瞳部分領域５０１に対応した）主光線角度θａでｉ番目の画素に入射した光束の受光信号を含む。第２修正視点画像Ｂｉは、（図８（ａ）の瞳部分領域５０２に対応した）主光線角度θｂでｉ番目の画素に入射した光束の受光信号を含む。つまり、第１修正視点画像Ａｉと第２修正視点画像Ｂｉは、光強度分布情報に加えて、入射角度情報も有している。

入射角情報を有することにより、リフォーカス処理部１５６は、所定の仮想的な結像面におけるリフォーカス画像を生成することができる。具体的に、リフォーカス処理部１５６は、第１修正視点画像Ａｉを角度θａに沿って、第２修正視点画像Ｂｉを角度θｂに沿って、それぞれ仮想結像面８１０まで平行移動させる。そして、平行移動した各修正視点画像を画素毎に加算することにより、仮想結像面８１０におけるリフォーカス画像を生成することができる。図１１の例では、第１修正視点画像Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させることは、第１修正視点画像Ａｉを列方向に＋０．５画素シフトすることに対応する。一方、第２修正視点画像Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させることは、第２修正視点画像Ｂｉを列方向に−０．５画素シフトすることに対応する。つまり、図１１の例における、仮想結像面８１０における第１修正視点画像Ａｉと第２修正視点画像Ｂｉの組み合わせは、第１修正視点画像Ａｉと第２修正視点画像Ｂｉとを相対的に＋１画素シフトすることにより得られる。このため、第１修正視点画像Ａｉと、シフトした第２修正視点画像Ｂｉ＋１とを画素毎に加算することにより、仮想結像面８１０におけるリフォーカス画像を生成することができる。

このようにリフォーカス処理部１５６は、整数シフト量ｓとして、式（８）に従って第１修正視点画像Ａと第２修正視点画像Ｂをシフト加算することにより、整数シフト量ｓに応じた各仮想結像面におけるリフォーカス画像Ｉ（ｊ、ｉ；ｓ）を生成する。

本実施形態では、第１修正視点画像Ａと第２修正視点画像Ｂはベイヤー配列で構成されるため、リフォーカス処理部１５６は、２の倍数のシフト量ｓ＝２ｎ（ｎ：整数）で、同色毎に式（８）に従ったシフト加算を行う。すなわち、リフォーカス処理部１５６は、画像のベイヤー配列を保ったままリフォーカス画像Ｉ（ｊ、ｉ；ｓ）を生成し、その後、生成したリフォーカス画像Ｉ（ｊ、ｉ；ｓ）にデモザイキング処理を施す。なお、リフォーカス処理部１５６は、必要に応じて、まず第１修正視点画像Ａと第２修正視点画像Ｂとにデモザイキング処理を施し、デモザイキング処理後の第１修正視点画像と第２修正視点画像を用いてシフト加算処理を行ってもよい。さらに、リフォーカス処理部１５６は、必要に応じて、第１修正視点画像Ａと第２修正視点画像Ｂの各画素間の補間信号を生成して、非整数シフト量に応じたリフォーカス画像を生成してもよい。このようにすれば、仮想結像面の位置をより詳細な粒度で変更したリフォーカス画像を生成することができる。

次に、リフォーカス処理部１５６が、より効果的なリフォーカス画像を生成するために適用するシャープネス処理、及びリフォーカス可能範囲の算出について説明する。

（シャープネス処理）
上述したように、リフォーカス処理では、第１修正視点画像Ａと第２修正視点画像Ｂとがシフト加算されて、仮想結像面におけるリフォーカス画像が生成される。シフト加算により第１修正視点画像Ａと第２修正視点画像Ｂの像をずらすため、リフォーカス処理前の画像に対する相対的なずらし量（像ずらし量ともいう）がわかる。

ここで、上述したリフォーカス処理による整数シフト量ｓは、この像ずらし量に対応する。このため、リフォーカス処理部１５６は、像ずらし量ｓに対応した領域にシャープネス処理を行うことにより、リフォーカス画像における被写体の輪郭強調を実現することができる。

本実施形態に係るシャープネス処理では、例えば、図１２に概要を示すアンシャープマスク処理を用いる。アンシャープマスク処理は、注目画素を中心とした局所領域（元の信号）に、ぼかしフィルタを適用し、ぼかし処理を適用する前後の画素値の差分を注目画素の画素値に反映することにより、輪郭強調を実現する。

処理対象の画素値Ｐに対するアンシャープマスク処理は、式（９）に従って算出される。但し、Ｐ'は処理適用後の画素値、Ｒはぼかしフィルタの半径、Ｔは適用量（％）である。

式（９）においてＦ（ｉ、ｊ、Ｒ）は、画素Ｐ（ｉ、ｊ）に対して半径Ｒのぼかしフィルタを適用して得られる画素値である。なお、ぼかしフィルタには、公知の方法、例えばガウスぼかしを用いることができる。ガウスぼかしは、処理対象の画素からの距離に応じてガウス分布に従った重み付けを適用して平均化する処理であり、自然な処理結果を得ることができる。また、ぼかしフィルタの半径Ｒの大きさは、シャープネス処理を適用したい画像上の周波の波長に関係する。すなわち、Ｒが小さいほど細かい模様が強調され、Ｒが大きいほど緩やかな模様が強調される。適用量Ｔ（ｉ、ｊ）は、像ずれ分布に応じてアンシャープマスク処理による輪郭強調の適用量を変化させる値である。具体的には、各画素の位置の像ずれ量をｐｒｅｄ（ｉ、ｊ）とし、リフォーカス処理によるシフト量ｓとすると、｜ｓ−ｐｒｅｄ（ｉ、ｊ）｜が小さい値（例えば像ずれ１画素以内）となる領域、すなわち仮想結像面で合焦状態となる領域、では適用量Ｔを大きくする。一方、｜ｓ−ｐｒｅｄ（ｉ、ｊ）｜が大きい値（例えば像ずれ量が３画素以上の場合）となる領域では、適用量Ｔを小さくする。このようにすることで、デフォーカス量が小さいピント位置または合焦近傍である領域には輪郭強調することができ、かつデフォーカス量が大きいボケ領域にはアンシャープマスク処理をかけない（またはぼかし処理）ようにすることができる。つまり、リフォーカス処理によるピント位置の移動の効果をより強調することができる。

（リフォーカス可能範囲の算出）
リフォーカス可能範囲は、リフォーカス処理によって変更可能なピント位置の範囲を表す。例えば、図１３は、本実施形態に係るリフォーカス可能範囲を模式的に示している。許容錯乱円をδ、結像光学系の絞り値をＦとすると、絞り値Ｆにおける被写界深度は±Ｆδである。これに対して、ＮＨ×ＮＶ（２×１）分割されて狭くなった瞳部分領域５０１（５０２）の水平方向の実効絞り値Ｆ０１（Ｆ０２）は、Ｆ０１＝ＮＨＦと暗くなる。第１修正視点画像（第２修正視点画像）毎の実効的な被写界深度は±ＮＨＦδとＮＨ倍深くなり、合焦範囲がＮＨ倍に広がる。すなわち、実効的な被写界深度±ＮＨＦδの範囲内では、第１修正視点画像（第２修正視点画像）毎に合焦した被写体像が取得されている。このため、リフォーカス処理部１５６は、図１１に示した主光線角度θａ（θｂ）に沿って第１修正視点画像（第２修正視点画像）を平行移動するリフォーカス処理により、撮影後に、ピント位置を再調整（リフォーカス）することができる。換言すれば、撮影後にピント位置を再調整（リフォーカス）できる撮像面からのデフォーカス量ｄは限定されており、デフォーカス量ｄのリフォーカス可能範囲は、概ね、式（１０）の範囲である。

許容錯乱円δは、例えばδ＝２ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。このように、リフォーカス可能範囲を算出することにより、ユーザ操作によってピント位置を変更（リフォーカス）する際の操作可能な範囲に対応させることができる。また、リフォーカス処理によって合焦させることのできる光線（被写体）を予め把握することができるため、例えば、所定の被写体がリフォーカス可能範囲に含まれるように、結像光学系の状態等の撮影条件を制御して再び撮影することも可能になる
（視点移動処理）
次に、視点変更処理部１５５によって実行される、本実施形態に係る視点移動処理について説明する。なお、視点移動処理は、手前側の非主被写体のボケが主被写体に被る場合に、非主被写体によるボケを低減するための処理である。

図１４（ａ）〜（ｃ）は視点移動処理の原理を示している。この図では、撮像素子１０７（不図示）が撮像面６００に配置されており、図１１と同様に、結像光学系の射出瞳が瞳部分領域５０１と瞳部分領域５０２とに２分割される。

図１４（ａ）は、主被写体ｑ１の合焦像ｐ１に、手前の被写体ｑ２のボケ像Γ１＋Γ２が重なって撮影される場合（主被写体への前ボケ被りともいう）の一例を示している。また、図１４（ｂ）と図１４（ｃ）は、図１４（ａ）に示す例を、結像光学系の瞳部分領域５０１を通過する光束と、瞳部分領域５０２を通過する光束とに、それぞれ分けて示している。図１４（ｂ）では、主被写体ｑ１からの光束は、瞳部分領域５０１を通過して、合焦状態で像ｐ１に結像する。一方、手前の被写体ｑ２からの光束は、瞳部分領域５０１を通過して、デフォーカス状態でボケ像Γ１に広がる。それぞれの光束は、撮像素子１０７の異なる画素の副画素２０１により受光されて、第１視点画像が生成される。図１４（ｂ）に示すように、第１視点画像では、主被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ１とは重ならずに受光される。これは、所定領域（被写体ｑ１の像ｐ１近傍）において、複数の視点画像（第１視点画像と第２視点画像）のうち、至近側の被写体（被写体ｑ２のボケ像Γ１）が最も狭い範囲で撮影されている視点画像となる。換言すれば、所定領域（被写体ｑ１の像ｐ１近傍）において、複数の視点画像（第１視点画像と第２視点画像）のうち、被写体ｑ２のボケ像Γ１の写りが少なく、コントラスト評価値が最も大きい視点画像が得られる。

一方、図１４（ｃ）では、主被写体ｑ１からの光束は、瞳部分領域５０２を通過して、合焦状態で像ｐ１に結像する。一方、手前の被写体ｑ２からの光束は、瞳部分領域５０２を通過して、デフォーカス状態でボケ像Γ２に広がる。それぞれの光束は、撮像素子１０７の各画素の副画素２０２で受光されて、第２視点画像が生成される。図１４（ｃ）に示すように、第２視点画像では、主被写体ｑ１の像ｐ１と手前の被写体ｑ２のボケ像Γ２が重なって受光される。これは、所定領域（被写体ｑ１の像ｐ１近傍）において、複数の視点画像（第１視点画像と第２視点画像）のうち、至近側の被写体（被写体ｑ２のボケ像Γ２）が最も広い範囲で撮影されている視点画像となる。換言すれば、所定領域（被写体ｑ１の像ｐ１近傍）において、複数の視点画像（第１視点画像と第２視点画像）のうち、被写体ｑ２のボケ像Γ２の写りが多く、コントラスト評価値が最も小さい視点画像が得られる。

従って、像ｐ１近傍において、像ｐ１とボケ像Γ１の重なりが少ない第１視点画像の重みを大きくし、像ｐ１とボケ像Γ２の重なりが多い第２視点画像の重みを小さくして加算すれば、主被写体に対する前ボケ被りを低減させることができる。

次に、視点変更処理部１５５が、第１視点画像と第２視点画像とを、重みを用いて重ね合わせる処理について説明する。なお、視点変更処理部１５５は、上述した第１視点画像Ａ（ｊ、ｉ）と第２視点画像Ｂ（ｊ、ｉ）とを入力する。

第１ステップとして、視点変更処理部１５５は、視点移動を行う所定領域Ｒ＝［ｊ１、ｊ２］×［ｉ１、ｉ２］と所定領域の境界幅σとを設定したうえで、式（１１）に従って所定領域Ｒと所定領域の境界幅σに応じたテーブル関数Ｔ（ｊ、ｉ）を算出する。

なお、テーブル関数Ｔ（ｊ、ｉ）は、所定領域Ｒの内側で１、所定領域Ｒの外側で０となる関数であり、所定領域Ｒの境界幅σで１から０に概ね連続的に変化する。なお、視点変更処理部１５５は、必要に応じて、所定領域を円形やその他の任意の形状としてもよく、また、複数の所定領域及び複数の境界幅を設定してもよい。

第２ステップとして、視点変更処理部１５５は、実係数ｗ（−１≦ｗ≦１）を用いて、式（１２Ａ）に従う第１視点画像Ａ（ｊ、ｉ）の第１重み係数Ｗａ（ｊ、ｉ）を算出する。また、視点変更処理部１５５は、式（１２Ｂ）に従う第２視点画像Ｂ（ｊ、ｉ）の第２重み係数Ｗｂ（ｊ、ｉ）を算出する。

第３ステップとして、視点変更処理部１５５は、第１視点画像Ａ（ｊ、ｉ）と、第２視点画像Ｂ（ｊ、ｉ）と、第１重み係数Ｗａ（ｊ、ｉ）と、第２重み係数Ｗｂ（ｊ、ｉ）とを用いて、式（１３）に従って出力画像Ｉ（ｊ、ｉ）を生成する。

或いは、視点変更処理部１５５は、シフト量ｓを用いたリフォーカス処理と組み合わせて、式（１４Ａ）もしくは式（１４Ｂ）に従って出力画像Ｉｓ（ｊ、ｉ）を生成してもよい。

このようにして出力された出力画像Ｉｓ（ｊ、ｉ）は、視点が移動した画像であると共に、ピント位置が再調整（リフォーカス）された画像となる。

このように、出力画像の領域に応じて連続的に変化する重み係数を用いて、複数の視点画像毎に重み係数をかけて合成し、出力画像を生成するようにした。すなわち、視点変更処理部１５５は、式（１３）を用いて主被写体に対する前ボケ被りを低減させる場合、像ｐ１近傍において、像ｐ１とボケ像Γ１の重なりが少ない第１視点画像の第１重み係数Ｗａを、像ｐ１とボケ像Γ２の重なりが多い第２視点画像の第２重み係数Ｗｂより大きくして出力画像を生成する。

換言すれば、視点変更処理部１５５は、画像の所定領域において、至近側の被写体が最も広い範囲で撮影されている視点画像の重み係数を最も小さくし、もしくは、至近側の被写体が最も狭い範囲で撮影されている視点画像の重み係数を最も大きくする。また、視点変更処理部１５５は、出力画像の所定領域において、コントラスト評価値が最も小さい視点画像の重み係数を最も小さくし、もしくは、コントラスト評価値が最も大きい視点画像の重み係数を最も大きくする。

なお、視点変更処理部１５５は、必要に応じて、視点移動処理を行わない所定領域以外では、結像光学系のボケ形状を変化させないために、複数の視点画像毎の重み係数（第１重み係数、第２重み係数）を、概ね均等に加算し、出力画像を生成してもよい。また、ユーザの指定に応じて重み係数（すなわち加算比率）を変更した出力画像を生成する方法を後述するが、視点移動処理を行う所定領域をユーザが指定するようにしてもよい。

（瞳ずれに対する視点移動処理）
次に、撮像素子１０７の周辺像高における瞳ずれについて説明する。図１５（ａ）〜（ｃ）は、各画素の副画素２０１と副画素２０２がそれぞれ受光する瞳部分領域（５０１、５０２）と結像光学系の射出瞳４００との関係を示している。

図１５（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓが同じ場合を示している。この場合、結像光学系の射出瞳４００は、中央像高の場合も周辺像高の場合も同様に、瞳部分領域５０１と瞳部分領域５０２によって概ね均等に瞳分割される。

これに対して、図１５（ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより短い場合を示している。この場合、周辺像高では、結像光学系の射出瞳４００が、瞳部分領域５０１と瞳部分領域５０２によって不均一に瞳分割される。図１５（ｂ）の例では、瞳部分領域５０１に対応した第１視点画像の実効絞り値が、瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。反対側の像高（不図示）では、逆に、瞳部分領域５０１に対応した第１視点画像の実効絞り値が、瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。

図１５（ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓより長い場合である。この場合も、周辺像高では、結像光学系の射出瞳４００が、瞳部分領域５０１と瞳部分領域５０２によって不均一に瞳分割される。図１５（ｃ）の例では、瞳部分領域５０１に対応した第１視点画像の実効絞り値が、瞳部分領域５０２に対応した第２視点画像の実効絞り値より大きい（暗い）値となる。反対側の像高（不図示）では、逆に、瞳部分領域５０１に対応した第１視点画像の実効絞り値が、瞳部分領域５０２に対応した第２視点画像の実効絞り値より小さい（明るい）値となる。

すなわち、瞳ずれにより周辺像高で瞳分割が不均一になることに伴って、第１視点画像と第２視点画像の実効Ｆ値も不均一になる。このため、第１視点画像と第２視点画像のいずれかのボケの広がり方が大きくなり、他方のボケの広がり方が小さくなる。

従って、視点変更処理部１５５は、必要に応じて、出力画像の所定領域において、実効絞り値が最も小さい視点画像の重み係数を最も小さくし、もしくは、実効絞り値が最も大きい視点画像の重み係数を最も大きくすることが望ましい。このような視点移動処理を行うことにより、主被写体への前ボケ被りを低減させることができる。

（被写界深度拡大処理）
次に、視点変更処理部１５５による深度拡大処理について、再び図１４を参照して説明する。上述したように、図１４（ｂ）において瞳部分領域５０１を通過した像が第１視点画像、瞳部分領域５０２を通過した像が第２視点画像である。各視点画像は、図からも明らかなように、本来の瞳領域の半分を通過して得られる画像であるため、水平方向２分割の瞳分割領域の場合には水平方向の絞り径が半分となる。このため、水平方向の被写界深度は４倍になる。一方、本実施形態では垂直方向に瞳分割した構成ではないため、垂直方向の被写界深度の変化はない。従って、第１視点画像または第２視点画像は、第１視点画像と第２視点画像とを合成した画像（Ａ＋Ｂ像）の被写界深度に対して、縦横平均として２倍の被写界深度を有する画像となる。

このように視点変更処理部１５５は、第１視点画像または第２視点画像の加算比率を１：１以外に変更して合成画像を生成することにより、被写界深度が拡大した画像を生成することができる。更に、視点変更処理部１５５は、上述したコントラスト分布と像ずれ分布を用いたアンシャープマスク処理を、第１視点画像又は第２視点画像の加算比率を変更した画像に対して適用する。このようにすることで、被写界深度を拡大し、かつ輪郭を強調した合成画像を生成することができる。また、深度拡大処理では、視点移動処理と同様に、所定領域をユーザの指定に応じて処理するようにしてもよい。なお、視点画像から合成画像は、視点変更処理部１５５から出力されると、上述した現像処理が適用され、現像処理の適用された画像が画像処理部１２５から出力される。

（撮像画像の視点移動及びピント調整操作に係る一連の動作）
次に、図１６を参照して、撮像画像の視点移動及びピント調整操作に係る一連の動作について説明する。なお、本処理は、例えば操作部１３２に含まれるレリーズスイッチ等がユーザによって押下された場合に開始される。また、本処理は、制御部１２１が不図示のＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開、実行すると共に、画像処理部１２５等の各部を制御することにより実現される。

Ｓ１０１において、撮像素子１０７は、制御部１２１の指示に応じて撮像を行う。Ｓ１０２において、撮像素子１０７は、視差画像データを出力する。具体的に、撮像素子１０７は、上述した視点画像（Ａ＋Ｂ像とＡ像）を１つのファイルフォーマットの画像データとして出力する。また、記録媒体１３３は、撮像素子１０７から出力された画像データを一時的に記憶する。

Ｓ１０３において、画像処理部１２５は、制御部１２１の指示に応じて視差画像データを読み込む。例えば、画像処理部１２５は、記録媒体１３３に記憶した画像データを、画像取得部１５１を用いて取得する。このとき、画像処理部１２５は、Ａ＋Ｂ像からＢ像を生成して、例えば、左側の視点の画像である第１視点画像（Ａ像）と、右側の視点の画像である第２視点画像（Ｂ像）とを取得する。Ｓ１０４において、制御部１２１は、操作部１３２と画像処理部１２５の出力とを制御して、後述する視点画像操作処理、すなわち、撮像画像に対する視点移動及びピント調整を行う。制御部１２１は、視点画像操作処理を終えると、本一連の処理を終了する。

（視点画像操作処理に係る一連の動作）
次に、Ｓ１０４における視点画像操作処理に係る一連の動作について、図１７に示すフローチャートを参照して説明する。なお、以下の説明では、視点移動（及び被写界深度の変更）を行うためのユーザインターフェース（視点移動ＵＩ）における操作を、ピント調整を行うためのユーザインターフェース（ピント調整ＵＩ）における操作より先に行う例を示す。しかし、ピント調整ＵＩ操作を、視点移動ＵＩ操作より先に行ってもかまわない。

Ｓ２０１において、制御部１２１は、視点移動ＵＩとピント調整ＵＩとを備えたユーザインターフェース（単にＵＩという）と、撮影画像とを表示部１３１に表示させる。

Ｓ２０２において、制御部１２１は、操作部１３２を介して入力されたユーザ操作に基づいて、視点移動を行うかどうかを判定する。制御部１２１は、入力されたユーザ操作が視点移動を行うことを示す場合、制御部１２１は視点移動を行うと判定して処理をＳ２０３へ進める。一方、入力されたユーザ操作が視点移動を行うことを示さない場合、制御部１２１は視点移動を行わないと判定して処理をＳ２０７へ進める。

Ｓ２０３において、制御部１２１は、操作部１３２を介して視点移動ＵＩを操作するユーザ操作を更に取得する。ここで、表示部１３１に表示する視点移動ＵＩの一例を、図１９Ａに示している。図１９Ａの例では、ＵＩを構成する一部の領域１０００に画像（撮影画像や視点画像）を表示する。上述したように、本実施形態では水平方向に２つに瞳分割した画像を得る構成であるため、左右のみの視点画像を用いて視点映像を生成する。

視点移動ＵＩは、ユーザが操作部材を視点の変化する方向へ操作可能なように、スライダー１００１とスライダーバー１００２とを水平方向に配置する。これにより、ユーザが視点移動の操作をより直感的に操作することができる。

Ｓ２０４において、制御部１２１は画像処理部１２５を用いて、視点画像の加算比率を変更した合成画像を生成する。具体的に、画像処理部１２５は、操作情報取得部１５４を介してＳ２０３において指定されたスライダー１００１の位置を取得する。画像処理部１２５は、スライダー１０１の位置に応じて第１視点画像と第２視点画像の加算比率を変更して合成（すなわち視点移動処理）することにより、視点移動した画像を生成する。スライダーバー１００２の右端の値を１、中央を０、左端の値を−１と定義すると、画像処理部１２５は、スライダー１００１が位置ｘにある場合、第１視点画像と第２視点画像の比率を（１＋ｘ）：（１−ｘ）となるように加算比率を変更する。

Ｓ２０５において、制御部１２１は、画像処理部１２５を用いて、Ｓ２０４において合成された画像に現像処理を適用する。現像処理は、図１８のフローチャートを参照して後述する。Ｓ２０６において、制御部１２１は、Ｓ２０５において現像処理を適用した画像を表示部１３１に表示する。

Ｓ２０７において、制御部１２１は、操作部１３２を介して入力されたユーザ操作に基づいて、ピント調整を行うかどうかを判定する。制御部１２１は、入力されたユーザ操作がピント調整を行うことを示す場合、制御部１２１はピント調整を行うと判定して処理をＳ２０８へ進める。一方、入力されたユーザ操作がピント調整を行うことを示さない場合、制御部１２１はピント調整を行わないと判定して一連の処理を終了する。

Ｓ２０８において、制御部１２１は、操作部１３２を介してピント調節ＵＩを操作するユーザ操作を更に取得する。図１９Ａはピント調整ＵＩの一例を示している。上述した視点移動ＵＩでは、視点移動する方向にスライダーバーが設定され、これに対してピント調整ＵＩでは、視点移動とは異なる方向に（異なる角度を持たせて）設置する。図１９Ａの例では、ピント調整ＵＩのスライダーバー１００３とスライダー１００４は、視点移動ＵＩであるスライダーバー１００２の方向と直交する方向（すなわち上下方向）に設定される。例えば、制御部１２１は、スライダー１００４を上側に動かすと後ピン状態が強くなる方向に、下側に動かすと前ピン状態が強くなる方向にピント調整を制御する。ピント調整範囲は、上述したリフォーカス可能範囲に対応し、式（１０）に従って算出される。

Ｓ２０９において、制御部１２１は、画像処理部１２５を用いてＳ２０８で指定されたスライダー位置に基づいて、ピント調整位置を算出すると共に上述したリフォーカス処理を行う。画像処理部１２５は、スライダーバー１００２に対するスライダー１００４の位置に基づいて、リフォーカス可能範囲に対するデフォーカス量（あるいはシフト量）を決定する。Ｓ２１０において、制御部１２１は、画像処理部１２５を用いて現像処理を行う。そして、制御部１２１は、Ｓ２１１において表示部１３１に現像処理された画像を表示させて、視差画像操作処理に係る一連の動作を終了して、呼び出し元に処理を戻す。

（現像処理に係る一連の動作）
次に、Ｓ２０５及びＳ２１０における現像処理について、図１８を参照して説明する。Ｓ３０１において、画像処理部１２５は、白の領域のＲ，Ｇ，Ｂが等色になるようにＲ，Ｇ，Ｂの各色にゲインをかけてホワイトバランス処理を行う。Ｓ３０２において、画像処理部１２５は、デモザイキング処理を行う。具体的に、画像処理部１２５は、入力画像に対して、それぞれの規定方向で補間を行って、その後方向選択を行うことにより、各画素について補間処理結果としてＲ、Ｇ，Ｂの３原色のカラー画像信号を生成する。

Ｓ３０３において、画像処理部１２５は、ガンマ処理を行う。Ｓ３０４において、画像処理部１２５は、画像の見栄えを改善するためのノイズ低減、彩度強調、色相補正、エッジ強調といった各種の色調整処理を行う。Ｓ３０５において、画像処理部１２５は、Ｓ３０４において色調整されたカラー画像信号をＪＰＥＧ等の所定の方式で圧縮処理して、圧縮された画像データを出力する。Ｓ３０６において、制御部１２１は、画像処理部１２５から出力された画像データを、記録媒体１３３に記録して現像処理に係る一連の動作を終了して呼び出し元に処理を戻す。

（視点移動ＵＩ及びピント調整ＵＩの例）
次に、図１９Ｂ〜図１９Ｅを参照して、上述した視点移動ＵＩ及びピント調整ＵＩの操作例と操作後の合成画像の例を説明する。図１９Ｂは、ピント調整ＵＩを操作してリフォーカス処理を行った合成画像を表示した例を示している。スライダー１００４を下方向に動かすユーザ操作に対して、制御部１２１は、（画像処理部１２５を用いて）前ピン状態が強くなるようにピント調整（リフォーカス処理）を行って出力画像を表示している。

図１９Ｃは、図１９Ｂに対して更に視点移動ＵＩのスライダー１００１を右方向に移動させて、視点移動処理を行った合成画像を表示した例を示している。スライダー１００１を右方向に動かすユーザ操作に対して、制御部１２１は、（画像処理部１２５を用いて）視点移動処理を行って被写界深度を拡大した出力画像を表示している。また、図１９Ｄは、図１９Ｂに対して視点移動ＵＩのスライダー１００１を左方向に移動させて、視点移動処理を行い、被写界深度を拡大した合成画像を表示した例を示している。このように視点移動ＵＩとピント調整ＵＩを並行して行えるように、操作部材であるスライダーとスライダーバーを配置することにより、ユーザが視点移動、被写界深度の拡大、リフォーカス処理を並行して（同時に）行うことが可能となる。

更に、図２０には、上述した視差強調処理とシャープネス処理における強調度合を変更可能なＵＩを更に追加した例を示している。制御部１２１は、図１９Ａ〜図１９Ｄに示したＵＩに加えて、強調度合を変更できるスライダー１００５とスライダーバー１００６とを配置する。このスライダー１００５に対する操作は、上述の視差強調処理における変数ｋ、或いはシャープネス処理における適用量Ｔに対応するパラメータを変化させ、表示される合成画像における強調度合を変更する。

なお、本実施形態では、各画素が縦方向に分割された撮像素子で得られた信号に基づいて水平方向に視点移動処理を行うため、視点移動ＵＩを水平方向に配置するようにした。しかし、撮像素子の分割方向が水平方向でない（例えば垂直方向）場合には、視点移動ＵＩを配置する方向を当該分割方向に合わせて（例えば垂直方向）配置してもよい。この場合、ピント調整ＵＩは、視点移動ＵＩと異なる方向に配置して両ＵＩの区別をより明確にしてもよいし、垂直方向を維持して、ピント位置に対する操作をより直観的に行うようにしてもよい。

以上説明したように、入射する光線の強度と角度情報を含む画像信号を取得した後に、視点を移動する操作とピント位置を操作する操作を受け付けて、当該操作に応じた合成画像を生成し、表示するようにした。このようにすることで、ユーザが視点移動や被写界深度の拡大、ピント位置の調整（リフォーカス）を並行して行うことが可能になる。換言すれば、複数の視点画像に基づいて、視点変更画像を表示させる操作とピント位置を変更した画像を表示させる操作とを並行して操作することが可能になる。

また、強調度合を変更する操作を更に受け付けることにより、ピント調整のされた合成画像の強調処理を更に並行して行うことが可能となる。さらに、入射する光線の強度と角度情報を含む画像信号を取得する撮像素子の画素が水平方向に複数分割されている場合には、視点移動ＵＩを水平方向に操作可能に配置するようにした。このようにすることで、視点の移動可能な方向とユーザが操作可能な方向が一致するため、ユーザはより直観的に操作を行うことができるようになる。

（実施形態２）
次に実施形態２について説明する。実施形態２では、画像を縦位置表示又は横位置表示に切り換えて視点画像の操作を行う例について説明する。本実施形態のデジタルカメラ１００の構成は実施形態１と同一構成であり、視差画像操作処理の一部が異なる。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

（視点画像操作処理に係る一連の動作）
本実施形態に係る視点画像操作処理について、図２１を参照して説明する。Ｓ４０１において、制御部１２１は、画像データの縦位置表示を行うかどうかを判定する。制御部１２１は、例えば入力画像のメタデータを参照して縦位置で撮影された画像であるかを判定する。制御部１２１は、縦位置で撮影された画像であると判定した場合、縦位置表示を行うためにＳ４０２へ処理を進める。一方、縦位置で撮影された画像でないと判定した場合、横位置表示を行うためにＳ４０３へ処理を進める。なお、Ｓ４０１の判定は、ユーザが操作部１３２のボタン等を介して縦位置表示に設定した場合に縦位置表示を行うようにしてもよいし、メタデータから撮像素子の画素の分割方向を示す情報を取得して、当該分割方向に応じて表示の向きを判定してもよい。

Ｓ４０２において、制御部１２１は、縦位置で画像を表示した上で、視点移動ＵＩを垂直方向に変更可能に表示すると共にピント調整ＵＩを水平方向に変更可能に表示する。一方、Ｓ４０３において、制御部１２１は、横位置で画像を表示した上で、視点移動ＵＩを水平方向に変更可能に表示すると共にピント調整ＵＩを垂直方向に変更表示に表示する。その後、制御部１２１は、Ｓ２０２〜Ｓ２１１に係る処理を実施形態１と同様に行って、呼び出し元に処理を戻す。

以上説明したように本実施形態では、入力した画像が縦位置表示又は横位置表示かに応じて、視点移動ＵＩ及びピント調整ＵＩを動的に切り替えるようにした。このようにすることで、ユーザは、表示向きの異なる撮影画像が存在する場合であっても、撮影画像の視点移動が可能な方向に合わせた操作を行うことが可能になる。

（実施形態３）
次に実施形態３について説明する。実施形態３では、各画素が水平方向と垂直方向とにそれぞれ２分割された撮像素子を用いる点が異なる。このため、この点以外のデジタルカメラ１００の構成は、実施形態１と同一である。従って、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

本実施形態に係る撮像素子１０７の画素及び副画素の配列について、図２２を参照して説明する。図２２は、本実施形態の撮像素子１０７について、画素の配列を４列×４行の範囲で、副画素の配列を８列×８行の範囲で示している。

本実施形態において、図２２に示す２列×２行の画素群２００では、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。更に、各画素は２列×２行に配列された副画素２２１から副画素２２４により構成される。

撮像素子１０７は、図２２に示す４列×４行の画素（８列×８行の副画素）を面上に多数配置して、撮像画像（副画素信号）の取得を可能としている。撮像素子１０７は、例えば、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、副画素の周期ＰＳＵＢが２μｍ、副画素数ＮＳＵＢが横１１１５０列×縦７４５０行＝約８３００万画素の撮像素子１０７となる。

図２２に示す１つの画素２００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た平面図を図２３（ａ）に示し、図２３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図２３（ｂ）に示す。図２３（ａ）に示すように、本実施形態の画素２００Ｇでは、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（２分割）された光電変換部２３０１〜２３０４が形成される。光電変換部２３０１〜２３０４は、それぞれ副画素２２１〜２２４に対応する。

本実施形態では、第１視点画像は、各画素の副画素２０１の受光信号を集めて生成される。同様に、第２視点画像は各画素の副画素２０２の受光信号を、第３視点画像は各画素の副画素２０３の受光信号を、第４視点画像は各画素の副画素２０４の受光信号を集めて、それぞれ生成される。なお、本実施形態では、第１視点画像から第４視点画像は、それぞれ、ベイヤー配列の画像であり、必要に応じて、第１視点画像から第４視点画像に、デモザイキング処理を行ってもよい。

ｊ、ｉを整数として、撮像素子１０７の行方向ｊ番目、列方向ｉ番目の位置を（ｊ、ｉ）、位置（ｊ、ｉ）の画素の第１視点画像をＡ０（ｊ、ｉ）、第２視点画像をＢ０（ｊ、ｉ）、第３視点画像をＣ０（ｊ、ｉ）、第４視点画像をＤ０（ｊ、ｉ）とする。このとき、撮像画像Ｉは、Ｉ（ｊ、ｉ）＝Ａ０（ｊ、ｉ）＋Ｂ０（ｊ、ｉ）＋Ｃ０（ｊ、ｉ）＋Ｄ０（ｊ、ｉ）である。

（視点画像修正とリフォーカス）
視点変更処理部１５５は、実施形態１と同様に、コントラスト処理を行う。すなわち、ベイヤー配列の撮像画像Ｉ（ｊ、ｉ）に対し、式（１）に従って輝度Ｙ（ｊ、ｉ）を算出する。また、視点変更処理部１５５は、高周波成分ｄＹ（ｊ、ｉ）、高周波成分ｄＺ（ｊ、ｉ）、コントラスト分布Ｃ（ｊ、ｉ）を算出する。

次に、視点変更処理部１５５は、視点画像の視差強調処理を行う。視点変更処理部１５５は、第１視点画像Ａ０（ｊ、ｉ）から第４視点画像Ｄ０（ｊ、ｉ）に対して、式（１５）および式（１６）に従って視点画像間の差を拡大し、視差強調する変換を行う。視点変更処理部１５５は、この処理によって第１修正視点画像Ａ（ｊ、ｉ）から第４修正視点画像Ｄ（ｊ、ｉ）を生成する。ここで、０≦ｋＡＢ、ｋＡＣ、ｋＡＤ、ｋＢＣ、ｋＢＤ、ｋＣＤ ≦１の実数とする。

そして、リフォーカス処理部１５６は、視点変更処理部１５５によって出力された修正視点画像を用いてリフォーカス処理を行う。具体的に、リフォーカス処理部１５６は、整数シフト量ｓとして、式（１７）に従い第１修正視点画像Ａから第４修正視点画像Ｄをシフト加算する。

すなわち、整数シフト量ｓに応じた各仮想結像面でのリフォーカス画像Ｉ（ｊ、ｉ；ｓ）を生成することができる。なお、第１修正視点画像Ａから第４修正視点画像Ｄがベイヤー配列であるため、２の倍数のシフト量ｓ＝２ｎ（ｎ：整数）で、同色毎に式（１０）のシフト加算を行い、ベイヤー配列を保って、リフォーカス画像Ｉ（ｊ、ｉ；ｓ）を生成する。画像処理部１２５は、生成されたリフォーカス画像Ｉ（ｊ、ｉ；ｓ）にデモザイキング処理を行う。

なお、必要に応じて、第１修正視点画像から第４修正視点画像にデモザイキング処理を適用し、リフォーカス処理部１５６はデモザイキング処理後の第１修正視点画像から第４修正視点画像にシフト加算処理を行ってリフォーカス画像を生成してもよい。また、リフォーカス処理部１５６は、必要に応じて、第１修正視点画像から第４修正視点画像の各画素間の補間信号を生成し、非整数シフト量に応じたリフォーカス画像を生成してもよい。

（像ずれ分布）
さらに、本実施形態における視点画像の像ずれ分布について説明する。水平方向の瞳分割方向の像ずれ分布は実施形態１と同様のため省略し、垂直方向の瞳分割方向の像ずれ分布について説明する。

視点変更処理部１５５は、２次元的な像を垂直方向の瞳分割方向のみにｋ画素分動かして第１視点画像Ａ０の画素と第３視点画像Ｃ０の差分をとる。従って、複数行について加算する相関演算の式は、式（１８）で定義される。

但し、Ａ０ｉｊ、Ｃ０ｉｊはそれぞれ第１視点画像Ａ０、第３視点画像Ｂ０のｊ列目ｉ番目の画素の輝度を表す。またｎｉは演算に用いる画素数を表す数字、ｎｊは相関演算を行う１対の像の列方向の数である。

視点変更処理部１５５は、式（１８）に示すＣＯＲ’(ｋ)が最小となるｋを像ずれ量として算出する。なお、添え字ｋはｊにのみ加算されてｉとは無関係である。これは、２次元的な像を垂直方向の瞳分割方向のみに移動させながら相関演算をしていることに対応する。このように、視点変更処理部１５５は、第１視点画像Ａ０、第３視点画像Ｃ０の各領域の像ずれ量を算出することにより、像ずれ分布を生成することができる。なお、本実施形態ではＡ０とＣ０を用いたが、Ｂ０とＤ０を用いて相関演算をしてもよいし、Ａ０とＢ０を加算した信号とＣ０とＤ０と加算した信号で相関演算してもよい。

（被写界深度拡大処理）
視点変更処理部１５５は、実係数ｗ（−１≦ｗ≦１）として、式（１９Ａ）〜（１９Ｄ）に従って各視点画像の重み係数をそれぞれ算出する。

ここで、Ｗａ（ｊ、ｉ）は第１視点画像Ａ（ｊ、ｉ）の第１重み係数、Ｗｂ（ｊ、ｉ）は第２視点画像Ｂ（ｊ、ｉ）の第２重み係数、Ｗｃ（ｊ、ｉ）は第３視点画像Ｃ（ｊ、ｉ）の第３重み係数、Ｗｄ（ｊ、ｉ）は第４視点画像Ｄ（ｊ、ｉ）の第４重み係数である。

視点変更処理部１５５は、各視点画像と対応する重み係数から、式（２０）に従って出力画像Ｉ（ｊ、ｉ）を生成する。

（視点移動ＵＩ及びピント調整ＵＩの例）
更に、本実施形態に係る視点移動ＵＩとピント調整ＵＩの構成について、図２４を参照して説明する。本実施形態の構成では、瞳分割方向が水平方向と垂直方向の２方向で分割されているため、ユーザは垂直方向と水平方向とで視点移動させることが可能である。このため、本実施形態では、ユーザがそれぞれの方向に操作するための、２軸のスライダーとスライダーバーを設ける。

水平方向の視点移動には水平方向のスライダーバー３００１とスライダー３００２とを配置し、垂直方向の視点移動には垂直方向のスライダーバー４００１とスライダー４００２とを配置する。ピント調整ＵＩは視点移動ＵＩとは互いに異なる方向にスライダーバー５００１とスライダー５００２とを配置する。なお、ピント調整ＵＩは、十字型に配置された視点移動ＵＩの交点を通るように配置されているが、他の位置に配置されてもよい。このように、視点移動の２方向のスライダーをそれぞれ移動させることで第１から第４の視点画像の重み係数を変更し、視点の異なる画像を生成することができる。そして、実施形態１と同様に、視点移動ＵＩとピント調整ＵＩとを並行して（同時に）操作することが可能になる。

以上説明したように、本実施形態では、入射する光線の強度と角度情報を含む画像信号を取得した後に、２次元状（水平及び垂直方向）に視点を移動する操作と、ピント位置を操作する操作とを受け付けて、当該操作に応じた合成画像を生成し、表示するようにした。このようにすることで、入力した画像信号から２次元状に視点を移動させた画像を生成可能な場合に、ユーザは２次元状の視点移動、ピント位置の調整（リフォーカス）を並行して行うことが可能になる。

（実施形態４）
次に実施形態４について説明する。実施形態４では、画像を縦位置表示又は横位置表示に切り換えて視点画像の操作を行う際のＵＩの表記（上述した視点移動ＵＩ等に付す表示）を制御する例について説明する。視点画像の操作を行うＵＩの表記は、例えば視点画像の操作に応じて視点画像の視点が変更される向きを示す。本実施形態のデジタルカメラ１００の構成は実施形態１と同一構成であり、視差画像操作処理の一部が異なる。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。

（視点画像操作処理に係る一連の動作）
本実施形態に係る視点画像操作処理について、図２５を参照して説明する。Ｓ５０１において、制御部１２１は、視差画像の操作を行うＵＩの表記を画像の縦位置表示に合わせるかを判定するため、入力画像を縦位置で表示するかを判定する。制御部１２１は、例えば入力画像のメタデータを参照して入力画像が縦位置で撮影された画像であるかを判定し、入力画像を縦位置で表示すると判定した場合は、ＵＩの表記を縦位置用とするためにＳ５０２へ処理を進める。一方、縦位置で撮影された画像でないと判定した場合、横位置用の表記を行うためにＳ５０３へ処理を進める。Ｓ５０２において、制御部１２１は、さらに画像の回転角度を判定する。制御部１２１は、例えば入力画像のメタデータを参照して撮影画像の角度（例えば、９０度右回転した縦位置、又は９０度左回転した縦位置）を判定する。制御部１２１は、入力画像が９０度右回転で撮影された画像であると判定した場合、表示部１３１に９０度右回転の表記を行うためにＳ５０４へ処理を進める。一方、撮影画像が９０度右回転でない（かつ縦位置表示で撮影された）画像であると判定した場合、９０度左回転の表記を行うためにＳ５０５へ処理を進める。なお、Ｓ５０１及びＳ５０２における判定は、ユーザが操作部１３２のボタン等を介して縦位置表示に設定した場合に縦位置用の表記を行うようにしてもよいし、メタデータから撮像素子の画素の分割方向を示す情報を取得して、当該分割方向に応じて視差画像の操作を行うＵＩの表記を判定してもよい。

Ｓ５０３において、制御部１２１は、横位置で画像を表示した上で、視点移動の操作を行うＵＩの表記を、横位置用の表記（左右）にして表示する（図２６）。Ｓ５０４において、制御部１２１は、９０度右回転の縦位置で画像を表示した上で、視点移動の操作を行うＵＩの表記をスライダーの左側を上、右側を下として表示する（図２７）。Ｓ５０５において、制御部１２１は、９０度右回転の縦位置で画像を表示した上で、視点移動の操作を行うＵＩの表記をスライダーの左側を下、右側を上として表示する（図２８）。このようにすれば、制御部１２１は、視点移動の操作を行うＵＩの表記を視点移動ＵＩの向きに応じて切り替えることができるほか、同じ縦位置であっても当該表記を回転角度に応じて切り替えを行うことができる。Ｓ５０３〜Ｓ５０５の処理を終了すると、制御部１２１は、その後Ｓ２０２〜Ｓ２１１に係る処理を実施形態１と同様に行って、呼び出し元に処理を戻す。

以上説明したように本実施形態では、入力した画像が縦位置表示又は横位置表示か、及び回転角度に応じて、視点移動ＵＩの表記を動的に切り替えるようにした。このようにすることで、ユーザは、表示向きの異なる撮影画像が存在する場合であっても、撮影画像の視点移動が可能な方向に合わせた操作を行うことが可能になる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１２１…制御部、１２５…画像処理部、１３１…表示部、１３２…操作部、１５１…画像取得部、１５５…視点変更処理部、１５６…リフォーカス処理部

Claims (18)

1. 入射する光線の強度と角度情報を含む画像信号を取得する取得手段と、
   視点を変更する操作とピント位置を変更する操作とを受け付ける操作手段と、
   前記画像信号に基づいて得られる複数の視点画像に基づいて、前記視点を変更する操作に応じて視点を変更すると共に、前記ピント位置を変更する操作に応じてピント位置を変更した表示画像を生成する処理手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記操作手段は、前記画像信号に基づいて所定の方向に視点を変更した前記表示画像を生成可能な場合に、前記視点を変更する操作を、前記所定の方向に沿って受け付ける、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記操作手段は、前記画像信号に基づいて所定の方向に視点を変更した前記表示画像を生成可能な場合に、前記ピント位置を変更する操作を、前記所定の方向と異なる方向に沿って受け付ける、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記操作手段は、所定の位置から前記所定の方向に沿って離れるほど前記所定の方向への視点の変更が大きくなり、前記所定の位置から前記所定の方向に沿って反対側に離れるほど、前記所定の方向と反対側に視点の変更が大きくなるように、前記視点を変更する操作を受け付ける、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記所定の方向は、水平方向又は垂直方向である、
   ことを特徴とする請求項２から４のいずれか1項に記載の画像処理装置。
6. 前記操作手段は、横位置において水平方向に視点を変更可能な前記表示画像を縦位置で表示する場合、前記視点を変更する操作を、垂直方向に受け付ける、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記視点を変更する操作に応じて視点が変更される向きを示す表記を表示する表示手段を更に備え、
   前記表示手段は、前記表記を、前記操作手段が前記視点を変更する操作を受け付ける方向に応じて異ならせる、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記操作手段は、前記ピント位置を変更する操作が所定の位置から操作を受け付ける方向に離れるほど前記ピント位置の変更が大きくなるように、前記ピント位置を変更する操作を受け付ける、
   ことを特徴とする請求項２から７のいずれか１項に記載の画像処理装置。
9. 前記操作手段は、前記画像信号に基づく表示画像が表示された状態で前記視点を変更する操作と前記ピント位置を変更する操作とを受け付ける、
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記操作手段は、前記表示画像における輪郭強調の度合を変更する操作を更に受け付け、
    前記処理手段は、前記輪郭強調の度合に応じて、前記表示画像における合焦している領域に対する輪郭強調を行う、
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記処理手段は、前記視点を変更する操作に応じて前記複数の視点画像を加算するための重み付けを異ならせ、前記重み付けを用いて前記複数の視点画像を加算して、前記表示画像を生成する、
    ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記処理手段は、前記ピント位置を変更する操作に応じて前記複数の視点画像間のシフト量を変更し、前記シフト量によりずらした前記複数の視差画像を加算して、前記表示画像を生成する、
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 複数の副画素を含む画素が２次元状に配置され、前記副画素から出力された信号に基づいて入射する光線の強度と角度情報を含む画像信号を出力する撮像素子と、
    視点を変更する操作とピント位置を変更する操作とを受け付ける操作手段と、
    前記画像信号に基づいて得られる複数の視点画像に基づいて、前記視点を変更する操作に応じて視点を変更すると共に、前記ピント位置を変更する操作に応じてピント位置を変更した表示画像を生成する処理手段と、を備え、
    前記撮像素子は、前記画素のなかで所定の方向に複数の前記副画素が配置され、
    前記操作手段は、前記画像信号に基づいて前記所定の方向に視点を変更した前記表示画像を生成可能な場合に、前記視点を変更する操作を、前記所定の方向に沿って受け付ける、
    ことを特徴とする撮像装置。
14. 前記操作手段は、前記撮像装置を用いて横位置で撮影された前記画像信号を横位置の前記表示画像として表示する場合、前記視点を変更する操作を、前記所定の方向に沿って受け付け、横位置で撮影された前記画像信号を縦位置の前記表示画像として表示する場合、前記視点を変更する操作を、前記所定の方向と垂直な方向に沿って受け付ける、
    ことを特徴とする請求項１３に記載の撮像装置。
15. 前記視点を変更する操作に応じて視点が変更される向きを示す表記を表示する表示手段を更に備え、
    前記表示手段は、前記表記を、前記画像信号の撮影された、縦位置又は横位置からの回転角に応じて異ならせる、
    ことを特徴とする請求項１４に記載の撮像装置。
16. 取得手段が、入射する光線の強度と角度情報を含む画像信号を取得する取得工程と、
    操作手段が、視点を変更する操作とピント位置を変更する操作とを受け付ける操作工程と、
    処理手段が、前記画像信号に基づいて得られる複数の視点画像に基づいて、前記視点を変更する操作に応じて視点を変更すると共に、前記ピント位置を変更する操作に応じてピント位置を変更した表示画像を生成する処理工程と、を有する
    ことを特徴とする画像処理装置の制御方法。
17. 複数の副画素を含む画素が２次元状に配置され、前記副画素から出力された信号に基づいて入射する光線の強度と角度情報を含む画像信号を出力する撮像素子を有する撮像装置の制御方法であって、
    取得手段が、前記撮像素子から出力される前記画像信号を取得する取得工程と、
    操作手段が、視点を変更する操作とピント位置を変更する操作とを受け付ける操作工程と、
    処理手段が、前記画像信号に基づいて得られる複数の視点画像に基づいて、前記視点を変更する操作に応じて視点を変更すると共に、前記ピント位置を変更する操作に応じてピント位置を変更した表示画像を生成する処理工程と、を有し、
    前記撮像素子は、前記画素のなかで所定の方向に複数の前記副画素が配置され、
    前記操作工程では、前記画像信号に基づいて前記所定の方向に視点を変更した前記表示画像を生成可能な場合に、前記視点を変更する操作を、前記所定の方向に沿って受け付ける、
    ことを特徴とする撮像装置の制御方法。
18. コンピュータに、請求項１６に記載の画像処理装置の制御方法の各工程を実行させるためのプログラム。