JP2019057798A - 画像処理装置、撮像装置、撮像装置の制御方法、および、プログラム - Google Patents

Abstract

【課題】撮像光学系の収差に応じたリフォーカス効果に関する情報を表示することが可能な画像処理装置を提供する。【解決手段】画像処理装置（１０）は、撮像光学系を介して取得した異なる複数の視点の画像に基づいてリフォーカス画像を生成する画像処理手段（１１２）と、撮像光学系の収差情報に基づいてリフォーカス画像のリフォーカス効果に関する情報を表示部に表示する表示制御手段（１０７）とを有する。【選択図】図６

Description

本発明は、リフォーカス用の撮影およびリフォーカス処理を行う撮像装置に関する。

従来、複数の視点から撮像することにより取得された複数の画像を合成して、画像の合焦状態を撮影後に調節する技術（リフォーカス）が知られている。特許文献１には、撮影位置の異なる複数枚の画像を合成し、各画像の撮影位置とピントを合わせたい被写体距離に応じて、各画像をシフトまたは変形して合成することによりリフォーカス画像を生成する画像処理装置が開示されている。

リフォーカス処理を行うには、ピントを合わせたい被写体（ターゲット被写体）が合成元の画像に鮮明に写っている必要がある。例えば、合成元の画像においてターゲット被写体が被写界深度外に存在してぼけて写っている場合、リフォーカス処理を行ってもピントが合った状態は得られない。

特開２０１１−２２７９６号公報

しかしながら、合成元の画像においてターゲット被写体が被写界深度内に存在する場合でも、レンズ（撮像光学系）の収差などの光学特性に応じてぼけやにじみが発生する場合、リフォーカス処理を行うことは困難である。すなわち、ユーザが適切なリフォーカス処理を行うことができることを期待して撮影したにもかかわらず、撮像光学系の収差の影響により適切なリフォーカス処理を行うことができない場合がある。

そこで本発明は、撮像光学系の収差に応じたリフォーカス効果に関する情報を表示することが可能な画像処理装置、撮像装置、撮像装置の制御方法、および、プログラムを提供することを目的とする。

本発明の一側面としての画像処理装置は、撮像光学系を介して取得した異なる複数の視点の画像に基づいてリフォーカス画像を生成する画像処理手段と、前記撮像光学系の収差情報に基づいて前記リフォーカス画像のリフォーカス効果に関する情報を表示部に表示する表示制御手段とを有する。

本発明の他の側面としての撮像装置は、撮像光学系を介して異なる複数の視点の画像を取得する撮像部と、前記複数の視点の画像に基づいてリフォーカス画像を生成する画像処理手段と、前記撮像光学系の収差情報に基づいて前記リフォーカス画像のリフォーカス効果に関する情報を表示部に表示する表示制御手段とを有する。

本発明の他の側面としての撮像装置の制御方法は、撮像光学系の収差情報に基づいてリフォーカス画像のリフォーカス効果に関する情報を表示部に表示するステップと、前記撮像光学系を介して異なる複数の視点の画像を取得するステップとを有する。

本発明の他の側面としてのプログラムは、前記撮像装置の制御方法をコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、撮像光学系の収差に応じたリフォーカス効果に関する情報を表示することが可能な画像処理装置、撮像装置、撮像装置の制御方法、および、プログラムを提供することができる。

各実施形態における撮像装置のブロック図である。 各実施形態における撮像部の概略図である。 各実施形態における撮像素子の画素配列図である。 各実施形態における複数の視点の画像データおよびリフォーカス画像の説明図である。 各実施形態における複数の視点の画像データの説明図である。 第１の実施形態における撮像装置の制御方法を示すフローチャートである。 第１の実施形態におけるリフォーカス可否情報の表示例を示す図である。 第２の実施形態におけるリフォーカスアドバイス通知の表示例を示す図である。 第３の実施形態における画像のセンサシェーディングの模式図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

［第１の実施形態］
第１の実施形態では、リフォーカス撮影または撮影後のリフォーカス操作を行う際に、リフォーカス不可の領域をユーザへ通知する場合について説明する。

まず、図１を参照して、本実施形態における撮像装置の内部構成について説明する。図１は、撮像装置１０のブロック図である。撮像部１００は、撮像光学系２０１および撮像素子２０２を有する。撮像素子２０２は、ＣＭＯＳセンサやＣＣＤセンサを備え、撮像光学系２０１を介して形成された光学像（被写体像）を光電変換し、Ａ／Ｄ変換を行うことにより画像データを出力する。撮像部１００は、操作部１０５などを介して入力されたユーザによる撮像指示を受けて画像データを取得し（撮影を行い）、取得された画像データは撮像データとして記録媒体１１３に保存される。撮像部１００は、一度の撮像指示により、同一の被写体を複数の視点から捉えた、複数の視点の画像の情報を含む画像データ（複数の視点の画像データ）を取得することができる。また、撮像部１００により取得された画像データは、例えば撮像装置１０の背面に設けられた表示部１０６にリアルタイムに表示するいわゆるライブビュー機能にも利用される。

中央処理装置（ＣＰＵ）１０１は、撮像装置１０の各部を統括的に制御するプロセッサ（制御手段）である。ＲＡＭ１０２は、ＣＰＵ１０１の主メモリやワークエリア等として機能するメモリである。ＲＯＭ１０３は、ＣＰＵ１０１により実行される制御プログラム等を格納するメモリである。バス１０４は、各種データの伝送経路である。例えば、撮像部１００により取得された画像データは、バス１０４を介して各部に伝送される。操作部１０５はユーザから与えられる指示を撮像装置１０に入力する入力デバイスであり、操作部１０５にはボタンやモードダイヤル等のハードウエアが含まれる。

表示部１０６は、画像や文字の表示を行う表示装置であり、本実施形態では液晶ディスプレイが用いられるが、有機ＥＬディスプレイ等の他の表示装置を用いてもよい。また表示部１０６は、タッチスクリーンとしてのタッチ入力機能を有していてもよい。この場合、表示部１０６は、操作部１０５の機能の一部を担うことになる。また表示部１０６は、後述のように、撮像光学系２０１の収差情報に基づいてリフォーカス画像のリフォーカス効果に関する情報を表示する。

表示制御部（表示制御手段）１０７は、表示部１０６に表示される画像や文字の表示制御を行う制御回路である。また表示制御部１０７は、撮像光学系の収差情報に基づいてリフォーカス画像のリフォーカス効果に関する情報を表示部１０６に表示する。撮像部制御部１０８は、ＣＰＵ１０１からの指示に基づいて、フォーカスを合わせる、シャッターを開くまたは閉じる、開口絞りを調節するなど、撮像部１００の撮像系の制御を行う制御回路である。デジタル信号処理部１０９は、バス１０４を介して受け取った画像データに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理等の各種画像処理を行う処理回路である。エンコーダ部１１０は、バス１０４を介して受取った画像データを、ＪＰＥＧやＭＰＥＧ等のファイルフォーマットに変換する処理を行う処理回路である。外部メモリ制御部１１１は、撮像装置１０をＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続するためのインターフェースである。撮像装置１０により取得または生成された画像データは、外部メモリ制御部１１１を介して外部の記憶装置に出力（格納）することができる。画像処理部（画像処理手段）１１２は、撮像部１００により取得された画像データ、または、デジタル信号処理部１０９から出力された画像データを用いて、後述するリフォーカス処理や表示画像の生成等の画像処理を行う処理回路である。特に本実施形態において、画像処理部１１２は、撮像光学系２０１を介して取得した異なる複数の視点の画像（複数の視点の画像データ）に基づいてリフォーカス画像を生成する。なお本実施形態は、撮像部１００を含まないＰＣ等の画像処理装置による画像処理にも適用可能である。

次に、図２を参照して、撮像部１００の構成について説明する。図２は、撮像部１００の概略図である。撮像部１００は、メインレンズ２０３およびレンズアレイ２０４を備えた撮像光学系２０１、および、撮像素子２０２を有する。なお、この構成は説明を簡単にするために簡素化しており、実際の撮像部１００は開口絞りやカラーフィルタなどを更に有し、また、メインレンズ２０３は複数のレンズを含んでいてもよい。レンズアレイ２０４は、複数の微小な凸レンズが二次元のアレイ状に並べられた光学素子であり、メインレンズ２０３に対する被写体面２０５の像側共役面上に配置されている。撮像素子２０２は、メインレンズ２０３の射出瞳と撮像素子２０２とが、レンズアレイ２０４を介して概ね共役関係となる位置に配置されている。このような構成の撮像装置はプレノプティックカメラと呼ばれ、光線の入射方向に関する情報を含む画像を撮像することができる。

次に、図３を参照して、本実施形態における撮像素子２０２の画素配列について説明する。図３は、撮像素子２０２の画素配列図である。２列×２行の画素群３００は、左上の位置に第１色のＲ（赤）の分光感度を有する画素３００Ｒが左上に、第２色のＧ（緑）の分光感度を有する画素３００Ｇが右上と左下に、第３色のＢ（青）の分光感度を有する画素３００Ｂが右下に配置されている。各画素は、ｘ方向に２分割、ｙ方向に１分割された分割数２の第１副画素３０１と第２副画素３０２の複数の副画素により構成されている。

ここで、被写体面２０５から射出された光線を撮像素子２０２で受光する場合を考える。被写体面２０５上の一点から射出されメインレンズ２０３に入射された光線は、その射出方向によらずに全てレンズアレイ２０４上の一点に結像される。しかし、レンズアレイ２０４の働きにより、レンズアレイ２０４上で結像した各光線は、その入射角度に応じてそれぞれ異なる方向に射出され、それぞれが撮像素子２０２上の異なる画素（例えば、図３に示される第１副画素３０１と第２副画素３０２）に入射する。すなわち、被写体からの射出角度が異なる光線、換言すると被写体を異なる方向から見たときに観測される光線が、それぞれ区別されて撮像素子２０２上に記録される。このため、プレノプティックカメラにより撮像された画像は、複数の異なる視点から見た被写体の情報を含む。そして、メインレンズ２０３の同じ領域を通過した光線に対応する画素を抜き出して並べ替えることにより、複数の異なる視点に対応する複数の画像（複数の視点の画像）を得ることができる。

なお図３では、簡単のためｘ方向に２分割、ｙ方向に１分割としているが、分割数はこれに限定されるものではない。例えば、ｘ方向に２分割、ｙ方向に２分割としてもよい。また本実施形態では、プレノプティックカメラを用いて複数の視点の画像（画像データ）を取得しているが、カメラが二次元的に配置されたいわゆる多眼カメラを用いて異なる複数の視点の画像を取得してもよい。

次に、図４を参照して、リフォーカス処理について説明する。図４は、水平方向に並ぶ２つの視点に対応する２枚の画像（合成元の画像、すなわち複数の視点の画像データ）、および、その２枚の画像を合成することにより得られるリフォーカス画像をそれぞれ示している。複数の視点の画像データは、右の視点に対応する画像４１０、および、左の視点に対応する画像４１１を含む。画像４１０、４１１はいずれも、被写体４０１、４０２の２つの像を含む。

撮像装置１０の位置を基準として、被写体４０２は、被写体４０１よりも近い位置に存在している。各被写体の像には、被写体距離に応じた視差が含まれている。これらの画像を合成することにより得られたリフォーカス画像が、画像４２０、４２１である。画像４２０、４２１はそれぞれ、合成に用いられた画像４１０、４１１のシフト量が異なっている。画像４２０は、被写体４０１が重なるように画像４１０、４１１をシフト合成して得られた画像であり、被写体４０１にピントが合った画像となっている。一方、被写体４０２は、被写体４０１とは異なる大きさの視差を含むため、画像４２０においてずれた位置で合成される。その結果、画像４２０は被写体４０２がぼけた画像となる。

同様に、被写体４０２が重なるように画像４１０、４１１をシフト合成した画像４２１では、被写体４０２にピントが合い被写体４０１がぼける。このように、ピントを合わせたい被写体に応じて決定したシフト量に基づいて複数の視点の画像データが示す各視点の画像をシフト合成することにより、所定の距離にピントが合い、合焦距離からの距離に応じてぼけが付与されたリフォーカス画像を生成することができる。

次に、図５を参照して、レンズ（撮像光学系２０１）の光学特性に応じてぼけやにじみが発生する場合について考える。図５は、合成元の画像に写っている被写体が撮像光学系２０１の光学特性の影響によりぼけた場合の複数の視点の画像データである。図５（ａ）は、右の視点に対応する画像５１０、図５（ｂ）は左の視点に対応する画像５１１をそれぞれ示している。画像５１０、５１１はいずれも、被写体５０１、５０２の像を含んでいる。被写体５０１は、被写界深度内に存在しているが、撮像光学系２０１の光学特性等の影響によりぼけているものとする。これらの画像で図４のように被写体５０１が重なるように合成しようとしても（リフォーカス処理を行おうとしても）、合成元の画像がぼけているため、ピントが合った状態（鮮明な状態）にはならない。そこで本実施形態では、このように合成元の被写体にぼけや色のにじみが発生してリフォーカス処理が困難である場合、ＣＰＵ１０１は、ユーザへ通知を行うように撮像装置１０（表示部１０６）を制御する。

次に、図６を参照して、本実施形態における撮像装置１０の制御方法（リフォーカス処理の可否についてユーザへ通知する方法）を説明する。図６（ａ）は、撮像装置１０の制御方法を示すフローチャートである。図６（ｂ）は、図６（ａ）中のステップＳ６０３を示すフローチャートである。図６（ａ）、（ｂ）の各ステップは、主にＣＰＵ１０１または表示部１０６により実行される。

まず、図６（ａ）中のステップＳ６０１において、ＣＰＵ１０１の指令に基づいて、表示制御部１０７は、表示部１０６にライブビュー表示を開始する。続いてステップＳ６０２において、ＣＰＵ１０１は、現在の撮影条件に応じた収差情報に対応する光学パラメータを取得する。ここで撮影条件とは、撮像光学系２０１の収差情報に関する条件であり、例えば、絞り値（Ｆ値）、被写体距離、ズーム値などであるが、これらに限定されるものではない。光学パラメータは、ＲＯＭ１０３から取得してもよいし、レンズ交換式カメラに接続されている交換レンズ内のＲＯＭ等の外部装置のＲＯＭから取得してもよい。

続いてステップＳ６０３において、ＣＰＵ１０１は、ステップＳ６０２にて取得した光学パラメータに基づいて、リフォーカス処理を行うことが可能か否か（リフォーカス可否）を決定する。ここで、図６（ｂ）を参照して、ステップＳ６０３について詳述する。

まずステップＳ６０３１において、ＣＰＵ１０１は、画像（複数の視点の画像）の全エリアに関するリフォーカス可否が決定されているかを判定する。画像の全エリアに関するリフォーカス可否が決定されている場合、本処理を終了する。一方、画像の全エリアの少なくとも一つに関するリフォーカス可否が決定されていない場合、ステップＳ６０３２に進む。すなわちＣＰＵ１０１は、画像の全エリアに関するリフォーカス可否を決定するまで、ステップＳ６０３２〜Ｓ６０３６を繰り返す。

ステップＳ６０３２において、ＣＰＵ１０１は、リフォーカス可否が設定されていないエリアを探し、そのエリアを対象エリアにする。続いてステップＳ６０３３において、ＣＰＵ１０１は、対象エリアに関する収差評価値（リフォーカス効果に関する評価値）を算出する。収差評価値は、例えば以下の方法により算出することができる。ここでは、光学パラメータとして、色収差量Ｃ、周辺光量落ち量Ｓ、および、歪曲量Ｗが含まれるものとする。これらの量は、その量が大きいほど収差が大きいことを意味する。収差が大きいと、色のにじみ、像のぼけやゆがみが発生する。その結果、像が鮮明に写らず、前述のようにリフォーカス処理が困難となる。また、収差を画像処理で補正した場合でも、補正による弊害により像がぼける等の弊害が生じるため、リフォーカス処理は困難である。

収差評価値は、例えば以下の式（１）、（２）を用いて算出することができる。

収差評価値＝ＭＡＸ（Ｃ、Ｓ、Ｗ） … （１）
収差評価値＝αＣ＋βＳ＋γＷ … （２）
式（１）を用いた算出方法では、対象エリアの色収差量Ｃ、周辺光量落ち量Ｓ、および、歪曲量Ｗのうちの最大値を収差評価値とする。式（２）を用いて算出方法では、対象エリアの色収差量Ｃ、周辺光量落ち量Ｓ、および、歪曲量Ｗに係数α、β、γをそれぞれ掛けて加算する。係数α、β、γは、リフォーカス処理に対するそれぞれの収差量の影響度合いを示す値である。式（２）を用いた算出方法によれば、総合的に収差の影響を算出することができる。ただし本実施形態は、式（１）、（２）を用いた算出方法に限定されるものではなく、収差量を判定することが可能であれば、他の式を用いた算出方法を用いてもよい。また、収差評価値を算出する際に考慮する収差は、前述以外の収差であってもよい。

続いてステップＳ６０３４において、ＣＰＵ１０１は、ステップＳ６０３３にて算出した収差評価値が所定の閾値（閾値ｔｈ）よりも大きいか否かを判定する。収差評価値が閾値ｔｈよりも大きい場合、ステップＳ６０３６に進む。ステップＳ６０３６において、ＣＰＵ１０１は、対象エリアをリフォーカス不可エリアに設定する。一方、収差評価値が閾値ｔｈより小さい場合、ステップＳ６０３５に進む。ステップＳ６０３５において、ＣＰＵ１０１は、対象エリアをリフォーカス可能エリアに設定する。ＣＰＵ１０１は、ステップＳ６０３２〜Ｓ６０３６を全エリアに対して行った後、図６（ａ）のステップＳ６０４へ進む。

ステップＳ６０４において、表示制御部１０７は、ＣＰＵ１０１の指令に基づいて、表示部１０６にリフォーカス可否情報を表示する。リフォーカス可否情報は、図６（ｂ）のステップＳ６０３６またはステップＳ６０３５にて設定されたリフォーカス可能エリアまたはリフォーカス不可エリアに関する情報である。

ここで、図７を参照して、リフォーカス可否情報の表示例について説明する。図７は、リフォーカス可否情報の表示例を示す図である。図７（ａ）は、リフォーカス不可エリアを単一の透過する灰色で表示した例を示している。図７（ｂ）は、リフォーカス可能、リフォーカス不可の二値で表示するのではなく、リフォーカス可能な度合い（リフォーカス可能度）をグラデーションで表示する例を示している。図７（ｂ）の例では、白に近いほうが適切なリフォーカス処理を行うことができる可能性が高い（リフォーカス可能度が高い）ことを示している。なお、リフォーカス可能度は、収差評価値を用いて表示することができる。すなわち、収差評価値が高いほどリフォーカス可能度を低下させることができる。この場合、図６（ｂ）のステップＳ６０３４〜Ｓ６０３６は、収差評価値に応じてリフォーカス可能度を決定するというステップに置き換わる。

続いて、図６（ａ）のステップＳ６０５において、ＣＰＵ１０１は、ユーザにより操作部１０５のシャッターボタンが押されたか否かを判定する。シャッターボタンが押されない場合、ステップＳ６０２へ戻り、シャッターボタンが押されるまでステップＳ６０２〜Ｓ６０４を繰り返す。一方、シャッターボタンが押された場合、ステップＳ６０６に進む。ステップＳ６０６において、ＣＰＵ１０１は撮影動作を行う、すなわちＣＰＵ１０１は、撮像素子２０２からの複数の視点の画像データを取得し、記録媒体１１３等の画像記録手段に記録する。

このように本実施形態において、表示部１０６は、収差評価値に応じてリフォーカス効果に関する情報を変更する。好ましくは、ＣＰＵ１０１は、画像の少なくとも一部の領域（対象エリア）に関し、収差評価値が所定の閾値（閾値ｔｈ）よりも大きい場合、領域をリフォーカス不可領域（リフォーカス不可エリア）に設定する。一方、ＣＰＵ１０１は、収差評価値が所定の閾値よりも小さい場合、その領域をリフォーカス可能領域（リフォーカス可能エリア）に設定する。そして表示部１０６は、リフォーカス効果に関する情報として、その領域がリフォーカス不可領域またはリフォーカス可能領域のいずれかであることを示す情報を表示する。また好ましくは、ＣＰＵ１０１は、収差評価値に応じて、リフォーカス効果の度合いを示すリフォーカス可能度を決定する。そして表示部１０６は、リフォーカス効果に関する情報として、リフォーカス可能度に関する情報を表示する。

本実施形態によれば、リフォーカス可否情報により、ユーザは収差の影響が大きい領域（リフォーカス処理が困難な領域）を撮影前に知ることができる。このため、ユーザは、リフォーカス処理が困難な被写体が存在する場合、その被写体を収差の影響が小さい領域に再度フレーミングすることができる。その結果、撮影後に適切なリフォーカス処理を行うことができないという失敗を減らすことが可能である。

［第２の実施形態］
次に、図８を参照して、第２の実施形態について説明する。本実施形態では、ユーザへのリフォーカス可否情報だけでなく、どのようにしたらリフォーカス可能度を上げることができるかを通知する例について説明する。なお本実施形態では、第１の実施形態を参照して説明した図６のフローチャートを用いて説明を行う。

図８は、リフォーカス可能度を向上させるための通知例（リフォーカスアドバイス通知）を示す図である。この例では、左下の収差の影響により鮮明度が低い被写体に対してさらに距離をとれば、収差の影響が低減してリフォーカス可能度が向上することを示している。以下、リフォーカスアドバイス通知の表示方法の一例を説明する。

図６（ａ）のステップＳ６０３にてリフォーカス可否情報を決定した後、ＣＰＵ１０１は、画像全体に対するリフォーカス不可エリアの割合を算出する。この割合が所定の値よりも大きい場合、リフォーカス処理を行うことができない可能性が高いため、ＣＰＵ１０１はリフォーカスアドバイス通知を行う。また、ステップＳ６０３にてリフォーカス可能度を算出した場合、ＣＰＵ１０１は、画面全体の平均値が所定の値よりも低い場合にリフォーカスアドバイス通知を行う。またはＣＰＵ１０１は、画面全体を見ずに対象の被写体エリアがリフォーカス不可エリアである場合や、リフォーカス可能度が所定値よりも低い場合に、リフォーカスアドバイス通知をしてもよい。

次に、リフォーカスアドバイス通知の文言の決定方法について説明する。ＣＰＵ１０１は、基本的に、収差に影響を与える撮影条件（ここでは、絞り値ａ、被写体距離ｄ、ズーム値ｚを対象とする）を変更したときの収差評価値を算出し、収差評価値が低くなるような指示をリフォーカスアドバイス通知として表示する。具体的には、以下のように決定する。

現在の撮影条件での収差評価値をＨ（ａ，ｄ，ｚ）とする。ここで、絞り値ａ（小さいほど開放側）、被写体距離ｄ、ズーム値ｚの移動量をそれぞれＤａ，Ｄｄ，Ｄｚとする。これらの移動量は、ユーザが容易に変更可能な大きさとする。例えばＤａ＝１段、Ｄｄ＝１ｍ、Ｄｚ＝５ｍｍ（焦点距離）である。一方、Ｄｄ＝５０ｍのように大きい値にすると、ユーザが５０ｍも動かないといけないことを意味し、ユーザの負荷が大きくなるため適さない。

続いて、ＣＰＵ１０１は、Ｈ（ａ＋Ｄａ，ｄ，ｚ）、Ｈ（ａ−Ｄａ，ｄ，ｚ）、Ｈ（ａ，ｄ＋Ｄｄ，ｚ）、Ｈ（ａ，ｄ−Ｄｄ，ｚ）、Ｈ（ａ，ｄ，ｚ＋Ｄｚ）、Ｈ（ａ，ｄ，ｚ−Ｄｚ）を算出する。そしてＣＰＵ１０１は、これらの収差評価値のうち最小値に対応する撮影条件をリフォーカスアドバイス通知として表示する。例えばＨ（ａ，ｄ＋Ｄｄ，ｚ）が一番小さい場合、被写体距離をＤｄだけ増やすと収差が良好になることを意味するため、「被写体との距離を離してください」と表示をする。このとき、「被写体との距離をＤａメートルだけ離してください」と具体的な値を表示してもよい。なお、リフォーカスアドバイス通知の内容をユーザが実行できない場合もある（狭い空間におり、被写体距離を変更することができない場合等）。この場合、収差評価値の小さい撮影条件順にリフォーカスアドバイス通知を表示してもよい（例えば、通知部分をフリック操作したら次の候補を通知する等）。

また、撮像光学系２０１（レンズ）の光学的な設計値や撮影条件から支配的な収差の種類が特定できる場合、前述の決定方法を単純化してもよい。例えば、支配的な収差が歪曲収差である場合（Ｗ＞＞Ｃ、Ｓ）、歪曲収差は絞り値を変更してもほぼ改善しない特性があるため、Ｈ（ａ＋Ｄａ，ｄ，ｚ）、Ｈ（ａ−Ｄａ，ｄ，ｚ）を算出せずに除外してもよい。

また一般的に、イメージセンサが受光する光が近軸光線に近いほど収差の影響を受けたいため、絞りは小絞り側であるほど、被写体が遠いほど収差が良好である。このため、一般的に収差の影響を大きくなる方向と考えられるＨ（ａ−Ｄａ，ｄ，ｚ）、Ｈ（ａ，ｄ−Ｄｄ，ｚ）を計算せずに除外してもよい。

このように本実施形態において、表示部１０６は、リフォーカス効果に関する情報として、リフォーカス効果を向上させるための操作方法（画像のリフォーカス可能領域を広げるための操作方法）を表示することができる。

［第３の実施形態］
次に、図９を参照して、第３の実施形態について説明する。本実施形態では、撮像光学系２０１の収差の影響だけでなく、撮像素子２０２に関するシェーディングを考慮したリフォーカス可否情報の表示方法について説明する。

図２に示されるように、撮像素子２０２の前面にレンズアレイ２０４を配置して光線の入射方向によって受光する撮像素子を分けているセンサでは、一般的にシェーディング（センサシェーディング）が発生しやすい。センサシェーディングは、撮像素子２０２の面内の感度ムラである。例えば、メインレンズ２０３とレンズアレイ２０４と撮像素子２０２の位置関係から、メインレンズ２０３から入射した光線をレンズアレイ２０４が適切に撮像素子２０２へと導くことができず、受光する光量が減ってしまう現象などに起因する。

図９は、画像のセンサシェーディングの模式図であり、図３の分割数２の撮像素子２０２を用いた場合に取得することが可能な画像のセンサシェーディングを模式的に示している。図９（ａ）は第１副画素３０１の全面の画素群により構成された画像であり、図９（ｂ）は第２副画素３０２の全面の画素群により構成された画像である。このように所定の方向に受光感度が変化する現象が発生する。図４に示されるようなリフォーカス処理を行うには、センサシェーディングの影響を減らすための補正を事前にする必要があり、一般的に画像処理によって所定のゲインアップをして面内の明るさを均一にする。このとき、元々暗い画像領域ではノイズも同時に増加してしまうため、被写体の鮮明性が低下する。これも収差と同様にリフォーカス処理の妨げとなる。このため本実施形態では、センサシェーディングの大きさについても、前述した実施形態のようにリフォーカス可否情報として表示する。なお本実施形態において、前述の各実施形態と同様の説明については省略する。

本実施形態では、収差評価値に代えて、収差とセンサシェーディングの両方を考慮した収差・シェーディング評価値を用いる。画像を二次元的に分割するそれぞれのエリアの中心座標を（ｘ，ｙ）とし、図９（ａ）のセンサシェーディング量をＫａ（ｘ、ｙ）、図９（ｂ）のセンサシェーディング量をＫｂ（ｘ、ｙ）とする。センサシェーディング量Ｋａ（ｘ、ｙ）、Ｋｂ（ｘ、ｙ）はそれぞれ、値が大きいほどシェーディングが強い（受光感度が弱い）ことを示す。収差・シェーディング評価値は、以下の式（３）のように表される。

収差・シェーディング評価値＝収差評価値×（Ｋａ（ｘ、ｙ）＋Ｋｂ（ｘ、ｙ）） … （３）
そしてステップＳ６０３４において、ＣＰＵ１０１は、収差評価値に代えて、収差・シェーディング評価値を用いてリフォーカス可否情報を決定する。

このように本実施形態において、ＣＰＵ１０１は、収差情報と、撮像素子２０２のシェーディング量（センサシェーディング）に関する情報とに基づいて、評価値（収差・シェーディング評価値）を算出する。本実施形態によれば、収差・シェーディング評価値を用いることにより、収差およびセンサシェーディングの影響が大きい領域に被写体を設定することを撮影前に防ぐことができる。その結果、リフォーカス処理の失敗をさらに減らすことが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、撮像光学系の収差に応じたリフォーカス効果に関する情報を表示することが可能な画像処理装置、撮像装置、撮像装置の制御方法、および、プログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０ 撮像装置（画像処理装置）
１００ 撮像部
１０７ 表示制御部（表示制御手段）
１１２ 画像処理部（画像処理手段）

Claims (12)

1. 撮像光学系を介して取得した異なる複数の視点の画像に基づいてリフォーカス画像を生成する画像処理手段と、
   前記撮像光学系の収差情報に基づいて前記リフォーカス画像のリフォーカス効果に関する情報を表示部に表示する表示制御手段と、を有することを特徴とする画像処理装置。
2. 前記収差情報は、色収差、周辺光量落ち、および、歪曲収差の少なくとも一つに関する情報を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記収差情報に基づいて前記リフォーカス効果に関する評価値を算出する制御手段を更に有し、
   前記表示部は、前記評価値に応じて前記リフォーカス効果に関する情報を変更することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御手段は、画像の少なくとも一部の領域に関し、
   前記評価値が所定の閾値よりも大きい場合、前記領域をリフォーカス不可領域に設定し、
   前記評価値が前記所定の閾値よりも小さい場合、前記領域をリフォーカス可能領域に設定し、
   前記表示部は、前記リフォーカス効果に関する情報として、前記領域が前記リフォーカス不可領域または前記リフォーカス可能領域のいずれかであることを示す情報を表示することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記評価値に応じて、前記リフォーカス効果の度合いを示すリフォーカス可能度を決定し、
   前記表示部は、前記リフォーカス効果に関する情報として、前記リフォーカス可能度に関する情報を表示することを特徴とする請求項３に記載の画像処理装置。
6. 前記制御手段は、前記収差情報と、撮像素子のシェーディング量に関する情報とに基づいて、前記評価値を算出することを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
7. 前記表示部は、前記リフォーカス効果に関する情報として、前記リフォーカス効果を向上させるための操作方法を表示することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記表示部は、前記リフォーカス効果に関する情報として、画像のリフォーカス可能領域を広げるための操作方法を表示することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 撮像光学系を介して異なる複数の視点の画像を取得する撮像部と、
   前記複数の視点の画像に基づいてリフォーカス画像を生成する画像処理手段と、
   前記撮像光学系の収差情報に基づいて前記リフォーカス画像のリフォーカス効果に関する情報を表示する表示部と、を有することを特徴とする撮像装置。
10. 撮像光学系の収差情報に基づいてリフォーカス画像のリフォーカス効果に関する情報を表示部に表示するステップと、
    前記撮像光学系を介して異なる複数の視点の画像を取得するステップと、を有することを特徴とする撮像装置の制御方法。
11. 前記複数の視点の画像に基づいて前記リフォーカス画像を生成するステップを更に有することを特徴とする請求項１０に記載の撮像装置の制御方法。
12. 撮像光学系の収差情報に基づいてリフォーカス画像のリフォーカス効果に関する情報を表示部に表示するステップと、
    前記撮像光学系を介して異なる複数の視点の画像を取得するステップと、をコンピュータに実行させることを特徴とするプログラム。