JP2017169142A - 画像処理装置およびその制御方法、プログラムならびに撮像システム - Google Patents

Abstract

【課題】視差画像を取得可能な撮像装置を用いる場合に、撮影時に用いる撮影光学系の個体差の影響を簡易かつ正確に調節することが可能な画像処理装置を提供する。【解決手段】本発明に係る画像処理装置は、撮像装置から、撮影時とはピントの異なる画像を生成可能な画像信号を取得する取得手段と、画像信号を用いて、撮影時とはピントの異なる画像を生成する生成手段と、生成手段により生成された画像において、撮影時よりピントのあった画像と、該画像に対するピントの変化を表す情報とを特定する特定手段と、ピントの変化を表す情報を、撮像装置において撮影光学系に起因するピント状態の変化を補正するために撮像装置に出力する出力手段と、を備える。【選択図】図１

Description

本発明は、画像処理装置およびその制御方法、プログラムならびに撮像システムに関する。

近年、複数の視点から同一の被写体を撮影した複数の画像（視差画像ともいう）を取得して、撮影後に撮像面とは異なる仮想撮像面における画像を合成（リフォーカスともいう）する技術が知られている。非特許文献１では、１つの画素に対して１つのマイクロレンズと複数の光電変換部とが形成された撮像素子を用いて、光強度の空間分布および角度分布情報を含む画像信号を取得し、リフォーカスを実現する技術が提案されている。光強度の空間分布および角度分布情報を含む画像信号は、分割された射出瞳の各領域に応じて得られる複数の視差画像と等価であり、Ｌｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データともいわれる。

また、特許文献１では、１つの画素における複数の光電変換部で受光した信号を加算することにより、撮像画像を生成する技術が提案されている。特許文献１の技術を用いることにより、分割された瞳領域の各領域に対応する複数の視差画像を取得可能な撮像装置において、視差画像と単一の画像（撮影画像）とを切り替えて取得することができる。

ところで、従来の単一の画像の撮影において、撮影時に自動的にピントをあわせるオートフォーカス機能が普及している。オートフォーカス機能は、例えば撮影する画像の特定領域におけるコントラスト等に基づいて、撮影光学系のピント位置を調整し、撮影対象である被写体にピントをあわせるものである。しかし、オートフォーカス機能を用いるだけではピントを正確にあわせることが難しい場合がある。これは、光学系の精度、取り付け誤差或いは材料などの要因によって撮影光学系の個体ごとに差異があり、同じ機種であっても厳密には性能や振る舞いが異なる場合があるためである。このため、撮影光学系の個体差の影響を補正するための情報を設定し、設定された情報に基づいてピントを精度よくあわせる機能が用いられる場合がある。

特許第５２４３６６６号公報

Ｒｅｎ．Ｎｇ、外７名，「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

しかしながら、撮影光学系の個体差の影響を補正するための情報をカメラに設定する場合には、当該設定する情報をユーザが手動で登録する必要がある。具体的には、ユーザがオートフォーカス機能を動作させて実際に被写体を撮影し、撮影画像におけるピントの状態を確認した上で設定（補正値）の手直しを行い、再度撮影するという作業を繰り返す。このような作業は撮影光学系の個体ごとに行う必要があるため、ユーザは撮影光学系を交換するごとに煩雑な作業を行う必要がある。また、ユーザは設定を主観的な判断に基づいて手動で行うため、正しく設定されていない場合もあり得る。そして、撮影光学系の個体ごとの設定は、上述した視差画像を取得可能なカメラにおいても同様に必要となる場合があり、当該設定を容易かつ正確に行う技術が望まれていた。

本発明は、上述の問題点に鑑みてなされたものである。すなわち、視差画像を取得可能な撮像装置を用いる場合に、撮影時に用いる撮影光学系の個体差の影響を簡易かつ正確に調節することが可能な画像処理装置およびその制御方法、プログラムならびに撮像システムを提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、撮像装置から、撮影時とはピントの異なる画像を生成可能な画像信号を取得する取得手段と、画像信号を用いて、撮影時とはピントの異なる画像を生成する生成手段と、生成手段により生成された画像において、撮影時よりピントのあった画像と、該画像に対するピントの変化を表す情報とを特定する特定手段と、ピントの変化を表す情報を、撮像装置において撮影光学系に起因するピント状態の変化を補正するために撮像装置に出力する出力手段と、を備えることを特徴とする。

本発明によれば、視差画像を取得可能な撮像装置を用いる場合に、撮影時に用いる撮影光学系の個体差の影響を簡易かつ正確に調節することが可能となる。

本発明の実施形態に係る撮像システムの一例としてのデジタルカメラとＰＣの機能構成例を示すブロック図 本実施形態に係る、視差画像撮影部の処理の一連の動作を示すフローチャート 本実施形態に係る、視差画像送信部の処理の一連の動作を示すフローチャート 本実施形態に係る、視差画像受信部の処理の一連の動作を示すフローチャート 本実施形態に係る、個体情報推定部の処理の一連の動作を示すフローチャート 本実施形態に係る、個体情報送信部の処理の一連の動作を示すフローチャート 本実施形態に係る、個体情報受信部の処理の一連の動作を示すフローチャート 本実施形態に係る、個体情報設定部の処理の一連の動作を示すフローチャート 本実施形態に係る、リフォーカス処理の概要を説明するための図

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、視差画像を取得可能な撮像装置の一例としての任意のデジタルカメラと、視差画像を処理可能な画像処理装置の一例としての任意のパーソナルコンピュータ（単にＰＣともいう）とを用いる撮像システムの例を説明する。しかし、本実施形態に係る画像処理装置は、ＰＣに限らず、視差画像を処理可能な任意の機器であってよい。これらの機器には、例えばデジタルカメラ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器、データセンタで動作するサーバ機器などが含まれてよい。また、本実施形態に係る撮像装置は、デジタルカメラに限らず、視差画像を取得可能な、上述の任意の機器にも適用可能である。

（システム５００の構成）
図１は、本実施形態に係るシステム５００に含まれる、デジタルカメラ１００とＰＣ２００のそれぞれの機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣ等のハードウェアによって実現されてもよいし、ＣＰＵやＧＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

＜デジタルカメラ１００の構成＞
デジタルカメラ１００は、交換可能な撮影光学系３００を装着するように構成されている。視差画像撮影部１０１は、画素が複数、２次元状に配列された撮像素子を有する。撮像素子は、撮影光学系３００により結像された被写体光学像を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換する。撮像素子の画素は、画素ごとに１つのマイクロレンズと複数の光電変換素子（例えば左右に２つ或いはｎ個×ｎ個に配列される）を有するように構成されている。それぞれの光電変換素子は、撮影光学系３００の分割された射出瞳のうちの対応する領域を通過した光線を受光して画素信号を出力する。視差画像撮影部１０１は、分割された射出瞳のうちの対応する領域ごとの画素信号を用いて視差画像を構成する。また、視差画像撮影部１０１は、デジタルカメラ１００に装着された撮影光学系３００と通信してピント位置を制御し、視差画像或いは撮影画像のピント状態を変更する。

視差画像送信部１０２は、デジタルカメラ１００の備える不図示の通信部がＰＣ２００との間で確立した通信路を用いて、視差画像撮影部１０１から出力された視差画像をＰＣ２００に送信する。通信部は、外部装置と通信を行うための通信回路又はモジュールを含み、無線ＬＡＮ等の無線通信やケーブルで接続された有線ＬＡＮ等の所定の通信方式に準拠した通信をＰＣ２００との間で確立する。

個体情報受信部１０４は、撮影光学系３００に起因するピント状態の変化（すなわち個体差の影響）を補正するための個体情報を、上述した通信部によって確立された通信路を用いてＰＣ２００から受信する。個体情報は、例えば制御部１０３がオートフォーカス（ＡＦ）機能として検出する合焦位置と実際の合焦位置とのずれ量とその方向（前ピン側又は後ピン側）を表す補正値に対応する。個体情報設定部１０５は、ＰＣ２００から受信した個体情報を上述した補正値に対応付け、撮影光学系３００に対する補正値を設定する。

制御部１０３は、例えばＣＰＵ（又はＭＰＵ）、ＲＡＭ、ＲＯＭを含み、ＲＯＭに記憶されたプログラムを実行してデジタルカメラ１００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。また、制御部１０３は、ＡＦ機能を実現するための合焦位置を算出し、視差画像撮影部１０１を介して撮影光学系３００を制御する。

＜ＰＣ２００の構成＞
視差画像受信部２０１は、ＰＣ２００の備える不図示の通信部がデジタルカメラ１００との間で確立した通信路を用いて、デジタルカメラ１００から視差画像を受信する。ＰＣ２００が備える通信部は、外部装置と通信を行うための通信回路又はモジュールを含み、無線ＬＡＮ等の無線通信やケーブルで接続された有線ＬＡＮ等の所定の通信方式に準拠した通信をデジタルカメラ１００との間で確立する。

個体情報推定部２０２は、デジタルカメラ１００が装着している撮影光学系３００の個体情報を推定する。個体情報を推定する具体的な方法は後述する。個体情報推定部２０２は、推定した個体情報を個体情報送信部２０４に出力する。

個体情報送信部２０４は、ＰＣ２００の備える通信部がデジタルカメラ１００との間で確立した通信路を用いて、デジタルカメラ１００に推定された個体情報を送信する。

制御部２０３は、例えばＣＰＵ（又はＭＰＵ）、ＲＡＭ、ＲＯＭを含み、ＲＯＭに記憶されたプログラムを実行してＰＣ２００の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。

（視差画像撮影部１０１の撮影処理に係る一連の動作）
次に、図２を参照して、デジタルカメラ１００の視差画像撮影部１０１による撮影処理に係る一連の動作を説明する。なお、本処理は、例えばデジタルカメラ１００の備える不図示の操作部に含まれるレリーズスイッチ等が押下された場合に開始される。また、本処理は、制御部１０３がＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開、実行すると共に、視差画像撮影部１０１を制御することにより実現される。

Ｓ２０１において、制御部１０３は、デジタルカメラ１００に設定された撮影モードが視差画像撮影モードであるか単一画像撮影モードであるかを判定する。例えば、制御部１０３は、例えばデジタルカメラ１００が備える操作部を介して設定された撮影モードの情報を参照して撮影モードを判定する。制御部１０３は、当該撮影モードが視差画像撮影モードに設定されている場合、Ｓ２０２に処理を進める。なお、視差画像撮影モードは視差画像撮影部１０１で得られた視差画像を出力するモードであり、単一画像撮影モードは視差画像撮影部１０１で得られた視差画像を合成して生成された単一の画像（撮影画像）を出力するモードである。一方、制御部１０３は、設定された撮影モードが単一画像撮影モードであると判定した場合、Ｓ２０３に処理を進める。

Ｓ２０２において、視差画像撮影部１０１は、制御部１０３の指示に応じて視差画像を取得し、本処理に係る一連の動作を終了する。一方、Ｓ２０３において、視差画像撮影部１０１は、撮影光学系３００のピント位置を設定する。例えばデジタルカメラ１００が備える不図示の測距センサによって計測された被写体までの撮影距離に基づいて制御部１０３が合焦位置を算出し、視差画像撮影部１０１は当該合焦位置に応じて撮影光学系３００のピント位置を設定する。

Ｓ２０４において、制御部１０３は、撮影光学系３００の個体情報が既に存在するかを判定する。制御部１０３は、例えばＰＣ２００から受信した撮影光学系３００の個体情報がメモリに記憶されている場合、撮影光学系３００の個体情報が既に存在すると判定してＳ２０５に処理を進める。一方、撮影光学系３００の個体情報が既に存在すると判定しない場合は、Ｓ２０６に処理を進める。

Ｓ２０５において、視差画像撮影部１０１は、撮影光学系３００の個体情報を加味してピント位置を設定する。また、Ｓ２０６において、設定されたピント位置において撮影を行い、単一画像を取得する。

（視差画像送信部１０２の送信処理に係る一連の動作）
次に、図３を参照して、視差画像送信部１０２の送信処理について説明する。なお、本処理は、視差画像撮影部１０１から視差画像が入力された場合に開始される。また、本処理は、制御部１０３がＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開、実行すると共に、視差画像送信部１０２を制御することにより実現される。

Ｓ３０１において、視差画像送信部１０２は、視差画像撮影部１０１から入力される視差画像を取得する。そして、Ｓ３０２において、制御部１０３は、送信先であるＰＣ２００を特定する情報を取得し、上述した不図示の通信部を介してＰＣ２００との通信を確立する。Ｓ３０３において、視差画像送信部１０２は、当該通信部を介して接続されているＰＣ２００に対して視差画像を送信する。送信先のＰＣ２００との通信は、不図示の通信部によって確立された、無線ＬＡＮのような無線通信或いは有線ケーブルを用いた有線ＬＡＮのような有線通信を介して通信する。なお、通信相手であるＰＣ２００を複数の候補から選択してもよいし、撮影前にすでに設定されており、撮影時には基本的な接続の確立及び実際の通信を行うようにしてもよい。さらに、実際の通信においては送達確認なども重要な要素となるため、視差画像送信部１０２は、送信プロセスの中に正常に送信されたか否かの確認を行うようにしてもよいし、ＰＣ２００等の接続相手機器の状態を返り値として受け取るようにしてもよい。視差画像送信部１０２は、視差画像の送信を終了すると通信部に対してＰＣ２００との通信を切断させる。なお、本実施形態では、視差画像の送信を１つのステップで説明しているが、視差画像を１枚ずつ送信する処理を繰り返すことで複数枚の視差画像を送信することができる。

（個体情報受信部１０４の受信処理に係る一連の動作）
次に、図７を参照して、個体情報受信部１０４による受信処理について説明する。なお、本処理は、例えばデジタルカメラ１００がＰＣ２００との接続要求を受けた場合に開始される。また、本処理は、制御部１０３がＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開、実行すると共に、個体情報受信部１０４を制御することにより実現される。

Ｓ７０１において、制御部１０３は、送信元であるＰＣ２００を特定する情報を取得し、上述した不図示の通信部を介してＰＣ２００との通信を再び確立する。個体情報受信部１０４は、ＰＣ２００との通信が確立した後に、Ｓ７０２において、撮影光学系３００の個体情報を、当該通信を介してＰＣ２００から受信する。

（個体情報設定部１０５の設定処理に係る一連の動作）
次に、図８を参照して、個体情報設定部１０５の設定処理について説明する。なお、本処理は、例えば個体情報受信部１０４が撮影光学系３００の個体情報を受信した場合に開始される。また、本処理は、制御部１０３がＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開、実行すると共に、個体情報設定部１０５を制御することにより実現される。

Ｓ８０１において、個体情報設定部１０５は、個体情報受信部１０４において取得した撮影光学系３００の個体情報を個体情報受信部１０４から取得する。Ｓ８０２において、個体情報設定部１０５は、取得した撮影光学系３００の個体情報に基づいて、例えば制御部１０３がＡＦ機能として検出する合焦位置と実際の合焦位置とのずれ量とその方向に対する補正値を設定する。個体情報設定部１０５は、例えば個体情報と当該ずれ量およびその方向とを対応付けたテーブルを参照することにより補正値を設定する。制御部１０３が当該補正値を視差画像撮影部１０１に設定すると、視差画像撮影部１０１は、設定された補正値を、上述したＳ２０５においてピント位置を設定する際に使用する。すなわち、視差画像撮影部１０１は、ＡＦによって求めた合焦位置に更に補正値を加味することにより実際の合焦位置を決定する。

（視差画像受信部２０１の受信処理に係る一連の動作）
次に、図４を参照して、ＰＣ２００の視差画像受信部２０１による受信処理に係る一連の動作を説明する。なお、本処理は、例えばデジタルカメラ１００から接続要求を受けた場合に開始される。また、本処理は、制御部２０３がＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開、実行すると共に、視差画像受信部２０１を制御することにより実現される。

Ｓ４０１において、制御部２０３は、送信元であるデジタルカメラ１００を特定する情報を取得し、ＰＣ２００が備える不図示の通信部を介してデジタルカメラ１００との通信を確立する。デジタルカメラ１００との通信が確立した後に、Ｓ４０２において、視差画像受信部２０１は、デジタルカメラ１００において撮影された視差画像を受信する。

（個体情報推定部２０２の推定処理に係る一連の動作）
次に、図５（ａ）及び（ｂ）を参照して、ＰＣ２００の個体情報推定部２０２による推定処理に係る一連の動作を説明する。なお、本処理は、例えば視差画像受信部２０１から視差画像が出力された場合に開始される。また、本処理は、制御部２０３がＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開、実行すると共に、個体情報推定部２０２を制御することにより実現される。

Ｓ５０１において、個体情報推定部２０２は、視差画像受信部２０１が受信した視差画像を取得する。Ｓ５０２において、個体情報推定部２０２は、対象の画像の合焦枠の位置を検出する。合焦枠は、画像の領域の中で、ピントのずれを検出するための最適な領域であり、撮影光学系３００による個体差の影響がない状態であれば、画像中で最もコントラストが高い領域となり得る。合焦枠の検出には公知の手法を用いることができるが、個体情報推定部２０２は、例えば、所定の大きさの領域において画像中でコントラストが最も高くなる領域を検出して合焦枠とする。本実施形態では、以降の処理において当該合焦枠のコントラストを更に増大させる個体情報を求める。

Ｓ５０３において、個体情報推定部２０２は、視差画像を用いて合焦枠内のコントラスト（以下、合焦率という）を算出する。本ステップにおける合焦率の算出処理については、合焦率の算出処理の概要とリフォーカスの概要とを説明したうえで、図５（ｂ）に示すＳ５０８〜Ｓ５１２に係る具体的な動作を説明する。

合焦率の算出処理では、まず入力された視差画像を用いたリフォーカス処理を行って、撮影時とはピント位置の異なる画像（リフォーカス画像ともいう）を生成する。リフォーカス処理では、後述するシフト量に応じてピント位置を変化させたリフォーカス画像を生成することができるため、本実施形態では、とりうるシフト量をそれぞれ設定した複数のリフォーカス画像を生成する。そして、生成された複数のリフォーカス画像のそれぞれについて合焦枠のコントラストを算出し、最大のコントラストのリフォーカス画像を選択する。これにより、Ｓ５０２において得られた撮影時の画像と比べて、よりピントの合ったリフォーカス画像を取得することができる。このとき、コントラストが最大となるリフォーカス画像を生成するためのシフト量を特定することができるため、当該シフト量を撮影時の画像のピント位置を補正するための個体情報として求めることができる。

次に、リフォーカス処理の概要について、図９を参照して説明する。図９は、視差画像撮影部１０１に含まれる撮像素子の画素信号について、撮像面９００に配置された列方向ｉ−２〜ｉ＋２番目の画素信号を模式的に示している。なお、図９では、各画素が左右に２つの光電変換部を有する場合の例を示しており、各画素の特定の位置の光電変換部から出力された信号に基づいて生成された画像を、それぞれ画像Ａｉ、画像Ｂｉとする。画像Ａｉは主光線角度θａで画素に入射した光束の受光信号を含み、画像Ｂｉは主光線角度θｂで画素に入射した光束の受光信号を含むため、画像Ａｉ及び画像Ｂｉは光強度分布情報に加えて入射角度情報も有している。

画像Ａｉ及び画像Ｂｉが入射角情報を有することにより、所定の仮想的な撮像面におけるリフォーカス画像を生成することができる。具体的に、画像Ａｉを角度θａに沿って、画像Ｂｉを角度θｂに沿って、それぞれ仮想撮像面９１０まで平行移動させる。そして、平行移動したそれぞれの画像を画素毎に加算することにより、仮想撮像面９１０におけるリフォーカス画像を生成することができる。図９の例では、画像Ａｉを角度θａに沿って仮想撮像面９１０まで平行移動させることは、画像Ａｉを列方向に＋０．５画素シフトすることに対応する。一方、画像Ｂｉを角度θｂに沿って仮想撮像面９１０まで平行移動させることは、画像Ｂｉを列方向に−０．５画素シフトすることに対応する。つまり、仮想撮像面９１０における画像Ａｉと画像Ｂｉの組み合わせは、画像Ａｉと画像Ｂｉとを相対的に＋１画素シフトすることにより得られる。このため、画像Ａｉと、シフトした第２修正視点画像Ｂｉ＋１とを画素毎に加算することにより、仮想撮像面９１０におけるリフォーカス画像を生成することができる。換言すれば、シフト量ｓとして、画像Ａｉと画像Ｂｉをシフト加算することにより、シフト量ｓに応じた各仮想撮像面におけるリフォーカス画像を生成することができる。

次に、Ｓ５０８〜Ｓ５１２の具体的な動作について説明する。Ｓ５０８において、個体情報推定部２０２は、視差画像のシフト量を設定する。具体的に、個体情報推定部２０２は、リフォーカス画像を生成するためのシフト量を、予め設定された所定の範囲でシフト量を順次設定する。

Ｓ５０９において、個体情報推定部２０２は、設定された各シフト量を用いて各視差画像をシフト加算することにより、リフォーカス処理を行う。なお、当該リフォーカス処理は、計算量を削減するために所定の領域内（例えば合焦枠の領域）についてのみ行ってもよい。Ｓ５１０において、個体情報推定部２０２は、リフォーカス処理を行って出力された画像に対して、所定の領域内のエッジを検出してコントラスト（すなわち合焦の度合）を算出する。所定の領域内のコントラストを算出する方法はいくつか考えられるが、個体情報推定部２０２は、例えば検出したエッジの強度を求める。

Ｓ５１１において、個体情報推定部２０２は、予め設定された所定のシフト量の範囲において、全てのシフト量に対してコントラストを算出したかを判定する。個体情報推定部２０２は、所定のシフト量の範囲内で全てのシフト量についてリフォーカス処理及びコントラストの算出を行った場合には、処理をＳ５１２に進める。一方、全てのシフト量について上記処理を完了していない場合、処理を再びＳ５０８に戻して、新たなシフト量に対する処理を実行する。

Ｓ５１２において、個体情報推定部２０２は、所定のシフト量の範囲内で最大のコントラストを与えるシフト量を合焦率として決定する。すなわち、個体情報推定部２０２は、最大のコントラストを与えるリフォーカス画像を特定し、当該画像を生成する際に用いたシフト量を合焦率として決定する。なお、個体情報推定部２０２は、得られた最大のコントラストが撮影画像の所定の領域内のコントラストよりも高いかを更に判定し、撮影画像のコントラストより高い場合に当該シフト量を決定するようにしてもよい。このようにすれば、デジタルカメラ１００のオートフォーカスのピント位置を改善可能なシフト量を決定することが可能になる。個体情報推定部２０２は合焦率の決定を完了すると、処理をＳ５０４に進める。

Ｓ５０４において、個体情報推定部２０２は、２枚より多い視差画像が入力されている場合には、全ての視差画像を用いて上述した合焦率を算出したかを判定する。個体情報推定部２０２は、全ての視差画像を用いて合焦率を算出していない場合、再び処理をＳ５０１に戻す。一方、全ての視差画像を用いて合焦率を算出した場合、処理をＳ５０５に進める。

Ｓ５０５において、個体情報推定部２０２は、全ての視差画像から求めた複数の合焦率を用いて、合焦率の平均と分散を算出する。これは、複数の視差画像が存在する場合には、撮影時の状況によっては個々の視差画像の信頼度が低い可能性があるためである。例えば動体を撮影している場合等に複数枚の視差画像から求めた複数の合焦率を統計的に処理することにより、信頼性のある合焦率を求めることができる。統計的な処理についても、様々な手法を適用可能であるが、一例として単に平均と分散を算出する。

Ｓ５０６において、個体情報推定部２０２は、算出した合焦率の平均値を撮影光学系３００の個体情報の候補とすると共に、算出した合焦率の分散を用いて合焦率の信頼度（すなわち所定の基準を満たすか）を判定する。個体情報推定部２０２は、合焦率の分散が所定のしきい値より大きい場合、その合焦率の信頼度が低い（すなわち入力した視差画像からは信頼性の高い個体情報を算出できない）と判定して本一連の処理を終了する。一方、合焦率の分散がしきい値以下である場合、Ｓ５０７において、求めた合焦率を個体情報として決定する。

（個体情報送信部２０４の送信処理に係る一連の動作）
次に、図６を参照して、ＰＣ２００の個体情報送信部２０４による送信処理に係る一連の動作を説明する。なお、本処理は、例えば個体情報推定部２０２から決定された合焦率が入力された場合に開始される。また、本処理は、制御部２０３がＲＯＭに記憶されたプログラムをＲＡＭの作業用領域に展開、実行すると共に、個体情報送信部２０４を制御することにより実現される。

Ｓ６０１において、個体情報送信部２０４は、個体情報推定部２０２によって算出された個体情報を取得する。そして、Ｓ６０２において、制御部２０３は、送信先であるデジタルカメラ１００を特定する情報を取得し、上述した不図示の通信部を介してデジタルカメラ１００との通信を確立する。Ｓ６０３において、個体情報送信部２０４は、当該通信部を介して接続されているデジタルカメラ１００に対して個体情報を送信する。

なお、本実施形態では、デジタルカメラ１００において取得した視差画像をＰＣ２００に送信して、ＰＣ２００において個体情報を求める例を説明した。しかし、デジタルカメラ１００の内部においてＰＣ２００における処理を実行してもよい。

また、本実施形態では、デジタルカメラ１００において視差画像を形成し、視差画像をＰＣ２００に送信する例を説明した。しかし、リフォーカス画像を生成可能なＬＦデータ（すなわち光強度の空間分布および角度分布情報を含む画像信号）と視差画像とは等価であるため、デジタルカメラ１００はＬＦデータを視差画像としてＰＣ２００に送信してもよい。

以上説明したように本実施形態では、視差画像を用いて複数のリフォーカス画像を生成し、このうち最もピントの合った画像を選択することにより、撮影時の画像よりピントの合った画像を取得できるようにした。そして、最もピントの合ったリフォーカス画像を生成するためのシフト量を特定することにより、撮影時の画像のピント位置を補正するための補正値を求めるようにした。このようにすることで、視差画像を取得可能な撮像装置を用いる場合に、撮影時に用いる撮影光学系の個体差の影響を簡易かつ正確に調節することが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…視差画像撮影部、２０１…視差画像受信部、２０２…個体情報推定部、１０５…個体情報設定部

Claims (14)

1. 撮像装置から、撮影時とはピントの異なる画像を生成可能な画像信号を取得する取得手段と、
   前記画像信号を用いて、撮影時とはピントの異なる画像を生成する生成手段と、
   前記生成手段により生成された画像において、撮影時よりピントのあった画像と、該画像に対するピントの変化を表す情報とを特定する特定手段と、
   前記ピントの変化を表す情報を、前記撮像装置において撮影光学系に起因するピント状態の変化を補正するために前記撮像装置に出力する出力手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記特定手段は、前記撮影時とはピントの異なる画像のうち、所定の領域において合焦の度合が高い画像を、前記撮影時よりピントのあった画像として特定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、前記所定の領域における合焦の度合を、前記撮影時とはピントの異なる画像における前記所定の領域のコントラストに基づいて求める、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記特定手段は、前記画像信号に基づいて複数の前記ピントの変化を表す情報を算出し、算出された前記ピントの変化を表す情報に対する統計的な処理に基づいて、所定の基準を満たす前記ピントの変化を表す情報を特定する、
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、前記画像信号を用いたリフォーカスにより、仮想的に撮像面を移動させた、前記撮影時とはピントの異なる画像を生成し、
   前記ピントの位置の変化を表す情報は、前記リフォーカスによる撮像面の仮想的な移動に対応する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記生成手段は、前記画像信号に基づく複数の視差画像を画素の位置をずらして加算することにより、前記撮影時とはピントの異なる画像を生成し、
   前記ピントの変化を表す情報は、前記画素の位置のずれに対応する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記取得手段は、前記画像信号を、光強度の空間分布および角度分布情報を含む画像信号として前記撮像装置から通信路を介して受信する、
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記取得手段は、前記画像信号を、複数の視差画像として前記撮像装置から通信路を介して受信する、
   ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
9. 撮像装置と、請求項１から８のいずれか１項に記載の画像処理装置を有する撮像システムであって、
   前記撮像装置は、
   撮影時に所定の被写体に合焦するように撮影光学系のピント位置を制御する制御手段と、
   前記制御手段によって制御されたピント位置において、前記画像信号を撮影する撮影手段と、
   前記ピントの変化を表す情報を前記画像処理装置から受信して、前記撮影光学系に起因するピント状態の変化を補正する補正手段と、を備える
   ことを特徴とする撮像システム。
10. 前記補正手段は、前記撮影光学系に起因するピント状態の変化を、前記制御手段によって制御されるピント位置と実際の合焦位置とのずれ量及びその方向によって補正する、
    ことを特徴とする請求項９に記載の撮像システム。
11. 前記撮像装置は、光線の強度分布及び角度分布の情報を取得可能な撮像素子を更に備える、
    ことを特徴とする請求項９又は１０に記載の撮像システム。
12. 前記撮像素子は、画素ごとに１つのマイクロレンズと複数の光電変換素子を含む、
    ことを特徴とする請求項１１に記載の撮像システム。
13. 取得手段が、撮像装置から、撮影時とはピントの異なる画像を生成可能な画像信号を取得する取得工程と、
    生成手段が、前記画像信号を用いて、撮影時とはピントの異なる画像を生成する生成工程と、
    特定手段が、前記生成工程において生成された画像において、撮影時よりピントのあった画像と、該画像に対するピントの変化を表す情報とを特定する特定工程と、
    出力手段が、前記ピントの変化を表す情報を、前記撮像装置において撮影光学系に起因するピント状態の変化を補正するために前記撮像装置に出力する出力工程と、を備える
    ことを特徴とする画像処理装置の制御方法。
14. コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images