JP2021068925A - 画像処理装置および画像処理方法、撮像装置、プログラム - Google Patents

Abstract

【課題】距離計測に用いた画像とは異なるカラー画像と撮影情報を用いて、被写体色による距離計測誤差の補正を精度よく行う。【解決手段】画像処理装置２００は、被写体の距離情報に対して、距離情報と共に取得されたカラー画像を用いて補正する。画像読込部２０１は撮像されたカラー画像を取得する。情報取得部２０２は、距離情報およびカラー画像を取得する際の撮影情報として、カラー画像の生成に用いた色別の補正情報を取得するとともに、距離情報の算出の際に利用した情報として、撮像装置が備える撮像光学系の色収差情報を取得する。補正量算出部２０３は、カラー画像と撮影情報と距離計測に利用した情報を用いて、距離情報の補正量を算出する。距離補正部２０４は、算出された補正量と撮影情報を用いて、距離情報を補正する。【選択図】 図２

Description

本発明は、距離情報に対応するカラー画像および撮影情報を用いて距離計測誤差を補正する技術に関する。

撮影時に距離情報を取得可能な撮像装置がある。距離情報は、被写体の合焦距離、距離画像、視差画像等の、撮像装置から被写体までの距離分布に関連する深度情報である。取得された距離情報は、カラー画像と共に付属情報の記憶領域に保存される。

特許文献１に開示の撮像素子は、特定の画素（距離計測用画素）にてマイクロレンズと２つの光電変換部を配置した構成を有し、視点が異なる２つの画像のデータを生成する。２つの画像から画素ごとの視差を算出し、撮像光学系のパラメータを用いて視差を被写体までの距離に変換することで距離を算出することができる。距離計測用画素を撮像素子全面に配置することで、全画素において距離計測が可能である。また、距離計測に利用した２つの画像を合成することで撮像画像を同時に生成できる。つまりカラー画像と同時に、カラー画像と同じ解像度であって、ほぼ同じ視点での距離画像の生成が可能となる。

特許文献１に開示の距離計測方式では、撮像光学系を通して被写体像が撮像素子上に形成され、その画像から距離情報が取得される。撮像光学系の色収差（軸上色収差、倍率色収差）の影響によって、同じ距離に存在する被写体でもその色（分光分布）に依存して結像位置が変化するので、算出される距離が変化する。そこで特許文献１では、距離計測時の色収差による被写体色の影響を補正する方法として、距離計測に用いる画像信号にて色成分ごとに距離計測へ与える寄与率を算出し、寄与率および撮像光学系の色収差情報に基づく距離の補正を行う。

特開２０１９−９５１１号公報

特許文献１のような被写体色による距離計測誤差の補正は、計測装置において距離計測時に実施されるが、一般的なデジタルカメラにおいて合焦した被写体までの距離を付属情報として出力する用途では実施されていない。特許文献１の距離計測誤差の補正方法は、デジタルカメラでの撮影後に保存されたカラー画像を用いて距離を補正する場合に適用できる。しかしながら、デジタルカメラで撮影して保存されたカラー画像は、視覚的に好ましくなるように様々な画像処理が施されているので、距離計測を実行した際の画像信号とは異なる画像信号になっている。このような画像信号を用いて、距離計測誤差の補正処理を実行しても、正しい補正値が得られず十分な補正効果が得られない可能性がある。
本発明は、距離計測に用いた画像とは異なるカラー画像と撮影情報を用いて、被写体色による距離計測誤差の補正を精度よく行うことを目的とする。

本発明の実施形態の装置は、被写体の距離情報に対して、前記距離情報とともに取得されたカラー画像の情報を用いて補正する画像処理装置であって、前記カラー画像および距離情報の取得時の撮影情報である第１の情報と、前記距離情報の算出に用いられた第２の情報を取得する取得手段と、前記第１および第２の情報を用いて、前記距離情報の補正量を算出する算出手段と、前記補正量と前記第１の情報を用いて、前記距離情報を補正する補正手段と、を備える。前記取得手段は、前記第１の情報として前記カラー画像の生成にて色別に用いられた情報を取得し、前記第２の情報として撮像装置が備える撮像光学系の色収差情報を取得する。

本発明によれば、距離計測に用いた画像とは異なるカラー画像と撮影情報を用いて、被写体色による距離計測誤差の補正を精度よく行うことができる。

撮像光学系の軸上色収差の説明図である。 実施形態および変形例に係る画像処理装置の機能構成を示すブロック図である。 実施形態の画像処理装置で実行される処理を例示するフローチャートである。 撮像素子上に配置されたカラーフィルタの分光分布の説明図である。 第１変形例に係る距離補正量の算出を説明するフローチャートである。 第２変形例に係る距離補正量の算出を説明するフローチャートである。

以下、本発明の実施形態について添付図面を参照して詳細に説明する。本発明は、被写体の距離分布に関連する深度情報を取得可能な撮像装置や情報処理装置等に適用可能である。深度情報は撮像画像の奥行方向の情報であり、深度画像または深度マップは深度情報の分布を表す情報である。深度情報としては、視点の異なる複数の視点画像から算出される像ずれ量マップや、像ずれ量に所定の変換係数を乗算して算出されるデフォーカス量マップ、デフォーカス量を被写体距離情報に換算した距離マップ、距離画像等を用いることができる。被写体距離情報は、撮像装置から被写体までの距離を表す情報である。

一例として、撮像面位相差検出方式の撮像素子を用いる距離計測法では、撮像素子の画素アレイを構成する各画素部がマイクロレンズ、カラーフィルタ、光電変換部を有する。各マイクロレンズに対応する複数の光電変換部が配置され、第１の光電変換部は撮像光学系の射出瞳における第１の瞳部分領域を通過した光を受光し、第２の光電変換部は撮像光学系の射出瞳における第２の瞳部分領域を通過した光を受光する。各画素部の第１の光電変換部からそれぞれ出力される信号に対応する第１の像信号と、各画素部の第２の光電変換部からそれぞれ出力される信号に対応する第２の像信号とにより、視点の異なる複数の視点画像の信号が取得される。複数の像信号の位相検出に基づいて像ずれ量、デフォーカス量、被写体距離情報を公知の方法で算出可能である。

図１を参照して、距離計測における被写体色による距離計測誤差に関して説明する。距離計測法には、撮像面位相差に基づく距離計測法やＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）法等がある。撮像光学系を通して結像した画像のデータを用いて距離計測を行う方法では、撮像光学系の色収差の影響を受ける。

図１は、撮像光学系１０１の軸上色収差を説明する概略図である。撮像光学系１０１および光学素子（撮像素子）１０３に対して、その光軸１００上の物点１０２に被写体が存在する。物点１０２から発した光は、理想的には撮像光学系１０１により、像面上に配置された光学素子１０３上の一点に結像する。しかしながら、撮像光学系１０１の軸上色収差の影響によって、光の波長に応じて結像する位置が光軸方向にずれると、デフォーカスが生じる。図１では３種類の波長帯域として、赤波長帯の光束１０４、緑波長帯の光束１０５、青波長帯の光束１０６の例を示す。

被写体から発した光の波長帯（被写体色）に応じて、像面上でのデフォーカス量が異なる。前述の距離計測方法はデフォーカス量に依存した計測方法であるので、同じ距離に位置する被写体であっても被写体の色により算出される距離が異なる。精度の高い計測が求められる距離計測装置の場合、被写体色による距離計測誤差は距離計測装置内で補正される。しかし、デジタルカメラ等の一般的な撮像装置から取得された距離は補正されていない場合がある。

一例として、デジタルカメラにおいて、主被写体に合焦した撮像光学系の状態からその距離を算出して出力する際、被写体の色が考慮されていない場合を想定する。合焦は被写体の色に依らず実行可能であるが、被写体の色によりその合焦位置は異なる。よって、合焦位置から被写体距離を求める際には、一般に、ある基準の色（例えば緑波長、波長ごとの加重平均値）の合焦情報に基づいて距離が算出される。したがって同じ距離に位置する被写体であっても、被写体色によって距離計測結果は異なる。合焦時の被写体距離のデータは、カラー画像データと共に所定形式のファイル（Ｅｘｉｆファイル等）に出力されるが、距離計測用途として精度が十分ではない。例えば、撮影画像を用いて寸法計測を実施する場合には撮影時の倍率が必要である。撮影倍率は撮像光学系の焦点距離と被写体までの距離から算出される。よって、精度の良い寸法計測を行うためには、Ｅｘｉｆファイル等に出力された被写体距離よりも高精度な被写体距離が必要となる。

被写体色による距離計測誤差を補正するためには、距離計測に利用した被写体の色が必要となる。しかし、デジタルカメラで撮影された後に記憶媒体に保存されたカラー画像は画像処理が施されている。つまり、本来の被写体色とは異なる色の画像であるため、特許文献１の方法を適用しても正しい補正が実施できない。そこで本発明では、既に保存されたカラー画像と撮影情報を用いて距離情報（例えば距離画像）をより正確に補正する装置および方法を説明する。

図２は、本実施形態に係る画像処理装置２００の機能構成を示すブロック図である。画像処理装置２００は、例えば撮像装置やコンピュータ等に適用され、画像データを取得して距離情報の補正処理を実行する。画像処理装置２００は、例えばＣＰＵ（中央演算処理装置）を備え、所定のプログラムを読み出して実行することにより、以下に示す処理を実現する。

画像読込部２０１は、記憶媒体等に保存された画像ファイルのデータを読み出し、カラー画像および距離画像のデータをメモリ２０６上に展開する。情報取得部２０２は、読み込まれた画像ファイルにおける付属情報（例えば、Ｅｘｉｆファイル）から撮影時の情報を取得する。また情報取得部２０２は、画像を取得した撮像装置を識別し、当該撮像装置に関する情報を記憶部２０５から取得する。

補正量算出部２０３は、取得されたカラー画像と撮影情報から被写体色による距離計測誤差を推定し、推定結果に基づいて距離画像の補正量を算出する。距離補正部２０４は、補正量算出部２０３により算出された補正量を用いて距離画像を補正する。補正された距離画像のデータはメモリ２０６に記憶され、また表示装置や外部機器等に出力される。

図３を参照して、画像処理装置２００が実行する距離補正処理について具体的に説明する。図３は、取得後に保存された距離画像の被写体色による距離計測誤差を補正する距離補正処理を説明するフローチャートである。図３（Ａ）は距離補正処理の流れを示し、図３（Ｂ）はＳ３０５に示す距離補正量算出処理の流れを示す。

図３（Ａ）のＳ３０１で、画像読込部２０１は、撮像装置によって取得された後、不図示の外部記憶装置に保存されたカラー画像（観賞用画像）のデータを読み込んでメモリ２０６に展開する。カラー画像は、撮像装置が備える撮像素子上に配置されたカラーフィルタごとの輝度情報をもつ画像である。一般にカラーフィルタとしてＲフィルタ（赤波長帯）、Ｇフィルタ（緑波長帯）、Ｂフィルタ（青波長帯）が使用される。カラー画像は、各カラーフィルタを通して得られた輝度画像、つまりＲ画像（Ｉ_Ｒ）、Ｇ画像（Ｉ_Ｇ）、Ｂ画像（Ｉ_Ｂ）を含む画像である。

Ｓ３０２で、画像読込部２０１はカラー画像と共に取得された距離画像を、外部記憶装置から読み込んでメモリ２０６に展開する。距離画像は、撮像面位相差に基づく距離計測法やＤＦＤ法によって、前記カラー画像が画像処理される前の画像から生成される。よって距離画像は前記カラー画像とほぼ同じ視点で算出された距離情報を有する。距離画像の解像度は、前記カラー画像と同様の解像度が好ましいが、双方の解像度が異なる場合であっても距離補正処理を実行可能である。

Ｓ３０３で、情報取得部２０２は前記カラー画像および距離画像の取得時の撮影情報を、カラー画像の付属情報（例えば、Ｅｘｉｆファイル）から取得する。この付属情報は、撮影時に行われたカラー画像に対するホワイトバランス（以下、ＷＢとも記す）処理の情報である。より具体的には、カラーフィルタごとの輝度画像に対するゲイン情報（ＷＢ_Ｒ、ＷＢ_Ｇ、ＷＢ_Ｂ）である。情報取得部２０２はまた、他の付属情報として、撮影時に用いられた撮像装置の機種情報および撮像装置に付属する撮像光学系の焦点距離情報を取得する。

Ｓ３０４で、情報取得部２０２は撮像装置の機種情報を用いて、記憶部２０５に格納済みの撮像装置の色収差情報（ＣＡと記す）を読み込んでメモリ２０６に展開する。色収差情報ＣＡは撮像装置の撮像光学系に応じて異なるので、記憶部２０５には複数の撮像装置に対する色収差情報がそれぞれ記憶されている。つまり撮像装置に対応する多くの色収差情報を記憶部２０５に格納しておくことで、汎用性を高めることができる。

色収差情報ＣＡは、カラー画像および距離画像を取得した際に使用された撮像装置の撮像光学系の色収差に係る情報である。色収差情報ＣＡは下記の情報を含む。
・ＣＡ_Ｒ（赤波長帯用の色収差情報）。
・ＣＡ_Ｇ（緑波長帯用の色収差情報）。
・ＣＡ_Ｂ（青波長帯用の色収差情報）。

カラーフィルタに対応する波長帯ごとの色収差情報は、予め記憶部２０５に格納されている。色収差情報として、例えば撮像光学系の軸上色収差量を用いることができる。軸上色収差量は、特定の波長における最適な像面位置を基準として、基準位置からの各波長の最適な像面位置の距離（相対的な量）で表すことができる。特定の波長は、例えばＧフィルタの中心波長またはピーク波長、撮像光学系の設計時に用いた基準波長等である。

図４を参照して各フィルタの、波長（横軸）に対する感度（縦軸）の特性を説明する。撮像素子上に配置されたカラーフィルタはＲ，Ｇ，Ｂごとに、図４に示すような波長幅を持っている。１つのカラーフィルタにおいても複数の波長が含まれ、波長ごとに軸上色収差量は異なる。そこで、各カラーフィルタの分光特性を用いて軸上色収差の加重平均を行い、カラーフィルタごとの代表値として色収差情報ＣＡ_Ｒ，ＣＡ_Ｇ，ＣＡ_Ｂを算出することができる。簡易的には、それぞれのカラーフィルタの中心波長やピーク波長における軸上色収差量を代表値として色収差情報ＣＡ_Ｒ，ＣＡ_Ｇ，ＣＡ_Ｂに設定することも可能である。

Ｓ３０４で情報取得部２０２は、以下の撮像装置情報を取得する。
・距離計測時に利用した空間周波数帯域の情報
・距離計測時に輝度画像を生成した際の各カラーの混合比率情報
・距離計測時に利用した画像に対するウィンドウサイズ情報。
空間周波数帯域の情報としては、距離計測時に所望の空間周波数帯域の成分を抽出するために利用したバンドパスフィルタの情報を利用するのが好適である。また混合比率情報としては、距離計測に利用した輝度画像を生成する際のＲ，Ｇ，Ｂの各カラーフィルタにおける輝度画像の混合比率（Ｙ_Ｒ，Ｙ_Ｇ，Ｙ_Ｂ）が取得される。ウィンドウサイズ情報（Ｗと記す）は、ある注目画素における距離を算出する際に利用した、注目画素の周辺領域（局所領域）のウィンドウの大きさを表す情報である。

Ｓ３０５で補正量算出部２０３は、情報取得部２０２で取得されたカラー画像、ホワイトバランス処理情報、軸上色収差情報を用いて、距離画像における画素ごとの補正量を算出する。距離補正量の算出処理については図３（Ｂ）を用いて後述する。

Ｓ３０６で距離補正部２０４は、Ｓ３０５で算出された距離補正量、およびＳ３０３で取得された撮影情報（焦点距離）を用いて、距離画像を補正する。その後、距離補正処理を終了する。

次に図３（Ｂ）を参照して、距離補正量の算出処理について詳細に説明する。Ｓ３０５１で、補正量算出部２０３は図３（Ａ）のＳ３０１において読み込んだカラー画像のデータに対し、Ｓ３０４で取得した空間周波数帯域の情報（バンドパスフィルタ情報）を用いてフィルタリング処理を実行する。各カラーフィルタの輝度画像（Ｒ画像、Ｇ画像、Ｂ画像）ごとにフィルタリング処理が行われる。これにより、各色に係る輝度画像にて、距離計測時に利用した空間周波数帯域の成分が抽出された帯域制限画像のデータが生成される。

Ｓ３０５２で、補正量算出部２０３はカラーフィルタの色別に寄与率を算出する。寄与率は、各カラーフィルタからの輝度画像が距離計測に与えた影響度合いを表す比率であり、各カラーフィルタにおける帯域制限画像と、Ｓ３０４で取得された距離計測時のウィンドウサイズ情報を用いて、画素ごとに算出される。

具体的には、まず各カラーの帯域制限画像にて、注目画素とその周囲の領域（所定のウィンドウサイズをもつ局所領域）における輝度和、または平均輝度、または標準偏差が算出される。補正量算出部２０３は、この処理を全画素位置に対して実行し、各カラーの各画素において強度情報を取得する。色別の強度情報をＣ_Ｒ，Ｃ_Ｇ，Ｃ_Ｂと表記する。得られた強度情報は、カラー画像に基づいて生成された情報であり、距離計測時の画像情報とは異なる。

次に補正量算出部２０３は、ゲイン情報（ＷＢ_Ｒ，ＷＢ_Ｇ，ＷＢ_Ｂ）から、逆ゲイン（ＷＢＩ_Ｒ，ＷＢＩ_Ｇ，ＷＢＩ_Ｂ）を算出する。ゲイン情報（ＷＢ_Ｒ，ＷＢ_Ｇ，ＷＢ_Ｂ）は、Ｓ３０３で取得されたホワイトバランス調整のための情報である。また逆ゲイン（ＷＢＩ_Ｒ、ＷＢＩ_Ｇ、ＷＢＩ_Ｂ）は、ＷＢ処理の実行前のカラー画像信号を復元するための情報である。

更に補正量算出部２０３は、距離計測に用いた輝度画像を生成するための混合比率（Ｙ_Ｒ，Ｙ_Ｇ，Ｙ_Ｂ）を利用することで、各カラーフィルタの波長帯からの寄与分を補正する。下記数式［数１］を用いて、寄与率（ＣＴ_Ｒ，ＣＴ_Ｇ，ＣＴ_Ｂ）が算出される。

数式中のｘ，ｙは距離画像における２次元座標値を表している。

Ｓ３０５３で、補正量算出部２０３は色収差情報（ＣＡ_Ｒ，ＣＡ_Ｇ，ＣＡ_Ｂ）と、Ｓ３０５２でカラーフィルタの色別に算出された寄与率（ＣＴ_Ｒ，ＣＴ_Ｇ，ＣＴ_Ｂ）から、下記数式［数２］を用いて距離補正量（ＤＣと記す）を算出する。つまり、色別にＣＡとＣＴを乗算して、それらを加算することによって、距離補正量ＤＣが得られる。

距離補正量ＤＣの算出後に、Ｓ３０５（距離補正量算出処理）を終了する。補正量算出部２０３は距離補正量ＤＣを、入力された距離画像に対応して全ての画素位置で算出する。寄与率の算出に用いられるカラー画像のサイズが大きい場合には、距離画像の注目画素とその周辺領域（局所領域）に対応するカラー画像の画像領域を用いて寄与率が算出される。最終的に寄与率は距離画像の全ての画素位置において算出することができる。

距離補正量ＤＣの算出後、図３（Ａ）のＳ３０６にて距離補正部２０４は、距離補正量ＤＣと、Ｓ３０３で取得された焦点距離を用いて、距離画像の補正処理を行う。算出された距離補正量ＤＣは像側での補正量であり、距離画像中の距離は物側での距離（ｚと記す）となっている。撮像光学系の焦点距離をｆと表記し、像側での距離をｚ^＊と表記するとき、ニュートンのレンズの公式（ｚ×ｚ^＊＝ｆ^２）を適用して、物側での距離ｚを像側での距離ｚ^＊に変換することができる。ここで、距離画像中の距離は被写体から撮像光学系の物側焦点までの距離とする。得られた像側距離ｚ^＊に距離補正量ＤＣを加算し、再び前記レンズの公式を用いて、物側距離（ｚ_modと記す）に変換することで距離補正が行われる。一連の変換をまとめて、下記数式［数３］で表すことができる。

距離補正部２０４は、距離画像のすべての画素位置に対して同様の補正を繰り返すことで距離画像全体の補正を行い、距離補正処理を終了する。補正後の距離画像のデータは、メモリ２０６に保存され、他の画像処理に利用されるか、または、外部記憶装置等にカラー画像データと併せて保存される。

本実施形態では、距離補正量の算出処理（図３（Ａ）：Ｓ３０５）において、カラー画像信号と距離計測時に利用した画像信号との色の違いに関し、ＷＢ処理のゲイン情報を用いて色別に寄与率を算出する処理が行われる（図３（Ｂ）：Ｓ３０５２）。カラーフィルタの色別の寄与率に基づく距離補正量を用いて距離画像の補正処理が行われる。

本実施形態の画像処理装置によれば、既に保存された距離画像に対して、被写体色による距離計測誤差の影響をより正しく補正することができる。より詳しくは、カラー画像と撮影情報を利用することで、距離計測時の被写体色による距離計測誤差の影響をより正確に推定することが可能となる。よって、カラー画像のみを用いて距離計測誤差の推定を行う場合に比べて高精度な距離補正を行うことができる。

［第１変形例］
図５を参照して、前記実施形態の第１変形例に係る距離補正量算出処理について説明する。前記実施形態では、図３（Ｂ）のＳ３０５２に示す色別寄与率の算出時にＷＢ処理でのゲイン情報を利用する態様について説明したが、前記色の違いの補正において必ずしもＷＢ処理でのゲイン情報を利用せずともよい。また、前記色の違いの補正は色別寄与率の算出時以外で行うこともできる。本変形例では、撮影時に推定した光源の色温度情報を用いて補正処理を実行する。また、画像の色味の補正処理をカラー画像に対して直接実行することができる。

図５は、本変形例に係る距離補正量算出処理を説明するフローチャートである。Ｓ５０１で、補正量算出部２０３は観賞用画像（カラー画像）に対して光源色補正処理を実行する。その際、図３（Ａ）のＳ３０３で取得された撮影情報の１つである、光源の色温度情報が利用される。補正量算出部２０３は、カラー画像の色味を補正して距離計測時に利用した画像の色味を復元する。色温度情報は、距離計測時に利用した画像における光源の色温度情報と、カラー画像を生成するために利用した光源の色温度情報である。色温度情報は、まずプランクの法則および等色関数を利用してｘｙ色度図上の座標に変換され、ＸＹＺ表色系で表される。さらに変換行列によりＲＧＢ表色系に変換される。補正量算出部２０３はカラー画像の生成前後の色温度に対してＲＧＢ値を算出し、その比から距離計測時に利用した画像の色味に戻すための補正ゲインを算出する。算出された補正ゲインはカラー画像のデータに適用されることで、距離計測時に利用した画像の色味に変換することができる。

Ｓ５０２は、図３（Ｂ）に示すＳ３０５１と同様の処理である。Ｓ５０１で補正された画像に対してバンドパスフィルタ処理が実行される。次に補正量算出部２０３はＳ５０３にて、混合比率を用いてカラーフィルタの色別に寄与率を算出する。Ｓ５０２で生成されたバンドパスフィルタ処理後の画像から、図３（Ｂ）に示すＳ３０５２での処理と同様に各色において強度情報（Ｃ_Ｒ，Ｃ_Ｇ，Ｃ_Ｂ）が算出される。その後、輝度信号を生成するためのＲ画像、Ｇ画像、Ｂ画像の混合比率（Ｙ_Ｒ，Ｙ_Ｇ，Ｙ_Ｂ）を用いて下記数式［数４］のように色別寄与率（ＣＴ_Ｒ，ＣＴ_Ｇ，ＣＴ_Ｂ）が算出される。

Ｓ５０４で補正量算出部２０３は、Ｓ５０３で算出した色別寄与率（ＣＴ_Ｒ，ＣＴ_Ｇ，ＣＴ_Ｂ）と色収差情報（ＣＡ_Ｒ，ＣＡ_Ｇ，ＣＡ_Ｂ）を用いて、図３（Ｂ）に示すＳ３０５３と同様の処理で、［数２］により距離補正値ＤＣを算出する。

本変形例では、距離補正量算出処理における最初の処理で光源の色温度情報を用いてカラー画像の色味を補正する場合に関して説明した。色味の補正を最初に実行する場合と、色別寄与率の算出時にＷＢ処理でのゲイン情報を考慮する場合とで結果は同様であり、どちらの順に処理を行ってもよい。

本変形例によれば、ホワイトバランス処理の情報が取得できなかった場合でも、光源の色温度情報を取得できる場合には、被写体色による距離計測誤差の影響に対する、より高精度な補正が可能である。

［第２変形例］
図６を参照して、第２変形例に係る距離補正量算出処理について説明する。前記実施形態では、撮像装置情報として色収差情報、距離計測時に利用した空間周波数帯域の情報、各カラーの混合比率情報、ウィンドウサイズ情報を取得できる場合に関して説明した。この中で色収差情報は、高精度な距離補正量の算出にあたって必須の情報であるが、その他の撮像装置情報については近似値を用いることができる。本変形例では、距離計測時に利用した空間周波数帯域の情報、各カラーの混合比率情報、またはウィンドウサイズ情報が取得できなかった場合の処理に関して説明する。

図６は、第２変形例に係る距離補正量算出処理を説明するフローチャートである。図３（Ｂ）に示したＳ３０５１、Ｓ３０５２、Ｓ３０５３の他に、各種撮像装置情報の有無を判定する処理が追加されている。

Ｓ６０１で、補正量算出部２０３は撮像装置情報として距離計測時に利用した空間周波数帯の情報が取得できたか否かを判定する。空間周波数情報が取得できたと判定された場合、Ｓ３０５１に進んでフィルタリング処理が実行される。そしてＳ６０２へ処理を進める。一方、空間周波数情報が取得できなかったと判定された場合には、Ｓ３０５１を実行せずにＳ６０２の処理へ移行する。

Ｓ６０２で、補正量算出部２０３は撮像装置情報として距離計測時に利用した輝度画像を生成するための各カラーの混合比率情報が取得できたか否かを判定する。混合比率情報が取得できたと判定された場合、Ｓ６０４へ処理を進める。一方、混合比率情報が取得できなかったと判定された場合には、Ｓ６０３へ処理を進める。

Ｓ６０３にて補正量算出部２０３は、予め設定された混合比率を撮像装置の混合比率情報として設定した後、Ｓ６０４へ処理を進める。既定の混合比率としては、Ｒ画像、Ｇ画像、Ｂ画像を均等に混合する際の比率［１：１：１］が設定される。また、映像信号の伝送やビデオ記録で使用されるＹＵＶ信号等の規格を利用することもできる。例えば、ＹＵＶ信号の規格に従う場合、輝度信号を生成する際の混合比率［０．２９９：０．５８７：０．１１４］が設定される。

Ｓ６０４で、補正量算出部２０３は撮像装置情報として距離計測時に利用したウィンドウサイズ情報が取得できたか否かを判定する。ウィンドウサイズ情報が取得できたと判定された場合、Ｓ３０５２へ処理を進める。一方、ウィンドウサイズ情報が取得できなかったと判定された場合には、Ｓ６０５へ処理を進める。

Ｓ６０５にて補正量算出部２０３は、予め設定されたウィンドウサイズ（既定値）を撮像装置のウィンドウサイズ情報Ｗとして設定した後、Ｓ３０５２へ処理を進める。そしてＳ３０５２、Ｓ３０５３の処理が実行される。

本変形例では、距離計測時に利用した空間周波数帯域の情報、各カラーの混合比率情報、またはウィンドウサイズ情報が取得できなかった場合でも、各種撮像装置情報の既定値を用いることで、距離補正量の算出精度の低下を抑制できる。

［第３変形例］
本変形例では、距離画像以外の補正について説明する。補正対象は距離画像でなくてもよく、撮像装置のＡＦ機能（オートフォーカス機能）により合焦した画像中の１点または複数の点における距離であってもよい。ＡＦ機能では、制御部が撮像光学系を構成するフォーカスレンズの駆動によって撮像画像における所望の位置または領域に焦点を合わせる制御を行う。その際、画像処理装置２００はＡＦ動作が実行された画像中の領域をウィンドウサイズ情報として取得し、前述の実施形態と同様に距離の補正を実施する。

このように距離画像の補正だけでなく、合焦した１点または複数点に対応する距離を補正することが可能である。デジタルカメラで撮像された画像における合焦被写体までの距離を、より高精度に算出することができる。

前記実施形態および変形例によれば、距離計測時に用いた画像信号とは異なる画像信号に変換されてから保存されたカラー画像と、撮影情報を用いることで被写体色による距離画像の距離計測誤差を補正することが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００ 画像処理装置
２０１ 画像読込部
２０２ 情報取得部
２０３ 補正量算出部
２０４ 距離補正部

Claims (15)

1. 被写体の距離情報に対して、前記距離情報とともに取得されたカラー画像の情報を用いて補正する画像処理装置であって、
   前記カラー画像および距離情報の取得時の撮影情報である第１の情報と、前記距離情報の算出に用いられた第２の情報を取得する取得手段と、
   前記第１および第２の情報を用いて、前記距離情報の補正量を算出する算出手段と、
   前記補正量と前記第１の情報を用いて、前記距離情報を補正する補正手段と、を備え、
   前記取得手段は、前記第１の情報として前記カラー画像の生成にて色別に用いられた情報を取得し、前記第２の情報として撮像装置が備える撮像光学系の色収差情報を取得する
   ことを特徴とする画像処理装置。
2. 前記第１の情報は、前記カラー画像の生成にて算出されたホワイトバランス処理のゲイン情報または撮影時の光源の色温度情報を有する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、距離計測時に利用した空間周波数帯域、距離計測時に輝度信号の生成に用いたカラー画像の混合比率、および距離計測時に利用したウィンドウサイズのうち、１つ以上の情報を取得する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記取得手段は、前記撮像光学系の焦点距離をさらに取得し、
   前記補正手段は、前記被写体までの距離、前記焦点距離、および前記補正量を用いて、前記距離情報を補正する
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記算出手段は、前記カラー画像の局所領域における色別の強度情報を算出し、前記強度情報および前記第１の情報を用いて、各色に係る輝度画像が距離計測に与えた影響度合いを表す寄与率を算出して、前記寄与率および前記第２の情報に基づく加重平均から前記補正量を算出する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記算出手段は、前記空間周波数帯域の情報を用いて前記カラー画像から所定の空間周波数帯域の成分を抽出した画像にて、前記カラー画像の局所領域における色別の強度情報を算出し、前記強度情報および前記第１の情報を用いて、各色に係る輝度画像が距離計測に与えた影響度合いを表す寄与率を算出して、前記寄与率および前記第２の情報に基づく加重平均から前記補正量を算出する
   ことを特徴とする請求項３に記載の画像処理装置。
7. 前記算出手段は、前記カラー画像の局所領域における色別の強度情報を算出し、前記強度情報と前記第１の情報と前記混合比率を用いて、各色に係る輝度画像が距離計測に与えた影響度合いを表す寄与率を算出して、前記寄与率と前記第２の情報に基づく加重平均から前記補正量を算出する
   ことを特徴とする請求項３に記載の画像処理装置。
8. 前記算出手段は、前記空間周波数帯域の情報を用いて前記カラー画像から所定の空間周波数帯域の成分を抽出した画像にて、前記カラー画像の局所領域における色別の強度情報を算出し、前記強度情報と前記混合比率を用いて、各色に係る輝度画像が距離計測に与えた影響度合いを表す寄与率を算出して、前記寄与率と前記第２の情報に基づく加重平均から前記補正量を算出する
   ことを特徴とする請求項３に記載の画像処理装置。
9. 前記算出手段は、前記局所領域における色別の強度情報を算出する際、距離計測時に利用したウィンドウサイズを用いる
   ことを特徴とする請求項５から８のいずれか１項に記載の画像処理装置。
10. 前記強度情報は、前記局所領域における輝度和、平均輝度、または標準偏差の情報である
    ことを特徴とする請求項５から９のいずれか１項に記載の画像処理装置。
11. 請求項１から１０のいずれか１項に記載の画像処理装置と、
    前記カラー画像および距離情報の取得に用いられる撮像素子と、を備える
    ことを特徴とする撮像装置。
12. 前記算出手段は、像側でのデフォーカス量である前記補正量を算出する
    ことを特徴とする請求項１１に記載の撮像装置。
13. 前記距離情報は、前記カラー画像が画像処理される前の画像から生成される距離画像の情報、または、オートフォーカス機能により合焦した画像中の１点または複数の点における距離情報である
    ことを特徴とする請求項１１または請求項１２に記載の撮像装置。
14. 被写体の距離情報に対して、前記距離情報とともに取得されたカラー画像の情報を用いて補正する画像処理装置にて実行される画像処理方法であって、
    前記カラー画像および距離情報の取得時の撮影情報である第１の情報と、前記距離情報の算出に用いられた第２の情報を取得する取得工程と、
    前記第１および第２の情報を用いて、前記距離情報の補正量を算出する算出工程と、
    前記補正量と前記第１の情報を用いて、前記距離情報を補正する補正工程と、を有し、
    前記取得工程にて、前記第１の情報として前記カラー画像の生成にて色別に用いられた情報を取得し、前記第２の情報として撮像装置が備える撮像光学系の色収差情報を取得する処理が行われる
    ことを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法の各工程をコンピュータに実行させるプログラム。

Images