JP2015072155A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】 距離情報を精度よく取得する。
【解決手段】 本発明に係る画像処理装置は、ぼけ方の異なる複数の画像から被写体の距離情報を取得する画像処理装置１３であって、撮像光学系１０で撮影された、複数の画像のぼけ方の違いから被写体の距離情報を算出する算出部１３３と、撮像光学系における像高に応じた補正データを用いて、距離情報を補正する補正部１３４と、を有する。
【選択図】 図１

Description

本発明は、撮影画像から被写体の距離情報を取得する画像処理装置、及びそれを備える撮像装置に関する。また、撮影画像から被写体の距離情報を取得する画像処理方法に関する。

撮像装置によって取得された二次元画像から画像中の被写体の奥行方向の距離を取得する方法として特許文献１のようなＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）方式が提案されている。ＤＦＤ方式では撮像光学系の撮影条件（撮影パラメータともいう）を制御することでぼけ方の異なる複数枚の画像を取得する。そして、測距画素およびその周辺画素を用いて複数画像間でのぼけの大きさやぼけの相関量を算出する。ぼけの大きさやぼけの相関量は撮像光学系の合焦位置から被写体までの距離に応じて変化するため、その相関量を用いることで撮像光学系の合焦位置から被写体までの距離を取得する。

特許文献２は、ＤＦＤ方式を用いて処理対象領域毎に演算したぼけの相関量から被写体距離を算出する測距装置であって、処理対象領域内の画素毎に画素単位のぼけの相関量に重み係数を設定し、重み係数に基づいてぼけの相関量の加重平均を行うものである。

特開平０１−１６７６１０号公報 特開２０１０−０１６７４３号公報

一般的な撮像装置の撮像光学系では像面湾曲、球面収差、コマ収差、軸上色収差などの収差があり、像高に応じてフォーカス位置が異なっている。ＤＦＤ方式などのぼけの変化を用いた測距方法では、撮像光学系のフォーカス位置を基準とした距離情報が得られるため、像高に応じてフォーカス位置が異なると距離情報にも像高に応じた誤差が生じる。

特許文献１及び２では、撮像光学系が有する像高に応じたフォーカス位置のずれによって距離情報の誤差が生じることについては言及されていない。

そこで本発明では、像高に応じてフォーカス位置が異なることを考慮し、精度良く被写体の距離情報を取得することを目的としている。

本発明に係る画像処理装置は、ぼけ方の異なる複数の画像から被写体の距離情報を取得する画像処理装置であって、撮像光学系で撮影された、複数の画像のぼけ方の違いから被写体の距離情報を算出する算出部と、前記撮像光学系における像高に応じた補正データを用いて、前記距離情報を補正する補正部と、を有することを特徴としている。

さらに本発明に係る画像処理方法は、撮像光学系で撮影された、複数の画像のぼけ方の違いから被写体の距離情報を算出する算出工程と、前記撮像光学系における像高に応じた補正データを用いて、前記距離情報を補正する補正工程と、を有することを特徴としている。

本発明は、距離情報を精度良く取得することができる。

実施形態１に係る画像処理装置を有する撮像装置の一例を示す模式図 画像の鮮鋭度と距離情報の説明するための図 実施形態１に係る画像処理方法の一例のフローチャート 実施形態１に係る距離情報の補正データの取得装置を示す模式図及び距離情報の補正データの取得方法の一例のフローチャート 周波数帯域と距離情報のデフォーカス特性との関係を説明するための図 実施例形態２に係る距離情報の補正データの取得方法の一例のフローチャート 実施形態２に係る画像処理装置を有する撮像装置の他の例を示す模式図 実施形態３に係る画像処理装置を有する撮像装置の一例を示す模式図 軸上色収差を説明するための光路図 軸上色収差と距離情報のデフォーカス特性との関係を説明するための図 倍率色収差を説明するための光路図 実施形態３に係る画像処理方法の一例のフローチャート

本発明は、撮影した画像から距離情報を算出する画像処理装置において、その改良を提案するものである。特には、撮影条件を変えて撮影した２枚以上の画像を用い、それらの画像のぼけ方の違いに基づいて被写体の奥行方向の距離情報を算出するための技術（ＤＦＤ方式）に関し、その改良を提案するものである。本明細書では、撮像装置の撮像光学系の収差等が生じた場合でも、ＤＦＤ方式により被写体の距離情報を精度良く算出する技術を提案する。係る技術は、例えば、デジタルカメラやデジタルビデオカメラ、監視カメラ等の撮像装置に搭載される画像処理装置（画像処理エンジン）の一機能として実装されうる。そして、撮影画像に対する各種画像処理（測距、距離マップ作成、被写体切出し、背景ぼかし、ぼけ効果付与、美肌処理、超解像処理等）に利用される。

本発明における距離情報とは、２画像のフォーカス位置の中間位置から被写体までの相対的な距離、もしくはどちらか１画像のフォーカス位置から被写体までの相対的な距離、撮影時の撮像装置から被写体までの絶対距離であってもよい。なお、絶対距離あるいは相対距離は、像面側での距離、物体側での距離のどちらであってもよい。また、距離は、実空間の距離で表されてもよいし、デフォーカス量で表されていてもよい。

本発明について、実施形態、図面を用いて詳細に説明するが、本発明は各実施形態の構成に限らない。また、各実施形態を組み合わせた構成も本発明に含まれる。

（実施形態１）
図１は、本実施形態に係る画像処理装置１３を備えた撮像装置１の構成を模式的に示している。撮像装置１は、撮像光学系１０、撮像素子１１、撮像光学系の制御部１２、画像処理装置１３、記憶部１４、入力部１５、表示部１６を有している。

画像処理装置１３は、処理部１３０、メモリ１３１、抽出部１３２、算出部１３３、補正部１３４などを有している。処理部１３０は、撮像素子１１から出力されるアナログ信号のＡＤ変換やノイズ除去、デモザイキング、輝度信号・色差信号変換、収差補正、ホライトバランス補正、色補正、ガンマ補正など各種信号処理を行う機能である。

処理部１３０から出力されるデジタル画像信号はメモリ１３１に蓄積され、記憶部１４への記録（保存）、距離情報算出などに供給される。抽出部１３２では、処理部１３０で所定の信号処理を行った撮像画像において、ぼけ方の異なる２枚の撮影画像から所定の周波数成分を抽出する機能を有する。算出部１３３では、２枚の撮影画像から抽出した夫々の周波数成分におけるぼけ方の違いから被写体の距離情報を算出する機能を有する。補正部１３４では、撮像光学系１０のフォーカス情報を基に、算出部１３３で算出した距離情報を補正する機能を有する。

＜距離情報の算出の原理＞
図１を用いて、フォーカスブラケット撮影を利用した距離算出について説明する。まず、制御部１２にて撮像光学系１０のフォーカスを第１のフォーカス位置Ｏｂｊ１に設定し、実線で示される光路を経て被写体を撮影する。続いて、制御部１２にて撮像光学系１０のフォーカスを第２のフォーカス位置Ｏｂｊ２に変更し、破線で示される光路を経て同じ被写体を撮影する。これにより、ぼけ方が異なる２枚の画像が撮像素子１１によって取得される。このように、撮影条件のうちフォーカス位置を変更する撮影方法をフォーカスブラケット撮影と呼ぶ。この他、撮影条件を変更して２枚の画像のぼけ方を異ならせる撮影方法として、２枚の画像を撮影する際に開口絞り径を変更するアパーチャーブラケット撮影がある。その他、ぼけ方が異なる複数枚の画像の撮影方法であれば本発明の適用は可能である。

また、図１では１枚のイメージセンサを有する撮像素子を例に挙げたが、それに限ったものではなく、色毎にイメージセンサを配置した３枚の撮像素子（所謂三板式の撮像素子）を用いてもよい。

本発明の距離情報算出では、２枚の画像の同じ被写体が写る小領域における相関を利用して距離情報を推定する。２枚の画像を撮影する間に、手ブレや被写体の移動が無い場合には同じ場所の小領域を用いるが、手ブレや被写体の移動がある場合には位置合わせ処理によって探索した同じ被写体が写る小領域を用いる。以下、手ブレや被写体の移動は無いものとして説明するが、手ブレや被写体の移動がある場合でも同じ被写体が写る小領域を用いれば同様に扱うことができる。

被写体が撮像光学系１０のフォーカス位置にある場合は高い鮮鋭度を有するが、被写体が撮像光学系１０のフォーカス位置から離れるに従って鮮鋭度が低下する。そして、フォーカス位置がある程度以上離れると鮮鋭度はなくなってしまう。

本実施形態では、抽出部１３２が、２枚の撮影画像から特定の周波数帯域の周波数成分を抽出する。そして、算出部１３３が、抽出した２枚の撮影画像の同じ周波数成分どうしのぼけ方の違いを検出して被写体の距離情報を取得する。具体的には、算出部１３３は、抽出した２枚の撮影画像の同じ周波数成分における相関量を算出し、相関量から被写体の距離情報を算出している。相関量ＮＣＣは式１で算出される。

ここで、Ｉ１_ｉは２枚の撮影画像のうちの一方の画像の小領域における特定の周波数成分の信号値、Ｉ１_ａｖは小領域における同じ特定の周波数成分の信号値の平均値である。また、Ｉ２_ｉは２枚の撮影画像のうちの他方の画像の小領域における同じ特定の周波数成分の信号値、Ｉ２_ａｖは小領域における同じ特定の周波数成分の信号値の平均値である。

フォーカスブラケット方式のＤＦＤ方式において相関量が最も高くなるのは２枚の画像のフォーカス位置の中間点の位置であり、そこから離れるに従って相関量は低下する。これを用いれば、被写体が２枚の画像のフォーカス位置の中間点からの相対位置が分かる。さらに、被写体が２枚の画像のフォーカス位置の中間点に対して、前側（撮像装置１に近づく方向）に位置するのか、後側（撮像装置１から離れる方向）に位置するのかを区別することもできる。具体的には、式２を満たせば、被写体は２枚の画像のフォーカス位置の中間点よりも画像１のフォーカス位置側にあり、式３を満たせば、被写体は２枚の画像のフォーカス位置の中間点よりも画像２のフォーカス位置側にある。

このように、被写体の位置を２枚の画像のフォーカス位置の中間点に対して前後判定可能である。前後判定結果をＤＦＤ方式により算出した距離情報に反映させることにより、前側から後側まで一貫した距離情報を算出することができる。前後判定の反映方法は、前側と判定された画素における距離情報ＤＳを式４で変換することで、前後判定反映後の距離情報ＤＳＲを取得することができる。なお、式４、５のように便宜的に、距離情報をＤＳを距離情報ＤＳＲに変換することで、デフォーカス位置と０乃至２までのＤＳＲ値とを一対一で対応づけることができる。
前後判定結果が「前側」の場合：ＤＳＲ＝２−ＤＳ ・・式４
前後判定結果が「後側」の場合：ＤＳＲ＝ＤＳ ・・式５

また、距離情報を実際の距離に変換する場合には、デフォーカス位置と周波数成分における相関量の変化との関係を予め算出して格納しておき、算出した相関量から逆算してデフォーカス位置を求めればよい。

周波数成分の抽出方法には２通りある。１つは、実空間用に設計したバンドパスフィルタを撮影画像に畳込み演算して特定の周波数帯の周波数成分のみを抽出する方法である。これは実空間上だけで画像処理をすることができるので演算コストが安価であるメリットがある。もう一つは、撮影画像をフーリエ変換して周波数空間の画像に変換してから、特定の周波数帯の周波数成分だけを抽出し、それを逆フーリエ変換して実空間画像に戻す方法である。こちらは、特定の周波数帯だけを抽出可能であるメリットがある。

ここでの距離情報は２枚の画像のフォーカス位置の中間点からの相対的な距離であるが、撮像装置１から被写体までの距離を求めることもできる。それにはまず、式６を用いて撮像装置１から撮像光学系１０のフォーカス位置までの距離Ｓ_ｏｂｊを求める必要がある。

ここで、Ｓ_ｉｍｇは撮像光学系１０から像面までの距離、ｆは撮像光学系１０の焦点距離である。

式６によって、撮像装置１から第１の画像を撮影した際のフォーカス位置Ｏｂｊ１までの距離Ｓ_ｏｂｊ１と_、撮像装置１から第２の画像を撮影した際のフォーカス位置Ｏｂｊ２までの距離Ｓ_ｏｂｊ２を求めることができる。そして、式７によって、撮像装置１からフォーカスブラケットの中間点までの距離Ｓ_ｏｂｊｍを求めることができる。

また、アパーチャーブラケット方式により２枚の撮影画像にぼけの変化を付けた場合、そこで求まる被写体の距離情報は撮像光学系１０のフォーカス位置からの相対的な距離となる。同様に、撮像装置から被写体までの距離を求めることもできる。

本発明では少なくとも距離情報を算出するものであり、必要に応じて実際の距離を算出するものである。実際の距離の必要性はアプリケーションに依存するが、例えば、被写体切出し、背景ぼかし、ぼかし効果付与などのアプリケーションにおいては距離情報のみで実現できる。

＜距離情報の補正＞
図２（ａ）〜（ｃ）は、フォーカスブラケット撮影で撮影したフォーカス画像の鮮鋭度、デフォーカス画像の鮮鋭度、その２つの画像から取得される距離情報を示している。図２（ａ）〜（ｃ）の各グラフにおいて、縦軸は鮮鋭度または距離情報のスコアを表し、横軸はフォーカスブラケットの中心からのデフォーカス位置を表す。図２（ａ）は、撮像素子の光軸上における２つの画像の鮮鋭度と距離情報を示している。図２（ｂ）は、撮像素子の光軸上から離れた周辺部での位置、つまり像高がゼロでない位置における２つの画像の鮮鋭度と距離情報を示している。図２（ｃ）は、撮像素子の光軸上から離れた周辺部での位置において、像面湾曲が発生した場合の２つの画像の鮮鋭度と距離情報を示している。

図２（ａ）において、実線はフォーカス画像の鮮鋭度を示しており、フォーカス画像の撮影時のフォーカス位置（グラフ中のデフォーカス位置：−６の位置）から離れるにしたがって画像の鮮鋭度が低下している。また、破線はデフォーカス画像の鮮鋭度を示しており、デフォーカス画像の撮影時のフォーカス位置（グラフ中のデフォーカス位置：＋６の位置）から離れるにしたがって画像の鮮鋭度が低下している。ここで、フォーカス画像のフォーカス位置とデフォーカス画像とのフォーカス位置の間隔であるフォーカスブラケット量は１２である。

図２（ａ）のグラフ中、丸のマーカーが付いた実線は距離情報を示している。これは、フォーカス画像とデフォーカス画像とから特定の周波数成分を抽出して相関値を算出したものであり、デフォーカス位置がゼロで距離情報のスコアが最大値を示す。図２（ａ）の例では、周期Ｔが２．０乃至２．２画素分に対応する周波数成分における距離情報であり、デフォーカス位置がゼロではスコアは０．９７９である。そこから離れるに従って距離情報のスコアは低下し、距離情報のスコアがデフォーカス位置±２０のあたりで、最小値０．１４８になる。この最小値をとるデフォーカス位置は、フォーカス画像かデフォーカス画像のどちらかの画像の鮮鋭度が最小値まで低下する位置とほぼ同じ位置である。この画像の鮮鋭度の落ち込みが測距範囲を決定する。このように、ぼけ方の異なる２つの画像から求めた距離情報は、各画像の鮮鋭度と強い関連を示す。

撮像光学系では一般的に光軸上の像高と比較して周辺部の像高に到達する光束は、見かけ上の開口絞り径が小さくなる関係で光束幅が細くなり、その焦点深度が広くなる傾向にある。さらに、画角が±３０ｄｅｇを超えるような広画角な撮像光学系では、周辺部の像高に到達する光束にはビネッティング（口径蝕）があり、更に光束幅が細くなって深度幅が拡大する傾向にある。

図２（ｂ）には周辺部の像高における画像の鮮鋭度と距離情報との関係を示されている。図２（ｂ）を用いて周辺部の像高における距離情報の深度幅について説明する。

図２（ｂ）のグラフ中の実線はフォーカス画像の周辺部の像高における画像の鮮鋭度を、破線はデフォーカス画像の周辺部の像高における画像の鮮鋭度を表している。図２（ａ）に示したグラフと比べて、図２（ｂ）のグラフではフォーカス位置から鮮鋭度が低下するまでのデフォーカス範囲が広くなっている。すなわち、焦点深度が深い状態になっている。図２（ｂ）のグラフ中の丸のマーカーが付いた実線は周辺部の像高における距離情報を表している。この距離情報は、画像の鮮鋭度の影響を受けて、距離情報が低下するまでのデフォーカス範囲が拡大し、深度が深い状態になっている。このように、周辺部の像高では到達する光束の幅が狭くなることにより距離情報の深度の拡大が生じている。

例えば「距離スコア＝０．２」となる２つのデフォーカス量の差の絶対値を「距離情報の深度幅」とすると、図２（ａ）より光軸上の距離情報の深度幅は２９．９（図２（ａ）の矢印の幅）である。一方、図２（ｂ）より周辺部の距離情報の深度幅は４８．１（図２（ｂ）の矢印の幅）であり、光軸上の約１．６倍の距離情報の深度幅を持つ。このように、像高に応じて距離情報の深度幅の違いが生じると、撮像素子あるいは撮像装置から同じ距離にある被写体が同じ距離スコアとして算出できず、距離情報の計測誤差を生じさせてしまう。

さらに、周辺部の像高における撮像光学系の像面湾曲が発生する場合の影響について説明する。

図２（ｃ）のグラフ中の実線はフォーカス画像の周辺部の像高における画像の鮮鋭度を、破線はデフォーカス画像の周辺部の像高における画像の鮮鋭度を表している。なお、図２（ｃ）のデフォーカス位置の基準は、像面湾曲がない場合であり、図２（ａ）と同じ位置である。周辺部の像高におけるフォーカス位置（画像の鮮鋭度のピーク）は、フォーカス画像撮影時はデフォーカス位置「−１１」にあり、デフォーカス画像撮影時はデフォーカス位置「＋１」にある。つまり、図２（ａ）のグラフに対して、２つの画像共にデフォーカス位置が「−５」オフセットしている。これは撮像光学系にデフォーカス量「−５」の像面湾曲が発生しているためである。したがって、それらの相関値から算出される距離情報も同様に、デフォーカス位置が「−５」オフセットする。この他、像高に応じてフォーカス位置を変動させる要因として、球面収差の発生量の違いや、コマ収差の発生量の違いが挙げられる。

図２（ｃ）のグラフ中の丸のマーカーが付いた実線は、像面湾曲がある場合の周辺部の像高における距離情報を表している。このような距離情報では、同じ距離スコアであっても同じデフォーカス位置ではなく、距離情報の深度幅の相違やデフォーカス位置の原点ずれが距離情報の計測精度に大きな誤差を発生させてしまう。

そこで本実施形態では、撮像光学系の像高に応じた距離情報の深度幅の相違やデフォーカス位置の原点ずれから生じる距離情報の誤差を補正してより精度の高い距離情報を取得している。つまり、ぼけ方の違いから被写体の距離情報を求める測距方式において、広画角の撮像光学系やビネッティングがある撮像光学系、像面湾曲がある撮像光学において撮影した画像であっても、距離情報を精度よく取得することを可能にするものである。

図３に本実施形態の撮像装置におけるフローチャートを示す。図３を用いて本実施形態の撮像装置における距離情報算出ならびに距離マップ作成に関する動作を説明する。

入力画像（Ｄ８０）は、撮像装置１でフォーカスブラケット方式で撮影したぼけ方が異なる２枚の撮影画像であるフォーカス画像とデフォーカス画像である。

周波数成分の抽出工程では、抽出部１３２がフォーカス画像とデフォーカス画像の夫々から測距に用いる周波数帯の周波数成分を抽出する（Ｓ８０）。周波数成分の抽出方法は、フーリエ変換を用いても良いし、実空間上でバンドパスフィルタのフィルタリングを実行しても良い。フーリエ変換を用いる場合は、撮影画像をフーリエ変換した後、測距に用いる周波数帯のみの周波数成分を抽出し、抽出した周波数成分を逆フーリエ変換して実空間画像に戻すことで、測距に用いる周波数領域のみの周波数成分を有した画像情報を抽出している。実空間上でバンドパスフィルタのフィルタリングを実行する場合は以下のように行う。すなわち、測距に用いる周波数領域を抽出可能なバンドパスフィルタを作成し、実空間画像にそのバンドパスフィルタを畳込み演算することで測距に用いる周波数領域のみの周波数成分を有した画像情報を抽出する。本実施形態ではフーリエ変換を用いて、測距に用いる周波数領域のみの周波数成分を有した画像情報を取得している。

距離情報の算出工程では、フォーカス画像の周波数成分とデフォーカス画像の周波数成分とのぼけ方の違いから、算出部１３３がＤＦＤ方式によって距離情報を算出している（Ｓ８１）。

距離情報の補正工程では、補正部１３４が補正データ（データＤ８１）を用いて、Ｓ８１で求めた距離情報を補正し、補正距離情報を算出する（Ｓ８２）。具体的には、補正データ（データＤ８１）が像高に応じた距離情報からデフォーカス位置へ変換する変換テーブルであり、Ｓ８１で求めた距離情報を変換テーブルに基づいてデフォーカス位置に変換する。ここで変換したデフォーカス位置を補正距離情報とすることにより、距離情報の深度幅が像高に応じて異なることから生じる距離スコアの相違を補正している。

距離マップの作成工程では、各画素の補正距離情報を集めて距離マップを作成する（Ｓ８３）。その他、穴埋め、距離層数の縮退などを用いて距離マップの整形を行い、その後の画像処理に有益な距離マップを提供する。

＜補正データの取得＞
図４（ａ）にＳ８２で使用する補正データの取得するための装置の構成図を示す。また、図４（ｂ）に補正データを取得するためのフローチャートを示す。図４を用いて本実施形態の撮像装置における補正データの取得方法に関する動作を説明する。

図４（ａ）において、撮像装置１から一般的な撮影距離だけ離れた位置に評価チャート９０を配置している。本実施形態では評価チャート９０は平板状のランダムパターン画像であり「物体距離Ｓｏｂｊ＝３ｍ」の位置に設置している。

図４（ｂ）のデフォーカス撮影工程では、評価チャート９０を奥行き方向に位置（９０ａ、９０ｂ）を変えながら各デフォーカス位置における画像を撮影する（Ｓ１００）。具体的には、撮像装置１が評価チャート９０にフォーカスを合わせて画像を撮影する。次に、評価チャート９０を奥行き方向に移動させて再び画像を撮影する。この際、画像撮影時のフォーカス位置は先程と同じ「物体距離Ｓｏｂｊ＝３ｍ」の位置であり、評価チャート９０の移動先９０ａ、９０ｂではない。そして、評価チャートの位置を順次変更することにより、各デフォーカス位置における画像を撮影する。これにより、各デフォーカス位置に対応した評価チャート９０の撮影画像（データＤ１００）を取得する。

画像鮮鋭度デフォーカス特性の算出工程では、各デフォーカス位置における撮影画像のフォーカス状態を確認する（Ｓ１０１）。具体的には、まず、各デフォーカス位置での撮影画像ｆに対して下記式８で示したラプラシアンフィルタｇをフィルタリングすることにより撮影画像から高周波成分（画素２．０個乃至２．２個分に対応）を抽出する。そして、対象画素の周囲の小領域にて「高周波成分の絶対値の和」から画像鮮鋭度Ｉを算出する。画像鮮鋭度Ｉは式９で算出される。

この画像鮮鋭度Ｉをデフォーカス位置と対応付けることにより像高に応じた画像鮮鋭度デフォーカス特性が算出できる。ここで、フォーカスが合った所は画像鮮鋭度Ｉが最も高くなり、デフォーカス量に応じてその量が減少することから、像高に応じたフォーカス位置（像面湾曲量）や画像鮮鋭度の深度を把握することができる。前述したように、距離情報はフォーカス画像のフォーカス位置とデフォーカス画像のフォーカス位置の中点で距離スコアが最高値を示し、どちらか一方の画像鮮鋭度が最低値に低下する辺りで距離情報も距離スコアが最低値を示すという関係がある。よって、画像の鮮鋭度を把握することで、像高に応じた距離情報のデフォーカス誤差や深度幅誤差を把握することができる。

補正データの作成工程では、光軸上の像高に対してフォーカス位置がずれている像高は、その分だけデフォーカス位置の原点をオフセットさせる補正データを作成する（Ｓ１０２）。これにより、距離情報のデフォーカス誤差の影響を補正することができる。さらに、光軸上の像高に対して深度幅がずれている像高はその分だけ、距離情報に対するデフォーカス位置の傾きを補正する補正データを作成する（Ｓ１０２）。これにより、距離情報の深度幅誤差の影響を補正することができる。このように、距離情報の補正データ（データＤ８１）を取得している。

そして、製造工程中に作成した補正データ（データＤ８１）を撮像装置１の記憶部１４に格納し、必要に応じて記憶部１４から補正データ（データＤ８１）を引き出せる状態にする。

このように本実施形態の撮像装置１では、撮像光学系の像高に応じた画像鮮鋭度デフォーカス特性を測定することにより、像高に応じたデフォーカス位置と距離情報との対応関係を取得している。これを用いて像高に応じた距離情報からデフォーカス位置へ変換可能な変換テーブルを作成して記憶部１４に格納している。具体的には、予め各画素におけるデフォーカス位置と距離情報との対応関係を把握しておき、算出された距離情報を基に各画素における被写体のデフォーカス位置を取得する。次に、各画素の被写体のデフォーカス位置から撮像光学系の像面湾曲量を差し引くことにより、被写体のデフォーカス位置を精度よく取得することが可能となる。そこで、像高に応じて算出される距離情報をＳｃｒとしたとき、デフォーカス位置Ｄｅｆは式１０により求めることができる。このとき、式１０の多項式に示した各次数項の係数は、例えば、図２（ｃ）の丸のマーカーが付いた実線をフィッティングして求めることができる。

ただし、Ｍは前後判定結果により変化する係数であり、式２を満たす場合はＭ＝１、式３を満たす場合はＭ＝−１である。これでデフォーカス位置の前後を区別できる。また、Ｏｆｓは撮像光学系のフォーカス位置のずれを示し、光軸上の像高に対する測距対象像高のずれ量を示している。

補正データ（データＤ８１）を取得する工程は、実際の撮影画像から距離情報の算出工程（Ｓ８１）を実行する前に実施すればよく、本実施形態では撮像装置の製造工程の一部で実施している。

このように、被写体の距離情報を算出した後、予め用意した補正データを用いて距離情報を補正するので、像高に応じた距離スコアの誤差を補正し、距離情報を精度よく得ることができる。また、撮像光学系として像面湾曲やレンズの製造誤差や組立誤差で片ぼけが発生した場合でも像高に応じたフォーカス位置のずれが距離情報に与える影響を補正し、良好に像高に応じた距離情報を得ることができる。

また、本実施形態では、鮮鋭度のデフォーカス特性から補正データを作成するため、２枚の画像における相関演算を用いず、１枚の画像で計算できるので、計算時間を短縮することができ、製造コストを安価にできる。

本実施形態では、搭載した撮像光学系そのものを用いて補正データを作成し、その補正データを基に距離情報を補正する例を示したが、これに限らない。別の個体の撮像装置に搭載した撮像光学系を用いて補正データを作成し、その補正データを記憶部１４に格納するようにしてもよい。その場合、例えば、同一ロットのレンズや鏡筒の撮像光学系を用いて補正データを作成すると、光学性能が類似していて距離情報の補正が精度良くできる。また、補正データは測定結果から作成するのではなく、設計情報を基に作成してもよい。この場合、レンズや鏡筒の設計値から像高に応じた距離情報の深度幅やフォーカス位置をシミュレーションした結果を用いるとよい。

本実施形態ではＤＦＤ方式において被写体の距離情報を算出したが、これに限ったものではなく、例えば、Ｄｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓ（ＤＦＦ）方式であっても良い。ＤＦＦ方式もＤＦＤ方式と同様にぼけの変化を利用して被写体の距離情報を算出する方式である。具体的には、撮像光学系のフォーカス位置を多数回変更して撮影した多数枚の画像を基に、各画素において最もピントがあった画像を探索し、その画像のフォーカス位置を基にして被写体の距離情報を算出するものである。ＤＦＦ方式の場合も同様に、距離以外の要因でぼけの変化が生じた場合には距離情報の計測誤差となり問題となる。従って、本発明の効果を用いることにより、計測精度の良い距離情報を算出することができる。

（実施形態２）
本実施形態は、補正データを作成する際に、測距に用いる周波数帯の周波数成分で算出した距離情報を基にした点が実施形態１と異なる。以下、実施形態１と異なる部分を中心に説明する。

本実施形態の撮像装置１の構成は実施形態１と同じであるが、抽出部１３４は、算出部１３２にて距離情報を算出する際や、補正部１３３にて距離情報を補正する際に撮影画像から所定の周波数帯の周波数成分を抽出する機能を有する。

図２に示したように、撮像光学系の構成や収差によって距離情報の深度幅やデフォーカス位置の原点ずれが、距離情報の計測誤差を発生させる。この際、算出部１３２において距離情報を算出する際に用いる周波数帯は、例えばラプラシアンフィルタで検出させるような高周波（周期２．０画素）だけとは限らず、高周波から少しだけ低い周波数帯を用いる場合もある。その方が撮像素子のノイズの影響を受けずに距離情報を精度良く安定して算出できる。そこで、本実施形態では、測距に用いる周波数帯を、周期２．２乃至２．５画素に対応した周波数とした。勿論この他の周波数帯を用いても同様に扱うことできる。

図５（ａ）に光軸上の像高における距離情報のデフォーカス特性を示す。また、図５（ｂ）に周辺部の像高における距離情報のデフォーカス特性を示す。図５（ａ）、（ｂ）を用いて、周波数帯による距離情報のデフォーカス特性の違いを説明する。

図５（ａ）のグラフ中の実線は周期が２．０画素の周波数成分による光軸上の像高における距離情報のデフォーカス特性を示す。一方、破線は周期が２．２乃至２．５画素の周波数成分による光軸上の像高における距離情報のデフォーカス特性の平均値を示す。高い周波帯の周期２．０画素の周波数成分による距離情報はデフォーカス変化に対する距離情報の変化が急である。一方、少し低い周波数帯の周期２．２乃至２．５画素の周波数成分による距離情報は、デフォーカス変化に対する距離情報の変化が緩やかである。このように、撮影画像から抽出する周波数帯に依存して距離情報の深度幅に差異が生じてしまう。

また、図５（ｂ）のグラフ中の実線は周期が２．０画素の周波数成分による周辺部の像高における距離情報のデフォーカス特性を示し、破線は周期が２．２乃至２．５画素の周波数成分による周辺部の像高における距離情報のデフォーカス特性を示す。周辺部の像高においても同様に撮影画像から抽出した周波数帯が異なれば距離情報の深度幅の違いにより距離スコアが異なる。また、撮像光学系の収差によっては、距離スコアがピークとなる距離情報のデフォーカス位置の原点も、周波数帯による差異が発生する場合がある。これらの問題が生じると、同じデフォーカス位置にある被写体の距離情報を算出した場合でも、撮影画像から抽出した周波数帯に依存して距離スコアが異なってしまい、距離情報の計測誤差が発生してしまう。

図６は本実施形態の補正データを取得するためのフローチャートを示す。図４（ａ）と図６を用いて本実施形態における補正データの取得に関する動作を説明する。

本実施形態では評価チャート９０は平板状のランダムパターン画像であり「物体距離Ｓｏｂｊ＝３ｍ」の位置に設置している。

図６のデフォーカス撮影工程（Ｓ１２０）では、評価チャートを奥行き方向に位置を変えながら、フォーカスブラケット方式によりぼけ方の異なる２枚の画像を撮影する。具体的には、撮像装置１が評価チャート９０にフォーカスを合わせてフォーカス画像を撮影し、次にフォーカス位置を奥にフォーカスブラケット量（ＦＢ）だけずらしてデフォーカス画像を撮影する。今度は評価チャート９０を奥行き方向に移動させて（位置９０ｂに移動させて）、再びフォーカス画像とデフォーカス画像を撮影する。この際、フォーカス画像撮影時のフォーカス位置は先程と同じ「物体距離Ｓｏｂｊ＝３ｍ」の位置であり、評価チャートの移動先ではない。また、デフォーカス画像撮影時のフォーカス位置は先程と同じ「物体距離Ｓｏｂｊ＝３ｍ＋ＦＢ」の位置である。そして、評価チャートの位置を順次移動させることにより、各デフォーカス位置に評価チャートを配置したフォーカス画像およびデフォーカス画像を撮影する。これらが、各デフォーカス位置に対応した評価チャート９０の撮影画像（データＤ１２０）である。

周波数成分の抽出工程では、各デフォーカス位置に対応した評価チャート９０の撮影画像（データＤ１２０）から、測距に用いる周波数帯の周波数成分を抽出する（Ｓ１２１）。本実施形態の撮像装置１で測距に使用する周波数帯は周期２．２乃至２．５画素なので、補正データを作成する際にも同様の周波数帯の周期２．２乃至２．５画素の周波数成分を用いる。周波数成分の抽出方法は、フーリエ変換を用いても良いし、バンドパスフィルタを用いても良い。フーリエ変換を用いる場合は、撮影画像をフーリエ変換した後、所定の周波数帯のみの周波数成分を抽出し、抽出した周波数成分を逆フーリエ変換して実空間画像に戻すことで、所定の周波数帯のみの周波数成分を有した画像情報を抽出している。撮影画像に実空間バンドパスフィルタをフィルタリングする場合は以下のように行う。すなわち、所定の周波数帯を抽出可能な実空間バンドパスフィルタを作成し、実空間画像にその実空間バンドパスフィルタを畳込み演算することで所定の周波数帯のみの周波数成分を有した画像情報を抽出する。本実施例ではフーリエ変換を用いて、所定の周波数帯のみの周波数成分を有した画像情報を取得している。

距離情報の算出工程では、各デフォーカス位置における距離情報を算出する（Ｓ１２２）。具体的には、Ｓ１２１で抽出されたフォーカス画像の所定の周波数成分とデフォーカス画像の、フォーカス画像と同じ所定の周波数成分とのぼけ方の違いから距離情報を算出する。この際、実際の測距時と同じ周波数帯の周波数成分を用いて距離情報を測定しているので撮像光学系の性能が要因となって発生する距離情報を精度よく把握することができる。具体的には、撮影光学系の開口絞りが見かけ状狭くなったり、ビネッティングによって周辺部の像高に到達する光束の幅が狭くなったりするため、距離情報の深度幅が光軸上よりも広くなる。この場合においても、測距時と同様の深度幅で距離情報のデフォーカス特性を算出できる。さらに、撮像光学系の像面湾曲などにより像高に応じてフォーカス位置が変化する場合であっても、測距時と同様のデフォーカス位置の原点ずれした距離情報を算出することができる。

補正データの作成工程では、Ｓ１２２で算出した距離情報を基に、実施形態１と同様の方法で補正データ（データＤ８１）を作成する（Ｓ１２３）。

そして、製造工程中に作成した補正データ（データＤ８１）を記憶部１４に格納し、必要に応じて記憶部１４から補正データ（データＤ８１）を引き出せる状態にする。

このように、本実施形態では、実施形態１で課題に挙げた撮像光学系による光束幅の減少、フォーカス位置のずれによって生じる距離情報の計測誤差に加えて、撮影画像から抽出した周波数帯に依存した距離情報の計測誤差を補正することができる。更には、実際の測距時と同じ周波数帯で距離情報を算出して距離情報の補正データを作成しているので、距離情報の補正が精度良く実行できる。これにより、測距に用いる周波数帯に依存せず、常に計測精度良く距離情報を算出することができる。また、これを用いた距離マップを生成することにより、精度の良い距離マップを生成することできる。

この距離マップは、撮影画像に対する各種画像処理（測距、距離マップ作成、被写体切出し、背景ぼかし、ぼけ効果、ぼけ付与、領域別画像処理等）に利用される。

本実施形態では１種類の周波数帯を用いて距離情報を算出する場合の距離情報の補正方法について説明したが、これに限ったものではなく、複数の周波数帯を用いて距離情報を算出する場合においても本発明の効果を十分に発揮することが出来る。具体的には、測距に用いる周波数帯のすべてにおいて予め前述の方法で距離情報のデフォーカス特性を取得しておき、周波数帯毎に補正データを作成する。距離情報を補正する際は対応する周波数帯の補正データを用いて補正を行うと精度良く補正することができる。補正データによって、各周波数帯の距離情報がデフォーカス位置に変換されるので、共通の指標で扱うことができる。

複数の周波数帯を用いて距離情報を算出する場合の撮像装置２は、図７に示した構成となる。この撮像装置２の画像処理装置２３は、画像処理装置１３に対して、複数の距離情報を統合して１つの距離情報を算出する統合部１３６をさらに有する。これにより、各周波数帯の距離情報を統合した統合距離情報を算出することができる。

この距離情報の統合には、周波数によってデフォーカス範囲が異なることを利用する。高い周波数帯の距離情報は距離分解能が良いメリットがあり、低い周波数帯の距離情報は計測できるデフォーカス範囲が広いメリットがある。このため、具体的には、図５（ａ）の実線の矢印のデフォーカス範囲では高い周波数帯を用い、図５（ｂ）の破線の矢印のデフォーカス範囲では低い周波数帯を用いて、それぞれの周波数帯で距離情報を算出し、これらを統合して１つの距離情報を算出する。各周波数帯の距離情報から成る統合距離情報は、これらのメリットを集められるメリットがある。すなわち、高周波成分でフォーカス位置近傍を距離分解能良く測距し、中域の周波数成分で中域のデフォーカス範囲を中位の距離分解能で測距し、フォーカス位置から遠く離れたデフォーカス範囲は低周波成分で測距すると良い。これにより、測距分解能を低下させることなく、測距範囲を拡大することができる。

（実施形態３）
本実施形態について説明する。本実施形態は、複数種の波長帯または色における距離情報から補正した距離情報を算出する点が実施形態２とは異なる。以下、実施形態２と異なる部分を中心に説明する。

図８は、本実施形態の撮像装置３の構成を模式的に示している。撮像装置３の画像処理装置１３は、画像処理装置１３対して、倍率色収差補正部１３５、統合部１３６をさらに有している。

撮像光学系１０は、フォーカスブラケット方式によりフォーカス画像とデフォーカス画像を撮影する。処理部１３０では、撮像素子１１から出力されるアナログ信号から、赤色画像、緑色画像、青色画像の３色デジタル画像信号（以下単に画像信号という）に変換する。赤色画像は主に５８０ｎｍ乃至７２０ｎｍの波長帯で撮影された画像である。緑色画像は主に４４０ｎｍ乃至６２０ｎｍの波長帯で撮影された画像である。青色画像は主に４００ｎｍ乃至５４０ｎｍの波長帯で撮影された画像である。

抽出部１３２は、フォーカス画像の各色の画像信号とデフォーカス画像の各色の画像信号とから測距に用いる周波数帯の周波数成分を抽出する機能を有する。算出部１３３は、フォーカス画像の各色の画像信号から抽出した周波数成分と、デフォーカス画像の各色の画像信号から抽出した周波数成分とのぼけ方の違いから被写体の距離を算出する機能を有する。本実施形態では、算出部１３３は、３色それぞれにおいて距離情報を算出する。ここで、同じ色の画像同士を比較することにより３色それぞれの距離情報を算出する。

補正部１３４では、算出部１３３で算出した各色の距離情報を、予め作成し記憶部１４に格納しておいた各色の補正データを用いて補正する機能を有する。本実施形態の撮像装置では、図６に示された実施形態２の方法で、１色ではなく各色に対応した距離情報の補正データを算出する。具体的には、撮像装置の製造工程において評価チャートを撮影した３色の撮影画像から測距に用いる周波数帯の周波数成分を抽出して距離情報を算出して作成した距離情報からデフォーカス位置情報への変換テーブルを作成し、これを補正データとしている。このように、補正部１３４では算出部１３３で算出した各色の距離情報をデフォーカス位置情報へ変換しており、全色で共通の指標に統一した距離情報に変換している。

倍率色収差補正部１３５は、撮像光学系の倍率色収差によって各色の距離情報に発生した像倍率ずれを補正する機能を有する。そして、統合部１３５では、補正部１３４により得られた３色の画像信号夫々から算出した距離情報を統合して１つの距離情報を算出する機能を有している。

一般的な撮像光学系で発生している軸上色収差や像面湾曲によるぼけの変化は人間には感じ取れない程小さなものであり、撮像画像の画質面では問題にならない。しかし、本実施例の撮像装置のようにぼけの変化から距離情報を算出する場合においては、人間には感じ取れない程の小さなぼけの変化をも検出することにより、距離情報の検出精度を向上させている。そのため、少量の収差（軸上色収差、像面湾曲）であっても距離情報の測距誤差を生じさせて問題となる。

図９を用いて一般的な撮像光学系における軸上色収差について説明する。図９には、撮像光学系１０が撮像素子１１へ向けて光束を集光している様子を示している。緑色の波長帯の光束１４０は撮像素子１１の位置で結像している。また、赤色の波長帯の光束１４１は撮像素子１１よりも後方で結像している。また、青色の波長帯の光束１４２は撮像素子１１より前方で結像している。このように、色（波長帯）によって結像位置がばらつく収差が軸上色収差である。Ａｘｒは赤色の波長帯の光束における軸上色収差、Ａｘｂは青色の波長帯の光束における軸上色収差を示し、緑色の波長帯の光束においては軸上色収差がほぼ０となっている。これは輝度信号の７割を緑色が占めており、緑色画像のフォーカス位置に撮像光学系のフォーカスが合い易くなっているためである。また、一般的に赤色は屈折力が弱く、青色は屈折力が強くなる傾向があるため、軸上色収差は赤色が後方に青色が前方に発生する場合が多い。

図１０には赤色、緑色、青色における距離情報のデフォーカス特性を示す。図１０を用いて、撮像光学系の軸上色収差が各色の距離情報に与える影響を説明する。図１０のグラフ中の実線は緑色画像における距離情報、破線は赤色画像における距離情報、一点鎖線は青色画像における距離情報である。緑色画像の距離情報のデフォーカス位置の原点はデフォーカス０の位置である。一方、赤色画像の距離情報のデフォーカス位置の原点はプラス方向（フォーカス位置より後方）にシフトしており、青色画像の距離情報のデフォーカス位置の原点はマイナス方向（フォーカス位置より前方）にシフトしている。これらは撮像光学系の軸上色収差による影響である。このように距離情報のデフォーカス位置の原点がずれることにより、同じデフォーカス位置にある被写体であっても色によって距離スコアが異なる。

そこで、本実施形態では、測距に使用する周波数帯と波長帯で距離情報を予め算出しておき、周波数帯や波長帯で発生する距離情報の計測誤差量を補正データとして見積もっている。その上で実際に距離情報を算出し、算出した距離情報から予め見積もっておいた補正データを差し引くことで精度良く距離情報を取得している。これにより、測距に使用する周波数帯や波長帯に依存せず、精度良く測距することが可能な撮像装置を提供することが出来る。

また本実施形態の撮像装置では、同時に算出した３色の距離情報を用いて、後述するように１つの距離情報を算出しており、距離情報の計測精度を更に向上させることができる。また、単色の被写体もあり他の色で距離情報を計測するのが難しい場合においても、本実施例の撮像装置においては３色の距離情報を同時に取得できるので、被写体の色に依存せず精度良く距離情報を取得することができる。

次に、図１１を用いて一般的な撮像光学系の倍率色収差について説明する。図１１には、撮像光学系１０が撮像素子１１へ向けて光束を集光している様子を示している。緑色の波長帯の光束１５０は撮像素子１１上に結像している。赤色の波長帯の光束１５１は緑色の波長帯の光束１５０よりも外側の像高で撮像素子１１上に結像している。青色の波長帯の光束１５２は緑色の波長帯の光束１５０よりも内側の像高で撮像素子１１上に結像している。図中Ｌｔｒは赤色の波長帯の光束における倍率色収差を示し、Ｌｔｂは青色の波長帯の光束における軸上色収差を示している。この場合も、赤色は屈折力が弱く、青色は屈折力が強くなる傾向があるため、倍率色収差は緑色の結像位置に対して赤色が外側に、青色が内側に結像する状態で発生する。

最近のデジタルカメラでは、撮像光学系の倍率色収差補正が実施されている。具体的には赤色画像や青色画像の像倍率ずれを緑色画像に合わせることで倍率色収差が補正されている。このとき、像倍率ずれを補正した赤色画像や青色画像ではサブ画素精度の位置合わせが行われている。サブ画素精度の位置合わせでは画素の補間処理が実行されるため元画像が有していた各画素の画像信号値が失われると同時にぼけの変化も精度良く検出することが難しくなってしまう。また、３色の距離情報を統合して１つの距離情報を算出する際、倍率色収差によって各色の像倍率がずれた状態では、１つに統合した距離情報の測距精度を向上させることができない。

そこで、本実施形態の撮像装置では、各色の画像信号に対して距離情報を算出し、各色で距離情報の補正を行い、倍率色収差補正を実施して各色の像倍率を揃えてから、各色から算出した距離情報を統合した距離情報を算出するようにした。これにより、各色の距離情報が精度良く算出できるとともに、３色の距離情報を統合した際に距離情報の測距精度を更に向上させることができる。

図１２は、本実施形態のフローチャートを示す。図１２を用いて本実施形態の撮像装置３における統合距離情報の算出と距離マップ作成に関する動作を説明する。

赤色周波数の抽出工程では、フォーカス画像の赤色画像信号とデフォーカス画像の赤色画像信号の２枚の赤色画像信号（データＤ１７００）から、抽出部１３２が測距に用いる周波数帯の周波数成分を抽出する（Ｓ１７００）。本実施形態において、測距に用いる周波数帯は実施形態２と同様の周期２．２乃至２．５画素に対応する周波数成分である。緑色周波数の抽出工程でも同様にフォーカス画像の緑色画像信号とデフォーカス画像の緑色画像信号の２枚の緑色画像信号（データＤ１７０１）から抽出部１３２が測距に用いる周波数帯の周波数成分を抽出する（Ｓ１７０１）。青色周波数の抽出工程も同様に２枚の青色画像信号（データＤ１７０２）から抽出部１３２が測距に用いる周波数帯の周波数成分を抽出する（Ｓ１７０２）。

赤色距離情報の算出工程では、抽出されたフォーカス画像の赤色周波数成分とデフォーカス画像の赤色周波数成分とのぼけ方の違いから、算出部１３３がＤＦＤ方式により被写体の赤色の距離情報を算出する（Ｓ１７０３）。緑色距離情報の算出工程でも同様に、抽出されたフォーカス画像の緑色周波数成分とデフォーカス画像の緑色周波数成分とのぼけ方の違いから算出部１３３が被写体の緑色の距離情報を算出している（Ｓ１７０４）。青色距離情報の算出工程でも同様に、抽出されたフォーカス画像の青色周波数成分とデフォーカス画像の青色周波数成分とのぼけ方の違いから算出部１３３が被写体の青色距離情報を算出している（Ｓ１７０５）。

そして、赤色距離情報の補正工程では、補正部１３４が赤色の補正データ（データＤ１７０３）を基に、Ｓ１７０３で算出した赤色距離情報を補正し、赤色の補正距離情報を算出する（Ｓ１７０６）。具体的には、軸上色収差や色の像面湾曲、色の像面湾曲といった収差を補正し、各色で共通の指標となるデフォーカス位置情報へ変換し、これを赤色の補正距離情報としている。緑色距離情報の補正工程では、補正部１３４が緑色補正データ（データＤ１７０４）を基に、Ｓ１７０４で算出した緑色距離情報を補正し、緑色の補正距離情報を算出する（Ｓ１７０７）。青色距離情報の補正工程では、補正部１３４が青色補正データ（データＤ１７０５）を基に、Ｓ１７０５で算出した青色距離情報を補正し、青色の補正距離情報を算出する（Ｓ１７０８）。

次に、赤色の倍率色収差の補正工程では、倍率色収差補正部１３５が赤色の補正距離情報の倍率色収差を補正する（Ｓ１７０９）。具体的には、赤色画像信号（データＤ１７００）の像倍率を緑色画像信号（データＤ１７０１）と等しく揃える。そして、像位置が重なる様に補正した画像信号の倍率色収差補正と同じ補正値を用いて、倍率色収差補正部１３５が赤色の補正距離情報の倍率色収差補正を行っている。この際、サブ画素精度で位置合わせを行ってもよく、赤色の補正距離情報は補間により元の赤色の補正距離情報から値が変更されても良い。これは既に距離情報を算出してあるので距離情報の奥行精度への影響が少ないからであり、それよりもサブ画素精度で位置合わせをすることにより横分解能を高めた方が結果として奇麗な距離情報が得られるからである。青色の倍率色収差補正工程でも同様に、倍率色収差補正部１３５が青色画像信号における倍率色収差補正と同じ補正値を用いて青色の補正距離情報の倍率色収差を補正する（Ｓ１７１０）。

続いて、距離情報の統合工程では、統合部１３６が倍率色収差補正により像倍率が揃えられた赤色、緑色、青色の３色の補正距離情報を１つの距離情報に統合し、統合距離情報を算出する（Ｓ１７１１）。これまでの工程では、各色の距離情報を精度良く算出するために補正を掛けてきたが、ここでは精度良く算出された距離情報を集めて更に精度の良い距離情報を算出するものである。統合距離情報の算出方法は、３色の距離情報の平均値を用いても良い。そうすれば、距離分解能が約１．７倍向上する。その他の算出方法としては、被写体の各色の信号値に応じて重み付けして平均化してもよい。信号値が高い色には、ぼけ方の変化を算出するための情報が含まれており、ノイズの影響を受け難く信頼度が高い結果が得られる。

次に、距離マップの作成工程では、このようにして算出した各画素の統合距離情報を集めて距離マップが作成される（Ｓ１７１２）。この距離マップは、撮影画像に対する各種画像処理（測距、距離マップ作成、被写体切出し、背景ぼかし、ぼけ効果、ぼけ付与、領域別画像処理等）に利用される。

このように、本実施形態の撮像装置３では、複数種類の波長帯の画像信号から距離情報を算出し、各色の距離情報における軸上色収差、倍率色収差、像面湾曲などの距離情報の誤差要因を補正する。そして、各色の距離情報を基にして統合距離情報を算出する。このため、精度良く距離情報を取得することができる。更には被写体の色情報の依存性が無いため、安定性の高い距離情報の取得が可能となる。

（実施形態４）
上述した本発明の画像処理方法は、例えば、デジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。上記実施形態では撮像装置の本体に画像処理装置の機能を組み込んだ構成を示したが、画像処理装置の機能はどのように構成してもよい。たとえば、撮像装置を有するコンピュータに画像処理装置を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて距離算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに画像処理装置が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて距離算出を行うようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ぼけ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置などに内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

デジタルカメラやデジタルビデオカメラ、監視カメラ等の撮像装置に搭載される画像処理装置（画像処理エンジン）の一機能として実装され、撮影画像に対する各種画像処理（測距、距離マップ作成、被写体切出し、背景ぼかし、ぼけ効果付与等）に利用される。

１３ 画像処理装置
１３３ 算出部
１３４ 補正部

Claims (19)

1. ぼけ方の異なる複数の画像から被写体の距離情報を取得する画像処理装置であって、
   撮像光学系で撮影された、複数の画像のぼけ方の違いから被写体の距離情報を算出する算出部と、
   前記撮像光学系における像高に応じた補正データを用いて、前記距離情報を補正する補正部と、を有することを特徴とする画像処理装置。
2. 前記複数の画像それぞれから少なくとも一つの周波数成分を抽出する抽出部をさらに有し、
   前記算出部が、前記少なくとも一つの周波数成分における前記複数の画像のぼけ方の違いから前記距離情報を算出し、
   前記補正部が、前記少なくとも一つの周波数成分における像高に応じた補正データを用いて前記距離情報を補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出部が、複数の周波数成分を抽出し、
   前記算出部が、各周波数成分における前記複数の画像のぼけ方の違いから複数の前記距離情報を算出し、
   前記補正部が、各周波数成分における像高に応じた補正データを用いて前記複数の距離情報それぞれを補正することを特徴とする請求項２に記載の画像処理装置。
4. 前記補正された複数の距離情報を統合する統合部をさらに有することを特徴とする請求項３に記載の画像処理装置。
5. 複数の周波数成分は、相対的に高い周波数成分と相対的に低い周波数成分を有し、
   前記統合部は、相対的にフォーカス位置に近い距離情報を前記高い周波数成分における距離情報を用い、相対的に前記フォーカス位置から遠い距離情報を前記低い周波数成分における距離情報を用いて、１つの距離情報に統合することを特徴とする請求項４に記載の画像処理装置。
6. 前記算出部が、赤、緑、青のうち少なくとも１色における前記距離情報を算出することを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記算出部が、赤、緑、青のうち複数の色における前記距離情報を算出し、
   前記複数の色それぞれにおける距離情報の倍率色収差を補正する色収差補正部をさらに有することを特徴とする請求項６に記載の画像処理装置。
8. 前記倍率色収差を補正された複数の距離情報を統合する統合部をさらに有することを特徴とする請求項７に記載の画像処理装置。
9. 前記統合部は、複数の距離情報の平均値を算出することを特徴とする請求項８に記載の画像処理装置。
10. 像高に応じた補正データは、デフォーカス位置の原点をオフセットさせるデータであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 像高に応じた補正データは、デフォーカス位置の傾きを補正するデータであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 撮像光学系と、
    請求項１乃至１１のいずれか１項に前記画像処理装置と、を有する撮像装置。
13. 撮像光学系で撮影された、複数の画像のぼけ方の違いから被写体の距離情報を算出する算出工程と、
    前記撮像光学系における像高に応じた補正データを用いて、前記距離情報を補正する補正工程と、を有することを特徴とする画像処理方法。
14. 前記複数の画像それぞれから少なくとも一つの周波数成分を抽出する抽出工程をさらに有し、
    前記算出工程において、前記少なくとも一つの周波数成分における前記複数の画像のぼけ方の違いから前記距離情報を算出し、
    前記補正工程において、前記少なくとも一つの周波数成分における像高に応じた補正データを用いて前記距離情報を補正することを特徴とする請求項１３に記載の画像処理方法。
15. 前記抽出工程において、複数の周波数成分を抽出し、
    前記算出工程において、各周波数成分における前記複数の画像のぼけ方の違いから複数の前記距離情報を算出し、
    前記補正において、各周波数成分における像高に応じた補正データを用いて前記複数の距離情報それぞれを補正することを特徴とする請求項１４に記載の画像処理方法。
16. 前記補正された複数の距離情報を統合する統合工程をさらに有することを特徴とする請求項１５に記載の画像処理方法。
17. 前記算出工程において、赤、緑、青のうち少なくとも１色における前記距離情報を算出することを特徴とする請求項１３又は１４に記載の画像処理方法。
18. 前記算出工程において、赤、緑、青のうち複数の色における前記距離情報を算出し、
    前記複数の色それぞれにおける距離情報の倍率色収差を補正する色収差補正工程をさらに有することを特徴とする請求項１７に記載の画像処理方法。
19. 前記倍率色収差を補正された複数の距離情報を統合する統合工程をさらに有することを特徴とする請求項１８に記載の画像処理方法。

Images