JP2016061609A - 距離計測装置、撮像装置、および距離計測方法 - Google Patents

Abstract

【課題】ＤＦＤ方式で距離計測をする際に、一枚のカラー画像から簡易な演算で距離情報を算出する。
【解決手段】一枚のカラー画像から被写体の距離情報を算出する距離計測装置であって、前記カラー画像の複数のカラープレーンから結像位置が異なる少なくとも２つのカラープレーンを選択する選択手段と、選択されたカラープレーン間の輝度ずれを調整する調整手段と、輝度ずれが調整された２つのカラープレーンのぼけの違いを用いて距離情報を算出する算出手段と、を備える。
【選択図】図２

Description

本発明は距離計測装置に関連し、特に１枚のカラー画像から被写体までの距離を計測する技術に関する。

従来、撮像装置によって取得された画像から撮影シーンの距離を取得する手法として特許文献１のようなＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）法が提案されている。ＤＦＤ法では撮像光学系の撮影パラメータを制御することでぼけの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのぼけの大きさや相関量を算出する。このぼけの大きさや相関量は画像中の被写体の距離に応じて変化するため、その関係を用いて距離を算出する。ＤＦＤ法による距離計測は、１つの撮像系によって距離を算出することできるため、市販されている撮像装置に組み込むことが可能といった利点を有する。

しかしながら、複数枚の画像間には手ぶれや被写体の動きなどによるずれが生じており、ＤＦＤ法での距離計測精度が劣化するため位置ずれの対策として画像間の位置合わせを行うことが特許文献１に記載されている。

また、非特許文献１は、位置ずれや位置合わせを回避するために、一枚の画像から距離を算出することを提案する。より具体的には、非特許文献１は、軸上色収差を意図的に発生させた光学系によって一枚の画像を取得し、波長による結像位置の違いを利用して距離算出を行う方法を開示している。

特開２０１３−０４４８４４号公報

Passive depth estimation using chromatic aberration and a depth from defocus approach, P. Trouve, et. al., APPLIED OPTICS, Oct. 2013.

特許文献１に記載のＤＦＤ法では、画像間の位置ずれがあると距離精度が劣化するので画像を正確に位置合わせする必要がある。１画素単位での位置合わせを行う場合、位置合わせ処理の演算負荷が増加し、撮像装置などリアルタイムの処理が必要となる際に問題となる。

非特許文献１の手法は、距離算出に最適化計算を行うため演算負荷が多くリアルタイム処理が困難である。また、演算に必要な光学系の情報を保持するためのメモリも多く必要である。

上記のような問題を考慮して、本発明は、ＤＦＤ法による距離計測において１度の撮影で得られた１枚のカラー画像から簡易な演算で高速に距離計測を行うことを目的とする。

上記課題を解決するために、本発明に係る距離計測装置は、複数のカラープレーンを持
つ一枚のカラー画像から被写体の距離情報を算出する距離計測装置であって、複数のカラープレーンから結像位置が異なる少なくとも２つのカラープレーンを選択する選択手段と、選択されたカラープレーン間の輝度ずれを調整する調整手段と、輝度ずれが調整されたカラープレーンのぼけの違いを用いて距離情報を算出する算出手段と、を備えることを特徴とする。

また、本発明に係る距離計測方法は、複数のカラープレーンを持つ一枚のカラー画像から被写体の距離情報を算出する距離計測装置が行う距離計測方法であって、複数のカラープレーンから結像位置が異なる少なくとも２つのカラープレーンを選択する選択ステップと、選択されたカラープレーン間の輝度ずれを調整する調整ステップと、輝度ずれが調整されたカラープレーンのぼけの違いを用いて距離情報を算出する算出ステップと、を含むことを特徴とする。

本発明による距離計測方法によれば、通常の撮像光学系を用いて撮影された１枚のカラー画像から高速な距離計測が可能となる。

第一実施形態に係る撮像装置の構成を示す図。 第一実施形態における距離計測処理の流れを示すフローチャート。 第一実施形態における輝度調整処理の流れを示すフローチャート。 第一実施形態における距離マップ生成処理の流れを示すフローチャート。 第二実施形態における距離マップ生成処理の流れを示すフローチャート。 第三実施形態における距離マップ生成処理の流れを示すフローチャート。 第四実施形態における距離計測処理の流れを示すフローチャート。

（第一実施形態）
＜システム構成＞
図１は、本発明の第一実施形態に係る撮像装置のシステム構成図である。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、信号処理部１３、距離計測部１４、メモリ１５、入力部１６、表示部１７、記憶部１８を有する。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。本実施形態では、撮像光学系１０は可変焦点の光学系であり、制御部１２のオートフォーカス機能により自動焦点合わせが可能である。オートフォーカスの方式はパッシブ方式でもアクティブ方式でもよい。

撮像素子１１は、ＣＣＤやＣＭＯＳなどを有する撮像素子であり、カラー画像を取得する。撮像素子１１は、カラーフィルタを有する撮像素子でもよいし、色の異なる三板式の撮像素子でもよい。また、本実施形態の撮像素子１１はＲＧＢの３色のカラー画像を取得するが、可視光外も含む３色以上のカラー画像を取得する撮像素子であっても良い。

制御部１２は、撮像装置１の各部を制御する機能である。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッターやフラッシュ（いずれも不図示）の制御、入力部１６や表示部１７や記憶部１８の制御などがある。

信号処理部１３は、撮像素子１１から出力された信号に対して処理を行う手段である。具体的な信号処理部１３の機能は、アナログ信号のＡ／Ｄ変換やノイズ除去、デモザイキ
ング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などがある。信号処理部１３から出力されるデジタル画像データは一時的にメモリ１５に蓄積された後、表示部１７への表示、記憶部１８への記録（保存）、距離計測部１４への出力などがされ、所望の処理が行われる。

距離計測部１４は、取得した一枚のカラー画像から色（波長）ごとの結像位置の違いを利用して、画像中の物体（被写体）までの奥行き方向の距離情報を算出する機能部である。距離計測部１４は、一枚のカラー画像から異なる２つのカラープレーンを選択して、２つのカラープレーンのぼけの違いを用いて距離情報を算出する。距離計測の詳しい動作については後述する。

入力部１６は、ユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。

表示部１７は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１７は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。

記憶部１８は、撮影された画像データや、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１８としては、高速に読み書きでき、且つ、大容量の記憶媒体を用いることが好ましい。例えばフラッシュメモリなどを好適に用いることができる。

＜被写体距離の計測方法＞
次に、撮像装置１が行う距離計測処理について、処理の流れを示したフローチャートである図２を参照しながら詳細に説明する。

ユーザが、入力部１６を操作して距離計測の実行を指示し撮影を開始すると、オートフォーカス（ＡＦ）や自動露光制御（ＡＥ）が実行された後に撮影を実行し、フォーカス位置と絞り（Ｆナンバー）を決定する（ステップＳ１１）。その後、ステップＳ１２にて撮影が実行され、撮像素子１１から画像が取り込まれる。

撮影された画像は、ステップＳ１３で距離計測に適した画像となるように信号処理部１３でカラーフィルタに対応する複数のカラープレーンが生成され、一時的にメモリ１５に蓄積される。例えば、撮影画像がベイヤー配列のカラー画像の場合は、同じカラーフィルタの画素を抜き出して４つのカラープレーンを生成する。なお、カラー画像や各カラープレーンの具体的なデータフォーマットは特に限定されない。このとき２つのグリーンプレーン（Ｇプレーン）を統合するかまたはいずれかを選択してＲＧＢ３つのカラープレーンとしてもよい。また、デモザイキング処理を行うことで生成したＲＧＢカラープレーンを利用してもよい。デモザイキング処理によって生成されたカラープレーンでは、カラーフィルタの透過率による輝度の違いやホワイトバランスが調整される。一方、画素抜き出しによって生成されたカラープレーンには、カラーフィルタの透過率による輝度の違いが残存している。

ステップＳ１４からステップＳ１６は、距離計測部１４によって行われる処理である。
まずステップＳ１４で、１枚のカラー画像中の複数のカラープレーンから距離計測に利用する２つのカラープレーンを選択する。このとき、予め計測によって得られた各カラープレーンの結像位置の差（軸上色収差）、または光学設計データから得られる軸上色収差の大きさを指標に用いて選択を行う。カラーフィルタの透過波長はある程度の波長幅を持
っているため、各カラープレーンの結像位置はカラーフィルタを透過する波長の光像の結像位置が合成された位置となる。結像位置は、更に被写体の分光反射率にも依存する。そこで結像位置を比較するに当たり、カラーフィルタにおいて最も透過率の高い波長や中心波長といった代表波長の光像の結像位置の違いを用いて軸上色収差を評価するのがよい。他にもカラーフィルタ中の波長に透過率に応じた重み付けをして得られる平均値（カラーフィルタの重心波長）を求め、その波長の光像の結像位置を用いて軸上色収差を評価するのも良い。

軸上色収差を考慮したカラープレーンの選択方法について説明する。１つの方法として、各カラープレーンの軸上色収差が大きい２色を選択する方法がある。一般のカメラに用いられる撮像光学系では軸上色収差が小さく抑えられているが、ＤＦＤを用いる場合には結像位置の差が大きいことが好ましいからである。別の方法として、カラーフィルタの透過率が高く光学系の設計波長に近いカラープレーンと、このカラープレーンとの結像位置の差が最も大きいカラープレーンを選択する方法がある。例えば撮影画像からＲＧＢの３つのカラープレーンが得られる場合、一般にカラーフィルタの透過率が高く光学系の設計波長に近いＧプレーンを基準プレーンとして用いるのが好適である。そして、レッドプレーン（Ｒプレーン）、ブループレーン（Ｂプレーン）のうちＧプレーンとの結像位置の差が大きいカラープレーンを他方のカラープレーンとして選択する。ズームレンズの場合は、光学設計により焦点距離によって軸上色収差の大きな色が変わる場合がある。そのため、焦点距離ごとに軸上色収差情報、または選択するカラープレーン情報を保持しておき、撮影時の焦点距離に対応したカラープレーンを選択する。

ＤＦＤ法で測距を行う際に必要な２画像間の結像位置の違いは、撮像素子の１ピクセルサイズが２μｍ程度のときでＦナンバーが４の場合、２０〜３０μｍ程度である。この程度のカラープレーン毎の結像位置の違いは、一般的なコンパクトデジタルカメラにおいて軸上色収差によって生じうる。よって、あえて軸上色収差を大きく発生させるような光学設計にすることなく測距が可能である。

ステップＳ１５では、ステップＳ１３で生成されたカラープレーンにおいて、カラーフィルタの透過率の違いや被写体の分光反射率の違いによって生じるカラープレーン毎の輝度の相違を調整する。ステップＳ１３においてベイヤー配列から各カラーを抜き出してカラープレーンを生成した場合は、カラーフィルタの透過率の違いによる輝度値の違いや被写体の分光反射率による輝度値の違いの双方が残存している。一方、デモザイキング処理によってカラープレーンを生成した場合は、カラーフィルタの透過率やホワイトバランスは補正されており、被写体の分光反射率の違いによる輝度値の違いが残存している。カラープレーンごとに輝度値が相違する場合は、光ショットノイズの量が異なりぼけによる変化のみを検出することができず、計測される距離に誤差が生じる。よって、カラーフィルタの透過率や分光反射率の違いによる輝度値の違いを調整する必要がある。

カラーフィルタの透過率が補正されていないカラープレーンが入力された場合は、まずカラーフィルタの透過率によって輝度調整を行う。調整方法としては、選択された２つのカラープレーンのそれぞれのカラーフィルタの透過率の比を算出し、一方のカラープレーン（透過率比の分母に対応するカラープレーン）に対して算出した比を乗算する。このとき透過率の高いカラープレーンを基準にもう一方のカラープレーンの透過率との比を算出し、その比を透過率の低いカラープレーンにかけ合わせるのが好適である。例えば、ＲＧＢのうちＧプレーンとＲプレーンが選択された場合において、Ｇフィルタの透過率ＴｇがＲフィルタの透過率Ｔｒより高い（Ｔｇ＞Ｔｒ）場合、ＲプレーンＩｒの輝度を数式１のように調整する。

一方、カラーフィルタの透過率による補正が終わった後のカラープレーン、もしくはデモザイキング処理によって生成されたカラープレーンに対しては、被写体の分光反射率の違いによる輝度値の違いの補正を実施する。

分光反射率の補正は局所領域ごとに実施する。選択された局所領域中には分光反射率の異なる被写体が存在する可能性があるが、局所領域中では一様な分光反射率を持つ同一被写体があると仮定する。その結果、局所領域におけるカラープレーンごとの輝度のばらつきの違いはぼけの違いによって生じ、輝度の平均の違いは単に同一被写体での分光反射率の違いによって生じているものと考えることができる。図３は、輝度調整のフローチャート図である。

まず領域設定ステップＳ２１においてカラープレーン中に局所領域を設定し、領域抽出ステップＳ２２において２つのカラープレーン中の局所領域画像をそれぞれ抽出する。次に、平均値算出ステップＳ２３で、選択された２つの局所領域においてそれぞれ輝度の平均値を算出し、調整値算出ステップＳ２４で２つの平均値の比をとって調整値を算出する。最後に調整ステップＳ２５で、調整値算出ステップＳ２４で分母にしたカラープレーンに対して算出した調整値を乗算することで輝度調整を行う。

分光反射率が低いとカラープレーンの値が小さく、ぼけによる輝度変化が小さくなってしまうが、上記の輝度調整処理によって輝度値を広げることで調整することができ、２画像でのぼけによる輝度変化を規格化できる。すなわち、分光反射率の違いによる影響を除外できる。

２つのカラープレーンの局所領域画像をＩ１、Ｉ２とし、Ｉ１の中心位置（ｘ、ｙ）の輝度調整を行う場合、輝度調整後の画像Ｉ１’の中心位置（ｘ、ｙ）の値は数式２で表される。

このとき輝度の低いカラープレーンの輝度値を上げるように調整するのが良い。調整値を上げることで画像中のノイズも大きくなるが、距離マップ生成処理の帯域制限ステップで高周波をカットするフィルタリングを行えばノイズの影響を抑えることができる。

なお、カラーフィルタの透過率による輝度の相違が残存したカラープレーンが入力された場合に、カラーフィルタの透過率に基づく補正処理（数式１）を省略して、局所領域内の輝度平均値に基づく補正処理（数式２）のみを実施しても良い。カラーフィルタの透過率の違いによる輝度の相違が、平均値に反映されるため同時に補正できるからである。

以上の処理を、画像全域に対して実行することで、輝度が調整された２つのカラープレーンを得る。

ステップＳ１６では、輝度調整された２つのカラープレーンから距離マップを算出する。距離マップとは、撮影画像中の被写体距離の分布を表すデータである。なお、被写体距離は、撮像装置から被写体までの距離であっても良いし、フォーカス位置から被写体まで
の相対的な距離であっても良い。また被写体距離は、物体距離であっても良いし像距離であっても良い。さらには、ぼけの大きさや相関量そのものを被写体距離を表す情報として用いても良い。算出された被写体距離の分布は表示部１７を通して表示され、また、記録部１９に保存される。

なお、ここでは輝度調整をステップＳ１５で実施する場合を説明したが、ステップＳ１５を実行せず、ステップＳ１６の距離マップ生成の中で実施することもできる。その場合、局所領域を抽出した後にステップＳ２３〜Ｓ２５を実行して局所領域の輝度調整を行い、その後に相関演算により距離依存値を算出する。

次に、ステップＳ１６で実施する距離マップを生成する処理（以下、距離マップ生成処理）について説明する。ステップＳ１６では、結像位置の異なる２つの画像からぼけ方の違いを利用して距離を算出するＤＦＤ法を用いる。図４は、第一の実施形態における距離マップ生成処理の流れを示したフローチャートである。

２つのカラープレーンが入力されると、帯域制限ステップＳ３１において、距離計測に利用する空間周波数帯を通過させ、その他の空間周波数帯を除去する。ぼけの変化が空間周波数によって異なるため、帯域制限ステップＳ３１において、安定した距離計測を行うために注目する周波数帯域のみを抽出する。空間周波数帯の抽出は、周波数空間に変換して行ってもよいし、フィルタリングによって行ってもよく、その手法は限定されない。通過数帯域は、高周波帯域はノイズの影響があるため低域から中域周波数を用いるのが良い。

次に空間周波数の帯域制限がなされたカラープレーンに対して、領域設定ステップＳ３２で、入力された２つのカラープレーンにおいて同じ座標位置の局所領域を設定する。１画素ずつずらして画像全体に渡り局所領域を設定し、以下の処理を行うことで入力画像全体の距離画像（距離マップ）を算出することが可能となる。距離マップは必ずしも入力画像と同じ画素数でなくともよく、入力画像の数画素ごとに算出しても良い。また、局所領域の設定は予め指定された１つ以上の領域に対して行っても良いし、入力部１６によりユーザが指定しても良い。

領域抽出ステップＳ３３では、前記領域設定ステップＳ３２で設定された局所領域を第一のカラープレーンおよび第二のカラープレーンから抽出する。

次に相関演算ステップＳ３４では、抽出された第一のカラープレーンの局所領域Ｉ１と、第二のカラープレーンの局所領域Ｉ２との相関ＮＣＣを数式３の式で算出する。

結像位置が異なる２つのカラープレーンがあった場合、２つの色の像面における結像位置の間でぼけの大きさが同等となる位置が存在し、その位置での相関が最も高い値となる。この位置はほぼ２色の結像位置の中間にあるが、色によるデフォーカスの違いにより中間よりややずれた位置に相関のピークが現れる。この相関のピークの位置から離れるに従い、２色のぼけ方は変化し相関が低下していく。つまりぼけが同じ位置をピークとしてその位置から前後に離れるに従い相関が低下する。相関値はデフォーカスによるぼけに応じた値となるため、相関値がわかれば対応するデフォーカス量を知ることができ、相対的な距離を算出することが可能となる。

なお、得られた相関値をそのまま距離情報として出力して利用しても良いし、像面での基準波長のフォーカス位置からの相対距離として出力しても良い。像面での相対距離を算出する際、相関値の特性は選択した色により異なるため、選択した色の組み合わせに応じた換算テーブルや換算式を保持しておく必要がある。また、Ｆナンバーによっても相対位置が異なるため、選択した色とＦナンバーの組み合わせごとに変換テーブルを持ち像面でのフォーカス位置からの相対距離に変換する必要がある。または、Ｆナンバーに依存する関数として変換式を用意する必要がある。更には、得られた相対距離を、焦点距離および物体側におけるフォーカス距離を用いて物体距離に変換して出力してもよい。

本実施形態では演算の方法として数式３を例に説明したが、２つのカラープレーン間のぼけの関係を判断できる数式であればよくこの式に限定するものではない。演算に応じた出力値と像面でのフォーカス位置の関係が既知であれば相対距離への変換が可能である。

他の演算例としては、以下の数式４などが挙げられる。

また、フーリエ変換を行い周波数空間での評価値による距離算出演算として数式５などが挙げられる。

ここでFはフーリエ変換を表し、OTFは光学伝達関数、Sは撮影シーンのフーリエ変換結
果を表している。数式５では、２つの撮影条件における光学伝達関数の比が得られ、予め光学系の設計データからこの値のデフォーカスによる変化を知ることができるため相対距離への変換が可能となる。

本実施形態によれば、撮影された１枚のカラー画像から結像位置の異なる２つのカラープレーンを選択して相関演算によりぼけ変化を検出することで距離情報を算出することが可能となる。よって、フォーカスを変えて二画像を取得する際に生じる手ぶれや被写体の移動に伴う位置ずれがなく、演算負荷の大きい位置合わせ処理なしで距離情報の算出が可能となる。また、カラーフィルタによる透過率の違いを調整することで、距離計測精度を向上させることができる。更には、局所領域の輝度平均により２つのカラープレーン間の輝度調整を行うことで、被写体の分光反射率の違いによらず安定した距離計測が可能となる。

また、軸上色収差を意図的に発生させた光学系でなくともよく、残存する軸上色収差程度でもその値が既知であれば距離計測が可能となる。よって、距離情報とともに同一視点の高画質な画像も合わせて取得することが可能といった利点がある。

（第二実施形態）
第二実施形態は、カラープレーンの位置合わせ処理を追加した実施形態である。第二実施形態における撮像装置１の構成は、第一実施形態と同様であり、距離計測処理も距離マップ生成処理Ｓ１６を除いて同様である。以下、第一実施形態との相違点である距離マップ生成処理Ｓ１６について説明する。図５は、第二実施形態における、距離マップ生成処理Ｓ１６の流れを示したフローチャートである。

距離計測部１４は、画像を入力すると、ステップＳ４１で、２つのカラープレーン間の倍率色収差に起因する位置ずれを合わせる処理（以下、位置合わせ処理）を実行する。各カラープレーンは、倍率色収差により像の大きさが異なっているため、特に像高の高い位置では局所領域中の被写体がずれてしまい正しくぼけの比較を行うことができない。そこで、予め計測したまたは光学設計の値から算出した補正値（倍率色収差情報）を保持しておき、カラープレーンごとに拡大縮小処理を行って倍率の違いによる位置ずれを補正する。

ステップＳ４２〜Ｓ４４の処理は、第一実施形態におけるステップＳ３１〜Ｓ３４と同様であるため説明は省略する。

なお、ベイヤー配列画像から画素選択により生成したカラープレーンを用いる場合に生じる位置ずれに対しては、デモザイク処理した画像に対して同じ画素位置の値を選択することで位置のあったカラープレーンを生成することが可能である。

本実施形態によれば、倍率色収差によって生じるカラープレーンの位置ずれを補正することで、画像全域にわたってより高精度な距離計測が可能となる。なお、本実施形態における位置合わせ処理は、カラープレーン全体を拡大縮小する処理であるため、演算量の増加量はそれほど大きくない。

（第三実施形態）
第三実施形態は、２つのカラープレーンの選択を局所領域別に行う場合の実施形態である。第三実施形態における撮像装置１の構成は、第一実施形態と同様である。距離計測処理の流れは第一実施形態（図２）とほぼ同様であるが、第一実施形態におけるステップＳ１４のカラープレーンの選択を、第三実施形態ではステップＳ１６の距離マップ生成処理の内部で行う点が異なる。すなわち、第三実施形態における距離計測処理は、第一の実施形態と比較して、図２に示すフローチャートからステップＳ１４の処理が省略され、ステップＳ１６の距離マップ生成処理の内容が異なる。以下、第三実施形態における距離マップ生成処理Ｓ１６について説明する。図６は、第三実施形態における距離マップ生成処理Ｓ１６の流れを示したフローチャートである。

距離計測部１４には２色選択前の複数のカラープレーンを入力する。複数のカラープレーンが入力された後に実行されるステップＳ５１〜ステップＳ５３の処理は、処理するカラープレーンの数が増えたのみで第一実施形態のステップＳ３２〜ステップＳ３３の処理と同様であるため説明は省略する。

次に、ステップＳ５４において局所領域の各カラープレーンの輝度の大きさによって選択する２色のカラープレーンを決定する。全てのカラープレーンが有意な輝度値である場合は、第一実施形態同様に結像位置の差が大きい２つのカラープレーン、またはＧプレーンを基準として差が大きいカラープレーンを選択するのが良い。しかしながら、被写体によっては分光反射率が小さくＧプレーンの値が極端に小さい場合も考えられる。このような場合、距離計測にＧプレーンを用いてもノイズの影響などで有意な値を得ることができない。よって、カラープレーンの局所領域の輝度値が閾値以上のカラープレーンのうち、結像位置の差が大きい２つカラープレーンを選択してステップＳ５５を実行する。なお、輝度値の判定には、空間周波数の帯域制限された後のカラープレーンを用いても良いし、帯域制限前のカラープレーンを用いても良い。また、輝度値が閾値以上のカラープレーンが１つ以下であった場合は、測距不能領域として出力する。

選択したカラープレーンのペアにより結像位置のずれ量が異なるため、同じ距離にある
物体あっても得られる相関値などの距離依存値も異なる。よって、結像位置のずれによる補正を行ったうえで結果を出力する。

本実施形態によれば、被写体の分光反射率によって色によっては輝度の弱い領域があったとしても他の色を用いることで安定した距離計測を行うことが可能となる。また、低輝度領域や、単一波長に近い色の場合など色による結像位置の差が得られない場合など距離計測が正確に行えない領域を検出することが可能となる効果がある。

（第四実施形態）
第四実施形態は、選択する２つのカラープレーンを変えて複数回距離計測を行う実施形態である。第四実施形態における撮像装置１の構成は、第一実施形態と同様であり、距離計測処理の全体的な流れが相違する。以下、第一実施形態との処理の相違点について説明する。図７は、第四実施形態における距離計測処理の流れを示したフローチャートである。

第一実施形態との相違点は、２つのカラープレーンからなるカラープレーンの組み合わせを複数選択し、それぞれの組み合わせについてステップＳ６４〜Ｓ６６の処理を実施する点である。選択する２つのカラープレーンの組み合わせは、全ての組み合わせであってもよいし、あらかじめ定められた一部の組み合わせであってもよいし、所定の条件を満たす一部の組み合わせであってもよい。繰り返しの実施回数は予め決められた回数でも良いし、ユーザが設定しても良い。

ステップＳ６１〜ステップＳ６６の処理は、上記の点を除けば第一実施形態（図２）におけるステップＳ１１〜ステップＳ１６の処理と同様であるので、詳しい説明は省略する。

ステップＳ６４〜Ｓ６６を繰り返して生成された複数枚の距離マップは、ステップＳ６７で統合される。統合方法は任意であってもよい。領域ごとに、最も輝度の高いカラープレーン同士から生成された距離を選択して統合することができる。また、輝度に応じた重みづけ平均によって距離を算出して統合することもできる。

本実施形態によれば、選択する２つのカラープレーンの組み合わせを変えて複数回距離マップ生成を実行して得られた複数枚の距離マップを用いて統合処理を行うことで、被写体の分光分布に因らず安定した距離マップを生成することが可能となる。

＜変形例＞
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む撮像装置として実施することもできるし、撮像手段を有さない距離計測装置として実施することもできる。また、距離計測方法として実施することもできるし、当該距離計測方法を距離計測装置に実行させる画像処理プログラムとして実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
また、実施形態で説明した各要素技術は、任意に組み合わせてもよい。例えば、第一実施形態で説明した輝度調整処理と第二実施形態で説明した位置ずれ補正処理は、その両方を採用してもよいし、いずれか一方のみを採用してもよい。

＜実装例＞
上述した本発明の距離計測技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、あるいは撮像装置で得られた画像データに対し画像処理を施す画像処理装置
やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明を適用することができる。

また、実施形態の説明では、撮像装置本体に距離計測の機能を組み込んだ構成を示したが、距離計測は撮像装置以外で行ってもよい。たとえば、撮像装置を有するコンピュータに距離計測の機能を組み込み、撮像装置で撮影した画像をコンピュータが取得して、距離の算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに距離計測の機能を組み込み、当該コンピュータがネットワークを介して複数枚の画像を取得し、距離計測を行うようにしてもよい。

得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ボケ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１ 撮像装置
１４ 距離計測部

Claims (22)

1. 一枚のカラー画像から被写体の距離情報を算出する距離計測装置であって、
   前記カラー画像の複数のカラープレーンから結像位置が異なる少なくとも２つのカラープレーンを選択する選択手段と、
   選択されたカラープレーン間の輝度ずれを調整する調整手段と、
   輝度ずれが調整されたカラープレーンのぼけの違いを用いて距離情報を算出する算出手段と、
   を備えることを特徴とする距離計測装置。
2. 前記調整手段は、前記カラー画像の局所領域ごとに、それぞれのカラープレーンの輝度値の平均値に基づいて輝度のずれを調整する、
   ことを特徴とする請求項１に記載の距離計測装置。
3. 前記調整手段は、前記局所領域ごとに、輝度値の平均値が低い方のカラープレーンの輝度を大きくする、
   ことを特徴とする請求項２に記載の距離計測装置。
4. 前記調整手段は、選択されたカラープレーンのカラーフィルタの透過率の比に基づいて輝度ずれを調整する、
   ことを特徴とする請求項１から３のいずれか１項に記載の距離計測装置。
5. 選択された２つのカラープレーン間の位置ずれを補正する補正手段を更に備え、
   前記算出手段は、輝度ずれおよび位置ずれが補正されたカラープレーンに基づいて前記距離情報を算出する、
   ことを特徴とする請求項１から４のいずれか１項に記載の距離計測装置。
6. 前記補正手段は、撮像光学系の倍率色収差情報を用いて、いずれか一方のカラープレーンに拡大縮小処理を施すことで、倍率色収差に基づく位置ずれを補正する、
   ことを特徴とする請求項５に記載の距離計測装置。
7. 前記選択手段は、撮像光学系の軸上色収差情報を用いて、複数のカラープレーンのうち結像位置のずれが最も大きい２つのカラープレーンを選択する、
   請求項１から６のいずれか１項に記載の距離計測装置。
8. 前記選択手段は、撮像光学系の焦点距離ごとに選択するカラープレーンを格納したテーブルを保持し、撮影時の焦点距離に対応したカラープレーンを選択する、
   請求項１から６のいずれか１項に記載の距離計測装置。
9. 前記選択手段は、前記カラー画像の局所領域ごとにカラープレーンの選択を行い、
   前記局所領域ごとに、選択されたカラープレーンに基づいて距離情報の算出を行う、
   請求項１から６のいずれか１項に記載の距離計測装置。
10. 前記カラー画像は、３つ以上のカラープレーンからなり、
    前記選択手段は、２つのカラープレーンからなる組み合わせを複数選択し、
    前記算出手段は、前記複数の組み合わせのそれぞれのカラープレーンに基づいて複数の距離情報を算出し、複数の距離情報を統合した距離情報を出力する、
    請求項１から６のいずれか１項に記載の距離計測装置。
11. 撮像光学系と、
    複数のカラープレーンからなるカラー画像を取得する撮像素子と、
    請求項１から１０のいずれか１項に記載の距離計測装置と、
    を備える撮像装置。
12. 一枚のカラー画像から被写体の距離情報を算出する距離計測装置が行う距離計測方法であって、
    前記カラー画像の複数のカラープレーンから結像位置が異なる少なくとも２つのカラープレーンを選択する選択ステップと、
    選択されたカラープレーン間の輝度ずれを調整する調整ステップと、
    輝度ずれが調整されたカラープレーンのぼけの違いを用いて距離情報を算出する算出ステップと、
    を含むことを特徴とする距離計測方法。
13. 前記調整ステップでは、前記カラー画像の局所領域ごとに、それぞれのカラープレーンの輝度値の平均値に基づいて輝度のずれを調整する、
    ことを特徴とする請求項１２に記載の距離計測方法。
14. 前記調整ステップでは、前記局所領域ごとに、輝度値の平均値が低い方のカラープレーンの輝度を大きくする、
    ことを特徴とする請求項１３に記載の距離計測方法。
15. 前記調整ステップでは、選択されたカラープレーンのカラーフィルタの透過率の比に基づいて輝度ずれを調整する、
    ことを特徴とする請求項１２から１４のいずれか１項に記載の距離計測方法。
16. 選択された２つのカラープレーン間の位置ずれを補正する補正ステップを更に含み、
    前記算出ステップでは、輝度ずれおよび位置ずれが補正されたカラープレーンに基づいて前記距離情報を算出する、
    ことを特徴とする請求項１２から１５のいずれか１項に記載の距離計測方法。
17. 前記補正ステップでは、撮像光学系の倍率色収差情報を用いて、いずれか一方のカラープレーンに拡大縮小処理を施すことで、倍率色収差に基づく位置ずれを補正する、
    ことを特徴とする請求項１６に記載の距離計測方法。
18. 前記選択ステップでは、撮像光学系の軸上色収差情報を用いて、複数のカラープレーンのうち結像位置のずれが最も大きい２つのカラープレーンを選択する、
    請求項１２から１７のいずれか１項に記載の距離計測方法。
19. 前記選択ステップでは、撮像光学系の焦点距離ごとに選択するカラープレーンを格納したテーブルを参照して、撮影時の焦点距離に対応したカラープレーンを選択する、
    請求項１２から１７のいずれか１項に記載の距離計測方法。
20. 前記選択ステップでは、前記カラー画像の局所領域ごとにカラープレーンの選択を行い、
    前記局所領域ごとに、選択されたカラープレーンに基づいて距離情報の算出を行う、
    請求項１２から１７のいずれか１項に記載の距離計測方法。
21. 前記カラー画像は、３つ以上のカラープレーンからなり、
    前記選択ステップでは、２つのカラープレーンからなる組み合わせを複数選択し、
    前記算出ステップでは、前記複数の組み合わせのそれぞれのカラープレーンに基づいて
    複数の距離情報を算出し、複数の距離情報を統合した距離情報を出力する、
    請求項１２から１７のいずれか１項に記載の距離計測方法。
22. 請求項１２から２１のいずれか１項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images