JP2015148532A - 距離計測装置、撮像装置、距離計測方法、およびプログラム - Google Patents

Abstract

【課題】複数の画像から距離推定を行う場合に、距離推定が正確に行えない領域を検出し、距離推定が正しく行われたかどうか判定可能とする。【解決手段】少なくとも第一の画像および第二の画像から距離情報を算出する距離計測装置であって、距離算出対象の各画素について、当該画素を含む第一の画像の局所領域と、当該局所領域に対応する第二の画像の局所領域とから、前記画素の距離情報を算出する第１算出手段と、前記第一の画像の局所領域と前記第二の画像の局所領域との非類似度を算出する第２算出手段と、前記非類似度が閾値以上であるかを判定する判定手段と、前記非類似度が前記閾値以上であると判定された所定領域内の局所領域の数の、前記所定領域内の局所領域の数に対する比率を算出する第３算出手段と、を備えることを特徴とする距離計測装置。【選択図】図１

Description

本発明は、距離計測技術に関連し、特に距離画像が正しく算出されたか判定を行う技術に関する。

従来より提案されている技術では、ステレオ法やＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）法、ＤＦＦ（Ｄｅｐｔｈ ｆｒｏｍ Ｆｏｃｕｓ）法などを用いて複数枚の撮像画像から距離を推定し、距離画像を生成する技術が提案されている。ステレオ法は、異なる視点から撮影された複数の画像中の対応する場所の視差から三角測量の原理に基づいて距離を算出する技術である。ＤＦＤ法およびＤＦＦ法は、撮影パラメータが異なる複数の画像中のぼけ変化に基づいて距離を算出する技術である。これらの手法で生成された距離画像には様々な要因による誤差が含まれ、距離画像を利用したアプリケーションの品質劣化につながる。特に、複数枚の画像を異なる時刻で連続的に取得した際に動いている被写体（以下、移動体と表現）が存在する場合や手ぶれが生じた場合、対応する画像がなかったり位置がずれたりした画像間での距離算出となり正しい値を得ることができない。

このような距離算出時の問題に対し、距離が正しく算出できていない領域を検出する手法として特許文献１が提案されている。特許文献１では、１枚の画像において距離を算出する領域内のコントラストを検出し、コントラストが低い場合にその領域の距離を不定として出力している。

また、複数枚の画像を合成する際に位置合わせの誤りを検出する手法が特許文献２に開示されている。特許文献２では、画像合成後に周波数特性を計測し、計測した周波数特性から位置合わせ処理の誤りを検出する方法が提案されている。

特開平０８−００５３７０号公報 特許第４８１４８４０号公報

撮影した複数の画像間でオクルージョンや位置ずれがあると、これらの撮影画像からステレオ法やＤＦＤ法、ＤＦＦ法に基づいて求めた距離情報には、距離推定エラーが発生することが知られている。

特許文献１は、１枚の画像中のコントラストのみから距離不定領域を検出しているため、２画像間のオクルージョンや位置ずれに起因する距離不定領域を検出することができない。

特許文献２では、複数枚の画像の位置合わせ処理後に合成した画像から周波数特性を算出して位置合わせの誤りを検出している。同様の手法をＤＦＤ法やＤＦＦ法に適用した場合は、誤検出の可能性が生じる。ＤＦＤ法やＤＦＦ法ではぼけの異なる複数の画像を用い、ぼけの異なる画像はたとえ位置があっていても周波数特性が異なるためである。

上記のような問題を考慮して、本発明の目的は、距離推定が正確に行えない領域を検出し、距離推定が正しく行われたかどうか判定可能とする技術を提供することにある。

上記課題を解決するために、本発明に係る距離計測装置は、少なくとも第一の画像および第二の画像から距離情報を算出する距離計測装置であって、距離算出対象の各画素について、当該画素を含む第一の画像の局所領域と、当該局所領域に対応する第二の画像の局所領域とから、前記画素の距離情報を算出する第１算出手段と、前記第一の画像の局所領域と前記第二の画像の局所領域との非類似度を算出する第２算出手段と、前記非類似度が閾値以上であるかを判定する判定手段と、前記非類似度が前記閾値以上であると判定された所定領域内の局所領域の数の、前記所定領域内の局所領域の数に対する比率を算出する第３算出手段と、を備えることを特徴とする。

また、本発明に係る距離計測方法は、少なくとも第一の画像および第二の画像から距離情報を算出する距離計測方法であって、距離算出対象の各画素について、当該画素を含む第一の画像の局所領域と、当該局所領域に対応する第二の画像の局所領域とから、前記画素の距離情報を算出する第１算出ステップと、前記第一の画像の局所領域と前記第二の画像の局所領域との非類似度を算出する第２算出ステップと、前記非類似度が閾値以上であるかを判定する判定ステップと、前記非類似度が前記閾値以上であると判定された所定領域内の局所領域の数の、前記所定領域内の局所領域の数に対する比率を算出する第３算出ステップと、を含むことを特徴とする。

本発明によれば、距離画像において距離推定が正しく行えない局所領域、およびその局所領域の割合（比率）を検出することにより、距離推定が正しく行われたかどうかが判定可能となる。

第一の実施形態に係る撮像装置の構成を示す図。 第一の実施形態における距離計測部の詳細機能ブロック図。 第一の実施形態における距離計測処理の流れを示すフローチャート図。 第一の実施形態における距離マップ生成処理の流れを示す図。 第二の実施形態における距離計測処理の流れを示すフローチャート図。 第二の実施形態における画像ずれ判定処理の流れを示す図。 第二の実施形態における距離マップ生成処理の流れを示す図。 第三の実施形態における画像ずれ判定処理の流れを示す図。 第三の実施形態における関心領域として抽出する顔領域を示す図。

（実施形態１）
＜システム構成＞
図１は、本発明の第一実施形態に係る撮像装置のシステム構成図である。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、信号処理部１３、距離計測部１４、メモリ１５、入力部１６、表示部１７、記憶部１８を有する。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。本実施形態における撮像光学系１０は可変焦点の光学系であり、制御部１２のオートフォーカス機能により自動焦点合わせが可能である。オートフォーカスの方式はパッシブ方式でもアクティブ方式でもよい。

撮像素子１１は、ＣＣＤやＣＭＯＳなどの光電変換素子を用いた撮像素子である。撮像素子１１は、カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよい
し、三板式の撮像素子でもよい。

制御部１２は、撮像装置１の各部を制御する機能である。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッターやフラッシュ（いずれも不図示）の制御、入力部１６や表示部１７や記憶部１８の制御などがある。

信号処理部１３は、撮像素子１１から出力された信号に対して処理を行う手段である。具体的には、アナログ信号のＡ／Ｄ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正および画像間の位置合わせなどを行う。画像間の位置合わせ処理では、一方の画像の局所領域と対応する他方の領域の局所領域を走査によって検出する手法や、一方の画像全体に座標変換（アフィン変換）を施す手法などを用いることができる。信号処理部１３から出力されるデジタル画像データは一時的にメモリ１５に蓄積された後、表示部１７への表示、記憶部１８への記録（保存）、距離計測部１４などに出力され、所望の処理が行われる。

距離計測部１４は、画像中の物体までの奥行き方向の距離を算出する機能部である。距離計測部１４は、図２に示すように、非類似度算出部１４１、判定部１４２、比率算出部１４３、画像ずれマップ生成部１４４、距離算出部１４５、距離補正部１４６を備える。それぞれの機能部の詳しい動作については後述する。

入力部１６は、ユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。

表示部１７は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１７は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。

記憶部１８は、撮影された画像データや、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１８としては、高速に読み書きでき、且つ、大容量の記憶媒体を用いることが好ましい。例えばフラッシュメモリなどを好適に用いることができる。

＜被写体距離の計測方法＞
次に、撮像装置１が行う距離計測処理を、図３のフローチャートを参照しながら詳細に説明する。本実施形態での距離計測方法はＤＦＤ法を用いる場合について詳細に説明する。ＤＦＤ法では、撮影パラメータを変えて異なる撮影時刻に撮影された複数の画像から距離の算出が行われる。

ユーザが、入力部１６を操作して距離計測の実行を指示し撮影を開始すると、制御部１２がオートフォーカス（ＡＦ）や自動露光制御（ＡＥ）が実行して、フォーカス位置と絞り（Ｆナンバー）を決定する（ステップＳ１１）。その後、ステップＳ１２にて一枚目の画像（第一の画像）の撮影が実行され、撮像素子１１から画像が取り込まれる。ここでは、フォーカス位置や絞りなどの撮影パラメータを撮像装置１が自動的に決定するものとして説明したが、これらの撮影パラメータの一部または全部をユーザが指定しても構わない。

一枚目の撮影が完了すると、制御部１２が撮影パラメータを変更する（ステップＳ１３）。変更される撮影パラメータとは、絞り（Ｆナンバー）、フォーカス位置、焦点距離の
少なくとも何れかひとつである。あらかじめ定められた方法に従って撮影パラメータを変更してもよいし、入力部１６でユーザが入力した情報に基づいて撮影パラメータを変更してもよい。撮影パラメータの変更が完了すると、処理はステップＳ１４に遷移し、二枚目の画像（第二の画像）の撮影が行われる。

本実施形態では、フォーカス位置を変更して二枚目の画像を撮影する。例えば、一枚目は、オートフォーカスにしたがって主被写体に合焦するように撮影を行い、二枚目は主被写体がぼけるようにフォーカス位置をあらかじめ定められた量だけ変更して撮影を行う。

ここで、高精度な距離計測を行うためには、シャッター速度を高速にし、かつ、撮影間隔を短くすることが望ましい。シャッター速度が高速であるほど、また、撮影間隔が短いほど、手ぶれや被写体ぶれの影響が軽減されるためである。ただし、シャッター速度を上げるために感度を上げると、場合によっては手ぶれ以上にノイズの影響が増加するため、感度を考慮して適切なシャッター速度を設定する必要がある。

二枚の画像が撮影されると、撮影された画像は、距離計測に適した画像となるように信号処理部１３でそれぞれ処理され、一時的にメモリ１５に蓄積される。具体的には、信号処理時にぼけが変化しないようにエッジ強調処理などは避ける必要がある。また、以後の処理に利用する画像は、信号処理された輝度画像であってもよいしＲＧＢ画像の少なくとも何れか１色の画像であっても良い。このとき、撮影した画像のうち少なくとも一枚を、観賞用の画像として信号処理し、メモリ１５に蓄積してもよい。

撮影された二画像は高速に連続撮影され、およそ位置があっている状態である。しかしながら撮影時刻が異なるので二画像が完全に一致していることはなく、同じ座標位置の局所領域を設定した場合、位置ずれが生じている可能性がある。また、被写体が動いていた場合、被写体の位置ずれやオクルージョンが生じてしまう。可能な限り手ぶれなどによる位置ずれを解消するために、信号処理部１３において画像間の位置合わせ処理を行い、位置合わせ後の画像を用いて距離計測を行うのが好適である。位置合わせとして、局所領域ごとに対応する領域を他方の画像から探索によって決定する方法や、一方の画像全体に座標変換（アフィン変換）を施す手法を採用できる。しかしながら、位置合わせを実行しても位置ずれを完全になくすことは困難である。また、オクルージョン領域は一致する場所がないので、位置合わせ処理では対応ができない。よって、残存する位置ずれやオクルージョンがある領域では、算出する距離にエラーが生じてしまう。

ステップＳ１５では、距離計測部１４が、メモリ１５に蓄積された距離計測用の二枚の画像から距離マップを算出する。距離マップとは、画像中の被写体距離の分布を表すデータである。算出された被写体距離の分布は記録部１９に保存される。また、必要に応じて表示部１７を通して表示しても良い。

次に、ステップＳ１５で距離計測部１４が行う処理（以下、距離マップ生成処理）について図２および図４を参照して説明する。図２は距離計測部１４の機能ブロック図である。図４は、第一の実施形態における距離マップ生成処理の流れを示したフローチャート図である。

フォーカス位置の異なる二画像（第一の画像および第二の画像）が入力されると、領域選択ステップＳ２１で、距離計測部１４は、入力された二画像において対応する局所領域を選択する。具体的には、入力された二画像について同じ座標の画素の周辺の局所領域を第一の画像および第二の画像からそれぞれ抽出する。位置合わせ処理を行っているので、二画像における同じ座標の画素は同じ被写体を表すことが想定される。また、画素周辺の領域を抽出するのは、当該画素における距離を推定する際に、二画像の座標上の１画素の
比較ではぼけ変化を算出することが難しく、画素周辺の領域を利用してぼけ変化を検出するためである。

対象画素を１画素ずつずらしながら、ステップＳ２１の領域選択処理およびそれ以降のステップＳ２２〜Ｓ２５の処理を繰り返し行うことで、入力画像全体の距離画像（距離マップ）を算出することが可能となる。ただし、距離マップは必ずしも入力画像全体に対して算出する必要はなく、入力画像の一部の画素のみを距離算出対象領域としてもよい。例えば、入力画像について数画素おきに距離を算出してもよいし、入力画像中の一部領域のみについて距離を算出してもよい。距離マップの解像度や、どの領域について距離算出を行うかなどは、入力部１６によりユーザが指定するようにしてもよい。

非類似度算出ステップＳ２２では、領域選択ステップＳ２１で選択した第一の画像および第二の画像の局所領域がどの程度一致するかを判別するために、非類似度算出部１４１が局所領域間の非類似度を算出する。非類似度の算出方法は様々な手法を適用することが可能だが、本実施形態では輝度の差分を利用する例を説明する。入力された画像が輝度画像もしくは単色画像であった場合、数式１に示すように局所領域間の画素ごとの輝度差の和を局所領域の画像の輝度値の和で正規化した値を局所領域間の非類似度ｄとして算出することができる。移動体や手ぶれなどにより画像間にずれがあると画素間の輝度が異なり、非類似度が大きくなることを利用している。そして、非類似度ｄが大きくなると局所領域どうしが似ていないことを意味している。

ここで、Ｉ_ｊ，ｉは、第ｊの画像の局所領域の画像の画素位置ｉにおける輝度を表している。この場合、ｊは１か２である。

次に、非類似度判定ステップＳ２３において、判定部１４２が、非類似度ｄが閾値α以上か否かを判定する。すなわち、判定部１４２は、対象画素に関して、以下の判定結果を算出する。

ここで、閾値αは、非類似度ｄが閾値α以上であれば第一および第二の画像の局所領域間の違いが大きすぎ、精度の良い距離算出が行えないと想定される値（またはそれ以上の値）である。閾値αの具体的な値は、要求される距離算出精度に応じて適宜設定すればよい。

なお、以下では、記載の簡略化のために、ある画素または画素位置において画像ずれが生じているという表現を用いるが、より正確には、画像ずれは二画像の対応する局所領域における画像がずれている（一致度が小さい）ことを意味する。

上記では輝度の差分を用いる例を説明したが、入力画像がカラー画像の場合は、輝度の差分以外にも数式３、数式４のように局所領域間の画素ごとの色差の和、すなわち色空間上の距離を非類似度ｄとして用いることができる。

ここでＬ、ａ、ｂはそれぞれＬａｂ色空間の各次元を表しているが、必ずしもＬａｂ色空間である必要はない。局所領域内の色差の和が閾値以上の場合は画像ずれが生じていると判定することができる。なお、添え字のｊ，ｉは、数式１のＩの添え字と同じく、第ｊの画像の局所領域の画像の画素位置ｉを意味している。

ステップＳ２３において非類似度が閾値よりも大きいと判定された場合、すなわち画像ずれがあると判定された場合（Ｓ２３−ＹＥＳ）は、本実施形態では、選択された画素については距離算出を行わない。画像ずれによって精度の高い距離算出が行えないためである。この際、画像ずれがあった画素の数を表す画像ずれカウント値（初期値０）を１増加させる（Ｓ２５）。また、画像ずれマップ生成部１４４が、画像ずれマップを更新する。画像ずれマップは、各画素において画像ずれが生じているか否かを表す二値のマップであり、画像ずれがある画素の値を例えば１に設定し、画像ずれがない画素を０に設定したものである。画像ずれマップは、画素値の初期値を全て０（画像ずれなし）として、画像ずれがあると判定された画素について画素値を１に更新するようにして生成すればよい。

ステップＳ２３において局所領域間の非類似度が閾値より小さいと判定された場合、すなわち対象画素において画像ずれがないと判定された場合（Ｓ２３−ＮＯ）は、ステップＳ２４に進んで、距離算出部１４５が距離算出を行う。距離算出部１４５は、抽出された第一の画像および第二の画像の局所領域を用い、数式５にしたがって相関値ＮＣＣ_ｉを算出することで距離を求める。Ｉ_１、Ｉ_２は、第一の画像の局所領域内の画素の輝度の平均値、第二の画像の局所領域内の画素の輝度の平均値を表している。

ここで、収差が無くデフォーカスした場合のぼけ方がフォーカス前後で同じ場合、像側においてフォーカスを移動して撮影した２つのフォーカス位置の中間でぼけが同等となり、その位置での相関が最も高い値となる。この中間位置から離れるに従い、二画像のぼけ方は変化し相関が低下していく。つまりぼけが同じ位置をピークとしてその位置から前後に離れるに従い相関が低下する。相関値はデフォーカスによるぼけに応じた値となるため、相関値がわかれば対応するデフォーカス量を知ることができ、像側での相対的な距離を算出することが可能となる。

距離マップには、被写体までの距離に関連する情報であれば、任意の距離情報を含めることができる。例えば、距離マップには、得られた相関値をそのまま距離情報として含めてもよいし、像面でのフォーカス位置からの相対位置に変換したものを距離情報として含めてもよい。この際、相関値と像面でのフォーカス位置からの相対位置はＦナンバーにより異なるため、Ｆナンバーごとに変換テーブルを持ち像面でのフォーカス位置からの相対距離に変換してもよい。更には、得られた相対距離を、焦点距離および物体側におけるフォーカス距離を用いて物体距離に変換して、距離マップに含める距離情報として採用してもよい。

ここでは相関値を用いて距離を算出する例を説明したが、ＤＦＤ法として他の方法を用いることもできる。例えば、局所画像を周波数空間に変換し、数式６のように比を求めることで画像間のぼけ量変化を算出する手法などが挙げられる。

ここで、Ｆはフーリエ変換を表し、ｓはぼけのない画像を表し、Ｓは画像ｓを周波数空間に変換した画像を表している。ＰＳＦはそれぞれの局所画像における点像分布関数を表しており、ＯＴＦは光学伝達関数を表している。また、ＯＴＦｒは２画像間の相対的なＯＴＦを表しており、これにより距離を求めることができる。

本発明は、距離計測に用いるＤＦＤ法の具体的態様を限定するものではない。例えば、上記以外にも全焦点画像を生成し、全焦点画像に対して距離によって異なるぼけを付与し、撮影画像との差分を取って最も差分の小さかったときのぼけに対応する距離を出力する方法などもある。

以上により、１つの画素（１つの局所領域ペア）についての処理が完了する。距離計測部１４は、距離算出対象領域内に未処理の画素が残っているか判断し（Ｓ２６）、未処理の画素がある場合（Ｓ２６−ＹＥＳ）には対象画素を変えてステップＳ２１に戻って局所領域の選択を行う。処理対象全ての画素についてステップＳ２１〜Ｓ２５の処理が完了すると（Ｓ２６−ＮＯ）、ステップＳ２７に処理が移行する。

ステップＳ２７では、比率算出部１４３が、画像ずれが生じていた画素数（局所領域数）の距離マップ全体の画素数（局所領域数）に対する割合（エラー比率）を算出する。具体的には、比率算出部１４３は、非類似度が閾値より大きいと判定された画素数の、非類似度の算出対象画素数に対する比率を算出する。この算出には、ステップＳ２２で求めた画像画素数のカウント値または画像ずれマップを用いればよい。

本実施形態では、算出したエラー比率が所定値（例えば１０％）より小さければ（Ｓ２８−ＮＯ）、距離算出部１４５によって算出された距離マップを出力する（Ｓ２９）。この場合、距離算出されていない画素の距離情報としては、設定された特定の値が出力されてもよいし、距離算出されていない画素の周囲に位置する他の画素の距離情報がそのまま出力されてもよい。または、距離算出されていない画素の周囲の画素の距離情報から補間して、距離算出されていない画素の距離情報が算出されるようにしてもよい。
一方、算出したエラー比率が所定値以上であれば（Ｓ２８−ＹＥＳ）、距離算出部１４５によって算出された距離マップを出力しない（Ｓ３０）。この場合、距離マップが出力できなかったことを表す信号を出力するようにしてもよいし、エラー比率を出力するようにしてもよい。エラー比率が高かった場合、移動体や残存する手ぶれなどによる画像ずれにより距離が算出されなかった領域が多かったということが分かるためである。エラー比率を用いることで、距離マップを利用した処理を行うかどうかの判定を容易に行うことができる。また、距離マップが出力できなかったことを表示装置に表示して、ユーザに通知するようにしてもよい。

また、ステップＳ２５において画像ずれがあったかどうかを二値の画像ずれマップを生成して出力した場合、エラー比率だけでなくエラー位置の特定も可能となる。画像ずれマップを利用することで距離マップの補正も行うことが可能である。例えば、エラー比率が小さい場合は、距離補正部１４６によって、画像ずれマップを利用してエラー箇所の距離情報の補正を行い、距離マップを出力するようにしてもよい。距離情報の補正は、エラー箇所周辺の距離画像を用いて補間することが考えられる。また、位置合わせ処理を再度行ってから、距離情報を出力するようにしてもよい。すなわち、第一の画像の局所領域に対応する第二の画像における局所領域を再探索してから、当該局所領域の距離情報の算出を
再度実行してもよい。いずれの方法によって距離情報を算出するかは、画像ずれが生じている画素の密集度合いに応じて決定することも好ましい。

本実施形態によれば、二画像間において移動体や手ぶれなどによる画像ずれが生じた場合、距離マップ中にどのくらいエラーがあるかの比率、およびどの位置にエラーがあるかを出力することが可能となるといった効果がある。更には、この情報を利用して距離マップを使用する処理を行うかどうかや距離マップの補正を行うかどうかなどの判定を容易に行うことが可能となるといった効果も生じる。

上記の説明では、エラー比率が大きい場合には距離マップを出力しないものとしているが、エラー比率の大きさにかかわらず距離マップを出力してもよい。この場合は、距離マップとともにエラー比率の値を出力することが好ましい。エラー比率とともに距離マップを出力することで、距離マップを受け取るアプリケーションが、距離マップを用いた処理を行うかどうかといった判断が可能となる。また、エラー比率に加えて、あるいはエラー比率に代えて、画像ずれマップを距離マップとともに出力するようにしてもよい。この場合、距離マップを受け取るアプリケーションが、画像ずれマップに基づいてどのように処理を行うかを判断できる。

（実施形態２）
次に、本発明の第２の実施形態について説明する。第２の実施形態は、ＤＦＤ法による距離計測において、変更する撮影パラメータがフォーカス位置ではなくＦナンバーを変更するという点と、距離計測とは別に画像ずれの判定を行うという点が、第一実施形態と相違する。本実施形態の撮像装置の構成は、基本的に実施形態１（図１、図２）と同様である。主な相違点は、距離計測部１４において、画像ずれ検出と距離算出を同時に行うのではなく、画像ずれ検出を先に行ってから、距離算出を行う点である。

以下、第１の実施形態との処理の相違点について説明する。図５は、第２の実施形態における、撮影から画素ずれ判定処理および距離マップ生成処理までの流れを示したフローチャート図である。

ステップＳ３１〜Ｓ３４の処理は、第１の実施形態におけるステップＳ１１〜Ｓ１４の処理と基本的に同じである。ただし、第２の実施形態では、ステップＳ３３で撮影パラメータを変更する際に、Ｆナンバーを変更する。すなわち、ステップＳ３４を実行することによって、Ｆナンバーが異なる二枚の画像が取得される。そして、このようにして撮影された二枚の画像に基づいて、画像ずれ判定処理（Ｓ３５）を行って画像ずれマップを生成してから、距離算出処理（Ｓ３６）を行って距離マップを生成する。

次に、ステップＳ３５の画素ずれ判定処理についてより詳細に説明する。図６は、第２の実施形態における画素ずれ判定処理の流れを示したフローチャート図である。

ステップＳ４１では、ステップＳ２１と同様に入力された二画像において対応する局所領域を設定し、それぞれの局所領域画像を抽出する。画像全体に対して画像ずれを判定するには１画素ずつずらして局所領域を選択していく。

ステップＳ４２では、非類似度算出部１４１が、ステップＳ４１で抽出された局所領域における画像ずれを判定するために、ステップＳ２２と同様に二画像の局所領域間の非類似度を算出する。具体的な非類似度として、第１の実施形態で説明したものが採用可能である。ステップＳ４３では、判定部１４２が、ステップＳ４２で算出した非類似度が閾値以上であるか判定する。閾値以上である場合には対象画素において位置ずれが生じたことが分かる。この際、ステップＳ４４において、画像ずれがあった画素を表す画像ずれカウ
ント値を１増加させたり、画像ずれマップにおけるその画素の画素値を１にして画像ずれマップを更新したりする。

以上により、１つの画素についての処理が完了する。未処理の画素がある場合（Ｓ４５−ＹＥＳ）には処理対象画素を代えてステップＳ４１に戻って領域の選択を行う。処理対象全ての画素についてステップＳ４１〜Ｓ４４の処理が完了すると（Ｓ４５−ＮＯ）、ステップＳ４６に処理が移行する。

ステップＳ４６では、比率算出部１４３が、画像ずれが生じていた画素数（局所領域数）の距離算出対象領域に含まれる画素数（局所領域数）に対する割合（エラー比率）を算出する。ステップＳ４７では、エラー比率と画像ずれマップを出力する。

次に距離マップ生成処理（ステップＳ３６）に移行するが、ここでエラー比率により距離マップ生成を中止するかどうかの判定を行ってもよい。例えば、エラー比率が所定値以上であれば、距離マップの生成を中止するようにしてもよい。他にも、エラー比率が所定値以上であれば、位置合わせ処理を再実行するなどの判定を行うこともできる。位置合わせ処理を再実行した場合は、その後に画像ずれ判定処理を再度実行することも好ましい。

次に、距離マップ生成処理について説明する。図７は、第２の実施形態における距離マップ生成処理の流れを示したフローチャート図である。距離マップ生成処理には、撮影した二画像と画像ずれ判定処理で得られた画像ずれマップが入力される。

ステップＳ５１の処理は、ステップＳ２１と同様の処理のため説明を省略する。ステップＳ５２では、ステップＳ５１で選択された画素位置に画像ずれが生じているかどうかを、画像ずれマップから判定する。画像ずれがある場合には、画像ずれマップにおける当該画素の値が画像ずれ有りを表す値に設定されているので判定可能である。画像ずれが生じていた場合（Ｓ５３−ＹＥＳ）は、その画素については距離算出を行わない。一方、画像ずれが無い場合（Ｓ５３−ＮＯ）は、ステップＳ５４に進んで、その画素について距離算出を行う。ステップＳ５４における距離算出処理は、ステップＳ２４と同様のため説明を省略する。

以上の処理を、距離算出対象の全ての画素について繰り返すことで距離マップが完成する。この際、第１の実施形態と同様に、距離情報が算出されなかった画素については、周辺の画素の距離情報から補間により距離情報を求めてもよいし、位置合わせ処理を再度行ってから、距離情報を再度算出するようにしてもよい。

本実施形態によれば、距離計測を行う前に位置ずれ判定処理を実行することで、距離計測を実行するかの判定、または距離計測前に再度位置合わせを実行するなどの判定を行うことが可能となるという効果がある。

（実施形態３）
本発明の第３の実施形態は、画像ずれが特に画像中の関心領域（注目領域）に生じているかどうかを判定に加えた実施形態である。第３の実施形態における撮像装置の構成は、第１および第２の実施形態と同様である。

以下、第１の実施形態との処理の相違点について説明する。図８は、第３の実施形態における、画素ずれ判定処理の流れを示したフローチャート図である。

ステップＳ６１〜Ｓ６６の処理は、第１の実施形態におけるステップＳ２１〜Ｓ２６と同様であるため説明は省略する。ここまでの処理により、全画素について、距離情報の算
出および画像ずれの有無の判定が完了する。

ステップＳ６６では、画像中において撮影者および観察者が関心のある注目領域を抽出する。この関心領域抽出処理は、信号処理部１３によって行えばよい。関心領域抽出方法としては様々な方法が提案されているが、ここでは代表的な手法をいくつか説明する。

まず、関心領域として顔領域を抽出する方法がある。一般的に人物が主被写体として撮影されることが多いため関心領域の抽出として有効である。具体的な検出方法としては、デジタルカメラ等の撮像装置に搭載されているような学習データを用いたマッチング方法を用いて、信号処理部１３が図９（ａ）に示すように画像中の顔領域を検出する。顔検出に用いる画像は、複数の画像のうちどちらでもよいが、オートフォーカスによって合焦された画像を用いることが好ましい。より顔領域を精度良く検出するために、図９（ｂ）に示すように検出された顔領域付近（顔領域内およびその近傍）における肌色領域を検出して顔領域として検出し、その縦・横サイズおよび検出領域を保存してもよい。この場合、顔領域に首も含めてもよい。更には、図９（ｃ）のように頭部領域も含む楕円領域としてもよい。他にも図９（ｄ）のように顔領域付近から髪の毛の色に基づいて髪領域を検出し、顔領域と合わせて全体を顔領域として抽出してもよい。更には、顔領域を基準に人体モデルなどをもとにして人物全体の検出を行い、人物領域を関心領域として抽出することもできる。

被写体が人物以外の場合に、関心領域として考えられる領域としてＡＦを行った領域がある。この場合、ＡＦに用いた測距エリアを関心領域として抽出する。また、フォーカス位置をずらして撮影された二画像が入力画像であった場合、二画像間のコントラスを検出し、ＡＦされた画像のコントラストがもう一方の画像のコントラストよりも所定量以上高い領域を関心領域として抽出することもできる。

このようにして抽出された画像中の関心の高い領域を用いて、二値の関心領域マップ（例えば、関心領域の画素値を１とし、それ以外の画素値を０とする）を生成して出力する。

ステップＳ６８では、ステップＳ６５で生成された画像ずれマップとステップＳ６７で生成された関心領域マップを用いて、比率算出部１４３がエラー比率を算出する。比率算出部１４３は、関心領域中の画像ずれのある画素数の、関心領域全体の画素数に対する割合を、エラー比率として算出する。すなわち、比率算出部１４３は、ステップＳ６２で求められた非類似度が閾値以上であると判定された関心領域内の画素数（局所領域数）の、関心領域内の画素数（局所領域数）に対する比率を、エラー比率として算出する。すなわち本実施形態では、関心領域を所定領域として、所定領域内でのエラー比率が算出される。

そして、このようにして算出されたエラー比率が所定値（例えば、１０％）より小さければ（Ｓ６９−ＮＯ）、距離算出部１４５によって算出された距離マップを出力する（Ｓ７０）。この際、エラー比率や画像ずれマップも一緒に出力することも好ましい。また、画像ずれマップから画像ずれが生じている画素については、第１の実施形態と同様に補間により距離情報を求めたり、位置合わせ処理を再度行ってから距離情報を求めることが好ましい。

一方、エラー比率が所定値以上であれば（Ｓ６９−ＹＥＳ）、距離算出部１４５によって算出された距離マップを出力しない（Ｓ７１）。

画像中で関心の高い領域に生じた距離推定エラーは、距離マップを用いたアプリケーシ
ョンにおいて関心の低い領域に比べエラーであることが目立つ。例えば、算出された距離マップを用いて距離に対応したぼけを付与することで被写界深度の浅い画像を生成するような処理を行う場合を考える。このような処理を行った場合、顔などの人間にとって関心の高い領域に距離推定エラーによりぼけが付与されると、関心の低い領域に比べて違和感を強く感じるといったことが挙げられる。

本実施形態によれば、関心領域でのエラー比率を求めて以降に行う処理の判定に利用することで、よりエラーの目立ち具合を低減させることが可能になるといった効果がある。

また、上記の説明では、関心領域内のみに着目してエラー比率を求めているが、関心領域外の画像ずれも考慮してエラー比率を求めてもよい。例えば、関心領域を対象としたエラー比率と、画像全体（距離算出画素全体）を対象としたエラー比率の２つのエラー比率を算出してもよい。この場合、例えば、関心領域のエラー比率については画像全体のエラー比率よりも判定条件を厳しく設定し（例えば５％）、２つのエラー比率の両方が所定値よりも小さい場合に距離マップを出力することが考えられる。あるいは、これら２つのエラー比率から算出される値（例えば重み付け平均）を所定値と比較するようにしてもよい。このような手法により、関心領域の画像ずれと、関心領域外の画像ずれの両方を考慮した判定が可能となる。

上記の説明では、関心領域内のエラー比率のみを求める場合にも、全ての領域について局所領域の非類似度を求めるようにしているが、このような場合は関心領域の抽出を先に行って関心領域内についてのみ非類似度を求めるようにしてもよい。

本実施形態においても第１の実施形態と同様に、エラー比率の大きさに関わらず距離マップを出力するようにしてもよい。また、本実施形態を第２の実施形態と組み合わせて、関心領域内のエラー比率を先に算出し、エラー比率が所定値以下の場合に距離算出処理を開始するようにしてもよい。

＜変形例＞
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、本発明は、上記処理の少なくとも一部を含む撮像装置として実施することもできるし、撮像手段を有さない距離計測装置として実施することもできる。また、距離計測方法として実施することもできるし、当該距離計測方法を距離計測装置に実行させる画像処理プログラムとして実施することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

また、実施形態で説明した各要素技術は、任意に組み合わせてもよい。例えば、変更する撮影パラメータ、画像ずれ判定処理を行う順序、距離算出の具体的態様などを、自由に組み合わせて実施してもよい。

また、実施形態の説明では、エラー比率と画像ずれマップを出力する例を述べたが、エラー比率のみを出力してもよいし、画像ずれマップのみを出力してもよい。画像ずれマップに基づいて、エラー比率を算出することができるし、画像ずれが発生している画素位置も把握できる。また、上記の説明では、画像ずれマップが二値画像である例を述べたが、画像ずれマップの画素値は二値でなくても構わない。例えば、局所領域間の非類似度を画像ずれマップの画素値として採用してもよい。

また、実施形態の説明では、撮像装置が二枚の画像を取得する例を述べたが、取得する画像は三枚以上であってもよい。この場合、撮影した画像から二画像を選択して距離計測
を行う。三枚以上の画像を取得することで、距離計測可能な範囲が広くなるといった効果や、距離精度が向上するといった効果を得ることができる。

更には、各実施形態では距離算出方法としてＤＦＤ法に関して説明してきたが、他にＤＦＦ法やステレオ法も適用することができる。
ＤＦＦ法は、フォーカスを変えて複数の画像を撮影し、選択した領域のコントラストが最も高い画像をフォーカスが合っているとし、そのフォーカス距離を物体までの距離として算出する距離計測方法である。この場合、複数画像を位置合わせした後、基準画像に対する移動体等による画像ずれを算出することができ、同様にエラー比率を算出することが可能である。
ステレオ法の場合は、距離算出する前に二画像間の位置合わせを行い、移動体によるオクルージョン領域や視差によるオクルージョン領域を同様に画像ずれ領域として算出することができる。これにより、画像ずれマップの生成、およびエラー比率の算出を行うことが可能である。

＜実装例＞
上述した本発明の距離計測技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、あるいは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明を適用することができる。

また、実施形態の説明では、撮像装置本体に距離計測の機能を組み込んだ構成を示したが、距離計測は撮像装置以外で行ってもよい。たとえば、撮像装置を有するコンピュータに距離計測の機能を組み込み、撮像装置で撮影した画像をコンピュータが取得して、距離の算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに距離計測の機能を組み込み、当該コンピュータがネットワークを介して複数枚の画像を取得し、距離計測を行うようにしてもよい。

得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ボケ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能記録媒体は、いずれも本発明の範疇に含まれる。

１４ 距離計測部
１４１ 非類似度算出部
１４２ 判定部
１４３ 比率算出部

Claims (17)

1. 少なくとも第一の画像および第二の画像から距離情報を算出する距離計測装置であって、
   距離算出対象の各画素について、当該画素を含む第一の画像の局所領域と、当該局所領域に対応する第二の画像の局所領域とから、前記画素の距離情報を算出する第１算出手段と、
   前記第一の画像の局所領域と前記第二の画像の局所領域との非類似度を算出する第２算出手段と、
   前記非類似度が閾値以上であるかを判定する判定手段と、
   前記非類似度が前記閾値以上であると判定された所定領域内の局所領域の数の、前記所定領域内の局所領域の数に対する比率を算出する第３算出手段と、
   を備えることを特徴とする距離計測装置。
2. 前記比率が所定値以上である場合には、距離情報の出力を行わない、
   ことを特徴とする請求項１に記載の距離計測装置。
3. 前記比率とともに距離情報を出力する、
   ことを特徴とする請求項１に記載の距離計測装置。
4. 前記第一の画像および前記第二の画像は、異なる撮影時刻に撮影され、かつ、異なる撮影パラメータで撮影された画像である、
   ことを特徴とする請求項１から３のいずれか１項に記載の距離計測装置。
5. 前記非類似度は、前記第一の画像および前記第二の画像の局所領域間の画素ごとの輝度差の和を正規化した値である、
   ことを特徴とする請求項１から４のいずれか１項に記載の距離計測装置。
6. 前記非類似度は、前記第一の画像および前記第二の画像の局所領域間の画素ごとの色差の和である、
   ことを特徴とする請求項１から４のいずれか１項に記載の距離計測装置。
7. 前記所定領域は、距離算出対象領域と等しい、
   ことを特徴とする請求項１から６のいずれか１項に記載の距離計測装置。
8. 前記第一の画像から関心領域を抽出する関心領域抽出手段を更に有し、
   前記所定領域は、前記関心領域と等しい、
   ことを特徴とする請求項１から６のいずれか１項に記載の距離計測装置。
9. 前記第３算出手段は、前記関心領域を前記所定領域として前記比率を算出するとともに、距離算出対象領域を前記所定領域として前記比率を算出する、
   ことを特徴とする請求項８に記載の距離計測装置。
10. 前記関心領域は、顔領域または人物領域である、
    ことを特徴とする請求項８または９に記載の距離計測装置。
11. 前記第一の画像は、オートフォーカスを行って撮影した画像であり、
    前記関心領域は、前記第一の画像においてオートフォーカスに用いた領域である、
    ことを特徴とする請求項８または９に記載の距離計測装置。
12. 前記第一の画像は、オートフォーカスを行って撮影した画像であり、
    前記関心領域は、前記第一の画像のコントラストが前記第二の画像のコントラストより所定量以上高い領域である、
    ことを特徴とする請求項８または９に記載の距離計測装置。
13. 前記非類似度が前記閾値以上であると判定された局所領域に対応する距離情報を補正する補正手段を備える、
    ことを特徴とする請求項１から１２のいずれか１項に記載の距離計測装置。
14. 前記非類似度が前記閾値以上であると判定された局所領域について、当該局所領域に対応する局所領域を第二の画像から再探索してから、当該局所領域に対応する距離情報の算出を再度実行する、
    ことを特徴とする請求項１から１２のいずれか１項に記載の距離計測装置。
15. 撮像手段と、
    請求項１から１４のいずれか１項に記載の距離計測装置と、
    を備えることを特徴とする撮像装置。
16. 少なくとも第一の画像および第二の画像から距離情報を算出する距離計測方法であって、
    距離算出対象の各画素について、当該画素を含む第一の画像の局所領域と、当該局所領域に対応する第二の画像の局所領域とから、前記画素の距離情報を算出する第１算出ステップと、
    前記第一の画像の局所領域と前記第二の画像の局所領域との非類似度を算出する第２算出ステップと、
    前記非類似度が閾値以上であるかを判定する判定ステップと、
    前記非類似度が前記閾値以上であると判定された所定領域内の局所領域の数の、前記所定領域内の局所領域の数に対する比率を算出する第３算出ステップと、
    を含むことを特徴とする距離計測方法。
17. 請求項１６に記載の距離計測方法の各ステップをコンピュータに実行させるためのプログラム。

Images