JP2008107290A - 距離画像生成装置、距離画像生成方法及びプログラム - Google Patents

Abstract

【課題】エッジ部分だけでなく、画像の全画素について正確な測距を行うことのできる距離画像生成装置、距離画像生成方法及びプログラムを提供する。
【解決手段】被写体を撮影した基準画像と基準画像とは異なる視点から被写体を撮像した参照画像とを取得する撮像装置２ａ，２ｂと、基準画像と参照画像との視差値を所定の演算範囲について算出し、算出された視差に基づいて距離画像を生成する距離画像生成部１５と、基準画像がエッジ部分を含むか否かを判定するエッジ判定部１４と、を備え、距離画像生成部１５は、基準画像を単位面積ごとの領域に分割して、分割された各領域ごとに視差値を算出し、エッジ判定手段は、領域ごとに基準画像がエッジ部分を含むか否かを判定するものであり、距離画像生成部１５は、基準画像のうちエッジ部分を含む領域を、エッジ部分を含まない領域よりも先に視差値算出処理を行う。
【選択図】図１

Description

本発明は距離画像生成装置、距離画像生成方法及びプログラムに係り、特に、複数の撮像素子を用いて３次元画像を撮影することにより距離画像を生成する距離画像生成装置、距離画像生成方法及びプログラムに関する。

従来、複数の撮像素子により被写体を異なる位置から撮像して複数の撮影画像を得て、相関演算を行うことによりこの撮影画像の相関度を算出し、相関度に基づいて同一被写体に対する視差値を求め、視差値から被写体の位置（距離）を求める距離画像生成装置が知られている。

撮影画像内には、エッジ部分のようにコントラストの強い部分と、それ以外の部分とがあり、前者については、比較的正確な視差値（距離値）を算出することができる。しかし、後者については、正確な視差値（距離値）の算出が難しい。このため、従来は、エッジ部分等のコントラストの強い部分のみについて視差値（距離値）を算出することが行われている。

すなわち、例えば、輝度変化が変曲点を示す画素位置（エッジ部分）を含む前後の所定範囲内の画素についてのみ視差値（距離値）を算出することにより対象物としての先行車両との間の距離を測定する技術が知られている（例えば、特許文献１参照）。
また、画像データからエッジ点を抽出して、このエッジ点の結合から画像上のエッジ点の連続性を判定し、エッジ点の連続性からエッジ線を認定することにより、画像データ上の少なくともエッジ点のｚ座標を演算する。そして、ｚ座標が未確定なエッジ点についてはｚ座標が既に確定されているエッジ点のｚ座標を用いて内挿演算することによりｚ座標を求めるという技術も知られている（例えば、特許文献２参照）。
さらに、左右のエッジ画像内で互いに相関の高いエッジ領域を特定し、各対応する点の視差値を算出し、その視差に基づく各エッジ領域の３次元座標から距離画像を求める測距装置も考案されている（例えば、特許文献３参照）。
特開平７−３０６０３８号公報 特開２００１−１１６５４５号公報 特開２００２−２４９８６号公報

しかしながら、特許文献１から特許文献３に開示されている技術は、前述のようにエッジ部分やコントラストの強い部分についてのみ視差値（距離値）を算出するものであり、エッジ部分やコントラストの強い部分以外の部分については測距を行わないか、測距を行った部分の視差値（距離値）に基づいて対象物までの距離を算出する。このため、エッジ部分以外の部分について、対象物までの正確な距離を取得することができないとの問題がある。

そこで、本発明は以上のような課題を解決するためになされたものであり、エッジ部分だけでなく、画像の全画素について正確な測距を行うことのできる距離画像生成装置、距離画像生成方法及びプログラムを提供することを目的とするものである。

上記課題を解決するために、請求項１に記載の距離画像生成装置は、
少なくとも２つの撮像手段を備え、前記各撮像手段により、被写体を撮影した基準画像と前記基準画像とは異なる視点から被写体を撮像した参照画像とを取得する画像取得手段と、
前記画像取得手段より取得された前記基準画像と前記参照画像との視差値を所定の演算範囲について算出する視差値算出処理を行い、算出された視差値に基づいて距離画像を生成する距離画像生成手段と、
前記画像取得手段によって取得された前記基準画像が複数の被写体の境界であるエッジ部分を含むか否かを判定するエッジ判定手段と、を備え、
前記距離画像生成手段は、前記基準画像を単位面積ごとの領域に分割して、分割された各領域ごとに前記視差値算出処理を行うものであり、
前記エッジ判定手段は、前記領域ごとに前記基準画像が前記エッジ部分を含むか否かを判定するものであって、
前記距離画像生成手段は、前記基準画像のうち前記エッジ判定手段により前記エッジ部分を含むと判定された領域について、前記エッジ部分を含まないと判定された領域よりも先に前記視差値算出処理を行うことを特徴としている。

請求項１に記載の発明によれば、画像取得手段により被写体を撮影した基準画像と基準画像とは異なる視点から被写体を撮像した参照画像とを取得し、距離画像生成手段によりこの基準画像と参照画像との視差値を単位面積ごとに所定の演算範囲について算出し、算出された視差値に基づいて距離画像を生成する。さらにエッジ判定手段によって単位面積ごとに基準画像が複数の被写体の境界であるエッジ部分を含むか否かを判定し、距離画像生成手段は、エッジ判定手段によりエッジ部分を含むと判定された領域について、エッジ部分を含まないと判定された領域よりも先に視差値算出処理を行うようになっている。

請求項２に記載の発明は、請求項１に記載の距離画像生成装置であって、
前記距離画像生成手段は、前記領域に隣接する画素又は近傍画素について既に取得されている視差値がある場合には、当該視差値に基づいて前記領域の視差値を算出することを特徴とする。

請求項２に記載の発明によれば、隣接する画素又は近傍画素について既に取得されている視差値がある場合には、当該視差値に基づいて当該領域の視差値を算出するようになっている。

請求項３に記載の発明は、請求項１又は請求項２に記載の距離画像生成装置であって、
前記エッジ判定手段は、前記エッジ部分について、さらにエッジの強度を判定し、
前記距離画像生成手段は、前記エッジ部分のうち、前記エッジ判定手段により判定されたエッジの強度が強い領域から順に前記視差値算出処理を行うことを特徴としている。

請求項３に記載の発明によれば、エッジ判定手段によりエッジ部分のエッジの強度を判定し、距離画像生成手段は、エッジ部分のうち、エッジの強度が強い領域から順に視差値算出処理を行うようになっている。

請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の距離画像生成装置であって、
前記距離画像生成手段は、前記エッジ判定手段により前記エッジ部分を含まないと判定された領域のうち、当該領域に隣接する画素につき既に視差値が得られている領域から順に前記視差値算出処理を行い、全画素について視差値が得られるまで前記視差値算出処理を繰り返すことを特徴としている。

請求項４に記載の発明によれば、距離画像生成手段は、エッジ部分を含まないと判定された領域のうち、当該領域に隣接する画素につき既に視差値が得られている領域から順に視差値算出処理を行い、全画素について視差値が得られるまで処理を繰り返すようになっている。

請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の距離画像生成装置であって、
前記距離画像生成手段は、前記領域ごとに相関演算を行うことにより視差値を算出するものであり、
前記エッジ判定手段により基準画像が前記エッジ部分を含まないと判定された場合であって、相関演算により相関度の極値が複数得られた場合には、前記距離画像生成手段は、前記領域に隣接する画素又は近傍画素について既に得られている視差値に基づいて、前記領域の視差値を決定することを特徴としている。

請求項５に記載の発明によれば、エッジ判定手段により基準画像がエッジ部分を含まないと判定された領域について、相関演算により相関度の極値が複数得られた場合には、距離画像生成手段は、当該領域に隣接する画素又は近傍画素について既に得られている視差値に基づいて、当該領域の視差値を決定するようになっている。

請求項６に記載の距離画像生成方法は、
少なくとも２つの撮像手段により、被写体を撮影した基準画像と前記基準画像とは異なる視点から被写体を撮像した参照画像とを取得する画像取得工程と、
前記画像取得工程より取得された前記基準画像と前記参照画像との視差値を所定の演算範囲について算出する視差値算出工程を含み、前記視差値算出工程によって算出された視差値に基づいて距離画像を生成する距離画像生成工程と、
前記画像取得工程によって取得された前記基準画像が複数の被写体の境界であるエッジ部分を含むか否かを判定するエッジ判定工程と、を備え、
前記視差値算出工程は、前記基準画像を単位面積ごとの領域に分割して、分割された各領域ごとに前記視差値の算出を行うものであり、
前記エッジ判定工程は、前記領域ごとに前記基準画像が前記エッジ部分を含むか否かを判定するものであって、
前記視差値算出工程は、前記基準画像のうち前記エッジ判定工程において前記エッジ部分を含むと判定された領域について、前記エッジ部分を含まないと判定された領域よりも先に前記視差値の算出を行うことを特徴としている。

請求項６に記載の発明によれば、画像取得工程により被写体を撮影した基準画像と基準画像とは異なる視点から被写体を撮像した参照画像とを取得し、視差値算出工程を含む距離画像生成工程によりこの基準画像と参照画像との視差値を単位面積ごとに所定の演算範囲について算出し、算出された視差値に基づいて距離画像を生成する。さらにエッジ判定工程によって単位面積ごとに基準画像が複数の被写体の境界であるエッジ部分を含むか否かを判定し、視差値算出工程においては、エッジ判定工程によりエッジ部分を含むと判定された領域について、エッジ部分を含まないと判定された領域よりも先に視差値算出処理を行うようになっている。

請求項７に記載の発明は、請求項６に記載の距離画像生成方法であって、
前記視差値算出工程は、前記領域に隣接する画素又は近傍画素について既に取得されている視差値がある場合には、当該視差値に基づいて前記領域の視差値を算出することを特徴とする。

請求項７に記載の発明によれば、隣接する画素又は近傍画素について既に取得されている視差値がある場合には、当該視差値に基づいて当該領域の視差値を算出するようになっている。

請求項８に記載の発明は、請求項６又は請求項７に記載の距離画像生成方法であって、
前記エッジ判定工程は、前記エッジ部分について、さらにエッジの強度を判定し、
前記視差値算出工程は、前記エッジ部分のうち、前記エッジ判定工程により判定されたエッジの強度が強い領域から順次前記視差値の算出を行うことを特徴とする。

請求項８に記載の発明によれば、エッジ判定工程によりエッジ部分のエッジの強度を判定し、視差値算出工程において、エッジ部分のうち、エッジの強度が強い領域から順に視差値算出処理を行うようになっている。

請求項９に記載の発明は、請求項６から請求項８のいずれか一項に記載の距離画像生成方法であって、
前記視差値算出工程は、前記エッジ判定工程において前記エッジ部分を含まないと判定された領域のうち、当該領域に隣接する画素につき既に視差値が得られている領域から順に前記視差値の算出を行い、全画素について視差値が得られるまで前記視差値の算出を繰り返すことを特徴とする。

請求項９に記載の発明によれば、視差値算出工程において、エッジ部分を含まないと判定された領域のうち、当該領域に隣接する画素につき既に視差値が得られている領域から順に視差値算出処理を行い、全画素について視差値が得られるまで処理を繰り返すようになっている。

請求項１０に記載の発明は、請求項６から請求項９のいずれか一項に記載の距離画像生成方法であって、
前記視差値算出工程は、前記領域ごとに相関演算を行うことにより視差値を算出するものであり、
前記エッジ判定工程により基準画像が前記エッジ部分を含まないと判定された場合であって、前記視差値算出工程において、相関演算により相関度の極値が複数得られた場合には、前記領域に隣接する画素又は近傍画素について既に得られている視差値に基づいて、前記領域の視差値を決定することを特徴としている。

請求項１０に記載の発明によれば、エッジ判定工程により基準画像がエッジ部分を含まないと判定された領域について、相関演算により相関度の極値が複数得られた場合には、視差値算出工程において、当該領域に隣接する画素又は近傍画素について既に得られている視差値に基づいて、当該領域の視差値を決定するようになっている。

請求項１１に記載の発明は、コンピュータ読取可能なプログラムであって、
被写体を撮影した基準画像と前記基準画像とは異なる視点から被写体を撮像した参照画像との視差値を、前記基準画像を単位面積ごとの領域に分割した各領域ごとに、所定の演算範囲について算出する視差値算出機能を含み、算出された視差値に基づいて距離画像を生成する距離画像生成機能と、
前記基準画像が複数の被写体の境界であるエッジ部分を含むか否かを前記領域ごとに判定するエッジ判定機能と、
前記基準画像のうち前記エッジ判定機能により前記エッジ部分を含むと判定された領域について、前記エッジ部分を含まないと判定された領域よりも先に前記視差値の算出を行うように、前記視差値算出機能による前記視差値の算出順序を決定する算出順序決定機能と、
をコンピュータに実現させることを特徴とする。

請求項１１に記載の発明によれば、画像取得機能により被写体を撮影した基準画像と基準画像とは異なる視点から被写体を撮像した参照画像とを取得し、視差値算出機能を含む距離画像生成機能によりこの基準画像と参照画像との視差値を単位面積ごとに所定の演算範囲について算出し、算出された視差値に基づいて距離画像を生成する。さらにエッジ判定機能によって単位面積ごとに基準画像が複数の被写体の境界であるエッジ部分を含むか否かを判定し、視差値算出機能は、エッジ判定手段によりエッジ部分を含むと判定された領域について、エッジ部分を含まないと判定された領域よりも先に視差値算出処理を行うようになっている。

請求項１２に記載の発明は、請求項１１に記載のプログラムであって、
前記視差値算出機能は、前記領域に隣接する画素又は近傍画素について既に取得されている視差値がある場合には、当該視差値に基づいて前記領域の視差値を算出することを特徴とする。

請求項１２に記載の発明によれば、隣接する画素又は近傍画素について既に取得されている視差値がある場合には、当該視差値に基づいて当該領域の視差値を算出するようになっている。

請求項１３に記載の発明は、請求項１１又は請求項１２に記載のプログラムであって、
前記エッジ判定機能は、前記エッジ部分について、さらにエッジの強度を判定し、
前記算出順序決定機能は、前記エッジ部分のうち、前記エッジ判定機能により判定されたエッジの強度が強い領域から順に前記視差値算出機能による前記視差値の算出を行うように視差値の算出順序を決定することを特徴とする。

請求項１３に記載の発明によれば、エッジ判定機能によりエッジ部分のエッジの強度を判定し、視差値算出機能は、エッジ部分のうち、エッジの強度が強い領域から順に視差値算出処理を行うようになっている。

請求項１４に記載の発明は、請求項１１から請求項１３のいずれか一項に記載のプログラムであって、
前記算出順序決定機能は、前記エッジ判定機能により前記エッジ部分を含まないと判定された領域のうち、当該領域に隣接する画素につき既に視差値が得られている領域から順に前記視差値算出機能による前記視差値の算出を行うように視差値の算出順序を決定し、
前記視差値算出機能は、前記算出順序決定機能により決定された算出順序に従って順次視差値の算出を行い、全画素について視差値が得られるまで前記視差値の算出を繰り返すことを特徴とする。

請求項１４に記載の発明によれば、算出順序決定機能は、エッジ部分を含まないと判定された領域のうち、当該領域に隣接する画素につき既に視差値が得られている領域から順に視差値算出処理を行うように視差値の算出順序を決定し、視差値算出機能は、決定された算出順序に従って全画素について視差値が得られるまで処理を繰り返すようになっている。

請求項１５に記載の発明は、請求項１１から請求項１４のいずれか一項に記載のプログラムであって、
前記視差値算出機能は、前記領域ごとに相関演算を行うことにより視差値を算出するものであり、
前記エッジ判定機能により基準画像が前記エッジ部分を含まないと判定された場合であって、相関演算により相関度の極値が複数得られた場合には、前記視差値算出機能は、前記領域に隣接する画素又は近傍画素について既に得られている視差値に基づいて、前記領域の視差値を決定することを特徴としている。

請求項１５に記載の発明によれば、エッジ判定機能により基準画像がエッジ部分を含まないと判定された領域について、相関演算により相関度の極値が複数得られた場合には、距離画像生成機能は、当該領域に隣接する画素又は近傍画素について既に得られている視差値に基づいて、当該領域の視差値を決定するようになっている。

請求項１、請求項６又は請求項１１に記載の発明によれば、比較的正確に視差値を算出することのできるエッジ部分を含む領域についてエッジ部分を含まない領域よりも先に視差値を算出するので、高精度な測距を行うことができるとの効果を奏する。

請求項２、請求項７又は請求項１２に記載の発明によれば、比較的正確に視差値を算出することのできるエッジ部分を含む領域についてエッジ部分を含まない領域よりも先に視差値を算出し、その後視差値を算出する際には隣接する画素又は近傍画素について既に取得されている視差値に基づいて視差値を算出するので、より高精度な測距を行うことができるとの効果を奏する。

請求項３、請求項８又は請求項１３に記載の発明によれば、エッジ部分のエッジの強度を判定して、エッジ部分のうち、エッジの強度が強い領域から順に視差値算出処理を行う。エッジの強度の強いコントラストのはっきりした領域ほど、より正確に視差値を算出できることから、このように、エッジの強度の強い領域から順に視差値を算出することにより、高精度な測距を行うことができるとの効果を奏する。

請求項４、請求項９又は請求項１４に記載の発明によれば、比較的正確に視差値を算出することのできるエッジ部分を含む領域についてエッジ部分を含まない領域よりも先に視差値を算出するとともに、エッジ部分を含まないと判定された領域については、当該領域に隣接する画素につき既に視差値が得られている領域から順に視差値算出処理を行うようになっている。このため、エッジ部分を含む領域等、比較的正確な視差値を取得している可能性の高い領域に隣接している領域から順に視差値を算出することができ、このような処理を全画素について視差値が得られるまで繰り返すことにより、全画素についてより正確な視差値を得ることができるとの効果を奏する。

請求項５、請求項１０又は請求項１５に記載の発明によれば、エッジ部分を含まない領域について相関演算により相関度の極値が複数得られた場合には、エッジ部分を含む領域について得られた視差値等、正確性の高い視差値に基づいて当該領域の視差値を決定するため、エッジ部分を含まない領域についてもより正確な視差値を得ることができ、高精度の測距を行うことができるとの効果を奏する。

以下、図１から図８を参照しつつ、本発明に係る距離画像生成装置の第１の実施形態について説明する。

図１に示すように、距離画像生成装置１は、被写体を撮像する２つの撮像装置２ａ，２ｂを備えている。
撮像装置２ａ，２ｂは、それぞれ撮像手段として撮像素子（光電変換素子）３とこの撮像素子３の結像面（図示せず）に被写体光像を結像させるレンズ４とを備えている。撮像素子３は、例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサであり、撮像素子３は、レンズ４を透過した入射光を電気信号に光電変換して取り込むことにより、被写体光像をアナログ画像信号に変換するようになっている。また、距離画像生成装置１は、撮像素子３によって得られたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換部５を備えている。

２つ撮像装置２ａ，２ｂは、一方が被写体をある視点から撮影した基準画像を取得し、他方が基準画像とは異なる視点から被写体を撮像し基準画像と対照される参照画像を取得するようになっており、２つ撮像装置２ａ，２ｂは、基準画像及び参照画像の画像データを取得する画像取得手段として機能する。なお、距離画像生成装置１が備える撮像装置２は複数であればよく、２つに限られるものではない。

また、距離画像生成装置１は、各撮像装置２ａ，２ｂによって取得された画像データについて、画像処理を行い、視差値を算出して距離画像を生成する画像処理部１０を備えている。

画像処理部１０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）等の処理装置と、システムプログラム、後述する距離画像生成処理を行うための距離画像生成処理プログラム等、各種の制御プログラム等を格納するＲＯＭ（Read Only Memory）と、各種データを一時記憶するＲＡＭ（Random Access Memory）と（いずれも図示せず）、等により構成されるコンピュータであり、画像のレンズ歪みを補正するレンズ歪み補正部１１、各撮像装置２ａ，２ｂによって取得された画像の平行化処理を行う画像平行化処理部１２、画像から複数の被写体の境界であるエッジ部分を抽出するエッジ抽出部１３、画像にエッジ部分が含まれているか否かを判定するエッジ判定部１４、距離画像を生成する距離画像生成部１５等を備えている。

レンズ歪み補正部１１は、レンズ４を用いて結像させる場合に発生する歪み（レンズ歪み）を補正するものである。レンズ４には歪みがあるため、正しく画像を生成することができず、特に端部において画像が歪んでしまう。レンズ歪み補正部１１は、このようなレンズ歪みの補正を行うものであり、例えば、予めレンズ歪み補正用のパラメータを作成、記憶しておき、これに基づいて画像を補正する処理等を行う。なお、レンズ歪み補正部１１による補正の手法はここに例示したものに限定されず、各種公知の手段を用いることができる。

画像平行化処理部１２は、各撮像装置２ａ，２ｂによって取得された２つの画像について、あたかも平行移動したカメラから撮影したかのように変換してエピ極線が平行になるようにする画像の平行化処理を行うものである。画像の平行化処理は、２つの撮像装置２ａ，２ｂを厳密に正しく設置することは困難であるため、２つの撮像装置２ａ，２ｂの設置位置ずれ等により生じる画像の歪みを補正するために行われる。

画像について平行化処理を施すことにより、２つの画像は、縦方向（図２におけるＹ軸方向）においてずれのないものとなり、後述する相関演算処理を行う場合に、横方向（図２におけるＸ軸方向）のずれのみを検出すれば足りることとなる。なお、画像平行化処理部１２による画像平行化処理の手法はここに例示したものに限定されず、各種公知の手段を用いることができる。

エッジ抽出部１３は、例えば、画像に微分処理を行う微分フィルタの一種であるＬＯＧ（Laplacian of Gaussian）フィルタによりエッジ部分（複数の被写体の境界部分）を抽出し、エッジ情報の生成を行うものである。エッジ抽出部１３により生成されたエッジ情報は、図示しない記憶部に記憶されるようになっている。なお、エッジ抽出部１３によるエッジ部分の抽出の手法は、ここに例示したものに限定されず、各種公知の手段を用いることができる。

エッジ判定部１４は、後述する距離画像生成処理における相関演算を行う際の対象領域（単位面積）ごとに、エッジ抽出部１３によって生成されたエッジ情報に基づいてエッジ部分が含まれるか否かの判定（判断）を行うものである。例えば、予めエッジ部分と判定されるエッジ強度の閾値を設定しておき、対象領域内の画像に閾値を越える部分が含まれている場合には、当該対象領域内の画像にエッジ部分が含まれると判定する。

エッジ判定部１４により対象領域（単位面積）ごとに判定を行った結果、当該対象領域内にエッジ部分が含まれていると判定されると、当該対象領域について、後述するエッジ部分を含む場合の処理手順（図６参照）に従って距離画像を生成する。
本実施形態においては、全画面についてエッジ部分が含まれているか否かを順次判断し、含まれていると判断された部分のみについてまず後述する基準画像と参照画像とのずれ量（以下「視差値」と称する。）を算出して距離画像を生成する距離画像生成第１処理が行われる（図５及び図６参照）。そして、全画面について距離画像生成第１処理が完了後、距離画像生成第１処理において距離画像の生成処理が行われなかった領域について、順次後述する所定の処理手順に従って視差値を算出し距離画像を生成する距離画像生成第２処理が行われる（図７及び図８参照）。

距離画像生成部１５は、撮像装置２ａ，２ｂによって取得された画像データのうち、いずれか一方を基準画像とし、他方を参照画像とした場合に、基準画像と参照画像との相関度を演算（相関演算）し、参照画像中、基準画像の当該対象領域と相関度の最も高かった領域（相関演算により後述する「相関度の極値」が得られた領域；図３参照）について、基準画像と参照画像とのずれ量（視差値）を求める視差値算出処理を行う。そして、算出された視差値に基づいて距離画像を生成するようになっている。

基準画像と参照画像との相関演算について図２を参照しつつ説明する。図２（ａ）は基準画像を表し、図２（ｂ）は参照画像を表している。図２において、各マスは１画素を表しており、基準画像及び参照画像の全画面は、ともに、Ｘ軸方向（横方向）が２６画素、Ｙ軸方向（縦方向）が２０画素で構成されている場合を例としている。

相関演算を行う場合には、距離画像生成部１５は、基準画像を所定の単位面積に分割し、基準画像中のある領域を視差値を算出する位置（対象領域）として設定する。対象領域の設定は、例えば図２（ａ）の左上（Ｘ＝１，Ｙ＝２０）を基点として所定の範囲の領域が順次設定される。
すなわち、ある領域（例えばＸ＝１〜５，Ｙ＝１６〜２０の２５画素）が対象領域として設定され、当該対象領域についての相関演算が完了すると、例えばＸ軸方向（画像の水平方向）に１画素ずつ順次ずらして次の対象領域（例えばＸ＝２〜６，Ｙ＝１６〜２０の２５画素）が設定され、相関演算が行われる。Ｘ軸方向の全画素（図２（ａ）において２６画素）についてすべての相関演算が完了すると、Ｙ軸方向に１画素ずらして次の対象領域（例えばＸ＝１〜５，Ｙ＝１５〜１９の２５画素）が設定され、相関演算が行われる。当該対象領域について相関演算が完了すると、さらに、対象領域をＸ軸方向に１画素ずつ順次ずらして次の対象領域（例えばＸ＝２〜６，Ｙ＝１５〜１９の２５画素）が設定され、相関演算が行われる。このように、Ｘ軸方向、Ｙ軸方向それぞれ１画素ずつずらして順次対象領域が設定され、全画面の全画素について相関演算が完了するまで、各対象領域についての相関演算が繰り返される。

次に、相関演算の具体的手法について説明する。
相関度の高い領域を探索する手法は各種ありうるが、本実施形態においては、ＳＡＤ（Sum of Absolute Differences：絶対誤差合計）演算という相関演算を行うことにより相関度の高い領域を探索する場合を例として説明する。なお、相関度を求める手法はここに例示するものに限定されない。

例えば、図２（ａ）に示すように、基準画像中の破線で囲んだ範囲（Ｘ＝８〜１２，Ｙ＝１４〜１８の２５画素）が対象領域として設定され、相関演算が行われる場合、距離画像生成部１５は、参照画像中、対象領域と同じＹ軸範囲（Ｙ＝１４〜１８）についてＸ軸方向（画像の水平方向）に順次比較対照領域を設定し、順次相関演算を行うことにより、対象領域と各比較対照領域との相関度を算出する。これにより参照画像中、対象領域と最も相関度の高い領域を探索する。

すなわち、距離画像生成部１５は、まず、対象領域を構成する各画素（図２（ａ）中のＸ＝８，Ｙ＝１４、Ｘ＝９，Ｙ＝１４・・・の全２５画素）の画像データ値を算出する。また、参照画像の中で対象領域に対照させるものとして設定した比較対照領域内の各画素（例えば、図２（ｂ）中の破線で囲んだ範囲（Ｘ＝８，Ｙ＝１４、Ｘ＝９，Ｙ＝１４・・・の全２５画素））の画像データ値を算出する。そして、対象領域を構成する各画素の画像データ値から、比較対照領域を構成する各画素の画像データ値を減算して、その絶対値を算出する。
例えば、対象領域内のある画素（図２（ａ）中のＸ＝８，Ｙ＝１４）の画像データ値が１００であり、これに対応する比較対照領域内の画素が図２（ｂ）におけるＸ＝８，Ｙ＝１４の画像データ値が５０である場合には、１００−５０＝５０となり、絶対値５０となる。
また例えば、対象領域内のある画素（図２（ａ）中のＸ＝１２，Ｙ＝１８）の画像データ値が５０であり、これに対応する比較対照領域内の画素が図２（ｂ）におけるＸ＝１２，Ｙ＝１８の画像データ値が９０である場合には、５０−９０＝−４０となり、絶対値４０となる。
このような画像データ値の減算及び絶対値の算出を対象領域及び比較対照領域を構成する２５画素全てについて行う。なお、この演算は、各画素について順次行われてもよいし、当該領域内の全画素について同時進行的に行われてもよい。

さらに、距離画像生成部１５は、算出された結果（絶対値）を全て加算する。そして加算後の値が小さければ小さいほど相関度が高く、同じ画像である場合には、限りなく０に近づく（加算後の値の最小値を「相関度の極値」と称する。）。例えば、図２の場合、図２（ａ）中の破線で囲んだ範囲（Ｘ＝８〜１２，Ｙ＝１４〜１８の２５画素）と、図２（ｂ）中の一点鎖線で囲んだ範囲（Ｘ＝１４〜１８，Ｙ＝１４〜１８の２５画素）とは同じ画像であり、前者を構成する各画素の画像データ値から後者を構成する各画素のうち対応するものの画像データ値をそれぞれ減算して絶対値を求め、算出結果を加算すると、限りなく０に近づく。

このようにして、参照画像中、基準画像の対象領域と相関度の最も高い領域（相関演算により相関度の極値が得られた領域）を検索すると、距離画像生成部１５は、当該相関度の最も高い領域が、基準画像の対象領域とどの程度ずれているかのずれ量（視差値）を算出し、図３に示すように、相関度の最も高い領域がどの視差値に対応するかを求める。
すなわち、図２の例によれば、対象領域（図２（ａ）中のＸ＝８〜１２，Ｙ＝１４〜１８の２５画素）と、相関度の最も高い領域である図２（ｂ）中の一点鎖線で囲んだ範囲（Ｘ＝１４〜１８，Ｙ＝１４〜１８の２５画素）とは、Ｘ軸方向に６画素ずれている。したがって、この場合の視差値は６となる。

また、視差値と距離値との関係は、距離値＝定数／視差値であり、距離値は視差値の逆数となるとの関係にある。すなわち、視差値が小さくなるほど距離は遠くなり、視差値が大きくなるほど距離が近くなるという関係にある。このため、距離画像生成部１５は、前記相関演算により視差値を求め、視差値の逆数を求めることにより、距離値を取得して、距離画像を生成するようになっている。

本実施形態においては、距離画像生成部１５は、前記エッジ判定部１４によりエッジ部分が含まれていると判定された対象領域について、エッジ部分を含まないと判定された領域よりも先に視差値算出処理を行う。
すなわち、距離画像生成部１５は、視差値の算出を開始する視差値算出開始位置が設定されると、この視差値算出開始位置から順に所定の対象領域を設定する。そして、距離画像生成部１５は、まず、各対象領域についてエッジ判定部１４によりエッジ部分が含まれていると判定された領域であるか否かを判断し、全画面のうち、エッジ部分が含まれている対象領域のみについて、視差値を算出する距離画像生成第１処理（図５及び図６参照）を行う。その後、距離画像生成第１処理において視差値が算出されなかった領域について、再度視差値算出開始位置から順に所定の対象領域ごとに視差値を算出する距離画像生成第２処理（図７及び図８参照）を行う。

なお、視差値算出開始位置は任意の位置に設定することができるが、本実施形態においては、画面の左上（図２（ａ）の左上（Ｘ＝１，Ｙ＝２０））を視差値算出開始位置として設定し、所定の範囲（例えば５×５画素）を対象領域として設定する場合について説明する。この場合、ある対象領域について視差値算出処理が終了すると、対象領域として設定する領域をＸ軸方向（画像の水平方向）の右側に１画素ずつ移動させる。そして、Ｘ軸方向（画像の水平方向）のラインの右端まで視差値算出処理が終了すると、Ｘ軸方向（画像の水平方向）の左端に戻り、Ｙ軸方向（画像の垂直方向）に１画素下がったところを次の対象領域として設定する。そして、再度Ｘ軸方向（画像の水平方向）のラインの右端まで視差値算出処理を行い、以下も同様に繰り返す。

さらに、本実施形態においては、距離画像生成部１５は、基準画像に設定された対象領域内にエッジ部分が含まれているか否かによって、相関演算を行う演算範囲を決定するようになっている。
すなわち、前記エッジ判定部１４により当該対象領域内にエッジ部分が含まれていると判定された場合には、距離画像生成部１５は、距離画像生成第１処理において、Ｘ軸方向（画像の水平方向）の全領域について対象領域との相関演算を行うように演算範囲を決定する。
これに対して、当該対象領域内にエッジ部分が含まれていないと判定された場合には、距離画像生成部１５は、距離画像生成第２処理において、相関演算を行う範囲をＸ軸方向の隣接画素近傍に限定する。

例えば、対象領域が図２（ａ）中のＸ＝１７〜２１，Ｙ＝１４〜１８の２５画素であり、エッジ判定部１４により当該対象領域内にエッジ部分が含まれていないと判定された場合であって、相関演算を行う演算範囲をＸ軸方向に隣接する５画素に限定する場合には、参照画像（図２（ｂ））において、Ｘ軸方向の演算範囲をＸ＝１２〜２６とし、この範囲で参照画像内に比較対照領域を設定して順次対象領域と各比較対照領域との相関演算を行う。なお、エッジ部分が含まれていないと判定された場合に、どの範囲を演算範囲とするか（何画素までを隣接画素近傍とするか）は、予めデフォルトとして設定がなされていてもよいし、ユーザが任意に設定できるようにしてもよい。

また、距離画像生成装置１には、距離画像生成部１５によって生成された距離画像を出力する出力部２０が設けられている。出力部２０は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニタ（表示手段）であり、距離画像を表示させるようになっている。なお、出力部１５は、モニタに限定されず、例えば、プリンタ等の外部機器（出力手段）と接続するための通信部であり、生成された距離画像を外部機器に送信して出力可能に構成されていてもよい。

以下、図４から図８を参照しつつ、本実施形態における距離画像生成装置１によって行われる距離画像生成方法について説明する。

距離画像生成装置１によって距離画像を生成するときは、まず、距離画像生成部１５は、２つの撮像装置２ａ，２ｂにより被写体を撮像し、基準画像、参照画像の画像データを取得する。撮像装置２ａ，２ｂにより取得された基準画像、参照画像の画像データは、Ａ／Ｄ変換部５によりＡ／Ｄ変換され、画像処理部１０に送られる。

図４に示すように、基準画像、参照画像の画像データが画像処理部１０に送られると、各画像データについて、レンズ歪み補正部１１による歪み補正及び画像平行化処理部１２による画像平行化処理が施される（ステップＳ１）。次に、エッジ抽出部１３によりエッジ部分を抽出しエッジ情報を生成するエッジ情報生成処理が行われる（ステップＳ２）。生成されたエッジ情報は各画素ごとに図示しない記憶部に記憶される。

さらに、距離画像生成部１５により、まず、全画面について距離画像生成第１処理が行われ（ステップＳ３）、距離画像生成第１処理の完了後、全画面について距離画像生成第２処理が行われる（ステップＳ４）。なお、この距離画像生成第１処理及び距離画像生成第２処理は、ＣＰＵ等から構成されるコンピュータである画像処理部１０と前記距離画像生成処理プログラムとの協働により実現される。

次に距離画像生成第１処理の具体的処理手順について、図５及び図６を参照しつつ説明する。

図５に示すように、距離画像生成第１処理を行う場合には、まず、距離画像生成部１５により、基準画像内において視差値の算出を開始する位置が設定され（ステップＳ１１）、この視差値算出開始位置から所定の範囲（例えば、図２（ａ）中のＸ＝１〜５，Ｙ＝１６〜２０の２５画素）が対象領域として設定される。
次に、エッジ抽出部１３によって生成されたエッジ情報のうち当該対象領域についての情報が読み出され、エッジ判定部１４により当該対象領域内にエッジ部分が含まれているか否かが判定される（ステップＳ１２）。そして、距離画像生成部１５は、エッジ判定部１４による判定結果に応じて、視差値の算出順序を決定する機能部及び演算範囲を決定する機能部として機能し、エッジ判定部１４により当該対象領域にエッジ部分が含まれていると判定された場合には（ステップＳ１２；ＹＥＳ）、以降の処理においてＸ軸方向の全ての画素を演算範囲とするエッジ用の相関演算処理であるエッジ用視差値算出処理（図６参照）を適用する（ステップＳ１３）。他方、エッジ判定部１４によりエッジ部分が含まれていないと判定された場合には（ステップＳ１２；ＮＯ）、距離画像生成部１５は、当該対象領域については視差値算出処理を行わず（ステップＳ１４）、視差値未算出の付加情報を付して、次の対象領域を設定する。

ここで、図６を参照しつつ、エッジ用の相関演算処理であるエッジ用視差値算出処理（図５のステップＳ１３）について説明する。

対象領域内にエッジ部分が含まれている場合（ステップＳ１２；ＹＥＳ）には、距離画像生成部１５は、相関演算を行う範囲をＸ軸方向（画像の水平方向）の全画素にわたる視差範囲（視差０〜ｄｍａｘ（本実施形態においては０〜２５。図２参照））に設定する（ステップＳ２１）。そして、まず、参照画像のうち、対象領域に対して視差ｄ＝０の領域を比較対照領域として設定し（ステップＳ２２）、この比較対照領域について、対象領域との相関演算を行い、視差ｄにおける相関度を算出する（ステップＳ２３）。

視差ｄにおける相関度の算出が完了すると、距離画像生成部１５は、ｄ＋１がｄｍａｘより大きいかを常に判断し、次に比較対照領域とすべき領域があるか否かを判断する（ステップＳ２４）。ｄ＋１がｄｍａｘに満たない場合には（ステップＳ２４；ＮＯ）、次に、視差ｄ＝ｄ＋１の領域を比較対照領域として設定し（ステップＳ２５）、この比較対照領域について、対象領域との相関演算を行い、視差ｄにおける相関度を算出する（ステップＳ２３）。他方、ｄ＋１がｄｍａｘより大きい場合（ステップＳ２４；ＹＥＳ）には、算出された相関度が最も高い領域の視差値を、設定された範囲（対象領域）についての視差値と決定して（ステップＳ２６）、エッジ用視差値算出処理を終了する。
そして、距離画像生成部１５は、視差値を取得すると、この逆数を求めて距離値を得、距離画像を生成する。

次に、図５に戻り、当該対象領域についてエッジ用視差値算出処理による相関演算処理が終了した場合（ステップＳ１３）又は視差値算出処理を行わず、視差値未算出の付加情報のみが付加された場合（ステップＳ１４）には、距離画像生成部１５は、視差値算出処理(相関演算処理)が全画面（図２においては、２６画素×２０画素）について終了したかを判断し（ステップＳ１５）、終了した場合（ステップＳ１５；ＹＥＳ）には、処理を終了する。また、相関演算の終了していない箇所がある場合（ステップＳ１５；ＮＯ）には、距離画像生成部１５は、対象領域を次の位置（例えば、図２（ａ）中のＸ＝２〜６，Ｙ＝１６〜２０の２５画素）に移動して（ステップＳ１６）、当該領域を新たな対象領域として設定し、ステップＳ１２からステップＳ１５の処理を繰り返す。
そして、全画面について、エッジ判定部１４により当該対象領域内にエッジ部分が含まれていると判断された領域の視差値算出処理が完了すると（ステップＳ１５；ＹＥＳ）、距離画像生成部１５は、距離画像生成第１処理を終了する。

次に距離画像生成第２処理の具体的処理手順について、図７及び図８を参照しつつ説明する。

図７に示すように、距離画像生成第２処理を行う場合には、まず、距離画像生成部１５により、基準画像内において視差値の算出を開始する位置が設定され（ステップＳ３１）、この視差値算出開始位置から所定の範囲（例えば、図２（ａ）中のＸ＝１〜５，Ｙ＝１６〜２０の２５画素）が対象領域として設定される。

次に、距離画像生成部１５は、設定された当該対象領域について、既に視差値が取得されているか（当該対象領域について視差値未算出の付加情報が付加されていないか）を判断し（ステップＳ３２）、視差値が取得されていない場合（ステップＳ３２；ＮＯ）には、さらに、当該対象領域に隣接する画素について視差値が取得されているかを判断する（ステップＳ３３）。隣接画素について視差値が取得されている場合（ステップＳ３３；ＹＥＳ）には、距離画像生成部１５は、隣接画素の視差値に基づく視差値算出処理（ステップＳ３４）を行う。

ここで、隣接画素の視差値に基づく視差値算出処理（相関演算処理）について、図８を参照しつつ説明する。

対象領域が、視差値未算出であって、当該対象領域に隣接する画素について視差値が取得されている場合（図７におけるステップＳ３３；ＹＥＳ）には、距離画像生成部１５は、対象領域に隣接する画素の視差値情報を取得し、この値をｄ０とする（ステップＳ４１）。そして、距離画像生成部１５は、相関演算を行う範囲を、この隣接画素の視差値前後（ｄ０−α＜ｄ＜ｄ０＋α）に設定する（ステップＳ４２）。例えば、隣接画素の視差値±５の範囲を相関演算を行う演算範囲とする場合には、相関演算を行う演算範囲を、ｄ０−５＜ｄ＜ｄ０＋５に設定する。
そして、まず、参照画像のうち、対象領域に対して視差ｄ＝ｄ０−αの領域を比較対照領域として設定し（ステップＳ４３）、この比較対照領域について、対象領域との相関演算を行い、視差ｄ０−αにおける相関度を算出する（ステップＳ４４）。

視差ｄ０−αにおける相関度の算出が完了すると、距離画像生成部１５は、ｄ＋１がｄ０＋αより大きいかを常に判断し、次に比較対照領域とすべき領域があるか否かを判断する（ステップＳ４５）。ｄ＋１がｄ０＋αに満たない場合には（ステップＳ４５；ＮＯ）、次に、視差ｄ＝ｄ＋１の領域を比較対照領域として設定し（ステップＳ４６）、この比較対照領域について、対象領域との相関演算を行い、視差ｄにおける相関度を算出する（ステップＳ４４）。他方、ｄ＋１がｄ０＋αより大きい場合（ステップＳ４５；ＹＥＳ）には、算出された相関度が最も高い領域の視差値を、設定された範囲（対象領域）についての視差値と決定して（ステップＳ４７）、隣接画素の視差値に基づく視差値算出処理（相関演算処理）を終了する。

他方、図７に戻って、対象領域について既に視差値が取得されている場合（ステップＳ３２；ＹＥＳ）及び対象領域に隣接する画素について視差値が取得されていない場合（ステップＳ３３；ＮＯ）には、距離画像生成部１５は、視差値を算出することなく（ステップＳ３５）、次の処理に進む。

距離画像生成部１５は、対象領域について隣接画素の視差値に基づく視差値算出処理を行った場合（ステップＳ３４）又は視差値を算出しなかった場合（ステップＳ３５）には、視差値算出処理(相関演算処理)が全画面（図２においては、２６画素×２０画素）について終了したかを判断し（ステップＳ３６）、視差値算出処理の終了していない箇所がある場合（ステップＳ３６；ＮＯ）には、距離画像生成部１５は、対象領域を次の位置（例えば、図２（ａ）中のＸ＝２〜６，Ｙ＝２０〜１６の２５画素）に移動して（ステップＳ３７）、当該領域を新たな対象領域として設定し、ステップＳ３２からステップＳ３６の処理を繰り返す。

全画面について視差値算出処理が終了した場合（ステップＳ３６；ＹＥＳ）には、距離画像生成部１５は、さらに画面中の全画素について視差値が取得されたか否かを判断する（ステップＳ３８）。そして、画面中に視差値が取得されていない画素がある場合には再度ステップＳ３１に戻って視差値算出開始位置を設定し、ステップＳ３２からステップＳ３８の処理を繰り返す。
このように処理を繰り返すことによって、視差値の取得された画素が増え、隣接画素について視差値が取得されている領域（ステップＳ３３；ＹＥＳとなる領域）が増加する。これにより、画面中のほぼすべての対象領域について隣接画素の視差値に基づく視差値算出処理を行うことが可能となる。
そして、画面中の全画素について視差値算出処理が完了すると（ステップＳ３８；ＹＥＳ）、距離画像生成部１５は、距離画像生成第２処理を終了する。

以上より、本実施形態における距離画像生成装置１、距離画像生成方法及びプログラムによれば、比較的正確な距離画像を得やすいエッジ部分を含む領域について先に視差値算出処理を行い、その後、エッジ部分以外の領域について、隣接画素の視差値が得られている領域から順に視差値算出処理を行うので、エッジ部分以外の領域についても正確に視差値を算出することができ、精度の高い距離画像を生成することができる。

また、本実施形態においては、２５画素ずつの範囲を単位面積として、相関演算を行っているので、点（１画素）同士を対比する場合と比較して容易かつ正確に相関度を求めることができる。

なお、本実施形態においては、基準画像を２５画素ずつの単位面積に分割して対象領域として設定し、この単位面積ごと（対象領域ごと）に相関演算を行う場合を例として説明したが、対象領域の範囲は、２５画素ずつに限定されず、任意の範囲に設定することができる。
また、本実施形態においては、単位面積（対象領域）を２５画素ずつの所定の領域とし、この領域ごとに相関演算を行うものとしたが、相関演算を行う際の単位面積（対象領域）はここに例示したものに限定されない。例えば１画素を単位面積（対象領域）として、１画素ごとに基準画像と参照画像の相関度を算出するようにしてもよい。

また、本実施形態においては、エッジ用の相関演算処理であるエッジ用視差値算出処理において、Ｘ軸方向の全画素を演算範囲とする場合について説明したが、ユーザの用途等により、一定の限定された距離値の範囲のみ距離を求めることができればよい場合もある。このような場合には、用途に応じた距離範囲に対応する視差値の範囲を演算範囲として設定し、この範囲内においてのみ相関演算を行うようにしてもよい。
例えば、１００ｍ以上離れた距離にあるものの距離のみを求めれば足りる場合には、１００ｍ以上の距離値に対応する視差値の範囲を演算範囲として設定する。これにより、エッジ用視差値算出処理において、相関演算の処理時間を短縮することができる。

また、本実施形態においては、距離画像生成第２処理において、距離画像生成部１５は、対象領域に隣接する画素の視差値に基づく視差値算出処理を行うようにしたが、対象領域に隣接する画素のみならず、近傍画素の視差値にも基づいて視差値算出処理を行うようにしてもよい。なお、この場合、どの範囲を隣接する画素又は近傍画素とするか（何画素までを視差値算出処理の際に参照するか）は、予めデフォルトとして設定がなされていてもよいし、ユーザが任意に設定できるようにしてもよい。

その他、本発明が上記実施の形態に限らず適宜変更可能であるのは勿論である。

次に、本発明に係る距離画像生成装置の第２の実施形態について説明する。なお、第２の実施形態は、距離画像を生成する処理のうち距離画像生成第１処理の内容が第１の実施形態と異なるものであり、距離画像生成装置の装置構成は第１の実施形態に示したものと同様であるので、以下においては、距離画像生成装置の装置構成についてはその説明を省略し、特に第１の実施形態と異なる点について説明する。

本実施形態において、距離画像生成装置の画像処理部は、第１の実施形態において述べたのと同様に、歪み補正・画像並行化処理、エッジ画像生成処理を行い、距離画像生成部は、まずエッジ判定手段によりエッジ部分含むと判断された領域について視差値算出処理を行う距離画像生成第１処理を行う。

本実施形態では、エッジ判定手段は、エッジ抽出部によって生成されたエッジ情報に基づいて、各対象領域ごとにエッジの強度を判定するようになっており、エッジ判定手段によって判定されたエッジ強度は、例えば当該対象領域の付加情報としてエッジ情報に付加される。エッジ強度は、何段階で判定されてもよく、その強度の最大値をどの程度に設定するかは特に限定されないが、本実施形態においては、例えば、エッジ強度の最大値が２５５である場合を例として以下説明する。距離画像生成部は、距離画像生成第１処理において、エッジ部分含むと判断された領域について視差値算出処理を行う際に、エッジ判定手段により判定されたエッジの強度が強い領域から順に処理を行うようになっている。

以下、図９を参照しつつ、本実施形態における距離画像生成装置によって行われる距離画像生成方法について説明する。
本実施形態においては、前述のように、画像処理部は、撮像装置によって得られた基準画像及び参照画像について第１の実施形態と同様に歪み補正・画像並行化処理、エッジ画像生成処理を行う。そして、エッジ判定部により対象領域内にエッジ部分が含まれているか否かを判定し、含まれている場合には、当該対象領域についてエッジ部分を含まない領域よりも先に視差値算出処理を行う距離画像生成第１処理を行う。

図９は、本実施形態の距離画像生成第１処理において行われるエッジ部分における視差値算出処理について説明するフローチャートである。

対象領域内にエッジ部分が含まれている場合には、距離画像生成部は、エッジ強度の閾値を最大値に設定する。例えば、前述のようにエッジ強度の最大値が２５５である場合を例とすると、図９に示すようにエッジ強度の閾値を２５５に設定する（ステップＳ５１）。
そして、距離画像生成部により、基準画像内において視差値の算出を開始する位置が設定され（ステップＳ５２）、この視差値算出開始位置から所定の範囲（例えば、図２（ａ）中のＸ＝１〜５，Ｙ＝１６〜２０の２５画素）が対象領域として設定される。

次に、距離画像生成部は、エッジ判定部によって判定され対象領域のエッジ情報に付加されているエッジ強度が、ステップＳ５１で設定された閾値以上かを判断する（ステップＳ５３）。そして、距離画像生成部は、エッジ判定部による判定結果に応じて、視差値の算出順序を決定する機能部及び演算範囲を決定する機能部として機能し、エッジ判定部により判定された当該対象領域のエッジ強度が設定された閾値以上であると判断した場合（ステップＳ５３；ＹＥＳ）には、当該対象領域についてＸ軸方向の全ての画素を演算範囲とするエッジ用の相関演算処理であるエッジ用視差値算出処理（図６参照）を適用する（ステップＳ５４）。他方、当該対象領域のエッジ強度が設定された閾値未満であると判断した場合には（ステップＳ５３；ＮＯ）、距離画像生成部は、当該対象領域については視差値算出処理を行わず（ステップＳ５５）、視差値未算出の付加情報を付して、次の対象領域を設定する。
なお、距離画像生成部により対象領域のエッジ強度が設定された閾値以上であると判断された場合に適用されるエッジ用視差値算出処理は、第１の実施形態（図６参照）で説明したものと同様であることから、説明を省略する。

次に、当該対象領域についてエッジ用視差値算出処理による相関演算処理が終了した場合（ステップＳ５４）又は視差値算出処理を行わず、視差値未算出の付加情報のみが付加された場合（ステップＳ５５）には、距離画像生成部は、視差値算出処理(相関演算処理)が全画面（図２においては、２６画素×２０画素）について終了したかを判断する（ステップＳ５６）。

そして、相関演算の終了していない箇所がある場合（ステップＳ５６；ＮＯ）には、距離画像生成部は、対象領域を次の位置（例えば、図２（ａ）中のＸ＝２〜６，Ｙ＝１６〜２０の２５画素）に移動して（ステップＳ５７）、当該領域を新たな対象領域として設定し、ステップＳ５３からステップＳ５６の処理を繰り返す。
また、全画面について処理が終了した場合（ステップＳ５６；ＹＥＳ）には、距離画像生成部は、さらに、設定されているエッジ強度が０であるか否かを判断する（ステップＳ５８）。設定されているエッジ強度が０でない場合（ステップＳ５８；ＮＯ）には、エッジ強度の閾値を１下げて設定する。例えば、設定されているエッジ強度が２５５である場合には、２５５−１（すなわち２５４）と設定し、ステップＳ５２からステップＳ５８の処理を繰り返す。
他方、設定されているエッジ強度が０となっている場合（ステップＳ５８；ＹＥＳ）には、距離画像生成部は、距離画像生成第１処理を終了する。

そして、距離画像生成部は、距離画像生成第１処理の完了後、第１の実施形態において述べたのと同様の距離画像生成第２処理を行う。
なお、距離画像生成部により行われる距離画像生成第２処理は、第１の実施形態（図７及び図８参照）で説明したものと同様であることから、説明を省略する。

以上より、本実施形態における距離画像生成装置、距離画像生成方法及びプログラムによれば、エッジ部分のうちでもよりコントラストが高く、正確な距離画像を得やすいエッジ強度の強い領域から順に視差値算出処理を行うので、より正確に視差値を算出することができ、精度の高い距離画像を生成することができる。

なお、本実施形態においては、距離画像生成第１処理において、単に、エッジ強度が強い領域から順に視差値算出処理を行うようにしたが、例えば、距離画像生成第１処理におけるエッジ部分を含む領域についての視差値算出処理においても、第１の実施形態で説明した距離画像生成第２処理の場合（図８参照）と同様に、対象領域に隣接する画素又は近傍画素について既に視差値が得られている場合には、相関演算を行う範囲を隣接画素又は近傍画素の視差値前後に設定して視差値算出処理を行う等、隣接画素又は近傍画素について既に取得されている視差値に基づいて当該対象領域の視差値を算出するようにしてもよい。このように、先に取得されている正確性の高い視差値に基づいて当該対象領域の視差値を算出することにより、より正確に視差値の算出を行うことができる。

なお、本発明が本実施の形態に限られないことは、第１の実施形態と同様である。

次に、図１０を参照しつつ、本発明に係る距離画像生成装置の第３の実施形態について説明する。なお、第３の実施形態は、距離画像を生成する処理のうち距離画像生成第２処理の内容が第１の実施形態及び第２の実施形態と異なるものであり、距離画像生成装置の装置構成は第１の実施形態及び第２の実施形態に示したものと同様であるので、以下においては、距離画像生成装置の装置構成についてはその説明を省略し、特に第１の実施形態及び第２の実施形態と異なる点について説明する。

本実施形態において、距離画像生成装置の画像処理部は、第１の実施形態において述べたのと同様に、歪み補正・画像並行化処理、エッジ画像生成処理を行い、距離画像生成部は、まずエッジ部分含むと判断された領域について視差値算出処理を行う距離画像生成第１処理を行う。
なお、距離画像生成部により行われる距離画像生成第１処理は、第１の実施形態（図５及び図６参照）で説明したものと同様であることから、説明を省略する。

そして、距離画像生成部は、距離画像生成第１処理の完了後、距離画像生成第２処理として、以下のような処理を行う。

すなわち、まず、第１の実施形態において述べたのと同様、距離画像生成部により、基準画像内において視差値の算出を開始する位置が設定され、この視差値算出開始位置から所定の範囲が対象領域として設定される。そして、当該対象領域について視差値が取得されていない場合であって、当該対象領域の隣接画素の視差値が取得済みである場合には、距離画像生成部は、隣接画素の視差値に基づく視差値算出処理を行う。
なお、当該対象領域について既に視差値が取得されている場合、又は当該対象領域について視差値が取得されていないが当該対象領域の隣接画素の視差値が取得されていない（未算出）である場合には、距離画像生成部は、当該対象領域について視差値算出処理を行うことなく、次の対象領域を設定する。

図１０は、本実施形態における距離画像生成第２処理において行われる隣接画素の視差値に基づく視差値算出処理（相関演算）について説明するフローチャートである。

距離画像生成部は、対象領域について隣接画素の視差値に基づく視差値算出処理（相関演算）を行う場合には、相関演算を行う範囲をＸ軸方向（画像の水平方向）の全画素にわたる視差範囲（視差０〜ｄｍａｘ（本実施形態においては０〜２５。図２参照））に設定する（ステップＳ６１）。そして、まず、参照画像のうち、対象領域に対して視差ｄ＝０の領域を比較対照領域として設定し（ステップＳ６２）、この比較対照領域について、対象領域との相関演算を行い、視差ｄにおける相関度を算出する（ステップＳ６３）。

視差ｄにおける相関度の算出が完了すると、距離画像生成部は、ｄ＋１がｄｍａｘより大きいかを常に判断し、次に比較対照領域とすべき領域があるか否かを判断する（ステップＳ６４）。ｄ＋１がｄｍａｘに満たない場合には（ステップＳ６４；ＮＯ）、次に、視差ｄ＝ｄ＋１の領域を比較対照領域として設定し（ステップＳ６５）、この比較対照領域について、対象領域との相関演算を行い、視差ｄにおける相関度を算出する（ステップＳ６３）。他方、ｄ＋１がｄｍａｘより大きい場合（ステップＳ６４；ＹＥＳ）には、算出された相関度が最も高い領域（相関演算により相関度の極値が得られた領域）の視差値を、設定された範囲（対象領域）についての視差値と決定する（ステップＳ６６）。

設定された範囲（対象領域）についての視差値と決定されると、距離画像生成部は、当該決定された設定範囲（対象領域）の視差値を対象領域に隣接する画素又は近傍画素について既に得られている視差値と比較することにより、設定範囲（対象領域）について正しい視差値が得られているか否かを判断する（ステップＳ６７）。具体的には、設定範囲（対象領域）について決定された視差値と対象領域に隣接する画素又は近傍画素について既に得られている視差値との差が許容される所定の範囲内であるときは正しい視差値が得られていると判断し、両者の差が許容される所定の範囲を超えている場合には正しい視差値が得られていないと判断する。
本実施形態においては、エッジ部分を含む領域のように正確な視差値を算出できる領域から順に視差値の算出を行うため、先に得られている視差値と大きく異なる視差値が算出されたときは、正しい視差値ではない可能性が高い。このため、新たに取得（算出）された視差値と、その隣接する画素又は近傍画素について既に得られている正確性の高い視差値とを比較することにより、新たに取得（算出）された視差値が信頼するに足る正確な値であるかを判断することが可能となる。
なお、設定範囲（対象領域）について決定された視差値と対象領域に隣接する画素又は近傍画素について既に得られている視差値との差として許容される所定の範囲は、予め所定の値がデフォルトとして設定されていてもよいし、ユーザが任意に設定できるようになっていてもよい。

設定範囲（対象領域）について正しい視差値が得られていると判断する場合（ステップＳ６７；ＹＥＳ）には、距離画像生成部は、当該設定範囲（対象領域）についての視差値算出処理を終了する。そして、距離画像生成部は、視差値を取得すると、この逆数を求めて距離値を得、距離画像を生成する。
他方、設定範囲（対象領域）について正しい視差値が得られていないと判断する場合（ステップＳ６７；ＮＯ）には、距離画像生成部は、当該設定範囲（対象領域）に関する情報として当該設定範囲（対象領域）について正しい視差値が得られていない旨の付加情報を付加して（ステップＳ６８）、当該設定範囲（対象領域）についての視差値算出処理を終了する。

設定範囲（対象領域）についての視差値算出処理が終了すると、距離画像生成部は、視差値算出処理(相関演算処理)が全画面（図２においては、２６画素×２０画素）について終了したかを判断し、終了した場合には、処理を終了する。また、相関演算の終了していない箇所がある場合には、距離画像生成部は、対象領域を次の位置（例えば、図２（ａ）中のＸ＝２〜６，Ｙ＝１６〜２０の２５画素）に移動して、当該領域を新たな対象領域として設定し、再度視差値を算出するための処理を繰り返す。
そして、全画面について視差値算出処理が完了すると、距離画像生成部は、距離画像生成第２処理を終了する。

以上のように、本実施形態によれば、エッジ部分含むと判断された領域のように正確な視差値を算出できる領域から順に視差値の算出を行い、エッジ部分を含まない領域については、既に隣接画素について視差値が得られている領域から順に視差値を算出し、当該視差値を、隣接する画素又は近傍画素について既に得られている視差値と比較して、その値の正確性を判断するので、エッジ部分を含まない領域についてもより正確に視差値を算出することができる。

また、ある対象領域について取得された視差値が当該領域に隣接する画素又は近傍画素について既に得られている視差値と大きく異なり、正確性が低いと判断される場合には、当該対象領域について正しい視差値が得られていないとの付加情報を付すため、距離画像生成装置によって生成された距離画像を後に利用する際に、正確に視差値が得られている領域と、正しい視差値が得られていない領域とを明確に区別することができ、より精度の高い距離判断を行うことが可能となる。

なお、本実施形態においては、対象領域について取得された視差値が当該領域に隣接する画素又は近傍画素について既に得られている視差値と大きく異なり、正確性が低いと判断される場合には、当該対象領域について正しい視差値が得られていないとの付加情報を付して、視差値算出処理を終了するようにしたが、視差値の正確性が低いと判断される場合の処理手法はここに例示したものに限定されない。
例えば、正しい視差値が得られていないとの付加情報が付された対象領域については、視差値未取得の領域として、全画面について隣接画素の視差値の得られている領域について視差値算出処理を行った後、再度視差値算出処理の対象としてもよい。
また、例えば、正しい視差値が得られていないとの付加情報が付された対象領域については、全画面について隣接画素の視差値の得られている領域について視差値算出処理を行った後、相関演算を行う範囲を当該対象領域の隣接画素の視差値前後に設定して（図８参照）、当該範囲内について再度視差値算出処理（相関演算）を行うようにしてもよい。

また、本実施形態においては、対象領域について視差値算出処理（相関演算）を行った結果、算出された相関度が高い領域（相関演算により相関度の極値が得られた領域）が１つ取得された場合について説明したが、例えば、対象領域について視差値算出処理（相関演算）を行った結果、算出された相関度が同程度高い領域が複数存在する場合（相関演算により相関度の極値が複数得られた場合）にも、同様の処理を行うことができる。
すなわち、算出された相関度が同程度高い領域が複数存在する場合（相関演算により相関度の極値が複数得られた場合）には、それぞれに対応する視差値を求めて、これを当該対象領域に隣接する画素又は近傍画素について既に得られている視差値と比較する。そして、比較の結果、隣接する画素又は近傍画素について既に得られている視差値との差が許容される所定の範囲内である視差値がある場合には、その視差値を当該対象領域の視差値として決定し、算出された視差値のいずれもが許容される所定の範囲内でない場合には、当該対象領域について正しい視差値が得られていない旨の付加情報を付して、処理を終了する。

また、このように算出された相関度が同程度高い領域が複数存在する場合（相関演算により相関度の極値が複数得られた場合）には、算出された各相関度に基づいて求められた複数の視差値をそれぞれ当該対象領域に隣接する画素又は近傍画素について既に得られている視差値と比較して、隣接する画素又は近傍画素について既に得られている視差値に最も近いものを当該対象領域の視差値として選択するようにしてもよい。

なお、本実施形態においては、距離画像生成部により行われる距離画像生成第１処理は、第１の実施形態（図５及び図６参照）で説明したものと同様としたが、距離画像生成第１処理において、第２の実施形態で説明したように、エッジ部分を含む領域についてエッジの強度の強い順に視差値算出処理（図９参照）を行うようにしてもよい。

その他、本発明が本実施の形態に限られないことは、第１の実施形態及び第２の実施形態と同様である。

本発明の第１の実施形態に係る距離画像生成装置の全体構成を示すブロック図である。 本発明の第１の実施形態に係る基準画像と参照画像との演算範囲を説明する説明図である。 本発明の第１の実施形態に係る基準画像と参照画像との演算範囲を説明する説明図である。 本発明の第１の実施形態に係る距離画像生成装置により行われる処理を表すフローチャートである。 図４に示す距離画像生成第１処理を表すフローチャートである。 図５に示す距離画像生成第１処理におけるエッジ用視差値算出処理を表すフローチャートである。 図４に示す距離画像生成第２処理を表すフローチャートである。 図７に示す距離画像生成第２処理における隣接画素の視差値に基づく視差値算出処理を表すフローチャートである。 本発明の第２の実施形態おける距離画像生成第１処理において行われるエッジ部分の視差値算出処理を表すフローチャートである。 本発明の第３の実施形態における距離画像生成第２処理において行われる隣接画素の視差値に基づく視差値算出処理を表すフローチャートである。

符号の説明

１ 距離画像生成装置
２ａ，２ｂ 撮像装置
１０ 画像処理部
１１ レンズ歪み補正部
１２ 画像平行化処理部
１３ エッジ抽出部
１４ エッジ判定部
１５ 距離画像生成部

Claims (15)

1. 少なくとも２つの撮像手段を備え、前記各撮像手段により、被写体を撮影した基準画像と前記基準画像とは異なる視点から被写体を撮像した参照画像とを取得する画像取得手段と、
   前記画像取得手段より取得された前記基準画像と前記参照画像との視差値を所定の演算範囲について算出する視差値算出処理を行い、算出された視差値に基づいて距離画像を生成する距離画像生成手段と、
   前記画像取得手段によって取得された前記基準画像が複数の被写体の境界であるエッジ部分を含むか否かを判定するエッジ判定手段と、を備え、
   前記距離画像生成手段は、前記基準画像を単位面積ごとの領域に分割して、分割された各領域ごとに前記視差値算出処理を行うものであり、
   前記エッジ判定手段は、前記領域ごとに前記基準画像が前記エッジ部分を含むか否かを判定するものであって、
   前記距離画像生成手段は、前記基準画像のうち前記エッジ判定手段により前記エッジ部分を含むと判定された領域について、前記エッジ部分を含まないと判定された領域よりも先に前記視差値算出処理を行うことを特徴とする距離画像生成装置。
2. 前記距離画像生成手段は、前記領域に隣接する画素又は近傍画素について既に取得されている視差値がある場合には、当該視差値に基づいて前記領域の視差値を算出することを特徴とする請求項１に記載の距離画像生成装置。
3. 前記エッジ判定手段は、前記エッジ部分について、さらにエッジの強度を判定し、
   前記距離画像生成手段は、前記エッジ部分のうち、前記エッジ判定手段により判定されたエッジの強度が強い領域から順に前記視差値算出処理を行うことを特徴とする請求項１又は請求項２に記載の距離画像生成装置。
4. 前記距離画像生成手段は、前記エッジ判定手段により前記エッジ部分を含まないと判定された領域のうち、当該領域に隣接する画素につき既に視差値が得られている領域から順に前記視差値算出処理を行い、全画素について視差値が得られるまで前記視差値算出処理を繰り返すことを特徴とする請求項１から請求項３のいずれか一項に記載の距離画像生成装置。
5. 前記距離画像生成手段は、前記領域ごとに相関演算を行うことにより視差値を算出するものであり、
   前記エッジ判定手段により基準画像が前記エッジ部分を含まないと判定された場合であって、相関演算により相関度の極値が複数得られた場合には、前記距離画像生成手段は、前記領域に隣接する画素又は近傍画素について既に得られている視差値に基づいて、前記領域の視差値を決定することを特徴とする請求項１から請求項４のいずれか一項に記載の距離画像生成装置。
6. 少なくとも２つの撮像手段により、被写体を撮影した基準画像と前記基準画像とは異なる視点から被写体を撮像した参照画像とを取得する画像取得工程と、
   前記画像取得工程より取得された前記基準画像と前記参照画像との視差値を所定の演算範囲について算出する視差値算出工程を含み、前記視差値算出工程によって算出された視差値に基づいて距離画像を生成する距離画像生成工程と、
   前記画像取得工程によって取得された前記基準画像が複数の被写体の境界であるエッジ部分を含むか否かを判定するエッジ判定工程と、を備え、
   前記視差値算出工程は、前記基準画像を単位面積ごとの領域に分割して、分割された各領域ごとに前記視差値の算出を行うものであり、
   前記エッジ判定工程は、前記領域ごとに前記基準画像が前記エッジ部分を含むか否かを判定するものであって、
   前記視差値算出工程は、前記基準画像のうち前記エッジ判定工程において前記エッジ部分を含むと判定された領域について、前記エッジ部分を含まないと判定された領域よりも先に前記視差値の算出を行うことを特徴とする距離画像生成方法。
7. 前記視差値算出工程は、前記領域に隣接する画素又は近傍画素について既に取得されている視差値がある場合には、当該視差値に基づいて前記領域の視差値を算出することを特徴とする請求項６に記載の距離画像生成方法。
8. 前記エッジ判定工程は、前記エッジ部分について、さらにエッジの強度を判定し、
   前記視差値算出工程は、前記エッジ部分のうち、前記エッジ判定工程により判定されたエッジの強度が強い領域から順次前記視差値の算出を行うことを特徴とする請求項６又は請求項７に記載の距離画像生成方法。
9. 前記視差値算出工程は、前記エッジ判定工程において前記エッジ部分を含まないと判定された領域のうち、当該領域に隣接する画素につき既に視差値が得られている領域から順に前記視差値の算出を行い、全画素について視差値が得られるまで前記視差値の算出を繰り返すことを特徴する請求項６から請求項８のいずれか一項に記載の距離画像生成方法。
10. 前記視差値算出工程は、前記領域ごとに相関演算を行うことにより視差値を算出するものであり、
    前記エッジ判定工程により基準画像が前記エッジ部分を含まないと判定された場合であって、前記視差値算出工程において、相関演算により相関度の極値が複数得られた場合には、前記領域に隣接する画素又は近傍画素について既に得られている視差値に基づいて、前記領域の視差値を決定することを特徴とする請求項６から請求項９のいずれか一項に記載の距離画像生成方法。
11. 被写体を撮影した基準画像と前記基準画像とは異なる視点から被写体を撮像した参照画像との視差値を、前記基準画像を単位面積ごとの領域に分割した各領域ごとに、所定の演算範囲について算出する視差値算出機能を含み、算出された視差値に基づいて距離画像を生成する距離画像生成機能と、
    前記基準画像が複数の被写体の境界であるエッジ部分を含むか否かを前記領域ごとに判定するエッジ判定機能と、
    前記基準画像のうち前記エッジ判定機能により前記エッジ部分を含むと判定された領域について、前記エッジ部分を含まないと判定された領域よりも先に前記視差値の算出を行うように、前記視差値算出機能による前記視差値の算出順序を決定する算出順序決定機能と、
    をコンピュータに実現させることを特徴とするコンピュータ読取可能なプログラム。
12. 前記視差値算出機能は、前記領域に隣接する画素又は近傍画素について既に取得されている視差値がある場合には、当該視差値に基づいて前記領域の視差値を算出することを特徴とする請求項１１に記載のコンピュータ読取可能なプログラム。
13. 前記エッジ判定機能は、前記エッジ部分について、さらにエッジの強度を判定し、
    前記算出順序決定機能は、前記エッジ部分のうち、前記エッジ判定機能により判定されたエッジの強度が強い領域から順に前記視差値算出機能による前記視差値の算出を行うように視差値の算出順序を決定することを特徴する請求項１１又は請求項１２に記載のコンピュータ読取可能なプログラム。
14. 前記算出順序決定機能は、前記エッジ判定機能により前記エッジ部分を含まないと判定された領域のうち、当該領域に隣接する画素につき既に視差値が得られている領域から順に前記視差値算出機能による前記視差値の算出を行うように視差値の算出順序を決定し、
    前記視差値算出機能は、前記算出順序決定機能により決定された算出順序に従って順次視差値の算出を行い、全画素について視差値が得られるまで前記視差値の算出を繰り返すことを特徴する請求項１１から請求項１３のいずれか一項に記載のコンピュータ読取可能なプログラム。
15. 前記視差値算出機能は、前記領域ごとに相関演算を行うことにより視差値を算出するものであり、
    前記エッジ判定機能により基準画像が前記エッジ部分を含まないと判定された場合であって、相関演算により相関度の極値が複数得られた場合には、前記視差値算出機能は、前記領域に隣接する画素又は近傍画素について既に得られている視差値に基づいて、前記領域の視差値を決定することを特徴とする請求項１１から請求項１４のいずれか一項に記載のコンピュータ読取可能なプログラム。

Images