JP2011013706A - ステレオ画像処理装置およびステレオ画像処理方法 - Google Patents

ステレオ画像処理装置およびステレオ画像処理方法 Download PDF

Info

Publication number
JP2011013706A
JP2011013706A JP2009154518A JP2009154518A JP2011013706A JP 2011013706 A JP2011013706 A JP 2011013706A JP 2009154518 A JP2009154518 A JP 2009154518A JP 2009154518 A JP2009154518 A JP 2009154518A JP 2011013706 A JP2011013706 A JP 2011013706A
Authority
JP
Japan
Prior art keywords
parallax
calculated
image processing
data
collation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009154518A
Other languages
English (en)
Other versions
JP4934701B2 (ja
Inventor
Morihiko Sakano
盛彦 坂野
Miki Higuchi
未来 樋口
Hisaya Nakataku
拓久哉 中
Takeshi Shima
健 志磨
Shoji Muramatsu
彰二 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2009154518A priority Critical patent/JP4934701B2/ja
Priority to US12/711,787 priority patent/US8548226B2/en
Publication of JP2011013706A publication Critical patent/JP2011013706A/ja
Application granted granted Critical
Publication of JP4934701B2 publication Critical patent/JP4934701B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】標準的な領域照合に基づくステレオマッチングにおいて照合精度の低下を抑制するためには、画像の局所的な性質に応じて、照合領域を適応的に変更するのが効果的であるが、計算コストが高い。
【解決手段】複数のカメラで複数の画像データを撮像する撮像部101と、撮像部101で撮像された複数の画像データを格納する画像メモリ102と、複数の画像データから求められた視差データを格納する算出済み視差格納部105と、画像メモリ102から読み込んだ複数の画像データと、算出済み視差格納部105から読み込んだ視差データと、に基づいて、画素毎に照合領域を設定する照合領域制御部103と、画像メモリ102から読み込んだ複数の画像データと、照合領域制御部103で設定された画素毎の照合領域と、に基づいて画像データを照合し、視差データを算出する視差演算部104と、を有するステレオ画像処理装置。
【選択図】 図1

Description

本発明は、ステレオ画像処理方法および装置に関する。
標準的なステレオマッチングでは、照合領域内の輝度値などを含む画像特徴量の類似度を用いて照合位置を探索する。しかしながら、照合領域内で視差が大きく変動している場合は、歪みの違いの影響を受けて類似度を正しく求められず、照合精度が低下する。照合精度の低下を抑制するには、照合領域内に視差変動を含まないように、照合領域を小さくすればよい。しかしながら、照合領域が小さい場合には、雑音の影響を受けやすく、類似パターンが存在する可能性も高まり、誤照合が生じやすい。したがって、照合精度を高めるためには、照合領域内に大きな視差変動を含まないように、できるだけ大きく照合領域をとることが望ましい。これを実現する方法の一つとして、各画素において、種々の大きさの照合ウィンドウで視差を算出し、視差の連続性に基づいて算出された照合ウィンドウサイズに対して、ウィンドウサイズの妥当性を表す指標である信頼度が最良となる照合ウィンドウによる処理結果を採用する方法、つまり照合領域面積を画素ごとに適応的に変化させる方法が特許文献1に開示されている。
また、照合精度を向上させるものとして、照合ウィンドウの大きさを段階的に小さくして適用する奥行き情報抽出装置および奥行き情報抽出方法について特許文献2に開示されている。
特開平5−256613号公報 特開平10−283474号公報
しかしながら、特許文献1では、照合精度は向上するものの、計算コストが高いという問題がある。また、特許文献2も特許文献1と同様に、各画素に対して複数の照合ウィンドウによる視差計算が必要になるため、照合精度は向上するものの、計算コストが高いという問題がある。
本発明の目的は、安価な計算コストで、領域照合によるステレオマッチングの照合精度向上と照合速度向上を両立することである。
上記課題を解決するために、本発明のステレオ画像処理装置は、複数のカメラで複数の画像データを撮像する撮像部と、その撮像部で撮像された複数の画像データを格納する画像メモリと、複数の画像データから求められた視差データを格納する算出済み視差格納部と、算出済み視差格納部から読み込んだ視差データに基づいて、画素毎に照合領域を設定する照合領域制御部と、画像メモリから読み込んだ複数の画像データと、照合領域制御部で設定された画素毎の照合領域と、に基づいて画像データを照合し、視差データを算出する視差演算部と、を有する構成とする。
また、本発明のステレオ画像処理方法は、複数のカメラで複数の画像データを撮像し、撮像された複数の画像データを画像メモリに格納し、予め算出済み視差格納部に格納された視差データに基づいて画素毎に照合領域を設定し、設定された照合領域に基づいて、複数の画像データを照合して視差データを算出する方法とする。
安価な計算コストで、領域照合によるステレオマッチングの照合精度向上と照合速度向上を両立できる。
本発明に係るステレオ画像処理装置の一構成例を示した図である。 本発明に係る照合領域制御部の一構成例を示した図である。 本発明のステレオカメラの一設置例と座標軸の設置を示した図である。 本発明の画素ごとの理想的な窓幅設定方法を示した図である。 本発明の照合窓幅の最大値,最小値に関して示した図である。 本発明の視差勾配から窓幅参照値を算出する補助関数の図である。 本発明の視差とそれに対する本手法による設定窓幅を示した図である。 本発明の窓幅設定の一連の流れを説明する図である。 本発明の視差エッジ保存型平滑化フィルタの結果を示した図である。 本発明に係るステレオ画像処理方法のフローチャートを示した図である。 本発明の初期照合領域設定のサブルーチンのフローチャートを示した図である。 本発明の視差算出サブルーチンのフローチャートを示した図である。 本発明の照合領域設定のサブルーチンのフローチャートを示した図である。 本発明に係るステレオ画像処理装置の他の構成例を示した図である。 本発明に係るステレオ画像処理装置の他の構成例を示した図である。 本発明に係るステレオ画像処理装置の他の構成例を示した図である。 本発明の距離算出部の測距原理を示した図である。
以下、本発明の一実施例について図面を参照しながら詳細に説明する。
まず、図1のステレオ画像処理装置1について説明する。ステレオ画像処理装置1は、撮像部101と、画像メモリ102と、照合領域制御部103と、視差演算部104と、算出済み視差格納部105で構成される。
ステレオ画像処理装置1は、例えば自車室内のルームミラー部に取付けられて、自車前方の様子を所定の俯角、取付け位置で撮像するようになっている。
図3に示した複数の撮像素子であるカメラ4a及びカメラ4bを含む撮像部101により撮像された自車前方の複数の画像データ(カメラ4aの画像データ、カメラ4bの画像データ)はステレオ画像処理装置1内部の画像メモリ102に格納され、その格納された複数の画像データは、視差演算部104に受け渡され、算出済み視差格納部105の情報を用いて、視差を算出する。
カメラ4a及びカメラ4bとステレオ画像処理装置1が一体でもよい。あるいは、ディスプレイ等に距離算出結果を描画してもよい。設置方法や撮像方向に特段の制限は設けない。
撮像部101によって撮像された二つの画像(車両の左側に備えた第1のカメラで撮像した第1の画像データ、車両の右側に備えた第2のカメラで撮像した第2の画像データ)は、画像メモリ102に転送され、画像データとして格納される。格納された画像データは、視差演算部104から読み出される。照合領域制御部103は、算出済み視差格納部105の視差データを用いて、各画素に照合領域を設定する。算出済み視差格納部105は、複数の画像データから求められた視差データを格納する、例えば、前走査線で算出された視差を視差データとして格納し、照合領域制御部103にデータを受け渡す。視差演算部104は、画像メモリ102に格納された二つの画像データと、照合領域制御部103によって決定された照合領域と、に基づいて、画像データを照合し、視差データを算出する。具体的には、一方の画像データにおける点と他方の画像データにおける点を対応付け、その位置関係から当該点における視差を算出し、その視差を視差データとして算出済み視差格納部105に格納する。つまり、視差演算部104で算出された視差データを算出済み視差格納部105に格納する。なお、視差演算部104は、画像メモリ102から読み込んだ画像データの最上段から順に1走査線ずつ下方に計算対象を移動させて視差データを算出する、又は、画像データの最下段から順に1走査線ずつ上方に計算対象を移動させて視差データを算出する。
撮像部101は、例えば図3のように、二台のカメラから構成されるが、三台以上の複数のカメラを利用しても良い。また、赤外線カメラを利用しても良い。夜間の視認性向上が期待できる。またカラーカメラを利用して、カラー情報を後段の処理で活用してもよい。
画像メモリ102は、二台のカメラによって得られた視点の異なる二つの画像データをそれぞれ右画像データ,左画像データとしてメモリ上に格納する。
照合領域制御部103は、算出済み視差格納部105に格納された視差データを利用して、画素ごとに独立に照合領域の大きさを制御する。照合領域は、視差算出精度を向上させるために、オクルージョンなどが生じている視差が急峻に変動する境界を含まないように、かつ、大きい領域に設定する。照合領域の形状に特段の制限は課さない。照合領域制御部の詳細な処理に関しては後述する。
算出済み視差格納部105は、照合領域制御部103で利用する算出済みの視差データを格納する。ここで、算出済みの視差は、視差算出の対象となる画素に対して、空間的な隣接関係や時系列的な隣接関係がある視差を指す。例えば、一ライン上段の視差、あるいは一ライン下段の視差、前フレームの対応関係がある画素における視差などの少なくとも一つを指す。これは、一次元的な走査線情報に限定した話ではなく、空間的近傍に位置する視差情報、あるいは時間的対応関係がある前フレーム中の視差情報を一般的に指し示している。
視差演算部104の出力結果を格納しておき、それを再利用することで計算コストを低減できる。
視差演算部104では、照合領域制御部103において画素ごとに算出した照合領域を用いて、左右画像のマッチングを行うことで画素ごとの対応付けを行い、視差を求める。点の対応付けは、例えば、一方の画像の最上段線、あるいは最下段線にまず注目し、水平方向に走査しながら一点ずつ行う。注目する水平走査線上の対応付けが完了したら、注目ラインを一段下、あるいは一段上に移し、水平方向に走査しながら一点ずつ対応付けを行う。この処理を一方の画像全体に対して行う。最上段から走査する場合、一段上が前水平走査線、最下段から走査する場合、一段下が前水平走査線となる。
次に、図1の照合領域制御部103について図2を用いて説明する。
照合領域制御部103は、算出済み視差の勾配を算出する視差勾配算出部202と、その出力情報を用いて、照合領域の窓幅などを決定する照合領域算出部203と、算出済み視差格納部105で格納された視差データに対して、急峻なエッジを保ちつつ(算出済み視差の変動が大きい部分の特徴は残しつつ)、平滑化(雑音の除去)を行うフィルタ処理部である視差エッジ保存型平滑化フィルタ204と、から構成される。照合領域制御部103では、視差の勾配情報を用いて、画素ごとに適切な照合領域の窓幅を決定する。
理想的な照合領域の窓幅(以下、照合窓幅とする)設定に関して、図4に示す。特許文献1をはじめとする種々の文献に示されているとおり、照合窓幅は、窓内に視差が急峻に変化する部分を含まず、かつ、照合の安定性を高めるために、なるべく広い領域を確保することが望ましい。そこで、視差が急峻に変動する領域、すなわち、視差勾配が大きいところでは、窓幅を小さく設定し、視差変動が緩やかな領域、すなわち、視差勾配が小さいところでは、窓幅を大きく設定する。視差変動がこれらの中間程度の領域では、窓幅を中程度に設定する。また、この処理を高速に実現するために、視差算出の対象画素の前走査線にあたる算出済みの視差を、視差算出の対象画素とほぼ同等であるとの仮定を置いて、対象画素における視差を算出する処理を行うことなく、これを実現する。具体的な計算方法に関しては、後述する。
視差勾配算出部202は、照合領域算出部203で必要となる視差勾配を算出する。視差勾配の算出は、算出済み視差格納部105において確保されている算出済み視差データに対して視差エッジ保存型平滑化フィルタ204でフィルタ処理された視差データを用いて、隣接画素に対する視差の差分値を求めることで実現する。
照合領域算出部203では、視差勾配算出部202で算出された視差勾配の値を用いて、各画素における適切な照合窓幅(照合領域の窓幅)を設定する。照合窓幅は、図4に示すとおり、視差勾配が大きいところでは、窓幅を小さく設定し、視差勾配が小さいところでは、窓幅を大きく設定する。または視差勾配算出部202で算出された視差勾配の値に負の相関をもつ窓幅を設定する。視差変動がこれらの中間程度の領域では、窓幅を中程度に設定する。実際には、窓幅を際限なく大きく設定してしまうことを避けるために、最大窓幅と最小窓幅をパラメータとして設定し、その間で、視差勾配の値に応じて窓幅を設定する。つまり、照合領域の窓幅を、予め定めた照合領域の窓幅最大値(Wmax)及び窓幅最小値(Wmin)の間で設定する。これを図5に示す。
また、理想的な窓幅は、図4に示すように、視差が急峻に変化する画素から、少しずつ上昇し、次の視差が急峻に減少する画素までに、緩やかに減少することが望ましい。これを実現するために、次の処理によって、窓幅を求める。
まず、窓幅参照値を算出する。窓幅参照値は、
Figure 2011013706
ただし、Wは窓幅、Wmaxは窓幅最大値、Wminは窓幅最小値、g′は、
Figure 2011013706
である。ここで、gは視差勾配の値である。g′は図6に示すとおり、0から1の値をとり、視差勾配の値gがghighよりも大きい場合0、glowよりも小さい場合1、その間では、線形に変化する。これは、g′の設定方法の一例に過ぎず、g′を非線形関数など,その他の関数に拡張してもよい。
g′の定義から、窓幅WはWminからWmaxの値をとるように設定でき、また、視差勾配がglowよりも小さい場合、最大値Wminをとり、ghighよりも大きい場合、最小値Wminをとる。視差勾配がこの間の値であれば、視差勾配の大きさに応じた窓幅が設定される。
この窓幅参照値を用いて、理想的な窓幅を設定する。理想的な窓幅は先述したとおり、示唆が急峻に変化する画素から少しずつ上昇し、次に表れる視差が減少する画素までに、緩やかに減少することが望ましい。したがって、ある画素における窓幅設定値は、窓幅参照値よりも小さな値であれば、前画素における窓幅よりも1大きく設定し、窓幅参照値と一致していれば、窓幅参照値そのものを用いることにする。ただし、窓幅は、次に表れる視差が減少するまでに、緩やかに変化する必要があるため、注目画素の次に表れる、視差が減少する画素を算出しておき、その画素で設定すべき窓幅までに窓幅を1ずつ減少させて、緩やかに接続するように設定する。これを図7に示す。窓幅の値は、例えば,図上段に示すような視差の場合、下段に示すような窓幅となる。すなわち,窓幅設定値は、窓幅参照値を上限として内包され、窓幅設定値の絶対変化量が1以下に制限されたものとなる。
照合領域窓幅の設定の概要は、図8に示すとおりである。
画像の画面下側から順に走査させる場合、走査線Aにおける視差を算出済み視差とし、これを用いて走査線Bにおける視差を算出する。走査線Aにおける算出済み視差から、走査線B上の各画素における窓幅設定値を得る。得られた窓幅設定値を用いて、走査線B上の各画素において、視差を算出する。
当該図では、水平窓幅と垂直窓幅は、連動して変更されるようになっているが、これは一例であり、水平窓幅と垂直窓幅は別々に設定してもよい。水平窓幅は上記の設定方法で設定し、垂直窓幅に関しては、前走査線とさらにその前の走査線情報から、視差の垂直変動を算出し、その値から窓幅参照値と窓幅を設定する。窓幅の最大値と最小値は、水平方向の窓幅最大値と最小値とは別々に設定してよい。
視差の垂直変動が、垂直方向の全ての画素に対して算出できていれば、水平方向と同様に、窓幅参照値を算出し、これを用いて窓幅を設定することができる。例えば、算出済みの視差情報として、前フレームの画像の画素を対応付けて利用することが可能な場合、この処理を実現できる。車載カメラなど、センサが移動体に据えつけられている場合、前フレームの視差情報と注目フレームの視差情報の対応付けは、オプティカルフローなど画像処理による方法も考えられるが,計算速度と精度の観点から、加速度センサや蛇角センサなど他のセンサ情報を有効に活用してもよい。図8に示すように、前走査線の情報を視差として用いる場合は、前走査線と前々走査線の視差の勾配から、窓幅参照値を算出し、窓幅参照値そのものを窓幅として利用してもよい。また、図1,図2,図14,図15,図16には示していないが、入力画像そのものや前フレームの画像、またそれらから抽出されたエッジなどの特徴量を、窓幅算出の情報として活用してもよい。
また、算出済み視差格納部105に格納される算出済みの視差データに関しては、カメラによる撮像情報だけでなく、ミリ波レーダやレーザレーダ、超音波装置など他のセンサ情報を用いて算出された視差データでもよい。また、これらのセンサ情報を活用して物体などを検出し、取得した視差データを利用してもよい。
視差エッジ保存型平滑化フィルタ204は、算出済み視差格納部より算出済みの視差データを受け取り、エッジ保存型平滑化フィルタを適用することで、オクルージョンが生じている視差変動が大きい部分の特徴は残しつつ、その他の雑音成分を平滑化し、精度良くオクルージョンなどによる視差変動を算出する。
エッジ保存型平滑化フィルタの適用例を図9に示す。当該図のように、エッジ保存型平滑化フィルタは、急峻なエッジを保存しつつ、平滑化を行うフィルタ処理を指す。例えば、ε−フィルタやバイラテラルフィルタなどがある。この処理では、前走査線の視差データを用いるので、処理負荷のかかる新たな手続きは不要であり、高速計算が可能である。
ここで、以上のようなステレオ画像処理装置において、画像を撮像して、視差を推定するまでの一連の処理の流れを、図10のフローチャートを参照しながら説明する。
まず、ステップ501の画像入力処理で、撮像部101から左右の画像データを読み込む。次に、ステップ503では、照合領域制御部103により初期照合領域設定処理を行う。プログラム動作開始時には、算出済みの視差情報が無いので、特殊な処理を行う。詳細については後述する。ステップ504では、視差演算部104により、設定された照合領域に基づいて、視差を算出するサブルーチンを実施する。サブルーチンの構成については後ほど詳述する。ステップ505では、例えば、走査線単位で計算を進める場合、視差算出サブルーチンによって求められた当該走査線上の視差を用いて、次走査線上の照合領域を決定する。ステップ504とステップ505は、走査線数分の繰り返し処理である。
ステップ503の初期照合領域設定サブルーチンは、図11に示すような構成となっており、ステップ701で、照合領域を各画素一律に設定した上で、ステップ504で、視差算出サブルーチンにより視差を求め、ステップ505で、算出された視差に基づいて、照合領域設定サブルーチンによって照合領域を設定するような構成となっている。あるいは、固定値で計算した視差を正解として、次走査線に処理を進めても良い。
ステップ504の視差算出サブルーチンは、図12に示すような構成となっている。照合601と視差算出602を画素ごとに行う。照合601では、後述の照合領域設定サブルーチンによって決定された照合領域に対して、照合を行う。基準画像から、照合領域設定サブルーチンで得られた窓幅で、走査線上の注目画素を中心とする照合領域を選択し、参照画像の各画素において、照合領域設定サブルーチンで得られた窓幅内の画素の値を用いて、照合処理を行う。照合度の評価関数として、SADやSSD,相互相関関数,増分符号相関,方向符号相関など、種々の方法を採用する。視差算出602では、参照画像において、SADやSSDなどによる照合値が最も小さくなる画素を探索し、その画素と基準画像の注目画素の位置の差分から、視差を算出する。これらの処理を走査線上の全ての画素に対して行う。
ステップ505の照合領域設定サブルーチンは、図13に示すような構成となっている。まず、ステップ801により、走査線上のデータに対してエッジ保存平滑化フィルタを適用して視差エッジを残しつつ、雑音を除去する。ステップ802において、注目走査線上の各画素における視差勾配を算出する。視差勾配は、隣接画素の視差との差分をとることなどにより算出する。この際、勾配の絶対値をとる。ステップ803では、注目走査線上における窓幅参照値を算出する。窓幅参照値は式(1)によって算出する。窓幅の最大値と最小値がそれぞれパラメータとなる。ステップ804では、注目走査線上における窓幅設定値を算出する。これが、各画素における最終的な設定窓幅の値となる。窓幅設定値は、窓幅参照値を用いて求められる。窓幅設定値の最大傾斜の絶対値が1以下である、かつ、窓幅参照値以下である、という条件を満たすように窓幅を設定する。
ステップ505の照合領域設定サブルーチンは、図13に示すような構成となっている。まず、ステップ801により、走査線上のデータに対してエッジ保存平滑化フィルタを適用して視差エッジを残しつつ、雑音を除去する。これは、図2の視差エッジ保存型平滑化フィルタ204に該当する。ステップ802において、注目走査線上の各画素における視差勾配を算出する。視差勾配は、隣接画素の視差との差分をとることなどにより算出する。この際、勾配の絶対値をとる。これは、図2の視差勾配算出部に該当する。ステップ803では、注目走査線上における窓幅参照値を算出する。窓幅参照値は式(1)によって算出する。窓幅の最大値と最小値がそれぞれパラメータとなる。ステップ804では、注目走査線上における窓幅設定値を算出する。これが、各画素における最終的な設定窓幅の値となる。窓幅設定値は、窓幅参照値を用いて求められる。窓幅設定値の最大傾斜の絶対値が1以下である、かつ、窓幅参照値以下である、という条件を満たすように窓幅を設定する。ステップ803およびステップ804は、図2の照合領域算出部の処理に該当する。
以上の一連の処理によって、照合精度の向上と計算コストの抑制を両立するステレオ画像照合方法は実現される。
本実施例においては、先述のステレオ画像処理装置1に、前走査線上における視差に基づいて、照合領域の探索範囲を可変に制御する探索範囲制御部1001を追加する構成をとってもよい。通常のステレオマッチングでは、照合対象の画素を全探索するが、視差を利用して照合対象画素数を減少することで、処理時間の高速化が期待できる。この場合のステレオ画像処理装置2の構成例を図14に示す。
図14のステレオ画像処理装置2における探索範囲制御部1001は、算出済み視差格納部105に格納されている算出済みの視差データを用いて、照合位置の探索範囲(照合範囲)を決定する。ある画素の照合範囲は、当該画素に対応する前走査線上の視差の値から決定する。ある画素における視差は、対応する前走査線の視差に近い値をもつ可能性が高いので、注目画素における視差が、前走査線の視差と等しくなる領域の周辺に真値がある可能性が高い。そこで、その周辺の画素に限定して探索すればよい。例えば、対応する算出済み視差よりも一定値だけ広い範囲を探索範囲として設定し、探索する。プログラム動作開始時には、視差の情報が無いので、特殊な処理を行う。例えば、この処理は、ステップ503の初期照合領域設定処理と同様の処理を行う。すなわち、処理対象領域に対して、視差情報を算出し、その値を算出済み視差情報として利用する。この際の照合領域は、可変に設定しても、固定値で設定してもよい。
この探索範囲制御部1001を用いる場合、視差演算部104は、画像メモリ102から読み込んだ複数の画像データと、探索範囲制御部1001で決定された照合範囲と、照合領域制御部103で設定された照合領域と、を用いて視差データを算出できる。
また、ステレオ画像処理装置1および2の視差演算部104で算出された視差データに基づいて、計測点までの距離を三角測量の原理で算出する距離算出部1106を設けても良い。例えば、車載用途で前方の走行環境認識やその結果を利用した制御に用いることなど、種々のアプリケーションでの利用が考えられる。
したがって、ステレオ画像処理装置1に対して、距離算出部1106を追加した構成であるステレオ画像処理装置3,ステレオ画像処理装置2に対して、距離算出部1106を追加した構成であるステレオ画像処理装置4を採用してもよい。ステレオ画像処理装置3を図15、ステレオ画像処理装置4を図16に示す。距離算出部1106は、視差演算部104によって算出された各点の視差を用いて、図17に示すような三角測量の原理に基づいて、当該点における距離を求める。
距離算出部1106は、図17に示すように、複数のカメラで同一計測点を撮像した際に生じる見え方の違い、すなわち視差を用いて、三角測量の原理に基づいて距離を求める。距離をZ、カメラ間の距離をB、カメラの焦点距離をf、視差をδとすると、距離は
Figure 2011013706
で求められる。
1,2,3,4 ステレオ画像処理装置
4a,4b カメラ
101 撮像部
102 画像メモリ
103 照合領域制御部
104 視差演算部
105 算出済み視差格納部
202 視差勾配算出部
203 照合領域算出部
204 視差エッジ保存型平滑化フィルタ
1001 探索範囲制御部
1106 距離算出部

Claims (14)

  1. 複数のカメラで複数の画像データを撮像する撮像部と、
    前記撮像部で撮像された複数の画像データを格納する画像メモリと、
    複数の画像データから求められた視差データを格納する算出済み視差格納部と、
    前記算出済み視差格納部から読み込んだ前記視差データに基づいて、画素毎に照合領域を設定する照合領域制御部と、
    前記画像メモリから読み込んだ前記複数の画像データと、前記照合領域制御部で設定された画素毎の前記照合領域と、に基づいて画像データを照合し、視差データを算出する視差演算部と、を有するステレオ画像処理装置。
  2. 請求項1のステレオ画像処理装置において、
    前記算出済み視差格納部は、前記視差演算部で算出された視差データが格納されたステレオ画像処理装置。
  3. 請求項1のステレオ画像処理装置において、
    前記算出済み視差格納部で格納された視差データは、視差算出の対象となる画素に対して、空間的な隣接関係がある視差データ、又は時系列的な隣接関係がある視差データであるステレオ画像処理装置。
  4. 請求項1のステレオ画像処理装置において、
    前記照合領域制御部は、
    前記算出済み視差格納部で格納された視差データに対して、急峻なエッジを保ちつつ、平滑化を行うフィルタ処理部と、
    前記フィルタ処理部でフィルタ処理された視差データに基づいて、視差勾配を算出する視差勾配算出部と、
    前記視差勾配算出部で算出された前記視差勾配を用いて、各画素における照合領域を設定する照合領域算出部と、を有するステレオ画像処理装置。
  5. 請求項1のステレオ画像処理装置において、
    前記算出済み視差格納部で格納された視差データを用いて照合範囲を決定する探索範囲制御部を有し、
    前記視差演算部は、前記画像メモリから読み込んだ前記複数の画像データと、前記探索範囲制御部で決定された照合範囲と、前記照合領域制御部で設定された照合領域と、を用いて視差データを算出するステレオ画像処理装置。
  6. 請求項1のステレオ画像処理装置において、
    視差演算部で算出された視差データに基づいて計測点までの距離を算出する距離算出部を有するステレオ画像処理装置。
  7. 請求項1のステレオ画像処理装置において、
    前記画像メモリは、自車両の左側に備えた第1のカメラで撮像した第1の画像データと、自車両の右側に備えた第2のカメラで撮像した第2の画像データと、が格納されたステレオ画像処理装置。
  8. 請求項4のステレオ画像処理装置において、
    前記照合領域算出部は、前記視差勾配算出部で算出された前記視差勾配の値に負の相関をもつ窓幅を設定するステレオ画像処理装置。
  9. 請求項4のステレオ画像処理装置において、
    前記照合領域算出部は、照合領域の窓幅を、予め定めた照合領域の窓幅最大値及び窓幅最小値の間で設定するステレオ画像処理装置。
  10. 請求項1のステレオ画像処理装置において、
    前記算出済み視差格納部に格納する視差データは、ミリ波レーダ,レーザレーダ,超音波装置のいずれかを用いて算出された視差データであるステレオ画像処理装置。
  11. 複数のカメラで複数の画像データを撮像し、
    撮像された複数の画像データを画像メモリに格納し、
    算出済み視差格納部に予め格納された視差データに基づいて画素毎に照合領域を設定し、
    設定された照合領域に基づいて、前記複数の画像データを照合して視差データを算出するステレオ画像処理方法。
  12. 請求項11のステレオ画像処理方法において、
    前記算出済み視差格納部で格納された視差データに対して、急峻なエッジを保ちつつ、平滑化を行うフィルタ処理をし、
    フィルタ処理された視差データに基づいて、視差勾配を算出し、
    算出された前記視差勾配を用いて、各画素における照合領域を設定するステレオ画像処理方法。
  13. 請求項11のステレオ画像処理方法において、
    前記算出済み視差格納部で格納された視差データを用いて照合範囲を決定し、
    前記画像メモリから読み込んだ前記複数の画像データと、前記照合範囲と、前記照合領域と、を用いて視差データを算出する画像処理方法。
  14. 請求項11のステレオ画像処理方法において、
    算出された視差データに基づいて計測点までの距離を算出し、算出された距離情報を出力するステレオ画像処理方法。
JP2009154518A 2009-06-30 2009-06-30 ステレオ画像処理装置およびステレオ画像処理方法 Expired - Fee Related JP4934701B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009154518A JP4934701B2 (ja) 2009-06-30 2009-06-30 ステレオ画像処理装置およびステレオ画像処理方法
US12/711,787 US8548226B2 (en) 2009-06-30 2010-02-24 Stereo image processing device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009154518A JP4934701B2 (ja) 2009-06-30 2009-06-30 ステレオ画像処理装置およびステレオ画像処理方法

Publications (2)

Publication Number Publication Date
JP2011013706A true JP2011013706A (ja) 2011-01-20
JP4934701B2 JP4934701B2 (ja) 2012-05-16

Family

ID=43380261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009154518A Expired - Fee Related JP4934701B2 (ja) 2009-06-30 2009-06-30 ステレオ画像処理装置およびステレオ画像処理方法

Country Status (2)

Country Link
US (1) US8548226B2 (ja)
JP (1) JP4934701B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013178656A (ja) * 2012-02-28 2013-09-09 Topcon Corp 画像処理装置、画像処理方法および画像処理用のプログラム
JP2015158394A (ja) * 2014-02-24 2015-09-03 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP2018521414A (ja) * 2015-07-03 2018-08-02 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像処理装置および画像処理方法
JP2018205325A (ja) * 2018-08-27 2018-12-27 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
US10339665B2 (en) 2014-09-17 2019-07-02 Canon Kabushiki Kaisha Positional shift amount calculation apparatus and imaging apparatus
WO2020183711A1 (ja) * 2019-03-14 2020-09-17 オムロン株式会社 画像処理装置及び3次元計測システム
WO2020183710A1 (ja) * 2019-03-14 2020-09-17 オムロン株式会社 画像処理装置及び3次元計測システム
WO2020235067A1 (ja) * 2019-05-22 2020-11-26 オムロン株式会社 3次元計測システム及び3次元計測方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8878913B2 (en) * 2010-03-12 2014-11-04 Sony Corporation Extended command stream for closed caption disparity
US9237331B2 (en) * 2011-01-18 2016-01-12 Disney Enterprises, Inc. Computational stereoscopic camera system
JP5433610B2 (ja) * 2011-03-04 2014-03-05 日立オートモティブシステムズ株式会社 車載カメラ装置
US8941717B2 (en) * 2011-04-08 2015-01-27 Tektronix, Inc. Semi-automatic 3D stereoscopic disparity cursor
CN103597822A (zh) * 2011-06-06 2014-02-19 富士胶片株式会社 图像加工装置、复眼摄像装置、图像加工方法及程序
JP5352869B2 (ja) * 2011-09-07 2013-11-27 シャープ株式会社 立体画像処理装置、立体画像処理方法、及びプログラム
US8989481B2 (en) * 2012-02-13 2015-03-24 Himax Technologies Limited Stereo matching device and method for determining concave block and convex block
US9361699B2 (en) * 2012-06-27 2016-06-07 Imec Taiwan Co. Imaging system and method
US9064318B2 (en) 2012-10-25 2015-06-23 Adobe Systems Incorporated Image matting and alpha value techniques
US9201580B2 (en) 2012-11-13 2015-12-01 Adobe Systems Incorporated Sound alignment user interface
US9355649B2 (en) 2012-11-13 2016-05-31 Adobe Systems Incorporated Sound alignment using timing information
US9076205B2 (en) 2012-11-19 2015-07-07 Adobe Systems Incorporated Edge direction and curve based image de-blurring
US10249321B2 (en) 2012-11-20 2019-04-02 Adobe Inc. Sound rate modification
US9451304B2 (en) 2012-11-29 2016-09-20 Adobe Systems Incorporated Sound feature priority alignment
US9135710B2 (en) 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
US10455219B2 (en) 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
US9208547B2 (en) * 2012-12-19 2015-12-08 Adobe Systems Incorporated Stereo correspondence smoothness tool
US10249052B2 (en) 2012-12-19 2019-04-02 Adobe Systems Incorporated Stereo correspondence model fitting
US9214026B2 (en) 2012-12-20 2015-12-15 Adobe Systems Incorporated Belief propagation and affinity measures
US9280806B2 (en) * 2013-01-10 2016-03-08 Broadcom Corporation Edge smoothing block filtering and blending
JP6342128B2 (ja) * 2013-08-23 2018-06-13 キヤノンメディカルシステムズ株式会社 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP6476831B2 (ja) 2013-12-26 2019-03-06 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP5999127B2 (ja) * 2014-03-12 2016-09-28 トヨタ自動車株式会社 画像処理装置
US9756312B2 (en) 2014-05-01 2017-09-05 Ecole polytechnique fédérale de Lausanne (EPFL) Hardware-oriented dynamically adaptive disparity estimation algorithm and its real-time hardware
KR102240570B1 (ko) * 2014-05-13 2021-04-15 삼성전자주식회사 신장 트리 생성 방법 및 장치,스테레오 매칭 방법 및 장치,업 샘플링 방법 및 장치,및 기준 픽셀 생성 방법 및 장치
KR102350232B1 (ko) 2014-11-20 2022-01-13 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
KR101622344B1 (ko) * 2014-12-16 2016-05-19 경북대학교 산학협력단 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템
JP2019056623A (ja) 2017-09-21 2019-04-11 株式会社東芝 画像処理装置、及び、画像処理システム
JP7013182B2 (ja) * 2017-09-21 2022-01-31 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05256613A (ja) * 1992-03-13 1993-10-05 Matsushita Electric Ind Co Ltd ステレオ画像からの視差演算方法と装置並びに奥行き測定装置
JPH09231358A (ja) * 1996-02-21 1997-09-05 Canon Inc 画像対応点抽出装置、及び方法
JP2008309637A (ja) * 2007-06-14 2008-12-25 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5577130A (en) * 1991-08-05 1996-11-19 Philips Electronics North America Method and apparatus for determining the distance between an image and an object
JP3242529B2 (ja) * 1994-06-07 2001-12-25 松下通信工業株式会社 ステレオ画像対応付け方法およびステレオ画像視差計測方法
JP3017122B2 (ja) 1997-04-03 2000-03-06 株式会社エイ・ティ・アール知能映像通信研究所 奥行き情報抽出装置および奥行き情報抽出方法
US7660436B2 (en) * 2003-06-13 2010-02-09 Sarnoff Corporation Stereo-vision based imminent collision detection
US7292735B2 (en) * 2004-04-16 2007-11-06 Microsoft Corporation Virtual image artifact detection
US7330593B2 (en) * 2004-06-25 2008-02-12 Stmicroelectronics, Inc. Segment based image matching method and system
US7324687B2 (en) * 2004-06-28 2008-01-29 Microsoft Corporation Color segmentation-based stereo 3D reconstruction system and process
KR20090052889A (ko) * 2006-09-04 2009-05-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스
JP5156837B2 (ja) * 2007-11-09 2013-03-06 トムソン ライセンシング 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
JP2009133753A (ja) * 2007-11-30 2009-06-18 Toshiba Corp 画像処理装置及びその方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05256613A (ja) * 1992-03-13 1993-10-05 Matsushita Electric Ind Co Ltd ステレオ画像からの視差演算方法と装置並びに奥行き測定装置
JPH09231358A (ja) * 1996-02-21 1997-09-05 Canon Inc 画像対応点抽出装置、及び方法
JP2008309637A (ja) * 2007-06-14 2008-12-25 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013178656A (ja) * 2012-02-28 2013-09-09 Topcon Corp 画像処理装置、画像処理方法および画像処理用のプログラム
JP2015158394A (ja) * 2014-02-24 2015-09-03 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
US10339665B2 (en) 2014-09-17 2019-07-02 Canon Kabushiki Kaisha Positional shift amount calculation apparatus and imaging apparatus
JP2018521414A (ja) * 2015-07-03 2018-08-02 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像処理装置および画像処理方法
US10504234B2 (en) 2015-07-03 2019-12-10 Huawei Technologies Co., Ltd. Image processing apparatus and method
JP2018205325A (ja) * 2018-08-27 2018-12-27 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
WO2020183711A1 (ja) * 2019-03-14 2020-09-17 オムロン株式会社 画像処理装置及び3次元計測システム
WO2020183710A1 (ja) * 2019-03-14 2020-09-17 オムロン株式会社 画像処理装置及び3次元計測システム
JPWO2020183710A1 (ja) * 2019-03-14 2021-10-14 オムロン株式会社 画像処理装置及び3次元計測システム
JPWO2020183711A1 (ja) * 2019-03-14 2021-10-14 オムロン株式会社 画像処理装置及び3次元計測システム
US11348271B2 (en) 2019-03-14 2022-05-31 Omron Corporation Image processing device and three-dimensional measuring system
US11803982B2 (en) 2019-03-14 2023-10-31 Omron Corporation Image processing device and three-dimensional measuring system
WO2020235067A1 (ja) * 2019-05-22 2020-11-26 オムロン株式会社 3次元計測システム及び3次元計測方法

Also Published As

Publication number Publication date
US20100328427A1 (en) 2010-12-30
JP4934701B2 (ja) 2012-05-16
US8548226B2 (en) 2013-10-01

Similar Documents

Publication Publication Date Title
JP4934701B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
JP3868876B2 (ja) 障害物検出装置及び方法
JP6224251B2 (ja) ボウル形状イメージングシステム
CN107735812B (zh) 对象识别设备、方法、装置控制系统及图像生成设备
EP3338248A1 (en) Systems and methods for object tracking
US9665782B2 (en) Obstacle detecting apparatus and obstacle detecting method
CN103914810B (zh) 用于动态后视镜的图像超分辨率
JP6577703B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
WO2017138245A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
WO2014002692A1 (ja) ステレオカメラ
JP5706594B2 (ja) 画像処理装置
US9519956B2 (en) Processing stereo images
Praczyk A quick algorithm for horizon line detection in marine images
US9747507B2 (en) Ground plane detection
EP3545464A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
CN109559353B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
US20150131853A1 (en) Stereo matching system and method for generating disparity map using same
WO2017094300A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
KR101699014B1 (ko) 스테레오 카메라를 이용한 객체 검출 방법 및 장치
WO2015162910A1 (ja) 車載用表示装置、車載用表示装置の制御方法、プログラム
JP2010262576A (ja) 対象物検出装置及びプログラム
KR100691855B1 (ko) 영상정보의 특징 추출장치 및 그 방법
JP2013251005A (ja) 画像補正方法
KR101877741B1 (ko) 영상 블러를 고려한 윤곽선 검출 장치
JP5442408B2 (ja) 画像補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120220

R151 Written notification of patent or utility model registration

Ref document number: 4934701

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees