JP2009043221A - ステレオマッチングシステム及びステレオマッチング方法 - Google Patents

Abstract

【課題】 ローカル方法による変位推定方法にエッジ情報を用いた変位抽出方法であるＳＥＤを加えて非テクスチャ領域でのミスマッチを補正するステレオマッチングシステム及びステレオマッチング方法を提供すること。
【解決手段】左側映像と右側映像を得るステレオ映像取得部５１、左側映像及び右側映像からローカル方法を用いて変位を推定する第１変位推定部５３と、左側映像及び右側映像でエッジ情報を得るエッジ情報取得部５５と、エッジ情報を用いてＳＥＤ（Ｓｕｍ ｏｆ Ｅｄｇｅ Ｄｉｆｆｅｒｅｎｃｅ）により変位を推定する第２変位推定部５７と、第１変位推定部５３と第２変位推定部５７とで推定した変位を合成して変位マップを生成する変位合成部５９と、を含むことを特徴とするステレオマッチングシステ５０が提供される。
【選択図】図２

Description

本発明はステレオマッチングシステム及びステレオマッチング方法に関し、さらに詳しくは、ローカル方法（ｌｏｃａｌ ｍｅｔｈｏｄ）による変位（ｄｉｓｐａｒｉｔｙ）推定方法とエッジ（ｅｄｇｅ）情報を用いる変位推定方法であるＳＥＤ（Ｓｕｍ ｏｆ Ｅｄｇｅ Ｄｉｆｆｅｒｅｎｃｅ）を合成するステレオマッチングシステム及びステレオマッチング方法（Ｔｈｅ ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ｓｙｓｔｅｍ ａｎｄ ｔｈｅ ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ｍｅｔｈｏｄ ｏｆ ｔｈｅ ｓａｍｅ）に関するものである。

一般に、ステレオマッチングとは、人間視覚システムの距離識別能力を用いて相互異なる観点から得られる二つの映像間の対応点間の距離である変位を推定し、正確かつ信頼性のある変位マップ（ｄｉｓｐａｒｉｔｙ ｍａｐ）を得ることをいう。

さらに、上記変位マップをデプスマップ（ｄｅｐｔｈ ｍａｐ）に具現することによって、深み感を有する３次元映像に復元することができる。

このような上記ステレオマッチングは、情報通信、放送、医療、ゲーム、ディスプレイ等の産業全般にわたって多様に用いられていて、３次元の立体マルチメディアの核心基盤技術であるといえる。

上記ステレオマッチング方法としては、一般にローカル方法が用いられる。ローカル方法は、入力された左側映像と右側映像とのうち基準映像となる左側映像の基準ピクセルの周りに所定領域のブロックを設定する。

続いて、右側映像から上記所定領域のブロックと対応する、最も類似している領域を検出して変位を推定し、変位マップを生成するステレオマッチング方法である。

この場合、上記ローカル方法としては、明暗情報を用いて上記左側／右側映像の所定領域のブロック間の相関性を求めた後にその差の二乗を加算するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ブロック間の相関性を求めた後にその差の絶対値を加算するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ピクセルとの間の相関関係を用いるＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｅｆｆｉｃｉｅｎｔ）などがある。

このようなローカル方法は、明暗差が明確な場合に好適なステレオマッチングを可能とさせる方法である。

大韓民国特許公開第２００４−０００６７３８号明細書 大韓民国特許公開第２００５−０１２１０８０号明細書 特開２００３−２４８８１４号公報

しかしながら、このようなローカル方法は、明暗情報のみを用いるので非テクスチャ領域（ｎｏｎ−ｔｅｘｔｕｒｅ ｒｅｇｉｏｎ）では類似する映像を正確に検出することができず、ミスマッチ（ｆａｌｓｅ ｍａｔｃｈ）を引き起こすという問題がある。

図１は、従来技術による非テクスチャ領域でのミスマッチを説明するための構成図である。

図１を参照すると、それぞれの長方形及び円形で構成された左側映像１０ａと右側映像１０ｂとをローカル方法による変位推定方法であるＳＡＤを用いて変位マップ１０ｃを得る。

左側映像１０ａは非テクスチュア領域である第１長方形２０ａと第１円形３０ａからなり、右側映像１０ｂは非テクスチュア領域である第２長方形２０ｂと第２円形３０ｂからなる。

このとき、左側映像１０ａを基準映像として、基準ピクセルの周りに所定領域のブロックを設定する。続いて、右側映像において左側映像から設定した所定領域のブロックと最も類似している領域を明暗情報によって検出する変位推定方法ＳＡＤを行う。

しかしながら、左側映像１０ａ及び右側映像１０ｂのように非テクスチャ領域で構成された映像においては、ほぼ類似する領域を検出することができるが、それが正確な変位を意味するものではない。

したがって、このようなローカル方法を用いたステレオマッチングは、変位マップ１０ｃの非テクスチャ領域である第３長方形２０ｃ及び第３円形３０ｃにおいてミスマッチにより歪みが発生する問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ローカル方法による変位推定方法にエッジ情報を用いた変位抽出方法であるＳＥＤを加えて非テクスチャ領域でのミスマッチを補正する、新規かつ改良されたステレオマッチングシステム及びステレオマッチング方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、左側映像と右側映像を得るステレオ映像取得部と、左側映像及び右側映像からローカル方法を用いて変位を推定する第１変位推定部と、左側映像及び右側映像でエッジ情報を得るエッジ情報取得部と、エッジ情報を用いてＳＥＤ（Ｓｕｍ ｏｆ Ｅｄｇｅ Ｄｉｆｆｅｒｅｎｃｅ）により変位を推定する第２変位推定部と、第１変位推定部と第２変位推定部とで推定した変位を合成して変位マップを生成する変位合成部と、を含むことを特徴とするステレオマッチングシステムが提供される。

第１変位推定部は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いて変位を推定してもよい。そして、変位合成部は、ＳＡＤとＳＥＤとを合成して変位マップを生成してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、左側映像と右側映像を得る第１段階と、左側映像と右側映像からローカル方法を用いて変位を推定する第２段階と、左側映像及び右側映像でエッジ情報を得る第３段階と、エッジ情報を用いてＳＥＤにより変位を推定する第４段階と、第２段階と第４段階とで推定した変位を合成して変位マップを生成する第５段階と、を特徴とするステレオマッチング方法が提供される。

第２段階は、ＳＡＤを用いて変位を推定してもよい。そして、第５段階は、ＳＡＤとＳＥＤとを合成して変位マップを生成してもよい。

ＳＥＤは、次の数式を満足するようにしてもよい。
なお、上記数式で、ＤＬ（ｘ、ｙ、Ｖ）においてｘ、ｙは、左側映像の基準ピクセルの座標情報、Ｖは左側映像において基準ピクセルからエッジまでの所定方向であり、ＤＲ（ｘ＋ｄ、ｙ、Ｖ）において、ｘ＋ｄ、ｙはｘ軸方向に変位ｄほど移動された右側映像の基準ピクセル座標情報、Ｖは右側映像の基準ピクセルｘ＋ｄ、ｙからエッジまでの所定方向である。

Ｖは、一つ又は複数の方向であってもよい。

第５段階は、Ｃ（ｄ）＝Ｃｌｏｃａｌ（ｄ）＋λＣｓｅｄ（ｄ）を満足してもよい。なお、Ｃｌｏｃａｌ（ｄ）はローカル方法による変位ｄを推定する関数、Ｃｓｅｄ（ｄ）はＳＥＤによる変位ｄを推定する関数、λはＳＥＤ関数の重要度である。

Ｃ（ｄ）は、最小値を有していてもよい。

第２段階は、第３段階及び第４段階と同時に行うか又は後で行うようにしてもよい。

以上説明したように本発明によれば、ローカル方法のみでステレオマッチングした場合に発生する非テクスチャ領域でのミスマッチを補正して好適なステレオマッチングを具現する効果を奏する。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

本発明によるステレオマッチングは、ローカル方法による非テクスチャ領域でのミスマッチを低減させるために、さらにエッジ情報を用いた変位推定方法であるＳＥＤを行う。

図２は、本発明の一実施形態にかかるステレオマッチングシステムを示すブロック図である。

上記ステレオマッチングシステム５０は、ステレオ映像取得部５１、第１変位推定部５３、エッジ情報取得部５５、第２変位推定部５７、及び変位合成部５９で構成されている。このようなステレオマッチングシステム５０は以下の説明で具体化される。

まず、ステレオ映像取得部５１では、左側映像と右側映像とを取得する第１段階を実行する。

次に、第１変位推定部５３では、ローカル方法により変位を推定することになるが、ステレオ映像取得部５１から取得した左側映像を基準映像として基準ピクセルの周りに所定領域のブロックを設定する。

続いて、右側映像において左側映像から設定した所定領域のブロックと最も類似している領域を明暗情報によって検出する第２段階を実行する。

この場合にローカル方法としては、明暗情報を用いて左側／右側映像の所定領域のブロック間の相関性を求めた後にその差の二乗を加算するＳＳＤ、ブロック間の相関性を求めた後にその差の絶対値を加算するＳＡＤ及びピクセル間の相関関係を用いるＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｅｆｆｉｃｉｅｎｔ）などがあるが、これらのうちのいずれか一つとしてもよい。

好ましくは、計算過程である簡単なＳＡＤ方法を用いてもよい。

次に、エッジ情報取得部５５では、ステレオ映像取得部５１から取得した左側映像と右側映像から一般的なエッジ検出方法を用いてそれぞれエッジ情報を取得する第３段階を実行する。

次に、第２変位推定部５７では、ＳＥＤ方法により変位を推定することになるが、上記第３段階から取得した左側映像と右側映像のエッジ情報を用いる。より詳しくは、先に基準映像である左側映像の基準ピクセルから所定方向のエッジまでの距離を算出する。続いて、右側映像の基準ピクセルから所定方向のエッジまでの距離を算出する。

左側映像と右側映像からそれぞれ求めた基準ピクセルからエッジまでの距離の差を算出し、その合計が最小となる領域を検出する第４段階を実行する。

次に、変位合成部５９では、第１変位推定部５３から得た変位と第２変位推定部５７から得た変位とを合成する第５段階を実行する。

これで、非テクスチャ領域で発生するミスステレオマッチングを補正して正確度の向上された好適な変位マップを得ることができる。

この場合、上記第２段階は、上記第３段階及び上記第４段階と同時に行ってもよく、第３段階及び第４段階より後に行ってもよい。

このような本発明の一実施形態にかかるステレオマッチングは、図３及び図４を参照して以下の詳細な説明でさらに明確に理解することができる。

まず、図３は、本発明の一実施形態にかかる非テクスチャ領域でのステレオマッチングを説明するための構成図である。

図３を参照すると、それぞれの長方形と円形で構成された左側映像１００ａと右側映像１００ｂとを、ローカル方法による変位推定方法であるＳＡＤ方法とエッジ情報を用いたＳＥＤ方法によって実施して変位マップ１００ｃを得る。

本実施形態では、左側映像１００ａは非テクスチャ領域である第１長方形２００ａと第１円形３００ａからなっていて、右側映像１００ｂは非テクスチャ領域である第２長方形２００ｂと第２円形３００ｂからなっている。

このとき、ＳＡＤ方法は、明暗情報を用いて基準映像である左側映像１００ａの基準ピクセルの周りに所定領域のブロックを設定する。

続いて、右側映像１００ｂで左側映像１００ａの所定領域のブロックと最も類似している領域を検出する。

次に、ＳＥＤ方法はエッジ情報を利用することになるが、このようなエッジ情報により基準映像の左側映像１００ａと右側映像１００ｂのそれぞれの基準ピクセルから所定方向のエッジまでの距離を算出する。

続いて、得られた左側映像１００ａと右側映像１００ｂのそれぞれの基準ピクセルからエッジまでの距離の差を加算して最も類似している領域を検出する。

次に、ＳＡＤ方法とＳＥＤ方法から得られた変位を合成して変位マップ１００ｃを得る。

よって、ＳＡＤ方法のみを用いた図１の変位マップ１０ｃの第３長方形２０ｃ及び第３円形３０ｃと比べてエッジ情報を用いたＳＥＤ方法をさらに追加することで、図３の変位マップ１００ｃの第３長方形２００ｃ及び第３円形３００ｃのような好適な変位マップを得ることができる。

このようなステレオマッチング方法は変位ｄを用いた次の数式１を満足する。
Ｃｌｏｃａｌ（ｄ）はローカル方法による変位推定方法を示す関数である。
Ｃｓｅｄ（ｄ）はエッジ情報を用いた変位推定方法であるＳＥＤ方法を示す関数である。
ラムダ（λ）はＳＥＤ方法の重要度を示す整数である。

このようなＣ（ｄ）が最小値を有した場合、ステレオマッチングの正確度は最も高い変位を得る。

このようなＳＥＤ方法は、図４を参照して以下の詳細な説明によって明確に理解することができる。

図４は、本発明の一実施形態にかかるエッジ情報を用いた変位推定方法であるＳＥＤを説明するための構成図である。

図４を参照すると、ＳＥＤ方法は、左側／右側映像の基準ピクセルから所定方向のエッジまでの距離の差とこれらの合計を用いた変位推定方法である。基準ピクセルからエッジまでの距離は矢印で表示されている。

まず、基準映像となる左側映像４１０ａにおいて、所定領域である第１ブロック４００ａの第１基準ピクセル４３０ａからエッジまでの距離はそれぞれ上／下／左／右方向によって求める。

次に、右側映像４２０は、第１右側映像４１０ｂ又は第２右側映像４１０ｃとすることができるが、この場合、第１ブロック４００ａに対応する第２ブロック４００ｂ及び第３ブロック４００ｃの第２基準ピクセル４３０ｂ及び第３基準ピクセル４３０ｃからエッジまでの距離をそれぞれ上／下／左／右方向によって求める。

上記のように求められた左側映像４１０ａの基準ピクセル４３０ａからエッジまでの距離と第１右側映像４１０ｂの第２基準ピクセル４３０ｂからエッジまでの距離との差を求める。

続いて、左側映像４１０ａの基準ピクセル４３０ａからエッジまでの距離と第２右側映像４１０ｃの第３基準ピクセル４３０ｃからエッジまでの距離との差を求めて、これらの合計を算出する。

結局、合計が最小値となる第２右側映像４１０ｃの第３ブロック４００ｃが左側映像４１０ａの第１ブロック４００ａと最も類似している領域として選択される。

したがって、ローカル方法では判別しにくかった第１右側映像４１０ｂ及び第２右側映像４１０ｃを判別することができる。このような変位推定方法であるＳＥＤ方法は下記の数式２を満足する。
ＤＬ（ｘ、ｙ、Ｖ）は、ｘ、ｙは左側映像の基準ピクセルの座標情報である。Ｖは基準ピクセルからエッジまでの所定方向を示す。

よって、ＤＬ（ｘ、ｙ、Ｖ）は、左側映像の基準ピクセル（ｘ、ｙ）から所定方向であるＶ方向のエッジまでの距離を示す。

続いて、ＤＲ（ｘ＋ｄ、ｙ、Ｖ）において、ｘ＋ｄ、ｙは左側映像の基準ピクセルに対応されるｘ軸方向に変位ｄほど移動した右側映像の基準ピクセル座標情報である。Ｖは、右側映像の基準ピクセルからエッジまでの所定方向を示す。

よって、ＤＲ（ｘ＋ｄ、ｙ、Ｖ）は、右側映像の基準ピクセル（ｘ＋ｄ、ｙ）から所定方向であるＶ方向のエッジまでの距離を示す。

結局、ＳＥＤ（ｘ、ｙ、ｄ）は、左側映像の基準ピクセル（ｘ、ｙ）からＶ方向のエッジまでの距離と、右側映像の基準ピクセル（ｘ＋ｄ、ｙ）からＶ方向のエッジまでの距離の差を加算した値となる。

この場合、合計が最小値なるとき、基準映像である左側映像と最も類似な右側映像を求めることができる。

一方、基準ピクセルからエッジまでの所定方向を示すＶは、基準ピクセルとエッジとの間において一つ又は多数とすることができる。一例として、２個（左側、右側）または４個（左側、右側、上側及び下側）として具現することができる。

本発明の目的と技術的構成及びその作用効果に関する詳細内容は、図面を参照して、以下の実施例でさらに明確に理解することができる。

〔実施例１〕
図５Ａ〜図５Ｃは、本発明による実施例１を説明するための写真である。

まず、図５Ａは映像の実際変位を示す変位マップである。図５Ｂはローカル方法による変位推定方法であるＳＡＤ方法による変位マップである。図５Ｃは、ＳＡＤ方法にエッジ情報を用いた変位抽出方法であるＳＥＤ方法が追加された本発明による変位マップである。

この場合、図５Ｃは、図２を参照して本発明の詳細な説明により開示されたステレオ映像取得部５１、第１変位推定部５３、エッジ情報取得部５５、第２変位推定部５７、及び変位合成部５９で構成されたステレオマッチングシステム５０によって得られる。このようなステレオマッチングシステム５０の動作は以下である。

まず、ステレオ映像取得部５１では、左側映像及び右側映像を取得する第１段階を実行する。

次に、第１変位推定部５３では、ローカル方法であるＳＡＤ方法を用いて変位を推定する。ステレオ映像取得部５１で取得した左側映像を基準映像として明暗情報を用いて基準ピクセルの周りに所定領域のブロックを設定する。

続いて、右側映像において、左側映像に設定した所定領域のブロックと最も類似な領域を検出する過程を介して変位を推定する第２段階を実行する。図５ＢはＳＡＤ方法を用いた第２段階から得られた変位マップである。

次に、エッジ情報取得部５５では、ステレオ映像取得部５１から得られた左側映像と右側映像から一般のエッジ検出方法を用いてそれぞれのエッジ情報を得る第３段階を実行する。

次に、第２変位推定部５７では、第３段階から得られた左側映像及び右側映像のエッジ情報を用いてＳＥＤ方法により変位を推定する。

さらに詳しくは、基準映像である左側映像での基準ピクセルから所定方向のエッジまでの距離を算出する。

続いて、右側映像の基準ピクセルから所定方向のエッジまでの距離を算出する。

続いて、左側映像と右側映像でそれぞれ求められた基準ピクセルからエッジまでの距離の差を算出し、その合計が最小となる領域を検出する変位推定過程である第４段階を実行する。これは、上述した数式２により裏付けられる。

次に、変位合成部５９では、第１変位推定部５３で得られた変位と第２変位推定部５７で得られた変位とを合成する第５段階を実行して変位マップを得る。これは、上述した数式１によって裏付けられる。

したがって、非テクスチャ領域で発生するミスステレオマッチングを補正して、正確度が向上した変位マップである図５Ｃを得ることができる。

この場合、図５Ｃは、図５Ｂよりは映像の実際的な変位を示す図５Ａに類似していることが肉眼で確認できるが、このような正確度の差は図６によって明確に説明できる。

図６は、実施例１によるステレオマッチング時のブロック大きさに対する正確度を示すグラフである。

図６を参照すると、正確度は、映像の実際変位を示す図５Ａを基準として、ステレオマッチング時に１ピクセル未満の差で存在するピクセル数を全体映像のピクセル数に対する割合として示したものである。

ここで、ＳＡＤ方法は、ローカル方法による変位推定方法として変位マップの図５Ｂを示す。

また、ＳＡＤ＋ＳＥＤ方法は、ＳＡＤ方法に、エッジ情報を用いた変位推定方法であるＳＥＤ方法が追加された変位推定方法として変位マップの図５Ｃを示す。

一方、ＳＡＤ＋ＳＥＤ方法は、上述した数式１を満足しており、λ＝０．５の場合のブロック大きさに対する正確度を示す。

このような図６は、ＳＡＤ方法のみを用いた変位マップである図５Ｂよりも、ＳＡＤ方法とＳＥＤ方法とが合成されて適用された変位マップである図５Ｃの正確度が好適であることを示す。

〔実施例２〕
図７Ａ〜図７Ｃは、本発明による実施例２を説明するための写真である。

まず、図７Ａは映像の実際変位を示す変位マップである。

図７Ｂは、ローカル方法による変位推定方法であるＳＡＤ方法による変位マップである。

図７Ｃは、ＳＡＤ方法にエッジ情報を用いた変位抽出方法であるＳＥＤ方法が追加された本発明による変位マップである。

このとき、図７Ｃは、図２を参照して本発明の詳細な説明に開示されたステレオ映像取得部５１、第１変位推定部５３、エッジ情報取得部５５、第２変位推定部５７、及び変位合成部５９で構成されたステレオマッチングシステム５０により得られる。このようなステレオマッチングシステムの動作は以下である。

まず、ステレオ映像取得部５１では、左側映像と右側映像を得る第１段階を実行する。

次に、第１変位推定部５３では、ローカル方法であるＳＡＤ方法を用いて変位を推定する。ステレオ映像取得部５１で得られた左側映像を基準映像として明暗情報を用いて基準ピクセルの周りに所定領域のブロックを設定する。

続いて、右側映像において、左側映像で設定された所定領域のブロックと類似する領域を検出する過程を介して変位を推定する第２段階を実行する。

図７Ｂは、ＳＡＤ方法を用いた第２段階で得られた変位マップである。

次に、エッジ情報取得部５５では、ステレオ映像取得部５１で得られた左側映像と右側映像から一般のエッジ検出方法を用いてそれぞれエッジ情報を得る第３段階を実行する。

次に、第２変位推定部５７では、第３段階で得られた左側映像と右側映像のエッジ情報を用いてＳＥＤ方法により変位を推定する。

まず、基準映像である左側映像での基準ピクセルから所定方向のエッジまでの距離を算出する。

続いて、右側映像の基準ピクセルから所定方向のエッジまでの距離を算出する。

続いて、左側映像と右側映像において、それぞれ求められた基準ピクセルからエッジまでの距離の差を算出し、その合計が最小となる領域を検出する変位推定過程である第４段階を実行する。これは、上述した数式２によって裏付けられる。

次に、変位合成部５９では、第１変位推定部５３で得られた変位と第２変位推定部５７で得られた変位とを合成する第５段階を実行する。これは、上述した数式１によって裏付けられる。

したがって、非テクスチャ領域で発生するミスステレオマッチングを補正して、正確度が向上した好適な変位マップである図７Ｃを得ることができる。

この場合、図７Ｃは、図７Ｂよりも映像の実際的な変位を示す図７Ａに類似していることを肉眼上で確認することができるが、このような正確度の差は図８によって明確に説明することができる。

図８は、実施例２によるステレオマッチング時のブロック大きさに対する正確度を示すグラフである。

図８を参照すると、正確度は、映像の実際変位を示す図７Ａを基準として、ステレオマッチング時に１ピクセル未満の差で存在するピクセル数を全体映像ピクセル数に対する割合で示したものである。

ここで、ＳＡＤ方法は、ローカル方法による変位推定方法として変位マップの図７Ｂを示す。

また、ＳＡＤ＋ＳＥＤ方法は、ＳＡＤ方法にエッジ情報を用いた変位推定方法であるＳＥＤ方法を加えた変位推定方法として変位マップの図７Ｃを示す。

一方、ＳＡＤ＋ＳＥＤ方法は、上述した数式１を満たし、λ＝０．５の場合のブロック大きさに対する正確度を示す。

このような図８は、ＳＡＤ方法のみを用いた変位マップ図７ＢよりもＳＡＤ方法とＳＥＤ方法とが合成された変位マップの図７Ｃの正確度が好適であることを示す。

図９は、媒介変数のラムダ（λ）によるステレオマッチング正確度を示すグラフである。

図９を参照すると、図５Ｃの場合にはラムダ（λ）による正確度がほぼ一定であった。しかしながら、図７Ｃの場合にはラムダ（λ）が増加するほど正確度は減少する。

したがって、実施例１と実施例２では、λ＝０．５である場合として説明したが、正確度は媒介変数のラムダ（λ）により影響を受ける。

これは、上述した数式１によって説明したように、ＳＥＤ方法の重要度を示すものであって、媒介変数のλを最適化してさらに好適なステレオマッチングとすることができる。

以上、本発明の実施例を含む詳細な説明では、ステレオマッチング時の左側映像を基準として説明したが、本発明はこれに限定されず、右側映像を基準としてステレオマッチングをすることもできる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

従来技術による非テクスチャ領域でのステレオマッチングを説明するための構成図である。 本発明の一実施形態にかかるステレオマッチングシステムを示すブロック図である。 本発明の一実施形態にかかる非テクスチャ領域でのステレオマッチングを説明するための構成図である。 本発明の一実施形態にかかるエッジ情報を用いた変位推定方法であるＳＥＤを説明するための構成図である。 本発明の実施例１を説明するための写真である。 本発明の実施例１を説明するための写真である。 本発明の実施例１を説明するための写真である。 実施例１によるステレオマッチング時のブロック大きさに対する正確度を示すグラフである。 本発明の実施例２を説明するための写真である。 本発明の実施例２を説明するための写真である。 本発明の実施例２を説明するための写真である。 実施例２によるステレオマッチング時のブロック大きさに対する正確度を示すグラフである。 媒介変数のラムダ（λ）によるステレオマッチング正確度を示すグラフである。

符号の説明

５０ ステレオマッチングシステム
５１ ステレオ映像取得部
５３ 第１変位推定部
５５ エッジ情報取得部
５７ 第２変位推定部
５９ 変位合成部
２００ａ 第１長方形
２００ｂ 第２長方形
２００ｃ 第３長方形
３００ａ 第１円形
３００ｂ 第２円形
３００ｃ 第３円形
４００ａ 第１ブロック
４００ｂ 第２ブロック
４００ｃ 第３ブロック

Claims (11)

1. 左側映像と右側映像を得るステレオ映像取得部と、
   前記左側映像及び右側映像からローカル方法を用いて変位を推定する第１変位推定部と、
   前記左側映像及び右側映像でエッジ情報を得るエッジ情報取得部と、
   前記エッジ情報を用いてＳＥＤ（Ｓｕｍ ｏｆ Ｅｄｇｅ Ｄｉｆｆｅｒｅｎｃｅ）により変位を推定する第２変位推定部と、
   前記第１変位推定部と前記第２変位推定部とで推定した変位を合成して変位マップを生成する変位合成部と、
   を含むことを特徴とするステレオマッチングシステム。
2. 前記第１変位推定部は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いて変位を推定することを特徴とする請求項１に記載のステレオマッチングシステム。
3. 前記変位合成部は、ＳＡＤとＳＥＤとを合成して変位マップを生成することを特徴とする請求項１に記載のステレオマッチングシステム。
4. 左側映像と右側映像を得る第１段階と、
   前記左側映像と右側映像からローカル方法を用いて変位を推定する第２段階と、
   前記左側映像及び右側映像でエッジ情報を得る第３段階と、
   前記エッジ情報を用いてＳＥＤにより変位を推定する第４段階と、
   前記第２段階と第４段階とで推定した変位を合成して変位マップを生成する第５段階と、
   を特徴とするステレオマッチング方法。
5. 前記第２段階は、ＳＡＤを用いて変位を推定することを特徴とする請求項４に記載のステレオマッチング方法。
6. 前記第５段階は、ＳＡＤとＳＥＤとを合成して変位マップを生成することを特徴とする請求項４に記載のステレオマッチング方法。
7. 前記ＳＥＤは、次の数式を満足することを特徴とする請求項４に記載のステレオマッチング方法。
   前記数式で、前記ＤＬ（ｘ、ｙ、Ｖ）においてｘ、ｙは、前記左側映像の基準ピクセルの座標情報、Ｖは前記左側映像において前記基準ピクセルからエッジまでの所定方向であり、ＤＲ（ｘ＋ｄ、ｙ、Ｖ）において、ｘ＋ｄ、ｙはｘ軸方向に変位ｄほど移動された前記右側映像の基準ピクセル座標情報、Ｖは前記右側映像の前記基準ピクセルｘ＋ｄ、ｙからエッジまでの所定方向である。
8. 前記Ｖは、一つ又は複数の方向であることを特徴とする請求項７に記載のステレオマッチング方法。
9. 前記第５段階は、Ｃ（ｄ）＝Ｃｌｏｃａｌ（ｄ）＋λＣｓｅｄ（ｄ）を満足することを特徴とする請求項４に記載のステレオマッチング方法。
   前記Ｃｌｏｃａｌ（ｄ）はローカル方法による変位ｄを推定する関数、前記Ｃｓｅｄ（ｄ）はＳＥＤによる変位ｄを推定する関数、前記λはＳＥＤ関数の重要度である。
10. 前記Ｃ（ｄ）は、最小値を有することを特徴とする請求項９に記載のステレオマッチング方法。
11. 前記第２段階は、第３段階及び第４段階と同時に行うか又は後で行うことを特徴とする請求項４に記載のステレオマッチング方法。