JP2003016427A

JP2003016427A - ステレオ画像の視差推定方法

Info

Publication number: JP2003016427A
Application number: JP2001200759A
Authority: JP
Inventors: Kunio Yamada; 邦男山田
Original assignee: Victor Company of Japan Ltd; Telecommunications Advancement Organization
Current assignee: Victor Company of Japan Ltd; Telecommunications Advancement Organization
Priority date: 2001-07-02
Filing date: 2001-07-02
Publication date: 2003-01-17

Abstract

(57)【要約】【課題】ステレオマッチングにおける、照合の精度の
向上と照合点の増加を、誤照合の増加なく、計算効率よ
く実現する。【解決手段】各画素の輝度値及びその画素の輝度値と
周囲の画素の輝度値との相対的な関係を求めて、２枚の
ステレオ画像における画素単位のペア探索を行った後
に、この時点で視差の得られている画素（視差が既知の
画素）に関して、その視差値の周辺でサブピクセル単位
のペア探索を行い、その結果に基づいて視差を更新し、
一方、視差が未知であって２枚のステレオ画像の対応画
素同士の相対的な関係が一致している画素に関しては、
その視差が未知の画素の近傍に存在する複数の画素の視
差を与え、最も概略的な局所構造（相対的な関係）の一
致度合いが大きくなる視差を採用して、視差画像を生成
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、距離計測・仮想空
間作成など、２枚のステレオ画像（右及び左）の奥行き
推定などのステレオマッチングにおけるステレオ画像の
視差推定方法に関し、特に、林や山肌などに代表される
ような、複雑な局所構造を持つ自然テクスチャに適した
ステレオ画像の視差推定方法に関する。

【０００２】

【従来の技術】従来、ステレオ画像の視差推定方法は、
エッジ・特徴点の抽出・照合を行うエッジベースの方法
と、ブロック単位の輝度レベルの照合に代表される領域
ベースの方法に大きく二分される。本発明で用いるセン
サス変換は、基本的に後者の領域ベースの方法に分類さ
れる。

【０００３】センサス変換は、非パラメトリック局所変
換の一種であり、対象画素の近傍に存在する画素の輝度
値が、対象画素の輝度値に対して小さいか否かを比較
し、その結果を１又は０で記述するものである。これに
より、画像の局所的な構造を概略的にビット列で表現す
ることが可能となる。

【０００４】図１２は、センサス変換の一例を示す模式
図である。なお、ここでは所定のブロックを３画素×３
画素ブロックとしている。各画素には図１２の左に示す
輝度値が与えられている。このとき、中央の画素に関し
てセンサス変換を行うと、中央の輝度値７５よりも小さ
い場合には１、それ以外の場合には０が与えられ、図１
２の右に示す結果が得られる。なお、図１２では、説明
を簡単にするため、所定のブロックを３画素×３画素ブ
ロックとしており、局所的構造のデータ量は８ビットと
なっているが、例えば、所定のブロックを９画素×９画
素ブロックとした場合には、各画素が８０ビットの局所
的構造のデータを有することになる。

【０００５】また、センサス変換については、Ramin Za
bih and John Woodfill, “Non-parametric Local Tran
sforms for Computing Visual Correspondence”, Lect
ureNotes in Computer Science, Vol. 801, Computer V
ision−ECCV ’94.に詳しく記載されている。

【０００６】ステレオマッチングでは、２枚のステレオ
画像におけるビット列のハミング距離（シグナル距離）
が最小になるようなペアを見つけることが、視差の推定
と等価になる。特に、センサス変換を用いたステレオマ
ッチングが、林や山肌のような複雑な局所構造を有する
テクスチャに有効であることは、上記文献の他にも、山
田邦男、市川忠嗣、苗村健、相澤清晴、齊藤隆弘：
“３眼周囲環境入力装置を用いたパノラマ視差画像の生
成”、映情学誌，54,3,pp,431-434(2000.3)などにも記
載されている。

【０００７】

【発明が解決しようとする課題】上記のように、センサ
ス変換を用いたステレオ画像の視差推定が有効であり、
比較的密な（照合点の多い）照合結果（マッチング結
果）を安定して得ることができることについてわかって
いるが、これらは画素単位の探索・照合を行ったもので
あり、その照合の精度はあまりよいものではなく、メモ
リ・計算量の点で不利であり、誤照合になる可能性も高
いという問題がある。

【０００８】上記問題を解決するため、本発明は、ステ
レオマッチングにおける、照合の精度の向上と照合点の
増加を、誤照合の増加なく、計算効率よく実現するステ
レオ画像の視差推定方法を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するた
め、本発明では、各画素の輝度値及びその画素の輝度値
と周囲の画素の輝度値との相対的な関係を求めて、２枚
のステレオ画像における画素単位のペア探索を行った後
に、この時点で視差の得られている画素（視差が既知の
画素）に関して、その視差値の周辺でサブピクセル単位
のペア探索を行い、その結果に基づいて視差を更新し、
一方、視差が未知であって２枚のステレオ画像の対応画
素同士の相対的な関係が一致している画素に関しては、
その視差が未知の画素の近傍に存在する複数の画素の視
差を与え、最も概略的な局所構造（相対的な関係）の一
致度合いが大きくなる視差を採用するようにしている。

【００１０】すなわち、本発明によれば、２枚のステレ
オ画像同士のステレオマッチングを行うためのステレオ
画像の視差推定方法であって、前記第１及び第２のステ
レオ画像の各画素において、各画素の輝度値及び前記各
画素の近傍の画素の輝度値との相対的な関係を求める変
換ステップと、前記変換ステップで求められた前記第１
及び第２のステレオ画像の前記相対的な関係から、前記
第１及び第２のステレオ画像間で対応する対応画素を探
索する探索ステップと、前記第１及び第２のステレオ画
像の対応画素同士において、前記変換ステップで求めら
れた前記相対的な関係を照合し、所定の条件を満たす画
素に対して視差を与える第１照合ステップと、前記照合
ステップで前記所定の条件を満たす画素に与えられた前
記視差を基にして、さらに、その画素に対して複数のサ
ブピクセル単位の視差を与えて、その画素の輝度値及び
その画素の近傍の画素の輝度値との相対的な関係を計算
する第１計算ステップと、前記第１計算ステップの計算
結果から、最良の照合となるサブピクセル単位の視差を
前記画素に与える第２照合ステップと、前記第１照合ス
テップで前記所定の条件を満たさず前記視差が与えられ
ていない視差が未知の画素に関して、前記視差が未知の
画素の周辺に存在する画素における前記第１及び第２の
ステレオ画像の前記相対的な関係が一致している場合、
前記視差が未知の画素の周辺に存在する画素の前記サブ
ピクセル単位の視差を前記視差が未知の画素に与えて、
前記視差が未知の画素の輝度値及びその画素の近傍の画
素の輝度値との相対的な関係を計算する第２計算ステッ
プと、前記視差が未知の画素の周辺に存在する複数の画
素における前記サブピクセル単位の視差を基にして得ら
れた前記第２計算ステップの計算結果から、最良の照合
となるサブピクセル単位の視差を前記視差が未知の画素
に与える第３照合ステップとを、有するステレオ画像の
視差推定方法が提供される。

【００１１】さらに、前記相対的な関係が、所定の画素
の輝度値と、前記所定の画素を中心とする所定のブロッ
ク内の画素の輝度値とを比較したものであって、前記所
定のブロック内の画素が前記所定の画素より小さい場合
には１、等しいか大きい場合には０と定めるセンサス変
換により求められることは、本発明の好ましい態様であ
る。

【００１２】

【発明の実施の形態】以下、図面を参照しながら、本発
明のステレオ画像の視差推定方法に係る実施の形態につ
いて説明する。まず、本発明のステレオ画像の視差推定
方法で実施されるサブピクセル単位で位置合わせをして
からセンサス変換を行う照合方法と、従来実施されてい
る画素単位の照合方法との比較を行い、本発明で実施さ
れるサブピクセル単位で位置合わせをしてからセンサス
変換を行う照合方法のほうが多くの点で照合が取れるこ
とを、以下の理論を用いて説明する。

【００１３】ステレオマッチングに用いられる２枚のス
テレオ画像をそれぞれ第１のステレオ画像（左）１ａ、
第２のステレオ画像（右）１ｂと呼ぶことにする。ま
た、第２のステレオ画像１ｂは、第１のステレオ画像１
ａをＰ＋α画素（Ｐ：整数、０＜α＜１．０）分だけ水
平方向に平行移動したものであり、第２のステレオ画像
１ｂにおける輝度値は、第１のステレオ画像１ａにおけ
るサンプル値から一次内挿した値で表現できると仮定す
る。このとき、第１のステレオ画像１ａに対して第２の
ステレオ画像１ｂを位置合わせした場合、その画像は第
１のステレオ画像１ａに対してどのような意味を持つの
か、そのときのセンサス変換結果はどのような条件で一
致するのかについて説明する。

【００１４】図１は、１次元画素列の輝度値を関数で表
現したグラフである。なお、横軸は画素位置、縦軸は輝
度値を表している。第１のステレオ画像１ａ中におい
て、画素ｘを中心としたｍ画素（ｍは奇数）についてセ
ンサス変換を施すものとする。ここでｍ＝２ｎ＋１（ｎ
は整数）、整数ｃ（−ｎ≦ｃ≦ｎ）とすると、第１のス
テレオ画像１ａ中の各画素における輝度値は、図１に示
す縦実線のｆ（）の値となる。

【００１５】一方、第２のステレオ画像１ｂについて
は、まず、整数画素単位で最良の位置合わせを行い、α
のずれのみが残っている画像（以下、αずれ画像と呼
ぶ）を考える。αずれ画像におけるαだけずれたサンプ
ル点の値（図１に示す縦点線）が、下記の数１の式に示
すように、第１のステレオ画像１ａにおける画素列を内
挿して得られると仮定する。すなわち、ｘ＋α＋１にお
ける輝度値は、ｘ＋ｃとｘ＋ｃ＋１における輝度値の一
次内挿によって計算される。

【００１６】

【数１】

【００１７】次に、位置合わせにより、αだけずれたサ
ンプル点を元に戻して得られる値ｆ _reg（）は、数２の
式に示すように、第１のステレオ画像１ａのサンプル点
の位置での値をαずれ画像におけるサンプル値から一次
内挿された値として計算される。

【００１８】

【数２】

【００１９】上記の数１の式及び数２の式より、下記の
数３の式が得られる。

【００２０】

【数３】

【００２１】数３の式は、左右のタップ係数が対称にな
っている。これは伝達関数の虚数部が０、すなわち位相
シフトがキャンセルされたことを意味する。また、ずれ
に応じて特性が変化するＬＰＦ（ローパスフィルタ）の
役割も担っている。したがって、位置合わせ画像は、第
１のステレオ画像１ａに対して、最悪（高域を抑えられ
るという意味で）、タップ係数０．５、０．２５、０．
５（α＝０．５：半画素ずれの状態）のフィルタがかか
るだけなので、第１のステレオ画像１ａと位置合わせ画
像のそれぞれについてのセンサス変換の結果の照合のほ
うが、第１のステレオ画像１ａとαずれ画像の照合より
良さそうであることが直感的に理解できるが、以下に、
もう少し詳しく説明する。

【００２２】下記の数４の式を仮定する。

【００２３】

【数４】

【００２４】上記の数４の式を用いると、原画における
センサス変換は、下記の数５の式で表すことができる。

【００２５】

【数５】

【００２６】また、αずれ画像におけるセンサス変換
は、下記の数６の式で表すことができる。

【００２７】

【数６】

【００２８】さらに、位置合わせ画像におけるセンサス
変換は、下記の数７の式で表すことができる。

【００２９】

【数７】

【００３０】数６の式の右辺、数７の式の右辺を見る
と、Ｕの括弧内のf(x+c)-f(x)以降がキャンセルされた
場合に、数５の式と一致することがわかる。偶然キャン
セルされる場合を除くと、キャンセルされる条件は、数
６の式については、ｘ及びｘ＋ｃ近傍で１次微分値が０
又は同一であること、数７の式については、ｘ及びｘ＋
ｃで２次微分値が０又は同一であることである。自然画
においては、後者の条件である２次微分値が０となる可
能性が非常に高い。したがって、サブピクセルレベルで
の位置合わせが、センサス変換を用いた画像照合におい
て照合点を増やす意味で有効であることがわかる。

【００３１】本発明のステレオ画像の視差推定方法で
は、上記の理論に基づいて、まず、画素単位の探索を行
い、その結果を基にして視差の高分解能化・照合点の増
加を行うようにする。これにより、従来行われている片
チャネル（第１のステレオ画像１ａ又は第２のステレオ
画像１ｂの一方）をサブピクセル単位に水平方向にシフ
トして内挿し、順次、通常の探索を行うことによるメモ
リ・計算量の点での不利を回避し、高い可能性で現れる
誤照合を防ぐことが可能となる。

【００３２】次に、本発明のステレオ画像の視差推定方
法をコンピュータにより実施した場合の処理について説
明する。図２は、本発明のステレオ画像の視差推定方法
に係る一実施形態を説明するためのフローチャートであ
る。

【００３３】また、図３は、本発明のステレオ画像の視
差推定方法に係る処理を説明するための３画素×３画素
のブロック及び画素の模式図である。この図３を基にし
て、サブピクセル化のアルゴリズムを述べる。実際の処
理は、９画素×９画素ブロックについて行うことが好ま
しいが、説明を簡単にするため、ブロックを３画素×３
画素ブロックとして説明する。

【００３４】ステップＳ１において、ステレオマッチン
グの対象となる２枚のステレオ画像１ａ、１ｂの各画素
でセンサス変換を行い、ステップＳ２において、２枚の
ステレオ画像１ａ、１ｂにおける対応画素同士のセンサ
ス変換の結果を照合し、最良の照合が得られる視差ｄ画
素を決定する（図３（ａ）参照）。上記ステップＳ２に
より、視差ｄ（＝整数）画素の推定が行うことができ
る。

【００３５】なお、図３（ａ）では、ステップＳ２で照
合されたセンサス変換によるステレオ視差推定の結果
は、円で示す画素内のパターンとして表現されている。
ただし、照合が得られない画素が存在する可能性もあ
り、照合が得られなかった画素は、視差が未知の画素と
なる。また、図３では、視差が未知の画素を黒の塗り潰
しで表すことにする。

【００３６】次に、ステップＳ３において、視差ｄ画素
で照合が得られた画素（すなわち、視差が未知ではない
画素）のそれぞれについて、例えば、視差ｄ−０．５〜
ｄ＋０．４画素の範囲（視差ｄ画素を中心に水平左右方
向にそれぞれ半画素ずつずれた範囲）などの所定の範囲
において、０．１画素単位などの所定の単位で視差をず
らして、再び視差の探索・照合を行う。すなわち、視差
ｄ−０．５〜ｄ＋０．４画素までの１０個の視差に関し
て、２枚のステレオ画像の一方（シフトされる側の画
像）の画素の輝度値を水平方向に一次内挿を行って、セ
ンサス変換・照合を行う。

【００３７】なお、本実施の形態では、視差を０．１画
素単位でずらして、視差の再探索・再照合を行っている
が、この値に限定されるものではなく、小さな値にした
ほうが、より詳細な照合が可能となる。上記ステップＳ
３により、視差ｄ画素で照合が得られた各画素におい
て、視差ｄ−０．５〜ｄ＋０．４の範囲で最も良い照合
が得られる視差を推定することができる。

【００３８】そして、ステップＳ４において、ステップ
Ｓ３で得られた視差で各画素の視差ｄを置換する（図３
（ｂ）参照）。これにより、視差がサブピクセル化（視
差が整数以外の値を取り、一次内挿により得られる画素
との視差となる）され、視差を０．１画素単位で表すこ
とができる。なお、図３（ｂ）では、円で示す画素内の
パターンを細かくすることによって、視差がサブピクセ
ル化されたことを表すことにする。

【００３９】上記ステップＳ４までの処理で、所定のビ
ット数以上の一致が見られる、輝度値の差が所定値以下
であるなどの所定の条件を満たしている画素に関して
は、２枚のステレオ画像１ａ、１ｂにおける対応する画
素（サブピクセル化された画素）の視差が得られてい
る。しかしながら、依然として、センサス変換の結果が
不一致である画素も存在する。

【００４０】すなわち、２枚のステレオ画像の一方（第
１のステレオ画像１ａ）に存在する所定の画素（サブピ
クセル化された画素を含む）のセンサス変換の結果が、
図１１(ａ)に示すものとなり、もう一方のステレオ画像
（第２のステレオ画像１ｂ）に存在し、所定の画素に対
応する画素（サブピクセル化された画素を含む）のセン
サス変換の結果が、図１１（ｂ）に示すものである場
合、８ビット中７ビットの照合は得られたものの、下中
央は不一致となっている。この不一致となっている画素
以外の画素を、センサス変換のビット照合において一致
している画素と呼ぶことにする。

【００４１】また、一方で、所定の条件を満たさず視差
が未知の画素も存在する。ステップＳ５において、ある
３画素×３画素ブロックを取った場合、視差が未知の画
素が、そのブロックにおける中心画素についてのセンサ
ス変換のビット照合において一致している画素であれ
ば、その画素に一時的にブロックの中心の視差を与える
（図３（ｃ）参照）。図３（ｃ）では、ブロック内の左
上の画素がセンサス変換のビット照合において一致して
おり、その画素に中心の視差が与えられた状態が示され
ている。ステップＳ５の処理は、ある画素において画素
単位のマッチングでは照合が取れなかった場合でも、そ
の画素における局所構造の一致した近傍に存在する中心
画素の視差を与えることによって、新たにサブピクセル
レベルの探索による照合が取れるようになる可能性が高
いことに基づいている。

【００４２】ステップＳ６において、ステップＳ５で一
時的に与えた視差が正しいか否かを判断するため、ステ
ップＳ５で一時的に視差が与えられた画素に関して、セ
ンサス変換・照合と輝度値の照合を行う（図３（ｄ）参
照）。そして、照合ＯＫの場合は、ステップＳ７におい
て、ステップＳ５で与えられた視差をその画素の視差の
採用候補値とし、この採用候補値とセンサス変換のビッ
ト照合において何ビット一致したかを格納しておく（図
３（ｅ）参照）。一方、照合ＮＧの場合は、ステップＳ
８において、視差を未知である状態に戻し、採用候補値
とはしない。

【００４３】なお、視差が未知の画素の近傍には、視差
が既知の画素が複数存在し得るので（その視差が未知の
画素を含むブロックの中心となる画素が複数存在し得
る）、１つの視差が未知の画素に対して、視差が既知の
画素数分だけ、ステップＳ５〜Ｓ７の処理が複数回行わ
れる。したがって、ステップＳ７で決定された視差の採
用候補値は複数存在することになる。最終的に、画像全
体に上記ステップＳ１〜Ｓ７の処理を行った後、視差が
未知だった各画素に関してステップＳ７で得られた採用
候補値を比較し、複数の採用候補値から最大の一致が得
られた視差を採用する。

【００４４】なお、上記実施の形態では、センサス変換
を用いて、各画素とその近傍の画素の輝度値の相対的な
関係を求めているが、センサス変換以外にも、対象画素
の局所構造を記述する変換方法を用いて、各画素とその
近傍の画素の輝度値の相対的な関係を求めることも可能
である。

【００４５】次に、実際に、上記の処理によって得られ
た視差推定結果を示す。なお、上記のフローチャートに
よる説明では、センサス変換領域を３画素×３画素ブロ
ックとして説明しているが、以下では、画素単位の視差
推定を含め、後述の図９や図１０などに示す実際に得ら
れた視差推定結果は、センサス変換領域を９画素×９画
素ブロックとし、局所構造データ８０ビット中６５ビッ
ト以下の一致しか得られなかった場合、又は輝度差が３
５以上である場合には、所定の条件を満たさず照合が得
られなかったものとし、視差が未知の画素として扱って
いる。

【００４６】図４及び図５は、ステレオマッチングに使
用した２枚のステレオ画像（ステレオペア）の一例であ
り、図６は、従来行われている画素単位の視差推定方法
による結果を示す視差画像の一例、図７は、本発明のス
テレオ画像の視差推定方法に係るサブピクセル化による
高分解能化・照合点の増加の結果を示す視差画像の一例
である。

【００４７】図６に示す視差画像（従来）２ａと図７に
示す視差画像（本発明）２ｂとを比較しただけでは、事
実上、本発明により処理された図７の視差画像が高分解
能化されていることを感知することはできないが、照合
点については詳細に見ると増加していることが判断でき
る。

【００４８】この照合点の増加について、図４、図６、
図７の一部分を拡大して説明する。図８は、図４に示す
ステレオ画像の木の枝の部分（右上部分）の部分拡大図
である。また、図９及び図１０は、それぞれ図４に示す
拡大部分と同一の部分である図６及び図７の部分拡大図
である。なお、図９及び図１０では、比較しやすいよう
に、トーンカーブが変更されている。図１０は、図９と
比較して、特に、途切れがちであった枝について補強す
るような形で照合点が増加していることがわかる。した
がって、本発明のステレオ画像の視差推定方法によっ
て、照合点を増加することが可能となる。

【００４９】

【発明の効果】以上、説明したように、本発明によれ
ば、各画素の輝度値及びその画素の輝度値と周囲の画素
の輝度値との相対的な関係を求めて、２枚のステレオ画
像における画素単位のペア探索を行った後に、この時点
で視差の得られている画素（視差が既知の画素）に関し
て、その視差値の周辺でサブピクセル単位のペア探索を
行い、その結果に基づいて視差を更新し、一方、視差が
未知であって２枚のステレオ画像の対応画素同士の相対
的な関係が一致している画素に関しては、その視差が未
知の画素の近傍に存在する複数の画素の視差を与え、最
も概略的な局所構造（相対的な関係）の一致度合いが大
きくなる視差を採用するようにしているので、視差の高
分解能化と照合点の増加の双方を達成することが可能と
なる。

【００５０】また、画素単位（整数値の視差）の探索結
果を基にして、サブピクセル単位の視差の探索を行うた
め、照合の精度の向上と照合点の増加を、誤照合の増加
なく、計算効率よく実現することが可能となる。また、
画素単位で得られた視差値の周辺でのペア検索、その近
傍に存在する視差が未知の画素に視差を与え、その画素
における視差の候補値とする仮定などを行うので、新た
に大きなエラーが発生しにくい。さらに、既存の画素単
位の視差推定ソフトウェアなどを利用して、さらにサブ
ピクセル単位の処理を追加処理という形で実装できるの
で、現在のソフトウェア資産を有効に利用することが可
能となる。

【図面の簡単な説明】

【図１】１次元画素列の輝度値を関数で表現したグラフ
である。

【図２】本発明のステレオ画像の視差推定方法に係る一
実施形態を説明するためのフローチャートである。

【図３】本発明のステレオ画像の視差推定方法に係る処
理を説明するための３画素×３画素のブロック及び画素
の模式図である。

【図４】ステレオマッチングに使用した第１のステレオ
画像（左）の一例である。

【図５】ステレオマッチングに使用した第２のステレオ
画像（右）の一例である。

【図６】従来行われている画素単位の視差推定方法によ
る結果を示す視差画像の一例である。

【図７】本発明のステレオ画像の視差推定方法に係るサ
ブピクセル化による高分解能化・照合点の増加の結果を
示す視差画像の一例である。

【図８】図４に示す第１のステレオ画像の木の枝の部分
（右上部分）の部分拡大図である。

【図９】図４に示す拡大部分と同一の部分である図６の
部分拡大図である。

【図１０】図４に示す拡大部分と同一の部分である図７
の部分拡大図である。

【図１１】センサス変換の結果が一致又は不一致となっ
ている画素を示す模式図である。

【図１２】センサス変換の一例を示す模式図である。

【符号の説明】

１ａ第１のステレオ画像（左）１ｂ第２のステレオ画像（右）２ａ視差画像（従来）２ｂ視差画像（本発明）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 13/00 Ｈ０４Ｎ 13/00 Ｆターム(参考） 5B050 BA04 BA11 BA15 DA02 DA07 EA02 EA18 EA26 FA06 5B057 BA11 CA08 CA12 CA16 CB06 CB08 CB13 CB16 CB20 CE12 DA17 DB03 DB09 DC32 5C061 AB18 AB24 5L096 AA06 AA07 AA09 CA05 DA04 EA43 GA08 GA12 GA19 GA51 JA25 LA01

Claims

【特許請求の範囲】

【請求項１】第１及び第２のステレオ画像同士のステ
レオマッチングを行うためのステレオ画像の視差推定方
法であって、前記第１及び第２のステレオ画像の各画素において、各
画素の輝度値及び前記各画素の近傍の画素の輝度値との
相対的な関係を求める変換ステップと、前記変換ステップで求められた前記第１及び第２のステ
レオ画像の前記相対的な関係から、前記第１及び第２の
ステレオ画像間で対応する対応画素を探索する探索ステ
ップと、前記第１及び第２のステレオ画像の前記対応画素同士に
おいて、前記変換ステップで求められた前記相対的な関
係を照合し、所定の条件を満たす画素に対して視差を与
える第１照合ステップと、前記照合ステップで前記所定の条件を満たす画素に与え
られた前記視差を基にして、さらに、その画素に対して
複数のサブピクセル単位の視差を与えて、その画素の輝
度値及びその画素の近傍の画素の輝度値との相対的な関
係を計算する第１計算ステップと、前記第１計算ステップの計算結果から、最良の照合とな
るサブピクセル単位の視差を前記画素に与える第２照合
ステップと、前記第１照合ステップで前記所定の条件を満たさず前記
視差が与えられていない視差が未知の画素に関して、前
記視差が未知の画素の周辺に存在する画素における前記
第１及び第２のステレオ画像の前記相対的な関係が一致
している場合、前記視差が未知の画素の周辺に存在する
画素の前記サブピクセル単位の視差を前記視差が未知の
画素に与えて、前記視差が未知の画素の輝度値及びその
画素の近傍の画素の輝度値との相対的な関係を計算する
第２計算ステップと、前記視差が未知の画素の周辺に存在する複数の画素にお
ける前記サブピクセル単位の視差を基にして得られた前
記第２計算ステップの計算結果から、最良の照合となる
サブピクセル単位の視差を前記視差が未知の画素に与え
る第３照合ステップとを、有するステレオ画像の視差推定方法。
【請求項２】前記相対的な関係が、所定の画素の輝度
値と、前記所定の画素を中心とする所定のブロック内の
画素の輝度値とを比較したものであって、前記所定のブ
ロック内の画素が前記所定の画素より小さい場合には
１、等しいか大きい場合には０と定めるセンサス変換に
より求められることを特徴とする請求項１に記載のステ
レオ画像の視差推定方法。