JP2000055658A

JP2000055658A - 画像処理装置および方法、並びに提供媒体

Info

Publication number: JP2000055658A
Application number: JP10222954A
Authority: JP
Inventors: Atsushi Yokoyama; 敦横山; Sachiko Miwa; 祥子三輪
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-08-06
Filing date: 1998-08-06
Publication date: 2000-02-25
Also published as: US6483949B1

Abstract

(57)【要約】【課題】高精度に距離を測定する。【解決手段】対応画素抽出部２４は、記憶部２５から
射影変換行列Ｈを読み出して、基準画素ｍ_bに対応する
参照画素を決定し、それらの画素値を相関値演算部２６
に出力する。相関値演算部２６は、基準画素ｍ_bを中心
とする所定の小領域と、参照画素を中心とする同様の小
領域との相互相関値小領域内の各画素の差の２乗和(SS
D)として演算する。距離演算部２７は、相関値演算部２
６から入力された加算値ＳＳ_pの最小値の点とその前後
の点を抽出し、その３点を通る２次曲線を生成して、２
次曲線の最小値に対応するＺ_eを基準画素ｍ_bの距離とし
て、距離画像メモリ２８に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに提供媒体に関し、特に、複数のステレオ
画像対を用いて被写体までの距離を測定する画像処理装
置および方法、並びに提供媒体に関する。

【０００２】

【従来の技術】例えば、図７に示すように、基準カメラ
１および参照カメラ２により、同一の対象物５が撮影さ
れ、画像処理装置３１において、撮影された画像対（基
準画像と参照画像Ａ）の対応する画素が特定され、その
視差情報を用いて、基準カメラ１から対象物５までの距
離が求められるステレオ画像距離測定システムが知られ
ている。

【０００３】このステレオ画像距離測定システムの動作
について説明する。図８は、３次元空間に存在する対象
点Ｐを、基準カメラ１または参照カメラ２が撮影した基
準画像と参照画像Ａの関係を示している。すなわち、基
準画像内において対象点Ｐに対応する画素を画素ｍ_bと
し、参照画像Ａ内において対象点Ｐに対応する画素を画
素ｍ_iとすれば、画素ｍ_iの座標は、３行３列の射影変換
行列Ｈを用いてｍ_i＝Ｈ・ｍ_b と記述される。したがって、射影変換行列Ｈは、画素ｍ
_bと画素ｍ_iの座標が判れば、演算することができる。

【０００４】そこで、基準カメラ１と参照カメラ２の位
置関係、および基準カメラ１から対象点Ｐまでの距離Ｚ
が予め測定された系において、画素ｍ_bと画素ｍ_iの座標
を特定し、それらの座標を用いて距離Ｚに対応する射影
変換行列Ｈを演算しておく。演算された射影変換行列Ｈ
は、画像処理装置３１に記憶される。

【０００５】例えば図７に示すように、基準カメラ１か
ら対象点Ｐまでの距離を求める場合、画像処理装置３１
は、その距離を、図９に示すように、距離の測定範囲に
離散的に設定された距離Ｚ₁乃至Ｚ_nのうちのＺ₁である
と仮定し、対象点Ｐを基準カメラ１で撮影した基準画像
上の対応する画素（基準画素）ｍ_bを、予め演算されて
記憶している距離Ｚ₁に対応する射影変換行列Ｈを用い
て参照画素ｍ_i1を決定する。

【０００６】その後、画像処理装置３１は、決定した参
照画素ｍ_i1と基準画素ｍ_bとの相互相関値Ｓ₁を演算す
る。なお、相互相関値Ｓ₁は、基準画像上の画素ｍ_bを中
心とする所定の小領域と、参照画像Ａ上の画素ｍ_i1を中
心とする同様の小領域との正規化相互相関や、輝度差の
２乗和等の評価関数を用いて演算される。

【０００７】次に、画像処理装置３１は、基準カメラ１
から対象点Ｐまでの距離がＺ₂であると仮定し、予め演
算されて記憶している距離Ｚ₂に対応する射影変換行列
Ｈを用いて、参照画素ｍ_i2を決定する。その後、画像処
理装置３１は、決定した画素ｍ_i2と画素ｍ_bとの相互相
関値Ｓ₂を演算する。

【０００８】以下同様に、画像処理装置３１は、基準カ
メラ１から対象点Ｐまでの距離を、順次、Ｚ₃乃至Ｚ_nで
あると仮定し、仮定した距離に対応する射影変換行列Ｈ
を用いて、参照画素ｍ_i3乃至ｍ_inを決定して、相互相関
値Ｓ₃乃至Ｓ_nを演算する。

【０００９】ところで、基準画像上の画素ｍ_bが参照画
像Ａ内に射影された画素ｍ_i1乃至ｍ_i _nは、図９に示すよ
うに、エピポーララインと呼ばれる１本の直線上に存在
することが知られている。

【００１０】図１０は、距離Ｚ₁乃至Ｚ_nと相互相関値Ｓ
₁乃至Ｓ_nの関係を示している。ただし、同図において
は、相互相関値の値Ｓが小さいほど、相関関係が高い
（比較した画素が類似している）ことを示している。

【００１１】次に、画像処理装置３１は、相互相関値Ｓ
₁乃至Ｓ_nのうちで最も値の小さい（相関関係が高い）も
の（図１０の例では、相互相関値Ｓ₃）と、その前後の
値（図１０の例では、相互相関値Ｓ₂，Ｓ₄）を通る曲線
（例えば、２次曲線）を生成して、その最小値Ｓ_eに対
応する距離Ｚ_eを、基準画素ｍ_bの距離として出力する。

【００１２】図１１は、２組のステレオ画像対（基準画
像と参照画像Ａ、および基準画像と参照画像Ｂ）を用い
て、基準カメラ１から対象物５までの距離を測定するス
テレオ画像距離測定システムの構成を示している。その
動作は、２組のステレオ画像対に対して、図７に示した
構成のものと同様の処理を実行している。すなわち、画
像処理装置４１は、図１２に示すように、基準画像上の
画素ｍ_bに対応する参照画像Ａ上の画素ｍ_i1乃至ｍ_inを
決定し、画素ｍ_bとの相互相関値Ｓ₁乃至Ｓ_nを演算す
る。また、基準画像上の画素ｍ_bに対応する参照画像Ｂ
上の画素ｍ_i1'乃至ｍ_in _'を決定し、画素ｍ_bとの相互相
関値Ｓ_1'乃至Ｓ_n'を演算する。

【００１３】その後、画像処理装置４１は、相互相関値
Ｓ₁乃至Ｓ_nと対応する相互相関値Ｓ_1'乃至Ｓ_n'を加算す
る。図１３は、●印を用いて相互相関値Ｓ₁乃至Ｓ_nを示
し、▲印を用いて相互相関値Ｓ_1'乃至Ｓ_n'を示し、□印
を用いて加算値ＳＳ₁乃至ＳＳ_nを示している。

【００１４】次に、画像処理装置４１は、加算値ＳＳ₁
乃至ＳＳ_nのうちで最も値の小さい（相関関係が高い）
もの（図１３の例では、加算値ＳＳ₄）を選択し、選択
した値と、その前後の値（図１３の例では、加算値ＳＳ
₃，ＳＳ₅）を通る曲線（例えば、２次曲線）を生成し
て、その最小値ＳＳ_eに対応する距離Ｚ_eを、基準画素ｍ
_bの距離として出力する。

【００１５】このように、２組のステレオ画像対を用い
れば、１組のステレオ画像対を用いたときよりも、高精
度な結果を得ることができる。

【００１６】

【発明が解決しようとする課題】ところで、上述したス
テレオ画像距離測定システムにおいては、基準画面上の
画素mbに対応する基準画像上の画素を決定するために、
エピポーラライン上を離散的に探知している（相互相関
値を比較している）が、より高精度に距離を測定するた
めには、エピポーラライン上を短間隔で探知することが
望ましい。

【００１７】しかしながら、エピポーラライン上におい
て、探知の回数を増やせば、その分の演算量が増加する
ので、システムの規模が増加したり、処理時間が長くな
る課題があった。

【００１８】本発明はこのような状況に鑑みてなされた
ものであり、探知の回数を増加させることなく、高精度
に距離を測定できるようにするものである。

【００１９】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、測定範囲に離散的に設定された第１の距離の
組に対応して、基準画像上の任意の画素に対応する第１
の参照画像上の複数の画素を抽出する第１の抽出手段
と、測定範囲に離散的に設定された第２の距離の組に対
応して、基準画像上の任意の画素に対応する第２の参照
画像上の複数の画素を抽出する第２の抽出手段と、第１
の抽出手段が抽出した画素と第２の抽出手段が抽出した
画素との相互相関値を演算する演算手段と、演算手段が
演算した結果に基づいて、基準カメラと被写体との距離
を決定する決定手段とを備えることを特徴とする。

【００２０】請求項５に記載の画像処理方法は、測定範
囲に離散的に設定された第１の距離の組に対応して、基
準画像上の任意の画素に対応する第１の参照画像上の複
数の画素を抽出する第１の抽出ステップと、測定範囲に
離散的に設定された第２の距離の組に対応して、基準画
像上の任意の画素に対応する第２の参照画像上の複数の
画素を抽出する第２の抽出ステップと、第１の抽出ステ
ップで抽出した画素と第２の抽出ステップで抽出した画
素との相互相関値を演算する演算ステップと、演算ステ
ップで演算した結果に基づいて、基準カメラと被写体と
の距離を決定する決定ステップとを含むことを特徴とす
る。

【００２１】請求項６に記載の提供媒体は、測定範囲に
離散的に設定された第１の距離の組に対応して、基準画
像上の任意の画素に対応する第１の参照画像上の複数の
画素を抽出する第１の抽出ステップと、測定範囲に離散
的に設定された第２の距離の組に対応して、基準画像上
の任意の画素に対応する第２の参照画像上の複数の画素
を抽出する第２の抽出ステップと、第１の抽出ステップ
で抽出した画素と第２の抽出ステップで抽出した画素と
の相互相関値を演算する演算ステップと、演算ステップ
で演算した結果に基づいて、基準カメラと前記被写体と
の距離を決定する決定ステップとを含む処理を画像処理
装置に実行させるコンピュータが読み取り可能なプログ
ラムを提供することを特徴とする。

【００２２】請求項１に記載の画像処理装置において
は、第１の抽出手段が、測定範囲に離散的に設定された
第１の距離の組に対応して、基準画像上の任意の画素に
対応する第１の参照画像上の複数の画素を抽出し、第２
の抽出手段が、測定範囲に離散的に設定された第２の距
離の組に対応して、基準画像上の任意の画素に対応する
第２の参照画像上の複数の画素を抽出し、演算手段が、
第１の抽出手段が抽出した画素と第２の抽出手段が抽出
した画素との相互相関値を演算し、決定手段が、演算手
段が演算した結果に基づいて、基準カメラと被写体との
距離を決定する。

【００２３】請求項５に記載の画像処理方法、および請
求項６に記載の提供媒体においては、第１の抽出ステッ
プで、測定範囲に離散的に設定された第１の距離の組に
対応して、基準画像上の任意の画素に対応する第１の参
照画像上の複数の画素を抽出し、第２の抽出ステップ
で、測定範囲に離散的に設定された第２の距離の組に対
応して、基準画像上の任意の画素に対応する第２の参照
画像上の複数の画素を抽出し、演算ステップで、第１の
抽出ステップで抽出した画素と第２の抽出ステップで抽
出した画素との相互相関値を演算し、決定ステップで、
演算ステップで演算した結果に基づいて、基準カメラと
被写体との距離を決定する。

【００２４】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。

【００２５】すなわち、請求項１に記載の画像処理装置
は、測定範囲に離散的に設定された第１の距離の組に対
応して、基準画像上の任意の画素に対応する第１の参照
画像上の複数の画素を抽出する第１の抽出手段（図６の
ステップＳ２）と、測定範囲に離散的に設定された第２
の距離の組に対応して、基準画像上の任意の画素に対応
する第２の参照画像上の複数の画素を抽出する第２の抽
出手段（図６のステップＳ５）と、第１の抽出手段が抽
出した画素と第２の抽出手段が抽出した画素との相互相
関値を演算する演算手段（図３の相関値演算部２６）
と、演算手段が演算した結果に基づいて、基準カメラと
被写体との距離を決定する決定手段（図３の距離演算部
２７）とを備えることを特徴とする。

【００２６】但し勿論この記載は、各手段を記載したも
のに限定することを意味するものではない。

【００２７】本発明を適用したステレオ画像距離測定シ
ステムの構成について、図１を参照して説明する。な
お、本明細書においてシステムの用語は、複数の装置、
手段などにより構成される全体的な装置を意味するもの
である。

【００２８】基準カメラ１、および参照カメラ２，３
は、距離を測定する対象物５を撮影し、撮影した画像を
画像処理装置４に出力するようになされている。ここ
で、基準カメラ１で撮影された画像を基準画像とし、参
照カメラ２で撮影された画像を参照画像Ａとし、参照カ
メラ３で撮影された画像を参照画像Ｂとする。

【００２９】画像処理装置４は、入力された画像を用い
て、基準カメラから対象物５の距離を演算し、その距離
の情報を有する距離画像を生成するようになされてい
る。

【００３０】図２は、画像処理装置４の構成を示してい
る。基準カメラ１乃至参照カメラ３より入力される画像
情報は、カメラインタフェース(I/F)１１においてデジ
タル信号化され、画像メモリ１２に供給されて記憶され
るようになされている。CPU１３は、ROM１５に記録され
ている制御プログラムに基づいて、画像メモリ１２およ
びハードディスク(HDD)１４から、適宜、必要な情報を
読み出して距離画像を生成し、図示せぬ表示装置が接続
された出力インタフェース(I/F)１５に出力するように
なされている。

【００３１】ハードディスク１４は、測定範囲内に離散
的に設定された距離に対応する、基準画像から参照画像
Ａまたは参照画像Ｂへの射影変換行列Ｈが記述されたテ
ーブルを記憶するようになされている。なお、このテー
ブルは、予め、実験値を用いて作成されたものである。

【００３２】図３は、画像処理装置４の機能的な構成を
示している。画像メモリ２１乃至２３は、図２の画像メ
モリ１２に相当し、画像メモリ２１が基準画像を記憶
し、画像メモリ２２が参照画像Ａを記憶し、画像メモリ
２３が参照画像Ｂを記憶するようになされている。

【００３３】対応画素抽出部２４は、画像メモリ２１か
ら基準画像を読み出し、画像メモリ２２から参照画像Ａ
を読み出し、さらに、記憶部２５（図２のHDD１４に相
当する）から距離Ｚ₁，Ｚ₃，・・・，Ｚ_n-1に対応する
射影変換行列Ｈを読み出して、図４に示すように、基準
画像上の画素（基準画素）ｍ_bに対応する参照画像Ａ上
の画素の候補として、複数の参照画素（ｍ_i1，ｍ_i3，・
・・，ｍ_in-1）を決定し、画素ｍ_bと複数の参照画素画
素（ｍ_i1，ｍ_i3，・・・，ｍ_in-1）の画素値を相関値演
算部２６に出力するようになされている。

【００３４】また、対応画素抽出部２４は、画像メモリ
２３から参照画像Ｂを読み出し、記憶部２５から距離Ｚ
₂，Ｚ₄，・・・，Ｚ_nに対応する射影変換行列Ｈを読み
出して、基準画素mbに対応する参照画像Ｂ上の画素の候
補として、複数の参照画素（ｍ_i2，ｍ_i4，・・・，
ｍ_in）を決定し、それらの画素値を相関値演算部２６に
出力するようになされている。

【００３５】なお、上述した距離Ｚ₁，Ｚ₃，・・・，Ｚ
_n-1は、測定範囲に離散的に設定された値であり、その
間隔は、基準カメラ１からの距離の増加とともに、増加
するように設定されている。また、距離Ｚ₂，Ｚ₄，・・
・，Ｚ_nは、距離Ｚ₁，Ｚ₃，・・・，Ｚ_n-1のそれぞれの
中間に設定された値である。なお、この間隔は等間隔に
設定してもよい。

【００３６】相関値演算部２６は、基準画素mbを中心と
する所定の小領域と、参照画像Ａ上の参照画素（ｍ_i1，
ｍ_i3，・・・，ｍ_in-1）を中心とする同様の小領域との
相互相関値Ｓ₁，Ｓ₃，・・・，Ｓ_n-1（図５に▲印で示
す）を、例えば次式に示すように、小領域内の各画素の
差の２乗和(SSD)として演算するようになされている。 SSD（ｘ，ｙ，η，ξ）＝Σ（Ｉ（ｘ＋ｉ，ｙ＋ｊ）−
Ｊ（ｘ＋ｉ−η，ｙ＋ｊ−ξ））² （０＜ｉ＜小領域の横方向のサイズ、０＜ｊ＜小領域の
縦方向のサイズ）

【００３７】ここで、Ｉ（ｘ，ｙ）は基準画像内の座標
（ｘ，ｙ）の画素値であり、Ｊ（ｘ，ｙ）は参照画像内
の座標（ｘ，ｙ）の画素値であり、（η，ξ）は視差で
ある。

【００３８】なお、基準画素ｍ_bと参照画素が類似して
いるほど、その相互相関値は小さいくなる。

【００３９】同様に、基準画素mbを中心とする所定の小
領域と、参照画像Ｂ上の参照画素（ｍ_i2，ｍ_i4，・・
・，ｍ_in）を中心とする同様の小領域との相互相関値Ｓ
₂，Ｓ₄，・・・，Ｓ_n（図５に●印で示す）が演算され
るようになされている。

【００４０】さらに、相関値演算部２６は、演算した相
互相関値を用いて、例えば、スプライン曲線を生成し、
相互相関値のうちの隣り合う２個の相互相関値Ｓ_k，Ｓ
_k+2（ｋ＝１，２，・・・，ｎ−２）の中点の相互相関
値Ｓ_k+1'を補間するようになされている。すなわち、相
関値演算部２６は、相互相関値Ｓ₁，Ｓ₃，・・・，Ｓ_n-
₁を用いて相互相関値Ｓ_2'，Ｓ_4'，・・・，Ｓ_n-2'（図
５に△印で示す）を補間し、相互相関値Ｓ₂，Ｓ₄，・・
・，Ｓ_nを用いて相互相関値Ｓ_3'，Ｓ_5'，・・・，Ｓ_n _'
（図５に○印で示す）を補間する。

【００４１】さらに、相関値演算部２６は、対応する相
互相関値Ｓ₂，Ｓ_3'，Ｓ₄，・・・，Ｓ_n-1'と相互相関値
Ｓ_2'，Ｓ₃，Ｓ_4'，・・・，Ｓ_n-1の加算値ＳＳ_p＝Ｓ_p＋
Ｓ_p'（ｐ＝２，３，・・・，ｎ−１、図５に□印で示
す）を演算し、距離演算部２７に出力するようになされ
ている。

【００４２】距離演算部２７は、相関値演算部２６から
入力された加算値ＳＳ_pの最小値の点（図５の例では、
（Ｚ₄，ＳＳ₄））とその前後の点（（Ｚ₃，ＳＳ₃）およ
び（Ｚ₅，ＳＳ₅））を抽出し、その３点を通る２次曲線
を生成して、２次曲線の最小値に対応するＺ_eを基準画
素ｍ_bの距離として、距離画像メモリ２８に出力するよ
うになされている。

【００４３】距離画像２８メモリは、基準画素の座標と
その距離を対応させて記憶するようになされている。

【００４４】次に、ステレオ画像距離測定システムの動
作について、図６にフローチャートを参照して説明す
る。距離を測定する対象物５を、基準カメラ１、および
参照カメラ２，３で撮影した基準画像、および参照画像
Ａ，Ｂは、対応する画像メモリ２１乃至２３に記憶され
る。

【００４５】ステップＳ１において、対応画素抽出部２
４は、画像メモリ２１から基準画像を読み出し、基準画
像上の任意の画素を基準画素ｍ_bに決定する。ステップ
Ｓ２において、対応画素抽出部２４は、画像メモリ２２
から参照画像Ａを読み出し、さらに、記憶部２５から距
離Ｚ₁，Ｚ₃，・・・，Ｚ_n-1に対応する射影変換行列Ｈ
を読み出して、図４に示すように、基準画素ｍ_bに対応
する参照画像Ａ上の画素の候補として、複数の参照画素
（ｍ_i1，ｍ_i3，・・・，ｍ_in-1）を決定し、画素mbと複
数の参照画素（ｍ_i1，ｍ_i3，・・・，ｍ_in-1）の画素値
を相関値演算部２６に出力する。

【００４６】ステップＳ３において、相関値演算部２６
は、基準画素ｍ_bを中心とする所定の小領域と、参照画
像Ａ上の参照画素（ｍ_i1，ｍ_i3，・・・，ｍ_in-1）を中
心とする同様の小領域との相互相関値Ｓ₁，Ｓ₃，・・
・，Ｓ_n-1（図５に▲印で示す）を、上述したように、
小領域内の各画素の差の２乗和として演算する。さら
に、相関値演算部２６は、ステップＳ４において、演算
した相互相関値Ｓ₁，Ｓ₃，・・・，Ｓ_n-1を用いて、ス
プライン曲線を生成し、相互相関値のうちの隣り合う２
個の相互相関値Ｓ_k，Ｓ_k+2（ｋ＝１，３，・・・，ｎ−
３）の中点の相互相関値Ｓ_k+1'を補間する。すなわち、
相関値演算部２６は、相互相関値Ｓ₁，Ｓ₃，・・・，Ｓ
_n-1を用いて相互相関値Ｓ_2'，Ｓ_4'，・・・，Ｓ
_n-2'（図５に△印で示す）を補間する。

【００４７】ステップＳ５において、対応画素抽出部２
４は、画像メモリ２３から参照画像Ｂを読み出し、ステ
ップＳ６において、記憶部２５から距離Ｚ₂，Ｚ₄，・・
・，Ｚ_nに対応する射影変換行列Ｈを読み出して、図４
に示すように、基準画素mbに対応する参照画像Ｂ上の画
素の候補として、複数の参照画素（ｍ_i2，ｍ_i4，・・
・，ｍ_in）を決定し、それらの画素値を相関値演算部２
６に出力する。

【００４８】ステップＳ６において、相関値演算部２６
は、基準画素mbを中心とする所定の小領域と、参照画像
Ｂ上の参照画素（ｍ_i2，ｍ_i4，・・・，ｍ_in）を中心と
する同様の小領域との相互相関値Ｓ₂，Ｓ₄，・・・，Ｓ
_n（図５に●印で示す）を、上述したように、小領域内
の各画素の差の２乗和として演算する。さらに、相関値
演算部２６は、ステップＳ７において、演算した相互相
関値Ｓ₂，Ｓ₄，・・・，Ｓ_nを用いて、スプライン曲線
を生成し、相互相関値のうちの隣り合う２個の相互相関
値Ｓ_k，Ｓ_k+2（ｋ＝２，４，・・・，ｎ−２）の中点の
相互相関値Ｓ_k+ _1'を補間する。すなわち、相関値演算部
２６は、相互相関値Ｓ₂，Ｓ₄，・・・，Ｓ_nを用いて相
互相関値Ｓ_3'，Ｓ_5'，・・・，Ｓ_n'（図５に○印で示
す）を補間する。

【００４９】ステップＳ８において、相関値演算部２６
は、対応する相互相関値Ｓ₂，Ｓ_3'，Ｓ₄，・・・，Ｓ
_n-1'と相互相関値Ｓ_2'，Ｓ₃，Ｓ_4'，・・・，Ｓ_n-1の加
算値ＳＳ_p＝Ｓ_p＋Ｓ_p'（ｐ＝２，３，・・・，ｎ−１、
図５に□印で示す）を演算し、距離演算部２７に出力す
る。

【００５０】距離演算部２７は、相関値演算部２６から
入力された加算値ＳＳ_pの最小値の点（図５の例では、
（Ｚ₄，ＳＳ₄））とその前後の点（（Ｚ₃，ＳＳ₃）およ
び（Ｚ₅，ＳＳ₅））を抽出し、その３点を通る２次曲線
を生成して、２次曲線の最小値に対応するＺ_eを基準画
素ｍ_bの距離として、距離画像メモリ２８に出力する。

【００５１】ステップＳ１０において、対応画素抽出部
２４は、基準画像の全ての画素を基準画素ｍ_bとしたか
否かを判定し、する。全ての画素を基準画素ｍ_bとした
と判定されるまで、ステップＳ１乃至ステップＳ１０の
処理が繰り返される。全ての画素を基準画素ｍ_bとした
と判定された場合、距離画像２８メモリに記憶された基
準画素の座標と対応する距離が距離画像として後段に出
力される。

【００５２】このように、参照画像Ａにおいては、距離
Ｚ₁，Ｚ₃，・・・，Ｚ_n-1に対応する参照画素（ｍ_i1，
ｍ_i3，・・・，ｍ_in-1）が抽出され、参照画像Ｂにおい
ては、距離Ｚ₂，Ｚ₄，・・・，Ｚ_nに対応する参照画素
（ｍ_i2，ｍ_i4，・・・，ｍ_in）が抽出されるので、図１
２に示した場合と比較して、相互相関値の演算回数を増
加させることなく、想定する距離の間隔を狭めることが
できる。

【００５３】なお、実際には、以上の処理は、CPU１３
により、ROM１５に記録されている制御プログラムに基
づいて実行される。

【００５４】また、本実施の形態においては、２組のス
テレオ画像対を用いたが、本発明は、より多くのステレ
オ画像対を用いる場合にも適用できる。

【００５５】さらに、本実施の形態においては、相互相
関値を画素値の差の２乗和として演算したが、例えば、
画素値の絶対値の和や正規化相関を演算するようにして
もよい。

【００５６】また、本実施の形態においては、相互相関
値の補間にスプライン曲線を用いたが、例えば、前後す
る相互相関値を平均して、その中点の相互相関値を補間
してもよい。

【００５７】なお、上記各処理を行うコンピュータプロ
グラムは、磁気ディスク、CD-ROM等の情報記録媒体より
なる提供媒体のほか、インターネット、デジタル衛星な
どのネットワーク提供媒体を介してユーザに提供するこ
とができる。

【００５８】

【発明の効果】以上のように、請求項１に記載の画像処
理装置、請求項５に記載の画像処理方法、および請求項
６に記載の提供媒体によれば、測定範囲に離散的に設定
された第１の距離の組に対応して、基準画像上の任意の
画素に対応する第１の参照画像上の複数の画素を抽出
し、定範囲に離散的に設定された第２の距離の組に対応
して、基準画像上の任意の画素に対応する第２の参照画
像上の複数の画素を抽出するようにしたので、探知の回
数を増加させることなく、高精度に距離を測定すること
が可能となる。

【図面の簡単な説明】

【図１】本発明を適用したステレオ画像距離測定システ
ムの構成を示す図である。

【図２】図１の画像処理装置４の構成を示すブロック図
である。

【図３】画像処理装置４の機能的な構成を示すブロック
図である。

【図４】図３の対応画素抽出部２４の処理を説明するた
めの図である。

【図５】図３の距離演算部２７の処理を説明するための
図である。

【図６】ステレオ画像距離測定システムの動作を説明す
るフローチャートである。

【図７】従来のステレオ画像距離測定システムの構成を
示す図である。

【図８】射影変換行列Ｈを説明するための図である。

【図９】図７のステレオ画像距離測定システムの動作を
説明するための図である。

【図１０】図７のステレオ画像距離測定システムの動作
を説明するための図である。

【図１１】従来のステレオ画像距離測定システムの他の
構成を示す図である。

【図１２】図１１のステレオ画像距離測定システムの動
作を説明するための図である。

【図１３】図１１のステレオ画像距離測定システムの動
作を説明するための図である。

【符号の説明】

１基準カメラ，２，３参照カメラ，４画像処
理装置，１１カメラインタフェース，１２画像
メモリ，１３ CPU，１４ハードディスク，１
５ ROM，１６出力インタフェース，２１乃至２
３画像メモリ，２４対応画素抽出部，２５記
憶部，２６相関値演算部，２７距離演算部，２
８距離画像メモリ

Claims

【特許請求の範囲】

【請求項１】同一の被写体が撮影された画像対を用い
て、基準カメラと前記被写体との距離を測定する画像処
理装置において、測定範囲に離散的に設定された第１の距離の組に対応し
て、基準画像上の任意の画素に対応する第１の参照画像
上の複数の画素を抽出する第１の抽出手段と、測定範囲に離散的に設定された第２の距離の組に対応し
て、基準画像上の任意の画素に対応する第２の参照画像
上の複数の画素を抽出する第２の抽出手段と、前記第１の抽出手段が抽出した画素と前記第２の抽出手
段が抽出した画素との相互相関値を演算する演算手段
と、前記演算手段が演算した結果に基づいて、前記基準カメ
ラと前記被写体との距離を決定する決定手段とを備える
ことを特徴とする画像処理装置。
【請求項２】前記第２の距離の組に含まれる距離は、
前記第１の距離の組に含まれる距離の中間値であること
を特徴とする請求項１に記載の画像情報処理装置。
【請求項３】前記第１および第２の距離の組に含まれ
る距離の間隔は、前記基準カメラに近いほど狭く設定さ
れることを特徴とする請求項２に記載の画像情報処理装
置。
【請求項４】前記第１および第２の距離の組に含まれ
る距離は、等間隔で設定されることを特徴とする請求項
２に記載の画像情報処理装置。
【請求項５】同一の被写体が撮影された画像対を用い
て、基準カメラと前記被写体との距離を測定する画像処
理方法において、測定範囲に離散的に設定された第１の距離の組に対応し
て、基準画像上の任意の画素に対応する第１の参照画像
上の複数の画素を抽出する第１の抽出ステップと、測定範囲に離散的に設定された第２の距離の組に対応し
て、基準画像上の任意の画素に対応する第２の参照画像
上の複数の画素を抽出する第２の抽出ステップと、前記第１の抽出ステップで抽出した画素と前記第２の抽
出ステップで抽出した画素との相互相関値を演算する演
算ステップと、前記演算ステップで演算した結果に基づいて、前記基準
カメラと前記被写体との距離を決定する決定ステップと
を含むことを特徴とする画像処理方法。
【請求項６】同一の被写体が撮影された画像対を用い
て、基準カメラと前記被写体との距離を測定する画像処
理装置に、測定範囲に離散的に設定された第１の距離の組に対応し
て、基準画像上の任意の画素に対応する第１の参照画像
上の複数の画素を抽出する第１の抽出ステップと、測定範囲に離散的に設定された第２の距離の組に対応し
て、基準画像上の任意の画素に対応する第２の参照画像
上の複数の画素を抽出する第２の抽出ステップと、前記第１の抽出ステップで抽出した画素と前記第２の抽
出ステップで抽出した画素との相互相関値を演算する演
算ステップと、前記演算ステップで演算した結果に基づいて、前記基準
カメラと前記被写体との距離を決定する決定ステップと
を含む処理を実行させるコンピュータが読み取り可能な
プログラムを提供することを特徴とする提供媒体。