JP2000180121A - 画像処理装置および画像処理方法、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 誤検出を防止して、対応点を確実に、なおか
つ、迅速に検出できるようにする。 【解決手段】 ステップＳ１２において、検出カメラ画
像から、背景に対応する画素と対象物に対応する画素を
分離する。ステップＳ１５において、基準カメラ画像の
画素と対応する、分離された検出カメラ画像の対応画素
を検出する。ステップＳ１６において、対応画素に基づ
き、基準カメラ画像の画素について、距離関係情報を算
出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びに提供媒体に関し、特に、例え
ば、所定の対象物を、複数のカメラで撮影して得られる
複数の画像の画素それぞれを相互に対応付け、対象物に
対する視差や、対象物までの距離などを、画素ごとに求
める、いわゆるステレオ画像処理を行う画像処理装置お
よび画像処理方法、並びに提供媒体に関する。

【０００２】

【従来の技術】例えば、文献「解説，ビデオレート・ス
テレオマシン（A Video-rate Stereomachine；金出(Kan
ade)，木村 著、日本ロボット学会誌("Journal of the
Robotics Society of Japan (JRSJ)")vol.13 No.3, p
p.322〜pp.326, 1995）」などには、２箇所以上から同
一の対象物を撮影することにより、あるいは、２台以上
のカメラで撮影することにより得た複数の画像の間で、
互いに対応する画素の間の視差情報（視差）を得て、カ
メラから対象物上の各点までの距離を求め、さらには、
対象物の形状を計測する、いわゆるステレオ画像処理が
開示されている。

【０００３】ここで、ステレオ画像処理は、２つ以上の
方向（異なる視線方向）からカメラで同一対象物を撮影
して得られる複数の画像間の画素同士を対応付けること
で、対応する画素間の視差情報や、カメラから対象物ま
での距離、対象物の形状を求めるものである。

【０００４】即ち、図７に示すように、カメラ１および
２（撮像手段）は、異なる位置に固定された、例えばＣ
ＣＤ（Charge Coupled Device）ビデオカメラで、その
異なる位置（異なる視線方向）から対象物３を撮影し、
その結果得られる画像を出力する。カメラ１または２
は、それぞれ、いわゆる基準カメラまたは検出カメラと
して機能する。そこで、以下、適宜、カメラ１または２
を、それぞれ基準カメラ１または検出カメラ２と称する
とともに、それぞれが出力する画像を、基準カメラ画像
（第１の画像）または検出カメラ画像（第２の画像）と
称する。

【０００５】基準カメラ１および検出カメラ２で対象物
３を撮影すると、基準カメラ１から対象物３の投影像を
含む基準カメラ画像が得られ、検出カメラ２から対象物
３の投影像を含む検出カメラ画像が得られる。いま、図
７における対象物３上のある点Ｐが、基準カメラ画像お
よび検出カメラ画像の両方に表示されているとすると、
その点Ｐが表示されている基準カメラ画像上の位置と、
検出カメラ画像上の位置、つまり対応点（対応画素）と
から、視差情報を求めることができ、さらに、三角測量
の原理を用いて、点Ｐの３次元空間における位置（３次
元位置）を求めることができる。

【０００６】従って、ステレオ画像処理では、まず、対
応点を検出することが必要となるが、その検出方法とし
ては、エピポーラライン（Epipolar Line）を用いたエ
リアベースマッチング法などがある。

【０００７】即ち、図８に示すように、基準カメラ１に
おいては、対象物３上の点Ｐは、その点Ｐと基準カメラ
１の光学中心（レンズ中心）Ｏ₁とを結ぶ直線Ｌと、基
準カメラ１の撮像面Ｓ₁との交点ｎ_aに投影される。

【０００８】また、検出カメラ２においては、対象物３
の点Ｐは、その点Ｐと検出カメラ２の光学中心（レンズ
中心）Ｏ₂とを結ぶ直線と、検出カメラ２の撮像面Ｓ₂と
の交点ｎ_bに投影される。

【０００９】この場合、直線Ｌは、光学中心Ｏ₁および
Ｏ₂、並びに点ｎ_a（または点Ｐ）の３点を通る平面と、
検出カメラ画像が形成される撮像面Ｓ₂との交線Ｌ₂とし
て、撮像面Ｓ₂上に投影される。点Ｐは、直線Ｌ上の点
であり、従って、撮像面Ｓ₂において、点Ｐを投影した
点ｎ_bは、直線Ｌを投影した直線Ｌ₂上に存在し、この直
線Ｌ₂はエピポーララインと呼ばれる。即ち、点ｎ_aの対
応点ｎ_bが存在する可能性のあるのは、エピポーラライ
ンＬ₂上であり、従って、対応点ｎ_bの探索は、エピポー
ララインＬ₂上を対象に行えば良い。

【００１０】ここで、エピポーララインは、撮像面Ｓ₁
に形成される基準カメラ画像を構成する画素ごとに考え
ることができるが、基準カメラ１と検出カメラ２の位置
関係が既知であれば、その画素ごとに存在するエピポー
ララインが求められる。

【００１１】エピポーララインＬ₂上の点からの対応点
ｎ_bの検出は、次のようなエリアベースマッチングによ
って行なわれる。

【００１２】即ち、エリアベースマッチングでは、図９
（Ａ）に示すように、基準カメラ画像上の点ｎ_aを中心
とする、長方形状の小ブロック（以下、適宜、基準ブロ
ックと称する）（第１のブロック）が、基準カメラ画像
から抜き出されるとともに、図９（Ｂ）に示すように、
検出カメラ画像に投影されたエピポーララインＬ₂上
の、ある点を中心とする、基準ブロックと同一の大きさ
の小ブロック（以下、適宜、検出ブロックという）（第
２のブロック）が、検出カメラ画像から抜き出される。

【００１３】ここで、図９（Ｂ）の例においては、エピ
ポーララインＬ₂上に、検出ブロックの中心の点とし
て、点ｎ_b1乃至ｎ_b6の６点が設けられている。この６点
ｎ_b1乃至ｎ_b6は、図８に示した３次元空間における直線
Ｌを、所定の一定距離ごとに区分する点、例えば、基準
カメラ１からの距離が、１ｍ，２ｍ，３ｍ，４ｍ，５
ｍ，６ｍの点それぞれを、検出カメラ２の撮像面Ｓ₂に
投影した点であり、従って、基準カメラ１からの距離が
１ｍ，２ｍ，３ｍ，４ｍ，５ｍ，６ｍの点にそれぞれ対
応している。

【００１４】エリアベースマッチングでは、検出カメラ
画像から、エピポーララインＬ₂上に設けられている点
ｎ_b1乃至ｎ_b6それぞれを中心とする検出ブロックが抜き
出され、各検出ブロックと、基準ブロックとの相関が、
所定の評価関数を用いて演算される。そして、点ｎ_aを
中心とする基準ブロックとの相関が最も高い検出ブロッ
クの中心の点ｎ_bが、点ｎ_aの対応点として求められる。

【００１５】即ち、いま、評価関数として、相関が高い
ほど小さな値をとる関数を用いた場合に、エピポーララ
インＬ₂上の点ｎ_b1乃至ｎ_b6それぞれについて、図１０
に示すような評価値（評価関数の値）が得られたとす
る。この場合、評価値が最も小さい（相関が最も高い）
点ｎ_b3が、点ｎ_aの対応点として検出される。

【００１６】図９の例では、上述したように、３次元空
間における直線Ｌを所定の等距離ごとに区分する点を、
検出カメラ２の撮像面Ｓ₂に投影した点が設定されてい
るが、この設定は、基準カメラ１および検出カメラ２の
キャリブレーション時に行うことができる。そして、こ
のような設定を、基準カメラ１の撮像面Ｓ₁を構成する
画素ごとに存在するエピポーララインごとに行い、図１
１（Ａ）に示すように、エピポーラライン上に設定され
た点（以下、適宜、設定点という）と、基準カメラ１か
らの距離とを対応付ける設定点／距離テーブルをあらか
じめ作成しておけば、対応点となる設定点を検出し、設
定点／距離テーブルを参照することで、即座に、基準カ
メラ１からの距離（対象物３までの距離）を求めること
ができる。即ち、いわば、対応点から、直接、距離を求
めることができる。

【００１７】一方、基準カメラ画像上の点ｎ_aについ
て、検出カメラ画像上の対応点ｎ_bを検出すれば、点ｎ_a
と点ｎ_bの間の視差（視差情報）を求めることができ
る。さらに、基準カメラ１と検出カメラ２の位置関係が
既知であれば、点ｎ_aと点ｎ_bの間の視差から、三角測量
の原理によって、対象物３までの距離を求めることがで
きる。視差から距離の算出は、所定の式を演算すること
によって行うことができるが、あらかじめその演算を行
っておき、図１１（Ｂ）に示すように、視差ζと距離と
を対応付ける視差／距離テーブルをあらかじめ作成して
おけば、対応点を検出し、視差を求め、視差／距離テー
ブルを参照することで、基準カメラ１からの距離を求め
ることができる。

【００１８】また、対応点の検出に、基準ブロックおよ
び検出ブロックといった複数画素でなるブロックを用い
るのは、ノイズの影響を軽減し、基準カメラ画像上の画
素（点）ｎ_aの周囲の画素のパターンの特徴と、検出カ
メラ画像上の対応点（画素）ｎ_bの周囲の画素のパター
ンの特徴との相関性を明確化して判断することにより、
対応点の検出の確実を期すためであり、特に、変化の少
ない基準カメラ画像および検出カメラ画像の場合、画像
の相関性により、ブロックの大きさが大きければ大きい
ほど対応点の検出の確実性が増す。

【００１９】エリアベースマッチングにおいて、基準ブ
ロックと検出ブロックとの相関性を評価する評価関数と
しては、基準ブロックを構成する画素と、それぞれの画
素に対応する、検出ブロックを構成する画素の画素値の
差分の絶対値の総和や、その差分の自乗和、正規化され
た相互相関(normalized cross correlation)などを用い
ることができる。

【００２０】基準ブロックを構成する画素と、それぞれ
の画素に対応する、検出ブロックを構成する画素の画素
値の差分の絶対値の総和を評価関数として用いる場合、
その評価値（評価関数の値）は、次式で計算することが
できる。

【００２１】

【数１】 ・・・（１） なお、式（１）において、ｘ_pは、対応点を求めようと
して注目している基準画像上の画素（注目画素）を表
し、従って、基準ブロックを構成する中心の画素を表
す。また、ｙ_qは、検出ブロックを構成する中心の画素
を表し、Ｓ（ｘ_p，ｙ_q）は、基準カメラ画像上の画素ｘ
_pを中心とする基準ブロックと、検出カメラ画像上の画
素ｙ_qを中心とする検出ブロックとの相関性を示す評価
値を表す。さらに、Ｗ_AまたはＷ_Bは、基準ブロックまた
は検出ブロックをそれぞれ表し、ｊ∈Ｗ_A，Ｗ_Bであるか
ら、ｘ_p＋ｊは、基準ブロックＷ_Aを構成する画素を表
し、ｙ_q＋ｊは、画素ｘ_p＋ｊに対応する、検出ブロック
Ｗ_Bを構成する画素を表す。また、Ｙ_A（ｘ_p＋ｊ）また
はＹ_B（ｙ_q＋ｊ）は、それぞれ、画素ｘ_p＋ｊまたはｙ_q
＋ｊの画素値を表す。

【００２２】式（１）を用いる場合においては、画素ｙ
_qを、エピポーラライン上に設定された設定点に順次ず
らしながら、評価値Ｓ（ｘ_p，ｙ_q）を計算し、その評価
値Ｓ（ｘ_p，ｙ_q）を最も小さくする検出カメラ画像の画
素ｙ_q（＝ｙ_qmin）が、基準カメラ画像の画素ｘ_pの対応
点として検出される。なお、視差は、画素ｘ_pとｙ_{qm in}
との位置から計算される。

【００２３】また、基準ブロックを構成する画素と、そ
れぞれの画素に対応する、検出ブロックを構成する画素
の画素値の差分の自乗和を評価関数として用いる場合、
その評価値は、次式で計算することができる。

【００２４】

【数２】 ・・・（２） なお、式（２）において、ｘ，ｙは、画素のｘ座標、ｙ
座標をそれぞれ表し、η，ξは、ｘ方向の視差、ｙ方向
の視差をそれぞれ表す。そして、ＳＳＤ（ｘ，ｙ，η，
ξ）は、視差が（η，ξ）であると仮定した場合の評価
値、即ち、基準カメラ画像上の座標（ｘ，ｙ）に位置す
る画素を中心とする基準ブロックと、検出カメラ画像上
の座標（ｘ−η，ｙ−ξ）に位置する画素を中心とする
検出ブロックとの相関性を示す評価値を表す。また、Ｗ
_AまたはＷ_Bは、基準ブロックまたは検出ブロックをそれ
ぞれ表し、ｉ，ｊ∈Ｗ_A，Ｗ_Bであるから、（ｘ＋ｉ，ｙ
＋ｊ）または（ｘ＋ｉ−η，ｙ＋ｊ−ξ）は、基準カメ
ラ画像または検出カメラ画像上の座標をそれぞれ表す。
そして、Ｙ_A（ｘ＋ｉ，ｙ＋ｊ）は、基準カメラ画像上
の座標（ｘ＋ｉ，ｙ＋ｊ）に位置する画素の画素値を表
し、Ｙ_B（ｘ＋ｉ−η，ｙ＋ｊ−ξ）は、検出カメラ画
像上の座標（ｘ＋ｉ−η，ｙ＋ｊ−ξ）に位置する画素
の画素値を表す。

【００２５】式（２）を用いる場合には、視差（η，
ξ）を変化させならが、評価値ＳＳＤ（ｘ，ｙ，η，
ξ）を計算し、その評価値ＳＳＤ（ｘ，ｙ，η，ξ）を
最も小さくする検出カメラ画像の画素（ｘ−η，ｙ−
ξ）が、基準カメラ画像の画素（ｘ，ｙ）の対応点とし
て検出される。なお、評価値ＳＳＤ（ｘ，ｙ，η，ξ）
を最も小さくするときの視差（η，ξ）を、（η_min，
ξ_min）と表すと、基準カメラの画素と、その対応点と
の距離としての視差ζは、次式で求められる。

【００２６】

【数３】 ・・・（３）

【００２７】ここで、式（１）および（２）に示した評
価値は、基準ブロックを構成する画素と、それぞれの画
素に対応する、検出ブロックの画素との画素値の差が少
ないほど小さくなる。従って、基準カメラ画像の画素ｎ
_aについての評価値を最も小さくする検出カメラ画像の
画素ｎ_bについては、その評価値が小さいほど、画素ｎ_a
の対応点であることの確実性が大きく、逆に、その評価
値が大きいほど、画素ｎ_aの対応点であることの確実性
が低くなる。

【００２８】次に、図１２（Ａ）に示すように、背景と
なる壁の前方（基準カメラ１および検出カメラ２に近い
位置）に置かれた対象物３を、基準カメラ１および検出
カメラ２で撮影し、エピポーララインを用いてエリアベ
ースマッチングを行うことにより、対応点の検出を行う
場合について説明する。

【００２９】上述したように、視差を求めることとと、
対象物３までの距離を求めることとは等価であり、以下
では、対応点から、図１１（Ａ）に示したような設定点
／距離対応テーブルを参照して、距離を求めるものとし
て、説明を行う。さらに、以下では、式（１）の評価値
を用いることとする。

【００３０】図１２（Ａ）に示した場合においては、基
準カメラ１または検出カメラ２それぞれから、図１２
（Ｂ）に示すような基準カメラ画像または検出カメラ画
像が得られる。

【００３１】そして、いま、図１２（Ｂ）に示した基準
カメラ画像において、図１３（Ａ）に示すように、対象
物３の投影像である前景に接する背景の画素ｋ（図１３
（Ａ）において、■印で示す）の対応点ｋ'を検出する
ことを考える。

【００３２】この場合、画素ｋと対応点ｋ'との間の視
差ζが大きいと、図１３（Ｂ）に示すように、基準カメ
ラ画像において前景に接する背景の画素ｋの、検出カメ
ラ画像上の真の対応点ｋ'が、対象物３の投影像である
前景から離れた位置に観察されることがある。

【００３３】このような場合においては、基準カメラ画
像の画素ｋを中心画素とする基準ブロックは、図１３
（Ｃ）に示すように、一部に前景の画素を含み、残りに
背景の画素を含むものとなる。なお、図１３（Ｃ）の例
では、画素ｋを中心とする５×５画素（横×縦）が、基
準ブロックとして構成されており、左側の２列が前景の
画素で、右側の３列が背景の画素で、それぞれ構成され
ている。

【００３４】図１３（Ｃ）に示した場合において、基準
ブロックの左側の２列と、右側の３列にそれぞれ対応す
る検出カメラ画像の画素は、図１３（Ｄ）に示すよう
に、２カ所に分かれる。即ち、基準ブロックの、前景の
画素でなる左側の２列は、検出カメラ画像における前景
の画素群Ａに対応する。一方、基準ブロックの、背景の
画素でなる右側の３列は、検出カメラ画像における真の
対応点ｋ'の部分の背景の画素群Ｂに対応する。

【００３５】そして、このように、基準ブロックを構成
する画素に対応する検出カメラ画像の画素が分かれる場
合においては、基準ブロックについて計算される評価値
が、画素群Ｂを含む検出ブロックを対象としたときより
も、画素群Ａを含む検出ブロックを対象としたときの方
が小さくなることがある。即ち、図１３（Ｅ）に示すよ
うに、検出カメラ画像において、前景に接する背景の画
素ｋ''を中心として構成される検出ブロックが、基準ブ
ロックとの間の評価値を最も小さくすることがある。こ
の場合、真の対応点ｋ'ではない点ｋ''が、画素ｋの対
応点として検出され、従って、対応点を誤検出すること
になり、その誤検出に起因して、画素ｋに対応する３次
元空間上の点までの距離も、誤った値が求められること
になる。即ち、上述のような対応点の誤検出があると、
画素ｋに対応する３次元空間上の点までの距離は、前景
を構成する対象物３までの距離に近い値となって求めら
れる。その結果、そのような距離を画素値とする距離画
像は、対象物３の横幅が広がったようなものとなる。

【００３６】

【発明が解決しようとする課題】以上のような対応点の
誤検出は、前景と背景の絵柄が異なっている場合に比較
的生じやすく、さらに、その絵柄が大きく異なっている
場合には、特に生じやすい。

【００３７】上述のような対応点の誤検出は、基準ブロ
ック（従って、検出ブロックも）を小さくする（基準ブ
ロックを構成する画素数を少なくする）ことにより低減
することができるが、これでは、エリアベースマッチン
グによる対応点の検出の確実性が低下する。

【００３８】本発明はこのような状況に鑑みてなされた
ものであり、誤検出を防止して、対応点を確実に、なお
かつ、迅速に検出できるようにすることを目的とする。

【００３９】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、第２の画像から、背景に対応する画素と対象
物に対応する画素を分離する分離手段と、第１の画像の
画素と対応する、分離手段により分離された第２の画像
の対応画素を検出する検出手段と、対応画素に基づき、
第１の画像の画素について、距離関係情報を算出する算
出手段とを備えることを特徴とする。

【００４０】請求項３に記載の画像処理方法は、第２の
画像から、背景に対応する画素と対象物に対応する画素
を分離する分離ステップと、第１の画像の画素と対応す
る、分離ステップで分離された第２の画像の対応画素を
検出する検出ステップと、対応画素に基づき、第１の画
像の画素について、距離関係情報を算出する算出ステッ
プとを含むことを特徴とする。

【００４１】請求項４に記載の提供媒体は、画像処理装
置に、第２の画像から、背景に対応する画素と対象物に
対応する画素を分離する分離ステップと、第１の画像の
画素と対応する、分離ステップで分離された第２の画像
の対応画素を検出する検出ステップと、対応画素に基づ
き、第１の画像の画素について、距離関係情報を算出す
る算出ステップとを含む処理を実行させるコンピュータ
が読み取り可能なプログラムを提供することを特徴とす
る。

【００４２】請求項１に記載の画像処理装置、請求項３
に記載の画像処理方法、および請求項４に記載の提供媒
体においては、第２の画像から、背景に対応する画素と
対象物に対応する画素が分離され、第１の画像の画素と
対応する、分離された第２の画像の対応画素が検出さ
れ、対応画素に基づき、第１の画像の画素について、距
離関係情報が算出される。

【００４３】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。

【００４４】すなわち、請求項１に記載の画像処理装置
は、第２の画像から、背景に対応する画素と対象物に対
応する画素を分離する分離手段（例えば、図４のステッ
プＳ１２）と、第１の画像の画素と対応する、分離手段
により分離された第２の画像の対応画素を検出する検出
手段（例えば、図４のステップＳ１５）と、対応画素に
基づき、第１の画像の画素について、距離関係情報を算
出する算出手段（例えば、図４のステップＳ１６）とを
備えることを特徴とする。

【００４５】図１は、本発明を適用した距離測定装置の
一実施の形態の構成を示している。

【００４６】カメラ１および２は、異なる位置に固定さ
れた、例えばＣＣＤビデオカメラで、その異なる位置か
ら対象物３を撮影し、その結果得られる画像を、距離測
定装置１１のカメラインターフェイス２１に出力する。

【００４７】カメラインターフェイス２１は、基準カメ
ラ１または検出カメラ２それぞれからの基準カメラ画像
または検出カメラ画像を受信し、フレームメモリ２２に
供給する。フレームメモリ２２は、カメラインターフェ
イス２１からの基準カメラ画像および検出カメラ画像
を、例えば、フレーム単位などで記憶する。

【００４８】演算処理部２３は、フレームメモリ２２に
記憶された基準カメラ画像および検出カメラ画像に基づ
いて、基準カメラ１または検出カメラ２のうちの、例え
ば、基準カメラ１から対象物３までの距離に関係する距
離関係情報を求め、その距離関係情報に対応する画素値
を有する画像を生成する。

【００４９】即ち、演算処理部２３は、基準カメラ画像
の画素と、検出カメラ画像の画素との間の対応をとり、
基準カメラ画像の画素それぞれについて、対象物３まで
の距離を求めて、その距離に対応する画素値を有する画
像（例えば、距離が大きいほど輝度値が大きい画像）
（以下、適宜、距離画像と称する）を生成する。図２
は、距離画像の例を示す図である。図２に示す距離画像
は、対象物３に対応する領域に属する各画素に対して、
対象物３の対応する点までの距離を示す情報を割り当て
た画像である。

【００５０】あるいは、演算処理部２３は、対応をとっ
た画素間の視差ζを測定し、その視差ζに対応する画素
値を有する画像（以下、適宜、視差画像という）を生成
する。なお、演算処理部２３においては、視差ζから、
距離画像を求めたり、さらに、距離画像から、対象物３
の３次元形状の解析を行うようにすること等も可能であ
る。

【００５１】具体的には、演算処理部２３は、制御用の
ＣＰＵ(Central Processing Unit)２３Ａ，ＲＯＭ(Read
Only Memory)２３Ｂ，ＲＡＭ(Random Access Memory)
２３Ｃ、および画像処理用のＤＳＰ(Digital Signal Pr
ocessor)２３Ｄなどから構成されている。そして、ＣＰ
Ｕ２３Ａは、記録部２４に記憶されたアプリケーション
プログラムを実行することで、距離測定装置を構成する
各ブロックを制御するとともに、後述するようなステレ
オ画像処理および画像の分離処理等を行うことにより、
距離画像等を生成するようになされている。

【００５２】なお、ＲＯＭ２３Ｂは、例えば、ＩＰＬ
（Initial Program Loading）用のプログラムその他の
必要なデータを記憶している。ＲＡＭ２３Ｃは、ＣＰＵ
２３Ａが実行するプログラムや、ＣＰＵ２３Ａの処理上
必要なデータなどを一時記憶する。ＤＳＰ２３Ｄは、Ｃ
ＰＵ２３Ａの制御の下、必要な積和演算その他の演算を
行う。

【００５３】記録部２４は、例えば、ＨＤ（Hard Dis
k）や、ＣＤ−ＲＯＭ（Compact DiscRead Only Memor
y）などで構成され、演算処理部２３が実行するＯＳ（O
perating System）のプログラムや、上述したような処
理を行うためのアプリケーションプログラムなどを記録
している。また、記録部２４は、演算処理部２３が出力
する距離画像等を記録するようにもなされている。出力
部２５は、例えば、ＣＲＴ（Cathode Ray Tube）または
液晶パネル、およびIEEE(Institute of Electricaland
Electronics Engineers)1394インターフェースなどで構
成され、演算処理部２３が出力する距離画像等を表示
し、距離画像等を外部の図示せぬ機器に出力する。

【００５４】以上のように構成される距離測定装置で
は、基準カメラ１および検出カメラ２によって対象物３
が撮影される。さらに、その結果得られる基準カメラ画
像および検出カメラ画像が、カメラインターフェイス２
１を介してフレームメモリ２２に供給されて記憶され
る。そして、その基準カメラ画像および検出カメラ画像
を用いて、演算処理部２３において、ステレオ画像処理
が行われる。

【００５５】次に、演算処理部２３の画像の分離および
対応点の検出の処理を、図３を参照して説明する。ま
ず、図３（Ａ）に示すように、対象物３の投影像の上の
画素ｋ（図３（Ａ）において、■印で示す）の対応点を
検出するときの処理を説明する。画素ｋが対象物３の投
影像の上にあるので、図３（Ｂ）に示すように、画素ｋ
に対応するエピポーララインは、対象物３の投影像の上
に位置する。初めに、演算処理部２３は、図３（Ｂ）に
示すような、検出カメラ画像から、対象物３の投影像の
みの画像を抽出する。

【００５６】対象物３の投影像を抽出する処理として
は、予め記憶している背景画像（対象物３を含まない画
像）との差分より抽出する方法、特公平６−９０６２号
公報に開示されている空間フィルタにより得られた微分
値を２値化して境界線を検出し、連結領域にラベル付け
する方法、または、特公平７−１６２５０号公報に開示
されている抽出対象の色彩モデルを用いて、背景を含む
現画像の色彩変換データ、背景画像と現画像との明度の
差を示すデータから抽出対象の存在確率分布を算出する
方法などが利用できる。また、画像から対象物の外輪郭
線を抽出して特定対象物の画像を抽出する動的輪郭法
(M.Kass et al.,"Snakes: Active Contour Models, "In
ternational Journal of Computer Vision,vol.1,pp.32
1-331,1987)などを利用してもよい。

【００５７】次に、演算処理部２３は、図３（Ｃ）に示
すように、対象物３の投影像の上のエピポーララインに
ついてのみ、対応点を探索する。

【００５８】従って、演算処理部２３は、背景の投影像
の上で対応点を探索することがないため、誤検出が防止
され、更に、検索範囲が狭まることにより、処理が迅速
化される。

【００５９】また、背景の投影像の上の画素の対応点を
検出するとき、図３（Ｄ）に示すように、演算処理部２
３は、対象物３の投影像と分離された背景の投影像の上
のエピポーララインについてのみ、対応点を探索する。
この場合にも同様に、演算処理部２３は、対象物３の投
影像の上で対応点を探索することがないため、誤検出が
防止され、更に、検索範囲が狭まることにより、処理が
迅速化される。

【００６０】このように、演算処理部２３は、対象物２
の投影像と背景の投影像に分離された画像を用いて検索
を実行するため、誤検出が防止されるとともに、迅速に
処理できるようになる。

【００６１】次に、基準カメラ画像および検出カメラ画
像から、距離測定装置１１が距離を測定する処理を、図
４のフローチャートを参照して説明する。ステップＳ１
１において、距離測定装置１１の演算処理部２３は、基
準カメラ画像の対象物３の投影像と背景の投影像を、動
的輪郭法などを利用して分離する。ステップＳ１２にお
いて、距離測定装置１１の演算処理部２３は、検出カメ
ラ画像の対象物の投影像と背景の投影像を、動的輪郭法
などを利用して分離する。

【００６２】ステップＳ１３において、距離測定装置１
１の演算処理部２３は、距離を求める基準カメラ画像内
の画素を選択する。ステップＳ１４において、演算処理
部２３は、ステップＳ１３において選択された画素が基
準カメラ画像の対象物３の投影像上の画素であるか否か
を判定し、画素が基準カメラ画像の対象物３の投影像上
の画素であると判定された場合、ステップＳ１５に進
み、ステップＳ１２で分離された検出カメラ画像の対象
物の投影像から、エリアベースマッチング法で、エピポ
ーラライン上を探索し、対応点を求める。ステップＳ１
６において、演算処理部２３は、視差を計算し、対応す
る距離を算出して、出力部２５に出力する。

【００６３】ステップＳ１７において、演算処理部２３
は、他の画素の視差を求めるか否かを判定し、他の画素
の視差を求めると判定された場合、ステップＳ１３に戻
り、距離を算出する処理を繰り返す。

【００６４】ステップＳ１７において、他の画素の視差
を求めないと判定された場合、処理は終了する。

【００６５】ステップＳ１４において、ステップＳ１３
において選択された画素が基準カメラ画像の対象物３の
投影像上の画素でないと判定された場合、ステップＳ１
８に進む。ステップＳ１８において、演算処理部２３
は、ステップＳ１２で分離された検出カメラ画像の背景
の投影像から、エピポーラライン上を探索し、対応点を
求め、ステップＳ１６に進み、距離を計算する。

【００６６】このように、距離測定装置１１は、基準カ
メラ画像および検出カメラ画像から、選択された画素の
距離を測定する。

【００６７】次に、基準カメラ画像および検出カメラ画
像から、距離測定装置１１が距離を測定する他の処理
を、図５のフローチャートを参照して説明する。ステッ
プＳ３１において、距離測定装置１１は、基準カメラ１
および検出カメラ２に背景を撮影させる。ステップＳ３
２において、距離測定装置１１の演算処理部２３は、背
景を撮像した基準カメラ画像および検出カメラ画像をＲ
ＡＭ２３Ｃに記憶する。ステップＳ３３において、演算
処理部２３は、基準カメラ画像の所定の画素の視差を検
出カメラ画像を参照して計算し、その画素に対する距離
を求める。ステップＳ３４において、演算処理部２３
は、基準カメラ画像の所定の画素の距離をＲＡＭ２３Ｃ
に記憶する。

【００６８】ステップＳ３５において、距離測定装置１
１は、基準カメラ１および検出カメラ２に対象物３およ
び背景を撮影させる。ステップＳ３６において、距離測
定装置１１の演算処理部２３は、ＲＡＭ２３Ｃに記憶さ
れている背景を撮像した基準カメラ画像と、ステップＳ
３５で撮影した対象物３および背景の基準カメラ画像の
差分を算出し、基準カメラ画像の対象物３の投影像と背
景の投影像を分離する。ステップＳ３７において、距離
測定装置１１の演算処理部２３は、ＲＡＭ２３Ｃに記憶
されている背景を撮像した検出カメラ画像と、ステップ
Ｓ３５で撮影した対象物３および背景の検出カメラ画像
の差分を算出し、検出カメラ画像の対象物３の投影像と
背景の投影像を分離する。

【００６９】ステップＳ３８において、距離測定装置１
１の演算処理部２３は、距離を求める基準カメラ画像内
の画素を選択する。ステップＳ３９において、演算処理
部２３は、ステップＳ３８において選択された画素が基
準カメラ画像の対象物３の投影像上の画素であるか否か
を判定し、画素が基準カメラ画像の対象物３の投影像上
の画素であると判定された場合、ステップＳ４０に進
み、ステップＳ１２で分離された検出カメラ画像の対象
物の投影像から、エリアベースマッチング法にて、エピ
ポーラライン上を探索し、対応点を求める。ステップＳ
４１において、演算処理部２３は、視差を計算し、対応
する距離を算出して、出力部２５に出力する。

【００７０】ステップＳ４２において、演算処理部２３
は、他の画素の視差を求めるか否かを判定し、他の画素
の視差を求めると判定された場合、ステップＳ３８に戻
り、距離を算出する処理を繰り返す。

【００７１】ステップＳ４２において、他の画素の視差
を求めないと判定された場合、処理は終了する。

【００７２】ステップＳ３９において、ステップＳ３８
において選択された画素が基準カメラ画像の対象物３の
投影像上の画素ではない（背景の投影像上の画素であ
る）と判定された場合、ステップＳ４３に進む。ステッ
プＳ４３において、演算処理部２３は、ＲＡＭ２３Ｃに
記憶されている基準カメラ画像の所定の画素に対する距
離を出力し、ステップＳ４２に進む。

【００７３】以上のように、図５に示すフローチャート
に対応する処理でも、距離測定装置１１は、基準カメラ
画像および検出カメラ画像から、選択された画素の距離
を測定することができる。背景が固定されていれば、図
５に示すフローチャートに対応する処理は、対象物３が
移動しても、ステップＳ３５からの処理を繰り返すこと
で、図４に示すフローチャートに対応する処理に比較
し、より少ない計算量で、距離を求めることができる。

【００７４】図６に距離測定装置１１を利用した３次元
合成画像の表示システムの例を示す。距離測定装置１１
は、基準カメラ画像および検出カメラ画像から、輝度お
よび色のデータを含むテクスチャ画像、並びにテクスチ
ャ画像に対応する距離画像を求め、３次元画像合成回路
３１に供給する。コンピュータグラフックス装置３２
は、輝度および色のデータを含むテクスチャ画像、並び
にテクスチャ画像に対応する距離画像を生成し、３次元
画像合成回路３１に供給する。

【００７５】３次元画像合成回路３１は、距離測定装置
１１から入力された距離画像の画素値（視点からの距
離）とコンピュータグラフックス装置３２の画素値（視
点からの距離）を比較し、視点からの距離が短い画素を
選択し、選択された画素に対応するテクスチャ画像（距
離測定装置１１から入力されたテクスチャ画像またはコ
ンピュータグラフックス装置３２から入力されたテクス
チャ画像のいずれか）の画素（輝度および色のデータを
有する）を選択して、３次元合成画像を生成して、表示
装置３３に出力する。ＣＲＴまたは液晶パネルからなる
表示装置３３は、３次元画像合成回路３１から供給され
た３次元合成画像を表示する。

【００７６】このように、図６の表示システムは、対象
物３および背景の距離、並びにコンピュータグラフック
ス装置３２が生成する距離の情報を利用して、３次元的
な奥行きを考慮した画像の合成ができる。

【００７７】なお、図６の表示システムは、コンピュー
タグラフックス装置３２に代えて、もう１台の距離測定
装置１１を利用することで、奥行きを考慮して、２つの
実写画像を合成することができる。

【００７８】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものとす
る。

【００７９】なお、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。

【００８０】

【発明の効果】請求項１に記載の画像処理装置、請求項
３に記載の画像処理方法、および請求項４に記載の提供
媒体によれば、第２の画像から、背景に対応する画素と
対象物に対応する画素が分離され、第１の画像の画素と
対応する、分離された第２の画像の対応画素が検出さ
れ、対応画素に基づき、第１の画像の画素について、距
離関係情報が算出されるので、誤検出を防止して、対応
点を確実に、なおかつ、迅速に検出できるようになる。

【図面の簡単な説明】

【図１】本発明を適用した距離測定装置の一実施の形態
の構成を示している。

【図２】距離画像の例を示す図である。

【図３】演算処理部２３の画像の分離および対応点の検
出の処理を説明する図である。

【図４】基準カメラ画像および検出カメラ画像から、距
離測定装置１１が距離を測定する処理を説明するフロー
チャートである。

【図５】基準カメラ画像および検出カメラ画像から、距
離測定装置１１が距離を測定する他の処理を説明するフ
ローチャートである。

【図６】距離測定装置１１を利用した３次元合成画像の
表示システムの例を示す図である。

【図７】対象物３並びに２台の基準カメラ１および検出
カメラ２の関係を説明する図である。

【図８】エピポーララインを説明する図である。

【図９】エリアベースマッチングの処理を説明する図で
ある。

【図１０】評価値から対応点を選択する処理を説明する
図である。

【図１１】設定点／距離テーブルおよび視差／距離テー
ブルを説明する図である。

【図１２】撮影シーンおよびカメラ画像を説明する図で
ある。

【図１３】基準カメラ画像の画素ｋに対応する、検出カ
メラ画像の対応点ｋ'の誤検出を説明する図である。

【符号の説明】

１，２ カメラ， ３ 対象物， １１ 距離測定装
置， ２１ カメラインターフェース， ２２ フレー
ムメモリ， ２３ 演算処理部， ２４ 記録部， ２
５ 出力部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 AA53 BB05 DD04 DD06 FF04 FF09 JJ03 JJ05 JJ26 QQ03 QQ13 QQ24 QQ29 QQ31 QQ38 SS13 2F112 AD05 BA05 BA07 CA12 FA03 FA07 FA21 FA38 5B047 AA07 BB06 5B057 AA20 BA02 CA12 CA16 CB13 CF04 DC30

Claims (4)

【特許請求の範囲】
1. 【請求項１】 背景および対象物を撮影した第１および
   第２の画像に基づき、前記背景および前記対象物までの
   距離に関係する距離関係情報を求める画像処理装置にお
   いて、 前記第２の画像から、前記背景に対応する画素と前記対
   象物に対応する画素を分離する分離手段と、 前記第１の画像の画素と対応する、前記分離手段により
   分離された前記第２の画像の対応画素を検出する検出手
   段と、 前記対応画素に基づき、前記第１の画像の画素につい
   て、前記距離関係情報を算出する算出手段とを備えるこ
   とを特徴とする画像処理装置。
2. 【請求項２】 前記背景のみを撮影した第１および第２
   の画像、並びに前記背景に関係する前記距離関係情報を
   記憶する記憶手段を更に備えることを特徴とする請求項
   １に記載の画像処理装置。
3. 【請求項３】 背景および対象物を撮影した第１および
   第２の画像に基づき、前記背景および前記対象物までの
   距離に関係する距離関係情報を求める画像処理装置の画
   像処理方法において、 前記第２の画像から、前記背景に対応する画素と前記対
   象物に対応する画素を分離する分離ステップと、 前記第１の画像の画素と対応する、前記分離ステップで
   分離された前記第２の画像の対応画素を検出する検出ス
   テップと、 前記対応画素に基づき、前記第１の画像の画素につい
   て、前記距離関係情報を算出する算出ステップとを含む
   ことを特徴とする画像処理方法。
4. 【請求項４】 背景および対象物を撮影した第１および
   第２の画像に基づき、前記背景および前記対象物までの
   距離に関係する距離関係情報を求める画像処理装置に、 前記第２の画像から、前記背景に対応する画素と前記対
   象物に対応する画素を分離する分離ステップと、 前記第１の画像の画素と対応する、前記分離ステップで
   分離された前記第２の画像の対応画素を検出する検出ス
   テップと、 前記対応画素に基づき、前記第１の画像の画素につい
   て、前記距離関係情報を算出する算出ステップとを含む
   処理を実行させるコンピュータが読み取り可能なプログ
   ラムを提供することを特徴とする提供媒体。