JP2002163639A - ３次元情報復元装置及びその方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 複数のＴＶカメラで同時に取得した複数枚の
画像から物体形状や物体までの距離を高速かつ高精度に
計測する。 【解決手段】 複数台のＴＶカメラを用いてステレオ画
像を取得する画像入力部１と、入力されたステレオ画像
を蓄積するための画像蓄積部２と、ステレオ画像上の各
点の視差範囲を計算する視差範囲計算部３と、ステレオ
画像上の各点の視差を、視差範囲計算部３により計算さ
れた視差範囲内で計算する視差計算部４と、視差計算部
４により計算した視差を用いて、画像上の各点の３次元
位置を求める３次元位置を計算する３次元位置計算部５
と、３次元位置計算部により計算した画像上の各点の３
次元位置を出力する出力部６から構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】ロボットの自律作業や車の自
動走行を実現するために、複数台のＴＶカメラを用いて
対象物体の３次元形状や障害物までの距離といった３次
元情報を復元する３次元情報装置、その方法及び記録媒
体に関する。

【０００２】

【従来の技術】自律作業ロボットや自動走行車にとっ
て、対象物体の３次元形状や障害物の３次元位置を計測
する技術は不可欠である。

【０００３】このような３次元情報を求める技術は、レ
ーザや超音波等を利用するものとＴＶカメラを利用する
ものに大別できる。

【０００４】レーザを利用するものは高価であり、超音
波を利用するものは超音波の解像度が低いため、計測精
度に問題がある。また、レーザや超音波等を用いるセン
サは計測範囲が狭いという問題がある。

【０００５】これに対し、ＴＶカメラは比較的安価であ
り、解像度や計測精度、計測範囲の面からも有利であ
る。また、ＴＶカメラを用いると濃淡、色に関する情報
も同時に取得できるため、３次元情報復元後、対象物体
の同定（物体認識）等の処理が容易になる。ＴＶカメラ
を用いて対象空間の３次元情報を復元するためにはステ
レオ視が有効である。

【０００６】ステレオ視とは、例えば図１に示すように
２つのカメラを左右に配置し、３次元空間中で同一点で
ある点を左右画像間で対応づけ、三角測量の原理に基づ
いて、その点の３次元位置（Ｘ，Ｙ，Ｚ）を求めるもの
である。

【０００７】この対応づけは、図２に示すように左画像
を基準画像とした時、その基準画像上のある点の右画像
上の対応点が、同図に示すエピポーララインと呼ばれる
線上にあることを利用すると１次元の探索問題に帰着す
る。すなわち、エピポーラライン上を探索し、最も周囲
の輝度のパターンが似ている点を対応点とする。例え
ば、２台のカメラを平行に配置した場合には、エピポー
ララインは走査線に一致する。

【０００８】画像上の対応点同士の位置のズレを一般に
視差と呼ぶ。基準画像上のある点Ｐの対応点を求めるこ
とと、点Ｐの視差を計算することは本質的に同一であ
る。

【０００９】しかし、対応づけは基本的に探索計算によ
り行われるため、計算コストが高く、また、周囲に類似
した濃淡パターンを持つ物体が存在する場合には誤対応
が発生する。したがって、従来の３次元情報復元装置及
びその方法では、３次元情報を高速かつ高精度に計算す
るのが困難であるという問題があった。

【００１０】

【発明が解決しようとする課題】上記のように、３次元
情報復元装置はレーザや超音波を用いるものとＴＶカメ
ラを用いるものに大別できるが、レーザや超音波を利用
するものは高価であったり、計測精度が低いという点で
問題があった。

【００１１】また、２つのＴＶカメラを利用するステレ
オ視には、対応探索が難しく、かつ、計算コストが高い
という問題があった。

【００１２】そこで、本発明は上記事情を鑑みてなされ
たもので、一般に物体は床面や道路面といった基準面よ
りも上方に存在することを利用し、ステレオ画像間の対
応づけの際の探索範囲を小さくすることにより、高速、
かつ、高精度に画像上の各点の３次元情報を復元するこ
とができる３次元情報復元装置及びその方法を提供す
る。

【００１３】

【課題を解決するための手段】請求項１の発明は、３次
元空間中の任意の点Ｐを撮影した複数枚の画像における
前記点Ｐの各画像間の投影位置を求める３次元情報復元
装置において、前記複数枚の画像を入力する画像入力手
段と、前記点Ｐと３次元空間中の基準面との幾何学的関
係に基づいて、前記点Ｐの各画像における投影位置が存
在する範囲を限定するための拘束条件を計算する視差範
囲計算手段と、前記視差範囲計算手段によって計算され
た拘束条件に基づいて、前記画像入力手段に入力された
前記点Ｐの各画像への投影位置を計算する視差計算手段
と、を有することを特徴とする３次元情報復元装置であ
る。

【００１４】請求項２の発明は、前記視差範囲計算手段
は、前記基準面を境界とする２つの空間の内、前記点Ｐ
と前記画像入力手段が存在する空間に、前記点Ｐの各画
像への投影位置が存在するように前記拘束条件を限定す
ることを特徴とする請求項１記載の３次元情報復元装置
である。

【００１５】請求項３の発明は、前記視差範囲計算手段
は、前記画像入力手段に入力された画像における前記基
準面上の特徴から前記基準面の方程式を計算し、その計
算した基準面の方程式から前記拘束条件を計算すること
を特徴とする請求項１，２記載の３次元情報復元装置で
ある。

【００１６】請求項４の発明は、３次元空間中の任意の
点Ｐを撮影した複数枚の画像における前記点Ｐの各画像
間の投影位置を求める３次元情報復元方法において、前
記複数枚の画像を入力する画像入力ステップと、前記点
Ｐと３次元空間中の基準面との幾何学的関係に基づい
て、前記点Ｐの各画像における投影位置が存在する範囲
を限定するための拘束条件を計算する視差範囲計算ステ
ップと、前記視差範囲計算ステップによって計算された
拘束条件に基づいて、前記入力された前記点Ｐの各画像
への投影位置を計算する視差計算ステップと、を有する
ことを特徴とする３次元情報復元方法である。

【００１７】請求項５の発明は、３次元空間中の任意の
点Ｐを撮影した複数枚の画像における前記点Ｐの各画像
間の投影位置を求める３次元情報復元方法を実現するプ
ログラムを記録した記録媒体において、前記複数枚の画
像を入力する画像入力機能と、前記点Ｐと３次元空間中
の基準面との幾何学的関係に基づいて、前記点Ｐの各画
像における投影位置が存在する範囲を限定するための拘
束条件を計算する視差範囲計算機能と、前記視差範囲計
算機能によって計算された拘束条件に基づいて、前記入
力された前記点Ｐの各画像への投影位置を計算する視差
計算機能と、を実現するプログラムを記録したことを特
徴とする３次元情報復元方法の記録媒体である。

【００１８】本発明であると、各画像間の対応づけの際
の探索範囲、すなわち、拘束条件をを限定することによ
り、各画像上の投影位置を高速、高精度に計算でき、こ
れによって、点Ｐの３次元情報を復元することができ
る。

【００１９】

【発明の実施の形態】以下で、本発明の実施例を図面に
従い説明する。

【００２０】（第１の実施例）第１の実施例を図３から
図７に基づいて説明する。

【００２１】本実施例の三次元情報復元装置は、同一の
２つのＴＶカメラを左右に平行に配置し、入力されたス
テレオ画像から対象物体の３次元位置を計測する状況を
想定している。

【００２２】図３は、本実施例における三次元情報復元
装置の概略構成を示すもので、画像入力部１、画像蓄積
部２、視差範囲計算部３、視差計算部４、３次元位置計
算部５、出力部６から構成している。

【００２３】なお、以下の視差範囲計算部３、視差計算
部４、３次元位置計算部５の機能は、パソコンによって
も実現可能であり、その場合には、その機能をプログラ
ムにして、パソコンに記録しておく。

【００２４】また、本実施例では図４に示すように、座
標系の原点を左右カメラの視点（レンズ中心）の中点に
とり、左右カメラの視点を結ぶ直線をＸ軸、上下方向に
Ｙ軸（但し、下方が正方向）、カメラ光軸方向にＺ軸を
設定する。また、左右のカメラ位置を各々、（−Ｂ，
０，０），（Ｂ，０，０）とし、基準面の方程式をＹ＝
Ｙ_０ とおく。

【００２５】・画像入力部１ 画像入力部１は、２つのＴＶカメラによりステレオ画像
を取得する。

【００２６】・画像蓄積部２ 画像蓄積部２は、画像入力部１により入力されたステレ
オ画像を画像メモリに蓄積する。

【００２７】・視差範囲計算部３ 視差範囲計算部３は、画像蓄積部２により蓄積されたス
テレオ画像の各点の視差範囲を計算する。

【００２８】空間中の任意の点（Ｘ，Ｙ，Ｚ）の左右画
像への投影点を各々、Ｐ（ｘ，ｙ），Ｐ’（ｘ’，
ｙ’）とする。但し、点Ｐと点Ｐ’がエピポーラライン
の線上にあることを利用するとｙ＝ｙ’となる。また、
レンズの焦点距離をＦとする。

【００２９】すると、

【数１】 という関係式が成り立つ。これらを連立させて（Ｘ，
Ｙ，Ｚ）について解くと、

【数２】 となる。ここで、ｄ＝ｘ−ｘ’であり、ｄは左右画像上
の対応点の位置ずれ、つまり視差を表す。物体がカメラ
の前方にあることから、 Ｚ＞＝０ （３） これと式（２）より、 ｄ＞＝０ （４） である。

【００３０】また、物体と２台のカメラが基準面Ｙ＝Ｙ
_０ より上方に存在することから、 Ｙ＝＜Ｙ_０ （５） である。これと式（２）より、 ｄ＞＝（２Ｂ×ｙ）／Ｙ_０ （６） である。式（４）と（６）は図示すると各々、図５
（ａ），（ｂ）の斜線部のようになる。これらの共通部
分、つまり、図６の灰色部分が視差ｄの存在範囲を示
す。式で表現すると、 ｄ＞＝ｄ_ｍｉｎ （７） 但し、

【数３】 であり、これが左画像上の点Ｐ（ｘ，ｙ）の視差の範
囲、すなわち、投影位置に関する拘束条件を示す。

【００３１】・視差計算部４ 視差計算部４は画像上の各点の視差を計算する。この
際、視差範囲計算部３によって求められた視差範囲内で
対応点を探索する。

【００３２】下記に視差計算部４の処理の概要を示す。

【００３３】（ａ） 左画像上の点Ｐ（ｘ，ｙ）の視差
をｄと仮定し、点Ｐと右画像上の点Ｐ’（ｘ−ｄ，ｙ）
の周囲の輝度パターンの類似度Ｃ（ｄ）を計算する。

【００３４】（ｂ） 探索範囲（ｄ＞＝ｄ_ｍｉｎ ）内
の各々の視差ｄに対してＣ（ｄ）を計算する。Ｃ（ｄ）
が最も高くなるｄ^＊ を点Ｐの真の視差とする。

【００３５】点ＰとＰ’の周囲の輝度パターンの類似度
は、図７に示すように各点に対して（２ω＋１）×（２
ω＋１）のウインドウを設定し、ウインドウ内の輝度値
の正規化相互相関Ｃで評価する。点Ｐ（ｘ，ｙ）の左右
画像の輝度を、各々ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）と表現
すると、点Ｐ（ｘ，ｙ）における左右画像の正規化相互
相関Ｃは、

【数４】 となる。ここで、Ｎ＝（２ω＋１）×（２ω＋１）、ａ
_１ ，ａ_２ は２枚の画像のウインドウ内の輝度の平
均、σ１^２ ，σ２^２ は２枚の画像のウインドウ内の
輝度の分散である。上記処理を画像上のすべての点に対
して行うことにより、各点の視差を求める。

【００３６】．位置計算部５ 位置計算部５では、視差計算部４により求めた画像上の
各点の視差ｄと、式（２）により各点の３次元位置
（Ｘ，Ｙ，Ｚ）を算出する。

【００３７】・出力部６ 出力部６では、画像上の各点の３次元位置を出力する。

【００３８】以上のようにして、ステレオカメラを用い
て、物体の３次元形状や障害物までの距離といった情報
を従来よりも高速かつ高精度に得ることができる。

【００３９】（第２の実施例）第２の実施例を図８から
図１１に基づいて説明する。

【００４０】第１の実施例では、画像入力部１で２台の
ＴＶカメラを左右に平行に並べて２枚の画像を入力して
いるが、これらのカメラは向きや配置は任意である。ま
た、３台以上のカメラを配置してもよい。

【００４１】第２の実施例では、３台のカメラを図８の
ように配置した場合について説明する。

【００４２】ここでは３台のカメラが等間隔に並ぶよう
に第３のカメラをＸ軸上の（３Ｂ，０，０）の位置に追
加する。

【００４３】空間中の任意の点（Ｘ，Ｙ，Ｚ）の第３の
カメラ画像上の投影点を、点Ｐ”（ｘ”，ｙ”）とする
と、

【数５】 となる。

【００４４】以下では各カメラを左から第１，２，３の
カメラと呼び、各カメラから得られた画像を第１，２，
３カメラ画像と呼ぶ。３次元空間中の点（Ｘ，Ｙ，Ｚ）
の第１カメラ画像上の投影点と第３カメラ画像上の投影
点の位置ずれ、つまり視差をｄ’とすると、式（１），
（１０）より、

【数６】 である。

【００４５】また、式（２）より、第１，２カメラ画像
間の視差は、

【数７】 である。

【００４６】つまり、３枚以上の画像を入力とする場
合、３次元空間中の同一点であってもステレオ画像対に
よって視差は異なる。したがって奥行きＺを基準として
対応点を探索する。

【００４７】奥行きＺは物体がカメラの前方にあること
から、 Ｚ＞＝０ （１３） である。

【００４８】また、物体が基準面Ｙ＝Ｙ_０ より上方に
存在することから、 Ｙ＝＜Ｙ_０ （１４） である。

【００４９】これと式（２）より、 ｙＺ＝＜ＦＹ_０ （１５） 式（１４），（１５）は図示すると各々、図９（ａ），
（ｂ）の斜線領域になる。これらの共通領域、つまり、
図１０の斜線領域がＺの存在範囲である。式で表現する
と、 Ｚ＝＜Ｚ_ｍａｘ （１６） 但し、

【数８】 であり、これが第１カメラ画像上の点Ｐ（ｘ，ｙ）の奥
行きの存在範囲を示す。

【００５０】求めた奥行きの範囲内で視差を探索する。
下記に処理の概要を示す。

【００５１】（ａ） 第１カメラ画像上の点Ｐ（ｘ，
ｙ）の奥行きをＺと仮定し、式（１），（１０）より、
第２，３カメラ画像上の対応点Ｐ’（ｘ’，ｙ），Ｐ”
（ｘ”，ｙ）を求め、対応点範囲の輝度パターンの類似
度Ｃ（Ｚ）を計算する。

【００５２】（ｂ） 探索範囲（Ｚ＝＜Ｚ_ｍａｘ ）内
の各々の奥行きＺに対してＣ（Ｚ）を計算する。Ｃ
（Ｚ）が最も高くなるＺ”を点Ｐの真の奥行きとする。

【００５３】Ｃ（Ｚ）は例えば下記のように定義する。

【００５４】 Ｃ（Ｚ）＝Ｃ_１ ＋Ｃ_２ （１８） ここでＣ_１ ，Ｃ_２ は各々、点ＰとＰ’、点ＰとＰ”
の範囲の正規化相互相関とする。

【００５５】例えば、このようにすれば３枚以上の画像
を入力とすることができ、対応の曖昧性を減少させるこ
とができる。

【００５６】（変更例１）また、上記実施例では基準面
の方程式が既知であったが、これはステレオ画像から計
算可能であり、計算した基準面の方程式から奥行きの探
索範囲を限定することが可能である。

【００５７】例えば、２台のカメラを用いて基準面上の
２本の線（例えば、道路面上の白線）から基準面の方程
式を算出する方法を以下に示す。

【００５８】図１１に示すように、左画像上の２つの線
をｌ_１ ，ｌ_２ 、各々に対応する右画像ｌ_１ ' ，ｌ
_２ ’とする。

【００５９】ｌ_１ の方程式をｘ＝ａ_１ ｙ＋
ｂ_１ ’、 ｌ_１ ’の方程式をｘ’＝ａ_１ ’ｙ’＋ｂ_１ ’ とすると、これらの線上の点は（ａ_１ ｔ＋ｂ_１ ，
ｔ），（ａ_１ ’ｔ＋ｂ_１ ’，ｔ）と表現できる。

【００６０】但し、ｔは任意のパラメータであり、ま
た、式（１）よりｙ＝ｙ’であることを用いた。式
（１）を用いてこれらの３次元位置（Ｘ，Ｙ，Ｚ）を求
め、基準面の方程式をαＸ＋βＹ＋γＺ＝１に代入する
と、

【数９】 を得る。

【００６１】式（２０），（２１）を（α，β，γ）に
ついて解くと基準面の方程式が決まる。この基準面より
上側（カメラと同じ側）に物体が存在するので、 αＸ＋βＹ＋γＺ＝＜１ （２２） となり、上式から奥行きＺの探索範囲が確定する。

【００６２】この方法により、基準面の方程式が未知で
ある場合や、カメラの振動や傾斜の変化によって基準面
の方程式が時々刻々変化する場合にも奥行きＺの探索範
囲を限定することが可能であり、従来よりも高速かつ高
精度に奥行きを計算することができる。

【００６３】（変更例２）また、基準面をＹ軸に垂直な
平面としたが、曲面を含む一般の面であっても同様に各
点に対する視差範囲を計算することが可能である。

【００６４】（変更例３）また、ステレオカメラと基準
面との関係が既知である場合について説明したが、未知
である場合も同様に適用可能である。

【００６５】この際には、基準面上の特徴、例えば道路
の場合には走行車線を示す複数の線等から基準面の方程
式を算出する。

【００６６】その他、本発明の要旨を逸脱しない範囲で
変形を実施できる。

【００６７】

【発明の効果】本発明であると、例えば、物体が床面や
道路面よりも上方に存在するとして、各画像間の投影位
置、すなわち、視差の探索範囲である拘束条件を小さく
しているので、従来よりも少ない計算コストで対応点を
求めることができる。

【００６８】また、視差の探索範囲が限定されることで
対応の曖昧性も減少するため、従来よりも精度の高い対
応づけが可能である。

【図面の簡単な説明】

【図１】ステレオ視を説明するための図である。

【図２】エピポーラ拘束を説明するための図である。

【図３】本発明の第１の実施例の全体構成図である。

【図４】第１の実施例のステレオカメラと基準面の位置
関係を説明するための図である。

【図５】（ａ）が物体がカメラの前方にあることから導
かれる視差の範囲を説明するための図であり、（ｂ）が
物体が基準面の上方にあることから導かれる視差の範囲
を説明するための図である。

【図６】視差の存在範囲を説明するための図である。

【図７】視差計算する際に用いるウインドウを説明する
ための図である。

【図８】第２の実施例の３台のカメラと基準面の位置関
係を説明するための図である。

【図９】（ａ）が式（１５）から導かれる視差の範囲を
説明するための図であり、（ｂ）が式（１６）から導か
れる視差の範囲を説明するための図である。

【図１０】第２の実施例における視差の存在範囲を説明
するための図である。

【図１１】基準面の方程式を算出する方法を説明するた
めの図である。

【符号の説明】

１ 画像入力部 ２ 画像蓄積部 ３ 視差範囲計算部 ４ 視差計算部 ５ ３元位置計算部 ６ 出力部

Claims (5)

【特許請求の範囲】
1. 【請求項１】３次元空間中の任意の点Ｐを撮影した複数
   枚の画像における前記点Ｐの各画像間の投影位置を求め
   る３次元情報復元装置において、 前記複数枚の画像を入力する画像入力手段と、 前記点Ｐと３次元空間中の基準面との幾何学的関係に基
   づいて、前記点Ｐの各画像における投影位置が存在する
   範囲を限定するための拘束条件を計算する視差範囲計算
   手段と、 前記視差範囲計算手段によって計算された拘束条件に基
   づいて、前記画像入力手段に入力された前記点Ｐの各画
   像への投影位置を計算する視差計算手段と、 を有することを特徴とする３次元情報復元装置。
2. 【請求項２】前記視差範囲計算手段は、 前記基準面を境界とする２つの空間の内、前記点Ｐと前
   記画像入力手段が存在する空間に、前記点Ｐの各画像へ
   の投影位置が存在するように前記拘束条件を限定するこ
   とを特徴とする請求項１記載の３次元情報復元装置。
3. 【請求項３】前記視差範囲計算手段は、 前記画像入力手段に入力された画像における前記基準面
   上の特徴から前記基準面の方程式を計算し、 その計算した基準面の方程式から前記拘束条件を計算す
   ることを特徴とする請求項１，２記載の３次元情報復元
   装置。
4. 【請求項４】３次元空間中の任意の点Ｐを撮影した複数
   枚の画像における前記点Ｐの各画像間の投影位置を求め
   る３次元情報復元方法において、 前記複数枚の画像を入力する画像入力ステップと、 前記点Ｐと３次元空間中の基準面との幾何学的関係に基
   づいて、前記点Ｐの各画像における投影位置が存在する
   範囲を限定するための拘束条件を計算する視差範囲計算
   ステップと、 前記視差範囲計算ステップによって計算された拘束条件
   に基づいて、前記入力された前記点Ｐの各画像への投影
   位置を計算する視差計算ステップと、 を有することを特徴とする３次元情報復元方法。
5. 【請求項５】３次元空間中の任意の点Ｐを撮影した複数
   枚の画像における前記点Ｐの各画像間の投影位置を求め
   る３次元情報復元方法を実現するプログラムを記録した
   記録媒体において、 前記複数枚の画像を入力する画像入力機能と、 前記点Ｐと３次元空間中の基準面との幾何学的関係に基
   づいて、前記点Ｐの各画像における投影位置が存在する
   範囲を限定するための拘束条件を計算する視差範囲計算
   機能と、 前記視差範囲計算機能によって計算された拘束条件に基
   づいて、前記入力された前記点Ｐの各画像への投影位置
   を計算する視差計算機能と、 を実現するプログラムを記録したことを特徴とする３次
   元情報復元方法の記録媒体。