JP2001084383A

JP2001084383A - 移動検出方法

Info

Publication number: JP2001084383A
Application number: JP25579399A
Authority: JP
Inventors: Satoshi Kagami; 聡加賀美; Masayuki Inaba; 雅幸稲葉; Hironobu Inoue; 博允井上
Original assignee: University of Tokyo NUC
Current assignee: University of Tokyo NUC
Priority date: 1999-09-09
Filing date: 1999-09-09
Publication date: 2001-03-30

Abstract

(57)【要約】【課題】運動中のロボットに搭載されたカメラから、他
の運動物体を計測可能とする三次元オプティカルフロー
を定義し、距離画像生成とオプティカルフロー生成とを
組み合わせることにより、得られた画像中の各点の三次
元的な移動を検出する移動検出方法を提供することを目
的とする。【解決手段】時刻Ｔ１及びＴ２において、右目用カメラ
及び左目用カメラからの入力画像Ｌ１、Ｒ１、Ｌ２、Ｒ
２をそれぞれ得る。そして、時刻Ｔ１及びＴ２におい
て、同一時刻の入力画像Ｌ１−Ｒ１、及びＬ２−Ｒ２に
基づいてそれぞれの距離画像を生成する。そして、時刻
Ｔ１からＴ２に至る同一カメラからの入力画像Ｌ１−Ｌ
２に基づいて二次元オプティカルフローを生成する。そ
して、時刻Ｔ１及びＴ２における距離画像と、二次元オ
プティカルフローに基づいて三次元オプティカルフロー
Ｖを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、移動検出方法に
係り、特に、運動中のロボットに搭載されたカメラから
他の移動する物体の三次元的な動きを計測することを可
能とする三次元オプティカルフローに関する。

【０００２】

【従来の技術】実世界を行動するロボットにとって、環
境を立体的に知覚する三次元視覚機能は、本質的に重要
である。ロボットに搭載したカメラから環境を観察しな
がら、ロボット自身が移動するようなアプリケーション
においては、運動中に他の移動物体を発見・計測する機
能が重要となる。

【０００３】例えば、人間が歩行する環境を移動するロ
ボットや、人間と直接触れ合う福祉介護ロボット、ま
た、歩行時の振動が問題となる脚型移動ロボットにとっ
て、運動中の他の移動物体の発見、及び、計測機能は欠
かすことのできない機能といえる。これまで、視覚を用
いたロボットの研究が数多く行われてきているが、行動
中に他の移動物体を発見・計測可能な機能の研究はほと
んど行われていない。

【０００４】

【発明が解決しようとする課題】近年、さまざまな距離
画像生成の研究が画像処理の分野において行われ、特
に、画像中を中密に相関演算を計算する際に存在する計
算冗長性を取り除く再帰相関演算アルゴリズムは、実時
間距離画像の生成を可能とし、優れた性能を示す実時間
距離画像生成システムの研究が行われている。

【０００５】しかしながら、多くの距離画像生成の研究
は、精度よく対象のデータを取得するという点に集中し
ており、距離画像をもとに移動中に他の物体を検出する
という問題にはモデリングや対応点検出が問題となり、
単純には利用することができない。

【０００６】この発明は、上述した問題点に鑑みなされ
たものであって、その目的は、運動中のロボットに搭載
されたカメラから、他の運動物体を計測可能とする三次
元オプティカルフローを定義し、距離画像生成とオプテ
ィカルフロー生成とを組み合わせることにより、得られ
た画像中の各点の三次元的な移動を検出する移動検出方
法を提供することにある。

【０００７】

【課題を解決するための手段】上記課題を解決し目的を
達成するために、請求項１に記載の移動検出方法は、所
定の間隔をおいて配置された複数のカメラから得られた
入力画像に基づいて、対象物とカメラとの相対的な三次
元的な移動を検出する方法において、時刻Ｔ１における
第１のカメラ及び第２のカメラからそれぞれ得られた入
力画像に基づいて第１の距離画像を生成する第１工程
と、時刻Ｔ２における第１のカメラ及び第２のカメラか
らそれぞれ得られた入力画像に基づいて第２の距離画像
を生成する第２工程と、時刻Ｔ１及びＴ２における同一
のカメラからそれぞれ得られた入力画像に基づいて二次
元オプティカルフローを生成する第３工程と、前記第１
及び第２の距離画像と前記二次元オプティカルフローと
に基づいて、三次元オプティカルフローを生成する第４
工程と、を備えたことを特徴とする。

【０００８】

【発明の実施の形態】以下、この発明の移動検出方法の
一実施の形態について図面を参照して説明する。

【０００９】この移動検出方法は、例えば人間を発見可
能なヒューマンインターフェースや、ロボット行動用視
覚などに適用され、運動中のロボットなどに搭載された
カメラから得られた画像中の各点の三次元的な移動を検
出する三次元オプティカルフローを生成するものであ
る。これにより、カメラが運動中に、自身の運動と、空
間内の三次元運動とを同時に観測することが可能とな
り、カメラを搭載したロボットなどに対して、自身の運
動中に動環境を認識するための情報を提供することが可
能となる。

【００１０】二次元のいわゆるオプティカルフローは、
外界の三次元的な動きの画面への投影であると定義さ
れ、多くの場合は、１つのカメラから得られた連続する
２つの画像中の各点の対応点を探索することによって生
成される。

【００１１】この発明に適用される三次元オプティカル
フローは、三次元的な動きのうちで画面に投影された各
点の三次元的な移動ベクトルの集合と定義し、ステレオ
カメラ、すなわち所定間隔の位置関係にある少なくとも
２つのカメラからそれぞれ得られた連続する２つの画像
中の各点の対応点を探索し、各点の三次元移動ベクトル
を求めることによって生成することができる。

【００１２】三次元オプティカルフローは、以下のよう
なシステムによって求めることができる。すなわち、こ
のシステムは、図１に示すように、ステレオカメラを構
成する右目用カメラ（第１のカメラ）ＲＣ及び左目用カ
メラ（第２のカメラ）ＬＣと、右目用カメラＲＣ及び左
目用カメラＬＣから入力されたそれぞれの入力画像に対
してＡ／Ｄ変換などの処理を施す入力処理部１及び２
と、同時刻に右目用カメラＲＣ及び左目用カメラＬＣか
らそれぞれ得られた入力画像に基づいて距離画像を生成
する距離画像生成部３と、時刻Ｔ１及びＴ２において一
方のカメラ、例えば左目用カメラＬＣから得られた入力
画像に基づいて二次元のオプティカルフローを生成する
二次元オプティカルフロー生成部４と、時刻Ｔ１及びＴ
２において生成された距離画像及び二次元オプティカル
フローに基づいて三次元オプティカルフローを生成する
三次元オプティカルフロー生成部５と、からなる。

【００１３】このようなシステムにおいて、三次元オプ
ティカルフローは、以下のようにして求められる。

【００１４】（１）まず、図２に示すように、時刻Ｔ１
において、右目用カメラＲＣ及び左目用カメラＬＣから
それぞれ入力画像Ｒ１及びＬ１を得る。また、時刻Ｔ２
において、右目用カメラＲＣ及び左目用カメラＬＣから
それぞれ入力画像Ｒ２及びＬ２を得る。

【００１５】（２）続いて、得られた入力画像Ｒ１及び
Ｌ１に基づいて、時刻Ｔ１における距離画像を生成し、
得られた入力画像Ｒ２及びＬ２に基づいて、時刻Ｔ２に
おける距離画像を生成する。

【００１６】ステレオ視による距離画像生成は、同時刻
にそれぞれのカメラＲＣ及びＬＣから得られた入力画像
Ｌ１−Ｒ１、または、Ｌ２−Ｒ２中の各点で対応点を計
算することによって探索し、そこから三角法によって両
カメラの視差を計算し、これらの視差の基づいて画面の
奥行き方向の視差画像を生成することに相当する。つま
り、同時刻の二つの二次元的な入力画像に基づいて、三
次元的な距離画像を生成する。

【００１７】この距離画像の生成方法の一例について説
明する。

【００１８】距離画像は、主に、エッジなどの特徴をマ
ッチングする手法や、局所領域をマッチングする手法な
どによって生成される。この実施の形態では、局所領域
をマッチングする方法によって距離画像を生成する方法
について説明する。なお、左右の入力画像で対応する領
域は、基本的に視差分しか離れていないと仮定し、探索
範囲を拘束する。

【００１９】まず、入力画像のノイズ除去、正規化など
の前処理を行う。そして、各小領域に対して可能な視差
の範囲で対応する各小領域毎に相関演算を行う。つま
り、各小領域の対応を計算するためには、局所領域の相
関値を求める一次元再帰相関演算を行う。そして、求め
られた相関値に基づいて、右目用カメラＲＣ及び左目用
カメラＬＣからの入力画像中の各点の対応点を探索し、
それらの中から適切な視差を選択する。そして、サブピ
クセルレベルで視差を推測する。このような方法によ
り、距離画像を生成する。

【００２０】再帰相関演算を用いることによって、距離
画像を高速に生成することが可能となる。

【００２１】この距離画像は、入力画像中の各点の三次
元ベクトルの集合に相当し、時刻Ｔ１における距離画像
中の各点の三次元ベクトル、及び、時刻Ｔ２における距
離画像中の各点の三次元ベクトルを定義することができ
る。もちろん、このとき、時刻Ｔ１における距離画像中
の各点の三次元ベクトルには、距離画像中の点Ａの三次
元ベクトルＤ１が含まれ、時刻Ｔ２における距離画像中
の各点の三次元ベクトルには、距離画像中の点Ａの三次
元ベクトルＤ２が含まる。

【００２２】（３）続いて、時刻Ｔ１及びＴ２におい
て、例えば左目用カメラからそれぞれ得られた入力画像
に基づいて、二次元のオプティカルフローを生成する。
二次元のオプティカルフロー生成は、入力画像中の各点
のカメラに対する運動の画面への射影として与えられ
る。これにより、画像中の各点が、どこに移動したかを
判別することができる。すなわち、図２に示した例で
は、時刻Ｔ１における入力画像Ｌ１中の各点の対応点
を、時刻Ｔ２における入力画像Ｌ２中から探索すること
により、例えば時刻Ｔ１における点Ａが、時刻Ｔ２にお
ける入力画像Ｌ２中のどこに移動したかを判別する。

【００２３】この二次元のオプティカルフローの生成方
法の一例について説明する。

【００２４】二次元のオプティカルフローは、主に、勾
配法、相関法、エネルギ法、位相法などによって生成さ
れが、この実施の形態では、計算の高速性を考慮して、
相関法が適用されている。

【００２５】ここでは、二次元のオプティカルフローを
計算するために、距離画像を高速に計算する手法と同様
の再帰相関演算法を二次元に拡張した二次元再帰相関演
算アルゴリズムが用いられている。そして、求められた
相関値に基づいて、時刻Ｔ１及びＴ２における左目用カ
メラＬＣからの入力画像中の各点の対応点を探索し、各
点のオプティカルフローを生成する。

【００２６】このように再帰相関演算アルゴリズムを用
いることによって、二次元のオプティカルフローを生成
するための相関演算の計算量を低減し、高速化が可能と
なる。

【００２７】これにより、時刻Ｔ１における点Ａの三次
元ベクトルＤ１と、時刻Ｔ２における点Ａの三次元ベク
トルＤ２とを関連付けることが可能となる。

【００２８】（４）続いて、時刻Ｔ１における距離画
像、時刻Ｔ２における距離画像、及び、時刻Ｔ１及びＴ
２の入力画像に基づく二次元のオプティカルフローに基
づいて、三次元の移動ベクトルを求め、入力画像中の各
点の三次元オプティカルフローを求める。すなわち、三
次元オプティカルフローＶは、ベクトルＤ２からベクト
ルＤ１の差を取ることで計算される。

【００２９】上述したように、この発明の移動検出方法
によれば、三次元のオプティカルフローを定義し、時刻
Ｔ１及びＴ２におけるそれぞれの距離画像生成と、時刻
Ｔ１からＴ２に至る対象点のオプティカルフロー生成と
を組み合わせることにより、例えカメラを搭載したロボ
ットが運動中であっても、対象物を撮影した入力画像に
基づいて、入力画像の各点での三次元移動ベクトルを直
接計測し、対象物とロボットとの相対的な三次元運動を
観測することが可能となる。また、距離画像生成、及び
二次元オプティカルフロー生成を、画像中を中密に相関
演算する際に存在する計算冗長性を排除した再帰相関演
算法を用いて計算することにより、高速化が可能とな
る。

【００３０】この三次元オプティカルフローは、人間の
生活する実世界で行動するロボットが環境を認識するた
めの強力な機能となり得る。

【００３１】上述した実施の形態では、時刻Ｔ１及びＴ
２において距離画像を生成し、これらの距離画像間で二
次元オプティカルフローを生成して対応点を探索し、各
点の三次元移動ベクトルを求めることによって三次元オ
プティカルフローを生成したが、実際には、距離画像及
び二次元オプティカルフローともにオクリュージョン領
域すなわち隠れ領域の問題を含んでいる。すなわち、右
目用カメラ及び左目用カメラからのそれぞれの入力画像
の一方のみに存在する領域、あるいは、時刻Ｔ１及び時
刻Ｔ２におけるそれぞれの入力画像の一方のみに存在す
る領域を確実に検出することが重要である。また、相関
演算をもとに計算を行った場合、誤対応領域を確実に検
出することが重要である。

【００３２】ここでは、画像処理の分野で知られている
一貫性評価法を時空間に拡張することにより、三次元オ
プティカルフローの矛盾性を評価し、誤対応や、オクリ
ュージョン領域を検出する方法について説明する。

【００３３】すなわち、距離画像生成、オプティカルフ
ロー生成は、原理的にオクリュージョン領域の問題を含
んでいる。相関演算の結果からは、最も相関が高い領域
の場所が得られるのみで、オクリュージョン領域のよう
に対応点が存在しなかったり、領域中の特徴量が少ない
ために、対応点が検出できない場合が存在する。したが
って、相関演算の結果は、信頼できるかどうか判断でき
ない。

【００３４】この問題を解決するために、上述した再帰
相関演算法の計算中に信頼性の判定が可能である。

【００３５】ここでは、まず、距離画像生成の空間一貫
性評価法について説明する。

【００３６】空間一貫性評価法は、右目用カメラ及び左
目用カメラからのそれぞれの入力画像のうち、一方の入
力画像の点に対応する他方の入力画像上の点からの対応
点が、最初の点にある範囲で一致する場合のみ、その対
応が信頼できるとするものである。この方法により、対
応点が取れない場所が区別できるようになる。このアル
ゴリズムは、以下に示す通りである。

【００３７】まず、右画像Ｒ１（またはＲ２）、すなわ
ち右目用カメラＲＣからの入力画像中の局所領域を参照
領域（領域１）とし、左画像Ｌ１（またはＬ２）、すな
わち左目用カメラＬＣからの入力画像中を探索し、最も
相関の高い局所領域を領域１に対応する領域（領域２）
とする。

【００３８】そして、領域２を参照領域とし、右画像Ｒ
１（またはＲ２）中を探索し、最も相関の高い局所領域
を領域２に対応する領域（領域３）とする。

【００３９】そして、領域１と領域３とが同じ局所領域
であれば、領域１と領域２とは左右画像中の対応する領
域であると判定できる。

【００４０】次に、二次元オプティカルフローの時間一
貫性評価法について説明する。

【００４１】上述した空間一貫性評価法と同様に、二次
元のオプティカルフローを計算する際にも、空間的な左
右の画像の代わりに、時間的に前後の入力画像Ｌ１及び
Ｌ２（またはＲ１及びＲ２）に対して一貫性の評価を行
うことができる。

【００４２】次に、三次元オプティカルフローの時空間
一貫性評価法について説明する。

【００４３】三次元のオプティカルフローを計算するた
めには、２枚の距離画像と１枚の二次元オプティカルフ
ロー画像が必要であるが、二次元オプティカルフロー画
像を左右の入力画像で計算することにより、上述した一
貫性評価法を時空間に拡張した誤対応領域の検出が可能
となる。具体的には、図２に示した入力画像Ｌ２と入力
画像Ｒ２との間で一貫性の評価を行った後、以下順に、
入力画像Ｒ２と入力画像Ｒ１との間、入力画像Ｒ１と入
力画像Ｌ１との間、そして、入力画像Ｌ１と入力画像Ｌ
２との間で同様に一貫性の評価を行う。そして、入力画
像Ｌ２の局所領域と、入力画像Ｌ１の局所領域とが一致
すれば、信頼性の高い時空間的に対応する領域であると
判定できる。

【００４４】上述したように、三次元オプティカルフロ
ーを生成する際に、矛盾性の評価を組み合わせることに
より、誤対応を排除することが可能となり、より信頼性
を向上することが可能となる。

【００４５】

【発明の効果】以上説明したように、この発明によれ
ば、運動中のロボットに搭載されたカメラから、他の運
動物体を計測可能とする三次元オプティカルフローを定
義し、距離画像生成とオプティカルフロー生成とを組み
合わせることにより、得られた画像中の各点の三次元的
な移動を検出する移動検出方法を提供することが可能と
なる。

【図面の簡単な説明】

【図１】図１は、この発明の移動検出方法に適用される
三次元オプティカルフローの生成システムを概略的に示
すブロック図である。

【図２】図２は、三次元オプティカルフローの生成方法
を説明するための概念図である。

【符号の説明】

ＲＣ…右目用カメラＬＣ…左目用カメラ１、２…入力処理部３…距離画像生成部４…二次元オプティカルフロー生成部５…三次元オプティカルフロー生成部Ｄ１、Ｄ２…三次元ベクトルＶ…三次元移動ベクトル

フロントページの続きＦターム(参考） 5B057 AA05 BA02 CA13 CB13 CE02 DA07 DB03 DC30 DC34 5C054 CC03 FC13 FD01 HA04 5C061 AB04 AB08 5L096 BA05 CA05 EA05 EA11 FA34 FA66 HA04 JA11

Claims

【特許請求の範囲】

【請求項１】所定の間隔をおいて配置された複数のカメ
ラから得られた入力画像に基づいて、対象物とカメラと
の相対的な三次元的な移動を検出する方法において、時刻Ｔ１における第１のカメラ及び第２のカメラからそ
れぞれ得られた入力画像に基づいて第１の距離画像を生
成する第１工程と、時刻Ｔ２における第１のカメラ及び第２のカメラからそ
れぞれ得られた入力画像に基づいて第２の距離画像を生
成する第２工程と、時刻Ｔ１及びＴ２における同一のカメラからそれぞれ得
られた入力画像に基づいて二次元オプティカルフローを
生成する第３工程と、前記第１及び第２の距離画像と前記二次元オプティカル
フローとに基づいて、三次元オプティカルフローを生成
する第４工程と、を備えたことを特徴とする移動検出方法。
【請求項２】前記第１及び第２工程でそれぞれ生成され
る第１及び第２の距離画像は、第１及び第２のカメラか
らそれぞれ得られた入力画像から三角法によって計算さ
れた両カメラの視差に基づく画面の奥行き方向の視差画
像に相当することを特徴とする請求項１に記載の移動検
出方法。
【請求項３】前記第１及び第２の距離画像は、同一時刻
に第１及び第２のカメラからそれぞれ得られた入力画像
中の各点での対応点を求めることによって生成されるこ
とを特徴とする請求項１に記載の移動検出方法。
【請求項４】前記二次元オプティカルフローは、時刻Ｔ
１及びＴ２における同一のカメラからそれぞれ得られた
入力画像中の各点での対応点を求めることによって生成
されることを特徴とする請求項１に記載の移動検出方
法。
【請求項５】前記三次元オプティカルフローは、同一時
刻に第１及び第２のカメラからそれぞれ得られた入力画
像中の各点での対応点を求めることによって各点の三次
元ベクトルを生成し、時刻Ｔ１及びＴ２における同一の
カメラからそれぞれ得られた入力画像中の各点での対応
点を求めることによって各点の三次元ベクトルを関連付
け、関連付けられた三次元ベクトルの差分によって求め
られた各点の三次元移動ベクトルの集合であることによ
って生成されることを特徴とする請求項１に記載の移動
検出方法。
【請求項６】前記第１及び第２の距離画像は、それぞ
れ、時刻Ｔ１及びＴ２において、一次元再帰相関演算に
よってそれぞれのカメラから得られた入力画像間での対
応点を探索する計算を行うことによって生成されること
を特徴とする請求項１に記載の移動検出方法。
【請求項７】前記二次元オプティカルフローは、二次元
再帰相関演算によって同一のカメラからそれぞれ時刻Ｔ
１及びＴ２に得られた入力画像間での対応点を探索する
計算を行うことによって生成されることを特徴とする請
求項１に記載の移動検出方法。
【請求項８】前記第１乃至第４工程では、２つの画像間
において対応点を求める際に隠れ領域が検出されること
を特徴とする請求項１に記載の移動検出方法。
【請求項９】２つの画像間での前記隠れ領域の検出は、一方の画像中の第１の局所領域を参照領域とし、他方の
画像中を探索して最も相関の高い第２の局所領域を検出
し、前記第２の局所領域を参照領域とし、一方の画像中を探
索して最も相関の高い第３の局所領域を検出し、前記第１の局所領域と前記第３の局所領域とが同じであ
るか否かを判定することによって成されることを特徴と
する請求項６に記載の移動検出方法。