JP2006350897A - 運動計測装置 - Google Patents

Abstract

【課題】単眼の撮像手段以外のその他のセンサを用いることなく、当該装置を備える移動体の運動を高精度に計測すること。
【解決手段】画像分割手段２においては、移動体からある一定距離以内に位置している地面、床面、または路面が写り込む下方領域と、移動体の姿勢を基準とする水平面からある角度以上上方の空間が写り込む上方領域と、これらの下方領域と上方領域との間に位置する中間領域の合計３つの領域に、撮像画像を分割する。特徴点抽出手段３では、入力された各部分画像中からそれぞれ所定の数だけ特徴点（：不動点であることが期待される点）を抽出する。この数を適当に設定することによって、各処理のオーバーヘッドの削減と、移動体の運動の計測精度の向上を両立することができる。また、勿論、上記の所定の数は、各領域毎に偏らない様に設定する。
【選択図】図１

Description

本発明は、移動体に搭載して該移動体の運動を計測する運動計測装置に関する。
この方法は、単眼の撮像手段を有する運動計測装置に大いに有用なものである。

移動体に搭載して該移動体の運動を計測するための装置としては、例えば下記の特許文献１に記載されているものなどが公知である。ここに記載されている従来装置（移動体周辺監視装置）は、一つの移動体の相異なる２時刻間における相対的な位置および姿勢を算定する機能を有するものであり、その算定方法は、ある１つの特定平面上にある４点以上の特徴点を各時刻の画像から抽出し、それらの特徴点を経時的に追跡して、２枚の画像間における各特徴点の運動に基づいて該移動体の運動を求めるものである。即ち、この特許文献１に記載されている従来技術によって移動体の運動を常時把握するためには、同一平面上にある４点以上の特徴点（：同一物上の不動点）を常時検出して、それらの各点を継続的に追跡していく必要がある。

また、下記の特許文献２に記載されている従来装置では、移動体上に搭載された撮像手段から得られた２枚以上の画像から対応点（：同一物上の不動点）を求め、加速度センサ、磁気センサで得られた該移動体の位置姿勢情報から、それらの対応点の拘束条件を算出し、その拘束条件に基づいてそれらの対応関係を修正することによって、該移動体の運動を精度良く算出するものである。
特開２００４−１９８２１１ 特開２００４−７８３１５

しかしながら、特許文献１に記載されている従来技術を用いる場合、得られた画像中に撮像されていることが期待される上記の特定平面に係わる予備知識がない限り、同一平面上にあることが保証された４点以上の特徴点（不動点）を常時検出し続けることは困難である。また、与えられた使用環境において、４点以上の特徴点（不動点）が同一平面上に存在していない場合には、この従来技術を正しく適用することはできない。
したがって、例えば一般道などを走行する自動車などにこの様な従来装置を搭載して、その車両の運動を常時検知しようとする場合などには、この様な従来技術は、実用性に全く欠けるか、または適用可能な使用環境が非常に狭く限定されてしまう。

また、特許文献２に記載されている従来技術では、移動体の運動を高い精度で求めるために、単眼の撮像装置のみでなく、その他のセンサである、例えば加速度センサや磁気センサなどを必要とする。したがって、特許文献２に記載されている従来技術を用いると、コスト面で不利になる。

本発明は、上記の課題を解決するために成されたものであり、その目的は、単眼の撮像手段以外のその他のセンサを用いることなく、当該装置を備える移動体の運動を高精度に計測することである。

上記の課題を解決するためには、以下の手段が有効である。
即ち、本発明の第１の手段は、移動体に搭載してその移動体の運動を計測する運動計測装置において、その移動体の外界の画像を撮像する単眼の画像撮像手段と、この画像撮像手段から取得した画像を複数領域上の各部分画像に分割する画像分割手段と、この画像分割手段により分割された各部分画像からそれぞれ外界中にある不動点の候補とすべき特徴点を抽出する特徴点抽出手段と、取得した上記の画像における特徴点を経時的に追跡する特徴点追跡手段と、この特徴点追跡手段の追跡結果に基づいて、上記の不動点に対する該移動体の運動を推定する運動推定手段とを備えることである。

また、本発明の第２の手段は、上記の第１の手段において、上記の画像分割手段によって、上記の複数領域の各境界線が上記の画像上でそれぞれ水平方向を向く様に、その画像を各部分画像に分割することである。

また、本発明の第３の手段は、上記の第２の手段の画像分割手段において、移動体からある一定距離以内に位置している地面、床面、または路面が写り込む下方領域と、移動体の姿勢を基準とする水平面からある角度以上上方の空間が写り込む上方領域と、これらの下方領域と上方領域との間に位置する中間領域の合計３つの領域から上記の複数領域を構成することである。

また、本発明の第４の手段は、上記の第１乃至第３の何れか１つの手段において、上記の特徴点抽出手段によって、上記の画像分割手段により分割した各部分画像からそれぞれ所定の数だけ特徴点を抽出することである。
ただし、この所定の数としては、所定の範囲内の任意または適当な数を設定する様にしても良い。
以上の本発明の手段により、前記の課題を効果的、或いは合理的に解決することができる。

一般に、移動体上に搭載された撮像手段から随時得られる画像に基づいて、該移動体の運動を推定する際には、それらの画像から特段の制約なしに特徴点を抽出すると、特徴点が検出され易い特徴的な物体などが多く存在する一部の画像領域中に、抽出されるべき特徴点が集中してしまうことがある。また、特徴物が比較的検出され難い例えば地面などの様な被撮像領域中には、抽出されるべき特徴点が少なくなってしまう傾向がある。したがって、その様な場合には、撮像画面内で部分的に偏った特徴点の集合に基づいて、それらの追跡処理を実行しなくてはならなくなる。このため、一般に、画像全体から特段の制約なしに特徴点を抽出すると、必ずしも高い精度で該移動体の運動を求めることはできない。

しかしながら、本発明の第１の手段によれば、画像を複数の領域に分割してから、各領域毎に特徴点を抽出するので、画像全体からバランス良く特徴点を抽出することができる。このため、さまざまな位置にある特徴点に基づいて移動体の運動を推定することができるので、該移動体の運動を高精度に推定することができる。
即ち、本発明の第１の手段によれば、外界を撮像する上記の単眼の画像撮像手段以外のその他のセンサを用いることなく、当該装置を搭載する移動体の運動を高精度に計測することができる。

また、本発明の第２の手段によれば、画像全体からバランス良く特徴点を抽出することが容易または確実となる。また、画像の縦軸の切片座標に基づいて画像の分割が簡潔に行われるので、画像領域の分割処理や分割された各領域の取り扱いや、各特徴点の各領域単位の管理などが簡単になる。このため、求めるべき運動の精度を高く確保することが容易となると同時に、各処理ステップにおける処理オーバーヘッドを効果的に削減することができる。
また、この本発明の第２の手段のより具体的な実施形態としては、例えば上記の本発明の第３の手段などを採用しても良い。例えばこの様な手段を用いれば、画像全体からバランス良く特徴点を抽出することが容易かつ確実となる。

また、本発明の第４の手段によれば、各領域内における特徴点の過不足がなくなるので、求めるべき運動の精度を高く確保することが容易となる。
また、この所定の数としては、所定の範囲内の任意または適当な数を設定する様にしても良い。この様な柔軟な設定をすることによって、特徴が際立っている特徴点が、該領域内において数多く検出される際にはその数を大き目に設定し、逆に特徴が弱い特徴点しか検出できなかった場合などには、その数を最小値に抑えておくなどの最適化を図ることも可能となる。

以下、本発明を具体的な実施例に基づいて説明する。
ただし、本発明の実施形態は、以下に示す個々の実施例に限定されるものではない。

図１に、本実施例１の運動計測装置１００の論理的な基本構造を示す。この運動計測装置１００は、論理的には、画像撮像手段１、画像分割手段２、特徴点抽出手段３、特徴点追跡手段４、及び運動推定手段５の５つの部分から構成されている。
例えば、画像撮像手段１は、単眼のカメラで構成する。また、その次段の画像分割手段２は、この画像撮像手段１から取得した画像を複数領域上の各部分画像に分割する手段で構成されている。

更に次段の特徴点抽出手段３は、上記の画像分割手段２により分割された各部分画像からそれぞれ外界中にある不動点の候補とすべき特徴点を抽出するものである。また、特徴点追跡手段４は、取得した上記の画像における特徴点を経時的に追跡する手段である。また、最後段の運動推定手段５は、この特徴点追跡手段４の追跡結果に基づいて、上記の不動点に対する該移動体の運動を推定するものである。上記の各手段２〜５は、コンピュータのソフトウェアを用いて実現することができる演算処理手段である。

なお、上記の画像分割手段２においては、移動体からある一定距離以内に位置している地面、床面、または路面が写り込む下方領域と、移動体の姿勢を基準とする水平面からある角度以上上方の空間が写り込む上方領域と、これらの下方領域と上方領域との間に位置する中間領域の合計３つの領域に撮像画像を分割する。図２に、撮像された画像の画像分割手段２による分割形態を例示する。この図２では、画像領域上の縦軸をｙ軸とする。即ち、ここでは、水平な直線ｙ＝ｙ１が、上記の上方領域と中間領域との境界線を示しており、水平な直線ｙ＝ｙ２が、上記の下方領域と中間領域との境界線を示している。

図３のハードウェア構成図は、上記の運動計測装置１００のシステム構成を具体的な物理的構成に対応させて書いたものである。上記の運動計測装置１００は、物理的には図中の電子制御ユニット１００Ａと、上記の画像撮像手段１に対応する単眼のカメラ１００Ｂから構成されている。一方、上記の演算処理手段（２，３，４，５などの各手段）は、図中の電子制御ユニット１００Ａによって実現されている。
例えば、ＲＯＭ１０２には、これらの各手段（２，３，４，５）を実現する制御プログラムが格納されている。ＣＰＵ１０１はＲＡＭ１０３が供する記憶領域を制御プログラムのロード領域や作業領域などとして用いる。インターフェイス部１０４は、入出力チャネルなどから成り、例えばカメラ１００Ｂ等との入出力処理に介在する。

図４に、本実施例１の運動計測装置１００の制御手順を例示する。このフローチャートは、目的の運動計測処理を実現するために構成されたものであり、所定の制御プログラムから、所定の周期でサブルーチンコールすることによって実行される。
まず、最初にステップ２１では、図１の画像撮像手段１により取得した該移動体の外界の画像を、図１の画像分割手段２に入力する。

次に、図１の画像分割手段２に対応する次段のステップ２２では、入力された画像を複数の領域に分割する。この時、得られた入力画像は、例えば図２の様にして、画像上段の上方領域と、中段の中間領域と、下段の下方領域の計３つの領域に、予め与えられた定数ｙ１、ｙ２を各領域の境界線（ｙ軸の切片座標）として分割する。３つの領域で分割されたこれらの各部分画像は、その後、それぞれ図１の特徴点抽出手段３に出力される。

次に、特徴点抽出手段３に対応する次段のステップ２３では、入力された各部分画像中からそれぞれ所定の数だけ特徴点（：不動点であることが期待される点）を抽出する。ただし、ここで言う特徴点とは、周囲の点とは区別でき、追跡の容易な点のことである。この様な特徴点は、二次元的に濃淡変化の勾配値が大きくなる画素を検出する、一般的な周知の方法（例えば、Tomasi-Kanade の方法や、Harrisオペレータなど）を用いて自動的に抽出することができる。

なお、上記の所定の数としては、全画像に対して３０点〜３００点程度を想定すると良い。この数を適当に設定することによって、各処理のオーバーヘッドの削減と、移動体の運動の計測精度の向上を両立することができる。また、勿論、上記の所定の数は、本発明の作用を十分に考慮して各領域毎に偏らない様に設定する。
この様に規定されている所定の数だけ各部分画像からそれぞれ特徴点を抽出したら、それらの各画像内座標を図１の特徴点追跡手段４へ出力する。

次に、特徴点追跡手段４に対応する次段のステップ２４では、特徴点抽出手段３で抽出された第一の画像における特徴点と、画像撮像手段１で得られた第一の画像と異なる位置で撮影された第二の画像を入力とし、第一の画像における各特徴点を追跡し、第二の画像での対応する各特徴点をそれぞれ検出する。このとき、２時刻間にて対応する２つの特徴点は同一の不動点であることが期待されているので、第一の画像と第二の画像で対応する点とその周囲の点の輝度は殆ど変化しないという仮定を用い、この仮定に基づいて各特徴点の追跡を行う。この様な追跡処理を実施する際には、例えば、周知のルーカスカナデ法（Lucas-Kanade法）などを用いると良い。
各特徴点の追跡処理の後、第一の画像と第二の画像との間で対応する特徴点の各組の各画像内座標を１つの適当な形式に整理して、運動推定手段５に出力する。

次に、図１の運動推定手段５に対応する次段のステップ２５では、上記の２時刻間で互いに対応する上記の特徴点の組から、２つの撮像時刻間におけるその撮像装置の相対的な位置関係、即ち、当該装置を搭載した移動体のその２時刻間における運動を計算する。
以下、図５を用いて、抽出された特徴点（不動点）と移動体の運動との関係を説明する。移動体の運動は、本図５に示すように第一の画像から第二の画像への回転行列Ｒと並進ベクトルｔから構成されるものである。例えば、第一の画像上の特徴点ｘ１に対応する第二の画像上の特徴点をｘ２とする。これらは同一の不動点を示す点である。この時、カメラの撮像特性に依る画像の歪みを補正するキャリブレーション行列Ｋを用いれば、それらの関係は次式の様に表すことができる。
以下、次式の行列Ｆを基礎行列と呼ぶ。

即ち、上記の２時刻間における８組以上の互いに対応する特徴点の組（即ち、同一の不動点）が求まっていれば、それに基づいて上記の基礎行列Ｆを算出することができる。そして、この時、カメラのキャリブレーション行列Ｋが既知であれば、上記の式からも分かる様に、その２時刻間における移動体の運動、即ち、その２時刻間における該移動体の回転行列Ｒと並進ベクトルｔを求めることができる。
最後に、次段のステップ２６では、ステップ２５で求めた該移動体の回転行列Ｒと並進ベクトルｔを出力する。この出力先は任意で良い。

なお、上記のステップ２１で取得された画像には、画像中に、人、自転車、バイク、自動車などのその他の移動物体が写っている場合が有り得る。また、上記のステップ２４による追跡結果においては、予期せぬ誤対応が検出される場合が有り得る。
したがって、上記の追跡処理によって上記の２時刻間で互いに対応するできるだけ多くの特徴点の組を検出する様にして、それらの各組または多くの組に対して上記の式が成立するような基礎行列Ｆを、例えば、周知または任意のロバスト推定手法を用いて求める様にすることがより望ましい。この様なロバスト推定手法としては、例えば周知のRANSAC法（Random Sampling Consensus 法) などが有効である。

また、決定した運動に従わない特徴点の組については、例外値として取り除くと良い。これによって、移動体の運動の計測精度をより向上させることができる。
また、さらに推定精度を向上させるためには、例えば、例外値を除いた特徴点の組のみを用いて、誤差を最小化する周知または任意の最適化技法を適用して、移動体の運動を計算する様にしても良い。その様な最適化技法としては、例えば、周知のリーベンバーグ・マルカード法（Levenberg-Marquardt 法）などを用いることができる。

これらの高精度化技法を適当に組み合わせることによって、オーバーヘッドが小さく測定精度の高い運動計測装置を実現することができる。
また、本発明に用いるセンサは、単眼のカメラ（画像撮像手段）で十分であるので、例えば自動車のバックモニタ用のＣＣＤカメラなどを兼用すれば、コスト面で非常に有利なハードウェア構成を実現することも可能となる。また、勿論これらの画像撮像手段の搭載箇所は、任意の移動体上の任意の部位で良い。

なお、図２の各領域の境界線のｙ軸座標、即ち、上記のｙ１、ｙ２の各切片座標は、任意に適当に調整することができる定数であるが、例えば図６に例示される様に、光軸が画像投影面と交わる点のｙ軸座標（画像の縦方向の座標）をｙ０とし、画像の焦点距離をｆとすると、以下の式（１）に従って算出することができる。
（各領域の境界線のｙ軸座標）
ｙ１＝ｙ０−ｆ× tan（θ＋φ) ，
ｙ２＝ｙ０＋ｆ× tan｛tan(ｈ／ｄＴ）−φ｝ …（１）

ただし、この図６は、画像上の切片座標ｙ１，ｙ２を決定する方式を例示するものであり、ここで高さｈは水平な路面平面からの撮像装置までの高さを表している。また、本図６の角θは水平面から測った光軸の伏せ角であり、角φは画像投影面上の水平な直線ｙ＝ｙ１をカメラ視点から見上げた時の水平面から測ったその見上げ角であり、距離ｄＴは上記の下方領域中に写り込む路面の最大距離である。ただし、この路面の長さは、カメラ視点の直下に位置する路面上の点から、カメラの光軸を路面に正射影したときのその射影に沿って測るものとする。

〔その他の変形例〕
本発明の実施形態は、上記の形態に限定されるものではなく、その他にも以下に例示される様な変形を行っても良い。この様な変形や応用によっても、本発明の作用に基づいて本発明の効果を得ることができる。
（変形例１）
例えば、上記の実施例では、図３に例示した様に、画像撮像手段（カメラ１００Ｂ）とその他の演算手段（電子制御ユニット１００Ａ）とを両方同一の移動体上に搭載する実施形態としたが、画像撮像手段（カメラ１００Ｂ）とその他の演算手段（電子制御ユニット１００Ａ）とは、無線または有線でつないでも良い。勿論この場合には、少なくとも画像撮像手段の側を運動計測対象とすべき移動体に搭載する。

本発明の運動計測装置は、任意の移動体上に搭載することによって、その移動体の運動を計測するのに用いることができるものであるから、少なくとも画像撮像手段を人や動物やロボットや玩具や、或いはラジコンの飛行機やヘリコプターなどに固定することによっても、それらの移動物の運動を計測することが可能となる。即ち、本発明の運動計測装置の一部を構成する画像撮像手段の搭載対象は、移動物であれば任意でよく、その搭載場所も任意で良い。

運動計測装置１００の論理的な基本構造を示す制御ブロック図 撮像された画像の分割形態を例示するグラフ 運動計測装置１００の物理的な基本構造を示すハードウェア構成図 運動計測装置１００の制御手順を例示するゼネラルフローチャート 抽出された特徴点（不動点）と移動体の運動との関係を説明する概念図 画像上の切片座標ｙ１，ｙ２を決定する方式を例示する説明図

符号の説明

１００ ： 運動計測装置
１００Ａ： 電子制御ユニット
１００Ｂ： カメラ
Ｆ ： 基礎行列
Ｋ ： キャリブレーション行列
Ｒ ： 回転行列
ｔ ： 並進ベクトル

Claims (4)

1. 移動体に搭載して該移動体の運動を計測する運動計測装置において、
   前記移動体の外界の画像を撮像する単眼の画像撮像手段と、
   前記画像撮像手段から取得した前記画像を複数領域上の各部分画像に分割する画像分割手段と、
   前記画像分割手段により分割された前記各部分画像からそれぞれ、前記外界中にある不動点の候補とすべき特徴点を抽出する特徴点抽出手段と、
   前記画像における前記特徴点を経時的に追跡する特徴点追跡手段と、
   前記特徴点追跡手段の追跡結果に基づいて、前記不動点に対する前記移動体の運動を推定する運動推定手段と
   を備える
   ことを特徴とする運動計測装置。
2. 前記画像分割手段は、
   前記複数領域の各境界線が前記画像上でそれぞれ水平方向を向く様に、前記画像を前記各部分画像に分割する
   ことを特徴とする請求項１に記載の運動計測装置。
3. 前記画像分割手段は、前記複数領域を
   前記移動体からある一定距離以内に位置している地面、床面、または路面が写り込む下方領域と、
   前記移動体の姿勢を基準とする水平面からある角度以上上方の空間が写り込む上方領域と、
   前記下方領域と前記上方領域との間に位置する中間領域
   の合計３つの領域から構成する
   ことを特徴とする請求項２に記載の運動計測装置。
4. 前記特徴点抽出手段は、
   前記画像分割手段により分割した前記各部分画像から、それぞれ所定の数だけ前記特徴点を抽出する
   ことを特徴とする請求項１乃至請求項３の何れか１項に記載の運動計測装置。