JP2012529012A5 - - Google Patents

Description

本発明は、その１つの形状で、第１のモバイルユニットが表面を横断する間に、二次元の特徴点（ｆｅａｔｕｒｅ）のマップを作成するために第１のモバイルユニットを使用する工程を含むマッピング方法を含む。特徴点の三次元位置はマッピング中に検知される。三次元マップは、特徴点の三次元位置と二次元の特徴点のマップとの間の関連性を含むように作成される。三次元マップは第１のモバイルユニットから第２のモバイルユニットに提供される。第２のモバイルユニットは、第２のモバイルユニットが表面を横断する間に、二次元の特徴点のマップを作成するために使用される。第２のモバイルユニットによってマッピングされた二次元の特徴点の三次元位置は、第２のモバイルユニット内で、かつ、三次元マップを使用することにより測定される。

本発明は、別の形状で、第１のモバイルユニットが表面を横断する間に、二次元の特徴点のマップを作成するために第１の強度フィールドセンサーを有する第１のモバイルユニットを含むマッピング装置（ｍａｐｐｉｎｇ ａｒｒａｎｇｅｍｅｎｔ）を含む。三次元位置検出装置は、強度フィールドセンサーによってマッピングする間に特徴点の三次元位置を検知する。プロセッサーは強度フィールドセンサーと三次元位置検出装置の両方と通信している。プロセッサーは、特徴点の三次元位置と二次元の特徴のマップとの関連性を含む三次元マップを作成する。送信装置はプロセッサーと通信しており、三次元マップを送信する。第２のモバイルユニットは、第１のモバイルユニットから三次元マップを受け取るための受け取り装置を含む。第２のモバイルユニットが表面を横断する間に、第２の強度フィールドセンサーは二次元の特徴点のマップを作成する。プロセッサーは、強度フィールドセンサーと受け取り装置の両方と通信している。プロセッサーは、第２のモバイルユニットによってマッピングされた二次元の特徴点の三次元位置を測定する。三次元位置の測定は、第２のモバイルユニット内で、かつ、三次元マップを使用することによって行なわれる。

本発明は、さらに別の形状で、車道の二次元の特徴点のマップを作成する工程を含むマッピング方法を含む。特徴点の三次元位置はマッピング中に検知される。車道のグローバルな位置座標が測定される。三次元マップは、特徴点の三次元位置、二次元の特徴点のマップ、および、グローバルな位置座標の間の関連性を含むように作成される。三次元マップは自動車に提供される。自動車は、車道を横断する間に、二次元の特徴点のマップを作成するために使用される。自動車が車道を横断する間に、自動車のグローバルな位置座標が追跡される。車両のグローバルな位置座標は、三次元マップに関連するグローバルな位置座標に一致する。一致したグローバルな位置座標に関連する二次元の特徴点も一致する。車両と、車両によってマッピングされた二次元の特徴点の間の距離は、車両内部で、かつ、一致した二次元の特徴点に関連する三次元位置を使用することによって測定される。

本発明の特徴点を結合する工程によれば、二次元の強度フィールドセンサー（２０）は三次元センサー（１８）に位置合わせされる。したがって、例えば、ＳＩＦＴを介して得られたような追加の特徴点が、記録され、その三次元位置に関連付けられ、マップ中に保存される。これらの追加の特徴点は安価なカメラシステムによってさえ検知するのが簡単である。

本発明のマッピング工程で三次元位置に関連付けられるロバスト二次元強度特徴点の一例が図３で示される。図３では、小さな「ｘ」は、その三次元位置に関連付けられてマップ中に保存される特徴点を表示する。一般的には、図３で示されるよりも非常に多くの特徴点が関連付けられて保存される。しかしながら、説明を明瞭なものとするために、図３では少数の特徴点が表示されている。

現在のグローバルな地理座標にほぼ対応する３Ｄマップを受け取ったため、車両（１４）のプロセッサー（１２２）は、強度フィールドセンサー（１２０）によって集められたデータを、受け取った３Ｄマップ中の二次元データとマッチングさせる。例えば、プロセッサー（１２２）は、データ点（３３４）（図３）などのデータ点またはデータ点（３３４）を含むデータ点の群を、強度フィールドセンサー（１２０）によって集められたデータ点またはデータ点の群とマッチングさせるために、エッジ検出または他の画像処理技術を使用する。もっと一般的には、プロセッサー（１２２）は、強度フィールドセンサー（１２０）によって集められたデータ点の群を、受け取った３Ｄマップ中の二次元データ点の群とマッチングさせる。強度フィールドセンサー（１２０）によって３Ｄマップ中で集められたデータ点の群をマッチングさせたため、プロセッサー（１２２）は、強度フィールドセンサー（１２０）によって３Ｄマップ中で集められたさらに少ないデータ点の群、または、個々のデータ点すらもマッチングさせることもある。

１つの実施形態では、玄関を掃除する電気掃除機は、図４に示される玄関の二次元画像データを集める強度フィールドセンサーを含む。電気掃除機の現在の位置を測定するためにＧＰＳを使用するのではなく、電気掃除機のプロセッサーは、電気掃除機が確認するとともに通過する最後の目印に対する自らの位置を追跡する。例えば、電気掃除機のホイールは、ステッピングモーターによって駆動され、プロセッサーは、すぐに前の目印が検知されてからのステッピングモーターの回転数を追跡する。ステッピングモーターのこの回転数は、集められた対応する二次元画像データに関連して保存される。

本発明のマッピング方法（５００）の１つの実施形態が図５で示される。第１の工程（５０２）では、第１のモバイルユニットは、表面を横断する間に、二次元の特徴点のマップを作成するために使用される。例えば、車両（１２）（図１）の形状をしたモバイルユニットは、車両（１２）が車道（２１７）を横断する間に、図２ａに示される二次元の特徴点のマップを作成する強度フィールドセンサー（２０）を含む。

第２の工程（５０４）では、この特徴点の三次元位置が検知され、この検知はマッピング中に発生する。例えば、車両（１２）は、３Ｄセンサー（１８）のような三次元センサーを含み、この３Ｄセンサー（１８）は、強度フィールドセンサー（２０）によって行なわれるマッピングの間に、特徴点と車両（１２）との間の距離を検知する。

工程（５０６）では、三次元マップは、特徴点の三次元位置と二次元の特徴点のマップとの間の関連性を含むように作成される。例えば、図２ｂに示されたような三次元マップが作成され、マッピングは、図２ａのデータ点（２２８）の各々と二次元マップ中のそれぞれの点との間の保存された関連性を含む。例えば、図２ｂの三次元マップにおけるデータ点（２２８_１）の三次元位置は図２ａの二次元マップの点（２２８_２）に関連して保存される。

次に、工程（５１０）では、第２のモバイルユニットは、表面を横断する間に、二次元の特徴点のマップを作成するために使用される。図１の実施形態では、車両（１４）は、車道（２１７）の二次元の特徴点のマップを作成するために強度フィールドセンサー（１２０）を含み、これによって車両（１４）が車道（２１７）上を移動している間に、図２ａで示されるマップに似たマップを作成する。

最終工程（５１２）では、第２のモバイルユニットによって作成された二次元の特徴点の三次元位置は、第２のモバイルユニット内で、かつ、三次元マップを使用することによって測定される。例えば、車両（１４）のプロセッサー（１２２）は、車両（１４）がマッピングした二次元の特徴点と受け取った三次元マップ中に含まれる二次元の特徴点をマッチングさせる。そのようなマッチングは、エッジ検出または他の画像処理アルゴリズムを利用して行われる。三次元マップ中で対応する二次元の特徴点を見つけた後に、車両（１４）は、車両（１４）によってマッピングされた一致する２Ｄ特徴点の三次元位置の代理として、三次元マップ中に提供されるような、マッチングする２Ｄ特徴点の三次元位置を使用する。

本発明のマッピング方法（６００）の別の実施形態が図６で示される。第１の工程（６０２）では、車道の二次元の特徴点のマップが作成される。例えば、車両（１２）（図１）は、車道（２１７）を横断する間に、図２ａに示される二次元の特徴点のマップを作成する強度フィールドセンサー（２０）を含む。

第２の工程（６０４）では、特徴点の三次元位置はマッピング中に検知される。例えば、車両（１２）は、３Ｄセンサー（１８）のような三次元センサーを含み、この３Ｄセンサー（１８）は、強度フィールドセンサー（２０）によって行われるマッピングの間に特徴点と車両（１２）との間の距離を検知する。

次の工程（６０８）では、三次元マップは、特徴点の三次元位置、二次元の特徴点のマップ、および、グローバルな位置座標との間の関連性を含むように作成される。例えば、図２ｂに示されたような三次元マップが作成され、該マッピングは、データ点（２２８）の各々、図２ａの二次元マップ上のそれぞれの点、および、該点のＧＰＳ座標間の保存された関連性を含む。例えば、図２ｂの三次元マップ中のデータ点（２２８_１）の三次元位置は、図２ａの二次元マップの特徴（２２８_２）と、ＧＰＳモジュール（２６）によって測定されるような、点（２２８_１）および（２２８_２）に関連するＧＰＳ座標の単一セットと関連して保存される。

次の工程（６１２）では、車両は、車道を横断する間に、二次元の特徴点のマップを作成するために使用される。図１の実施形態では、車両（１４）は、車道（２１７）の二次元の特徴点のマップを作成するために強度フィールドセンサー（１２０）を含み、これによって車両（１４）が車道（２１７）上に移動している間に、図２ａで示されるマップに似たマップを作成する。

工程（６１８）では、一致したグローバルな位置座標に関連する二次元の特徴点も一致する。すなわち、車両（１４）の現在のＧＰＳのグローバル座標に関連する受け取った三次元マップの一部は、車両（１４）の強度フィールドセンサー（１２０）によっても目下作成されている二次元の特徴点を含む。三次元マップ中で、かつ、強度フィールドセンサー（１２０）によって目下作成されているこれらの二次元の特徴点は、パターンマッチング、エッジ検出、または、他の画像処理アルゴリズムを介してプロセッサー（１２２）によって合致する。最終工程（６２０）では、車両と、車両によってマッピングされた二次元の特徴点との間の距離は、車両内部で、かつ、マッチングした二次元の特徴点に関連する三次元位置を使用することによって測定される。例えば、三次元マップ中の対応する二次元の特徴点を見つけた後、車両（１４）は、車両（１４）によってマッピングされたマッチングする二次元の特徴点の三次元位置の代わりに、一致する二次元特徴点の三次元位置を使用する。一致する二次元の特徴点の三次元位置は、車両（１２）と２Ｄ特徴との間の距離の観点から３Ｄマップ中で表現される。したがって、車両（１４）は、車両（１４）と２Ｄ特徴との間の現在の距離の代わりに、車両（１２）と２Ｄ特徴との間のこの距離を使用する。

Claims (15)

1. 第１の可動性ロボットユニットを使用して、前記第１の可動性ロボットユニットが走行面を横断する間の二次元の特徴点をマッピングする工程と、
   前記マッピング中に前記特徴点の三次元位置を検知する工程と、
   前記特徴点の三次元位置と前記二次元の特徴点のマップとの間の関連性を含む三次元マップを作成する工程と、
   前記第１の可動性ロボットユニットから衛星を介してあるいは電子的に通信している第２の可動性ロボットユニットまで前記三次元マップを提供する工程と、
   第２の可動性ロボットユニットを使用して、前記第２の可動性ロボットユニットが走行面を横断する間に、二次元の特徴点をマッピングする工程と、
   前記第２の可動性ロボットユニットによってマッピングされた前記二次元の特徴点の三次元位置を測定する工程とを含み、この測定工程は第２の可動性ロボットユニット内で、かつ、前記三次元マップを使用することによって行われ、
   前記第１の可動性ロボットユニットが走行面を横断する間に前記二次元の特徴点をマッピングするために、前記第１の可動性ロボットユニットに備えられた第１の強度フィールドセンサーが使用され、
   前記第２の可動性ロボットユニットが路面を横断する間に前記二次元の特徴点をマッピングするために、前記第２の可動性ロボットユニットに備えられた第２の強度フィールドセンサーが使用されることを特徴とするマッピング方法。
2. 前記第１の可動性ロボットユニットが走行面を横断する間の、前記第１の可動性ロボットユニットのグローバルな位置座標を追跡する工程を含み、
   前記三次元マップは、前記特徴点の三次元位置と前記二次元の特徴点のマップと前記第１の可動性ロボットユニットのグローバルな位置座標との間の関連性を含み、
   さらに、
   前記第２の可動性ロボットユニットが走行面を横断する間の、前記第２の可動性ロボットユニットの地球上の位置座標を追跡する工程を含み、
   前記測定工程は前記第１および第２の可動性ロボットユニットのグローバルな位置座標同士をマッチングさせる工程を含み、
   前記測定工程は、マッチングしたグローバルな位置座標に関連するマッピングした二次元の特徴点同士をマッチングさせる工程を含むことを特徴とする請求項１に記載の方法。
3. 前記三次元マップは無線周波数を介して前記第１の可動性ロボットユニットから前記第２の可動性ロボットユニットに提供されることを特徴とする請求項１に記載の方法。
4. 前記第１の可動性ロボットユニットと前記第２の可動性ロボットユニットとを含むマッピング装置であって、
   前記第１の可動性ロボットユニットは、
   第１の可動性ロボットユニットが走行面を横断する間に、二次元の特徴点をマッピングするように構成された第１の強度フィールドセンサーと、
   前記強度フィールドセンサーによってマッピングする間に、前記特徴点の三次元位置を検知するように構成された三次元位置検出装置と、
   前記第１の強度フィールドセンサーと前記三次元位置検出装置の両方と通信している、前記特徴点の三次元位置と前記二次元の特徴点のマップとの間の関連性を含む三次元マップを作成するように構成されたプロセッサと、
   前記プロセッサと通信しているとともに、前記三次元マップを送信するように構成された送信装置と、を備え、
   前記第２の可動性ロボットユニットは、
   前記第１の可動性ロボットユニットから前記三次元マップを受け取るように構成された受け取り装置と、
   前記第２の可動性ロボットユニットが走行面を横断する間に、前記二次元の特徴点をマッピングするように構成された第２の強度フィールドセンサーと、
   前記第２の強度フィールドセンサーと前記受け取り装置の両方と通信しているプロセッサを備え、前記プロセッサは、前記第２の可動性ロボットユニットによってマッピングされた二次元の特徴点の三次元位置を測定するように構成され、この測定工程は、前記第２の可動性ロボットユニット内で、かつ、前記三次元マップを使用することによって行われ、
   前記第１の可動性ロボットユニットは、前記第１の可動性ロボットユニットのグローバルな位置座標を追跡するように構成された第１のＧＰＳモジュールをさらに備え、前記第１のモバイルユニットは前記第２のモバイルユニットのグローバルな位置座標を追跡するように構成された第２のＧＰＳモジュールをさらに備え
   前記第２の可動性ロボットユニットは、前記第２の可動性ロボットユニットのグローバルな位置座標を追跡するように構成された第２のＧＰＳモジュールをさらに備え、
   前記第２の可動性ロボットユニットの前記プロセッサは、前記三次元マップの対応する部分を確認するために、前記第２の可動性ロボットユニットの現在のグローバルな位置座標を使用するように構成されることを特徴とするマッピング装置。
5. 前記三次元位置検出装置がＬＩＤＡＲとステレオカメラのうちの１つを含むことを特徴とする請求項４に記載の装置。
6. 前記第１および第２の可動性ロボットユニットの各々が芝刈り機と電気掃除機のうちの１つを含むことを特徴とする請求項４に記載の装置。
7. 前記送信装置は、前記第１の可動性ロボットユニットから前記第２の可動性ロボットユニットまで送信可能な、無線周波数による送信装置、導電体、および、メモリーデバイスのうちの１つを含むことを特徴とする請求項４に記載の装置。
8. 前記三次元マップが三次元表面メッシュを含むことを特徴とする請求項４に記載の装置。
9. 前記第１の可動性ロボットユニットを使用して、前記第１の可動性ロボットユニットが走行面を横断する間に前記第１の可動性ロボットユニットによって通過された目印を識別する工程と、
   前記第１の可動性ロボットユニットが走行面を横断し続けている間に、前記識別された目印に対する前記第１の可動性ロボットユニットの位置を追跡する工程と、をさらに備えることを特徴とする請求項１記載の方法。
10. 前記三次元マップが、前記特徴点の三次元位置と前記二次元の特徴点のマップと前記第１の可動性ロボットユニットの位置との間の関連性を含み、
    前記方法はさらに、前記第２の可動性ロボットユニットが走行面を横断する間、前記第２の可動性ロボットユニットの位置を追跡する工程を含み、
    前記測定工程は、前記第１および第２の可動性ロボットユニットの位置同士をマッチングさせる工程を含むことを特徴とする請求項９記載の方法。
11. 前記測定工程が、マッチングした位置に関連するマッピングされた二次元の特徴点同士をマッチングさせる工程を含むことを特徴とする請求項１０記載の方法。
12. 前記第１の可動性ロボットユニットは、前記第１の可動性ロボットユニットが走行面を横断する間にステッピングモーターによって駆動し、
    前記追跡工程は、識別された目印が検知されてからの前記ステッピングモーターの回転数を追跡する工程を含むことを特徴とする請求項１０記載の方法。
13. 対応する二次元の画像データに関連して、識別された目印が検知されてからの前記ステッピングモーターの回転数を格納する工程をさらに備えることを特徴とする請求項１２記載の方法。
14. 前記第２の可動性ロボットユニットと前記目印との間の距離と方向を決定するために、前記三次元マップの三次元データを使用する工程をさらに備えることを特徴とする請求項９記載の方法。
15. 前記第２の可動性ロボットユニットが、自身が前記目印と衝突することを回避するために、前記第２の可動性ロボットユニットと前記目印との間の距離と方向を使用する請求項１４記載の方法。