JP2009008655A - 自律車両ナビゲーションのための三次元障害物マップ作成の方法及びシステム - Google Patents

Abstract

【課題】自律車両のナビゲーション中の障害物を避けるために、３次元（３Ｄ）障害物マップを作成する。
【解決手段】画像取り込み装置を自律車両に提供し、画像取得装置を、所定数の異なる指定距離にフォーカスして、指定距離それぞれにおける画像を取得する。そして、取得された画像それぞれに関してどの領域にピント合わせされているかを識別し、対応するレンズフォーカス距離を、ピント合わせされている領域それぞれに割り当てる。その後、取得した画像それぞれに基づいて合成画像を形成する。領域それぞれには、対応するレンズフォーカス距離がラベル付けされる。その後、合成画像から三次元障害物マップが生成される。この障害物マップはｘ、ｙ、ｚ座標系を有し、ｘ及びｙはピクセル水平位置及び垂直位置に比例し、ｚはレンズフォーカス距離である。
【選択図】図１

Description

本発明は、自律車両ナビゲーションのための三次元障害物マップ作成の方法及びシステムに関する。

自律車両は広く使用されており、ロボット及び無人航空機（ＵＡＶ）等の種々の無人地上車、水中車両、及び航空宇宙機を含んでいる。自律車両は、完全に人間の介入なしで状況を判断し、状況に応答する必要がある。自律車両のナビゲーション及び制御の全体的性能、正確性、及び頑健性に主要な制約がある。ナビゲーションを適切に行うには、自律車両はその場所を感知し、所望の行先に向かってハンドルを切り、障害物を避けることが可能でなければならない。各種様式が自律車両ナビゲーションを提供するために使用されている。これらには、全地球測位システム（ＧＰＳ）、センサからの慣性測定値、及びカメラからの画像測定値の使用が含まれる。

個人又は小グループで持ち運び、野外に配備することができる、偵察及び監視のためのより小型のＵＡＶが開発されつつある。このようなＵＡＶは、遠隔制御可能な超小型無人機（ＭＡＶ）及び組織的制御無人航空機（ＯＡＶ）を含む。ＭＡＶの典型的な寸法は約６インチ〜１２インチ（１５ｃｍ〜３０ｃｍ）であり、昆虫サイズのＭＡＶの開発が進められている。このような航空機は、戦場で軍隊により操作されるように設計することができ、森若しくは丘、都市部の建物の種々の位置、又は見通しの効かない場所に隠れている敵勢を検出する能力を、小規模戦闘部隊及び個人戦闘員に提供することができる。こういった航空機のいくつかは、高い場所に位置して見張りをすることができ、本質的に、軍隊を機動させるための見張り番になる。

ナビゲーション中に障害物を避けるために、ＵＡＶ等の自律車両は、三次元（３Ｄ）障害物マップの作成を必要とする。現在使用される典型的な車両センサは、非常に高価である（例えば、レーザスキャン検知測距（ＬＡＤＡＲ））か、又は非常に複雑なアルゴリズムを必要とする（例えば、多くの特徴を追跡しようとする立体カメラ）。

本発明は、自律車両ナビゲーションのための障害物マップ作成の方法及びシステムに関する。該方法は、画像取り込み装置を自律車両に提供するステップと、画像取り込み装置を、所定数の異なる指定距離にフォーカスするステップであって、それにより、指定距離それぞれにおける画像を取得する、フォーカスステップを含む。該方法は、取得された画像それぞれに関してどの領域にピント合わせされているかを識別するステップと、対応するレンズフォーカス距離を、ピント合わせされている領域それぞれに割り当てるステップをさらに含む。取り込まれた画像のそれぞれに基づいて合成画像が形成され、領域それぞれには、対応するレンズフォーカス距離がラベル付けされる。その後、合成画像から三次元障害物マップが生成される。三次元障害物マップはｘ、ｙ、ｚ座標系を有し、ｘはピクセル水平位置に比例し、ｙはピクセル垂直位置に比例し、ｚはレンズフォーカス距離である。

以下の詳細な説明において、当業者が本発明を実施できるように十分に詳細に実施形態を説明する。本発明の範囲から逸脱することなく他の実施形態を利用可能なことを理解されたい。したがって、以下の詳細な説明は本発明の範囲を制限するものではないことが理解されるであろう。

本発明は、自律車両ナビゲーションのための障害物マップ作成の方法を対象とする。概して、方法は、画像取り込み装置を自律車両に提供するステップ、及び画像取り込み装置を所定数の異なる指定距離にフォーカス（ピント合わせ）して、各指定距離にある画像を取得するステップを含む。次に、方法は、取得された各画像内のどの領域にフォーカスされているかを識別し、対応するレンズフォーカス距離を、フォーカスされている各領域に割り当てる。取り込まれた画像から合成画像が形成され、各領域には対応するレンズフォーカス距離のラベル付けがされる。次に、三次元（３Ｄ）障害物マップが合成画像から生成される。

３Ｄ障害物マップの作成は、単眼カメラオートフォーカスアルゴリズムを使用して、ピント合わせされた各領域のレンジの二次元（２Ｄ）アレイを生成することで実現することができる。次に、各画像内のこの情報が利用されて、３Ｄ障害物マップが生成される。
本方法及び本システムは、超小型無人機（ＭＡＶ）及び組織的制御無人航空機（ＯＡＶ）を含む無人航空機（ＵＡＶ）等の自律車両の障害物回避に使用することができるが、軽量積載プラットフォームであることに制限されない。

図１は、本発明の一実施形態による障害物検出及びマップ作成システム１００のフローチャートと機能ブロック図を組み合わせたものである。システム１００は、デジタルカメラ等の画像取り込み装置１１０を含む。３Ｄマップ作成ソフトウェアを含むマップ作成モジュール１２０が、画像取り込み装置１１０と有効に通信する。ラプラス経路計画アルゴリズム等の障害物回避ソフトウェアを含む障害物回避モジュール１３０が、マップ作成モジュール１２０と有効に通信する。
ラプラス経路計画アルゴリズムに関連する詳細は、２００６年９月５日に出願された同時係属中の米国特許出願第１１／４７０，０９９号に開示されており、これを参照により本明細書に援用する。

システム１００の動作中、カメラのレンズは、ブロック１１２において、所定数の指定距離（例えば、７つの距離）にピント合わせするように調整され、ブロック１１４において、カメラはこれらの各距離の写真（画像）を撮影する（例えば、７枚の写真）。指定距離の各レンズ設定は、カメラのメモリ装置に保存され、写真がマップ作成モジュール１２０に高速ダウンロードされる。マップ作成モジュール１２０内の３Ｄマップ作成ソフトウェアは、各写真内のどの領域がフォーカス（ピント合わせ）されているかを識別し（ブロック１２２）、対応するレンズフォーカス距離をピント合わせされている各領域に割り当てる（ブロック１２４）。合成写真が形成され、各領域にフォーカス距離がラベル付けされる（ブロック１２６）。次に、ｘ、ｙ、ｚ座標系を有する３Ｄ障害物マップが生成される（ブロック１２８）。ただし、
ｘ＝（ピクセル水平位置）／（レンズからイメージャまでの距離）×（レンズフォーカス距離）
ｙ＝（ピクセル垂直位置）／（レンズからイメージャまでの距離）×（レンズフォーカス距離）
ｚ＝（レンズフォーカス距離）
である。したがって、ｘはピクセル水平位置に比例し、ｙはピクセル垂直位置に比例し、ｚはレンズフォーカス距離である。３Ｄ障害物マップは、障害物回避モジュール１３０に転送され、障害物回避モジュール１３０は、３Ｄ障害物マップを標準障害物回避アルゴリズムに利用する（ブロック１３２）。
本発明の方法及びシステムの実施に関連するさらなる詳細を以下に述べる。

機器
一実施形態では、障害物検知及びマップ作成システムは、フルサイズイメージャ（例えば、２４００×３６００＝８６０万ピクセルを有する２４ｍｍ×３６ｍｍイメージャ）を有する単一のカメラ（８．６メガピクセル）及び普通の５０ｍｍレンズに基づくことができる。カメラは、焦点距離（ｆ）０．０５ｍ、ピクセル幅（ｃ）（２４ｍｍＣＤ幅）／（２４００ピクセル）＝１０ミクロン（ミクロンはピクセルサイズを測定する典型的な単位である）、ｆナンバー（Ｎ）３．０を有する。視野（ＦＯＶ）＝（２４ｍｍＣＣＤ幅）／５０ｍｍ焦点距離＝３０度である。カメラのオートフォーカスアルゴリズムを使用して、約７ｍ〜約４５ｍまでの６つのレンジビンに分けることができる。ＪＰＥＧ等の典型的な画像圧縮方式は、４×４ピクセルセル又は８×８ピクセルセルを使用し、ＪＰＥＧ係数内の情報を使用して、その４×４領域又は８×８領域にピント合わせされているか否かを判断することができる。このタイプのレンジ測定は（２４００／４）×（３６００／４）＝６００×９００の各サブ領域に対して行うことができ、これにより、（３０度）／６００＝０．０５度角度分解能が提供される。各オートフォーカスセルは４×４ピクセルを有し、６つの異なるレンズ位置での写真を０．２５秒以内に撮影することができる（毎秒２４フレーム（ｆｐｓ））。これは、ｚ＝画像内の６００×９００の各（ｘ，ｙ）値のレンジを提供し、これを使用して３Ｄ障害物マップを生成することができる。

別の実施形態では、障害物検知及びマップ作成システムは、単一の８メガピクセルデジタル一眼レフ（ＳＬＲ）カメラに基づくことができる。このようなシステムは４００×３００の各ＪＰＥＧ領域に約７ｍ〜約５２ｍまでの７つの障害物距離レンジビンを提供し、各ＪＰＥＧ領域は８×８ピクセルを含む。求められる計算は、デジタルカメラ内のＪＰＥＧアルゴリズム及びその領域がピント合わせされているか否かを判断するために各８×８ＪＰＥＧ領域に１つの高空間周波数係数を選択することだけである。超音波距離センサを任意に使用して、付近の窓又は特徴のない壁へのレンジをカメラが測定するのを補うことができる。この実施形態では、障害物回避のために約４５度の視野も必要である。

レンジ分解能
レンジ分解能を求めるに際して、絞りが広く焦点距離が長いレンズは、浅い被写界深度(depth-of-field)を有するため、写真では、障害物が所与のレンジビン内にある領域でのみピント合わせされることを利用して、深度情報が得られる。例えば、写真のどのエリアがピント合わせされているかを判断するには、写真のＪＰＥＧ表現での各８×８セルが調べられる。８×８ＪＰＥＧセルは、最高空間周波数に大きな係数を有する場合のみ、ピント合わせされる。最高空間周波数係数の値を記憶することにより、８×８ピクセルセルがピント合わせされているか否かのインジケータが提供される。レンズを一連の距離（例えば、８ｍ、９ｍ、１１ｍ、１３ｍ、１８ｍ、３１ｍ、及び５２ｍ）にピント合わせした状態で一連の（例えば、７枚等の）写真を撮影することにより、合成写真上の各８×８ピクセルエリアの７つのレンジビン内に深度情報を有する合成写真を構築することができる。高解像度、例えば、３５００×２３００ピクセル（８メガピクセル）の写真が提供される場合、レンジビン情報を有する、合計で（３５００／８）×（２３００／８）＝４３７×２８７個のＪＰＥＧセルを得ることができる。

カメラ／レンズシステムが過焦点距離Ｈにピント合わせされる場合、Ｈ／２と無限遠との間の距離で見えるすべてのオブジェクトにピント合わせされることになる。したがって、本方法で使用されるレンジフロムフォーカス（range-from-focus）技法は、Ｈ／２の距離までしか機能しない。５２ｍまでのレンジを測定するために、少なくともＨ＝ｆ×ｆ／（Ｎ×ｃ）＝１０４ｍの過焦点距離(hyper-focal distance)を有するカメラ／レンズシステムが必要である。

図２は、レンジビン分解能及び精度を示すグラフである。グラフはＨ＝１０４ｍを有するカメラ／レンズシステムの場合に約７ｍ〜約５２ｍまでの７つのレンジビンの公称焦点範囲に対して、レンズが（ｓ）でピント合わせされる最大距離及び最小距離をプロットする。近景はＤ_ｎｅａｒ＝Ｈ×ｓ／（Ｈ＋ｓ）で求められ、遠景はＤ_ｆａｒ＝Ｈ×ｓ／（Ｈ−ｓ）で求められる。グラフは、焦点距離が過焦点距離Ｈに近づくにつれて、最大焦点距離と最小焦点距離との広がりが急速に増大することを示している。その結果得られる区別可能な距離のビン数は、過焦点距離に近づきつつあるレンジの場合にかなり小さく、近いレンジほど区別可能なレンジビン数がはるかに大きくなる。

振動
晴れた日に、Ｆ１６レンズ設定を使用する場合、シャッタ速度をおよそＩＳＯ設定の逆数にする必要があるため、ＩＳＯ１００では、シャッタ速度をおよそ１／１００秒に設定する必要がある。Ｆ１．８レンズが使用される場合、シャッタ速度はほぼ以下の式で表される必要がある。

シャッタ時間＝（１．８／１６）^２×（１／１００秒）
＝１／８０００秒

振動周波数は、車両エンジンの毎分回転数（ＲＰＭ）の周波数及び複数の高調波成分を含んでいる。車両エンジンのＲＰＭが約６０００ＲＰＭ＝１００Ｈｚである場合、シャッタが開いている時間中に経験するエンジン回転の端数は、以下のとおりである。

（シャッタ時間）×（エンジンレート）＝（１／８０００秒）×１００Ｈｚ
＝１／８０＜＜１

したがって、振動により写真がぶれることがない。

センサ更新レート
ＭＡＶ型車両又はＯＡＶ型車両の良好な障害物回避のための追加要件は、約１Ｈｚの障害物センサ更新レートを有することである。少なくとも５Ｈｚ（５ｆｐｓ）のフレームレートを有するデジタルＳＬＲカメラを使用して、この性能を提供することができる。これにより、一連の７枚の写真を（５ｆｐｓ）／（７フレーム）＝０．７Ｈｚで更新することが可能である。例えば、キャノン（登録商標）のＥＯＳ−２０Ｄの５ｆｐｓ速度がバーストモードの場合、写真はカメラの高速メモリバッファに記憶される。衝突回避にはデジタルＳＬＲカメラの完全な角度分解能を必要としないため、本方法で障害物回避アルゴリズムに転送する必要があるのは、そのデータのわずかな部分だけ（例えば、８×８ピクセルセルがグループ化されるため、１／（８×８）＝１／６４）である。カメラとコンピュータとの間でＵＳＢ２データ転送を使用する場合、完全な８メガピクセル画像を約０．５秒で転送することができる。本方法は、画像内の詳細の１／６４のみを転送するため（範囲測定に必要な８×８ピクセルＪＰＥＧ領域毎に１バイト）、１フレームからの範囲データの転送に必要な時間は、（０．５秒／フルフレーム）×（１／６４）＝０．００８秒である。

計算例
デジタルＳＬＲカメラを使用して３Ｄ障害物マップを構築することの実現可能性を判断するために、以下の例において、前項で述べたカメラの過焦点距離及び視野を計算する。カメラ：キャノン（登録商標）のＥＯＳ−２０Ｄ、３５００×２３００ピクセル、２２．５ｍｍ×１５ｍｍ ＣＣＤ（ピクセル幅＝６．５ミクロン）
レンズ：Sigma ｆ＝３０ｍｍ、ｆナンバー＝１．４、Canonマウントを有するＥＸ ＤＣ ＨＳＭ
過焦点距離Ｈ及び視野は以下のように計算される。

Ｈ＝ｆ^２／（Ｆナンバー）×（ピクセル幅）
＝（０．０３０ｍ）^２／（１．４×６．５×１０^−６ｍ）
＝９９ｍ

水平視野＝２×ｔａｎ^−１｛（２２．５ｍｍ）／２／３０｝ｍｍ
＝４１度

垂直視野＝２×ｔａｎ^−１｛（１５ｍｍ）／２／３０ｍｍ｝
＝２８度

本発明の方法及びシステムの動作に使用される各種のプロセスタスク、計算、並びに信号及び他のデータの生成を実行する命令は、ソフトウェア、ファームウェア、又は他のコンピュータ可読命令で実施することができる。これらの命令は通常、コンピュータ可読命令又はデータ構造の記憶に使用される任意の適したコンピュータ可読媒体に記憶される。このようなコンピュータ可読媒体は、汎用若しくは専用のコンピュータすなわちプロセッサ、又は任意のプログラム可能な論理装置がアクセスできる任意の利用可能な記憶媒体である。

適したコンピュータ可読媒体は、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、若しくはフラッシュメモリ装置等の半導体メモリ装置、内部ハードディスク若しくはリムーバブルディスク等の磁気ディスク、光磁気ディスク、ＣＤ、ＤＶＤ、若しくは他の光学記憶ディスク、不揮発性ＲＯＭ、ＲＡＭ、及び他の同様の媒体、又は所望のプログラムコード手段をコンピュータ実行可能命令若しくはデータ構造の形態で記憶するために使用できる任意の他の媒体を含む不揮発性メモリ装置である。上記のいずれも、特定用途向け集積回路（ＡＳＩＣ）で補われてもよく、又はＡＳＩＣに組み込まれてもよい。情報がネットワーク又は別の通信接続（有線、無線、又は有線と無線の組み合わせ）を介してコンピュータに転送又は提供される場合、コンピュータは該接続をコンピュータ可読媒体としてみなす。したがって、このような接続はコンピュータ可読媒体と称することができる。上記の組み合わせもコンピュータ可読媒体の範囲内である。

本発明の方法は、プロセッサにより実行される、プログラムモジュール等のコンピュータ可読命令で実施することができる。一般に、プログラムモジュールは、特定のタスクを実行又は特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、データ構成要素、データ構造、アルゴリズム等を含む。コンピュータ実行可能命令、関連するデータ構造、及びプログラムモジュールは、本明細書に開示した方法のステップを実行するプログラムコード手段の例を表す。このような実行可能命令又は関連するデータ構造の特定の順番は、このようなステップにおいて述べられた機能を実施する対応する動作の例を表す。

本発明は、本質的な特徴から逸脱することなく他の特定の形態で具現することが可能である。説明した実施形態はあらゆる点で制限ではなく例示としてのみみなされるべきである。したがって、本発明の範囲は上記説明ではなく添付の特許請求の範囲により示される。特許請求の範囲の均等物の意味及び範囲内にあるすべての変更は、特許請求の範囲内に包含されるものである。

本発明の一実施形態による障害物検出センサシステムのフローチャートと機能ブロック図を組み合わせた図である。 本発明の一実施形態による障害物検出センサシステムのレンジビニング分解能及び精度を示すグラフである。

Claims (3)

1. 自律車両ナビゲーションのための障害物マップ作成の方法であって、
   画像取り込み装置を、自律車両からの所定数の異なる指定距離にフォーカスして、前記指定距離のそれぞれにある画像を取得するステップと、
   取得された画像がそれぞれのどの領域にフォーカスされているかを識別するステップと、
   対応するレンズフォーカス距離を、フォーカスされている前記領域のそれぞれに割り当てるステップと、
   取得された画像のそれぞれに基づいて合成画像を形成するステップであって、前記領域のそれぞれには対応する前記レンズフォーカス距離でラベル付けされる、ステップと、
   前記合成画像から、ｘ、ｙ、ｚ座標系を有する三次元障害物マップであって、ｘはピクセル水平位置に比例し、ｙはピクセル垂直位置に比例し、ｚは前記レンズフォーカス距離である三次元障害物マップを生成するステップと
   からなることを特徴とする障害物マップ作成方法。
2. 請求項１記載の方法において、該方法はさらに、前記三次元障害物マップを障害物回避アルゴリズムに利用するステップを
   含むことを特徴とする方法。
3. 請求項１記載の方法において、該方法はさらに、前記三次元障害物マップを生成するステップの前に、前記領域それぞれのレンジの二次元アレイを生成するステップを含むことを特徴とする方法。

Images