JP2020500767A - 車両自動パーキングシステム及び方法 - Google Patents

Abstract

駐車スペース（ＰＳ）内に車両を駐車するシステムが、目標状態において終了する第１の駐車経路（ＦＰＰ）に従って車両の運動を制御し、ＰＳのモデルを用いて、現在の状態から目標状態までの第２の駐車経路（ＳＰＰ）を決定する。そのシステムは、ＦＰＰに沿った車両の運動中にセンサー（複数の場合もある）を用いてＰＳの画像を取り込み、それらの画像を用いてモデルを構成する。そのモデルを用いて、ＦＰＰの外部にある車両の状態を規定する１セットの仮想視点から視認されるようなＰＳの環境の１セットの仮想画像を生成する。車両の現在の状態が、車両が現在の状態にある間のセンサーからのＰＳの現在の画像を仮想画像と比較することによって特定される。現在の状態から目標状態までのＳＰＰが決定される。

Description

本発明は、包括的には、車両の経路計画に関し、より詳細には、車両を目標空間に自動的に駐車する経路計画方法に関する。

自律車両又は自律走行モードを実行する半自律車両のいずれかの車両によって利用されるいくつかの制御システムは、他の車両又は歩行者等の障害物を回避するためのみではなく、車両の操作に関連付けられたいくつかの基準を最適化するためも含む双方で、未来を予測し、車両の安全運動又は経路を予測する。目標状態は、固定ロケーション、移動ロケーション、速度ベクトル、領域、又はそれらの組み合わせのいずれかとすることができる。自律車両又は半自律車両を制御するタスクのうちの１つは、車両を、本明細書において目標状態と称される駐車位置及び駐車方位に自動的に駐車することである。

大半の既存の経路計画解決法は、特定の駐車シナリオに対処するのみである。例えば、特許文献１に記載の方法は、縦列駐車及び後方駐車の経路を計算する。また、特許文献２に記載の方法は、駐車経路の特別の構造を想定している。また、特許文献３に記載の方法は、縦列駐車に対処し、車両の初期状態が、事前にコード化された縦列駐車操作が開始されるいわゆる実現可能開始領域内にあることを必要とする。リアルタイム経路生成を達成するが、それらの方法は、駐車経路の特定の構造物に頼る。

一般的な駐車経路に対応するために、特許文献４に記述されている１つの方法は、車両が運転者によって手動で駐車される学習モード中に駐車経路を計算及び記憶し、その後、自動パーキングモード中に、学習した駐車経路に沿って車両を駐車するのを支援する２段階自動パーキングシステムを使用する。この方法は、任意であるが、あらかじめ学習した駐車経路に沿って、住宅車庫等の指定された場所に駐車するのを支援することができる。その方法は、その駐車経路からの逸脱を、防止される必要がある不規則な進路として考慮する。そのような原理は必ずしも望ましいとは限らない。

米国特許第７７３７８６６号 米国特許第８４９７７８２号 米国特許第８８６２３２１号 米国特許第９１４０５５３号

いくつかの実施の形態の目的は、車両の自動化駐車システム及び方法のための経路計画方法を開示することである。いくつかの実施の形態の別の目的は、実生活の多様な駐車シナリオについての自動パーキングの具体例によって引き起こされる経路計画の計算コストを低減するような方法を提供することである。

いくつかの実施の形態は、２段階自動パーキングが多様な駐車状況の場合に自動パーキングを助長できるという理解に基づく。２段階自動パーキングは学習段階及び自動パーキング段階を含む。学習段階では、運転者が、例えば、手動制御によって車両を駐車し、周囲環境の構造物を回避しながら、初期の場所から目標駐車スペースの場所に至る駐車経路を示す基準データを観測及び記憶するために学習方法が実行される。

自動パーキング段階では、車両が自動的に駐車され、その際、現在のセンサー観測結果を学習段階において記憶された基準データと照合することによって、車両の自己位置特定及び目標駐車スペースへの経路計画が順次に、かつ繰り返し実行される。詳細には、自己位置特定のために、駐車スペースの画像内の物体の幾何学的特徴、及び物体間の相対的な空間的関係が観測結果と照合される。

学習段階及び自動パーキング段階中の駐車経路が類似しているとき、駐車スペースの異なる画像を比較することによって、自己位置特定が可能になる。しかしながら、一般に、幾何学的特徴及び物体間の空間的関係を含む、画像ベース２Ｄ特徴の特性は、画像を取り込むカメラの観測視点によって決まる。例えば、建物の窓枠等の長方形の形状は、前方の視点から取り込まれた画像では長方形に見え、一方、斜めの視点から取り込まれた画像では台形（歪んだ長方形）に見える。

この問題は、本明細書において、２段階パーキングによって利用される自動自己位置特定に根差している長基線長照合問題（large-baseline matching problem）と呼ばれる。具体的には、２つの離間した視点から観測されたランドマーク、すなわち、画像から抽出された示差的特徴が自動自己位置特定照合プロセスによって見逃される可能性がある。なぜなら、異なる視点から視認された同じランドマークの外観(appearance)が著しく変化する可能性があるためである。

それゆえ、異なる観測視点から取り込まれた画像間で画像ベース２Ｄ特徴を正確に照合することは基本的には難しく、学習段階における観測視点が自動パーキング段階における観測視点と異なるとき、画像ベース２Ｄ特徴照合は失敗する可能性がある。特徴照合が失敗する結果として、自己位置特定が失敗し、自動パーキングが失敗する可能性がある。運転者は、自動パーキングモードを開始する前に学習モードにおいて辿った経路付近において自らの車両の位置を特定するように要求されるので、すなわち、車両がその経路から離れて位置を特定される場合には運転者は自動パーキングモードを使用できないので、駐車スペースの画像内の異なる特徴の外観不変性(appearance invariance)へのそのような依存性は、自動パーキングの利用可能性又は適用範囲を制限する。しかしながら、いくつかの実施の形態は、異なる駐車経路に沿って車両を自動的に駐車するために学習段階中に学習されたデータを再利用することが有益であるという一般的な認識に基づく。

いくつかの実施の形態は、仮想画像が、外観不変性への自動自己位置特定のそのような依存性を回避するのを助けることができるという理解に基づく。例えば、将来に訪問する可能性がある新たな視点からのいくつかの新たな仮想画像を合成することができる。例えば、場所Ａから場所Ｂの方を向いているカメラによって取り込まれた画像を、場所Ｂから場所Ａの方を向いている仮想視点から視認されるような仮想画像に変換することができる。仮想画像は、長基線長照合問題を回避するために、場所Ｂから場所Ａの方を向いているカメラによって新たに撮影された画像との比較のために使用することができる。

そのため、いくつかの実施の形態は、最初に、車両が第１の駐車経路に沿って駐車される間に取り込まれた画像から周囲環境の３Ｄモデルを生成し、その後、３Ｄモデル内の仮想視点を設定する。本明細書において使用されるときに、仮想視点は、仮想画像を取り込むカメラの姿勢の仮想点である。例えば、仮想画像は、３Ｄモデルデータを仮想観測点における仮想画像面に再投影することによって生成することができる。

仮想視点は、その観測視野が学習モードにおける元の観測視点の観測視野と異なるように設定される。その後、１セットの仮想観測点に対して１セットの仮想画像が生成される。最後に、元の画像及び仮想画像の両方から画像特徴が抽出され、自動パーキング段階のために使用される基準データとしてシステムに記憶される。

３Ｄモデルからの仮想画像を考慮して、基準データは、様々な観測視野を形成する現実画像及び仮想画像からの特徴を含むことができる。このように特徴を蓄積していくことによって、車両が学習モードにおいて辿った経路から離れて位置を特定されるときでも、システムは、自動パーキングモードにおける特徴照合と、その後の自己位置特定とに成功できるようになる。結果として、いくつかの実施の形態は、自動パーキングシステムの利用可能性及び適用範囲を改善することができる。

したがって、一実施の形態は、車両を駐車スペース内に駐車する方法を開示する。本方法は、メモリに動作可能に接続されるプロセッサと、駐車スペースの少なくとも一部の環境を示す画像を取り込む少なくとも１つのセンサーと、車両の運動を制御するコントローラーとを使用し、プロセッサは方法を実施する記憶された命令に結合され、命令は、プロセッサによって実行されるときに、方法の少なくともいくつかのステップを実行し、方法は、目標状態において終了する第１の駐車経路に従って車両の運動を制御することであって、車両の各状態は、車両の位置及び向きを含むことと、第１の駐車経路に沿った車両の運動中に駐車スペースの１セットの画像を取り込むことであって、１セットの画像内の各画像は、第１の駐車経路に沿った車両の状態によって規定される視点から取り込まれることと、１セットの画像を用いて駐車スペースのモデルを構成することと、第１の駐車経路の外部にある車両の状態を規定する少なくとも１つの仮想視点を含む、第１の駐車経路の外部にある１セットの仮想視点を選択することと、駐車スペースのモデルを用いて、１セットの仮想視点から視認されるような駐車スペースの環境の１セットの仮想画像を生成することと、車両が現在の状態にある間にセンサーによって取り込まれた駐車スペースの現在の画像を少なくとも１つの仮想画像と比較することによって、車両の現在の状態を特定することと、車両のモデルを用いて、現在の状態から目標状態への第２の駐車経路を決定することと、第２の駐車経路に従って車両の運動を制御することとを含む。

別の実施の形態は、駐車スペース内に車両を駐車するシステムを開示する。本システムは、車両のモデルを記憶するメモリと、駐車スペースの少なくとも一部の環境を示す情報を検知する少なくとも１つのセンサーと、目標状態において終了する第１の駐車経路及び第２の駐車経路を含む異なる軌道に従って車両の運動を制御するコントローラーであって、車両の各状態は車両の位置及び向きによって規定されるものと、少なくとも１つのプロセッサであって、第１の駐車経路に沿った車両の運動中に駐車スペースの環境の１セットの画像を取り込むことであって、それにより、１セットの画像内の各画像が第１の駐車経路に沿った車両の状態によって規定される視点から取り込まれることと、１セットの画像を用いて駐車スペースのモデルを構成することと、第１の駐車経路の外部にある車両の状態を規定する少なくとも１つの仮想視点を含む、第１の駐車経路の外部にある１セットの仮想視点を選択することと、駐車スペースのモデルを用いて、１セットの仮想視点から視認されるような駐車スペースの環境の１セットの仮想画像を生成することと、車両が現在の状態にある間にセンサーによって取り込まれた駐車スペースの現在の画像を少なくとも１つの仮想画像と比較することによって、車両の現在の状態を特定することと、車両のモデルを用いて、現在の状態から目標状態までの第２の駐車経路を決定することと、を行うように構成されたものと、を備える。

更に別の実施の形態は、駐車スペース内に車両を駐車する方法を実行するためにプロセッサによって実行可能なプログラムを具現する非一時的コンピューター可読記憶媒体を開示する。本方法は、目標状態において終了する第１の駐車経路に従って車両の運動を制御することであって、車両の各状態は、車両の位置及び向きを含むことと、第１の駐車経路に沿った車両の運動中に駐車スペースの１セットの画像を取り込むことであって、１セットの画像内の各画像は、第１の駐車経路に沿った車両の状態によって規定される視点から取り込まれることと、１セットの画像を用いて駐車スペースのモデルを構成することと、第１の駐車経路の外部にある車両の状態を規定する少なくとも１つの仮想視点を含む、第１の駐車経路の外部にある１セットの仮想視点を選択することと、駐車スペースのモデルを用いて、１セットの仮想視点から視認されるような駐車スペースの環境の１セットの仮想画像を生成することと、車両が現在の状態にある間にセンサーによって取り込まれた駐車スペースの現在の画像を少なくとも１つの仮想画像と比較することによって、車両の現在の状態を特定することと、車両のモデルを用いて、現在の状態から目標状態への第２の駐車経路を決定することと、第２の駐車経路に従って車両の運動を制御することとを含む。

いくつかの実施の形態の原理を使用する自動パーキングを利用する車両の概略図である。 いくつかの実施の形態による、第１の駐車経路に沿った学習段階中の例示的な駐車動作の概略図である。 いくつかの実施の形態による、第１の駐車経路に沿った自動パーキング段階中の例示的な駐車動作の概略図である。 いくつかの実施の形態による、第１の駐車経路とは異なる第２の駐車経路に沿った自動パーキング段階中の例示的な駐車動作の概略図である。 いくつかの実施の形態によって利用される原理を使用する駐車シナリオの一例を示す図である。 いくつかの実施の形態による、駐車スペース内に車両を駐車するための方法のブロック図である。 いくつかの実施の形態によって使用される車両座標系の一例を示す図である。 いくつかの実施の形態による、車両の幾何学的表現の例示的な概略図である。 一実施の形態による、パーキングシステムの学習段階のフローチャートである。 一実施の形態による、パーキングシステムの自動パーキング段階のフローチャートである。 いくつかの実施の形態による、自動パーキングのために適したシステムのブロック図である。 一実施の形態による、自動パーキングシステムの機能構成要素を表す図である。 いくつかの実施の形態によって学習モード中に使用される機能モジュールのブロック図である。 駐車スペースの３Ｄモデルの一例を示す図である。 座標系の原点を規定する車両の仮想状態と、対応する仮想視点との例を示す図である。 いくつかの実施の形態による、１セットの仮想視点に対して生成される例示的な仮想画像の図である。 いくつかの実施の形態による、基準データ生成のデータフローの概略図である。 一実施の形態による、自動パーキングモードにおいて使用される機能モジュールのブロック図である。 一実施の形態による、特徴照合プロセスのデータフローを示す図である。 いくつかの実施の形態による、学習モードにおいて使用される機能モジュールのブロック図である。 いくつかの実施の形態による、自動パーキングモードにおいて使用される機能モジュールのブロック図である。 異なる実施の形態によって学習モードにおいて使用される機能モジュールの別のブロック図である。 学習モードにおいて使用される機能モジュールの別のブロック図である。 一実施の形態による、駐車動作の方向を選択する例示的なインターフェースを示す図である。 一実施の形態による、駐車動作の方向を選択する別のインターフェースを示す図である。 第１の駐車経路の外部にある視点を選択するためにいくつかの実施の形態によって使用される方法のブロック図である。 第１の駐車経路の外部にある視点を選択するために一実施の形態によって使用される代替の方法のブロック図である。 いくつかの実施の形態による、車両のための例示的な非到達可能エリアの概略図である。 駐車スペースを通る車両の取り得る駐車経路の例示的な概略図である。 一実施の形態による、自動パーキングシステムの機能図である。 一実施の形態による、運動−計画システムの全体構造を示す図である。 いくつかの実施の形態による、ＶＡ−ＶＳＬＡＭフレームワークのブロック図である。 いくつかの実施の形態による、仮想画像を用いて長基線長照合問題に対処する概略図の一例を示す図である。 いくつかの実施の形態による、仮想画像を用いて駐車スペースの３Ｄモデルを再構成するための方法のブロック図である。

図１は、いくつかの実施の形態の原理を使用する自動パーキングを利用する車両の概略図を示す。車両１０１は、駐車スペースの少なくとも一部の環境を示す情報を検知する少なくとも１つのセンサーと、車両の運動を制御するコントローラーと、車両の種々の軌道を決定する少なくとも１つのプロセッサとを含む。例えば、車両１０１は、周囲カメラ１０２〜１０５と、プロセッサを用いて実現される自動パーキングシステム１０６とを含むことができる。この例において、前方カメラ１０２は、車両１０１の前方エリアを観測するためにフロントバンパー上に設置される。左カメラ１０３及び右カメラ１０４は、左側エリア及び右側エリアを観測するためにサイドミラー下に設置される。後方カメラ１０５は、後方エリアを観測するために、後部ドア上に設置される。各カメラは、自動パーキングシステム１０６に接続される。いくつかの実施態様において、各カメラは、広い画角を有し、あらかじめ較正され、１セットのカメラの観測エリア全体が車両１０１の周辺エリアを網羅する。理解されるべきであるように、異なる実施の形態は、異なる数、タイプ、場所のカメラを使用することができる。

自動パーキングシステム１０６は２つの動作段階及び／又はモード、すなわち、学習モード及び自動パーキングモードを有する。学習モードでは、運転者が車両を制御し、目標駐車スペース内に車両を駐車し、その間、システムは１セットのカメラから周囲環境の観測結果を取得し、観測結果の１セットの処理済みデータを基準データとして記憶する。自動パーキングモードでは、車両はシステムによって自動的に制御され、目標駐車スペース内に駐車される。自動パーキング中に、１セットのカメラからの入力観測結果を基準データの観測結果と照合することによって、車両の自己位置特定及び目標駐車スペースへの経路計画が実行される。

図２は、いくつかの実施の形態による、第１の駐車経路に沿った学習段階中の例示的な駐車の概略図を示す。例えば、車両１０１は第１の駐車経路５０５に沿って目標状態５０２に駐車される。本明細書において使用されるときに、車両の各状態は、車両の位置及び向きを含む。例えば、目標状態は、構造物５０３及び５０４等の障害物のない指定された駐車位置内の車両の位置及び向きを含むことができる。いくつかの実施の形態において、位置は、３Ｄ空間内の３つの自由度（３−ＤＯＦ）、例えば、（ｘ，ｙ，ｚ）座標を有し、向きは３−ＤＯＦ、例えば、（ロール、ピッチ、ヨー）角を有し、それゆえ、状態は全部で６−ＤＯＦを有する。いくつかの他の実施の形態において、状態は３−ＤＯＦとして表すことができ、２−ＤＯＦ位置、例えば、２Ｄ平面上の（ｘ，ｙ）座標と、１−ＤＯＦ向き、例えば、面内回転に対応するヨー角とを有する。３−ＤＯＦ状態表現は、計算コスト及びメモリ消費量に関して有利であり、駐車スペースが平坦な路面を有し、車両が平坦な路面上を移動する場合に使用することができ、その場合、状態は平坦な路面に対して規定することができる。

目標状態５０２において終了する第１の駐車経路による運動は、手動で、例えば、車両の運転者からの入力制御コマンドを用いて制御することができるか、自動的に、例えば、自動パーキングシステムを用いて制御することができるか、又はその組み合わせとすることができる。第１の駐車経路に沿った車両の運動中に、車両は、カメラ１０２〜１０５を用いて、駐車スペースの１セットの画像５０６を取り込む。１セットの画像５０６内の各画像は、第１の駐車経路に沿った車両の状態によって規定される視点から取り込まれる。例えば、経路５０５上の車両１０１の任意の状態において、カメラ１０３によって撮影された画像は、カメラ１０５によって撮影された画像とは異なる。しかしながら、カメラ１０３及びカメラ１０５の両方の画像及び両方の視点が、車両のカメラの配置だけでなく、車両の状態及び幾何学的形状によって明確に規定される。

図３Ａは、いくつかの実施の形態による、第１の駐車経路に沿った自動パーキング段階中の例示的な駐車の概略図を示す。図３Ｂは、いくつかの実施の形態による、第１の駐車経路とは異なる第２の駐車経路に沿った自動パーキング段階中の例示的な駐車の概略図を示す。具体的には、図３Ａに示される例において、車両は経路５０５に類似の経路に従う。図３Ｂに示されるシナリオでは、車両は異なる経路を辿り、経路５０５の始点の反対側から目標駐車スペースに接近する。

そのため、図３Ａ内の画像５０７及び図３Ｂ内の画像５０８は、画像のそれぞれにおいて建物５０３の外観(appearance)全体が観測される、取り込まれた画像の例を表す。建物５０３は、画像５０７では斜めの視野から観測され、画像５０８では前方の視野から観測され、一方、図２内の１セットの画像５０６には、前方の視野から建物５０３の観測結果は含まれないことに留意されたい。

図３Ａに示される例の場合のように、学習段階及び自動パーキング段階中の駐車経路が類似であるとき、駐車スペースの異なる画像を比較することによって、自己位置特定が可能になる。しかしながら、図３Ｂに示される例の場合のように、学習段階及び自動パーキング段階中の駐車経路が異なるとき、駐車スペースの異なる画像の比較は失敗する可能性がある。

いくつかの実施の形態は、異なる駐車経路に沿って車両を自動的に駐車するために、学習段階中に学習されたデータを再利用することが有益であるという認識に基づく。例えば、第２の、すなわち、異なる駐車経路に沿って車両を駐車するために、第１の駐車経路に沿って移動する間に学習されたデータを再利用することが有益である可能性がある。いくつかの実施の形態は、仮想画像が、外観不変性(appearance invariance)への自動自己位置特定のそのような依存性を回避するのを助けることができるという理解に基づく。例えば、将来に訪問する可能性がある新たな視点からのいくつかの新たな仮想画像を合成することができる。

そのため、いくつかの実施の形態は、カメラによって取り込まれた画像から周囲環境の３Ｄモデルを生成し、その後、３Ｄモデル内の仮想視点を設定する。本明細書において使用されるときに、仮想視点は、仮想画像を取り込むカメラの姿勢の仮想点である。例えば、仮想画像は、３Ｄモデルデータを仮想観測点における仮想画像面に再投影することによって生成することができる。

学習モードにおいて画像を取り込むために使用される視点とは異なる仮想視点が設定される。その後、１セットの仮想視点に対して１セットの仮想画像が生成される。最後に、元の画像及び仮想画像の両方から画像特徴が抽出され、自己位置特定及び自動パーキングのために使用される基準データとしてシステム内に記憶される。

図４は、いくつかの実施の形態によって利用される原理を使用する駐車シナリオの一例を示す。図４において、仮想観測点５１０及び対応する仮想画像５１１の例が示される。この例において、仮想画像５１１は、前方視野からの建物５０３の外観全体を含む。この場合、車両の第１の駐車経路５０５及び第２の駐車経路５０９が２つのモード間で異なる場合であっても、学習モードにおける基準データは、第２の駐車経路５０９に従う車両のカメラによって取り込まれた画像の特徴に類似している仮想画像５１１からの画像特徴を含むので、自動パーキングモードにおける特徴照合及びその後の自己位置特定に成功することができる。

図５は、いくつかの実施の形態による、駐車スペース内に車両を駐車する方法のブロック図を示す。その方法は、メモリに動作可能に接続されるプロセッサと、駐車スペースの少なくとも一部の環境を示す画像を取り込む少なくとも１つのセンサーと、車両の運動を制御するコントローラーとを使用する。プロセッサは、その方法を実施する記憶された命令と結合され、それらの命令は、プロセッサによって実行されるときに、その方法の少なくともいくつかのステップを実行する。

その方法は、目標状態において終了する第１の駐車経路に従って車両の運動を制御し（５２０）、第１の駐車経路に沿った車両の運動中に駐車スペースの１セットの画像を取り込む（５２５）。例えば、第１の駐車経路は経路５０５とすることができ、１セットの画像内の各画像が第１の駐車経路に沿った車両の状態によって規定される視点から取り込まれるように、駐車スペースの画像がカメラ１０２〜１０５を用いて取り込まれる。

その方法は、その１セットの画像を用いて駐車スペースのモデルを構成し（５３０）、第１の駐車経路の外部にある１セットの仮想視点を選択し（５３５）、駐車スペースのモデルを用いて、１セットの仮想視点から視認されるような駐車スペースの環境の１セットの仮想画像を生成する（５４０）。本明細書において参照されるときに、１セットの仮想視点は第１の駐車経路の外部にある車両の状態を規定する少なくとも１つの仮想視点を含む。

いくつかの実施の形態において、上記で言及されたステップは、その方法の学習段階５７０中に実行される。現実画像及び仮想画像の特徴は、その方法の自動パーキング段階５７５の自己位置特定のために記憶される。しかしながら、自動パーキング段階５７５中に特定された経路が、次の駐車のための駐車スペースのモデルを学習及び更新するための役割を果たすことができることは理解されたい。

自動パーキング段階５７５中に、その方法は、車両が現在の状態にある間にセンサーによって取り込まれた駐車スペースの現在の画像を少なくとも１つの仮想画像と比較することによって、車両の現在の状態を特定する（５５０）。仮想画像、例えば、仮想画像の幾何学的特徴との比較によって、第１の駐車経路の外部にある車両の自己位置特定が可能になる。その方法は、例えば、車両のモデルを用いて、現在の状態から目標状態への第２の駐車経路を特定し（５５５）、第２の駐車経路に従って車両の運動を制御する（５６０）。

図６Ａは、いくつかの実施の形態によって使用される車両座標系の一例を示す。車両座標系１０８の原点１０７は、車両の中心点を通る垂直線が地面１１０と交わる点と定義される。垂直線はＺ軸として設定され、Ｙ軸は、車両中心線１０９に平行になるように設定される。

図６Ｂは、いくつかの実施の形態による、車両の幾何学的表現の例示的な概略図を示す。
この例において、車両は長方形６１５として抽象化される。車両状態は３−ＤＯＦ、すなわち、後輪車軸の中点を表す位置（ｘ，ｙ）６１７と、車体軸と水平軸との間の角度を表す向きθ６１９とを含む。

図７は、一実施の形態による、学習段階５７０のフローチャートを示す。最初に、運転者（ユーザー）が、所望の駐車動作開始場所において車両の位置を特定し、学習モードを開始する（開始信号は運転者によって与えられる）。その後、運転者は、車両を目標駐車スペースに駐車するために運転し（Ｓ００１）、その駐車動作が完了したか否かを判断する（Ｓ００２）。駐車動作が完了したと運転者が判断すると、運転者は、システムに駐車動作完了信号を与える（Ｓ００３）。その後、システムは、周囲環境の３Ｄモデルを構成し（Ｓ００４）、駐車動作中の１セットの取り込まれた画像から基準データを生成する（Ｓ００５）。最後に、システムは、基準データ及び目標駐車スペースについての情報を記憶し（Ｓ００６）、学習モードを終了する。

図８は、一実施の形態による、自動パーキング段階５７５のフローチャートを示す。最初に、運転者が自動パーキングモードを開始する。初期車両場所において、システムが、１セットのカメラからの現在の観測結果を学習モードにおいて記憶された基準データと照合することによって車両の位置を特定する（Ｓ１０１）。車両が位置特定に失敗する場合には、車両は、運転者によって、又はシステムによって自動的に、別の場所に動かされる（Ｓ１０２）。ステップＳ１０１及びＳ１０２は、システムが初期位置特定に成功するまで繰り返される。初期位置特定の成功後に、システムが、現在の場所から目標駐車スペースまでの経路（ルート）を計算する（Ｓ１０３）。システムが経路計画（計算）に失敗する場合には、システムが経路計画に成功するまで、車両が上記のように動かされる（Ｓ１０２）。経路計画に成功すると、システムが、計画された経路に沿って車両を制御及び運転し（Ｓ１０４）、その後、再び、位置を特定する（Ｓ１０５）。Ｓ１０５において、位置特定は、上記のような観測結果の照合によって、又は代替的には、ヨーレート及び速度等の車両制御情報に基づくデッドレコニングによって実行される。その後、システムが、駐車動作が完了したか否かを判断する（Ｓ１０６）。駐車動作が完了していない場合には、一連のステップ（Ｓ１０３〜Ｓ１０５）が繰り返される。駐車動作が完了した場合には、システムが自動パーキングモードを終了する。

図９Ａは、いくつかの実施の形態による、自動パーキングのために適したシステム１００のブロック図を示す。システム１００は、汎用プロセッサ１６１及びメモリ１６４を含むことができる。それに加えて、又はその代わりに、システム１００は、画像プロセッサ１６６、姿勢プロセッサ１６８及び仮想画像プロセッサ１６７等の専用プロセッサを含むことができる。また、デバイス１００は、１つ以上のバス１７７に結合される複数のセンサーと、プロセッサ１６１、１６６、１６７及び１６８のうちの少なくとも１つに更に結合される信号線とを含むことができる。システム１００は、車両１０１の一部とすることができ、自動パーキングシステム１０６の機能を実施するために使用することができる。

システム１００は、カメラ１２４、３Ｄセンサー、及び／又は赤緑青奥行（ＲＧＢＤ：red-green-blue-depth）センサー（図示せず）と呼ばれる、カメラ及び３Ｄセンサーの組み合わせ等のシーンの画像を取り込むセンサーを含むことができ、任意選択で、加速度計、ジャイロスコープ、電子コンパス又は他の類似の運動検知要素等のモーションセンサー１２１を含む場合がある。また、システム１００は、前面及び／又は背面カメラ（例えば、カメラ１２４）において画像を取り込むこともできる。システム１００はユーザーインターフェース１５０を更に含むことができ、ユーザーインターフェースは、ディスプレイ１１２、キーボード及びキーパッド１５２等の入力デバイスのうちの１つ又は組み合わせを含む。必要に応じて、タッチスクリーン／センサーを備えるディスプレイ１２２に仮想キーパッドを組み込むことによって、キーボード又はキーパッド１５２を不要にすることができる。例えば、デバイス１００が携帯電話等のモバイルプラットフォームである場合には、ユーザーインターフェース１５０はマイクロフォン１５４及びスピーカー１５６を含むこともできる。いくつかの実施態様において、システム１００は、モバイル又はワイヤレスデバイスとして機能することができ、送受信機１４０を用いて１つ以上のワイヤレス通信リンクを介して通信することができる。

１つ以上の例示的な実施の形態において、上記の機能又はモジュールは、コントローラー１６０のハードウェア（例えば、ハードウェア１６２）、ソフトウェア（例えば、ソフトウェア１６５）、ファームウェア（例えば、ファームウェア１６３）又はその任意の組み合わせにおいて実現することができる。コンピュータープログラム製品としてソフトウェアにおいて実現される場合には、機能又はモジュールは、１つ以上の命令又はコードとして、非一時的コンピューター可読媒体上に記憶することができるか、又は非一時的コンピューター可読媒体を介して送信することができる。コンピューター可読媒体は、或る場所から別の場所へのコンピュータープログラムの転送を容易にする任意の媒体を含む、コンピューター記憶媒体及び通信媒体の両方を含むことができる。記憶媒体は、コンピューターによってアクセス可能である任意の市販の媒体とすることができる。一例であって、限定はしないが、そのような非一時的コンピューター可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ若しくは他の光ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、又は命令若しくはデータ構造の形で所望のプログラムコードを搬送又は記憶するために使用することができ、コンピューターによってアクセス可能である任意の他の媒体を含むことができる。

図９Ｂは、一実施の形態による、自動パーキングシステム１０６の機能構成要素の表現を示す。自動パーキングシステム１０６は３つのユニット、ユーザー入力／出力（Ｉ／Ｏ）ユニット２０１、認知及び計画ユニット２０２、及び車両制御ユニット２０３から構成される。

学習モードにおいて、認知及び計画ユニット２０２は、駐車スペースの周囲環境を表す３Ｄマップとして３Ｄモデルを構成し、３Ｄモデル内の仮想視点を決定し、仮想観測点に対する仮想画像を生成することができる。また、ユニット２０２は、当初に取り込まれた画像及び仮想画像から画像特徴を抽出し、目標駐車状態を決定し、３Ｄモデル内の３Ｄ位置への各画像特徴の２Ｄ画像位置の対応を見つけ、基準データとしての３Ｄモデル内の画像特徴及びその３Ｄ位置と、３Ｄモデル内の目標駐車スペース情報との記憶を容易にすることができる。さらに、ユニット２０２は、３Ｄモデル及び目標駐車スペース情報をユーザーＩ／Ｏユニット２０１に出力することができる。ユーザーＩ／Ｏユニット２０１は、学習モードの進捗、状況及び結果を運転者に表示する。

自動パーキングモードにおいて、認知及び計画ユニット２０２は、取り込まれた画像から画像特徴を抽出し、現在の画像特徴を学習モードにおいて記憶された基準データ内の画像特徴と照合し、照合結果によって３Ｄモデルに対する車両の位置を特定することができる。また、ユニット２０２は、現在の車両場所から目標駐車スペースへの経路を決定し、計画された経路を車両制御ユニット２０３に出力することができる。車両制御ユニット２０３は、ユニット２０２からの経路入力に基づいて、車両を制御する。

図１０は、いくつかの実施の形態によって学習モード中に使用される機能モジュールのブロック図を示す。画像取込モジュール３０１は、１セットのカメラを制御し、画像を取り込む。画像記憶モジュール３０２は、取り込まれた画像を記憶する。

３Ｄモデル生成モジュール３０３は、ＳＦＭ（structure from motion）及びＶＳＬＡＭ（visual simultaneous localization and mapping）等の３Ｄ再構成技法によって、取り込まれた画像から３Ｄモデルを生成する。これに関連して、３Ｄモデルは、各点がその元の画像（２Ｄ）点に対応する３Ｄポイントクラウド（3D point cloud）と定義される。これは、ポイントクラウド内の各点が３Ｄモデル内の３Ｄ位置を有するだけでなく、元の画像位置及び色（ＲＧＢ）、強度及び／又は特徴情報も有することを意味する。いくつかの実施の形態において、ポイントクラウドの座標系は、学習モードにおいて或る特定の車両場所における車両座標系に従って設定される。例えば、車両座標系は、学習モードの開始場所又は終了場所における３Ｄモデルの座標系とすることができる。

図１１は、３Ｄモデルの一例を示す。図１１において、座標系６０３を伴う３Ｄモデル６０２（極めて密なポイントクラウドを有すると仮定される）は、学習モードにおいて取り込まれる１セットの画像６０１から生成される。

目標駐車スペース決定モジュール３０４が、３Ｄモデル内の目標駐車スペースを決定する。運転者が学習モードにおいて駐車動作を完了するスペースが、目標駐車スペースとして設定され、その場所が３Ｄモデルにおいて表される。種々の表現形式を考えることができる。例えば、その場所を３Ｄモデル内の車両座標系の位置及び向きによって表すことができる。代替的には、その場所を車両の２Ｄ又は３Ｄ境界ボックスの形で表すことができる。目標駐車スペース記憶モジュール３０５が、目標駐車スペース情報を記憶する。

仮想観測点決定モジュール３０６が、３Ｄモデル内の仮想視点を決定する。一実施の形態において、仮想視点は、３Ｄモデル内の点、例えば、車両の状態をランダムに、又は定期的に選択することによって決定される。次に、カメラ較正データ（車両座標系に対する相対的な位置及び向き）に基づいて、仮想車両座標系ごとに、１セットの仮想カメラ、例えば、４つのカメラ照合用カメラ１０２〜１０５が設定される。各仮想カメラ座標系の原点は、仮想観測点と見なすことができ、それゆえ、この時点において、１セットの仮想カメラによって４つの仮想観測点を決定することができる。

図１２は、座標系６１１の原点及び対応する仮想観測点６１２〜６２３を規定する、車両の仮想状態６１０の例を示す。この図において、図１１における３Ｄモデル６０２の上方から見た（鳥瞰）マップの形でマップが示される。

仮想画像生成モジュール３０７が、仮想観測点に関する１セットの仮想画像を生成する。異なる実施の形態は、仮想視点を与えられると、異なる方法を用いて仮想フレームを生成する。例えば、仮想視点は、１セットの画像からの少なくとも１つの画像をワーピングすること、シーンのモデルを仮想視点に投影すること、及び平面誘発ホモグラフィ（plane-induced homography）のうちの１つ又は組み合わせを用いて生成することができる。

例えば、一実施の形態において、仮想視点は現実画像と同じ視認位置を有し、向きに関してのみ異なる。この実施の形態において、ｐ_ｖ＝Ｈｐ_ｒによって、現実フレーム内のピクセルｐ_ｒから新たなフレーム内の全てのピクセルｐ_ｖをワーピングすることによって仮想フレームを生成することができる。ただし、ｐ_ｖ及びｐ_ｒはピクセルの２Ｄ同次座標であり、Ｈは

によって定義される３×３ホモグラフィ行列であり、Ｒは現実の視点に対する仮想視点の向きに対応する３Ｄ回転行列であり、Ｋ_ｖ及びＫ_ｒはそれぞれ、３×３仮想及び現実カメラ内部行列（camera intrinsic matrix）である。

例えば、別の実施の形態において、仮想画像は、３Ｄモデル生成モジュール３０３によって再構成されたシーン６０２を記述する密なポイントクラウドから直接生成することができる。例えば、一実施態様において、密なポイントクラウドから、このシーンのテクスチャ付きメッシュモデル（textured mesh model）を作成することができる。その後、このテクスチャ付きメッシュが、所与の仮想視点に設定された仮想カメラの姿勢（すなわち、ＯｐｅｎＧＬの用語においてモデル−ビュー行列）とともに、ＯｐｅｎＧＬ等のグラフィックスパイプラインに提示され、その射影行列が、通常、現実カメラの内部行列と同じであるか、又はそれに近い所望のカメラ内部行列によって設定される。この時点で、ＯｐｅｎＧＬパイプラインの色バッファからＲＧＢ情報が抽出され、奥行バッファから奥行情報が抽出される。このようにして、所望の仮想視点においてＲＧＢＤ画像の仮想フレームが生成される。

更に別の実施の形態において、そのシーンの３Ｄポイントクラウドが相対的に疎であるとき、平面誘発ホモグラフィを用いて生成される。この事例では、多くの場合にピクセル当たりの３Ｄ情報が不足しているので、画像内のピクセルごとに、遠方の仮想視点から仮想画像を生成するのは難しい。先行する２つの事例のような密な仮想画像を生成する代わりに、いくつかの実施の形態は、あらかじめ推定された３Ｄ情報、すなわち、現実画像内の全ての特徴点を用いてピクセル位置に集中する疎な仮想画像を生成することができる。この生成プロセスは、以下に説明される、平面誘発ホモグラフィを使用する画像ベースワーピングを通して行うことができる。特徴点の対応するランドマークが局所的に小さい平面（ｎ_ｗ，ｄ_ｗ）であると仮定する。ただし、ｎ_ｗは世界座標系内の平面の法線方向であり、ｄ_ｗはその平面への世界原点の距離である。この特徴点が、世界内のその姿勢が

である現実フレーム内であらかじめ観測されており（ただし、Ｒ_ｒ及びｔ_ｒはそれぞれ現実カメラの３Ｄ回転行列及び並進ベクトルである）、所与の仮想視点の姿勢が

である場合には（ただし、Ｒ_ｖ及びｔ_ｖはそれぞれ仮想カメラの３Ｄ回転行列及び並進ベクトルである）、多視点幾何学理論から、現実フレームと、同じ局所平面を観測することによって誘発される仮想フレームとの間のホモグラフィ行列を以下のように見つけることができる。

ただし、

であり、Ｋ_ｖ及びＫ_ｒはそれぞれ３×３仮想及び現実カメラ内部行列である。

このホモグラフィ行列を用いて、現実画像上のパッチとしてこの特徴点及びその隣接するピクセルを仮想画像上のパッチにワーピングすることができる。このワーピングされたパッチは、現実カメラが仮想姿勢Ｔ_ｖから対応するランドマークを観測する場合に観測されると予想されるものを表す。現実画像上の特徴点ごとにこのワーピング演算を繰り返すことによって、疎な特徴を有する仮想画像が生成される。

図１３は、いくつかの実施の形態による、３Ｄモデル６０２内の１セットの仮想視点６３０に関して生成された例示的な仮想画像６３１の図を示す。この例において、仮想画像は３Ｄモデルを介して生成されるので、そのシーン内の物体（例えば、建物及び家屋）の幾何学的形状は仮想画像において歪まない。

画像特徴抽出モジュール３０８が画像特徴を抽出する。例えば、画像内の端点が検出され、その後、各端点の局所的特徴（例えば、ＳＩＦＴ、ＳＵＲＦ等）が計算される。

基準データ生成モジュール３０９が、各画像特徴（モジュール３０８において抽出される）を、３Ｄモデル内の３Ｄ位置に関連付ける。一対の画像特徴及び関連する３Ｄ位置が基準データとして規定される。

図１４は、いくつかの実施の形態による、基準データ生成のデータフローの概略図を示す。画像特徴抽出モジュール３０８が、１セットの当初に取り込まれた画像６０１及び１セットの仮想画像６３１に関する画像特徴６５０を抽出する。この時点で、各画像２Ｄ位置は、３Ｄモデル内の３Ｄ位置に関連付けられる。結果として、画像特徴及び３Ｄ位置の複数の対が基準データ６５１として生成される。基準データ記憶モジュール３１０が基準データを記憶する。

ユーザー出力モジュール３１１が、学習モードの中間情報及び結果として生じる情報を、理解しやすいようにユーザーに表示する。例えば、３Ｄモデルの簡略化された鳥瞰図がユーザーに表示され、その図において、開始場所、目標駐車スペース、及び学習モードにおいて辿った駐車経路が視覚化される。

図１５は、一実施の形態による、自動パーキングモードにおいて使用される機能モジュールのブロック図を示す。画像取込モジュール３０１及び画像特徴抽出モジュール３０８は学習モード内のモジュールと同じである。しかしながら、自動パーキングモードでは、画像取込モジュール３０１が、１セットの画像、例えば、フレームごとに４つの画像を画像特徴抽出モジュール３０８に直接出力する。

基準データ照合モジュール３１２が、入力画像特徴を、学習モードにおいて生成された基準データ内の画像特徴と照合する。照合結果に基づいて、各基準データが画像特徴類似度スコアによってランク付けされ、上位Ｎ個の基準データ（Ｎは定数であり、あらかじめ規定される）が選択される。特徴ベクトル間のユークリッド距離が類似度指標の一例である。照合後に、３Ｄ位置は、照合された基準データの３Ｄ点に基づいて、各画像特徴に関連付けられる。

図１６は、一実施の形態による、特徴照合プロセスのデータフローを示す。最初に、１セットの入力画像６６０の画像特徴が、画像特徴類似度に基づいて、基準データ６５１と照合される。その後、照合された基準データの３Ｄ位置が各入力画像特徴に関連付けられる。結果として、１セットの照合結果６６１が生成される。

車両位置特定モジュール３１３が、モジュール３１２から出力された照合結果から、車両の現在の状態、すなわち、現在フレームにおける３Ｄモデル内の車両の位置及び向きを計算する。２Ｄ画像特徴と３Ｄモデル内の３Ｄ位置との間の対応はこの時点で既知であるので、各カメラの３Ｄ位置及び向きは、パースペクティブｎポイントアルゴリズムと呼ばれる或る種のアルゴリズムを用いて計算することができる。さらに、各カメラは車両座標系（その関係が既知である）に対して較正されるので、各カメラの３Ｄ位置及び向きによって車両の３Ｄ位置及び向きも計算することができ、すなわち、車両の位置を３Ｄモデル内で特定することができる。

経路計画モジュール３１４が、位置特定結果に基づいて、現在の車両場所から目標駐車スペースまでの駐車動作のための経路を計算する。車両制御モジュール３１５が、経路計画モジュール３１４において計算された経路に沿って車両が移動するように車両を制御する。

図１７及び図１８は、いくつかの実施の形態による、学習モード及び自動パーキングモードにおいてそれぞれ使用される機能モジュールのブロック図を示す。この実施の形態において、基準データは、学習モードではなく、自動パーキングモードにおいて生成される。

学習モードでは、３Ｄモデル記憶モジュール８０１が３Ｄモデルを記憶し、画像特徴記憶モジュール８０２が１セットの画像特徴を記憶する。自動パーキングモードでは、基準データ生成モジュール３１０が、学習モードにおいて記憶された３Ｄモデル及び画像特徴から基準データを生成する。

図１９は、異なる実施の形態によって学習モードにおいて使用される機能モジュールの別のブロック図を示す。３Ｄモデル解析モジュール３２０が、２Ｄ平面当てはめに基づく道路シーン分割、又はテクスチャ、色及び勾配に基づく道路領域検出等の分割手法によって、３Ｄモデル内の運転（駐車動作）のための空き地（道路領域）を検出する。さらに、モジュール３２０は、機械学習技法によって、建物、家屋又は標識等の特定の静止物体も検出する。

仮想観測点決定モジュール３０６が、空き地上、及びランダムに、又は定期的にモジュール３２０において検出された特定の物体の周りにおいて、仮想車両原点及び座標系を設定する。その後、仮想車両座標系に従って、仮想観測点が決定される。

この実施の形態によれば、仮想観測点をより効率的に設定できるようになる。システムが空き地上で密に、かつ均一に仮想観測点を設定する場合には、全ての入力画像が常に空き地上のいずれかの場所において取り込まれるので、自動パーキングモードにおける入力画像と類似性の高い外観及び画像特徴を有する可能性がある仮想画像を生成することができる。さらに、特定の物体の周りに仮想観測点を設定することによって、その実施の形態は、密な画像特徴を生成することができる。結果として、この実施の形態によれば、自動パーキングが、より安定し、ロバストになる。

図２０は、学習モードにおいて使用される機能モジュールの別のブロック図を示す。ユーザー入力モジュール３３０が、運転者の入力を受信し、それらの入力を仮想観測点決定モジュール３０６に出力する。この実施の形態では、仮想観測点決定モジュール３０６は、ユーザー（運転者）入力に基づいて、仮想視点を決定する。

ユーザー入力モジュール３３０は、運転者が３Ｄモデル内の仮想観測点のソース情報を直観的に指定できるようにするインターフェース機能を提供し、一方、ユーザー出力モジュール３１１が、運転者が周囲環境を直ちに理解することができるように、３Ｄモデル及び解析結果（３Ｄモデル解析モジュール３２０において検出された空き地及び特定の静止物体）をインターフェースデバイス上に理解しやすいように表示する。

例えば、インターフェースデバイスとしてタッチパネルディスプレイを想定する。ユーザー出力モジュール３１１は、３Ｄモデルの上方から見た図を表示し、その図には、空き地及び物体がパネル上にそのラベルとともに表される。その後、運転者は、表示されたマップ上で仮想観測結果を得るための所望の点をタッチ動作によって指定し、一方、ユーザー入力モジュール３３０が運転者の入力を受信する。ユーザー入力モジュール３３０が、点データを仮想観測点決定モジュール３０６に出力する。

図２１は、一実施の形態による、駐車動作の方向を選択する例示的なインターフェースを示す。この図において、目標駐車スペース４０２、物体（建物及び家屋）４０３及び４０４、空き地（道路領域）４０５、学習モードにおいて辿った駐車経路４０６、及び指定された仮想観測点４０７が、３Ｄモデル４０１の鳥瞰図内に視覚化される。この例において、指定された仮想観測点４０７は、運転者の直観的な操作を支援するために、カメラ形のアイコンの形で視覚化される。

図２２は、一実施の形態による、駐車動作の方向を選択する別のインターフェースを示す。この例では、運転者が、鳥瞰マップ上に所望の駐車経路を描くことによって、仮想観測点を指定することができる。

駐車動作４０８の所望の駐車経路又は方向は、この図では鳥瞰マップ４０１において視覚化される。ユーザー入力モジュール３３０が、経路の形をとる運転者からの入力を仮想観測点決定モジュール３０６に出力し、仮想観測点決定モジュール３０６が、線形経路情報を離散点系列情報に変換することによって、指定された経路とともに仮想観測点を生成する。この実施の形態は、自動パーキングシステムの利用可能性を向上させる。すなわち、運転者は、自動パーキングシステムを、運転者の要求に合うように、より容易に、かつ直観的に使用することができる。

図２３Ａは、第１の駐車経路の外部にある視点を選択するために複数の実施の形態によって使用される方法のブロック図を示す。それらの実施の形態において、その方法は、ディスプレイデバイス上に駐車スペースのモデルの表現をレンダリングする（２３１０）のに応答して、駐車動作の方向の選択を受信する（２３２０）。この選択は、選択された方向から目標状態に接近する第２の駐車経路を決定する（２３３０）ために使用される。例えば、その方向に従って車両の状態が選択され、車両のモデルを用いて第２の駐車経路が決定される。第２の経路が決定された後に、第２の駐車経路上で１セットの仮想視点が選択される（２３４０）。

図２３Ｂは、第１の駐車経路の外部にある視点を選択するために一実施の形態によって使用される代替の方法のブロック図を示す。この実施の形態では、ユーザーからの入力を用いることなく、視点が選択される。具体的には、この実施の形態は、障害物のない駐車スペースの部分を検出する（２３５０）。例えば、駐車スペースの障害物のない部分は、図１９に関して説明されたように、駐車スペースのモデルの分割手法を用いて特定することができる。

その実施の形態は、駐車スペースの一部をサンプリングし（２３６０）、１セットのサンプリングされた状態を生成し、１セットのサンプリングされた状態から１セットの視点を選択する。一実施の形態において、全てのサンプリングされた状態が仮想視点として使用される。いくつかの代替の実施の形態は、到達可能性（reachability）基準を用いてサンプリングを実行する。到達可能性基準によれば、そのサンプルが目標状態から到達可能である場合にのみ、状態空間内のサンプルが保存される。一実施の形態において、到達可能性を試験するために車両の動態の使用を回避するために、到達可能性は非到達可能性の欠如と定義され、非到達可能性は、車両の両側付近の所定のエリアである。

図２３Ｃは、車両の位置及び向きを規定する状態２３９１における車両１０１のための例示的な非到達可能エリア２３９３及び２３９７の概略図を示す。この例において、非到達可能エリアは、状態２３９１において開始し、車両のハンドルを最大まで左に、又は右に切った状態で所定の速度で移動する車両運動の円によって表される。目標状態２３９０が非到達可能エリア２３９３及び２３９７内にある場合には、状態２３９１は破棄される。そのため、この実施の形態は、車両のモデルを用いて、サンプリングされた状態からの目標状態の到達可能性を試験し（２３７０）、サンプリングされた状態から目標状態が到達可能である場合には、サンプリングされた状態に対応する視点を１セットの視点に選択する（２３８０）。

種々の実施の形態において、経路計画はあらかじめ実行されるか、又はリアルタイムに実行される。例えば、事前の経路計画は、異なる方向から目標状態に至る異なる駐車経路をあらかじめ決定することができる。それらの状況では、方向４０８によって、所定の駐車経路から第２の駐車経路を選択できるようになる。それに加えて、又はその代わりに、いくつかの実施態様において、方向４０８によって示されるような駐車スペースの空き地がサンプリングされ、第２の駐車経路等の代替の駐車経路を決定するために、車両のサンプリングされた状態が使用される。

図２４は、駐車スペースを通る、車両１０１の取り得る駐車経路の例示的な概略図を示す。この例において、カメラは、星印で表され、１セットの視点に対応する状態｛Ｘ_０，Ｘ_１，Ｘ_２，…Ｘ_Ｍ−１，Ｘ_Ｍ｝においてのみ画像を取り込む。それらの状態は、グラフ２４１０を成長させるためのシードとして使用される。グラフ２４１０は、エッジと接続される複数のノードを有する。各ノードは車両の状態を規定し、２つのノードを接続する各エッジは、２つのノード間の実現可能な経路を規定する。そのため、任意のノードから、そのノードを目標ノードに接続するエッジを通って、目標状態の目標ノード１９５までの経路が、取り得る駐車経路である。

グラフのノードは、仮想画像を決定するための仮想視点として選択される。ノード１９１、１９２、１９３、１９４、１９５等の丸印及び星印を用いて表されるノードに対応する仮想画像からの特徴が基準データとして使用される。自動パーキング段階中に、車両の現在の位置がノードのうちの少なくとも１つに近い場合には、そのノードから目標状態１９５への経路をグラフ２４１０から容易に選択することができる。

グラフ２４１０は、車両のモデル、例えば、動的及び／又は運動学的モデルを用いて生成することができる。本明細書において使用されるときに、車両の動的モデルは、車両の状態の経時的変化を考慮に入れる。動的モデルは通常、微分方程式によって表される。一実施の形態において、車両の動的モデルは５次の微分方程式である。

ただし、ｖは前輪の速度であり、ζは前輪と車両の向きとの間の角度であり、ａ_１は並進加速度であり、ａ_２はステアリング角速度であり、ｌは（ｘ，ｙ）と前輪の中点との間の距離である。

経路計画のために、いくつかの実施の形態は、車両の質量又は運動を引き起こした力を考慮することなく、車両の運動を記述する車両の運動学的モデルを使用する。

一実施の形態において、以下の運動学的モデルが検討される。

ただし、ｕ_１＝ｃｏｓ（ζ）ｖは、後輪車軸の中点の速度であり、ｕ_２＝ｔａｎ（ζ）ｕ_１／ｌである。

経路が運動学的モデル（２）の解である場合には、その経路は運動学的に実現可能である。位置Ｘに位置する車両が任意の障害物と衝突せず、駐車スペースの境界の完全に内側に存在する場合にのみ、車両状態Ｘ＝（ｘ，ｙ，θ）は無衝突である。初期状態１０１は、略してＸ_０＝（ｘ_０，ｙ_０，θ_０）と表され、目標状態１０２はＸ_ｆ＝（ｘ_ｆ，ｙ_ｆ，θ_ｆ）によって表される。長方形Ｌ×Ｈによって表される駐車スペースでの特定の駐車作業の場合、車両状態は常に状態空間Ｘ：［０，Ｌ）×［０，Ｈ）×［０，２π）に属する。

図２５Ａは、一実施の形態による、自動パーキングシステムの機能図を示す。環境マッピング及び位置特定ブロック２０１が駐車スペースのモデルを構成又は更新し、環境及び車両動作条件を検知することによって車両の現在の場所を特定する。例えば、マッピング及び位置特定ブロック２０１は、位置特定ブロック３１３を含むことができる。例えば、マッピング及び位置特定ブロック２０１は、慣性測定ユニットも含むことができ、慣性測定ユニットは、３軸加速度計（複数の場合もある）、３軸ジャイロスコープ（複数の場合もある）及び／又は磁力計（複数の場合もある）を含むことができ、車両の動作を検知するために使用することができる。全地球測位システムセンサーを用いて、車両の位置及び速度を与えることができる。環境２００を検知するセンサーは、他の車両、歩行者及び建物を含む障害物を捕捉するビデオカメラ、車両と障害物との間の距離を検出する超音波／レーダーセンサーとすることができる。

目標状態選択ブロック２０１が、駐車場候補を識別することによって、車両を駐車する駐車位置に関する目標状態を選択し、目標状態を運動計画ブロック２０３に送信する。一実施の形態において、利用可能な駐車位置は、駐車場ビルの管理に関連付けられる別のシステムによって追跡される。それに加えて、又はその代わりに、駐車位置は、自動パーキングシステムのセンサー２０３を用いて検出することができる。運動計画２０３は、車両モデル２１０、車両の開始状態及び目標状態、並びに駐車スペースのマップに基づいて、駐車経路２４１を決定する完全な運動計画手順を開始する。一実施の形態において、駐車経路は、経時的な車両速度及びステアリング角のプロファイルを規定する。別の実施の形態において、駐車経路は、経時的な車両状態（ｘ，ｙ，θ）のプロファイルを規定する。

駐車経路２４１を与えられると、車両コントローラー及びアクチュエーター２０４が、駐車経路が状態プロファイルである場合には、車両状態が基準軌道２４１を追跡するように強制し、駐車経路が車両速度及びステアリング角プロファイルである場合には、車両速度及びステアリング角が駐車経路を追跡するように強制する制御コマンドを決定し、実行する。一実施の形態において、制御コマンドはアクセルペダル圧又はステアリングトルクとすることができる。また、車両コントローラー／アクチュエーターは、信号２４３を用いて、制御コマンドを決定することができる。信号２４３は、測定されたステアリング角、又はハンドル若しくはアクセルペダルを動かすモーターの測定された電流とすることができる。

図２５Ｂは、一実施の形態による、運動計画システム２０３の全体構造を示す。運動計画システム２０３は、運動計画システム２０３のモジュールを実行するための少なくとも１つのプロセッサ２７０を含む。プロセッサ２７０はメモリ２８０に接続され（２７１）、メモリは、車両の幾何学的形状及び駐車スペースのモデル等の幾何学的情報２８１を記憶する。また、メモリ２８０は、車両の運動学的モデル及び車両の動的モデル等の車両２８２のモデルを記憶することもできる。また、メモリ２８０は、限定はしないが、車両の初期状態、駐車された車両の目標状態を含む、運動計画器の内部情報２８３を記憶することもできる。いくつかの実施の形態において、メモリ２８０は、自動パーキングのための方法を実施する記憶された命令を含むことができ、それらの命令は、プロセッサ２７０によって実行されるときに、その方法の少なくともいくつかのステップを実行する。

いくつかの実施の形態は、仮想画像を更に用いて、駐車スペースのモデルの密度及び精度を高めることができるという認識に基づく。例えば、いくつかの実施の形態は、シーンの３次元（３Ｄ）モデルを再構成するための視覚センサーデータ入力として画像を使用する視覚的同時位置特定及びマッピング（ＳＬＡＭ：simultaneous localization and mapping）を使用する。いくつかの実施の形態は、センサーの姿勢を追跡するために使用される画像の数を削減して、そのシーンの３Ｄモデルを構成するのに適した、そのような視覚的ＳＬＡＭ（ＶＳＬＡＭ）を提供するために、自動パーキングのために生成された仮想画像を使用する。そのようなＶＳＬＡＭは、本明細書において、仮想的に拡張された（virtually-augmented）ＶＳＬＡＭ（ＶＡ−ＶＳＬＡＭ）と呼ばれる。ＶＡ−ＶＳＬＡＭは、従来のＶＳＬＡＭより少ない数の画像でそのシーンの類似のモデルを構成することができるか、又は代替的には、同じ数の画像で、従来のＶＳＬＡＭより良好な、そのシーンのモデルを構成することができる。そのため、少ない数の画像を用いて、ＶＡ−ＶＳＬＡＭは計算能力及びメモリ使用量を削減することができ、軌道と、その後の、環境マップを作成するセンサーとを簡単にすることができる。代替的には、同じ数の画像を用いて、ＶＡ−ＶＳＬＡＭは、より高い精度で３Ｄモデルを生成することができ、結果として、３Ｄモデルを使用する自己位置特定の精度が高くなる。

図２６Ａは、１つ以上のカメラの６Ｄ姿勢（位置及び向き）と、幾何学的周囲物の３Ｄ記述との両方を推定するためにＶＳＬＡＭフレームワーク２６１０を利用するいくつかの実施の形態によるＶＡ−ＶＳＬＡＭフレームワーク２６００のブロック図を示す。ＶＡ−ＶＳＬＡＭフレームワークは、いくつかの実際の視認姿勢からカメラ及び／又はセンサーによって取り込まれた現在観測されている現実画像に関する１セットの特徴と、いくつかの仮想的な視認姿勢から仮想カメラによって観測された仮想的に生成された画像に関する１セットの特徴とを照合することによって機能する。その方法のステップは、１セットの画像を記憶するメモリ１６４等のメモリに接続され、その方法を実施するソフトウェア１６５等の記憶された命令と結合される、汎用プロセッサ１６１及び／又は専用プロセッサ１６６、１６７及び１６８等のプロセッサによって実行することができる。それらの命令は、プロセッサによって実行されるときに、ＶＡ−ＶＳＬＡＭフレームワーク２６００の方法の少なくともいくつかのステップを実行する。

ＶＡ−ＶＳＬＡＭフレームワーク２６１０は以下のように機能する。画像の１セットの現実フレーム｛Ｆ_ｉ｝が、いくつかの特徴抽出器によって処理され、画像の各フレームＦ_ｉに関する１セットの特徴

が選択される。フレームＦ_ｉは、１チャネルのグレー情報若しくは３チャネルのＲＧＢ情報を伴う通常の２Ｄ画像、及び／又は第４のチャネルがピクセルの奥行、すなわち、カメラ中心と、そのピクセルの光線方向に沿った最も近い物体との間のカメラ視認方向に沿った距離を記述する、４チャネルのＲＧＢＤ情報を伴う３Ｄ画像を含むことができる。ピクセルの光線方向を特定するプロセスは、ピクセルの逆投影法として知られており、カメラの内部パラメーターを使用することによって実行することができる。例えば、特徴

は、この特徴が幾何学的形状又は外観のいずれかに関してその隣接領域と著しく異なる限り、フレームＦ_ｉが２Ｄ画像である場合には２Ｄ点とすることができ、フレームＦ_ｉが３Ｄ画像である場合には３Ｄ点とすることができる。特徴抽出器の例は、Ｈａｒｒｉｓ、ＦＡＳＴ又はＯＲＢキーポイント検出器を含む。

その後、特徴

及び特徴

がそのシーン内のランドマーク又は対象点と呼ばれる同じ物理領域に対応するような、対応する特徴対｛（ｊ，ｊ’）｝を見つけるために、この特徴セットｆ^ｉが別の１セットの特徴ｆ’と照合される。そのような照合は、対象点の位置を特定し、その記述を生成するスケール不変特徴変換（ＳＩＦＴ：Scale Invariant Feature Transform）、スピードアップロバスト特徴（ＳＵＲＦ：Speed Up Robust Features）、勾配場所−向きヒストグラム（ＧＬＯＨ：Gradient Location-Orientation histogram）、ＯＲＢ、若しくは他の同等の技法等の種々の特徴記述方法、及び／又はＲＡＮＳＡＣ等のサンプリングベース方法を通して行うことができる。

対応する特徴対を用いて、視覚的ＳＬＡＭ２６１０は、特徴セットｆ’がいかに構成されるかに応じて、先行して観測された１つのフレームＦ_ｋに対して、又は先行して観測された全てのフレームを含むマップ２６４０

に対して、このフレームＦ_ｉの姿勢２６２０を追跡することができる。追跡される姿勢及び特徴対応は、マップ２６４０を更に更新するために使用される、フレームの最良の６−ＤＯＦ姿勢、及び特徴の３Ｄ幾何学記述を見つけるために、バンドル調整２６３０に送られる。

異なる視点からの複数の３Ｄ点を表す１セットの画像を与えられると、バンドル調整２６３０は、全ての点の対応する画像投影を伴う最適性基準に従って、シーン幾何学を記述する３Ｄ座標の精緻化、カメラの相対運動のパラメーター、及び画像を取り込むために利用されるカメラ（複数の場合もある）の光学特性のうちの１つ又は組み合わせを同時に解く問題と定義することができる。

一実施の形態において、バンドル調整は、観測される画像点及び予測される画像点の画像場所間の再投影誤差を最小化することを含み、再投影誤差は、多数の非線形実数値関数の二乗和として表される。このようにして、最小化は非線形最小二乗法を用いて達成される。例えば、一実施の形態は、実施するのが容易であること、及び広範な初期推測から迅速に収束する能力を与える実効的な減衰方式を使用することに起因して、レーベンバーグ・マーカート最適化を使用する。現在の推定値の近傍において最小化されるように関数を繰り返し線形化することによって、レーベンバーグ・マーカート法は、正規方程式と呼ばれる連立一次方程式を解くことを伴う。バンドル調整のフレームワークにおいて生じる最小化問題を解くとき、正規方程式は、異なる３Ｄ点及びカメラに関するパラメーター間の相互作用の欠如に起因して、疎なブロック構造を有する。正規方程式のゼロのパターンを明示的に利用し、ゼロ要素の記憶及び演算を回避する、レーベンバーグ・マーカートアルゴリズムの疎な変形形態を利用することによって、これを利用して計算に関する恩恵を受けることができる。

いくつかの実施の形態のＶＡ−ＶＳＬＡＭは、シーン２６４０の３Ｄマップ又は３Ｄモデルを構成するために取り込まれる画像２６１５の数を削減することを目的とする。そのため、いくつかの実施の形態は、画像２６１５が相対的に離れた視点から取り込まれる必要があるという認識に基づく。そのようにして、少ない画像を用いて、シーンの複雑な部分を取り込むことができる。しかしながら、そのような手法は、姿勢追跡２６２０に根差している長基線長照合問題を引き起こす。具体的には、異なる視点から視認された同じランドマークの外観が著しく変化する可能性があるため、２つの離間した視野から観測されるランドマークがＶＳＬＡＭ照合プロセスによって見逃される可能性がある。

そのため、ＶＡ−ＶＳＬＡＭフレームワーク２６００は、仮想フレーム又は画像２６５５の概念を適用し、上記で言及された限界に対処する仮想画像生成器２６５０を含む。ＶＡ−ＶＳＬＡＭは、既存の特徴照合方法において限界がある視点不変性に単に頼るのではなく、現実画像上で観測された特徴を仮想的に観測された画像上の特徴に明示的に変換する。

仮想フレーム生成器２６５０は、画像２６１５を変換して、仮想視点から視認されたシーンの仮想画像｛Ｖ_ｉ｝２６５５を生成する。これらの仮想画像は、その後、視覚的ＳＬＡＭ２６１０に提示され、仮想特徴

が抽出され、姿勢追跡器が位置特定ロバスト性及び精度を改善するのを助けるとともに、ＳＬＡＭマップを

として増補する。

図２６Ｂは、いくつかの実施の形態による、仮想画像を用いて長基線長照合問題に対処する概略の一例を示す。この例では、画像２６６０、２６７０及び２６９０は、異なる姿勢を有するセンサーによって取り込まれた現実画像であり、すなわち、画像２６６０、２６７０及び２６９０は異なる視点を有する。画像２６８０は、仮想視点を有する仮想画像である。画像２６６０及び２６７０の視点は互いに相対的に近い。そのため、画像２６６０及び２６７０は、そのシーン内の同じ特徴に対応するランドマーク２６６５及び２６７５を含み、すなわち、ランドマーク２６６５及び２６７５のピクセルは、そのシーン内の同じ点Ｐに対応し、類似の幾何学的形状及び／又は外観を有する。三角測量又は任意の他の適切な計算技法を用いて、そのシーン内の点Ｐの座標２６２５を計算することができる。しかしながら、点Ｐの座標を特定するために２つの画像のみが使用されるとき、そのような座標は不正確な場合がある。

また、画像２６９０は、そのシーン内に、ランドマーク２６６５及び２６７５と同じ点Ｐを表すランドマーク２６９５を含む。しかしながら、画像２６９０の視点は、画像２６６０及び２６７０の視点とは異なるので、ランドマーク２６９５は異なる外観を有し、ランドマーク２６６５及び２６７５と照合することはできない。しかしながら、仮想画像２６８０の視点は画像２６９０の視点に近く、ランドマーク２６６５及び２６７５と同じ点Ｐに対応するランドマーク２６８５は、ランドマーク２６９５に類似の外観を有し、ランドマーク２６９５と照合することができる。そのようにして、いくつかの実施の形態は、ランドマーク２６６５、２６７５及び２６９５がそのシーン内の同じ点Ｐに対応すると判断することができる。そのため、画像２６９０の姿勢を用いて、点Ｐの座標を点Ｐ’の座標２６３５に更新することができる。そのようにして、仮想画像を使用することにより、そのシーンのモデルの精度が高められる。

同様に、画像２６７０は、そのシーン内の点Ｑに対応するランドマーク２６７７を含む。また、画像２６９０は、そのシーン内に、ランドマーク２６７７と同じ点Ｑを表すランドマーク２６９７を含む。しかしながら、画像２６９０の視点は画像２６７０の視点とは異なるので、ランドマーク２６９７は異なる外観を有し、ランドマーク２６７７と照合することはできない。そのため、点Ｑの座標は未知であり、点Ｑはそのシーンのモデルに追加することはできない。

しかしながら、仮想画像２６８０の視点は画像２６９０の視点に近く、ランドマーク２６７７と同じ点Ｑに対応するランドマーク２６８７はランドマーク２６９７に類似の外観を有し、ランドマーク２６９７と照合することができる。そのようにして、いくつかの実施の形態は、ランドマーク２６７７及び２６９７がそのシーン内の同じ点Ｑに対応すると判断することができる。そのため、画像２６９０の姿勢を用いて、点Ｑの座標２６４５を特定することができ、点Ｑをそのシーンのモデルに追加することができる。そのようにして、仮想画像を使用することによって、仮想画像を使用しなければ必要であった画像より少ない画像で、そのシーンのモデルの密度が高められる。

図２７は、いくつかの実施の形態による、仮想画像を用いて駐車スペースの３Ｄモデルを再構成するための方法のブロック図を示す。その方法は、１セットの画像２７１０からの画像を変換し（２７２０）、仮想視点から視認されたシーンの１セットの仮想画像２７２５を生成する。１セット２７１０及び２７２５のサイズは同じとすることができるか、又は異なることができる。一実施の形態において、仮想画像は、１セット２７１０からの現実画像が互いに照合するのに失敗するときに必要に応じて生成される。それに加えて、又はその代わりに、仮想画像は先を見越して生成することができる。

次に、その方法は、画像２７１０及び仮想画像２７２５からの少なくともいくつかの特徴を比較し（２７３０）、１セットの画像内の各画像の視点２７３５を特定し、そのシーンのモデル２７４５内の少なくとも１つの点の３Ｄ座標を更新し（２７４０）、２つの画像の視点に従って、その点に対応する少なくとも２つの画像のピクセルからの光線の逆投影法の交点の座標を照合する。例えば、異なる画像２７１０からの異なるピクセルが互いに照合されるので、いくつかの実施の形態は、ステレオ三角測量及び／又はシート光三角測量（sheet of light triangulation）を用いて、シーンの奥行を特定することができる。

本発明の上記で説明した実施の形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施の形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピューターに設けられるのか又は複数のコンピューター間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。ただし、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。

また、本発明の実施の形態は、例が提供された方法として実施することができる。この方法の一部として実行される動作は、任意の適切な方法で順序付けすることができる。したがって、動作が示したものと異なる順序で実行される実施の形態を構築することができ、これには、例示の実施の形態では一連の動作として示されたにもかかわらず、いくつかの動作を同時に実行することを含めることもできる。

請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。

したがって、一実施の形態は、車両を駐車スペース内に駐車する方法を開示する。本方法は、メモリに動作可能に接続されるプロセッサと、駐車スペースの少なくとも一部の環境を示す画像を取り込む少なくとも１つのセンサーと、車両の運動を制御するコントローラーとを使用し、プロセッサは方法を実施する記憶された命令に結合され、命令は、プロセッサによって実行されるときに、方法の少なくともいくつかのステップを実行し、方法は、目標状態において終了する第１の駐車経路に従って車両の運動を制御することであって、車両の各状態は、車両の位置及び向きを含むことと、第１の駐車経路に沿った車両の運動中に駐車スペースの１セットの画像を取り込むことであって、１セットの画像内の各画像は、第１の駐車経路に沿った車両の状態によって規定される視点から取り込まれることと、１セットの画像を用いて駐車スペースのモデルを構成することと、第１の駐車経路の外部にある車両の状態を規定する少なくとも１つの仮想視点を含む、第１の駐車経路の外部にある１セットの仮想視点を選択することと、駐車スペースのモデルを用いて、１セットの仮想視点から視認されるような駐車スペースの環境の１セットの仮想画像を生成することと、車両が現在の状態にある間にセンサーによって取り込まれた駐車スペースの現在の画像を少なくとも１つの仮想画像と比較することによって、車両の現在の状態を特定することと、車両のモデルを用いて、現在の状態から目標状態への第２の駐車経路を決定することと、第２の駐車経路に従って車両の運動を制御することと、を含み、更に、前記１セットの画像及び前記１セットの仮想画像から１セットの特徴を抽出することと、前記メモリに前記１セットの特徴と、前記車両の照合された状態との各特徴のマッピングとを記憶することと、前記現在の画像から少なくとも１つの特徴を抽出することと、前記抽出された特徴との前記マッピングを探索し、前記車両の前記現在の状態を生成することと、を含む。

別の実施の形態は、駐車スペース内に車両を駐車するシステムを開示する。本システムは、車両のモデルを記憶するメモリと、駐車スペースの少なくとも一部の環境を示す情報を検知する少なくとも１つのセンサーと、目標状態において終了する第１の駐車経路及び第２の駐車経路を含む異なる軌道に従って車両の運動を制御するコントローラーであって、車両の各状態は車両の位置及び向きによって規定されるものと、少なくとも１つのプロセッサであって、第１の駐車経路に沿った車両の運動中に駐車スペースの環境の１セットの画像を取り込むことであって、それにより、１セットの画像内の各画像が第１の駐車経路に沿った車両の状態によって規定される視点から取り込まれることと、１セットの画像を用いて駐車スペースのモデルを構成することと、第１の駐車経路の外部にある車両の状態を規定する少なくとも１つの仮想視点を含む、第１の駐車経路の外部にある１セットの仮想視点を選択することと、駐車スペースのモデルを用いて、１セットの仮想視点から視認されるような駐車スペースの環境の１セットの仮想画像を生成することと、車両が現在の状態にある間にセンサーによって取り込まれた駐車スペースの現在の画像を少なくとも１つの仮想画像と比較することによって、車両の現在の状態を特定することと、車両のモデルを用いて、現在の状態から目標状態までの第２の駐車経路を決定することと、を行い、更に、前記１セットの画像及び前記１セットの仮想画像から１セットの特徴を抽出することと、前記１セットの特徴と、前記車両の照合された状態との各特徴のマッピングとをメモリに記憶することと、前記現在の画像から少なくとも１つの特徴を抽出することと、前記抽出された特徴との前記マッピングを探索し、前記車両の前記現在の状態を生成することと、を行うように構成されたものと、を備える。

更に別の実施の形態は、駐車スペース内に車両を駐車する方法を実行するためにプロセッサによって実行可能なプログラムを具現する非一時的コンピューター可読記憶媒体を開示する。本方法は、目標状態において終了する第１の駐車経路に従って車両の運動を制御することであって、車両の各状態は、車両の位置及び向きを含むことと、第１の駐車経路に沿った車両の運動中に駐車スペースの１セットの画像を取り込むことであって、１セットの画像内の各画像は、第１の駐車経路に沿った車両の状態によって規定される視点から取り込まれることと、１セットの画像を用いて駐車スペースのモデルを構成することと、第１の駐車経路の外部にある車両の状態を規定する少なくとも１つの仮想視点を含む、第１の駐車経路の外部にある１セットの仮想視点を選択することと、駐車スペースのモデルを用いて、１セットの仮想視点から視認されるような駐車スペースの環境の１セットの仮想画像を生成することと、車両が現在の状態にある間にセンサーによって取り込まれた駐車スペースの現在の画像を少なくとも１つの仮想画像と比較することによって、車両の現在の状態を特定することと、車両のモデルを用いて、現在の状態から目標状態への第２の駐車経路を決定することと、第２の駐車経路に従って車両の運動を制御することとを含み、更に前記１セットの画像及び前記１セットの仮想画像から１セットの特徴を抽出することと、前記メモリに前記１セットの特徴と、前記車両の照合された状態との各特徴のマッピングとを記憶することと、前記現在の画像から少なくとも１つの特徴を抽出することと、前記抽出された特徴との前記マッピングを探索し、前記車両の前記現在の状態を生成することと、を含む。

図９Ａは、いくつかの実施の形態による、自動パーキングのために適したシステム１００のブロック図を示す。システム１００は、汎用プロセッサ１６１及びメモリ１６４を含むことができる。それに加えて、又はその代わりに、システム１００は、画像プロセッサ１６６、姿勢プロセッサ１６８及び仮想画像プロセッサ１６７等の専用プロセッサを含むことができる。また、システム１００は、１つ以上のバス１７７に結合される複数のセンサーと、プロセッサ１６１、１６６、１６７及び１６８のうちの少なくとも１つに更に結合される信号線とを含むことができる。システム１００は、車両１０１の一部とすることができ、自動パーキングシステム１０６の機能を実施するために使用することができる。

１つ以上の例示的な実施の形態において、上記の機能又はモジュールは、制御ユニット１６０のハードウェア（例えば、ハードウェア１６２）、ソフトウェア（例えば、ソフトウェア１６５）、ファームウェア（例えば、ファームウェア１６３）又はその任意の組み合わせにおいて実現することができる。コンピュータープログラム製品としてソフトウェアにおいて実現される場合には、機能又はモジュールは、１つ以上の命令又はコードとして、非一時的コンピューター可読媒体上に記憶することができるか、又は非一時的コンピューター可読媒体を介して送信することができる。コンピューター可読媒体は、或る場所から別の場所へのコンピュータープログラムの転送を容易にする任意の媒体を含む、コンピューター記憶媒体及び通信媒体の両方を含むことができる。記憶媒体は、コンピューターによってアクセス可能である任意の市販の媒体とすることができる。一例であって、限定はしないが、そのような非一時的コンピューター可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ若しくは他の光ディスク記憶装置、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、又は命令若しくはデータ構造の形で所望のプログラムコードを搬送又は記憶するために使用することができ、コンピューターによってアクセス可能である任意の他の媒体を含むことができる。

目標状態選択ブロック２０２が、駐車場候補を識別することによって、車両を駐車する駐車位置に関する目標状態を選択し、目標状態を運動計画ブロック２０３に送信する。一実施の形態において、利用可能な駐車位置は、駐車場ビルの管理に関連付けられる別のシステムによって追跡される。それに加えて、又はその代わりに、駐車位置は、自動パーキングシステムのセンサー１２１，１２４を用いて検出することができる。運動計画２０３は、車両モデル２１０、車両の開始状態及び目標状態、並びに駐車スペースのマップに基づいて、駐車経路２４１を決定する完全な運動計画手順を開始する。一実施の形態において、駐車経路は、経時的な車両速度及びステアリング角のプロファイルを規定する。別の実施の形態において、駐車経路は、経時的な車両状態（ｘ，ｙ，θ）のプロファイルを規定する。

駐車経路２４１を与えられると、車両コントローラー及びアクチュエーター２０４が、駐車経路が状態プロファイルである場合には、車両状態が駐車経路２４１を追跡するように強制し、駐車経路が車両速度及びステアリング角プロファイルである場合には、車両速度及びステアリング角が駐車経路を追跡するように強制する制御コマンドを決定し、実行する。一実施の形態において、制御コマンドはアクセルペダル圧又はステアリングトルクとすることができる。また、車両コントローラー／アクチュエーターは、信号２４３を用いて、制御コマンドを決定することができる。信号２４３は、測定されたステアリング角、又はハンドル若しくはアクセルペダルを動かすモーターの測定された電流とすることができる。

Claims (20)

1. 車両を駐車スペース内に駐車する方法であって、前記方法は、メモリに動作可能に接続されるプロセッサと、前記駐車スペースの少なくとも一部の環境を示す画像を取り込む少なくとも１つのセンサーと、前記車両の運動を制御するコントローラーとを使用し、前記プロセッサは前記方法を実施する記憶された命令に結合され、前記命令は、前記プロセッサによって実行されるときに、前記方法の少なくともいくつかのステップを実行し、前記方法は、
   目標状態において終了する第１の駐車経路に従って前記車両の運動を制御することであって、前記車両の各状態は、前記車両の位置及び向きを含むことと、
   前記第１の駐車経路に沿った前記車両の前記運動中に前記駐車スペースの１セットの画像を取り込むことであって、前記１セットの画像内の各画像は、前記第１の駐車経路に沿った前記車両の状態によって規定される視点から取り込まれることと、
   前記１セットの画像を用いて前記駐車スペースのモデルを構成することと、
   前記第１の駐車経路の外部にある前記車両の状態を規定する少なくとも１つの仮想視点を含む、前記第１の駐車経路の外部にある１セットの仮想視点を選択することと、
   前記駐車スペースの前記モデルを用いて、前記１セットの仮想視点から視認されるような前記駐車スペースの前記環境の１セットの仮想画像を生成することと、
   前記車両が現在の状態にある間に前記センサーによって取り込まれた前記駐車スペースの現在の画像を少なくとも１つの仮想画像と比較することによって、前記車両の前記現在の状態を特定することと、
   前記現在の状態から前記目標状態への第２の駐車経路を決定することと、
   前記第２の駐車経路に従って前記車両の前記運動を制御することと、
   を含む、方法。
2. 前記選択することは、
   ディスプレイデバイス上に前記駐車スペースの前記モデルの表現をレンダリングすることと、
   前記レンダリングすることに応答して、前記駐車の方向の選択を受信することと、
   前記選択された方向から前記目標状態に接近する前記第２の駐車経路を決定することと、
   前記第２の駐車経路上の前記１セットの仮想視点を決定することと、
   を含む、請求項１に記載の方法。
3. 前記駐車スペースの前記モデルの前記表現は、前記駐車スペースの上方から見た画像である、請求項２に記載の方法。
4. 前記選択することは、
   前記駐車スペースの前記モデルの分割手法を用いて、障害物のない前記駐車スペースの部分を検出することと、
   前記駐車スペースの前記部分をサンプリングし、１セットのサンプリングされた状態を生成することと、
   前記１セットのサンプリングされた状態から前記１セットの仮想視点を選択することと、
   を含む、請求項１に記載の方法。
5. 前記メモリ内に記憶された前記車両のモデルを用いて、サンプリングされた状態からの前記目標状態の到達可能性を試験することと、
   前記サンプリングされた状態から前記目標状態が到達可能である場合には、前記サンプリングされた状態に対応する仮想視点を前記１セットの仮想視点に追加することと、
   を更に含む、請求項１に記載の方法。
6. 前記１セットの視点に対応する１セットのシードから、エッジと接続される複数のノードを有するグラフを成長させることであって、各ノードは前記車両の前記状態を規定し、２つのノードを接続する各エッジは、前記２つのノード間の無衝突経路を規定することと、
   前記グラフの少なくともいくつかのノードに対応する前記１セットの仮想視点を選択することと、
   を更に含む、請求項１に記載の方法。
7. 前記駐車スペースの状態空間内の状態をサンプリングし、サンプリングされた状態を生成することと、
   前記サンプリングされた状態に最も近い状態を有する、前記グラフの最近隣ノードを特定することと、
   前記サンプリングされた状態のためのノードを前記グラフに追加し、前記エッジが無衝突である場合には、前記追加されたノードを、エッジを介して前記最近隣ノードに接続することと、
   を更に含む、請求項６に記載の方法。
8. ディスプレイデバイス上に前記駐車スペースの前記モデルの表現をレンダリングすることと、
   前記レンダリングすることに応答して、前記駐車の方向の選択を受信することと、
   前記グラフの前記ノード及びエッジのうちの少なくともいくつかを通って、前記選択された方向から前記目標状態に接近する前記第２の駐車経路を決定することと、
   前記第２の駐車経路上の前記１セットの仮想視点を決定することと、
   を更に含む、請求項６に記載の方法。
9. 前記仮想視点は、前記１セットの画像からの少なくとも１つの画像をワーピングすること、シーンの前記モデルを前記仮想視点に投影すること、及び平面誘発ホモグラフィのうちの１つ又は組み合わせを用いて生成される、請求項１に記載の方法。
10. 前記１セットの画像及び前記１セットの仮想画像から１セットの特徴を抽出することと、
    前記メモリに前記１セットの特徴と、前記車両の照合された状態との各特徴のマッピングとを記憶することと、
    前記現在の画像から少なくとも１つの特徴を抽出することと、
    前記抽出された特徴との前記マッピングを探索し、前記車両の前記現在の状態を生成することと、
    を更に含む、請求項１に記載の方法。
11. 前記画像及び前記仮想画像からの少なくともいくつかの特徴を比較し、前記１セットの画像内の各画像の前記視点を決定することと、
    前記駐車スペースの前記モデル内の少なくとも１つの点の３Ｄ座標を更新し、少なくとも２つの画像の前記視点に従って、前記点に対応する前記２つの画像のピクセルからの光線逆投影の交点の座標を照合することと、
    を更に含む、請求項１に記載の方法。
12. 前記１セットの画像は第１の視点を規定する第１の姿勢において前記センサーによって視認されるシーンの第１の画像と、第２の視点を規定する第２の姿勢において前記センサーによって視認される前記シーンの第２の画像とを含み、前記方法は、
    前記第１の画像を変換して、前記第１の視点とは異なる仮想視点に対応する第１の仮想画像を生成することであって、前記変換することは、前記シーンの同じ点を表すために、前記第１の画像及び前記仮想画像の少なくともいくつかのピクセル間の対応を保持することと、
    前記第２の画像のうちの少なくともいくつかの特徴を前記仮想画像のうちの少なくともいくつかの特徴と比較し、前記第２の画像、前記仮想画像及び前記第１の画像の少なくともいくつかのピクセル間の対応を特定することと、
    前記第２の画像からのピクセルのサブセットの座標と、前記第１の画像からのピクセルのサブセットに対応する前記シーンの点の座標とに基づいて、前記第１の画像及び前記第２の画像からの前記対応するピクセルのサブセットを用いて、前記第１の画像の前記第１の視点に対する前記第２の画像の前記第２の視点を決定することと、
    前記第１の画像及び前記第２の画像内の対応するピクセルのバンドル調整を用いて、前記駐車スペースの前記モデル内の前記点の３Ｄ座標を更新することと、
    を含む、請求項１１に記載の方法。
13. 駐車スペース内に車両を駐車するシステムであって、
    前記駐車スペースの少なくとも一部の環境を示す情報を検知する少なくとも１つのセンサーと、
    目標状態において終了する第１の駐車経路及び第２の駐車経路を含む異なる軌道に従って前記車両の運動を制御するコントローラーであって、前記車両の各状態は前記車両の位置及び向きによって規定されるものと、
    少なくとも１つのプロセッサであって、
    前記第１の駐車経路に沿った前記車両の前記運動中に前記駐車スペースの環境の１セットの画像を取り込むことであって、それにより、前記１セットの画像内の各画像が前記第１の駐車経路に沿った前記車両の状態によって規定される視点から取り込まれることと、
    前記１セットの画像を用いて前記駐車スペースのモデルを構成することと、
    前記第１の駐車経路の外部にある前記車両の状態を規定する少なくとも１つの仮想視点を含む、前記第１の駐車経路の外部にある１セットの仮想視点を選択することと、
    前記駐車スペースの前記モデルを用いて、前記１セットの仮想視点から視認されるような前記駐車スペースの前記環境の１セットの仮想画像を生成することと、
    前記車両が現在の状態にある間に前記センサーによって取り込まれた前記駐車スペースの現在の画像を少なくとも１つの仮想画像と比較することによって、前記車両の前記現在の状態を特定することと、
    前記車両の前記モデルを用いて、前記現在の状態から前記目標状態までの前記第２の駐車経路を決定することと、
    を行うように構成されるものと、
    を備える、システム。
14. 前記駐車スペースの前記モデルの表現をレンダリングし、前記駐車スペースの方向の選択を受信するためのディスプレイデバイスを更に備え、前記プロセッサは、前記選択された方向から前記目標状態に接近する前記第２の駐車経路を決定し、前記第２の駐車経路上の前記１セットの仮想視点を決定するように更に構成される、請求項１３に記載のシステム。
15. 前記駐車スペースの前記モデルの前記表現は前記駐車スペースの上方から見た画像である、請求項１４に記載のシステム。
16. 前記プロセッサは、
    前記１セットの視点に対応する１セットのシードから、エッジと接続される複数のノードを有するグラフを成長させることであって、各ノードは前記車両の前記状態を規定し、２つのノードを接続する各エッジは前記２つのノード間の無衝突経路を規定することと、
    前記グラフの前記ノード及びエッジのうちの少なくともいくつかを通って、前記選択された方向から前記目標状態に接近する前記第２の駐車経路を決定することと、
    前記第２の駐車経路上の前記１セットの仮想視点を決定することと、
    を含む、請求項１４に記載のシステム。
17. 前記仮想画像は、前記１セットの画像からの少なくとも１つの画像をワーピングすること、前記駐車スペースの前記モデルを前記仮想視点に投影すること、及び平面誘発ホモグラフィのうちの１つ又は組み合わせを用いて生成される、請求項１３に記載のシステム。
18. 前記プロセッサは、
    前記１セットの画像及び前記１セットの仮想画像から１セット特徴を抽出することと、
    前記１セットの特徴と、前記車両の照合された状態との各特徴のマッピングとをメモリに記憶することと、
    前記現在の画像から少なくとも１つの特徴を抽出することと、
    前記抽出された特徴との前記マッピングを探索し、前記車両の前記現在の状態を生成することと、
    を行うように構成される、請求項１３に記載のシステム。
19. 前記プロセッサは、
    前記画像及び前記仮想画像からの少なくともいくつかの特徴を比較し、前記１セットの画像内の各画像の前記視点を決定することと、
    前記駐車スペースの前記モデル内の少なくとも１つの点の３Ｄ座標を更新し、少なくとも２つの画像の前記視点に従って、前記点に対応する前記２つの画像のピクセルからの光線逆投影の交点の座標を照合することと、
    を行うように構成される、請求項１３に記載のシステム。
20. 駐車スペース内に車両を駐車する方法を実行するためにプロセッサによって実行可能なプログラムを具現する非一時的コンピューター可読記憶媒体であって、前記方法は、
    目標状態において終了する第１の駐車経路に従って前記車両の運動を制御することであって、前記車両の各状態は、前記車両の位置及び向きを含むことと、
    前記第１の駐車経路に沿った前記車両の前記運動中に前記駐車スペースの１セットの画像を取り込むことであって、前記１セットの画像内の各画像は、前記第１の駐車経路に沿った前記車両の状態によって規定される視点から取り込まれることと、
    前記１セットの画像を用いて前記駐車スペースのモデルを構成することと、
    前記第１の駐車経路の外部にある前記車両の状態を規定する少なくとも１つの仮想視点を含む、前記第１の駐車経路の外部にある１セットの仮想視点を選択することと、
    前記駐車スペースの前記モデルを用いて、前記１セットの仮想視点から視認されるような前記駐車スペースの環境の１セットの仮想画像を生成することと、
    前記車両が現在の状態にある間にセンサーによって取り込まれた前記駐車スペースの現在の画像を少なくとも１つの仮想画像と比較することによって、前記車両の前記現在の状態を特定することと、
    前記現在の状態から前記目標状態への第２の駐車経路を決定することと、
    前記第２の駐車経路に従って前記車両の前記運動を制御することと、
    を含む、非一時的コンピューター可読記憶媒体。

Images