JP2016541042A - 車両の少なくとも１つの機能を制御するための位置又は運動情報を提供するための方法及びシステム - Google Patents

Abstract

車両座標系を提供された車両の少なくとも１つの機能を制御するための位置情報を提供するための方法は、モバイル機器のカメラによってキャプチャされた車両の少なくとも１つの部分の少なくとも１つの画像に関連付けられる画像情報を受信するステップであって、モバイル機器は車両から分離している、ステップと、少なくとも１つの画像に関連付けられる画像情報に従って車両座標系内におけるモバイル機器に関連付けられる位置を判定するステップと、この位置に従って車両の少なくとも１つの機能を制御するために車両座標系内におけるモバイル機器に関連付けられる位置を指示する位置情報を提供するステップと、を含む。また、運動に従って車両の少なくとも１つの機能を制御するために車両座標系に対するモバイル機器に関連付けられる運動を指示する運動情報を提供する方法及びシステムが提供される。

Description

本開示は、車両の少なくとも１つの機能を制御するための位置又は運動情報を提供するための方法及びシステムに関する。

近年、自動車のような最新の車両は、所望の性能を有するために車両内部の特定の位置に合わせて調整可能である様々なシステム又は機能を有する。例えば、前部座席に着席している運転者並びに助手席及び／若しくは後部座席に着席している同乗者のための音響エクスペリエンスを最適化するために、車内の音響システムを調整することができる。車両のアンビエントライトシステム及びクライメートシステムのようなシステムも同様である。ユーザは、このようなシステムの１つ以上の機能を調整するべく３Ｄ空間内における位置を指定するために苦労することがままあるため、それを行うことはめったにない。特に、ユーザが、自動車のこのようなシステムを調整又は制御するために自動車の内部の所望の位置を指定することは、困難であるか、又は不可能でさえある。更に、１つの所望の位置から自動車の内部の別の所望の位置へ変更することもまたユーザにとって困難である。

Ｚｈａｎｇ、他は、参照文献［１］において、車両に取り付けられたカメラのための地表面に対するカメラ位置の自己校正のための方法を提案している。彼らは、取り付けられたカメラの高さは、時々変化することになる車両の荷重に依存するという問題を解決している。彼らの方法は、車両が動いている間に地表の上方のカメラの高さを判定する。彼らはまず、少なくとも２つのカメラ画像内の２つの画像特徴に従ってカメラ座標内における地表面を定義し、次に、地表の上方のカメラの高さを判定する。ここで、カメラの高さを判定することは、特徴点の平均と地表面の法線との間の内積を算出することを含む。

Ｂｒｅｅｄは、参照文献［７］において、車両内の占有要素に関する情報を得るための方法を開示している。この方法は、占有要素が位置し得る車両内の区域の画像を必要とし、訓練されたニューラルネットワークを用いて画像内の要素を分類する。

Ｂｒｅｅｄ、他は、参照文献［８］において、車両内に配置された単一のカメラから車両内の乗員又は占有要素の画像を取得し、単一のカメラから取得された画像を解析して、乗員又は占有要素の種類を判定することを提案している。

Ｇｒｏｓｓｍａｎｎ、他は、参照文献［２］において、表示装置に対するカメラ位置を、カメラによってキャプチャされた表示装置上に表示されたビジュアルコンテンツの画像に従って判定することを開示している。Ｏｓｍａｎは、参照文献［３］において、表示装置に対するゲーム機のカメラの位置を特定するための方法を提案している。彼は、表示装置に対するカメラ位置を、カメラによってキャプチャされた表示装置上に表示されたビジュアルコンテンツの画像を解析することによって判定することを開示している。しかし、参照文献［２、３］は、表示装置を車両に搭載し、それに基づいて車両の機能を制御する動機付けはしていない。

本発明の目的は、ユーザが、位置又は運動に基づいて車両の少なくとも１つの機能を制御するために適した情報を提供することを可能にする方法及びシステムを提供することである。

第１の態様によれば、車両座標系を提供された車両の少なくとも１つの機能を制御するための位置情報を提供するための方法であって、この方法は、モバイル機器のカメラによってキャプチャされた車両の少なくとも１つの部分の少なくとも１つの画像に関連付けられる画像情報を受信することであって、モバイル機器は車両から分離している、ことと、少なくとも１つの画像に関連付けられる画像情報に従って車両座標系内におけるモバイル機器に関連付けられる位置を判定することと、この位置に従って車両の少なくとも１つの機能を制御するために車両座標系内におけるモバイル機器に関連付けられる位置を指示する位置情報を提供することと、を含む、方法が提供される。

本発明は、最新の車両は、例えば、車両の内部において車両に対して既知の位置に、自動車内に着席している運転者及び／若しくは同乗者の方に向けて搭載された表示装置をしばしば備えているという事実、並びに携帯電話若しくはタブレットコンピュータなどのパーソナルモバイル機器はしばしばカメラを備えているという事実を有利に利用することができる。

本発明によれば、車両の少なくとも１つの機能は、カメラを備えるモバイル機器に関連付けられる判定された位置に基づいて制御されてもよい。この位置は、カメラを用いて車両の一部分の少なくとも１つの画像をキャプチャすることによって判定される。例えば、車両のキャプチャされる部分は、自動車に搭載された表示装置上に表示されたビジュアルコンテンツを含む。このように、本発明は、ユーザが、判定された位置に基づいて車両の少なくとも１つの機能を制御するために、車両の内部の位置を判定することを可能にする方法及びシステムを提供する。例えば、車両の音響システム、照明システム及び／又は空気調節の機能がモバイル機器の位置に従って制御されてもよい。

この目的を達成するために、一実施形態によれば、本発明は、例えば、車両に搭載された表示装置、モバイル機器のカメラ、及びモバイル機器のカメラによってキャプチャされた表示装置上に表示されたビジュアルコンテンツの画像を用いることによって、車両の座標系内におけるモバイル機器の位置を判定することを提案する。更に、車両の少なくとも１つの機能が、判定された位置に基づいて制御される。例えば、機能は、音響システム、アンビエントライトシステム、空気調節システム、又はそれらの組み合わせなどの、車両のサブシステムに関連する。

一実施形態によれば、本方法は、車両座標系内における車両の少なくとも１つの部分の位置を提供又は受信することを更に含む。

一実施形態によれば、車両の少なくとも１つの部分は、車両に搭載された表示装置上に表示されたビジュアルコンテンツを含む。

一実施形態によれば、車両座標系内におけるモバイル機器に関連付けられる位置を判定することは、少なくとも１つの画像に関連付けられる画像情報に従って少なくとも１つの画像をキャプチャする際の車両の少なくとも１つの部分に対するカメラのカメラ位置を判定することと、車両座標系内におけるカメラ位置及び車両の少なくとも１つの部分の位置に従って車両座標系内におけるモバイル機器に関連付けられる位置を判定することと、を含む。

更なる実施形態によれば、少なくとも１つの画像は第１の画像であり、カメラは第１のカメラであり、車両座標系内におけるモバイル機器に関連付けられる位置を判定することは、モバイル機器の第２のカメラによってキャプチャされた車両の少なくとも１つの部分の第２の画像に関連付けられる画像情報を受信することと、第１の画像及び第２の画像に関連付けられる画像情報に従って車両の少なくとも１つの部分のモデルを復元することと、を含む。

更なる発展では、本方法は、モバイル機器の第３のカメラによってキャプチャされた第３の画像に関連付けられる画像情報を受信することであって、第３の画像は、復元されたモデルの少なくとも一部分によって表現された車両の少なくとも一部分（車両のこの少なくとも一部分は、上述された車両の少なくとも１つの部分と異なることができるであろう。ただし、車両の少なくとも一部分は、復元されたモデル内に含まれる）をキャプチャする、ことと、復元されたモデルの少なくとも一部分、及び第３の画像に関連付けられる画像情報に従って第３の画像をキャプチャする際の復元されたモデルに対する第３のカメラのカメラ位置を判定することと、第３のカメラのカメラ位置に従って車両座標系内におけるモバイル機器に関連付けられる位置を判定することと、を更に含む。

一実施形態によれば、本方法は、第１の画像に関連付けられる画像情報の少なくとも一部分に従って第１の画像をキャプチャする際の車両の少なくとも１つの部分に対する第１のカメラのカメラ位置を判定することと、第２の画像に関連付けられる画像情報の少なくとも一部分に従って第２の画像をキャプチャする際の車両の少なくとも１つの部分に対する第２のカメラのカメラ位置を判定することと、を更に含む。

更なる発展によれば、車両の少なくとも１つの部分は車両の第１の部分であり、本方法は、モバイル機器の第４のカメラによってキャプチャされた第４の画像に関連付けられる画像情報を受信することであって、第４の画像は、車両の第１の部分の少なくとも一部分及び車両の少なくとも第２の部分をキャプチャする、ことと、復元されたモデルを、車両の第１の部分及び車両の第２の部分を含むべく拡張することと、を更に含む。

好ましくは、復元されたモデルは車両の少なくとも一部分の奥行き情報を少なくとも記述する。

一実施形態によれば、第１のカメラ、第２のカメラ、第３のカメラ、及び第４のカメラのうちの少なくとも２つは同じカメラである。

別の実施形態によれば、第１のカメラ、第２のカメラ、第３のカメラ、及び第４のカメラのうちの少なくとも２つは異なるカメラである。

一実施形態によれば、少なくとも１つの機能は、車両の音響システム、車両のアンビエントライトシステム、及び車両の空気調節システムのうちの少なくとも１つに関連し、位置に従って制御される機能である。

第１の態様によれば、また、車両座標系を提供された車両の少なくとも１つの機能を制御するための位置情報を提供するためのシステムであって、このシステムは、モバイル機器のカメラによってキャプチャされた車両の少なくとも１つの部分の少なくとも１つの画像に関連付けられる画像情報を受信するように構成される第１の処理装置であって、モバイル機器は車両から分離している、第１の処理装置と、少なくとも１つの画像に関連付けられる画像情報に従って車両座標系内におけるモバイル機器に関連付けられる位置を判定するように構成される第１の処理装置と、位置に従って車両の少なくとも１つの機能を制御するために車両座標系内におけるモバイル機器に関連付けられる位置を指示する位置情報を提供するように構成される第２の処理装置と、を備える、システムが提供される。

第２の態様によれば、車両座標系を提供された車両の少なくとも１つの機能を制御するための運動情報を提供するためのシステムであって、モバイル機器の少なくとも１つのカメラによってキャプチャされた少なくとも２つの画像に関連付けられる画像情報を受信するように構成される第１の処理装置であって、モバイル機器は車両から分離しており、少なくとも２つの画像の各々は車両の少なくとも１つの部分をキャプチャする、第１の処理装置と、少なくとも２つの画像に関連付けられる画像情報に従って車両座標系に対するモバイル機器に関連付けられる運動を判定するように構成される第１の処理装置と、運動に従って車両の少なくとも１つの機能を制御するために車両座標系に対するモバイル機器に関連付けられる運動を指示する運動情報を提供するように構成される第２の処理装置と、を備える、システムが提供される。

本明細書において説明されている以下の実施形態並びにその他の実施形態は、第１の態様及び第２の態様の両方に関して同等に適用可能である。

一実施形態によれば、第１の処理装置及び第２の処理装置は同じ処理装置である。

一実施形態によれば、第１の処理装置及び第２の処理装置の少なくとも一方はモバイル機器内に含まれる。別の実施形態によれば、第１の処理装置及び第２の処理装置の少なくとも一方は車両内に含まれる。更なる実施形態によれば、第１の処理装置及び第２の処理装置の少なくとも一方は、モバイル機器及び車両と通信するコンピュータ機器内に含まれる。

第２の態様によれば、また、車両座標系を提供された車両の少なくとも１つの機能を制御するための運動情報を提供するための方法であって、この方法は、モバイル機器の少なくとも１つのカメラによってキャプチャされた少なくとも２つの画像に関連付けられる画像情報を受信することであって、モバイル機器は車両から分離しており、少なくとも２つの画像の各々は車両の少なくとも１つの部分をキャプチャする、ことと、少なくとも２つの画像に関連付けられる画像情報に従って車両座標系に対するモバイル機器に関連付けられる運動を判定することと、運動に従って車両の少なくとも１つの機能を制御するために車両座標系に対するモバイル機器に関連付けられる運動を指示する運動情報を提供することと、を含む、方法が提供される。

一実施形態によれば、車両座標系に対するモバイル機器に関連付けられる運動は、車両座標系内におけるモバイル機器に関連付けられる２つの位置に従って判定することができる。モバイル機器に関連付けられる２つの位置は、少なくとも２つの画像に関連付けられる画像情報に従ってそれぞれ判定することができる。少なくとも２つの画像の各々の内部にキャプチャされた車両の少なくとも１つの部分は共通部分を有するか、又は異なってもよい。

更なる実施形態によれば、車両座標系に対するモバイル機器に関連付けられる運動は、少なくとも２つの画像をキャプチャする際の少なくとも１つのカメラの２つのカメラ位置に従って判定することができる。

モバイル機器に関連付けられる位置を判定することに関する第１の態様について以上又は以下において説明されている本発明の態様及び実施形態は、モバイル機器に関連付けられる運動を判定することに関する第２の態様にも同等に適用することができる。

一実施形態によれば、車両座標系に対するモバイル機器に関連付けられる運動は、少なくとも２つの画像の各々の内部にキャプチャされた車両の少なくとも１つの部分の画像位置に従って判定することができる。これは、少なくとも２つの画像の各々の内部にキャプチャされた車両の少なくとも１つの部分は同じであるか、又は共通部分を有することを必要とする。しかし、これは、車両座標系内における車両の少なくとも１つの部分の既知の位置を必要としない。

本発明によれば、車両の少なくとも１つの機能は、モバイル機器に関連付けられる判定された運動に基づいて制御されてもよい。例えば、車両の音響システム、照明システム及び／又は空気調節の機能がモバイル機器の運動に従って制御されてもよい。運動は、音響システムの音量を変更するために用いられてもよい。照明システムは、モバイル機器の判定された運動に従って現在の照射位置を新しい照射位置へ変更してもよい。例えば、判定された運動は、現在の照射位置から新しい照射位置までどのぐらい遠く離れるのかを規定してもよい。別の例では、判定された運動は回転を規定してもよく、それにより、照明システムはこの回転に従って現在の照射方向から新しい照射方向へ回転することができる。

好ましくは、モバイル機器は、携帯電話、タブレットコンピュータ又はモバイルコンピュータなどの、ハンドヘルド機器である。

例えば、車両の少なくとも１つの部分は、車両の製造元によって提供され得るであろう車両座標系内の位置を有する。

画像内にキャプチャされる車両の少なくとも１つの部分は車両の任意の物理的部分であることができるであろう。車両の少なくとも１つの部分は、車両に搭載された表示装置、又はこの表示装置の一部分を含んでもよい。車両の少なくとも１つの部分は、表示装置上に表示された１つ以上のビジュアルコンテンツを更に含んでもよい。

表示装置は情報の視覚的提示のための装置である。表示装置は、陰極線管（ＣＲＴ：Cathode ray tube）、発光ダイオードディスプレイ（ＬＥＤ：Light-emitting diode display）及び液晶ディスプレイ（ＬＣＤ：Liquid crystal display）などの、任意のディスプレイ技術又はディスプレイ材料に基づくことができるであろう。表示装置は、２次元平面ディスプレイ、又は曲面形状を有するディスプレイを含んでもよい。表示装置はまた、他と共に各々動かすことができるであろう、複数の平面サブディスプレイを含む折り畳み式表示装置であってもよい。

表示装置は車両に搭載されてもよい。それは、車両内に着席している運転者及び／又は同乗者の眼の方に向けて搭載されることが好ましい。それにより、運転者及び／又は同乗者は、表示装置上に表示されたビジュアルコンテンツを見ることができるであろう。例えば、表示装置は、車両の前部制御パネル上に搭載されるか、又は車両の前部座席の背面上に搭載されてもよい。

表示装置は、メニュー、地図、ソフトウェアプログラムのグラフィカルユーザインタフェースなどを表示するために用いることができるであろう。

ビジュアルコンテンツは、解剖学的な眼又は光学撮像装置が視覚的に知覚可能な任意の情報である。例えば、ビジュアルコンテンツは、人間の眼又はカメラによってキャプチャされることが可能であろう可視光を放射又は反射してもよい。ビジュアルコンテンツはまた、人間の眼によってキャプチャされることは不可能であろうが、カメラによってキャプチャされることは可能であろう不可視光を放出又は反射してもよい。ビジュアルコンテンツは、テキスト、図、コンピュータによって生成されるか、若しくはカメラによってキャプチャされた画像、記号、絵、それらの組み合わせ、又はそれらの各々の一部分であることができるであろう。例えば、ビジュアルコンテンツは、メニュー、ボタン、アイコン、デジタル地図、ソフトウェアプログラムのグラフィカルユーザインタフェース、それらの組み合わせ、又はそれらの各々の一部分であってもよい。ビジュアルコンテンツは表示装置上に表示されることができる。

モバイル機器は持ち運び可能であり、１つ以上のカメラを備える。１つ以上のカメラはモバイル機器に対する既知の位置を有してもよい。モバイル機器はカメラのみであることができるであろう。例えば、モバイル機器は、カメラ、第１のカメラ、第２のカメラ、第３のカメラ、及び／又は第４のカメラのいずれにもなる。即ち、モバイル機器及びそれぞれのカメラは同じ機器である。

一実施形態では、モバイル機器は、演算プロセッサなどの、少なくとも１つの処理装置を有してもよい。別の実施形態では、モバイル機器は演算プロセッサを有しなくてもよいが、データ（例えば、カメラによってキャプチャされた画像の画像データ）を別の機器（例えば、車両）へ伝送するための伝送器を有してもよい。モバイル機器は、限定するものではないが、携帯電話、タブレットコンピュータ、又はラップトップであることができるであろう。カメラはモバイル機器から分離していてもよいが、ケーブルを介するか、又は無線でモバイル機器と通信する。

１つ以上のカメラは、光学情報の画像情報をキャプチャすることができるであろう光学撮像装置である。

本提案の発明は、画像を提供する任意のカメラを用いて適用することができる。それは、ＲＧＢ形式のカラー画像を提供するカメラに限定されない。それは、任意の他の色形式、及び同様に、モノクロ画像、例えば、グレースケール形式の画像を提供するカメラに適用することもできる。カメラは、奥行きデータを有する画像を更に提供してもよい。奥行きデータは、（カラー／グレースケール）画像と同じ解像度で提供される必要はない。奥行きデータを有する画像を提供するカメラはしばしばＲＧＢ−Ｄカメラと呼ばれる。ＲＧＢ−Ｄカメラシステムはタイムオブフライト（ＴＯＦ：time of flight）カメラシステムであることができるであろう。カメラはまた、赤外光などの、人間の眼に不可視の光をキャプチャしてもよい。例えば、カメラは熱画像カメラであってもよい。

車両座標系内におけるカメラの位置は、車両座標系内における、平行移動、若しくは回転、又はそれらの組み合わせを含んでもよい。

表示されるビジュアルコンテンツの視覚的外観は、形状、テクスチャ、幾何配置又はそれらの組み合わせを記述する。視覚的外観は色情報を含んでもよいか、又は含まなくてもよい。

オブジェクトの物理的幾何配置は、それが現実の世界内にある時の、オブジェクトのサイズ、形状、寸法、平面性、又はそれらの組み合わせを記述する。

表示装置の解像度は、その表示区域上に表示することができる各次元における別個の画素の数である。表示装置は既知の解像度を有してもよい。表示装置はその表示区域についての既知の物理的幾何配置を更に有してもよい。表示装置の物理的幾何配置とは表示装置の表示区域の物理的幾何配置を指す。表示装置の座標系内における表示されたビジュアルコンテンツの画素位置、並びに表示装置の解像度及び物理的幾何配置を有することで、表示されたビジュアルコンテンツと表示装置との空間関係を判定することができる。これは、表示装置に対する表示されたビジュアルコンテンツの位置を規定する。更に、表示されたビジュアルコンテンツの物理的幾何配置も判定することができる。車両座標系内における表示されたビジュアルコンテンツの位置は、表示装置に対する表示されたビジュアルコンテンツの位置及び車両座標系に対する表示装置の位置に従って判定されてもよい。

第１のカメラによって第１の画像がキャプチャされる間の車両の少なくとも一部分に対するカメラのカメラ位置は、画像の少なくとも一部分に従って判定することができる。車両の少なくとも一部分の物理的幾何配置を有することで、２Ｄ−３Ｄ点対応に基づく方法（例えば、参照文献［９］参照）などの、様々な視覚ベースのカメラ位置推定方法をカメラ位置の判定に利用することができる。

特に、表示されたビジュアルコンテンツを含む車両の少なくとも一部分を有することが好ましい。それゆえ、カメラの画像は、表示されたビジュアルコンテンツをキャプチャする。ビジュアルコンテンツは、視覚ベースのカメラ位置推定を強力にする、鮮やかなテクスチャ及び特徴（例えば、対照的な角部又は縁部）を提供することができるであろう。本例では、カメラのカメラ位置は、車両に搭載された表示装置に対して判定することができる。車両座標系に対する表示装置の位置は、例えば、車両の製造元から提供されることができるであろう。

表示されたビジュアルコンテンツの既知の視覚的外観、及びその物理的幾何配置を有することで、第１の画像の画像情報の少なくとも一部分に従って正確なスケールファクタを用いてビジュアルコンテンツに対するカメラのカメラ位置を判定することができる。カメラ位置の推定は、キャプチャされた画像の画像特徴と、表示装置上に表示されたビジュアルコンテンツの対応する特徴との間の対応に基づくことができるであろう。このとき、車両座標系内におけるカメラ位置は、表示されたビジュアルコンテンツに対するカメラ位置、及び車両座標系内における表示されたビジュアルコンテンツの位置に従って判定される。

カメラが画像をキャプチャする間の車両座標系内におけるカメラのカメラ位置は、車両の少なくとも１つの部分に対するカメラ位置、及び車両座標系内における車両の少なくとも１つの部分の位置から判定することができる。

一例では、車両座標系内におけるカメラの位置は、車両の少なくとも１つの機能を制御するために車両に提供することができる位置を決定することができるであろう。モバイル機器に関連付けられる位置は車両座標系内におけるカメラの位置と同じであってもよい。モバイル機器に関連付けられる位置は、車両座標系内におけるカメラの位置からの空間的変位を有してもよい。

別の例では、車両座標系内におけるカメラの位置は、モバイル機器に関連付けられる位置を指定するために適切でない場合がある。例えば、カメラの位置は、少なくとも１つの機能を制御するべく車両に提供されるための所望の位置ではない場合がある。

一実施形態によれば、本発明は、モバイル機器の第２のカメラによって車両の少なくとも１つの部分の第２の画像を更にキャプチャすることを提案する（上述のカメラ及び画像はそれぞれ第１のカメラ及び第１の画像とする）。第２の画像及び第１の画像は、第２のカメラ及び第１のカメラが異なる位置にある時にキャプチャされる。

第２の画像がキャプチャされる間の車両の少なくとも１つの部分に対するカメラの第２のカメラ位置は、第２の画像の少なくとも一部分に従って判定されてもよい。開示された、第１のカメラのカメラ位置を判定する方法は、第２のカメラのカメラ位置を判定するために用いられてもよい。

第１及び第２の画像、並びに第１及び第２のカメラのカメラ位置に従って、車両の少なくとも１つの部分のモデルが復元されてもよい。

モデルの復元の一実施形態では、第１及び第２の画像内の車両の少なくとも１つの部分の画像特徴間の対応が判定される。次に、三角測量方法を用いて、画像特徴対応、並びに第１のカメラ及び第２のカメラのカメラ位置からモデルを決定することができる。例えば、参照文献［９］を参照されたい。

オブジェクトのモデルは、上述されたように、オブジェクトの少なくとも一部分の奥行き情報を少なくとも記述する。モデルは、限定するものではないが、以下の属性、形状、対称性、平面性、幾何学的サイズ、色、テクスチャ及び密度のうちの１つを更に含んでもよい。

第１及び第２の画像内にキャプチャされた車両の少なくとも１つの部分の物理的幾何配置は既知であることができるため、例えば、参照文献［４］に教示されているように、復元されたモデルのための正確なスケールファクタを決定することができるであろう。復元されたモデルは、３Ｄ頂点、これらの頂点によって張られる多角形面及び／又は辺として表現することができる。モデルの辺及び面はまた、スプライン又はＮＵＲＢＳ表面として表現されてもよい。

復元されたモデルは車両座標系内において決定されてもよい。復元されたモデルはまた、それ自体の座標系などの、任意の座標系内において決定されてもよい。この場合には、復元されたモデルは、車両座標系内における車両の少なくとも１つの部分の位置に基づいて車両座標系に関連付けることができる。

一実施形態によれば、モバイル機器の第３のカメラが第３の画像をキャプチャしてもよい。第３の画像は、復元されたモデルの少なくとも一部分によって表現される、車両の一部分を含む。車両のその部分は、第１のカメラによってキャプチャされた車両の少なくとも１つの部分を含む必要はないか、又はその一部分のみを含む。特に、第３の画像内にキャプチャされた車両の部分は、車両の表示装置、又は表示装置上に表示された任意のビジュアルコンテンツを含む必要はない。

第３の画像がキャプチャされる間のモデルに対する第３のカメラのカメラ位置は、復元されたモデルの少なくとも一部分、及び第３の画像の少なくとも一部分に従って判定されてもよい。例えば、ＳＬＡＭ方法（参照文献［４］参照）を第３のカメラのカメラ位置の判定に利用することができるであろう。

一例では、第３のカメラが第３の画像をキャプチャする間の車両座標系内における第３のカメラの位置は、車両座標系内におけるモバイル機器に関連付けられる位置を判定するために用いられてもよい。モバイル機器に関連付けられる位置は車両座標系内における第３のカメラの位置と同じであってもよい。車両座標系内におけるモバイル機器に関連付けられる位置は、車両座標系内における第３のカメラの位置からの空間的変位を有してもよい。

車両座標系内における第３のカメラのカメラ位置は、モデルに対する第３のカメラのカメラ位置、及びモデルと車両座標系との空間関係から判定することができる。

更に、モデルは、車両座標系内におけるモバイル機器のカメラ（単数又は複数）を追跡し、及び／又は復元されたモデルを、車両の他の復元された部分を追加することによって拡張するための、参照文献［４、５、６］において説明されている方法などの、視覚ベースの同時位置特定及び地図生成（ＳＬＡＭ：Simultaneous Localization and Mapping）方法を初期化するために更に用いることができる。

例えば、車両の少なくとも１つの第２の部分の第４の画像がモバイル機器の第４のカメラによってキャプチャされる。第４の画像は、復元されたモデルの少なくとも一部分によって表現された車両の一部分を更にキャプチャしてもよい。その後、復元されたモデルは、ＳＬＡＭ方法に基づいて車両の第１の部分及び第２の部分を有するように拡張することができるであろう。これは、車両の部分、及び車両の部分の復元されたモデルの少なくとも一部分の画像位置を一致させることに基づいて、第４の画像をキャプチャする間のモデルに対する第４のカメラのカメラ姿勢を計算することを必要とする場合がある。

モバイル機器に関連付けられる位置は、車両座標系内におけるモバイル機器のカメラのカメラ位置に従って判定することができる。カメラ位置は、ＳＬＡＭ方法に基づいて、復元されたモデルの少なくとも一部分、及びカメラによってキャプチャされた少なくとも１つの画像に従って推定することができるであろう。このために、少なくとも１つの画像は、復元されたモデルの少なくとも一部分によって表現された車両の一部分をキャプチャする。モバイル機器に関連付けられる位置は、カメラが少なくとも１つの画像をキャプチャする間のカメラの位置と同じであってもよい。

車両座標系内におけるモバイル機器に関連付けられる、判定された位置又は判定された運動は、位置又は運動に従って車両の少なくとも１つの機能を制御するために、車両に提供することができる。少なくとも１つの機能は車両の１つ以上のサブシステムに関連してもよい。車両のサブシステムは、限定するものではないが、音響システム、アンビエントライトシステム、及び空気調節システムであることができるであろう。

少なくとも１つの機能は、車両座標系内におけるモバイル機器に関連付けられる判定された位置に従って車両の１つ以上のサブシステムを制御又は設定することができるであろう。例えば、位置は、アンビエントライトシステムが照射するべき空間区域、又は空気調節システムが温度を監視するべき空間区域の中心位置を指定することができるであろう。受聴区域も位置によって指定することが可能になり得、それにより、音響システムは、それを、指定された受聴区域の方へ指向させるべく制御又は調整されるであろう。

モバイル機器は車両と直接、又はコンピュータネットワークを介して通信してもよい。モバイル機器は、他の機器を介して、例えば、ウェブサービスコンピュータを介して、車両と間接的に通信してもよい。

コンピュータネットワークは、システム、ソフトウェアアプリケーション、及びユーザの間の通信及びデータ交換を可能にするために処理装置（例えば、コンピュータ）を接続する電気通信ネットワークであってもよい。処理装置は、ケーブルを介して、若しくは無線で、又はケーブルを介することと無線の両方によって接続されてもよい。例えば、コンピュータネットワークは、インターネット、イントラネット、ローカルエリアネットワーク、又はワイドエリアネットワークであることができるであろう。

一実施形態では、モバイル機器は１つのカメラを備えてもよい。第１のカメラ、第２のカメラ、第３のカメラ、及び第４のカメラは同じカメラである。

別の実施形態では、モバイル機器は少なくとも２つのカメラを備えてもよい。第１のカメラ、第２のカメラ、第３のカメラ、及び第４のカメラのうちの少なくとも２つは異なるカメラである。

別の実施形態では、第１のカメラ、第２のカメラ、第３のカメラ、及び第４のカメラのうちの少なくとも２つは同じカメラである。

第１のカメラ、第２のカメラ、第３のカメラ、及び／又は第４のカメラのためのカメラ固有パラメータが、提供されるか、又はカメラ校正方法に基づいて校正されてもよい。カメラ固有パラメータは、カメラ画像に基づいてカメラ位置又はカメラ運動を判定するために用いられてもよい。

一実施形態では、本発明に係るシステムはモバイル機器と電子的に結合されるか、又はその一部であることができるであろう。それは車両から分離していることができるであろう。システムは、ケーブルを介して、無線で、又はコンピュータネットワークを介して車両と通信してもよい。システムは、車両座標系内におけるモバイル機器に関連付けられる位置又は運動を判定し、この位置又は運動を、少なくとも１つの機能を制御するために車両へ送信することができるであろう。

更なる実施形態では、システムは車両から車両情報を受信することができるであろう。車両情報は、車両座標系、表示されたビジュアルコンテンツの視覚的外観、表示のために用いられる表示装置の解像度、車両座標系内における表示装置（即ち、車両の少なくとも１つの部分）の位置、表示装置（即ち、車両の少なくとも１つの部分）の物理的幾何配置のうちの少なくとも１つ、又はそれらの組み合わせを含んでもよい。

別の実施形態では、システムは、車両と電子的に結合されるか、又はその一部であり、モバイル機器から分離していることができるであろう。システムは、ケーブルを介して、無線で、又はコンピュータネットワークを介してモバイル機器と通信してもよい。モバイル機器はカメラ画像をシステムへ送信することができるであろう。モバイル機器は、カメラ固有パラメータ（例えば、焦点距離及び主点）をシステムへ送信することを更に必要とする場合がある。カメラ固有パラメータは、カメラ画像に基づいてカメラ位置を判定するために用いられてもよい。

別の実施形態では、システムはモバイル機器から分離し、車両から分離していることができるであろう。システムは、ケーブルを介して、無線で、又はコンピュータネットワークを介してモバイル機器及び／又は車両と通信してもよい。システムは車両から車両情報を受信し、モバイル機器からカメラ画像及びカメラ固有パラメータを受信することができるであろう。その後、システムは、車両座標系内におけるモバイル機器に関連付けられる位置又は運動を判定し、この位置又は運動を、少なくとも１つの機能を制御するために、車両、又は少なくとも１つの機能に関連する車両の１つ以上のサブシステムへ送信することができるであろう。

別の態様によれば、本発明はまた、本発明に係る方法を実行するように適合されるソフトウェアコードセクションを含むコンピュータプログラム製品に関する。特に、コンピュータプログラム製品はコンピュータ可読媒体上に包含され、非一時的なものである。ソフトウェアコードセクションは、本明細書において説明されているとおりの処理装置のうちの１つ以上のメモリ上にロードされてもよい。

一実施形態によれば、本方法は、携帯電話などの、モバイル機器の１つ以上の処理装置上で実行し、車両と直接、又は間接的に通信するアプリケーションとして実行されてもよい。

別の実施形態によれば、本方法は、車両の１つ以上の処理装置上で実行し、モバイル機器及び／又はカメラと直接、又は間接的に通信するアプリケーションとして実行されてもよい。

別の実施形態によれば、本方法は、モバイルコンピュータ又はパーソナルコンピュータなどの、コンピュータの１つ以上の処理装置上で実行し、モバイル機器及び／若しくはカメラ、並びに車両と直接、又は間接的に通信するアプリケーションとして実行されてもよい。

これより、図面に関して本発明の態様及び実施形態を説明する。

本発明の例示的な実施形態のフローチャートを示す。 本発明の別の例示的な実施形態のフローチャートを示す。 本発明の一実施形態に係る例示的な場面を示す。

以下において、図１〜図３に示されるとおりの例示的な実施形態を参照して本発明の態様及び実施形態を説明する。以下の実施形態は携帯電話の使用に関連して説明されるが、本発明は原理上、画像をキャプチャするためのカメラとの特定の空間関係を通じて関連付けられる任意のモバイル機器を用いて適用することができる。

図３は、車両３００１の一部分が前部制御パネル３００９及び光源３００７を含む、車両環境の例示的な場面を示す。表示装置は、前部制御パネル３００９に搭載されたスクリーン３００４を含む。スクリーン３００４上に表示されている、あり得るビジュアルコンテンツは２Ｄ地図３００５であるが、同様に、任意の他のビジュアルコンテンツであってもよい。車両座標系３００６が車両３００１に関連付けられる。

図３に示される例示的な場面において、本明細書において用いられる時のモバイル機器は、カメラ３００３を備える携帯電話３００２である。カメラ３００３のカメラ固有パラメータがモバイル機器に提供される。

あり得る使用シナリオでは、車両３００１はコンピュータサーバを介して車両情報を無線で携帯電話３００２へ送信する。車両情報は、表示された２Ｄ地図３００５の画像情報（即ち、視覚的外観）の少なくとも一部分、スクリーン３００４の解像度、車両座標系３００６内におけるスクリーン３００４の位置、並びにスクリーン３００４の形状及びサイズを含む。

別の実施形態では、スクリーン３００４は携帯電話３００２の図像的外形を示してもよい。図像的外形はスクリーン３００４のディスプレイ座標系内における既知の位置を有し、それゆえ、車両座標系３００６内における既知の位置を有することもできるであろう。カメラ３００３が携帯電話３００２に対する既知の位置を有する場合には、このとき、スクリーン３００４上の図像的外形によって指示された位置上に携帯電話３００２が置かれると、カメラ３００３は車両座標系３００６内における既知の初期位置を有することができるであろう。車両座標系３００６内におけるカメラ３００３のこの初期位置は、カメラ３００３を追跡し、及び／又は車両３００１の一部分を復元するために用いられてもよい。カメラ３００３の位置はそれ自身の初期位置に対して判定されてもよい。即ち、例えば、カメラ３００３に取り付けられた慣性センサに基づいて、又はカメラ３００３によってキャプチャされた２つの画像間の対応する画像特徴に基づいて、カメラ３００３の動きを判定する。それゆえ、カメラ３００３、及びしたがって、カメラ３００３に関連付けられる携帯電話３００２を車両座標系３００６内において追跡することができる。

モバイル機器、ここでは、携帯電話３００２は、１つ以上のマイクロプロセッサ及び関連回路機構などの、少なくとも１つ以上の処理装置を有する。処理装置は当技術分野において一般的に用いられており、それらは携帯電話３００２の内部にあるため、図には示されていない。図３では、参照符号３０１１によって内部処理装置が指示されている。当技術分野において一般的に用いられ、適用されるタスクの中でもとりわけ、本発明に関して、処理装置３０１１は、カメラ３００３と通信し、図１及び図２を参照して説明されているとおりのステップなどの、本明細書において本発明に関して説明されているとおりのタスク及びステップを実行するように構成される。本例では、携帯電話３００２はユーザによって保持されてもよい。カメラ３００３のカメラ固有パラメータが処理装置３０１１に提供されるか、又はカメラ校正手順によって決定されてもよい。

更に、車両３００１は、当技術分野において一般的に用いられ１つ以上のマイクロプロセッサ及び関連回路機構などの、図３において参照符号３０２１によって指定される、少なくとも１つ以上の処理装置を備えてもよい。当技術分野において一般的に用いられ、適用されるタスクの中でもとりわけ、本発明に関して、処理装置３０２１は、スクリーン３００４上にビジュアルコンテンツ３００５を表示するように構成される。処理装置３０２１は、図１及び図２を参照して説明されているとおりのステップなどの、本明細書において本発明に関して説明されているとおりのタスク及びステップを実行するために更に適用可能である。

一実施形態によれば、カメラ（カメラ３００３など）によってキャプチャされた画像に関連付けられる画像情報をカメラから直接、又は別の処理装置から受信すること、受信された画像情報に従って、車両座標系内におけるモバイル機器に関連付けられる位置を判定すること、及び車両座標系内におけるモバイル機器に関連付けられる位置を指示する位置情報を提供することなどの、本明細書において説明されているとおりの本発明に係るステップのうちの任意のものを実行するために、処理装置３０１１及び／若しくは３０２１は、各々が、又は互いとの任意に組み合わせで、好適となり、そのために構成されてもよい。例えば、このような位置情報は、位置に従って車両の少なくとも１つの機能を制御するために、直接通信を介して、又は別の処理装置（サーバコンピュータなど）を介して間接的に車両の制御機器に提供されてもよい。

これらのタスク及びステップはまた、携帯電話３００２内及び車両３００１内のどちらにも包含されないが、例えば、コンピュータネットワークを通じて、携帯電話３００２及び車両３００１と無線通信する、サーバコンピュータ４０００などの別の機器内に包含される、処理装置４００１などの別の１つ以上の処理装置によって実行されてもよい。更に、本明細書において説明されているとおりの本発明に係るタスク及びステップの全て又は一部は、処理装置３０１１、３０２１及び４００１の間で共有されるか、又は分散されることも可能である。

カメラ３００３、及び携帯電話３００２の筐体は、互いに対して固定した位置を有する。カメラ３００３と携帯電話３００２の任意の部分との空間関係は携帯電話３００２の製造元によって提供されてもよいか、又は当技術分野において一般的に知られているとおりに校正されてもよい。

次に、図１を参照して説明されているとおりのプロセスを見ると、図１に示されるとおりの本発明の例示的な実施形態では、ステップ１００１において、車両座標系を提供された車両に搭載された表示装置がそのスクリーン上に、図３に示されるとおりの２Ｄ地図３００５の形態のビジュアルコンテンツなどの、図を表示する。ステップ１００２において、車両は、インターネットを介して車両情報を車両から、カメラを備える携帯電話へ送信する。ステップ１００３において、携帯電話のカメラが、表示装置上に表示された図の画像をキャプチャする。図３に示される例示的な場面では、カメラ３００３は、表示された２Ｄ地図３００５の画像をキャプチャする。画像は、表示された２Ｄ地図３００５の一部分のみを含んでもよい。

ステップ１００４は、本実施形態では携帯電話上において、カメラが画像をキャプチャする間の車両座標系内におけるカメラ位置を判定する。図３に示される例示的な場面では、カメラ３００３が画像をキャプチャする間の車両座標系３００６内におけるカメラ３００３のカメラ位置を判定することができる。これは、携帯電話３００２の処理装置３０１１上において、キャプチャされた画像に関連付けられる受信された画像情報に従って実行される。カメラ位置の判定は、カメラ３００３によってキャプチャされた画像、及び携帯電話３００２において受信された２Ｄ地図３００５の画像情報を一致させることに基づくことができるであろう。判定されたカメラ位置から、車両の少なくとも１つの機能を制御するための入力として用いられてもよい、車両座標系３００６内におけるモバイル機器３００２に関連付けられる位置が判定されてもよい。カメラ３００３とモバイル機器３００２の任意の部分との既知の空間関係がこの判定のために用いられてもよい。

ステップ１００５は、判定されたカメラ位置を携帯電話から車両へ送信する。図３に示される例示的な場面では、車両座標系３００６内におけるカメラ３００３のカメラ位置が携帯電話３００２から車両３００１へ提供される。

次に、ステップ１００６において、車両は、受信されたカメラ位置に従って車両の少なくとも１つの機能を制御してもよい。図３に示される例示的な場面では、車両３００１の処理装置３０２１が光源３００７の照射方向を制御してもよい。光源３００７は、カメラ３００３のカメラ位置によって規定される方向に沿った区域３００８を照射するように指向させることができるであろう。

図２は、別の例示的な実施形態のフローチャートを示す。ステップ２００１は、車両座標系を提供された車両に搭載された表示装置上に図を表示する。ステップ２００２において、車両は車両情報を、カメラを備える携帯電話へ送信する。ステップ２００３において、携帯電話のカメラは、表示された図の第１の画像をキャプチャする。ステップ２００４は、携帯電話上において、第１の画像及び表示された図に従って、カメラが第１の画像をキャプチャする間の車両座標系内におけるカメラ位置Ｐ１を判定する。ステップ２００５において、カメラ、即ち、携帯電話を位置Ｐ１と異なる別の位置へ動かす。ステップ２００６において、携帯電話のカメラは、表示された図の第２の画像をキャプチャする。ステップ２００７は、携帯電話上において、第２の画像及び表示された図の画像情報に従って、カメラが第２の画像をキャプチャする間の車両座標系内におけるカメラ位置Ｐ２を判定する。ステップ２００８は、携帯電話上において、第１の画像及び第２の画像の画像情報並びにカメラ位置Ｐ１及びＰ２に基づいて車両の少なくとも一部分のモデルを復元する。これは、例えば、参照文献［９］に開示されるように、三角測量方法を用いて実現することができるであろう。

ステップ２００９において、カメラを動かす。ステップ２０１０において、カメラは第３の画像をキャプチャする。ステップ２０１１は、携帯電話上において、モデルに従って、カメラが第３の画像をキャプチャする間の車両座標系内におけるカメラ位置Ｐ３を判定する。これはＳＬＡＭ方法に基づいて実施することができるであろう。例えば、参照文献［４］を参照されたい。ステップ２０１２において、位置Ｐ３は所望の位置であるかどうかを判定する。所望の位置は、ユーザが、その所望の位置に従って車両の機能を設定又は制御したいと望んでいることを指示する。例えば、ユーザは本を読む場合がある。所望の位置は、車両のアンビエントライトシステムが照射するべき本の周りの区域の中心位置を指示してもよい。それが所望の位置でない場合には、このとき、ステップ２００８へ進み、例えば、ＳＬＡＭ方法（例えば、参照文献［４］参照）を用いて第３の画像に従ってモデルを拡張する。他方で、それが所望の位置である場合には、このとき、位置Ｐ３を携帯電話から車両へ送信する（ステップ２０１３）。次に、車両は、受信された位置Ｐ３に従って車両の少なくとも１つの機能を制御することができる（ステップ２０１４）。

車両の少なくとも１つの機能を制御するための位置情報を提供するための方法及びシステムの第１の態様に関して上述されたとおりのステップ及びシステム構成要素は、モバイル機器の少なくとも１つのカメラによってキャプチャされた少なくとも２つの画像に関連付けられる画像情報を提供するという変更、及び上述されたとおりのこの画像情報を考慮した以下のステップを有することによって、同じ又は同様の構成要素を用いて、車両の少なくとも１つの機能を制御するための運動情報を提供するための方法及びシステムの第２の態様に関して類似的に適用することができる。更に、上述されたとおりの、モバイル機器、カメラ、及び／又は処理装置などの構成要素はまた、車両の少なくとも１つの機能を制御するための運動情報を提供するための第２の態様の方法を実行するように構成されてもよい。

本明細書全体を通じて、画像に関連付けられる画像情報が提供又は受信される。これは、位置又は姿勢推定を可能にする、画像、画像の一部分及び／又は画像の特徴の任意の処理済又は未処理情報（バージョン）を提供又は受信することを含み得ることが当業者には知られている。本発明は、生の画像データを提供又は受信することを全く必要としない。そのため、処理は、圧縮（例えば、ＪＰＥＧ、ＰＮＧ、ＺＩＰ）、暗号化（例えば、ＲＳＡ暗号化、Ｓｃｈｎｏｒｒ署名、Ｅｌ−Ｇａｍａｌ暗号化、ＰＧＰ）、別の色空間若しくはグレースケールへの変換、画像のクロッピング若しくはスケーリング、又は特徴記述子に基づくスパース表現への変換、抽出、並びにそれらの組み合わせのうちの任意のものを含む。全てのこれらの画像処理方法は任意選択的に実行することができ、画像の画像情報又は画像に関連付けられる画像情報の用語によって網羅される。

参照文献
１．米国特許第８３７３７６３（Ｂ１）号
２．米国特許出願公開第２０１２／０２８７２８７（Ａ）号
３．国際公開第２０１１／０７５２２６（Ａ１）号
４．Ｄａｖｉｓｏｎ，Ａｎｄｒｅｗ Ｊ．，ｅｔ ａｌ．「ＭｏｎｏＳＬＡＭ：Ｒｅａｌ−ｔｉｍｅ ｓｉｎｇｌｅ ｃａｍｅｒａ ＳＬＡＭ．」Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ２９．６（２００７）：１０５２〜１０６７．
５．Ｓｔｒａｓｄａｔ，Ｈａｕｋｅ，Ｊ．Ｍ．Ｍ．Ｍｏｎｔｉｅｌ，ａｎｄ Ａｎｄｒｅｗ Ｊ．Ｄａｖｉｓｏｎ．「Ｓｃａｌｅ ｄｒｉｆｔ−ａｗａｒｅ ｌａｒｇｅ ｓｃａｌｅ ｍｏｎｏｃｕｌａｒ ＳＬＡＭ．」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｒｏｂｏｔｉｃｓ：Ｓｃｉｅｎｃｅ ａｎｄ Ｓｙｓｔｅｍｓ（ＲＳＳ）．Ｖｏｌ．２．Ｎｏ．３．２０１０．
６．Ｌｅｍａｉｒｅ，Ｔｈｏｍａｓ，ｅｔ ａｌ．「Ｖｉｓｉｏｎ−ｂａｓｅｄ ｓｌａｍ：Ｓｔｅｒｅｏ ａｎｄ ｍｏｎｏｃｕｌａｒ ａｐｐｒｏａｃｈｅｓ．」Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ７４．３（２００７）：３４３〜３６４．
７．米国特許第７６６０４３７（Ｂ１）号
８．米国特許第７４１５１２６（Ｂ１）号
９．Ｈａｒｔｌｅｙ，Ｒｉｃｈａｒｄ，ａｎｄ Ａｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎ．Ｍｕｌｔｉｐｌｅ ｖｉｅｗ ｇｅｏｍｅｔｒｙ ｉｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ．Ｖｏｌ．２．Ｃａｍｂｒｉｄｇｅ，２０００．

Claims (25)

1. 車両座標系（３００６）を提供された車両（３００１）の少なくとも１つの機能を制御するための位置情報を提供するための方法であって、前記方法は、
   モバイル機器（３００２）のカメラ（３００３）によってキャプチャされた前記車両（３００４）の少なくとも１つの部分の少なくとも１つの画像に関連付けられる画像情報を受信することであって、前記モバイル機器は前記車両から分離している、ことと、
   前記少なくとも１つの画像に関連付けられる前記画像情報に従って前記車両座標系（３００６）内における前記モバイル機器（３００２）に関連付けられる位置を判定することと、
   前記位置に従って前記車両の少なくとも１つの機能を制御するために前記車両座標系（３００６）内における前記モバイル機器（３００２）に関連付けられる前記位置を指示する位置情報を提供することと、
   を含む方法。
2. 前記車両座標系（３００６）内における前記車両（３００４）の前記少なくとも１つの部分の位置を提供又は受信することを更に含む、請求項１に記載の方法。
3. 前記車両の前記少なくとも１つの部分が、前記車両（３００１）に搭載された表示装置（３００４）上に表示されたビジュアルコンテンツ（３００５）を含む、請求項２に記載の方法。
4. 前記車両座標系（３００６）内における前記モバイル機器（３００２）に関連付けられる前記位置を判定することが、
   前記少なくとも１つの画像に関連付けられる前記画像情報に従って前記少なくとも１つの画像をキャプチャする際の前記車両（３００４）の前記少なくとも１つの部分に対する前記カメラ（３００３）のカメラ位置を判定することと、
   前記車両座標系（３００６）内における前記カメラ位置及び前記車両（３００４）の前記少なくとも１つの部分の前記位置に従って前記車両座標系（３００６）内における前記モバイル機器（３００２）に関連付けられる前記位置を判定することと、
   を含む、請求項２又は３に記載の方法。
5. 前記少なくとも１つの画像が第１の画像であり、前記カメラ（３００３）が第１のカメラであり、前記車両座標系（３００６）内における前記モバイル機器（３００２）に関連付けられる前記位置を判定することが、
   前記モバイル機器（３００２）の第２のカメラ（３００３）によってキャプチャされた前記車両（３００４）の前記少なくとも１つの部分の第２の画像に関連付けられる画像情報を受信することと、
   前記第１の画像及び前記第２の画像に関連付けられる前記画像情報に従って前記車両（３００４）の前記少なくとも１つの部分のモデルを復元することと、
   を含む、請求項２又は３に記載の方法。
6. 前記モバイル機器（３００２）の第３のカメラによってキャプチャされた第３の画像に関連付けられる画像情報を受信することであって、前記第３の画像は、前記復元されたモデルの少なくとも一部分によって表現された前記車両の少なくとも一部分をキャプチャする、ことと、
   前記復元されたモデルの前記少なくとも一部分、及び前記第３の画像に関連付けられる画像情報に従って前記第３の画像をキャプチャする際の前記復元されたモデルに対する前記第３のカメラのカメラ位置を判定することと、
   前記第３のカメラの前記カメラ位置に従って前記車両座標系（３００６）内における前記モバイル機器（３００２）に関連付けられる前記位置を判定することと、
   を更に含む、請求項５に記載の方法。
7. 前記第１の画像に関連付けられる前記画像情報の少なくとも一部分に従って前記第１の画像をキャプチャする際の前記車両（３００４）の前記少なくとも１つの部分に対する前記第１のカメラ（３００３）のカメラ位置を判定することと、
   前記第２の画像に関連付けられる前記画像情報の少なくとも一部分に従って前記第２の画像をキャプチャする際の前記車両（３００４）の前記少なくとも１つの部分に対する前記第２のカメラのカメラ位置を判定することと、
   を更に含む、請求項５又は６に記載の方法。
8. 前記車両（３００４）の前記少なくとも１つの部分が前記車両の第１の部分であり、
   前記モバイル機器（３００２）の第４のカメラによってキャプチャされた第４の画像に関連付けられる画像情報を受信することであって、前記第４の画像は、前記車両の前記第１の部分の少なくとも一部分及び前記車両の少なくとも第２の部分をキャプチャする、ことと、
   前記復元されたモデルを、前記車両の前記第１の部分及び前記車両の前記第２の部分を含むべく拡張することと、
   を更に含む、請求項５から７のいずれか一項に記載の方法。
9. 前記復元されたモデルが前記車両の少なくとも一部分の奥行き情報を少なくとも記述する、請求項５から８のいずれか一項に記載の方法。
10. 前記第１のカメラ、前記第２のカメラ、前記第３のカメラ、及び前記第４のカメラのうちの少なくとも２つが同じカメラ（３００３）である、請求項５から９のいずれか一項に記載の方法。
11. 前記第１のカメラ、前記第２のカメラ、前記第３のカメラ、及び前記第４のカメラのうちの少なくとも２つが異なるカメラである、請求項５から９のいずれか一項に記載の方法。
12. 前記少なくとも１つの機能が、前記車両の音響システム、前記車両のアンビエントライトシステム、及び前記車両の空気調節システムのうちの少なくとも１つに関連し、前記位置に従って制御される機能である、請求項１から１１のいずれか一項に記載の方法。
13. 車両座標系（３００６）を提供された車両（３００１）の少なくとも１つの機能を制御するための運動情報を提供するための方法であって、前記方法は、
    モバイル機器（３００２）の少なくとも１つのカメラ（３００３）によってキャプチャされた少なくとも２つの画像に関連付けられる画像情報を受信することであって、前記モバイル機器は前記車両から分離しており、前記少なくとも２つの画像の各々は前記車両の少なくとも１つの部分をキャプチャする、ことと、
    前記少なくとも２つの画像に関連付けられる前記画像情報に従って前記車両座標系（３００６）に対する前記モバイル機器（３００２）に関連付けられる運動を判定することと、
    前記運動に従って前記車両の少なくとも１つの機能を制御するために前記車両座標系（３００６）に対する前記モバイル機器に関連付けられる前記運動を指示する運動情報を提供することと、
    を含む方法。
14. 前記車両座標系（３００６）に対する前記モバイル機器（３００２）に関連付けられる前記運動が、前記車両座標系内における前記モバイル機器に関連付けられる少なくとも２つの位置に従って判定される、請求項１３に記載の方法。
15. 前記車両座標系（３００６）に対する前記モバイル機器（３００２）に関連付けられる前記運動が、前記少なくとも２つの画像をキャプチャする際の前記少なくとも１つのカメラ（３００３）の少なくとも２つのカメラ位置に従って判定される、請求項１３又は１４に記載の方法。
16. 前記車両座標系（３００６）に対する前記モバイル機器（３００２）に関連付けられる前記運動が、前記少なくとも２つの画像の前記各々の内部にキャプチャされた前記車両（３００４）の前記少なくとも１つの部分の画像位置に従って判定される、請求項１３から１５のいずれか一項に記載の方法。
17. 前記少なくとも１つの機能が、前記モバイル機器に関連付けられる判定された運動に基づいて制御される機能、特に、前記モバイル機器の前記運動に従って制御される前記車両の音響システム、照明システム及び空気調節のうちの少なくとも１つに関連する機能である、請求項１３から１６のいずれか一項に記載の方法。
18. 車両座標系（３００６）を提供された車両（３００１）の少なくとも１つの機能を制御するための位置情報を提供するためのシステムであって、
    モバイル機器（３００２）のカメラ（３００３）によってキャプチャされた前記車両（３００４）の少なくとも１つの部分の少なくとも１つの画像に関連付けられる画像情報を受信するように構成される第１の処理装置（３０１１、３０２１、４００１）であって、前記モバイル機器は前記車両から分離している、第１の処理装置（３０１１、３０２１、４００１）と、
    前記少なくとも１つの画像に関連付けられる前記画像情報に従って前記車両座標系（３００６）内における前記モバイル機器（３００２）に関連付けられる位置を判定するように構成される前記第１の処理装置（３０１１、３０２１、４００１）と、
    前記位置に従って前記車両（３００１）の少なくとも１つの機能を制御するために前記車両座標系（３００６）内における前記モバイル機器（３００２）に関連付けられる前記位置を指示する位置情報を提供するように構成される第２の処理装置（３０１１、３０２１、４００１）と、
    を備えるシステム。
19. 車両座標系（３００６）を提供された車両（３００１）の少なくとも１つの機能を制御するための運動情報を提供するためのシステムであって、
    モバイル機器（３００２）の少なくとも１つのカメラ（３００３）によってキャプチャされた少なくとも２つの画像に関連付けられる画像情報を受信するように構成される第１の処理装置（３０１１、３０２１、４００１）であって、前記モバイル機器は前記車両から分離しており、前記少なくとも２つの画像の各々は前記車両の少なくとも１つの部分をキャプチャする、第１の処理装置（３０１１、３０２１、４００１）と、
    前記少なくとも２つの画像に関連付けられる前記画像情報に従って前記車両座標系（３００６）に対する前記モバイル機器（３００２）に関連付けられる運動を判定するように構成される前記第１の処理装置（３０１１、３０２１、４００１）と、
    前記運動に従って前記車両の少なくとも１つの機能を制御するために前記車両座標系（３００６）に対する前記モバイル機器に関連付けられる前記運動を指示する運動情報を提供するように構成される第２の処理装置（３０１１、３０２１、４００１）と、
    を備えるシステム。
20. 前記第１の処理装置及び前記第２の処理装置が同じ処理装置（３０１１、３０２１、４００１）である、請求項１８又は１９に記載のシステム。
21. 前記第１の処理装置及び前記第２の処理装置（３０１１）の少なくとも一方が前記モバイル機器（３００２）内に含まれる、請求項１８から２０のいずれか一項に記載のシステム。
22. 前記第１の処理装置及び前記第２の処理装置（３０２１）の少なくとも一方が前記車両（３００１）内に含まれる、請求項１８から２１のいずれか一項に記載のシステム。
23. 前記第１の処理装置及び前記第２の処理装置（４００１）の少なくとも一方が、前記モバイル機器（３００２）及び前記車両（３００１）と通信するコンピュータ機器（４０００）内に含まれる、請求項１８から２２のいずれか一項に記載のシステム。
24. 前記モバイル機器（３００２）が、ハンドヘルド機器、特に、携帯電話、タブレットコンピュータ又はモバイルコンピュータである、請求項１８から２３のいずれか一項に記載のシステム。
25. 処理装置の前記内部メモリ内にロードされると、請求項１から１７のいずれか一項に記載の方法を実行するように適合されるソフトウェアコードセクションを含むコンピュータプログラム製品。

Images