JP2017519184A - 符号化光に基づく携帯装置の位置特定 - Google Patents

Abstract

本発明は、符号化光を用いて画像センサ及び慣性測定ユニットを有する携帯装置の位置を特定する装置、システム及び方法に関するもので、該方法は、上記画像センサから符号化光光源を有する第１画像を取得すると共に、実質的に同時に上記慣性測定ユニットから上記携帯装置又は画像センサの方位を示す方位情報を取得するステップと；上記符号化光光源の三次元位置の取り出しを可能にする識別子又は該符号化光光源の三次元位置の形態の光源固有の情報を取得するステップと；上記携帯装置又は画像センサの位置を上記方位情報、当該携帯装置又は画像センサの予め決められた高さ概算値及び上記光源固有の情報に基づいて計算するステップと；を有する。

Description

本発明は、広くは位置特定システムの分野に係り、更に詳細には符号化光に基づく位置特定のための方法、装置及びシステムに関する。

位置特定システムは、低価格ＧＰＳ装置の導入及び、その後の、ナビゲーション機能を持つスマートフォンの殆ど全世界的な採用により過去２０年の間に主流の装置になってきている。

より最近では、屋内位置特定システムが益々注目を集めている。赤外線（ＩＲ）、超音波、ビデオ監視及びＲＦ信号に基づくシステム等の幾つかの屋内位置特定システムが知られている。

Zheng Sun他による“Headio: Zero-Configured Heading Acquisition for Indoor Mobile Devices Through Multimodal Context Sensing”に示された“Headio”システム等の多方式システムが相当に注目を集めているように思われる。後者のシステムは、スマートフォンで見られる重力センサ及び磁力計センサからの情報を、該スマートフォンによりキャプチャされるカメラデータと組み合わせている。該Headioシステムにおいては、方位のための他の方式として使用することができる真っ直ぐなエッジを高頻度で有する天井を撮像するために前方を向くカメラが使用される。

しかしながら、全ての天井が斯様な“明確に見えるエッジ”を有するというものではなく、このようなエッジがない状況において上記システムは良好に動作しない可能性がある。

本発明は、携帯装置の位置特定を実施するための主要手段としてＲＦ位置特定法を用いる位置特定システムから脱皮するものである。代わりに、本発明は、広く利用可能な光源を用いることに焦点を合わせる。更に詳細には、本発明は位置特定のための主たる手段として登録された三次元位置を有する光源を利用することを提案するものである。有利には、当該光源は符号化光光源とする。ここで、符号化光とは、主に照明目的で使用される可視光の変調を指す。当該光を適切に変調することにより、斯かる変調は裸眼にとり実質的に見えないままとなり得、それでいて、適切な符号化光受信器を装備された携帯装置に情報を提供することができる。

本発明の第１態様によれば、第１光源を用いて画像センサ及び慣性測定ユニットを有する携帯装置の位置を特定する方法が提供され、該方法は、前記画像センサから第１光源を含む第１画像を取得すると共に、実質的に同時に前記慣性測定ユニットから前記携帯装置又は前記画像センサの方位（orientation）を示す方位情報を取得するステップと；前記第１光源の三次元位置を確定するステップと；前記携帯装置又は画像センサの位置を、前記方位情報、前記第１画像における前記第１光源の位置、前記携帯装置又は画像センサの予め決められた高さ概算値（推定値）及び前記第１光源の前記三次元位置に基づいて計算するステップと；を有する。

特に、前記慣性測定ユニット（ＩＭＵ）は前記携帯装置又は前記画像センサの何れかの方位（向き）を提供し、該ＩＭＵが前記携帯装置の方位を提供する場合、該方位は前記画像センサの方位を決定するために使用することができる。この場合、前記画像センサは該画像センサの視野の第１画像を供給する。この視野内で光源が見える場合、該光源は該画像センサにより撮像され、これにより、該光源に対する該画像センサの相対位置の情報を登録する。

次に、前記第１光源の三次元位置を確定する必要がある。一実施態様において、このことは、ユーザに何の特定の電灯が地図上で撮像されているかを示させ、次いで該電灯の三次元位置をデータベースから取り出すことにより達成することができる。

特に有利な実施態様においては、前記光源自体が、この情報を直接的に又は間接的に供給することができる。三次元位置情報の直接的供給は、当該光源が符号化光信号内で自身の三次元位置を送信する場合に可能である。三次元位置情報の間接的供給は、当該光源が符号化光信号内で、データベースからの該三次元位置情報の取り出しを可能にする光源固有の情報を供給する場合に可能である。

上記三次元位置情報が利用可能になったら、該情報は当該携帯装置の位置の概算値（推定値）を供給するために用いることができる。このようにするために、更に、当該携帯装置は予め決められた高さに位置されると仮定する。この高さは、予め決められた高さ値に設定することができ、当該装置の主要ユーザのために特別に設定することができ、及び／又は後述するように時間にわたり補正することさえもできる。

上記の収集されたデータ及び予め決められた高さ概算値を用いて、符号化光光源に対する位置を該光源の既知の位置に基づいて計算し、これにより当該携帯装置の位置を推定することができる。

他の好ましい実施態様において、前記符号化光光源は該符号化光光源の三次元位置の取り出しを可能にする光源固有の情報を供給する。特に、このことは、当該符号化光光源のコミッショニング（試運転検査）処理を簡素化することができる。というのは、当該光源が正確な位置でプログラムされる必要はなく、事実上、データベースからの当該位置の取り出しを可能にするような（ローカルに）固有な識別子を送信するだけでよいからである。

好ましい実施態様において、前記方位情報は複数の入力方式に基づくものであり、各入力方式の寄与度は１以上の制御基準に基づいて重み付けられる（加重される）。第１の入力方式は磁気コンパスデータであり、これは、動きがない場合の始動時に有効な情報であるが、かなりの距離に及ぶ場合、加速度計及び／又はジャイロスコープデータよりも信頼性が劣る。第２の入力方式は三次元加速度データであり得る。加速度計データは、コンパスデータ及びジャイロスコープデータよりも信頼性があるので、典型的に使用される。更なる方式は、三次元ジャイロスコープデータである。ジャイロスコープデータは、当該携帯装置のかなりの動きがある場合に使用することができるが、ジャイロスコープデータは初期的には信頼性がなく、僅かな動きしかない場合にはドリフトする傾向がある。より好ましくは、各データの使用は、各方式の信頼性尺度の形での基準に基づくものとする。

好ましい実施態様において、当該携帯装置は、符号化光光源に対する自身の相対位置を確定したら、位置特定のために他の光源（更に特定的には非符号化光光源）を使用することもできる。この目的のために、当該方法は、水平面における前記携帯装置の方位を示す進行方向（heading）情報を取得するステップと、第２光源を含む第２画像を取得するステップとを更に有する。特に、該第２光源は、必要ではないが、符号化光を送信することができる。該第２光源が符号化光を放出する場合、装置位置を決定するために該情報を前述したように使用することが可能であり得る。該新たに計算された位置を先に計算された位置と組み合わせることにより、一層正確な位置を得ることができる。

上記第２光源が符号化光を放出しない場合でも、該光源の検出を、先に計算された位置及び前記ＩＭＵからの情報との組み合わせで使用して、信頼性のある位置の更新を計算することができる。この目的のために、先に説明した方法は、光源の更なる三次元位置を提供する三次元位置データを含んだ第２地図情報にアクセスするステップと、前記第２地図情報に含まれる候補光源を、前記携帯装置又は画像センサの計算された位置、前記第２画像における前記第２光源の位置及び前記進行方向情報に基づいて確定するステップと、前記第２画像における光源が前記候補光源に対応するという仮定の下で前記携帯装置又は画像センサの更新された位置を、前記方位情報、前記第２画像における前記第２光源の位置、前記第２画像における前記候補光源の位置、前記携帯装置又は画像センサの前記予め決められた高さ概算値、及び前記第２地図情報により識別される前記候補光源の位置を用いて計算するステップと、により拡張することができる。この方法においては、符号化光光源及び非符号化光光源の両方を使用することができるので、この方法は既存の位置において符号化光を用いた位置特定を低減された費用で可能にするものである。というのは、光源の幾つかしか符号化光光源に置換する必要がないからである。

好ましい実施態様において、当該位置を特定する方法は位置及び方位を、粒子フィルタ（particle filter）を用いて統合し、その場合において、各粒子が前記携帯装置の可能性のある異なる状態を反映する複数の粒子が維持され、各状態は前記携帯装置の可能性のある方位及び可能性のある位置を有し、当該方法は、各粒子に関して、当該粒子に対する重みを、対応する粒子の方位及び位置を前記取得された方位情報及び前記計算された位置と照合することにより決定するステップであって、前記照合が良好なほど、前記重みが大きくなるステップと、前記粒子を、前記重みに基づいて新たな粒子を発生することにより再サンプリングするステップであって、より大きな重みを持つ粒子の近傍において、より多数の新たな粒子が選択されるステップと、前記携帯装置又は画像センサの統合された位置及び方位を、前記重みが付された粒子にわたって又は前記再サンプリングされた粒子にわたって平均化することにより計算するステップと、を含む。更にオプションとして、上記平均化は、最も大きな重みの粒子の部分群に限定することができるか、又は最も大きな重みの粒子を選択することにすることさえできる。複数の粒子を維持及び追跡することにより、位置及び方位の決定された推定内での不確定さを考慮に入れることができる。

好ましい実施態様において、当該位置を特定する方法は位置及び方位を、多重仮説追跡法（multiple hypothesis tracking）を用いて統合し、その場合において、各仮説が前記携帯装置の可能性のある異なる状態を反映する複数の仮説が維持され、各状態は前記携帯装置の可能性のある方位及び可能性のある位置を有し、当該方法は、各仮説に関して、仮説に対する尺度を、対応する仮説の方位及び位置を前記取得された方位情報及び前記計算された位置と照合することにより決定するステップであって、前記照合が良好なほど、前記尺度が小さくなるステップと、各仮説をありそうな派生仮説に分岐させ、各派生仮説に対する尺度を計算し、次の反復のために所定数の生き残り仮説を維持するステップと、前記携帯装置又は画像センサの統合された位置を、最良の仮説を各尺度に基づいて抽出することにより計算するステップと、を含む。複数の仮説を維持及び追跡することにより、位置及び方位の決定された推定内での不確定さを考慮に入れることができる。

第１態様の好ましい実施態様において、当該方法は、更に、前記画像センサからの第３画像において複数の光源を検出するステップであって、これら複数の光源が前記第１又は第２地図情報に含まれるステップと、前記携帯装置又は画像センサの候補位置を、前記複数の光源の各位置に基づいて計算するステップと、前記予め決められた高さ概算値及び前記方位情報の少なくとも一方を補正するステップと、を有する。このようにして、画像センサを用いて決定された信頼性のある位置情報を、例えばコンパスの偏差及び／又はジャイロスコープのドリフトの補正のために使用することができる。

他の実施態様において、前記光源固有の情報は前記第１光源の三次元位置を含み、前記計算するステップは、前記携帯装置の１以上の候補位置を、前記方位情報、前記第１画像における前記第１光源の位置、前記携帯装置又は画像センサの予め決められた高さ概算値、及び前記光源固有の情報に含まれる前記第１光源の三次元位置に基づいて計算するステップを有する。符号化光光源の三次元位置を直接供給することにより、建物の地図を有する携帯装置は、位置情報を取り出すためのバックチャンネルの必要性無しに当該建物内をナビゲーションすることができる。

当該装置の位置が分かったなら、該装置の位置は該装置のユーザに対して通知することができる。更に、使用時において、当該装置の位置は一般的に該装置のユーザの位置に実質的に一致することに注意すべきである。有利にも、本発明の実施態様は、前記携帯装置又は画像センサの前記計算された位置に対応する視覚的指示子を、前記携帯装置のディスプレイ上に該携帯装置の近傍の二次元地図を提示すると共に前記計算された位置に対応する視覚的指示子を供給することにより、提示するステップを更に有することができる。

好ましくは、ユーザに提示される地図の方位は、前記ディスプレイが実質的に水平であり、且つ、当該携帯装置又は画像センサの計算された方位が正しい場合に、該ディスプレイ上の地図の方位が現実世界のものと整列するように回転される。

好ましくは、上記視覚化は、１以上の光源に対応する１以上の視覚的指示子を提示するステップを更に有する。

好ましくは、前記符号化光光源は、符号化光を放出しない光源を表す視覚的指示子とは異なる視覚的指示子を用いて示されるようにする。

好ましくは、上記視覚化は、前記携帯装置又は画像センサの位置を計算するために使用される１以上の光源に対して独特の視覚的指示子を有するようにする。

好ましくは、上記視覚化は、ディスプレイ上に提示される前記携帯装置又は画像センサの位置の信頼性の視覚的指示子を有するようにする。

本発明の第２態様によれば、通信ネットワークからダウンロード可能な、及び／又はコンピュータ読取可能及び／又はマイクロプロセッサが実行可能な媒体に記憶されたコンピュータプログラム製品が提供され、該コンピュータプログラム製品は、上述した方法を実施するためのプログラムコード命令を有することを特徴とする。

ここで、コンピュータ読取可能及び／又はマイクロプロセッサが実行可能な媒体は、少なくとも固体メモリ装置、光ディスク、ハードディスク及び当業者により既知の他のコンピュータ読取可能な記憶媒体等の不揮発性記憶装置を有すると考えられる。

本発明の第３態様によれば、第１光源を用いて自身の位置を特定するように構成された携帯装置が提供され、該携帯装置は、画像センサと、慣性測定ユニットと、第１処理ユニットとを有し、該第１処理ユニットは、前記画像センサから第１画像を取得し；前記画像センサからの前記第１画像と実質的に同時に、前記慣性測定ユニットから方位情報を取得し；前記第１画像が前記第１光源を含む場合に、該第１光源の三次元位置を確定し；前記携帯装置又は画像センサの位置を、前記方位情報、前記第１画像における前記第１光源の位置、前記携帯装置又は画像センサの予め決められた高さ概算値及び前記第１光源の前記三次元位置に基づいて計算するように構成される。

上記第３態様による装置は、建物内の屋内ナビゲーションのために使用することができる。更に、前記第１光源が符号化光光源である場合、該第１光源は自身の三次元位置情報を直接的に又は間接的に供給することができる。特に、上記三次元位置情報が直接的に供給される場合、又は前記携帯装置が光源識別子を位置にリンクさせるローカルな地図情報を有する場合、符号化光光源及び非符号化光光源を、複数の光源を用いた独立した屋内ナビゲーションのために使用することができる。

地図情報が遠方に記憶される場合、当該携帯装置は光源に対応する三次元位置データを含む地図情報を伝えるためにWi-Fi（登録商標）、ＧＳＭ（登録商標）、３Ｇ、ＬＴＥ、802.15.4及び／又はジグビ等の双方向無線通信ユニットを更に含むことができる。

本発明の第４態様によれば、符号化光に基づいて位置特定を行うように構成されたシステムが提供され、該システムは、前記第１光源を含む複数の光源と、画像センサ、慣性測定ユニット、無線送受信器及び第１計算ユニットを有する携帯装置と、無線送受信器及び第２計算ユニットを有するホスト装置とを有し、更に、該システムは、前記画像センサから第１画像を取得し、前記画像センサからの前記第１画像と実質的に同時に、前記慣性測定ユニットから方位情報を取得し、前記第１画像が前記第１光源を含む場合に、該第１光源の三次元位置を確定し、前記携帯装置又は画像センサの位置を、前記方位情報、前記第１画像における前記第１光源の位置、前記携帯装置又は画像センサの予め決められた高さ概算値及び前記第１光源の前記三次元位置に基づいて計算するように構成される。

上記システムを“自動起動”させるために、ユーザは、例えば、検出される光源を光源地図とリンクさせ、これにより、該地図を撮像される現実とリンクさせることができる。もっと有利には、符号化光が斯様なリンクを自動的に提供することができる。

単独の携帯装置構成例に対する上述したシステムの利点は、該システムが当該携帯装置により検出された関連するデータを、無線インターフェースを介して、前記ホスト装置と共有することを可能にすると共に、更に、該ホスト装置が上記携帯装置の位置を計算し、次いで該情報を該携帯装置と共有することを可能にすることである。このことは、携帯装置に対する計算的負荷を減少させる。更に、三次元光源位置情報にアクセスするために間接参照が用いられる場合、このことは、分散されたデータベースの複雑な更新を要することなく、光源識別子の更新を可能にする。更に、管理された照明環境において符号化光が用いられた場合、全ての光源を建物内にマッピングする情報を第三者と共有することは望ましくないであろう。

本発明の上記並びに他の態様、フィーチャ及び利点は、以下に説明する実施態様から明らかとなり、斯かる実施態様を参照して解説されるであろう。また、本発明は請求項に記載されるフィーチャの全ての可能性のある組み合わせに関するものであることに注意されたい。

図１は、符号化光照明システムを図示する。 図２は、符号化光照明システムの光源を図示する。 図３Ａは、画像を位置にマッピングする処理を示す。 図３Ｂは、画像を位置にマッピングする処理を示す。 図３Ｃは、画像を位置にマッピングする処理を示す。 図４は、逆投影の一例の上面図である。 図５は、本発明の一実施態様における粒子フィルタを制御する状態マシンを図示した概要図を示す。 図６Ａは、例示的携帯装置の正面図を示す。 図６Ｂは、例示的携帯装置のブロック図を示す。 図７は、例示的システムのブロック図を示す。 図８Ａは、携帯装置上に表示される例示的画像を示す。 図８Ｂは、携帯装置上に表示される例示的画像を示す。 図８Ｃは、携帯装置上に表示される例示的画像を示す。 図８Ｄは、携帯装置上に表示される例示的画像を示す。 図９Ａは、携帯装置を位置特定する方法のフローチャートを示す。 図９Ｂは、携帯装置を位置特定する方法のフローチャートを示す。 図９Ｃは、携帯装置を位置特定する方法のフローチャートを示す。 図１０Ａは、ＩＭＵエラーを補正する方法を示す。 図１０Ｂは、ＩＭＵエラーを補正する方法を示す。

以下、本発明を、添付図面を参照して更に詳細に説明する。以下の実施態様は、当業者に本発明の範囲を伝達するために例示として提供されるものである。全体を通して、同様の符号は同様の要素を示している。

符号化光システム自体は既知である。図１は、符号２により概略的に示された少なくとも１つの光源を有する照明システム１を図示している。上記少なくとも１つの光源２は、照明器具及び／又は照明制御システムの一部とすることができる。各光源２は、矢印６により概念的に示されたように符号化光を放出することができる。当該照明システム１は、符号化光照明システムとして示すことができる。照明器具は少なくとも１つの光源２を有することができる。“光源”なる用語は、部屋内の対象を照明する目的で該部屋内に光を供給するために使用される装置を意味する。部屋とは、本前後関係では、典型的にアパートの部屋若しくはオフィスの部屋、体育館ホール、公共空間における部屋又は街路の一部等の屋外環境の一部である。オプションとして、例えばジグビ（Zigbee）ＲＦチャンネルの形態の、受信器４から光源２への戻りチャンネル８が更に存在する。

光源２は符号化光を放出することができ、かくして、放出光は情報系列を含んだ符号化光に関連する変調された部分を有する。該放出光は、照明寄与分に関連する変調されていない部分も有する。各光源２には、なかでも当該放出光のカラー、色温度及び輝度（強度）等の該光源の照明寄与分に関係する複数の照明設定値を関連付けることができる。一般的に、光源の照明寄与分なる用語は、光源２により放出される光の時間平均出力として定義することができる。光源２は、図２を参照して更に説明される。

前述したように、前記少なくとも１つの光源２は可視光６を介して１以上の情報系列を放出することができる。特に、これら情報系列は時間にわたって変化し得る。照明システム１は、更に、上記少なくとも１つの光源２を制御し及び／又は該光源に情報を供給するように構成された他の装置１０を有することができる。

図２は、光源２を複数の機能ブロックにより概略的に示す。該光源２は符号化光を放出する発光体１４を有する。発光体１４は、１以上のＬＥＤを有することができるが、代わりに又は加えて、１以上のＦＬ又はＨＩＤ光源等を有することもできる。一般的に、符号化方式は複数の光源を使用することができる。例えば、３レベル符号化方式は、レベル“−Ａ”に対して（オフ，オフ）、レベル“０”に対して（オン，オフ）及びレベル“＋Ａ”に対して（オン，オン）のマッピングを用いる２つのＬＥＤを有することができる。

上記発光体は光ドライバ１８により制御される。該光ドライバ１８は情報エンコーダ１６を有するか又は該情報エンコーダの一部とすることができ、該情報エンコーダは中央処理ユニット（ＣＰＵ）等のプロセッサを用いて実現することができる。

かくして、光ドライバ１８は受信器２０及び変調器／送信器２４を有することができる。受信器２０は、設定値、制御情報及びコードパラメータ等を受信するように構成することができる。該受信器２０は符号化光を受光するように構成された受信器とすることができる。該受信器２０は赤外光を受光するための赤外インターフェースを有することができる。代わりに、該受信器２０は無線で送信された情報を受信する無線周波数（ＲＦ）受信器とすることもできる。更に他の例として、該受信器２０は配線により送信される情報を受信するためのコネクタを有することができる。該配線は、電力線ケーブルであり得る。該配線は、コンピュータケーブルであり得る。設定値、制御情報及びコードパラメータに関する情報は、メモリ２２に記憶することができる。当該光ドライバ１８は、光源２により符号化光を用いて送信されるべき情報系列に関する情報を、上記受信器２０を介して受信することができる。

図１に図示された符号化光受信器４は感光ダイオードを示しているが、こうである必要はなく、最近の１５年にわたり、種々の符号化光システムが考えられている。これらシステムの幾つかは符号化光を受光するために専用のセンサを使用し、他のシステムは特別なカメラを使用し、更なるシステムはラップトップ、タブレット、スマートフォン及び他の消費者向け装置に見られるような低価格ローリングシャッタカメラの使用を可能にするように設計されている。

照明及びデータ伝送の両方のために可視光を使用する符号化光システムの一例が、１９９９年まで遡る米国特許第6198230号に示されている。もっと最近の米国特許出願公開第2011086501号公報は異なる変調方法を開示し、データ伝送はカメラを用いて検出されている。国際特許出願公開第WO2012127439号公報は、変調技術を記載しており、データはローリングシャッタカメラを用いてキャプチャされる。

［携帯装置の位置特定］
カメラ画像に基づく携帯装置の位置特定を説明する前に、三次元空間内の座標がフレームに対して定義されることを理解することが重要である。各空間からの情報を組み合わせるために、或るフレームからの座標を他のフレームに変換することが必要であり得る。四元数（quaternion）は、座標を或るフレームから他のフレームへと変換するための非常に効率的な態様を表す。

図３Ｃは、４つの座標系を示すと共に、各座標系における座標をどの様にして変換することをできるかを図示している。これらの変換は、建物の地図上の建物内の照明器具の空間的位置等の地図情報の、モバイル装置の画像センサを用いてキャプチャされた画像に対する相関付けを効果的に可能にする。

地図フレームは地図データの座標系に対応し、“真北世界フレーム”は基準方向（ここでは、真北）に対する世界フレーム内の座標に対応する。電話機（スマートフォン）“基準”フレームは、“基準”時点（例えば、時点ｔ＝０）における座標系に対応する。一方、現電話機フレームは、当該電話機の現在の位置及び方位に基づく座標系に対応する。

図３Ｃに示されるように、座標を地図フレームから世界フレームへ四元数q_map_to_trueを用いた乗算により変換することができる。

図３Ｃは、座標を地図フレームから現電話機フレームへ、当該地図座標をq_map_to_phone四元数乗算を用いて乗算することによりマッピングすることができることを示している。この変換を用いることにより、照明器具の空間的位置を現電話機フレームのものへと変換することができる。この場合、この座標変換は、地図フレームから（真北）世界フレームへの、該世界フレームから電話機基準フレームへの、及び該電話機基準フレームから現電話機フレームへの変換の組み合わせと見ることができる。

上記態様により、当該電話機によりキャプチャされた照明器具等の物体の空間的位置を、地図フレーム内に存在する複数の照明器具の空間的位置等の情報と相関させることができる。代わりに、空間座標を現電話機フレームから地図フレームへマッピングすることも可能である。

本発明をどの様に用いることができるかを示すために、図３Ａ及び図３Ｂに示されるようなピンホールカメラモデル及び簡略化された幾何学的配置に基づく簡略化された例を使用する。

図３Ａは、三次元空間におけるピンホールカメラの側面図を示す。ここで使用されるカメラモデルはピンホールカメラであり、ピンホールに入射する光はカメラ背部上で撮像される。該側面図は、当該ランプ及び当該カメラのピンホールを通る垂直線を経る面に対応する。通常、当該画像は種々のピクセルからなり、その場合において、ピクセル（０，０）は当該カメラの光軸に対応し、当該光源に相当するピクセルは（ｐ，ｑ）に対応する。この簡略化された配置において、カメラの方位（向き）はｑ＝０であると仮定する。ｐの値から、θの正接を、従ってθ自体を計算することができる。

当該携帯装置のＩＭＵから、θを地図フレームに変換するために用いることができる当該カメラの方位情報（即ち、当該簡約化された配置におけるφ）を取得する。この簡略化された配置において、これは図３Ａの面に垂直な軸の回りの回転に対応する。θ’＝θ＋φを計算するので、図３Ｂに示された状況に到達する。

図３Ｂから、カメラとランプとの間の水平距離Δｒを、Δr/(alt_lamp-alt_camera) = tanθ’なる基本的三角関数を用いることにより即座に計算することができる。

同様の方法で、他の又は一層一般的なカメラの回転を扱うことができる。

以下に含められるものは、カメラのピクセル座標を地図フレーム内の尺度に変換するための短い例示的なマトラブ（matlab）コードである。

上記ピンホールカメラの例を用いて示したように、携帯装置／カメラのＩＭＵからの方位情報、該カメラによりキャプチャされた画像情報における第１光源の位置及び該携帯装置の高さの概算値（alt_camera）を用いて該携帯装置の当該光源に対する位置を決定することができる。撮像された光源の位置も分かる（例えば、該光源が自身の位置を発する故に）場合、当該携帯装置の位置を近似するための全ての情報が利用可能となる。

当業者によれば、算出される位置の精度が上記方位情報の精度及び高さの概算値の精度により影響を受けることは明らかであろう。

［方位の補正］
実際には、ドリフトの結果として、図１０Ｂに示されるように、センサプラットフォームの北と地図上の北との間に差が存在することが生じ得る。

このような方位の誤差は、複数の符号化光光源が単一の画像内で撮像される場合に定量化又は低減することができる。この誤差を定量化するために、画像センサにより撮像された光源／ランプの理論的位置を、当該センサプラットフォームに基づく現在の位置及び方位に基づいて計算することができる。これらの理論的位置は、表そうと考えているランプと同じ高さ（即ち、典型的には天井の高さにおける）における、当該地図フレーム内のランプの（ｘ，ｙ）位置に対応する。

図１０Ａに示されるように、このような計算は、２つの斑点（blob）、即ちランプ１に対応する斑点及びランプ２に対応する斑点をもたらし得る。斯かる斑点と対応するランプとの間の差は、方位の誤差の指示情報である。この情報を用いて、当該センサプラットフォームにより、更に特定的には地図上の斑点対とランプ対との間の角度から形成される誤差を補正することができ、慣性センサプラットフォームの進行方向（ヘッディング）を一度に又は徐々に補正することができる。

当該ランプ及び／又は当該ランプ内の光源が長尺形状又は該ランプ若しくは光源の向きを示す形状を有する場合、各光源の位置情報のみならず、方位情報も供給することが有益であろう。例えば、管状電灯の場合、管の端部を図１０Ａに示された２つの個別のランプと同様の効果のために用いることができる。

当業者にとり明らかなように、光源の方位情報は種々の態様で符号化することができる。例えば、管状光源の場合、該光源は建物データベースにおいて両端点の３Ｄ位置を用いて符号化することができる。代替的に、重心及び方位；重心、方位及び長さを、又は一層代替的には重心及び光源形状輪郭を符号化することもできる。重心の位置等の位置が最も適切である。形状及び／又は方位等の更なる情報を加えることができる。例えば、管状光源の場合、重心が所要の位置パラメータに対応するであろうが、方位も符号化する場合、光源の方位を上述したドリフトを補正するために用いることができる。

例えば光源出力に符号化されている故に光源の物理的寸法が分かる場合、又は光源出力に符号化されている場合に光源のタイプ情報に基づいて光源の物理的寸法を取り出すことができる場合、代わりに、この情報を、光源識別子を位置及び光源タイプを結びつける光源データベースに供給することができる。キャプチャされた画像における光源の到達範囲（フットプリント）を、当該携帯装置の既知の方位と組み合わせて、当該光源までの距離（Δｌ）を近似することができる。

最も簡単な態様において、Δｌの近似は、キャプチャされた画像における光源フットプリントの最大対角線に基づくものとすることができるか、又は代わりにキャプチャされた画像におけるピクセルの数（即ち、フットプリントの大きさ）に関連させることができる。即ち、例えば天井画像におけるダウンライトの大きさを考えると、光源が近いほど、フットプリントは大きくなる。しかしながら、もっと複雑な幾何学構造を持つ光源の場合、当該近似は、三次元光源モデルをレンダリングすると共に画像フットプリントの大きさをレンダリングされた三次元光源モデルのものと比較することを含み得る。距離Δｒ（図３Ｂ参照）を計算したと共に、Δｌ（即ち、ランプとカメラとの間の距離）を近似することができたとすると、基本的幾何学を用いて当該携帯装置／カメラの高さ（高度）を概算することができる。次いで、該新たに推定された携帯装置の高度／高さを用いて、該携帯装置の位置を計算することができる。

［粒子フィルタ処理］
携帯装置の位置を上記方法に基づいて計算することもできるが、結果としてのデータの品質は慣性測定ユニットから得られる方位情報の精度及び適切な光源を確定する成功度に依存する。例えば、ダウンライトから符号化光ＩＤを読み取り、光源の位置を特定し、該ダウンライトに対する当該携帯装置の相対位置を計算した後に、該携帯装置の位置は上記符号化光ＩＤの周りの円上にあることが分かる。信頼性のある方位データが利用可能な場合、該携帯装置の位置は分かるが、不正確な方位データしか利用可能でない場合でも、一層信頼性のある指示情報を時間にわたる複数の測定値を用いて提供することができる。発明者は、特に低価格のＩＭＵを用いる場合、所謂粒子フィルタの実施を介して結果を大幅に改善することができることを見出した。

好ましい実施態様において、当該携帯装置の位置の計算は粒子フィルタを更に含む。粒子フィルタ理論は１９９３年頃に導入され、その後、大幅に進化した。粒子フィルタ処理の理論的分析は、Aerospace and Electronic Systems Magazine, Vol. 25, Issue 7にFredrik Gustafssonにより公開された文献“Particle Filter Theory and Practice with Positioning Applications”に示されており、該文献は参照により本明細書に組み込まれる。

粒子フィルタは、複雑な問題に対する種々の可能性のある解（粒子）をモデル化すると共に、これら解を測定された事実との整合性に基づいて評価することを効果的に試行するものである。当該解についての事前知識がない状況において、個々の解は解空間にわたってランダムに又は均一に分布され得る。

定期的に、一群の粒子は、各粒子に対して現実との知覚された整合に基づいて重みを帰属させることにより評価することができる。次に、粒子は再サンプリングされる。即ち、例えば加速データを考慮に入れることによって時間の経過を考慮に入れて新たな粒子が発生され、次いで粒子を自身の重みに基づいて再サンプリングする。言い換えると、新たな粒子は解空間にわたり各重みに基づいて分布される。即ち、高い重み／確率を持つ古い粒子の近傍には一層多くの新たな粒子が存在する一方、低い重み／確率を持つ古い粒子の近傍には相対的に少ない新たな粒子が存在するであろう。粒子を分布させる代わりに、当該アプローチは粒子を複写することにより簡略化することができる。

本発明に翻訳される場合、維持される粒子は、各々、当該携帯装置の可能性のある状態、即ち該携帯装置の可能性のある方位及び該携帯装置の可能性のある位置、を反映する。当該粒子フィルタの重み付けフェーズの間において、複数の粒子は、ＩＭＵから得られた方位情報及び計算された位置情報に対する各粒子状態の比較により重みが付けられる。要約すると、これは当該データの評価に対応し、整合（照合）が近いほど（即ち、各位置及び各方位の差が小さいほど）、整合が一層良好で、重みが高くなる。

上記重みの発生に続いて、粒子は計算された重みに基づいて再サンプリングされる。

方位及び位置の両方を統合（consolidate）するために、発明者は、古い粒子の重み付けられた状態を平均することにより、又は再サンプリングされた粒子の状態を平均することにより、粒子を単一の状態値（即ち、方位及び位置）に統合することを提案する。

特に外れた値（outliers）を除去するために、所定数の粒子のみを考慮して粒子状態を部分群にわたり平均することができる。極端な場合、該部分群は単一のエレメントであり、その場合、最も高い重みを持つ粒子が選択される。

多数の粒子にわたって当該粒子フィルタからの方位及び位置情報を統合することにより、大幅に強く時間的に安定した方位及び位置を得ることができる。

当該携帯装置の統合された方位及び位置を計算する特に有利な方法が、図５に示される状態マシンを用いて可能である。図５の状態マシンは、当該粒子フィルタをロバストな態様で初期化及び更新するために使用される動作及びイベントを記述している。

ＳＴ１は当該状態マシンの初期状態を表し、この段階においては当該携帯装置の方位及び／又は位置の何れにも“信頼性”は存在しない。符号化光識別子が検出され、従って現在の位置が分かった時点で、ＳＴ１からＳＴ２へ（“位置信頼度”の状態へ）の移行経路Ｔ５を辿り、一群の粒子を当該携帯装置の最初に計算された位置に基づいて初期化する。典型的に、斯かる粒子は、当該符号化光光源の周りの一群の等距離の点である（例えば単一の画像内の複数の光源の形態の、一層多くの情報を得ない限り）。符号化光識別子を読み取る毎に、移行経路Ｔ６を辿り、重みを更新すると共に粒子を再サンプリングし、ＳＴ２に戻る。

当該処理において携帯装置が移動され、異なる角度から符号化光をキャプチャしたなら、方位信頼度は向上し得る。所定の第１信頼度閾を超えたなら、ＳＴ２からＳＴ７（“完全な信頼度”の状態）へと移行経路Ｔ７を辿る。状態ＳＴ４にあり、且つ、予期される光源（符号化又は非符号化光）を見付ける限り、移行経路Ｔ９を辿る。即ち、重みを更新すると共に粒子を再サンプリングし、オプションとして外れた値（特定の距離閾値を超える）を削除して、ＳＴ４に戻る。

この段階において、例えば現在の粒子と矛盾する光源識別子を見付けたために当該位置信頼度が所定の第２信頼度閾値より低下した場合、移行経路Ｔ４を辿り、ＳＴ３（“方位信頼度”の状態）に向かって進む。位置信頼度を回復する符号化光識別子を検出した場合、ここからＴ８を辿ってＳＴ４に戻ることができる。当該処理において、粒子も初期化する。Ｔ４において、方位信頼度が所定の第２閾値より低下した場合、ＳＴ４からＳＴ２へと移行経路Ｔ３を辿る。

最後に、状態ＳＴ４において位置信頼度が前記所定の第２閾値より低下すると共に方位信頼度が前記所定の第３閾値より低下した場合、ＳＴ１に移動させる移行経路Ｔ２を辿る。

上記方法に従うと、統合された状態、即ち当該携帯装置の統合された方位情報及び統合された位置は、更新後の全ての粒子の平均位置及び平均方位に対応する。

［粒子フィルタ処理のための方位情報の補正］
位置特定処理に対する更なる改善は、撮像されている複数の光源から得られる（特に既知の三次元位置を持つ２つの光源が１つの同一の画像内で撮像される場合）情報を相関させることにより可能である。これを、図４を参照して更に説明する。図４は２つの符号化光光源Ｌ１及びＬ２を有する部屋の上面図である。次に、携帯装置を持つ人が該部屋に入ると、該携帯装置は符号化光光源Ｌ１を検出し、これに基づいて特定の精度を持つ位置及び方位が決定される。結果として、ここではＯ１、Ｏ２及びＯ３により示された、現在位置に対応し得る複数の高加重粒子を有することができる。

この段階で、これも既知の位置を持つ第２光源Ｌ２を検出したら、上記粒子に基づいて該光源の重心の位置を天井に投影することができ、結果として３つの点Ｐ_L2,O1、Ｐ_L2,O2及びＰ_L2,O3が得られる。見られるように、投影Ｐ_L2,O1がＬ２の既知の位置に最も近く、従ってＯ１が最良の候補であると思われる。

上に示したメカニズムは、粒子方法において粒子を重み付け（加重）するために使用することができる。

［多重仮説追跡］
多重仮説追跡（multi-hypothesis tracking）即ちＭＨＴは、上述した粒子フィルタ処理方法に対する代替案である。この目的のためにＭＨＴは仮説を用いる。ＭＨＴにおいては、Ｍなる固定数の有望な仮説を同時に追跡する。我々の屋内位置特定のアプリケーションにおいて、各仮説Ｈ_ｉは使用されている現在のランプ、地図上の現在の位置、現在の進行方向等の特定の仮定により特徴付けられる。新たな画像フレーム（カメラの画像）が到来したら、これら仮説の各々はカメラフレームの視覚的情報及び当該電話機の慣性プラットフォームの方位情報を用いて更新される。

上記仮説の各々に対して、複数の有望な派生仮説（例えば、現在のランプから近傍のランプを候補として考慮することにより）を計算する。これら派生仮説（descendants）の各々に対して、当該派生仮説が真の仮説である確率を反映する尺度（metric）が計算される。最後に、それらの尺度に基づいて、生き残り仮説と呼ばれる最良のＭ個の派生仮説を、次の巡回のためのＭ個の最も有望な仮説として選択する。

各仮説Ｈ_ｉは状態ベクトルSMHT(i)により特徴付けられ、ここで、SMHT(i)は：
− 現在の位置が計算される現在のランプのインデックス；
− 地図上の当該電話機の座標；
− 現在の時間ステップにおけるＨ_ｉの尺度；
− 現在の位置、速度及びＰマトリクス等の種々のカルマンフィルタ関連変数；及び
− 現在の進行方向の補正（水平面における方位に対応する）；
等の、Ｈ_ｉの重要な変数を追跡する。

カルマンフィルタは、予測段及び測定補正段からなっている。各派生仮説の状態を計算するに際して、新たな位置、速度及び進行方向補正を予測するために先ずカルマン予測段を用いる。次いで、該カルマン予測（特に、現在の方位四元数を用いて予測されたランプ位置）は、画像センサによる実際に測定されたランプ位置及び地図上の既知のランプ位置と比較される。これらの比較から、各派生仮説に関する位置、速度及び進行方向補正に対してカルマン測定補正を行うことができる。最後に、上記予測及び測定値の間の差から、各派生仮説に関して：
− 現在の派生仮説が真の仮説に対応する確率に関する尺度；
− ジャイロのドリフトを補正するため、又は変化する磁気偏差を補正するために使用される現在の進行方向の補正；
を導出する。

前述したように、次の巡回のために、上記派生仮説のうちのＭ個の最良の（尺度的）生き残り仮説を仮説として選択する。

当該携帯装置及び／又は画像センサの位置が決定された場合、この情報は該携帯装置のユーザに対して視覚的フィードバックを供給するために使用することができる。種々のタイプの視覚的フィードバックに進む前に、先ず、上記携帯装置及び／又は本発明による携帯装置を有するシステムの構造的側面を説明する。

図６Ａを参照すると、この図は本発明による例示的携帯装置１００の正面図を示す。該携帯装置は装置ユーザに対してフィードバックを供給するための表示器（ディスプレイ）１２０及び前方に向いた画像センサ１１０を有する。

図６Ｂは携帯装置１００のブロック図を示す。該携帯装置１００は、画像センサ１１０、ＩＭＵ１５０及び第１処理ユニット１４０を有している。該装置は、上記第１処理ユニットに接続されたメモリ１３０を更に有している。第１処理ユニット１４０は上記画像センサから画像を取得するように構成され、該画像はバス１０５を介して伝送することができる。アプリケーションにおいて、上記画像センサ（又はカメラ）は光源を撮像するために使用することができ、例えば天井に取り付けられた光源を撮像することにより当該携帯装置の位置特定を可能にする。

当該携帯装置は、更に、該携帯装置の方位情報をバス１２５経由で第１処理ユニット１４０へ通知するように構成されたＩＭＵ１５０を有する。位置特定目的で使用される場合、上記方位情報は上記画像センサからの画像と実質的に同時にキャプチャされねばならない。ナビゲーションに関する携帯装置の通常の使用に関しては物理的な制限が存在するので、実質的に同時とはマイクロ秒範囲内であると見なされる必要はない。好ましくは、ここでは同時とは、互いから０.５秒内、より好ましくは互いから０.１秒内を指す。このようにして、動きの結果として導入される誤差は制限内に留まる。

当該携帯装置は、更に、符号化光受信器から、符号化光からの光源固有の情報を取得するように構成される。特に、この情報は前記画像センサにより取得される画像よりも前に、同時に又は後に取得することができる。有利には、上記光源固有の情報を送信するために使用される変調は、当該画像センサにより検出することができるようなものとする。代わりに、符号化光は専用の感光センサ（図示略）を用いて検出することもできる。

第１処理ユニット１４０は、更に、当該携帯装置又は画像センサの位置を、前記方位情報、当該携帯装置又は画像センサの予め決められた高さ概算値、当該画像内の光源の位置及び上記光源固有の情報に基づいて計算するように構成される。

当該携帯装置の位置が計算されたなら、該携帯装置は該携帯装置のユーザに対しディスプレイ１２０上で画像を提示し、例えば各光源及び／又は他の特徴構造に対する該携帯装置の位置を示すことができる。このような画像をレンダリングすることができるように、当該携帯装置はメモリ１３０内に地図情報を有することができ、該マップ情報はディスプレイ上に地図を図形的に視覚化するために使用することができると共に、当該携帯装置の計算された位置における該携帯装置に対応する視覚的指示情報により補足することができる。

携帯装置１００は、有利には、当該携帯装置の位置を計算するように適切に構成されたスマートフォン又はタブレットである。位置が標準のスマートフォン又はタブレットのハードウェアを用いて検出されるべき場合、符号化光は各ハードウェアフィーチャと互換性があるように選択される必要がある。これを達成することを目標とする例示的変調形式は、例えばヨーロッパ特許出願第14155278.6号（出願人整理番号：2014PF00151）に記載されており、該文献は参照により本明細書に組み込まれる。

上記変調が使用される場合、通常のタブレットはダウンロード可能なアプリケーション（“アプリ”として知られている）を用いて符号化光を受信するように構成することができる。この目的のために、当該携帯装置は、好ましくはインターネット等の無線リンク１４５を用いてネットワーク１７０に接続するための無線送受信器１８０（802.11、802.15.4、ジグビ、ＧＰＲＳ、ＵＭＴＳ又はＬＴＥ送受信器とすることができる）を備え、上記アプリをアプリケーション・ストア１９０からダウンロードすることができる。

図７を参照すると、図７は本発明による例示的システムのブロック図を示している。図示されたシステムは携帯装置１００を有しているが、この場合、該携帯装置の位置特定の実際の計算はホスト装置２００により実行される。図示されたシステム２９０は符号化光に基づいて携帯装置１００の位置特定を行うように構成される。該システム２９０は複数の光源を有し、該複数の光源のうちの少なくとも１つは符号化光を用いて光源固有の情報を送信するように構成される。ここでは、簡略化のために、単一の符号化光光源２のみが示されている。該システム２９０は、更に、画像センサ１１０、ＩＭＵ１５０及び第１処理ユニット１４０を備えた携帯装置１００を有している。該携帯装置は、更に、メモリバスにより第１処理ユニット１４０に接続されたメモリ１３０を有し、該装置はホスト装置２００と通信するための無線送受信器１８０を更に有している。

ホスト装置２００も、上記携帯装置と通信するための無線通信ユニット２１０を有している。該ホスト装置はネットワークにつながり、該ネットワークは無線又はハイブリッドの部分的に無線、部分的に有線のネットワークとすることができる。該ホスト装置は第２計算ユニット２２０を更に有し、該計算ユニットはバス２２５により記憶ユニット２３０に接続される。

システム２９０は、画像センサ１１０から画像を取得すると共に、該画像センサからの画像と実質的に同時にＩＭＵ１５０から方位情報を取得するように構成される。携帯装置１００は、次いで、この情報を、無線接続を介してホスト装置２００と共有する。同様に、携帯装置１００は、画像センサの形態の又は専用のセンサによる符号化光受信器から光源固有の情報を取得する。ここでも、この情報はホスト装置２００に通知され、これにより、該ホスト装置の第２処理ユニット２２０が携帯装置１００の位置を、前記方位情報、該携帯装置又は画像センサの予め決められた高さ概算値、当該画像内の光源の位置及び上記光源固有の情報に基づいて計算することを可能にする。

例えば携帯電話上の剛性的に取り付けられた画像センサの場合に通例であるように、携帯装置１００及び画像センサの方位の間の関係が固定で既知である場合、該携帯装置の方位は画像センサの方位に極めて容易に変換することができることに注意されたい。

当該携帯装置の方位及び位置が分かったなら、この情報は該携帯装置のユーザに対して視覚的フィードバックを供給するために使用することができる。図８Ａは、当該携帯装置のユーザに対し屋内現場の地図情報に関して該ユーザの位置に関する視覚的フィードバックを供給するために本発明を用いるアプリケーションにより表示される例示的画像を示している。該図は、内部に符号化光光源及び２つの通常の光源が取り付けられた部屋の一部の見下ろし図の例示的画像を示している。また、該図には固定された椅子３１０及び固定された机３２０の形態の２つの家具が存在する。更に、該画像は“Ｌ”が付された円により示される２つの天井取り付け電灯及び“Ｃ”が付された円により示される１つの符号化光電灯も示している。

図示された画像において、当該携帯装置の位置は“Ｕ”が記された円により視覚化されている。更に、上記符号化光電灯の周りには、現在位置を計算するために使用された光源を強調する点線３３０が存在する。特には、例えば円状のカラーの形の視覚指示子の形態の、代替例も可能である。特には、上記円のカラーを、更に、当該光源が現在画像センサにより撮像されているか否かをユーザに示すために使用することもでき、例えば、明るい緑のカラーは当該符号化光電灯が現在撮像されていることを示す一方、灰色がかったカラーが当該電灯は最早撮像されていないことを示すようにする。

更に、図８Ｂは、ディスプレイが実質的に水平に保持され、且つ、当該携帯装置又は画像センサの計算された方位が正しい場合、該ディスプレイ上の地図の方位が現実の世界と一致するように、該ディスプレイ上の画像が回転された実施例の更なる画像を示している。これは、ユーザが当該携帯装置を手に持って歩くのを可能にすると共に、ナビゲーション目的で使用することが可能な符号化光光源又は他の光源の位置特定を容易にするので特に有益である。

図８Ｃは、視覚的指示子が確定された位置の信頼性を示すために供給される実施例の更なる画像を示している。図示された画像において、当該信頼性は図８Ｂの画像におけるよりも低く、このことが、減少された信頼度を視覚化するために円を細分化すると共に円の直径を増加させることにより視覚化されている。特に、円の寸法は、粒子フィルタ処理／多重仮説追跡法が用いられている場合において、幾つかの粒子／仮説の位置と一致するように選択することができる。円を細分化する代わりに、例えば信頼度の低下に伴って位置指示子のカラーを背景カラーに向かって徐々に退色させることによる代替例が存在する。

図８Ｄは、位置指示子の形状が最早円ではなく、代わりに、方位情報の推定された不正確さから生じる、ありそうな代替位置に一致する円弧が使用される。

図９Ａは、符号化光を用いて携帯装置の位置を特定する本発明による方法のフローチャートを示す。該方法は、画像センサから当該符号化光光源を含む画像を取得すると共に、ＩＭＵから当該携帯装置又は画像センサの方位を示す方位情報を実質的に同時に取得するためのステップＳ４１０を有する。このステップには、当該符号化光光源の三次元位置の取り出しを可能にする識別子又は該符号化光光源の三次元位置の形態の光源固有の情報を取得するためのステップＳ４２０が後続する。最後のステップＳ４３０は、当該携帯装置又は画像センサの位置の、上記方位情報、該携帯装置又は画像センサの予め決められた高さ概算値及び上記光源固有の情報に基づいた計算に関するものである。

図９Ｂは、符号化光を用いて携帯装置の位置を特定する本発明による他の方法のフローチャートを示す。該方法は、図９Ａを参照して上述したステップＳ４１０、Ｓ４２０及びＳ４３０を用いて開始する。図示された方法の後続のステップは、位置が既知である複数の光源が単一画像内で見付けられる場合に可能となる補正動作のために使用される。結果として、当該フローチャートの第４ステップＳ４９０は、画像センサからの第３画像内での複数の光源の検出を含み、これら複数の光源は第１又は第２地図情報内に含まれる。ステップＳ５００は当該携帯装置又は画像センサの候補位置を当該複数の光源の位置に基づいて計算するステップを有する。両光源は１つの画像内に見られ、両光源の三次元位置は既知であるので、当該携帯装置の位置を決定することができ、これにより、コンパスの偏差及び／又はジャイロスコープのドリフトに関して前記方位情報及び前記予め決められた高さ概算値の一方を補正することができる。

図９Ｃは、符号化光を用いて携帯装置の位置を特定する本発明による更なる方法のフローチャートを示し、この場合において、最初に符号化光光源が前述した図９Ａに沿って検出され、次いで携帯装置の位置特定が非符号化光光源を用いて継続される。

この目的のために、該方法は、当該携帯装置の進行方向の動きを示す進行方向情報を得るための第４ステップＳ４４０、及び符号化光を送信しない光源を有する第２画像を得るための第５ステップＳ４５０を含んでいる。該ステップには、光源の更なる三次元位置を提供する三次元位置データを含んだ第２地図情報にアクセスする更なるステップＳ４６０；第２地図情報に含まれる候補光源を当該携帯装置又は画像センサの計算された位置及び上記進行方向情報に基づいて確定するステップＳ４７０；並びに第２画像内の光源が上記候補光源に対応するとの仮定の下で当該携帯装置又は画像センサの更新された位置を：
− 前記方位情報、
− 第２画像における候補光源の位置、
− 当該携帯装置又は画像センサの予め決められた高さ概算値、及び
− 第２地図情報により識別された候補光源の位置、
を用いて計算するステップＳ４８０が後続する。

本発明による方法の更なる有利な実施態様は、請求項に記載される。

当業者によれば、上述した処理ユニットが種々の態様で実現することができることは明らかであろう。このような処理ユニットは、単一の特定用途向け集積回路（ＡＳＩＣ）若しくは複数のＡＳＩＣを用いて、又は１以上のデジタル信号プロセッサ及び／又はアクセラレータ若しくは汎用プロセッサを有するプログラム可能なプラットフォームを用いて実施化することができる。更に、必ずしも明示的に言及されてはいないが、このような装置は、統合されたメモリを有することができ、及び／又は外部メモリを利用することができる。特にプログラム可能なハードウェアが使用される場合、上記処理ユニットにより実行される方法のステップは部分的にソフトウェアで、及び部分的にハードウェアで実現することができる。

上述した説明において、本発明の概念は符号化光光源の検出に関して（低価格の）カメラの適用を参照して説明されているが、これに限られるべきではない。殆どの例がカメラに基づく実施例を参照しているが、光の変化に感応する他のセンサも考えられることに注意されたい。

以上、添付請求項で定義される本発明による光検出システムの実施態様が説明された。しかしながら、これらは、単なる非限定的例であると見られるべきである。当業者により理解されるように、多くの変形例及び代替実施態様が本発明の範囲内で可能である。

この出願の目的のため、及び特に添付請求項に関して、“有する”なる文言は他の構成要素又はステップを排除するものではないと共に、単数形は複数を排除するものではなく、これらのこと自体は当業者にとり明らかであることに注意されたい。

Claims (15)

1. 第１光源を用いて画像センサ及び慣性測定ユニットを有する携帯装置の位置を特定する方法であって、
   − 前記画像センサから第１光源を含む第１画像を取得すると共に、実質的に同時に前記慣性測定ユニットから前記携帯装置又は前記画像センサの方位を示す方位情報を取得するステップと、
   − 前記第１光源の三次元位置を確定するステップと、
   − 前記携帯装置又は画像センサの位置を、前記方位情報、前記第１画像における前記第１光源の位置、前記携帯装置又は画像センサの予め決められた高さ概算値及び前記第１光源の前記三次元位置に基づいて計算するステップと、
   を有する、方法。
2. 前記第１光源は符号化光光源であり、前記第１光源の三次元位置を確定するステップが、前記第１光源からの符号化光から光源固有の情報を：
   − 前記符号化光光源の三次元位置の取り出しを可能にする識別子；又は
   − 前記符号化光光源の三次元位置；
   の形態で取得するステップを有する、請求項１に記載の方法。
3. 前記光源固有の情報が前記第１光源の前記三次元位置の取り出しを可能にする識別子であり、前記計算するステップが：
   − １以上の符号化光の光源の光源固有の情報を対応する１以上の位置に関係付ける三次元位置データを含む第１地図情報にアクセスするステップと；
   − 前記携帯装置又は画像センサの１以上の候補位置を：
   − 前記方位情報；
   − 前記第１画像における前記第１光源の位置；
   − 前記携帯装置又は画像センサの予め決められた高さ概算値；
   − 前記第１画像における前記光源の位置；及び
   − 前記第１地図情報に含まれる前記光源固有の情報により識別される前記第１光源の位置；
   に基づいて計算するステップと；
   を有する、請求項２に記載の方法。
4. 前記方位情報が複数の方式に基づくものであり、これら方式が：
   − 磁気コンパスデータ；
   − 三次元加速度計データ；及び
   − 三次元ジャイロスコープデータ；
   を含み、各方式源の寄与度が１以上の制御基準に基づいて加重され得る、請求項１ないし３の何れか一項に記載の方法。
5. − 水平面における前記携帯装置の方位を示す進行方向情報を取得するステップと、
   − 第２光源を含む第２画像を取得するステップと、
   − 光源の更なる三次元位置を提供する三次元位置データを含んだ第２地図情報にアクセスするステップと、
   − 前記第２地図情報に含まれる候補光源を、前記携帯装置又は画像センサの計算された位置、前記第２画像における前記第２光源の位置及び前記進行方向情報に基づいて確定するステップと、
   − 前記第２画像における光源が前記候補光源に対応するという仮定の下で前記携帯装置又は画像センサの更新された位置を：
   − 前記方位情報；
   − 前記第２画像における前記第２光源の位置；
   − 前記第２画像における前記候補光源の位置；
   − 前記携帯装置又は画像センサの前記予め決められた高さ概算値；及び
   − 前記第２地図情報により識別される前記候補光源の位置；
   を用いて計算するステップと；
   を更に有する、請求項１ないし４の何れか一項に記載の方法。
6. 前記位置及び方位が粒子フィルタを用いて決定され、各粒子が前記携帯装置の可能性のある異なる状態を反映する複数の粒子が維持され、各状態は前記携帯装置の可能性のある方位及び可能性のある位置を有し、当該方法が、
   − 各粒子に関して、当該粒子に対する重みを、対応する粒子の方位及び位置を前記取得された方位情報及び前記計算された位置と照合することにより決定するステップであって、前記照合が良好なほど、前記重みが大きくなるステップと、
   − 前記粒子を、前記重みに基づいて新たな粒子を発生することにより再サンプリングするステップであって、より大きな重みを持つ粒子の近傍において、より多数の新たな粒子が選択されるステップと、
   − 前記携帯装置又は画像センサの統合された位置及び方位を、前記重みが付された粒子にわたって又は前記再サンプリングされた粒子にわたって平均することにより計算するステップと、
   を含む、請求項１、２又は５に記載の方法。
7. 各仮説が前記携帯装置の可能性のある異なる状態を反映する複数の仮説が維持され、各状態は前記携帯装置の可能性のある方位及び可能性のある位置を有し、当該方法が、
   − 各仮説に関して、仮説に対する尺度を、対応する仮説の方位及び位置を前記取得された方位情報及び前記計算された位置と照合することにより決定するステップであって、前記照合が良好なほど、前記尺度が小さくなるステップと、
   − 各仮説をありそうな派生仮説に分岐させ、各派生仮説に対する尺度を計算し、次の反復のために所定数の生き残り仮説を維持するステップと、
   − 前記携帯装置又は画像センサの統合された位置を、最良の仮説を各尺度に基づいて抽出することにより計算するステップと、
   を含む、請求項１、２又は５に記載の方法。
8. 
   − 前記画像センサからの第３画像において複数の光源を検出するステップであって、これら複数の光源が前記第１又は第２地図情報に含まれるステップと、
   − 前記携帯装置又は画像センサの候補位置を、前記複数の光源の各位置に基づいて計算するステップと、
   − 前記予め決められた高さ概算値及び／又は前記方位情報の少なくとも一方を補正するステップと、
   を更に有する、請求項１ないし７の何れか一項に記載の方法。
9. 前記光源固有の情報が前記第１光源の三次元位置を含み、前記計算するステップが、
   − 前記携帯装置の１以上の候補位置を、
   − 前記方位情報、
   − 前記第１画像における前記第１光源の位置、
   − 前記携帯装置又は画像センサの予め決められた高さ概算値、及び
   − 前記光源固有の情報に含まれる前記第１光源の三次元位置、
   に基づいて計算するステップ、
   を有する、請求項２に記載の方法。
10. 前記携帯装置又は画像センサの前記計算された位置に対応する視覚的指示子を、
    − 前記携帯装置のディスプレイ上に該携帯装置の近傍の二次元地図を提示し、及び
    − 前記計算された位置に対応する視覚的指示子を供給する、
    ことにより提示するステップを更に有する、請求項１ないし９の何れか一項に記載の方法。
11. 通信ネットワークからダウンロード可能な、並びに／又はコンピュータ読取可能及び／若しくはマイクロプロセッサ実行可能な媒体に記憶されたコンピュータプログラムであって、請求項１ないし１０の何れか一項に記載の方法を実施するためのプログラムコード命令を有する、コンピュータプログラム。
12. 第１光源を用いて自身の位置を特定する携帯装置であって、
    − 画像センサと、
    − 慣性測定ユニットと、
    − 第１処理ユニットと、
    を有し、前記第１処理ユニットが、
    − 前記画像センサから第１画像を取得し、
    − 前記画像センサからの前記第１画像と実質的に同時に、前記慣性測定ユニットから方位情報を取得し、
    − 前記第１画像が前記第１光源を含む場合に、該第１光源の三次元位置を確定し、
    − 前記携帯装置又は画像センサの位置を、前記方位情報、前記第１画像における前記第１光源の位置、前記携帯装置又は画像センサの予め決められた高さ概算値及び前記第１光源の前記三次元位置に基づいて計算する、
    携帯装置。
13. 前記第１光源は符号化光光源であり、前記第１処理ユニットによる第１光源の三次元位置を確定することが、前記第１光源からの符号化光信号に基づいて符号化光受信器から光源固有の情報を取得することを有し、該光源固有の情報が、
    − 前記符号化光光源の三次元位置の取り出しを可能にする識別子、又は
    − 前記符号化光光源の三次元位置、
    を含む、請求項１２に記載の携帯装置。
14. 第１光源を用いて位置特定を行うシステムであって、該システムは、
    − 前記第１光源を含む複数の光源と、
    − 画像センサ、慣性測定ユニット、無線送受信器及び第１計算ユニットを有する携帯装置と、
    − 無線送受信器及び第２計算ユニットを有するホスト装置と、
    を有し、該システムが、
    − 前記画像センサから第１画像を取得し、
    − 前記画像センサからの前記第１画像と実質的に同時に、前記慣性測定ユニットから方位情報を取得し、
    − 前記第１画像が前記第１光源を含む場合に、該第１光源の三次元位置を確定し、
    − 前記携帯装置又は画像センサの位置を、前記方位情報、前記第１画像における前記第１光源の位置、前記携帯装置又は画像センサの予め決められた高さ概算値及び前記第１光源の前記三次元位置に基づいて計算する、
    システム。
15. 前記第１光源は符号化光光源であり、当該システムによる第１光源の三次元位置を確定することが、前記第１光源からの符号化光信号に基づいて符号化光受信器から光源固有の情報を取得することを有し、該光源固有の情報が、
    − 前記符号化光光源の三次元位置の取り出しを可能にする識別子、又は
    − 前記符号化光光源の三次元位置、
    を含む、請求項１４に記載のシステム。