JP5274192B2

JP5274192B2 - 位置推定システム、位置推定サーバおよび位置推定方法

Info

Publication number: JP5274192B2
Application number: JP2008260377A
Authority: JP
Inventors: 敦宣南川
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2008-10-07
Filing date: 2008-10-07
Publication date: 2013-08-28
Anticipated expiration: 2028-10-07
Also published as: JP2010091356A

Description

本発明は、位置推定システム、位置推定サーバおよび位置推定方法に関する。より詳細には、移動通信端末で取得したカメラ画像を利用して、サーバが移動通信端末の現在位置を推定する位置推定システム、位置推定サーバおよび位置推定方法に関する。

現在位置を携帯端末で知る方法としてＧＰＳ（Global Positioning System）を用いる方法が代表的である。しかし、この場合ＧＰＳ受信機が必要である。また、ＧＰＳ受信機を持っていても、屋内や地下、高層ビル街などのＧＰＳ電波の受信が困難な環境下では測位ができないといった問題がある。

ＧＰＳを利用できない状況における位置推定方法としては、移動通信端末が基地局から送付される電波の電波強度情報と基地局識別情報、及び受信時刻を計測し、これを過去の計測履歴情報と位置情報を対応づけしたデータベースと比較して、近いものから現在位置を推定する手法があった（特許文献１）。

特開２００８−１３１３０１号公報

しかしながら、上記の方法では基地局の通信エリアが広い場合や、電波受信強度が安定しない場合、又は３点以上の基地局からの識別情報を受信できない場合は、基地局通信エリア内のどの場所にいるか特定することが困難となり、測位精度が著しく落ちるという課題があった。

したがって、本発明は、ＧＰＳを利用できない状況で、基地局の通信エリア、電波受信強度および利用可能な基地局の数に依存せずに現在位置を推定可能な位置推定システム、位置推定サーバおよび位置推定方法を提供することを目的とする。

上記目的を実現するため本発明による位置推定システムは、移動通信端末、サーバおよび通信網で構成される位置推定システムにおいて、周辺をカメラデバイスで撮影する撮影手段と、前記撮影手段により撮影された画像データを前記サーバに送信する送信手段と、を有する移動通信端末と、前記移動通信端末から前記画像データを受信する受信手段と、前記受信した画像データの特徴量を抽出する抽出手段と、位置情報と画像データを対応づけた画像位置管理データベースと、前記抽出された特徴量と前記画像位置管理データベース内の各画像データの特徴量とを比較して類似度の高い画像データを１つ以上選択する選択手段と、前記選択された画像データ群に対応した位置情報を前記移動通信端末の現在位置として推定し、前記移動通信端末に送信する送信手段とを有するサーバとを備えている。

また、前記サーバの送信手段は、前記位置情報に加え、前記選択された画像データ群を前記位置情報と関連付けて、前記移動通信端末に送信する手段であり、前記移動通信端末は、画像を表示可能なディスプレイと、前記送信された画像データ群を前記位置情報と関連付けて該ディスプレイに表示する手段とをさらに有することも好ましい。

また、識別情報を前記移動通信端末に送付する通信基地局をさらに備え、前記移動通信端末の送信手段は、前記撮影手段により撮影された画像データと前記識別情報を前記サーバに送信する手段であり、前記サーバは、通信基地局の識別情報と該通信基地局の通信可能エリアとを対応付けた基地局位置管理データベースと、前記移動通信端末から送信された識別情報をもとに前記基地局位置管理データベースを検索し通信可能エリアを求める手段と、前記画像位置管理データベースから前記通信可能エリア内の画像データを絞り込む絞り込み手段とをさらに有し、前記選択手段は、前記絞り込み手段により絞り込まれた画像データの中から類似度の高い画像データを１つ以上選択する手段であることも好ましい。

また、前記移動通信端末は、方位取得デバイスおよび／または加速度センサデバイスをさらに有し、前記移動通信端末の送信手段は、前記画像データ撮影時の前記方位取得デバイスおよび／または前記加速度センサデバイスによるセンシングデータも前記サーバに送信し、前記絞り込み手段は、前記センシングデータから導出される視線ベクトルをもとに画像データをさらに絞り込む手段であることも好ましい。

また、前記画像データの類似度は、前記画像データに含まれるシンボルおよび該シンボル間の相対距離を特徴ベクトルとし、特徴ベクトル間の差分によって計算されることも好ましい。

上記目的を実現するため本発明による位置推定サーバは、移動通信端末の現在位置を推定する位置推定サーバにおいて、前記移動通信端末から画像データを受信する受信手段と、前記受信した画像データの特徴量を抽出する抽出手段と、位置情報と画像データを対応づけた画像位置管理データベースと、前記抽出された特徴量と前記画像位置管理データベース内の各画像データの特徴量とを比較して類似度の高い画像データを１つ以上選択する選択手段と、前記選択された画像データ群に対応した位置情報を前記移動通信端末の現在位置として推定し、前記移動通信端末に送信する送信手段とを備えている。

また、前記位置推定サーバの送信手段は、前記位置情報に加え、前記選択された画像データ群を前記位置情報と関連付けて、前記移動通信端末に送信する手段であることも好ましい。

上記目的を実現するため本発明による位置推定方法は、移動通信端末、サーバおよび通信網で構成される位置推定システムにおいて、前記移動通信端末が周辺をカメラデバイスで撮影する撮影ステップと、前記撮影ステップにより撮影された画像データを前記サーバに送信する送信ステップと、前記サーバは、位置情報と画像データを対応づけた画像位置管理データベースを有し、該サーバが、前記移動通信端末から前記画像データを受信する受信ステップと、前記受信した画像データの特徴量を抽出する抽出ステップと、前記抽出された特徴量と前記画像位置管理データベース内の各画像データの特徴量とを比較して類似度の高い画像データを１つ以上選択する選択ステップと、前記選択された画像データ群に対応した位置情報を前記移動通信端末の現在位置として推定し、前記移動通信端末に送信する送信ステップとを含む。

また、前記サーバの送信ステップは、前記位置情報に加え、前記選択された画像データ群を前記位置情報と関連付けて、前記移動通信端末に送信するステップであり、前記移動通信端末は、画像を表示可能なディスプレイを有し、前記送信された画像データ群を前記位置情報と関連付けて該ディスプレイに表示するステップをさらに有することも好ましい。

以上説明したように本発明によれば、ＧＰＳが利用できない環境下で、かつ３点以上の基地局から信号を受信できない状況下においても、移動通信端末のカメラデバイスで撮影した画像と、サーバの記憶装置に蓄積された画像データ群との比較によって、その類似度から移動通信端末の位置を推定することが可能となる。

また、サーバの記憶装置から比較対象画像データを抽出する際に、移動通信端末から送付される基地局識別情報から、検索対象エリアを大きく制限することが可能となり、処理時間を大幅に抑えることが可能となる。

さらに、上記に加え、移動通信端末に方位取得デバイスまたは加速度センサデバイスが搭載されている場合には、画像データの特徴ベクトル比較範囲をさらに制限することができ、処理時間の短縮が可能となる。

また、画像データの特徴ベクトルとして文字列や特定のマークなどのシンボルと、その相対位置を利用することで、位置推定の精度をより高くすることも可能である。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。

図１は、本実施形態における位置推定システム、および移動通信端末とサーバの機能構成図を示す。位置推定システムは、移動通信端末１、サーバ２および通信基地局３を備えている。

移動通信端末１は、通信基地局３を経由して、サーバ２とデータを送受信し、通信基地局３の識別情報を取得する通信部１０、周辺の画像を撮影するカメラデバイス１１、入力デバイス１５およびサーバから送付された推定位置候補を複数、ディスプレイに表示する表示デバイス１６を備えている。なお、必要に応じて、地磁気センサなどで方位を測定する方位取得デバイス１２、移動通信端末１の加速度により仰角を測定する加速度センサデバイス１３、および方位と仰角とを合成するセンシングデータ合成部１４を備えることもできる。

移動通信端末１は、位置推定を実施する際には、カメラデバイス１１で取得した画像データ、通信基地局３の識別情報、撮影時刻、さらにその他の付随情報として方位取得デバイス１２、加速度センサデバイス１３のセンシング情報を合わせて通信基地局３を経由して、サーバ２へ送信する。

サーバ２は、通信基地局３を経由して、移動通信端末１とデータを送受信する通信部２０、位置推定部２１、画像位置管理ＤＢ２２、および基地局位置管理ＤＢ２３を備えている。

画像位置管理ＤＢ２２は、風景等の画像データ、画像データの特徴ベクトル、位置情報（緯度経度座標や建物名、エリア名、フロアなど）、その他必要に応じて画像の撮影時刻、撮影画像の視線ベクトルを対応付けて保存・管理する記憶装置である。

基地局位置管理ＤＢ２３は、識別情報（基地局ＩＤ）と、該識別情報を有する通信基地局の通信可能エリアを示す位置情報（探索エリア）を関連付けて保存・管理する記憶装置である。

位置推定部２１は、
（１）移動通信端末１から送付された画像データの特徴ベクトルを抽出する機能
（２）上記抽出された画像データの特徴ベクトルと画像位置管理ＤＢ２２に保存されている画像データの特徴ベクトルを比較して、その類似度を導出する機能
（３）上記（２）において、比較画像の候補を画像位置管理ＤＢ２２から抽出する際に、移動通信端末１から送付された基地局識別情報を基に、基地局位置管理ＤＢ２３から探索エリアを求め、画像位置管理ＤＢ２２内のデータから検索対象エリアを制限する機能
（４）類似度比較を行った結果を基に、類似度の高い画像データに対応する位置情報を移動通信端末１に送付する機能
を有している。さらに、移動通信端末１から送付された画像データに、方位取得デバイス１２および加速度センサデバイス１３から取得されたセンシング情報が含まれている場合には、
（５）上記（２）において、比較画像の候補を画像位置管理ＤＢ２２から抽出する際に、センシング情報を基に、画像位置管理ＤＢ２２内のデータから検索対象エリアまたは検索対象画像データを制限する機能
をも有している。

以下、移動通信端末１がサーバ２に問い合わせを行い現在位置を取得する方法を具体例をもとに説明する。

最初、ユーザは移動通信端末１によって現在位置を知るために図１の移動通信端末１に内蔵されたカメラデバイス１１によって周辺画像を１枚以上撮影する。この時、撮影時の視線ベクトルとして、方位取得デバイス１２で方角を、加速度センサデバイス１３にて仰角を取得する。さらに撮影時の通信環境として通信部１０にて通信基地局３の識別情報を取得する。

次に、移動通信端末１は、カメラデバイス１１で取得した撮影画像Ｄ１００と、通信部１０で取得した基地局識別情報Ｓ０４０と、さらに方位取得デバイスと加速度センサデバイスで取得した方位角と仰角とをセンシングデータ合成部１４で合成したセンシングデータと、を１つのクエリとして合成し、通信部１０から通信基地局３を経由してサーバ２へクエリを送信する。

図２は、本実施形態におけるサーバが移動通信端末の位置を推定するフローチャートである。移動通信端末１からクエリを受け取ったサーバ２は、図２に示した手順に従い移動通信端末２の位置推定を行う。具体的には、まず位置推定部２１は、クエリに含まれる通信基地局３の識別情報から、基地局位置管理ＤＢ２３に問い合わせ、比較対象画像の探索エリアを取得する（Ｓ１）。

図３は、本実施形態における基地局位置管理ＤＢに格納されるテーブルの例を示す。このテーブルには、通信基地局３の識別情報として基地局ＩＤ、緯度経度座標により検索域を表す探索エリア１、建物名、エリア名、フロアなどの具体的地名により検索域を表す探索エリア２が含まれている。

このテーブルによって、基地局ＩＤがＳ０４０であることより、検索域は、緯度経度座標（N40.3566, E139.3300）から（N40.3600,E139.3333）で囲まれたエリア、又は「Ａ駅地下街１」および「Ａ駅地下街２」をエリア情報として持っている画像データとなる。

次に、撮影画像Ｄ１００と比較する画像を、Ｓ１で決定された検索域をキーに画像位置管理ＤＢ２２から選択する（Ｓ２）。

図４は、本実施形態における画像位置管理ＤＢに格納されるテーブルの例を示す。このテーブルには、比較する画像の画像ＩＤと該画像が撮影された緯度経度情報、高度情報、エリア情報が含まれている。

このテーブルを前記緯度経度情報およびエリア情報で検索することによって、image00101〜image00103を含む画像群が撮影画像Ｄ１００との比較対象画像群Ｄ２００として抽出される。

次に、移動通信端末１から送付されたクエリに、方位取得デバイス１２や加速度センサデバイス１３のセンシングデータが含まれている場合には、これらセンシングデータから導出される撮影画像Ｄ１００の視線方向ベクトルを利用して、比較対象画像をＤ２００からさらに絞り込む（Ｓ３）。また、Ｄ２００が全方位カメラなどで取得された画像の場合には、Ｄ２００画像群が、Ｄ１００の視線ベクトルに対応するよう、Ｄ２００の各画像を座標変換等によって補正処理を行う。

次にサーバ２は、移動通信端末１より送付された画像Ｄ１００の特徴ベクトルを抽出する（Ｓ４）。画像の比較手法としては、各画素におけるＲＧＢ値や、画像を構成する色素成分の組成比などを特徴ベクトルと利用して、その差分の小ささを指標に類似度を計算する方法等が考えられる。ここでは例として、画像に含まれる文字列や看板のような特定の色素集合といったシンボルと、これらシンボル間の相対位置を特徴ベクトルとする場合を記述する。

図５は、撮影画像データと比較対象画像データから抽出される特徴ベクトルの例を示す。例えば、画像Ｄ１００のシンボルＡ１から、特徴ベクトルとして渋谷１０Ｋｍ（５０、２５）が得られ、比較対象画像群Ｄ２００内の比較対象画像Ｄ２００のシンボルＢ１から、特徴ベクトルとして△百貨店（２１、９）が得られる。

また、図６は、本実施形態における画像位置管理ＤＢに格納される各画像の特徴ベクトルを管理するテーブルの例を示す。このテーブルには、画像ＩＤと画像データから抽出された特徴ベクトルが含まれている。

次に抽出された画像Ｄ１００の特徴ベクトルを用いて、Ｄ１００とＤ２００の各画像との比較を行う（Ｓ５）。この比較は、Ｄ２００の比較対象画像データがなくなるまで繰り返す。

画像位置管理ＤＢ２２に図６のように、蓄積された各画像の特徴ベクトルが管理されている場合、Ｄ１００から抽出された特徴ベクトルと、Ｄ２００に含まれる各画像データの特徴ベクトル群とを比較し、該当する特徴ベクトルが多いものほど類似度が高くなるように計算する。

例えばＤ１００、及びＤ２００のうちの１つの画像データＤ２０１が図５のようになっていた場合、Ｄ１００とＤ２０１のそれぞれの特徴ベクトルを比較した場合、シンボルＡ１とＢ２、Ａ２とＢ３、Ａ３とＢ４が同一シンボルとなり、同一シンボル数は３となる。シンボル類似度Ｐ＿１は、同一シンボル数ｎを関数ｆに代入することによって
P_1=f(n)
で計算される。例えばＤ１００とＤ２０１の場合、ｎ＝３となり、類似度Ｐ＿１はｆ（３）となる。

さらに各シンボルの画像データ内における相対位置ベクトルを利用して、より詳細な類似度を導出することもできる。画像内における相対位置を見ると、Ｄ１００では相対位置ベクトルは、
V_(A1-A2)=(105,24)、 V_(A1-A3)=(30,51)
となり、Ｄ２０１では相対位置ベクトルは、
V_(B2-B3)=(103,22)、 V_(B2-B4)=(20,48)
となる。この時のシンボル相対位置類似度Ｐ＿２を、例えば対応ベクトル間の内積を関数ｇに代入することによって
P_2=g(V_(A1-A2)*V_(A1-A3), V_(B2-B3)*V_(B2-B4))
で計算される。なおここで、＊はベクトルの内積を表す。

最後に、以上のプロセスで計算された類似度を基に、類似度の高い上位Ｎ件を現在位置の画像と推定する（Ｓ６）。

サーバ２は、類似度の高い上位Ｎ件の画像データに対応する緯度経度座標や、エリア情報を位置推定結果として画像データと共に移動通信端末１へ送付する。

移動通信端末１は受信したＮ件の位置推定結果を、図７の例に示すように画像データと共にディスプレイに表示する。ユーザは表示された画像データ群から、自分の撮影した画像データと同じ場所のものを選択することで、現在位置を知ることが可能となる。

また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。

本実施形態における位置推定システム、および移動通信端末とサーバの機能構成図を示す。本実施形態におけるサーバが移動通信端末の位置を推定するフローチャートである。本実施形態における基地局位置管理ＤＢに格納されるテーブルの例を示す。本実施形態における画像位置管理ＤＢに格納されるテーブルの例を示す。撮影画像データと比較対象画像データから抽出される特徴ベクトルの例を示す。本実施形態における画像位置管理ＤＢに格納される各画像の特徴ベクトルを管理するテーブルの例を示す。移動通信端末が受信した位置推定結果を、移動通信端末が画像データと共にディスプレイに表示する例を示す。

符号の説明

１移動通信端末
２サーバ
３通信基地局
１０通信部
１１カメラデバイス
１２方位取得デバイス
１３加速度センサデバイス
１４センシングデータ合成部
１５入力デバイス
１６表示デバイス
２０通信部
２１位置推定部
２２画像位置管理ＤＢ
２３基地局位置管理ＤＢ
Ｄ１００撮影画像
Ｄ２００比較対象画像群
Ｓ０４０基地局識別情報

Claims

移動通信端末、サーバおよび通信網で構成される位置推定システムにおいて、
周辺をカメラデバイスで撮影する撮影手段と、
前記撮影手段により撮影された画像データを前記サーバに送信する送信手段と、
を有する移動通信端末と、
前記移動通信端末から前記画像データを受信する受信手段と、
前記受信した画像データの特徴量を抽出する抽出手段と、
位置情報と画像データを対応づけた画像位置管理データベースと、
前記抽出された特徴量と前記画像位置管理データベース内の各画像データの特徴量とを比較して類似度の高い画像データを１つ以上選択する選択手段と、
前記選択された画像データ群に対応した位置情報を前記移動通信端末の現在位置として推定し、前記移動通信端末に送信する送信手段と、
を有するサーバと、
を備え、
前記サーバの送信手段は、前記位置情報に加え、前記選択された画像データ群を前記位置情報と関連付けて、前記移動通信端末に送信する手段であることを特徴とする位置推定システム。
前記移動通信端末は、画像を表示可能なディスプレイと、前記送信された画像データ群を前記位置情報と関連付けて該ディスプレイに表示する手段とをさらに有することを特徴とする請求項１に記載の位置推定システム。
識別情報を前記移動通信端末に送付する通信基地局をさらに備え、
前記移動通信端末の送信手段は、前記撮影手段により撮影された画像データと前記識別情報を前記サーバに送信する手段であり、
前記サーバは、
通信基地局の識別情報と該通信基地局の通信可能エリアとを対応付けた基地局位置管理データベースと、
前記移動通信端末から送信された識別情報をもとに前記基地局位置管理データベースを検索し通信可能エリアを求める手段と、
前記画像位置管理データベースから前記通信可能エリア内の画像データを絞り込む絞り込み手段とをさらに有し、前記選択手段は、前記絞り込み手段により絞り込まれた画像データの中から類似度の高い画像データを１つ以上選択する手段であることを特徴とする請求項１または２に記載の位置推定システム。
前記移動通信端末は、方位取得デバイスおよび／または加速度センサデバイスをさらに有し、
前記移動通信端末の送信手段は、前記画像データ撮影時の前記方位取得デバイスおよび／または前記加速度センサデバイスによるセンシングデータも前記サーバに送信し、
前記絞り込み手段は、前記センシングデータから導出される視線ベクトルをもとに画像データをさらに絞り込む手段であることを特徴とする請求項３に記載の位置推定システム。
前記画像データの類似度は、前記画像データに含まれるシンボルおよび該シンボル間の相対位置を特徴ベクトルとし、特徴ベクトル間の差分によって計算されることを特徴とする請求項１から４のいずれか１項に記載の位置推定システム。
移動通信端末の現在位置を推定する位置推定サーバにおいて、
前記移動通信端末から画像データを受信する受信手段と、
前記受信した画像データの特徴量を抽出する抽出手段と、
位置情報と画像データを対応づけた画像位置管理データベースと、
前記抽出された特徴量と前記画像位置管理データベース内の各画像データの特徴量とを比較して類似度の高い画像データを１つ以上選択する選択手段と、
前記選択された画像データ群に対応した位置情報を前記移動通信端末の現在位置として推定し、前記移動通信端末に送信する送信手段と、
を備え、
前記位置推定サーバの送信手段は、前記位置情報に加え、前記選択された画像データ群を前記位置情報と関連付けて、前記移動通信端末に送信する手段であることを特徴とする位置推定サーバ。
移動通信端末、サーバおよび通信網で構成される位置推定システムにおいて、
前記移動通信端末が
周辺をカメラデバイスで撮影する撮影ステップと、
前記撮影ステップにより撮影された画像データを前記サーバに送信する送信ステップと、
前記サーバは、位置情報と画像データを対応づけた画像位置管理データベースを有し、該サーバが、
前記移動通信端末から前記画像データを受信する受信ステップと、
前記受信した画像データの特徴量を抽出する抽出ステップと、
前記抽出された特徴量と前記画像位置管理データベース内の各画像データの特徴量とを比較して類似度の高い画像データを１つ以上選択する選択ステップと、
前記選択された画像データ群に対応した位置情報を前記移動通信端末の現在位置として推定し、前記移動通信端末に送信する送信ステップと、
を含み、
前記サーバの送信ステップは、前記位置情報に加え、前記選択された画像データ群を前記位置情報と関連付けて、前記移動通信端末に送信するステップであることを特徴とする位置推定方法。
前記移動通信端末は、画像を表示可能なディスプレイを有し、前記送信された画像データ群を前記位置情報と関連付けて該ディスプレイに表示するステップをさらに有することを特徴とする請求項７に記載の位置推定方法。