JP2018194366A

JP2018194366A - 位置推定装置、方法、及びプログラム

Info

Publication number: JP2018194366A
Application number: JP2017096611A
Authority: JP
Inventors: 之人渡邉; Yukito Watanabe; 勇五十嵐; Isamu Igarashi; 隆行黒住; Takayuki Kurozumi; 杵渕　哲也; Tetsuya Kinebuchi; 哲也杵渕
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2017-05-15
Filing date: 2017-05-15
Publication date: 2018-12-06

Abstract

【課題】屋内であっても、クエリ画像の撮影位置を推定することができる。【解決手段】軌跡算出部１１が、参照画像集合の参照画像の各々の撮影位置の軌跡を算出し、撮影位置入力部１２が、参照画像集合の撮影位置に対応する地図上の位置を入力し、軌跡変換部１３が、算出された軌跡を、入力された地図上の位置に合わせて地図上の軌跡に変換し、参照画像集合の参照画像の各々の撮影位置を算出し、類似度算出部１４が、クエリ画像と、参照画像集合の参照画像の各々との類似度を算出し、位置情報出力部１５が、算出された類似度と、算出された参照画像の各々の撮影位置とに基づいて、クエリ画像の地図上の撮影位置を推定する。【選択図】図１

Description

本発明は、位置推定装置、方法、及びプログラムに係り、特に、クエリ画像の撮影位置を推定するための位置推定装置、方法、及びプログラムに関する。

スマートフォン等の小型デバイスの普及に伴い、一個人の位置情報を利用するサービスが急速に増大した。経路/観光案内や、実世界とウェブ世界を相互につなぐＯ２Ｏサービスなどへの期待は特に高い。このようなサービスの実現には、ユーザの位置情報を取得する機能が求められる。位置情報を取得する方法としては、一般に、スマートフォン等のデバイスに搭載したＧＰＳ（全地球測位システム）を用いて位置推定を行っている。しかしながら、屋内では利用できない。

このような課題を鑑み、従来いくつかの発明がなされ、開示されてきている。

屋内で位置情報を取得する方法としては、例えば特許文献１に開示される技術がある。この技術では、デバイスから無線信号を送信し、位置が既知である複数地点でその電波の受信レベルを観測することでデバイスの位置を推定する。

非特許文献１では、スマートフォン等のデバイスに備えられたカメラを用いた画像認識による位置情報推定技術が開示されている。まず、撮影位置が既知である画像（参照画像）から、特徴的であるような微小な領域として特徴点を検出し、特徴点毎にその輝度の変化量によって表現する特徴量を算出する。同様に、位置情報推定時に撮影した画像（クエリ画像）から算出した特徴量と、参照画像から算出した特徴量との距離を測ることで、その距離が一定値以下となる特徴点の個数（マッチング数）を算出する。このマッチング数が多いほど、入力画像に対応した参照画像である（類似度が大きい）ことになる。こうして得られた類似度が大きい参照画像の撮影位置を、推定位置情報として出力する。

特開２０１１−８０８９８号公報

J. Knopp, J. Sivic, and T. Pajdla: Avoiding Confusing Features in Place Recognition, In ECCV, 2010.

特許文献１の技術は、スマートフォン等の無線端末には機能の追加や変更が不要であり、また屋内でも利用可能である。しかしながら、屋内施設に機器の設置が必要であり、景観を損ねる可能性がある。

非特許文献１の技術は、機器の設置は不要だが、撮影位置が既知である参照画像が必要となる。例えば、非特許文献１では参照画像撮影時に位置情報としてＧＰＳで計測した緯度と経度を利用している。しかしながら、屋内ではＧＰＳが利用できないため、非特許文献１の技術を適用するための参照画像を作成することが困難であり、結果として屋内での位置推定を行うことは難しい。

以上のように、現在に至るまで、機器の設置なしに、屋内で高精度、かつ、高粒度に位置情報を取得する手法は発明されていなかった。

本発明は、上記問題点を解決するために成されたものであり、屋内であっても、高精度、かつ、高粒度にクエリ画像の撮影位置を推定できる位置推定装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る位置推定装置は、参照画像集合の参照画像の各々の撮影位置を算出し、クエリ画像と類似する参照画像を検索することでクエリ画像の撮影位置を推定する位置推定装置であって、前記参照画像集合の参照画像の各々の撮影位置の軌跡を算出する軌跡算出部と、前記参照画像集合の撮影位置に対応する地図上の位置を入力する撮影位置入力部と、前記軌跡算出部により算出された前記軌跡を、前記撮影位置入力部で入力された前記地図上の位置に合わせて前記地図上の軌跡に変換し、前記参照画像集合の参照画像の各々の前記地図上の撮影位置を算出する軌跡変換部と、前記クエリ画像と、前記参照画像集合の参照画像の各々との類似度を算出する類似度算出部と、前記類似度算出部で算出された前記類似度と、前記算出された参照画像の各々の撮影位置とに基づいて、前記クエリ画像の前記地図上の撮影位置を推定する位置情報出力部と、を含んで構成されている。

また、第１の発明に係る位置推定装置において、前記撮影位置入力部は、前記地図上の位置として、前記参照画像集合における任意の２枚以上の前記参照画像の撮影位置を入力するようにしてもよい。

また、第１の発明に係る位置推定装置において、前記軌跡変換部は、前記軌跡算出部により算出された前記軌跡を、部分的に回転又は伸縮させることにより、前記撮影位置入力部で入力された前記地図上の位置に合わせて変換するようにしてもよい。

また、第１の発明に係る位置推定装置において、前記撮影位置入力部は、前記地図上の位置として、入力された前記地図上における軌跡を入力し、前記軌跡変換部は、前記軌跡算出部により算出された前記軌跡、及び入力された前記地図上における軌跡の何れか一方を部分的に回転又は伸縮させて変換することで、前記参照画像集合の参照画像の各々の前記地図上の撮影位置を算出するようにしてもよい。

第２の発明に係る位置推定方法は、参照画像集合の参照画像の各々の撮影位置を算出し、クエリ画像と類似する参照画像を検索することでクエリ画像の撮影位置を推定する位置推定装置における位置推定方法であって、軌跡算出部が、前記参照画像集合の参照画像の各々の撮影位置の軌跡を算出するステップと、撮影位置入力部が、前記参照画像集合の撮影位置に対応する地図上の位置を入力するステップと、軌跡変換部が、前記軌跡算出部により算出された前記軌跡を、前記撮影位置入力部で入力された前記地図上の位置に合わせて前記地図上の軌跡に変換し、前記参照画像集合の参照画像の各々の前記地図上の撮影位置を算出するステップと、類似度算出部が、前記クエリ画像と、前記参照画像集合の参照画像の各々との類似度を算出するステップと、位置情報出力部が、前記類似度算出部で算出された前記類似度と、前記算出された参照画像の各々の撮影位置とに基づいて、前記クエリ画像の地図上の撮影位置を推定するステップと、を含んで実行することを特徴とする。

また、第２の発明に係る位置推定方法において、前記撮影位置入力部は、前記地図上の位置として、前記参照画像集合における任意の２枚以上の前記参照画像の撮影位置を入力するようにしてもよい。

また、第２の発明に係る位置推定方法において、前記撮影位置入力部は、前記地図上の位置として、入力された前記地図上における軌跡を入力し、前記軌跡変換部は、前記軌跡算出部により算出された前記軌跡、及び入力された前記地図上における軌跡の何れか一方を部分的に回転又は伸縮させて変換することで、前記参照画像集合の参照画像の各々の前記地図上の撮影位置を算出するようにしてもよい。

第３の発明に係るプログラムは、コンピュータを、第１の発明に係る位置推定装置の各部として機能させるためのプログラム。

本発明の位置推定装置、方法、及びプログラムによれば、参照画像集合の参照画像の各々の撮影位置の軌跡を算出し、参照画像集合の撮影位置に対応する地図上の位置を入力し、算出された軌跡を、入力された地図上の位置に合わせて地図上の軌跡に変換し、参照画像集合の参照画像の各々の撮影位置を算出し、クエリ画像と、参照画像集合の参照画像の各々との類似度を算出し、算出された類似度と、算出された参照画像の各々の撮影位置とに基づいて、クエリ画像の地図上の撮影位置を推定することにより、屋内であっても、クエリ画像の撮影位置を推定することができる、という効果が得られる。

本発明の第１の実施の形態に係る位置推定装置の構成を示すブロック図である。第１の実施の形態で算出された軌跡の一例を示す図である。第１の実施の形態の参照画像の地図上の撮影位置の一例を示す図である。第１の実施の形態の地図上における変換の流れの一例を示す図である。変換された地図上の軌跡の一例を示す図である。本発明の実施の形態に係る位置推定装置における位置推定処理ルーチンを示すフローチャートである。本発明の第２の実施の形態に係る位置推定装置の構成を示すブロック図である。第２の実施の形態で算出された軌跡の一例を示す図である。第２の実施の形態で入力する軌跡の一例を示す図である。第２の実施の形態において算出した軌跡の一例を示す。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の第１の実施の形態に係る位置推定装置の構成＞

次に、本発明の第１の実施の形態に係る位置推定装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る位置推定装置１００は、ＣＰＵと、ＲＡＭと、後述する位置推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この位置推定装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。

図１は、本発明の第１の実施形態における位置推定装置１００の構成の一例を示すブロック図である。図１に示す位置推定装置１００は、軌跡算出部１１と、撮影位置入力部１２と、軌跡変換部１３と、類似度算出部１４と、位置情報出力部１５とを備える。

位置推定装置１００は、データベース２と通信手段を介して相互に情報通信し、任意の参照画像の情報をデータベース２に登録したり、読み出したりすることができる構成を採る。

参照画像の情報には、少なくとも参照画像、又は参照画像の特徴量、及び当該参照画像の地図上での撮影位置を含むものとする。さらに、当該画像の撮影方向を含んでも良く、その場合、クエリ画像の地図上での位置情報に加え、撮影方向を推定することができる。

データベース２には、参照画像集合３、及び後述する軌跡変換部１３で算出された参照画像の各々の地図上の撮影位置が格納される。データベース２は、例えば、一般的な汎用コンピュータに実装されているファイルシステムによって構成できる。各参照画像それぞれを一意に識別可能な識別子（例えば、通し番号によるＩＤやユニークな参照画像ファイル名等）を与えるものとし、さらに、当該参照画像に規定された特徴量、あるいは位置情報も、当該参照画像の識別子と関連づけて記憶しているものとする。あるいは、同様にＲＤＢＭＳ(Relational Database Management System)などで実装、構成されていても構わない。その他、メタデータとして、例えば参照画像の内容を表現するもの（参照画像のタイトル、概要文、又はキーワード等）、参照画像のフォーマットに関するもの（参照画像のデータ量、サムネイル等のサイズ）などを含んでいても構わないが、本発明の実施においては必須ではない。

データベース２は、位置推定装置１００の内部にあっても外部にあっても構わず、通信手段は任意の公知ものを用いることができるが、本実施の形態においては、外部にあるものとして、通信手段は、インターネット、ＴＣＰ／ＩＰ等のネットワーク（図示省略）により通信するよう接続されているものとする。

また、位置推定装置１００が備える各部及びデータベース２は、演算処理装置、記憶装置等を備えたコンピュータやサーバ等により構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは位置推定装置１００が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。もちろん、その他いかなる構成要素についても、単一のコンピュータやサーバによって実現しなければならないものではなく、ネットワークによって接続された複数のコンピュータに分散して実現しても構わない。

入力部１０は、参照画像集合３と、位置情報４と、クエリ画像５とを受け付ける。なお、受け付けた参照画像集合３はデータベース２に格納される。

参照画像集合３は、位置推定の対象となる場所の情景を撮影した２枚以上の参照画像から構成される。参照画像は同一カメラによって連続的に撮影されたものであることが望ましく、例えば、カメラを進行方向に向けて歩きながら撮影した映像から一定フレーム間隔で画像を切り出すことで得ることができる。もちろん、必ずしも映像から切り出す必要はなく、１枚ずつ撮影した画像を用いることもできる。

また、参照画像集合３に含まれる情報として、複数台のカメラによって複数方向の画像を取得し、ある一方向の画像群を参照画像集合３として地図上での位置情報を算出し、算出した地図上での位置情報を同一のタイミングで撮影された他のカメラで別方向を撮影した画像群にも付与してデータベース２に記憶してもよい。その場合、必要となる撮像デバイスの数は増加するが、複数の撮影方向に対応することができる。撮影位置に加えて撮影方向を推定する場合も同様に、ある一方向の画像群を参照画像集合３として算出した撮影方向を、各カメラの方向に従い回転させた撮影方向をそれぞれ記憶すればよい。あるいは、複数台のカメラに代えて、全方位カメラによって取得した映像の任意の方向を切り出して用いてもよい。

位置情報４は、参照画像集合３の任意の２枚以上の参照画像の、地図上での撮影位置から構成される。地図には、位置推定の対象となる場所が含まれる任意の地図を用いればよい。例えば、屋内施設を対象とした位置推定であれば、当該施設のフロアマップ等の地図を用いることができる。また、地図上での撮影位置とは、例えば、地図上の任意の点を原点とした２次元座標で表せばよい。緯度及び経度が取得できる場合であれば、位置情報４として緯度及び経度を用いることもできる。

クエリ画像５は、位置推定を行う対象となる画像である。

出力部５０には、推定結果６が出力される。推定結果６は、クエリ画像５が撮影された位置の推定結果である。推定結果には、少なくとも、位置情報４の基準の座標で表される撮影位置が含まれる。位置情報４を地図上の任意の点を原点とした２次元座標で表した場合は、推定結果６は２次元座標で表され、緯度及び経度によって位置情報４を表した場合は、推定結果６は緯度及び経度によって表される。また、推定結果として、撮影方向を含んでもよい。

演算部２０は、軌跡算出部１１と、撮影位置入力部１２と、軌跡変換部１３と、類似度算出部１４と、位置情報出力部１５とを含んで構成されている。

軌跡算出部１１は、参照画像集合３の参照画像の各々の撮影位置の軌跡を算出する。撮影位置の軌跡は公知の方法で推定でき、例えば、ｖｉｓｕａｌｏｄｏｍｅｔｒｙ(非特許文献２)や、ＳＬＡＭ(非特許文献３)と呼ばれる方法を用いることができる。これらの方法では、参照画像集合の参照画像の各々の撮影時のカメラの３次元的な位置及び姿勢を求めることができるが、必要な情報のみを用いて軌跡を算出すればよい。例えば、後述する処理においてクエリ画像の地図上の２次元の撮影位置を推定する場合には、参照画像集合３の参照画像の各々の３次元的な位置は必要なく、２次元の軌跡とすればよい。あるいは、地図上の撮影位置に加えて方向を推定する場合には、同様に２次元の撮影方向を利用すればよい。また、算出される撮影位置の軌跡は、地図上の任意の点を原点とした２次元座標の座標系とは異なる、局所的な座標系で表わされる。

［非特許文献２］C. Forster, M. Pizzoli and D. Scaramuzza, SVO: Fast semi-direct monocular visual odometry, In ICRA, 2014.

［非特許文献３］J. Engel, T. Schops, and D. Cremers, LSD-SLAM: Large-Scale Direct Monocular SLAM, In ECCV, 2014.

図２に軌跡算出部１１で算出された軌跡の一例を示す。

撮影位置入力部１２は、位置情報４が表す、参照画像集合３の任意の２枚以上の撮影位置に対応する地図上の位置を取得する。ここでは、地図上の位置として、位置情報４から、参照画像集合３の任意の２枚以上の参照画像の地図上での撮影位置を指定して入力する。撮影位置を指定する２枚以上の参照画像は自由に定めてよいが、好ましくは軌跡の始端、終端、及び曲がり角にあたる参照画像を指定すると共に、当該参照画像の地図上での撮影位置を指定するとよい。地図上での撮影位置は、例えば、地図上の任意の点を原点とした２次元座標で入力すればよい。あるいは、マウスやタッチパネル等のポインティングデバイスを持つ機器を用いて、地図上の位置を指定することで入力された位置でもよい。

図３に撮影位置入力部１２から入力された参照画像の地図上の撮影位置の一例を示す。

軌跡変換部１３は、軌跡算出部１１で算出された軌跡を、撮影位置入力部１２で入力された２枚以上の参照画像の撮影位置に従って地図上の軌跡に変換し、参照画像集合４の参照画像の各々の地図上での撮影位置を算出する。Ｎ枚(Ｉ_１,Ｉ_２,…,Ｉ_Ｎ)の参照画像について、その地図上での位置情報４を入力したとする。Ｎは２以上、参照画像枚数以下の整数である。例えば、下記（１）〜（５）の流れで軌跡を変換することができる。ｉは自然数である。同様の地図上における変換の流れを、図４にも示す。

（１）ｉ＝１とする。
（２）Ｉ_ｉが入力した地図上の位置と合致するように軌跡を移動させる。
（３）Ｉ_ｉ＋１が入力した地図上の位置と合致するように、Ｉ_ｉ以降の軌跡をＩ_ｉを基準に部分的に回転、又は伸縮する。
（４）ｉ＝ｉ＋１とする。
（５）ｉ＝Ｎとなるまで（３）と（４）とを繰り返す。

以上のようにして、軌跡変換部１３は、変換後の参照画像の各々の地図上での撮影位置を出力する。なお、撮影位置及び撮影方向を出力するようにしてもよい。

図５に軌跡変換部１３で変換された地図上の軌跡の一例を示す。

類似度算出部１４は、入力部１０で受け付けたクエリ画像５と、参照画像集合３の参照画像の各々との類似度を算出する。類似度の算出には公知の方法を用いることができる。例えば、非特許文献４に記載されている局所特徴量のマッチングに基づく方法や、非特許文献５に記載されている学習に基づく方法などを用いればよい。

［非特許文献４］J. Philbin, O. Chum, M. Isard, J. Sivic, and A. Zisserman, Object retrieval with large vocabularies and fast spatial matching, In CVPR, 2007.

［非特許文献５］G. Tolias, R. Sicre, and H. Jegou, Particular object retrieval with integral max-pooling of CNN activations, In ICLR, 2016

また、類似度の算出方法に合わせて、事前に参照画像の特徴量、インデクス、識別器などを求めておき、データベース２に記憶しておくこともできる。

位置情報出力部１５は、類似度算出部１４で算出された参照画像の各々との類似度と、軌跡変換部１３で算出された参照画像の各々の撮影位置とに基づいて、クエリ画像５の撮影位置を推定し、推定結果６として出力部５０に出力する。出力する撮影位置としては、例えば、クエリ画像５と最も類似度の高い参照画像の撮影位置を用いればよい。撮影位置に方向を加えて出力することもできる。

また、出力する撮影位置は単一の地点である必要はなく、複数の位置を出力しても良く、また撮影位置を出力しないこともできる。その場合、例えば、類似度が閾値以上の全ての参照画像に付与された撮影位置、あるいは、類似度の高い上位Ｔ件の撮影位置などを出力すればよい。Ｔは０以上Ｎ以下の整数である。

＜本発明の第１の実施の形態に係る位置推定装置の作用＞

次に、本発明の第１の実施の形態に係る位置推定装置１００の作用について説明する。入力部１０において参照画像集合３と、位置情報４と、クエリ画像５とを受け付けると、参照画像集合３をデータベース２に格納すると共に、位置推定装置１００は、図６に示す位置推定処理ルーチンを実行する。

まず、ステップＳ１００では、軌跡算出部１１が、入力部１０で受け付けた参照画像集合３から撮影位置の軌跡を算出する。

次に、ステップＳ１０２では、撮影位置入力部１２が、入力部１０で受け付けた位置情報４が表す、参照画像集合４の任意の２枚以上の参照画像の、地図上での撮影位置を取得する。

ステップＳ１０４では、軌跡変換部１３が、撮影位置入力部１２から入力された２枚以上の参照画像の地図上の撮影位置と、軌跡算出部１１で算出した参照画像集合４の撮影位置の軌跡とに基づいて、地図上の軌跡を変換し、全ての参照画像の地図上での撮影位置を算出し、データベース２に格納する。なお、ステップＳ１００からＳ１０４までの処理は、クエリ画像を受け付ける前に事前に実施しておいても構わない。

ステップＳ１０６では、類似度算出部１４が、入力部１０で受け付けたクエリ画像５と参照画像集合３の参照画像の各々との類似度を算出する。

ステップＳ１０８では、位置情報出力部１５が、ステップＳ１０６で算出された参照画像の各々との類似度と、ステップＳ１０４でデータベース２に格納された参照画像の各々の地図上での撮影位置とに基づいて、クエリ画像５の撮影位置を推定し、推定結果６として出力部５０に出力し、処理を終了する。

以上説明したように、第１の実施の形態に係る位置推定装置によれば、参照画像集合の参照画像の各々の撮影位置の軌跡を算出し、参照画像集合の撮影位置に対応する地図上の撮影位置を入力し、算出された軌跡を、入力された地図上の撮影位置に合わせて地図上の軌跡に変換し、参照画像集合の参照画像の各々の撮影位置を算出し、クエリ画像と、参照画像集合の参照画像の各々との類似度を算出し、算出された類似度と、算出された参照画像の各々の撮影位置とに基づいて、クエリ画像の地図上の撮影位置を推定することにより、屋内であっても、クエリ画像の撮影位置を推定することができる。

＜本発明の第２の実施の形態に係る位置推定装置の構成＞

次に、本発明の第２の実施の形態に係る位置推定装置の構成について説明する。なお、第１の実施の形態と同様となる箇所については同一符号を付して説明を省略する。

図７に示すように、本発明の第２の実施の形態に係る位置推定装置２００は、ＣＰＵと、ＲＡＭと、位置推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この位置推定装置２００は、機能的には図７に示すように入力部２１０と、演算部２２０と、出力部５０とを備えている。

位置推定装置２００は、第１の実施の形態と同様に、データベース２と通信手段を介して相互に情報通信し、任意の参照画像の情報をデータベース２に登録したり、読み出したりすることができる構成を採る。

入力部２１０は、参照画像集合３と、位置情報２０４と、クエリ画像５とを受け付ける。参照画像集合３はデータベース２に格納される。

位置情報２０４は、参照画像集合３の、地図上での軌跡から構成される。軌跡は、自由な方法で入力すればよいが、マウスやタッチパネル等のポインティングデバイスを持つ機器を用いて、地図上をなぞる形式で入力すると好適である。

演算部２２０は、軌跡算出部１１と、撮影位置入力部２１２と、軌跡変換部２１３と、類似度算出部１４と、位置情報出力部１５とを含んで構成されている。

図８に、本実施の形態の軌跡算出部１１において算出された軌跡の一例を示す。

撮影位置入力部２１２は、位置情報２０４が表す、参照画像集合３の撮影位置に対応する地図上の軌跡を取得する。

図９に示すように、撮影位置入力部２１２で入力する軌跡は連続した点で表せばよい。

軌跡変換部２１３は、軌跡算出部１１で算出された軌跡を、撮影位置入力部１２で入力された軌跡に従って地図上の軌跡に変換し、参照画像集合４の参照画像の各々の地図上での撮影位置を算出する。より詳細には、軌跡間の各点の対応関係を求めることで、地図上の軌跡の各点と対応する参照画像を算出する。軌跡間の対応関係は公知の方法で求めればよいが、例えば、始端と終端を合致させた上で、軌跡の各点の座標を特徴ベクトルとした、２つの時系列パターンのDPマッチング(非特許文献６)によって求めることができる。特徴ベクトルとして用いる値は、各点の座標に限定するものではなく、各点の方向など、自由に定めてよい。

［非特許文献６］H. Sakoe, Two-level DP-matching--A dynamic programming-based pattern matching algorithm for connected word recognition, IEEE Trans. on Acoustics, Speech, and Signal Proc., Vol.27, No.6, 1979.

またマッチングの際、２つの軌跡に基づく時系列パターンの一方のみの伸縮を許したマッチングを行ってもよい。

例えば、参照画像集合３が、カメラを進行方向に向けて一定速度で歩きながら撮影した映像から一定フレーム間隔で画像を切り出すことで得られたものである場合は、一方の軌跡のみを伸縮するＤＰマッチングによって高精度に対応を取ることができる。

また対応関係を求める前に、入力された軌跡を任意の方法（フィルターで平滑化する、２つの軌跡の点数を揃える、など）の処理を行ってもよい。

他にも、対応関係を求める前に、２つの軌跡の曲がり角を検出し、それらの位置を合致させた上でマッチングを行ってもよい。曲がり角の検出は、公知の方法を用いればよいが、２つの軌跡の曲がり角を人手で入力してもよい。

図１０に、本実施の形態の軌跡変換部２１３において算出した軌跡の一例を示す。

なお、第２の実施の形態の他の構成及び作用については第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第２の実施の形態に係る位置推定装置によれば、参照画像集合の参照画像の各々の撮影位置の軌跡を算出し、地図上の軌跡を入力し、算出された軌跡を、入力された地図上の軌跡に合わせて地図上の軌跡に変換し、参照画像集合の参照画像の各々の撮影位置を算出し、クエリ画像と、参照画像集合の参照画像の各々との類似度を算出し、算出された類似度と、算出された参照画像の各々の撮影位置とに基づいて、クエリ画像の撮影位置を推定することにより、屋内であっても、クエリ画像の地図上の撮影位置を推定することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した各実施の形態では、参照画像集合３を受け付けて軌跡算出部１１によって軌跡を算出する場合を例に説明したが、これに限定されるものではなく、予め軌跡を算出しておき、データベース２に格納しておいたものを用いて軌跡を変換するようにしてもよい。

２データベース
３参照画像集合
４，２０４位置情報
５クエリ画像
６推定結果
１０，２１０入力部
２０，２２０演算部
１１軌跡算出部
１２，２１２撮影位置入力部
１３，２１３軌跡変換部
１４類似度算出部
１５位置情報出力部
１００、２００位置推定装置

Claims

参照画像集合の参照画像の各々の撮影位置を算出し、クエリ画像と類似する参照画像を検索することでクエリ画像の撮影位置を推定する位置推定装置であって、
前記参照画像集合の参照画像の各々の撮影位置の軌跡を算出する軌跡算出部と、
前記参照画像集合の撮影位置に対応する地図上の位置を入力する撮影位置入力部と、
前記軌跡算出部により算出された前記軌跡を、前記撮影位置入力部で入力された前記地図上の位置に合わせて前記地図上の軌跡に変換し、前記参照画像集合の参照画像の各々の前記地図上の撮影位置を算出する軌跡変換部と、
前記クエリ画像と、前記参照画像集合の参照画像の各々との類似度を算出する類似度算出部と、
前記類似度算出部で算出された前記類似度と、前記算出された参照画像の各々の撮影位置とに基づいて、前記クエリ画像の前記地図上の撮影位置を推定する位置情報出力部と、
を含む位置推定装置。
前記撮影位置入力部は、前記地図上の位置として、前記参照画像集合における任意の２枚以上の前記参照画像の撮影位置を入力する請求項１に記載の位置推定装置。
前記軌跡変換部は、前記軌跡算出部により算出された前記軌跡を、部分的に回転又は伸縮させることにより、前記撮影位置入力部で入力された前記地図上の位置に合わせて変換する請求項１又は請求項２に記載の位置推定装置。
前記撮影位置入力部は、前記地図上の位置として、前記地図上における軌跡を入力し、
前記軌跡変換部は、前記軌跡算出部により算出された前記軌跡、及び入力された前記地図上における軌跡の何れか一方を部分的に回転又は伸縮させて変換することで、前記参照画像集合の参照画像の各々の前記地図上の撮影位置を算出する請求項１に記載の位置推定装置。
参照画像集合の参照画像の各々の撮影位置を算出し、クエリ画像と類似する参照画像を検索することでクエリ画像の撮影位置を推定する位置推定装置における位置推定方法であって、
軌跡算出部が、前記参照画像集合の参照画像の各々の撮影位置の軌跡を算出するステップと、
撮影位置入力部が、前記参照画像集合の撮影位置に対応する地図上の位置を入力するステップと、
軌跡変換部が、前記軌跡算出部により算出された前記軌跡を、前記撮影位置入力部で入力された前記地図上の位置に合わせて前記地図上の軌跡に変換し、前記参照画像集合の参照画像の各々の前記地図上の撮影位置を算出するステップと、
類似度算出部が、前記クエリ画像と、前記参照画像集合の参照画像の各々との類似度を算出するステップと、
位置情報出力部が、前記類似度算出部で算出された前記類似度と、前記算出された参照画像の各々の撮影位置とに基づいて、前記クエリ画像の地図上の撮影位置を推定するステップと、
を含む位置推定方法。
前記撮影位置入力部は、前記地図上の位置として、前記参照画像集合における任意の２枚以上の前記参照画像の撮影位置を入力する請求項５に記載の位置推定方法。
前記撮影位置入力部は、前記地図上の位置として、前記地図上における軌跡を入力し、前記軌跡変換部は、前記軌跡算出部により算出された前記軌跡、及び入力された前記地図上における軌跡の一方を部分的に回転又は伸縮させて変換することで、前記参照画像集合の参照画像の各々の前記地図上の撮影位置を算出する請求項５に記載の位置推定方法。
コンピュータを、請求項１〜請求項４のいずれか１項に記載の位置推定装置の各部として機能させるためのプログラム。