JP2010091356A - System, server and method for estimating position - Google Patents

System, server and method for estimating position Download PDF

Info

Publication number
JP2010091356A
JP2010091356A JP2008260377A JP2008260377A JP2010091356A JP 2010091356 A JP2010091356 A JP 2010091356A JP 2008260377 A JP2008260377 A JP 2008260377A JP 2008260377 A JP2008260377 A JP 2008260377A JP 2010091356 A JP2010091356 A JP 2010091356A
Authority
JP
Japan
Prior art keywords
image data
mobile communication
communication terminal
server
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008260377A
Other languages
Japanese (ja)
Other versions
JP5274192B2 (en
Inventor
Atsunobu Namikawa
敦宣 南川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2008260377A priority Critical patent/JP5274192B2/en
Publication of JP2010091356A publication Critical patent/JP2010091356A/en
Application granted granted Critical
Publication of JP5274192B2 publication Critical patent/JP5274192B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system, a server and a method for estimating a position which enable estimation of the current position in a situation not allowing utilization of GPS. <P>SOLUTION: The position estimating system includes a mobile communication terminal, the server and a communication network. The mobile communication terminal photographs surroundings by a camera device and sends the photographed image data to the server. The server has an image position management database which makes position information correspond to image data, and extracts a feature value of the image data received from the mobile communication terminal, compares the extracted feature value with the feature value of respective image data in the image position management database and selects one or more image data having a high degree of similarity, and estimates the position information corresponding to the selected image data group, as the current position of the mobile communication terminal, and sends the selected image data group and the position information to the terminal. The mobile communication terminal correlates the sent image data group with the position information and displays them on a display. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、位置推定システム、位置推定サーバおよび位置推定方法に関する。より詳細には、移動通信端末で取得したカメラ画像を利用して、サーバが移動通信端末の現在位置を推定する位置推定システム、位置推定サーバおよび位置推定方法に関する。   The present invention relates to a position estimation system, a position estimation server, and a position estimation method. More specifically, the present invention relates to a position estimation system, a position estimation server, and a position estimation method in which a server estimates a current position of a mobile communication terminal using a camera image acquired by a mobile communication terminal.

現在位置を携帯端末で知る方法としてＧＰＳ（Global Positioning System）を用いる方法が代表的である。しかし、この場合ＧＰＳ受信機が必要である。また、ＧＰＳ受信機を持っていても、屋内や地下、高層ビル街などのＧＰＳ電波の受信が困難な環境下では測位ができないといった問題がある。   As a method for knowing the current position with a mobile terminal, a method using GPS (Global Positioning System) is representative. In this case, however, a GPS receiver is required. Further, even if a GPS receiver is provided, there is a problem that positioning cannot be performed in an environment where reception of GPS radio waves is difficult such as indoors, underground, and high-rise buildings.

ＧＰＳを利用できない状況における位置推定方法としては、移動通信端末が基地局から送付される電波の電波強度情報と基地局識別情報、及び受信時刻を計測し、これを過去の計測履歴情報と位置情報を対応づけしたデータベースと比較して、近いものから現在位置を推定する手法があった（特許文献１）。   As a position estimation method in a situation where GPS cannot be used, the mobile communication terminal measures radio wave intensity information, base station identification information, and reception time of a radio wave sent from a base station, and uses this as past measurement history information and position information. There is a method of estimating the current position from a closer one compared to a database in which is associated (Patent Document 1).

特開２００８−１３１３０１号公報JP 2008-131301 A

しかしながら、上記の方法では基地局の通信エリアが広い場合や、電波受信強度が安定しない場合、又は３点以上の基地局からの識別情報を受信できない場合は、基地局通信エリア内のどの場所にいるか特定することが困難となり、測位精度が著しく落ちるという課題があった。   However, in the above method, when the communication area of the base station is wide, when the radio wave reception intensity is not stable, or when identification information from three or more base stations cannot be received, where in the base station communication area It has become difficult to specify whether or not the positioning accuracy is significantly reduced.

したがって、本発明は、ＧＰＳを利用できない状況で、基地局の通信エリア、電波受信強度および利用可能な基地局の数に依存せずに現在位置を推定可能な位置推定システム、位置推定サーバおよび位置推定方法を提供することを目的とする。   Therefore, the present invention provides a position estimation system, a position estimation server, and a position that can estimate the current position without depending on the communication area of the base station, the radio wave reception intensity, and the number of available base stations in a situation where GPS cannot be used. An object is to provide an estimation method.

上記目的を実現するため本発明による位置推定システムは、移動通信端末、サーバおよび通信網で構成される位置推定システムにおいて、周辺をカメラデバイスで撮影する撮影手段と、前記撮影手段により撮影された画像データを前記サーバに送信する送信手段と、を有する移動通信端末と、前記移動通信端末から前記画像データを受信する受信手段と、前記受信した画像データの特徴量を抽出する抽出手段と、位置情報と画像データを対応づけた画像位置管理データベースと、前記抽出された特徴量と前記画像位置管理データベース内の各画像データの特徴量とを比較して類似度の高い画像データを１つ以上選択する選択手段と、前記選択された画像データ群に対応した位置情報を前記移動通信端末の現在位置として推定し、前記移動通信端末に送信する送信手段とを有するサーバとを備えている。   In order to achieve the above object, a position estimation system according to the present invention is a position estimation system including a mobile communication terminal, a server, and a communication network. Transmitting means for transmitting data to the server; receiving means for receiving the image data from the mobile communication terminal; extracting means for extracting a feature quantity of the received image data; and position information Image position management database in which image data are associated with each other, and the extracted feature quantity is compared with the feature quantity of each image data in the image position management database to select one or more image data with high similarity Selection means and position information corresponding to the selected image data group is estimated as a current position of the mobile communication terminal, and the mobile communication And a server having a transmitting means for transmitting powder to.

また、前記サーバの送信手段は、前記位置情報に加え、前記選択された画像データ群を前記位置情報と関連付けて、前記移動通信端末に送信する手段であり、前記移動通信端末は、画像を表示可能なディスプレイと、前記送信された画像データ群を前記位置情報と関連付けて該ディスプレイに表示する手段とをさらに有することも好ましい。   The transmission means of the server is means for transmitting the selected image data group in association with the position information in addition to the position information to the mobile communication terminal, and the mobile communication terminal displays an image. It is also preferable to further include a display capable of displaying and displaying the transmitted image data group on the display in association with the position information.

また、識別情報を前記移動通信端末に送付する通信基地局をさらに備え、前記移動通信端末の送信手段は、前記撮影手段により撮影された画像データと前記識別情報を前記サーバに送信する手段であり、前記サーバは、通信基地局の識別情報と該通信基地局の通信可能エリアとを対応付けた基地局位置管理データベースと、前記移動通信端末から送信された識別情報をもとに前記基地局位置管理データベースを検索し通信可能エリアを求める手段と、前記画像位置管理データベースから前記通信可能エリア内の画像データを絞り込む絞り込み手段とをさらに有し、前記選択手段は、前記絞り込み手段により絞り込まれた画像データの中から類似度の高い画像データを１つ以上選択する手段であることも好ましい。   The mobile communication terminal further includes a communication base station that sends identification information to the mobile communication terminal, and the transmission means of the mobile communication terminal is means for transmitting the image data photographed by the photographing means and the identification information to the server. The server includes a base station location management database that associates identification information of a communication base station with a communicable area of the communication base station, and the base station location based on the identification information transmitted from the mobile communication terminal. It further includes means for searching a management database to obtain a communicable area, and a narrowing means for narrowing down image data in the communicable area from the image position management database, wherein the selection means is an image narrowed down by the narrowing means. It is also preferable to be a means for selecting one or more image data having a high similarity from the data.

また、前記移動通信端末は、方位取得デバイスおよび／または加速度センサデバイスをさらに有し、前記移動通信端末の送信手段は、前記画像データ撮影時の前記方位取得デバイスおよび／または前記加速度センサデバイスによるセンシングデータも前記サーバに送信し、前記絞り込み手段は、前記センシングデータから導出される視線ベクトルをもとに画像データをさらに絞り込む手段であることも好ましい。   The mobile communication terminal further includes an orientation acquisition device and / or an acceleration sensor device, and the transmission means of the mobile communication terminal senses the orientation acquisition device and / or the acceleration sensor device at the time of capturing the image data. The data is also transmitted to the server, and the narrowing-down means is preferably means for further narrowing down the image data based on a line-of-sight vector derived from the sensing data.

また、前記画像データの類似度は、前記画像データに含まれるシンボルおよび該シンボル間の相対距離を特徴ベクトルとし、特徴ベクトル間の差分によって計算されることも好ましい。   Further, it is preferable that the similarity of the image data is calculated by a difference between the feature vectors using a symbol included in the image data and a relative distance between the symbols as a feature vector.

上記目的を実現するため本発明による位置推定サーバは、移動通信端末の現在位置を推定する位置推定サーバにおいて、前記移動通信端末から画像データを受信する受信手段と、前記受信した画像データの特徴量を抽出する抽出手段と、位置情報と画像データを対応づけた画像位置管理データベースと、前記抽出された特徴量と前記画像位置管理データベース内の各画像データの特徴量とを比較して類似度の高い画像データを１つ以上選択する選択手段と、前記選択された画像データ群に対応した位置情報を前記移動通信端末の現在位置として推定し、前記移動通信端末に送信する送信手段とを備えている。   In order to achieve the above object, a position estimation server according to the present invention is a position estimation server for estimating a current position of a mobile communication terminal, receiving means for receiving image data from the mobile communication terminal, and feature quantities of the received image data Extraction means for extracting image data, an image position management database in which position information and image data are associated with each other, and comparing the extracted feature quantity with the feature quantity of each image data in the image position management database Selecting means for selecting one or more high image data; and transmitting means for estimating position information corresponding to the selected image data group as a current position of the mobile communication terminal and transmitting the position information to the mobile communication terminal. Yes.

また、前記位置推定サーバの送信手段は、前記位置情報に加え、前記選択された画像データ群を前記位置情報と関連付けて、前記移動通信端末に送信する手段であることも好ましい。   In addition to the position information, the transmission means of the position estimation server is preferably means for transmitting the selected image data group in association with the position information to the mobile communication terminal.

上記目的を実現するため本発明による位置推定方法は、移動通信端末、サーバおよび通信網で構成される位置推定システムにおいて、前記移動通信端末が周辺をカメラデバイスで撮影する撮影ステップと、前記撮影ステップにより撮影された画像データを前記サーバに送信する送信ステップと、前記サーバは、位置情報と画像データを対応づけた画像位置管理データベースを有し、該サーバが、前記移動通信端末から前記画像データを受信する受信ステップと、前記受信した画像データの特徴量を抽出する抽出ステップと、前記抽出された特徴量と前記画像位置管理データベース内の各画像データの特徴量とを比較して類似度の高い画像データを１つ以上選択する選択ステップと、前記選択された画像データ群に対応した位置情報を前記移動通信端末の現在位置として推定し、前記移動通信端末に送信する送信ステップとを含む。   In order to achieve the above object, a position estimation method according to the present invention comprises: a position estimation system including a mobile communication terminal, a server, and a communication network; A transmission step of transmitting image data captured by the server to the server, and the server has an image position management database in which position information and image data are associated, and the server receives the image data from the mobile communication terminal. The receiving step for receiving, the extracting step for extracting the feature amount of the received image data, and the extracted feature amount and the feature amount of each image data in the image position management database are compared, and the degree of similarity is high A selection step of selecting one or more image data, and the movement of position information corresponding to the selected image data group; Estimating a current position of the signal terminal, and a transmission step of transmitting to the mobile communication terminal.

また、前記サーバの送信ステップは、前記位置情報に加え、前記選択された画像データ群を前記位置情報と関連付けて、前記移動通信端末に送信するステップであり、前記移動通信端末は、画像を表示可能なディスプレイを有し、前記送信された画像データ群を前記位置情報と関連付けて該ディスプレイに表示するステップをさらに有することも好ましい。   The transmitting step of the server is a step of transmitting the selected image data group in association with the position information to the mobile communication terminal in addition to the position information, and the mobile communication terminal displays an image. It is preferable to further include a step of displaying the group of transmitted image data in association with the position information on the display.

以上説明したように本発明によれば、ＧＰＳが利用できない環境下で、かつ３点以上の基地局から信号を受信できない状況下においても、移動通信端末のカメラデバイスで撮影した画像と、サーバの記憶装置に蓄積された画像データ群との比較によって、その類似度から移動通信端末の位置を推定することが可能となる。   As described above, according to the present invention, even in an environment where GPS cannot be used and in a situation where signals cannot be received from three or more base stations, an image captured by the camera device of the mobile communication terminal, By comparing with the image data group stored in the storage device, the position of the mobile communication terminal can be estimated from the similarity.

また、サーバの記憶装置から比較対象画像データを抽出する際に、移動通信端末から送付される基地局識別情報から、検索対象エリアを大きく制限することが可能となり、処理時間を大幅に抑えることが可能となる。   In addition, when extracting comparison target image data from the storage device of the server, it is possible to greatly limit the search target area from the base station identification information sent from the mobile communication terminal, thereby greatly reducing the processing time. It becomes possible.

さらに、上記に加え、移動通信端末に方位取得デバイスまたは加速度センサデバイスが搭載されている場合には、画像データの特徴ベクトル比較範囲をさらに制限することができ、処理時間の短縮が可能となる。   Further, in addition to the above, when the orientation acquisition device or the acceleration sensor device is mounted on the mobile communication terminal, the feature vector comparison range of the image data can be further limited, and the processing time can be shortened.

また、画像データの特徴ベクトルとして文字列や特定のマークなどのシンボルと、その相対位置を利用することで、位置推定の精度をより高くすることも可能である。   Further, by using a symbol such as a character string or a specific mark and its relative position as the feature vector of the image data, it is possible to further increase the accuracy of position estimation.

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。   The best mode for carrying out the present invention will be described in detail below with reference to the drawings.

図１は、本実施形態における位置推定システム、および移動通信端末とサーバの機能構成図を示す。位置推定システムは、移動通信端末１、サーバ２および通信基地局３を備えている。   FIG. 1 shows a functional configuration diagram of a position estimation system, a mobile communication terminal, and a server in the present embodiment. The position estimation system includes a mobile communication terminal 1, a server 2, and a communication base station 3.

移動通信端末１は、通信基地局３を経由して、サーバ２とデータを送受信し、通信基地局３の識別情報を取得する通信部１０、周辺の画像を撮影するカメラデバイス１１、入力デバイス１５およびサーバから送付された推定位置候補を複数、ディスプレイに表示する表示デバイス１６を備えている。なお、必要に応じて、地磁気センサなどで方位を測定する方位取得デバイス１２、移動通信端末１の加速度により仰角を測定する加速度センサデバイス１３、および方位と仰角とを合成するセンシングデータ合成部１４を備えることもできる。   The mobile communication terminal 1 transmits / receives data to / from the server 2 via the communication base station 3, acquires a communication unit 10 that acquires identification information of the communication base station 3, a camera device 11 that captures surrounding images, and an input device 15. And a display device 16 for displaying a plurality of estimated position candidates sent from the server on the display. If necessary, an azimuth acquisition device 12 that measures an azimuth using a geomagnetic sensor, an acceleration sensor device 13 that measures an elevation angle based on acceleration of the mobile communication terminal 1, and a sensing data synthesis unit 14 that synthesizes the azimuth and the elevation angle. It can also be provided.

移動通信端末１は、位置推定を実施する際には、カメラデバイス１１で取得した画像データ、通信基地局３の識別情報、撮影時刻、さらにその他の付随情報として方位取得デバイス１２、加速度センサデバイス１３のセンシング情報を合わせて通信基地局３を経由して、サーバ２へ送信する。   When the mobile communication terminal 1 performs position estimation, the azimuth acquisition device 12 and the acceleration sensor device 13 include image data acquired by the camera device 11, identification information of the communication base station 3, shooting time, and other accompanying information. Are sent to the server 2 via the communication base station 3 together.

サーバ２は、通信基地局３を経由して、移動通信端末１とデータを送受信する通信部２０、位置推定部２１、画像位置管理ＤＢ２２、および基地局位置管理ＤＢ２３を備えている。   The server 2 includes a communication unit 20 that transmits / receives data to / from the mobile communication terminal 1 via the communication base station 3, a position estimation unit 21, an image position management DB 22, and a base station position management DB 23.

画像位置管理ＤＢ２２は、風景等の画像データ、画像データの特徴ベクトル、位置情報（緯度経度座標や建物名、エリア名、フロアなど）、その他必要に応じて画像の撮影時刻、撮影画像の視線ベクトルを対応付けて保存・管理する記憶装置である。   The image position management DB 22 stores image data such as landscapes, image data feature vectors, position information (latitude and longitude coordinates, building names, area names, floors, etc.), and other image shooting times and line-of-sight vectors of the shot images as necessary. Are stored and managed in association with each other.

基地局位置管理ＤＢ２３は、識別情報（基地局ＩＤ）と、該識別情報を有する通信基地局の通信可能エリアを示す位置情報（探索エリア）を関連付けて保存・管理する記憶装置である。   The base station position management DB 23 is a storage device that stores and manages identification information (base station ID) and position information (search area) indicating a communicable area of a communication base station having the identification information in association with each other.

位置推定部２１は、
（１）移動通信端末１から送付された画像データの特徴ベクトルを抽出する機能
（２）上記抽出された画像データの特徴ベクトルと画像位置管理ＤＢ２２に保存されている画像データの特徴ベクトルを比較して、その類似度を導出する機能
（３）上記（２）において、比較画像の候補を画像位置管理ＤＢ２２から抽出する際に、移動通信端末１から送付された基地局識別情報を基に、基地局位置管理ＤＢ２３から探索エリアを求め、画像位置管理ＤＢ２２内のデータから検索対象エリアを制限する機能
（４）類似度比較を行った結果を基に、類似度の高い画像データに対応する位置情報を移動通信端末１に送付する機能
を有している。さらに、移動通信端末１から送付された画像データに、方位取得デバイス１２および加速度センサデバイス１３から取得されたセンシング情報が含まれている場合には、
（５）上記（２）において、比較画像の候補を画像位置管理ＤＢ２２から抽出する際に、センシング情報を基に、画像位置管理ＤＢ２２内のデータから検索対象エリアまたは検索対象画像データを制限する機能
をも有している。 The position estimation unit 21
(1) Function for extracting the feature vector of the image data sent from the mobile communication terminal 1 (2) The feature vector of the extracted image data is compared with the feature vector of the image data stored in the image position management DB 22 (3) In the above (2), when the comparison image candidate is extracted from the image position management DB 22, the base station identification information sent from the mobile communication terminal 1 is used as the base station identification information. A function for obtaining a search area from the station position management DB 23 and limiting the search target area from the data in the image position management DB 22 (4) Based on the result of the similarity comparison, position information corresponding to image data having a high similarity Is sent to the mobile communication terminal 1. Further, when the image data sent from the mobile communication terminal 1 includes sensing information acquired from the orientation acquisition device 12 and the acceleration sensor device 13,
(5) In (2), a function for limiting the search target area or the search target image data from the data in the image position management DB 22 based on the sensing information when extracting the comparison image candidates from the image position management DB 22 It also has.

以下、移動通信端末１がサーバ２に問い合わせを行い現在位置を取得する方法を具体例をもとに説明する。   Hereinafter, a method in which the mobile communication terminal 1 makes an inquiry to the server 2 to acquire the current position will be described based on a specific example.

最初、ユーザは移動通信端末１によって現在位置を知るために図１の移動通信端末１に内蔵されたカメラデバイス１１によって周辺画像を１枚以上撮影する。この時、撮影時の視線ベクトルとして、方位取得デバイス１２で方角を、加速度センサデバイス１３にて仰角を取得する。さらに撮影時の通信環境として通信部１０にて通信基地局３の識別情報を取得する。   First, in order to know the current position with the mobile communication terminal 1, the user takes one or more peripheral images with the camera device 11 built in the mobile communication terminal 1 of FIG. 1. At this time, as the line-of-sight vector at the time of shooting, the direction acquisition device 12 acquires the direction and the acceleration sensor device 13 acquires the elevation angle. Further, the communication unit 10 acquires identification information of the communication base station 3 as a communication environment at the time of shooting.

次に、移動通信端末１は、カメラデバイス１１で取得した撮影画像Ｄ１００と、通信部１０で取得した基地局識別情報Ｓ０４０と、さらに方位取得デバイスと加速度センサデバイスで取得した方位角と仰角とをセンシングデータ合成部１４で合成したセンシングデータと、を１つのクエリとして合成し、通信部１０から通信基地局３を経由してサーバ２へクエリを送信する。   Next, the mobile communication terminal 1 uses the captured image D100 acquired by the camera device 11, the base station identification information S040 acquired by the communication unit 10, and the azimuth and elevation angles acquired by the azimuth acquisition device and the acceleration sensor device. The sensing data synthesized by the sensing data synthesizing unit 14 is synthesized as one query, and the query is transmitted from the communication unit 10 to the server 2 via the communication base station 3.

図２は、本実施形態におけるサーバが移動通信端末の位置を推定するフローチャートである。移動通信端末１からクエリを受け取ったサーバ２は、図２に示した手順に従い移動通信端末２の位置推定を行う。具体的には、まず位置推定部２１は、クエリに含まれる通信基地局３の識別情報から、基地局位置管理ＤＢ２３に問い合わせ、比較対象画像の探索エリアを取得する（Ｓ１）。   FIG. 2 is a flowchart in which the server in this embodiment estimates the position of the mobile communication terminal. The server 2 that receives the query from the mobile communication terminal 1 estimates the position of the mobile communication terminal 2 according to the procedure shown in FIG. Specifically, first, the position estimation unit 21 inquires of the base station position management DB 23 from the identification information of the communication base station 3 included in the query, and acquires the search area for the comparison target image (S1).

図３は、本実施形態における基地局位置管理ＤＢに格納されるテーブルの例を示す。このテーブルには、通信基地局３の識別情報として基地局ＩＤ、緯度経度座標により検索域を表す探索エリア１、建物名、エリア名、フロアなどの具体的地名により検索域を表す探索エリア２が含まれている。   FIG. 3 shows an example of a table stored in the base station location management DB in the present embodiment. This table includes a search area 1 that represents a search area by base station ID and latitude / longitude coordinates as identification information of the communication base station 3, and a search area 2 that represents a search area by a specific place name such as a building name, area name, and floor. include.

このテーブルによって、基地局ＩＤがＳ０４０であることより、検索域は、緯度経度座標（N40.3566, E139.3300）から（N40.3600,E139.3333）で囲まれたエリア、又は「Ａ駅地下街１」および「Ａ駅地下街２」をエリア情報として持っている画像データとなる。   According to this table, since the base station ID is S040, the search area is the area enclosed by the latitude and longitude coordinates (N40.3566, E139.3300) (N40.3600, E139.3333), or “A station” The image data has “underground shopping area 1” and “A station underground shopping area 2” as area information.

次に、撮影画像Ｄ１００と比較する画像を、Ｓ１で決定された検索域をキーに画像位置管理ＤＢ２２から選択する（Ｓ２）。   Next, an image to be compared with the captured image D100 is selected from the image position management DB 22 using the search area determined in S1 as a key (S2).

図４は、本実施形態における画像位置管理ＤＢに格納されるテーブルの例を示す。このテーブルには、比較する画像の画像ＩＤと該画像が撮影された緯度経度情報、高度情報、エリア情報が含まれている。   FIG. 4 shows an example of a table stored in the image position management DB in this embodiment. This table includes the image ID of the image to be compared and the latitude / longitude information, altitude information, and area information at which the image was taken.

このテーブルを前記緯度経度情報およびエリア情報で検索することによって、image00101〜image00103を含む画像群が撮影画像Ｄ１００との比較対象画像群Ｄ２００として抽出される。   By searching this table with the latitude / longitude information and the area information, an image group including image00101 to image00103 is extracted as a comparison target image group D200 with the captured image D100.

次に、移動通信端末１から送付されたクエリに、方位取得デバイス１２や加速度センサデバイス１３のセンシングデータが含まれている場合には、これらセンシングデータから導出される撮影画像Ｄ１００の視線方向ベクトルを利用して、比較対象画像をＤ２００からさらに絞り込む（Ｓ３）。また、Ｄ２００が全方位カメラなどで取得された画像の場合には、Ｄ２００画像群が、Ｄ１００の視線ベクトルに対応するよう、Ｄ２００の各画像を座標変換等によって補正処理を行う。   Next, when the query sent from the mobile communication terminal 1 includes sensing data of the azimuth acquisition device 12 and the acceleration sensor device 13, the line-of-sight direction vector of the captured image D100 derived from these sensing data is set. The comparison target image is further narrowed down from D200 by using (S3). When D200 is an image acquired by an omnidirectional camera or the like, each image of D200 is corrected by coordinate conversion or the like so that the D200 image group corresponds to the line-of-sight vector of D100.

次にサーバ２は、移動通信端末１より送付された画像Ｄ１００の特徴ベクトルを抽出する（Ｓ４）。画像の比較手法としては、各画素におけるＲＧＢ値や、画像を構成する色素成分の組成比などを特徴ベクトルと利用して、その差分の小ささを指標に類似度を計算する方法等が考えられる。ここでは例として、画像に含まれる文字列や看板のような特定の色素集合といったシンボルと、これらシンボル間の相対位置を特徴ベクトルとする場合を記述する。   Next, the server 2 extracts the feature vector of the image D100 sent from the mobile communication terminal 1 (S4). As a method for comparing images, a method of calculating a similarity using an RGB value at each pixel or a composition ratio of pigment components constituting an image as a feature vector and using a small difference as an index is considered. . Here, as an example, a case where a symbol such as a character string included in an image or a specific dye set such as a signboard and a relative position between these symbols are used as a feature vector will be described.

図５は、撮影画像データと比較対象画像データから抽出される特徴ベクトルの例を示す。例えば、画像Ｄ１００のシンボルＡ１から、特徴ベクトルとして渋谷１０Ｋｍ（５０、２５）が得られ、比較対象画像群Ｄ２００内の比較対象画像Ｄ２００のシンボルＢ１から、特徴ベクトルとして△百貨店（２１、９）が得られる。   FIG. 5 shows an example of feature vectors extracted from captured image data and comparison target image data. For example, Shibuya 10 km (50, 25) is obtained as a feature vector from the symbol A1 of the image D100, and Δ department store (21, 9) is obtained as a feature vector from the symbol B1 of the comparison target image D200 in the comparison target image group D200. can get.

また、図６は、本実施形態における画像位置管理ＤＢに格納される各画像の特徴ベクトルを管理するテーブルの例を示す。このテーブルには、画像ＩＤと画像データから抽出された特徴ベクトルが含まれている。   FIG. 6 shows an example of a table for managing the feature vector of each image stored in the image position management DB in this embodiment. This table includes an image ID and a feature vector extracted from the image data.

次に抽出された画像Ｄ１００の特徴ベクトルを用いて、Ｄ１００とＤ２００の各画像との比較を行う（Ｓ５）。この比較は、Ｄ２００の比較対象画像データがなくなるまで繰り返す。   Next, using the extracted feature vector of the image D100, comparison between each image of D100 and D200 is performed (S5). This comparison is repeated until there is no comparison target image data of D200.

画像位置管理ＤＢ２２に図６のように、蓄積された各画像の特徴ベクトルが管理されている場合、Ｄ１００から抽出された特徴ベクトルと、Ｄ２００に含まれる各画像データの特徴ベクトル群とを比較し、該当する特徴ベクトルが多いものほど類似度が高くなるように計算する。   When the stored feature vectors of each image are managed in the image position management DB 22 as shown in FIG. 6, the feature vector extracted from D100 is compared with the feature vector group of each image data included in D200. The calculation is performed so that the degree of similarity increases as the number of corresponding feature vectors increases.

例えばＤ１００、及びＤ２００のうちの１つの画像データＤ２０１が図５のようになっていた場合、Ｄ１００とＤ２０１のそれぞれの特徴ベクトルを比較した場合、シンボルＡ１とＢ２、Ａ２とＢ３、Ａ３とＢ４が同一シンボルとなり、同一シンボル数は３となる。シンボル類似度Ｐ＿１は、同一シンボル数ｎを関数ｆに代入することによって
P_1=f(n)
で計算される。例えばＤ１００とＤ２０１の場合、ｎ＝３となり、類似度Ｐ＿１はｆ（３）となる。 For example, when one of the image data D201 of D100 and D200 is as shown in FIG. 5, when the feature vectors of D100 and D201 are compared, the symbols A1 and B2, A2 and B3, and A3 and B4 are The number of the same symbols is 3. The symbol similarity P_1 is obtained by substituting the same symbol number n into the function f.
P_1 = f (n)
Calculated by For example, in the case of D100 and D201, n = 3, and the similarity P_1 is f (3).

さらに各シンボルの画像データ内における相対位置ベクトルを利用して、より詳細な類似度を導出することもできる。画像内における相対位置を見ると、Ｄ１００では相対位置ベクトルは、
V_(A1-A2)=(105,24)、 V_(A1-A3)=(30,51)
となり、Ｄ２０１では相対位置ベクトルは、
V_(B2-B3)=(103,22)、 V_(B2-B4)=(20,48)
となる。この時のシンボル相対位置類似度Ｐ＿２を、例えば対応ベクトル間の内積を関数ｇに代入することによって
P_2=g(V_(A1-A2)*V_(A1-A3), V_(B2-B3)*V_(B2-B4))
で計算される。なおここで、＊はベクトルの内積を表す。 Further, a more detailed similarity can be derived by using a relative position vector in the image data of each symbol. Looking at the relative position in the image, in D100, the relative position vector is
V_ (A1-A2) = (105,24), V_ (A1-A3) = (30,51)
In D201, the relative position vector is
V_ (B2-B3) = (103,22), V_ (B2-B4) = (20,48)
It becomes. By substituting the symbol relative position similarity P_2 at this time, for example, the inner product between corresponding vectors into the function g
P_2 = g (V_ (A1-A2) * V_ (A1-A3), V_ (B2-B3) * V_ (B2-B4))
Calculated by Here, * represents an inner product of vectors.

最後に、以上のプロセスで計算された類似度を基に、類似度の高い上位Ｎ件を現在位置の画像と推定する（Ｓ６）。   Finally, based on the similarity calculated in the above process, the top N cases with the highest similarity are estimated as images at the current position (S6).

サーバ２は、類似度の高い上位Ｎ件の画像データに対応する緯度経度座標や、エリア情報を位置推定結果として画像データと共に移動通信端末１へ送付する。   The server 2 sends latitude / longitude coordinates corresponding to the top N image data with high similarity and area information to the mobile communication terminal 1 together with the image data as position estimation results.

移動通信端末１は受信したＮ件の位置推定結果を、図７の例に示すように画像データと共にディスプレイに表示する。ユーザは表示された画像データ群から、自分の撮影した画像データと同じ場所のものを選択することで、現在位置を知ることが可能となる。   The mobile communication terminal 1 displays the received N position estimation results on the display together with the image data as shown in the example of FIG. The user can know the current position from the displayed image data group by selecting the same location as the captured image data.

また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。   Moreover, all the embodiments described above are illustrative of the present invention and are not intended to limit the present invention, and the present invention can be implemented in other various modifications and changes. Therefore, the scope of the present invention is defined only by the claims and their equivalents.

本実施形態における位置推定システム、および移動通信端末とサーバの機能構成図を示す。The position estimation system in this embodiment, the mobile communication terminal, and the function block diagram of a server are shown. 本実施形態におけるサーバが移動通信端末の位置を推定するフローチャートである。It is a flowchart in which the server in this embodiment estimates the position of a mobile communication terminal. 本実施形態における基地局位置管理ＤＢに格納されるテーブルの例を示す。The example of the table stored in base station position management DB in this embodiment is shown. 本実施形態における画像位置管理ＤＢに格納されるテーブルの例を示す。The example of the table stored in image position management DB in this embodiment is shown. 撮影画像データと比較対象画像データから抽出される特徴ベクトルの例を示す。The example of the feature vector extracted from picked-up image data and comparison object image data is shown. 本実施形態における画像位置管理ＤＢに格納される各画像の特徴ベクトルを管理するテーブルの例を示す。The example of the table which manages the feature vector of each image stored in image position management DB in this embodiment is shown. 移動通信端末が受信した位置推定結果を、移動通信端末が画像データと共にディスプレイに表示する例を示す。The example which a mobile communication terminal displays the position estimation result which the mobile communication terminal received on a display with image data is shown.

符号の説明Explanation of symbols

１ 移動通信端末
２ サーバ
３ 通信基地局
１０ 通信部
１１ カメラデバイス
１２ 方位取得デバイス
１３ 加速度センサデバイス
１４ センシングデータ合成部
１５ 入力デバイス
１６ 表示デバイス
２０ 通信部
２１ 位置推定部
２２ 画像位置管理ＤＢ
２３ 基地局位置管理ＤＢ
Ｄ１００ 撮影画像
Ｄ２００ 比較対象画像群
Ｓ０４０ 基地局識別情報 DESCRIPTION OF SYMBOLS 1 Mobile communication terminal 2 Server 3 Communication base station 10 Communication part 11 Camera device 12 Direction acquisition device 13 Acceleration sensor device 14 Sensing data synthetic | combination part 15 Input device 16 Display device 20 Communication part 21 Position estimation part 22 Image position management DB
23 Base station location management DB
D100 Photographed image D200 Comparison target image group S040 Base station identification information

Claims (9)

移動通信端末、サーバおよび通信網で構成される位置推定システムにおいて、
周辺をカメラデバイスで撮影する撮影手段と、
前記撮影手段により撮影された画像データを前記サーバに送信する送信手段と、
を有する移動通信端末と、
前記移動通信端末から前記画像データを受信する受信手段と、
前記受信した画像データの特徴量を抽出する抽出手段と、
位置情報と画像データを対応づけた画像位置管理データベースと、
前記抽出された特徴量と前記画像位置管理データベース内の各画像データの特徴量とを比較して類似度の高い画像データを１つ以上選択する選択手段と、
前記選択された画像データ群に対応した位置情報を前記移動通信端末の現在位置として推定し、前記移動通信端末に送信する送信手段と、
を有するサーバと、
を備えていることを特徴とする位置推定システム。 In a position estimation system composed of a mobile communication terminal, a server and a communication network,
Photographing means for photographing the periphery with a camera device;
Transmitting means for transmitting image data photographed by the photographing means to the server;
A mobile communication terminal having
Receiving means for receiving the image data from the mobile communication terminal;
Extracting means for extracting the feature amount of the received image data;
An image position management database that associates position information with image data;
A selection unit that compares the extracted feature amount with the feature amount of each image data in the image position management database and selects one or more image data having high similarity;
Transmitting means for estimating position information corresponding to the selected image data group as a current position of the mobile communication terminal, and transmitting to the mobile communication terminal;
A server having
A position estimation system comprising: 前記サーバの送信手段は、前記位置情報に加え、前記選択された画像データ群を前記位置情報と関連付けて、前記移動通信端末に送信する手段であり、
前記移動通信端末は、画像を表示可能なディスプレイと、前記送信された画像データ群を前記位置情報と関連付けて該ディスプレイに表示する手段とをさらに有することを特徴とする請求項１に記載の位置推定システム。 The transmission means of the server is means for transmitting the selected image data group to the mobile communication terminal in association with the position information in addition to the position information,
The position according to claim 1, wherein the mobile communication terminal further includes a display capable of displaying an image, and means for displaying the transmitted image data group in association with the position information on the display. Estimation system. 識別情報を前記移動通信端末に送付する通信基地局をさらに備え、
前記移動通信端末の送信手段は、前記撮影手段により撮影された画像データと前記識別情報を前記サーバに送信する手段であり、
前記サーバは、
通信基地局の識別情報と該通信基地局の通信可能エリアとを対応付けた基地局位置管理データベースと、
前記移動通信端末から送信された識別情報をもとに前記基地局位置管理データベースを検索し通信可能エリアを求める手段と、
前記画像位置管理データベースから前記通信可能エリア内の画像データを絞り込む絞り込み手段とをさらに有し、前記選択手段は、前記絞り込み手段により絞り込まれた画像データの中から類似度の高い画像データを１つ以上選択する手段であることを特徴とする請求項１または２に記載の位置推定システム。 A communication base station for sending identification information to the mobile communication terminal;
The transmission means of the mobile communication terminal is means for transmitting the image data photographed by the photographing means and the identification information to the server,
The server
A base station location management database that associates identification information of a communication base station with a communicable area of the communication base station;
Means for searching the base station location management database based on the identification information transmitted from the mobile communication terminal to obtain a communicable area;
The image position management database further includes a narrowing-down unit that narrows down image data in the communicable area, and the selection unit selects one image data having a high similarity from the image data narrowed down by the narrowing-down unit. The position estimation system according to claim 1, wherein the position estimation system is a means for selecting above. 前記移動通信端末は、方位取得デバイスおよび／または加速度センサデバイスをさらに有し、
前記移動通信端末の送信手段は、前記画像データ撮影時の前記方位取得デバイスおよび／または前記加速度センサデバイスによるセンシングデータも前記サーバに送信し、
前記絞り込み手段は、前記センシングデータから導出される視線ベクトルをもとに画像データをさらに絞り込む手段であることを特徴とする請求項３に記載の位置推定システム。 The mobile communication terminal further includes an orientation acquisition device and / or an acceleration sensor device,
The transmission means of the mobile communication terminal also transmits sensing data by the azimuth acquisition device and / or the acceleration sensor device at the time of capturing the image data to the server,
4. The position estimation system according to claim 3, wherein the narrowing down means is means for further narrowing down image data based on a line-of-sight vector derived from the sensing data. 前記画像データの類似度は、前記画像データに含まれるシンボルおよび該シンボル間の相対距離を特徴ベクトルとし、特徴ベクトル間の差分によって計算されることを特徴とする請求項１から４のいずれか１項に記載の位置推定システム。   5. The similarity of the image data is calculated by a difference between the feature vectors using a symbol included in the image data and a relative distance between the symbols as a feature vector. 6. The position estimation system according to item. 移動通信端末の現在位置を推定する位置推定サーバにおいて、
前記移動通信端末から画像データを受信する受信手段と、
前記受信した画像データの特徴量を抽出する抽出手段と、
位置情報と画像データを対応づけた画像位置管理データベースと、
前記抽出された特徴量と前記画像位置管理データベース内の各画像データの特徴量とを比較して類似度の高い画像データを１つ以上選択する選択手段と、
前記選択された画像データ群に対応した位置情報を前記移動通信端末の現在位置として推定し、前記移動通信端末に送信する送信手段と、
を備えていることを特徴とする位置推定サーバ。 In the position estimation server that estimates the current position of the mobile communication terminal,
Receiving means for receiving image data from the mobile communication terminal;
Extracting means for extracting the feature amount of the received image data;
An image position management database that associates position information with image data;
A selection unit that compares the extracted feature amount with the feature amount of each image data in the image position management database and selects one or more image data having high similarity;
Transmitting means for estimating position information corresponding to the selected image data group as a current position of the mobile communication terminal, and transmitting to the mobile communication terminal;
A position estimation server characterized by comprising: 前記位置推定サーバの送信手段は、前記位置情報に加え、前記選択された画像データ群を前記位置情報と関連付けて、前記移動通信端末に送信する手段であることを特徴とする請求項６に記載の位置推定サーバ。   The transmission means of the position estimation server is means for transmitting the selected image data group in association with the position information in addition to the position information to the mobile communication terminal. Location estimation server. 移動通信端末、サーバおよび通信網で構成される位置推定システムにおいて、
前記移動通信端末が
周辺をカメラデバイスで撮影する撮影ステップと、
前記撮影ステップにより撮影された画像データを前記サーバに送信する送信ステップと、
前記サーバは、位置情報と画像データを対応づけた画像位置管理データベースを有し、該サーバが、
前記移動通信端末から前記画像データを受信する受信ステップと、
前記受信した画像データの特徴量を抽出する抽出ステップと、
前記抽出された特徴量と前記画像位置管理データベース内の各画像データの特徴量とを比較して類似度の高い画像データを１つ以上選択する選択ステップと、
前記選択された画像データ群に対応した位置情報を前記移動通信端末の現在位置として推定し、前記移動通信端末に送信する送信ステップと、
を含むことを特徴とする位置推定方法。 In a position estimation system composed of a mobile communication terminal, a server and a communication network,
A photographing step in which the mobile communication terminal photographs the surroundings with a camera device;
A transmission step of transmitting the image data captured by the imaging step to the server;
The server has an image position management database in which position information and image data are associated with each other.
Receiving the image data from the mobile communication terminal;
An extraction step of extracting a feature amount of the received image data;
A selection step of comparing the extracted feature amount with the feature amount of each image data in the image position management database to select one or more image data having a high degree of similarity;
A transmission step of estimating position information corresponding to the selected image data group as a current position of the mobile communication terminal, and transmitting to the mobile communication terminal;
The position estimation method characterized by including. 前記サーバの送信ステップは、前記位置情報に加え、前記選択された画像データ群を前記位置情報と関連付けて、前記移動通信端末に送信するステップであり、
前記移動通信端末は、画像を表示可能なディスプレイを有し、前記送信された画像データ群を前記位置情報と関連付けて該ディスプレイに表示するステップをさらに有することを特徴とする請求項８に記載の位置推定方法。 The transmission step of the server is a step of transmitting the selected image data group in association with the position information in addition to the position information to the mobile communication terminal,
The mobile communication terminal includes a display capable of displaying an image, and further includes a step of displaying the transmitted image data group on the display in association with the position information. Position estimation method.
JP2008260377A 2008-10-07 2008-10-07 Position estimation system, position estimation server, and position estimation method Expired - Fee Related JP5274192B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008260377A JP5274192B2 (en) 2008-10-07 2008-10-07 Position estimation system, position estimation server, and position estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008260377A JP5274192B2 (en) 2008-10-07 2008-10-07 Position estimation system, position estimation server, and position estimation method

Publications (2)

Publication Number Publication Date
JP2010091356A true JP2010091356A (en) 2010-04-22
JP5274192B2 JP5274192B2 (en) 2013-08-28

Family

ID=42254224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008260377A Expired - Fee Related JP5274192B2 (en) 2008-10-07 2008-10-07 Position estimation system, position estimation server, and position estimation method

Country Status (1)

Country Link
JP (1) JP5274192B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208873A (en) * 2011-03-30 2012-10-25 Fujifilm Corp Schedule execution supporting device, system, method, and program
JP2016524128A (en) * 2013-04-22 2016-08-12 アルカテル−ルーセント Locating system and locating method
JP2017524285A (en) * 2014-06-04 2017-08-24 クアルコム，インコーポレイテッド Generating location profiles for Internet of Things devices based on extended location information associated with one or more nearby Internet of Things devices
JP2018180906A (en) * 2017-04-12 2018-11-15 富士通株式会社 Congestion prediction program, congestion prediction apparatus, and congestion prediction method
WO2019106847A1 (en) * 2017-12-01 2019-06-06 マクセル株式会社 Position information system using camera-captured image and camera-mounted information device used therein
JP2020177574A (en) * 2019-04-22 2020-10-29 日鉄ソリューションズ株式会社 Information processing system, information processing device, information processing method, program, and recording medium
JP2020177572A (en) * 2019-04-22 2020-10-29 日鉄ソリューションズ株式会社 Information processing system, information processing device, information processing method, program, and recording medium
CN114485606A (en) * 2020-10-23 2022-05-13 丰田自动车株式会社 Position grasping system, position grasping method, and recording medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348297A (en) * 1999-06-08 2000-12-15 Seiko Epson Corp Mobile terminal device, service center and positional information detection and display system
JP2001283386A (en) * 2000-03-30 2001-10-12 Toshiba Corp Vehicle abnormality detection system and its on-vehicle device
JP2003330941A (en) * 2002-05-08 2003-11-21 Olympus Optical Co Ltd Similar image sorting apparatus
JP2004077273A (en) * 2002-08-19 2004-03-11 Sony Corp Positional movement supporting method and system
JP2004219332A (en) * 2003-01-16 2004-08-05 National Institute Of Advanced Industrial & Technology Location information processor
JP2004333233A (en) * 2003-05-02 2004-11-25 Alpine Electronics Inc Navigation apparatus
JP2005173748A (en) * 2003-12-09 2005-06-30 Zenrin Co Ltd Specifying of imaging position of scene image using electronic map data
JP2005241386A (en) * 2004-02-25 2005-09-08 Hokkaido Business Automation Kk Navigation system for walker and navigation program for walker

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348297A (en) * 1999-06-08 2000-12-15 Seiko Epson Corp Mobile terminal device, service center and positional information detection and display system
JP2001283386A (en) * 2000-03-30 2001-10-12 Toshiba Corp Vehicle abnormality detection system and its on-vehicle device
JP2003330941A (en) * 2002-05-08 2003-11-21 Olympus Optical Co Ltd Similar image sorting apparatus
JP2004077273A (en) * 2002-08-19 2004-03-11 Sony Corp Positional movement supporting method and system
JP2004219332A (en) * 2003-01-16 2004-08-05 National Institute Of Advanced Industrial & Technology Location information processor
JP2004333233A (en) * 2003-05-02 2004-11-25 Alpine Electronics Inc Navigation apparatus
JP2005173748A (en) * 2003-12-09 2005-06-30 Zenrin Co Ltd Specifying of imaging position of scene image using electronic map data
JP2005241386A (en) * 2004-02-25 2005-09-08 Hokkaido Business Automation Kk Navigation system for walker and navigation program for walker

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012208873A (en) * 2011-03-30 2012-10-25 Fujifilm Corp Schedule execution supporting device, system, method, and program
JP2016524128A (en) * 2013-04-22 2016-08-12 アルカテル−ルーセント Locating system and locating method
JP2017524285A (en) * 2014-06-04 2017-08-24 クアルコム，インコーポレイテッド Generating location profiles for Internet of Things devices based on extended location information associated with one or more nearby Internet of Things devices
JP2018180906A (en) * 2017-04-12 2018-11-15 富士通株式会社 Congestion prediction program, congestion prediction apparatus, and congestion prediction method
WO2019106847A1 (en) * 2017-12-01 2019-06-06 マクセル株式会社 Position information system using camera-captured image and camera-mounted information device used therein
JPWO2019106847A1 (en) * 2017-12-01 2020-12-17 マクセル株式会社 A position information system that uses images taken by a camera, and an information device with a camera that uses it.
JP7001711B2 (en) 2017-12-01 2022-01-20 マクセル株式会社 A position information system that uses images taken by a camera, and an information device with a camera that uses it.
JP2020177574A (en) * 2019-04-22 2020-10-29 日鉄ソリューションズ株式会社 Information processing system, information processing device, information processing method, program, and recording medium
JP2020177572A (en) * 2019-04-22 2020-10-29 日鉄ソリューションズ株式会社 Information processing system, information processing device, information processing method, program, and recording medium
CN114485606A (en) * 2020-10-23 2022-05-13 丰田自动车株式会社 Position grasping system, position grasping method, and recording medium
JP7424269B2 (en) 2020-10-23 2024-01-30 トヨタ自動車株式会社 Positioning system, positioning method and positioning program

Also Published As

Publication number Publication date
JP5274192B2 (en) 2013-08-28

Similar Documents

Publication Publication Date Title
JP5274192B2 (en) Position estimation system, position estimation server, and position estimation method
CN104936283B (en) Indoor orientation method, server and system
KR101570195B1 (en) Logo detection for indoor positioning
US9906921B2 (en) Updating points of interest for positioning
EP2844009B1 (en) Method and system for determining location and position of image matching-based smartphone
US9304970B2 (en) Extended fingerprint generation
US9641814B2 (en) Crowd sourced vision and sensor-surveyed mapping
JP5591796B2 (en) File creation method and system
KR101286169B1 (en) System and method for mersuring location in wireless communication terminal, method for collecting fingerprint information in wireless communication terminal, fingerprint server and method for providing location using the same
US20160198431A1 (en) Systems and methods for using three-dimensional location information to improve location services
JP5607759B2 (en) Image identification using trajectory-based location determination
US9584980B2 (en) Methods and apparatus for position estimation
US20120270573A1 (en) Positioning system and method for single and multilevel structures
US20110170787A1 (en) Using a display to select a target object for communication
CN109076486A (en) The instruction of access point mobility
KR101413011B1 (en) Augmented Reality System based on Location Coordinates and Augmented Reality Image Providing Method thereof
KR20140130499A (en) Visual ocr for positioning
CN107193820B (en) Position information acquisition method, device and equipment
CN107003385B (en) Tagging visual data with wireless signal information
JP2014075714A (en) Positioning method, positioning system, and program thereof
EP2569958B1 (en) Method, computer program and apparatus for determining an object in sight
KR20060061104A (en) System and method for revising location information
JP2005134242A (en) Navigation system, navigation apparatus, navigation method, and navigation program

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100823

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130514

R150 Certificate of patent or registration of utility model

Ref document number: 5274192

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees