JP4464780B2 - Guidance information display device - Google Patents
Guidance information display device Download PDFInfo
- Publication number
- JP4464780B2 JP4464780B2 JP2004282531A JP2004282531A JP4464780B2 JP 4464780 B2 JP4464780 B2 JP 4464780B2 JP 2004282531 A JP2004282531 A JP 2004282531A JP 2004282531 A JP2004282531 A JP 2004282531A JP 4464780 B2 JP4464780 B2 JP 4464780B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- sign
- server
- mobile terminal
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、カメラ付き携帯電話やカメラ付きPDA(Personal Digital Assistant)などの携帯端末のための案内情報表示方法に係り、特に、携帯端末の所持者が撮影した現在位置の風景の画像上に、行き先方向の矢印を重ねて表示するようにした案内情報の表示方法に関する。 The present invention relates to a guide information display method for a mobile terminal such as a camera-equipped mobile phone or a camera-equipped PDA (Personal Digital Assistant), and in particular, on an image of a landscape at the current position photographed by the owner of the mobile terminal. The present invention relates to a guide information display method in which destination direction arrows are superimposed and displayed.
車載用のナビゲーション装置においては、出発地から目的地までの経路を矢印を付して地図上に表示する機能を持っており、また、GPS(Gloval Positioning Sestem)衛星を利用した測位機能により、現在位置を認識するようになっている(例えば、特許文献1参照)。 The in-vehicle navigation system has the function to display the route from the departure point to the destination on the map with an arrow, and the positioning function using the GPS (Global Positioning Sestem) satellite The position is recognized (for example, refer to Patent Document 1).
また、携帯電話やPDAなどの携帯端末において、人工衛星または擬似衛星または無線基地局のいずれかを用いて現在位置を測位し、地図や略図上に、現在位置と目的地への方向を示す矢印とを表示するようにした技術も知られている
地図上に目的地への案内情報を表示するようにした従来技術では、地図情報を、車載用のナビゲーション装置にあらかじめ保持させておくか、記憶容量に制限を受ける携帯電話やPDAなどの携帯端末では、地図情報をダウンロードするようにしている。ところが、地図情報は、常に最新の情報に更新しなければ、店舗などの入れ替えが激しい地域では現状にそぐわないものとなる。また、地図での行き先表示では、地図と実際の風景との相関関係を理解する必要があるため、地図上の進行方向に対して実際に自分が進むべき進行方向がどの方向であるのかを、視認性よく直感的に掴みづらいという問題がある。 In the prior art that displays the guidance information to the destination on the map, the map information is stored in advance in an in-vehicle navigation device, or a portable terminal such as a mobile phone or a PDA that is limited in storage capacity Then, the map information is downloaded. However, unless the map information is always updated to the latest information, it is not suitable for the current situation in a region where stores are frequently replaced. In addition, in the destination display on the map, it is necessary to understand the correlation between the map and the actual landscape, so it is possible to determine which direction the direction of travel should actually proceed with respect to the direction of travel on the map. There is a problem that it is difficult to grasp intuitively with good visibility.
また、携帯電話などのように小型・軽量化が要求される機器に、自位置を測位する測位機能を搭載するのは実用的ではなく、例えばGPSによる測位機能を搭載するとGPSアンテナやそのための受信機などが必要となり、小型・軽量化を阻害する上、コストアップに繋がるという問題がある。また、GPSは屋内では使用できない。 In addition, it is impractical to install a positioning function that measures the position of a device such as a mobile phone that requires miniaturization and weight reduction. For example, if a GPS positioning function is installed, a GPS antenna and reception for that purpose There is a problem that a machine or the like is required, which hinders downsizing and weight reduction and leads to an increase in cost. Also, GPS cannot be used indoors.
本発明は上記の点に鑑みなされたもので、その目的とするところは、携帯端末の所持者が、携帯端末の表示部上の表示で、目的先に対して自身が進むべき進行方向がどの方向であるのかを、視認性よく簡単・容易に把握できるようにすることにある。また、本発明の目的とするところは、携帯端末が測位機能を持たなくても、かつ、地図情報をあらかじめ保持したりダウンロードしたりしなくても、携帯端末の所持者に対して、地図を用いない非常にわかりやすい形態の、行き先方向の案内表示ができるようにすることにある。 The present invention has been made in view of the above points. The purpose of the present invention is to determine the direction in which the portable terminal holder should proceed with respect to the destination in the display on the display unit of the portable terminal. The purpose is to make it easy and easy to grasp the direction. In addition, an object of the present invention is to provide a map to the owner of the mobile terminal even if the mobile terminal does not have a positioning function and does not hold or download the map information in advance. It is intended to be able to display a guidance in a destination direction in a very easy-to-understand form that is not used.
上記した目的を達成するため、本願による代表的な1つ発明では、携帯端末と、該携帯端末とネットワークを介して通信可能な案内情報提供用のサーバーと、各所に配置され、その撮影画像を画像解析することによりその所在位置が特定可能な情報が印されたサインマーカーとを用いるシステムにおける案内情報表示方法において、
前記携帯端末は、カメラ部と、ネットワークを介して外部と情報の送受信が可能な送受信部と、各種データを格納する記憶部と、表示部と、操作入力を行う入力部と、携帯端末全体の制御を司る制御部とを有し、
前記サーバーは、ネットワークを介して外部と情報の送受信が可能な送受信部と、地図情報を格納した地図情報データベースと、前記携帯端末から受け取ったまたは専用の入力端末から受け取った携帯端末の識別情報と目的先情報とを対応付けて格納する格納テーブルと、前記携帯端末から受け取った前記サインマーカーを含む撮影画像を解析して、撮影された前記サインマーカーの所在位置とサインマーカーを撮影した撮影方向とを特定する位置・撮影方向認識部と、前記受け取った目的先情報と前記特定した前記サインマーカーの所在位置の情報とに基づき、前記地図情報データベースの内容を参照して目的先への経路を検索する経路検索部と、前記特定した撮影方向に基づき、前記携帯端末から受け取った前記撮影画像に、当該撮影画像での前記サインマーカーの画像に重ねて、前記サインマーカーの位置からまず進むべき前記目的先への行き先方向を示す矢印を合成するとともに、次に撮影する必要があるサインマーカーの位置を示すガイダンスメッセージを合成する合成画像生成部とを有し、
前記携帯端末の所持者が前記携帯端末または前記専用の入力端末を用いて前記サーバーにアクセスして、所持する前記携帯端末の識別情報と目的先情報とを送信することにより、前記サーバーが前記格納テーブルに前記携帯端末の識別情報と目的先情報とを格納するステップと、
前記携帯端末の所持者が前記サインマーカーを含む画像を前記カメラ部で撮影して、撮影した画像を前記サーバーに送信することにより、前記サーバーが、前記位置・撮影方向認識部によって撮影された前記サインマーカーの所在位置とサインマーカーを撮影した撮影方向とを特定した後、前記経路検索部によって目的先への経路を検索し、前記合成画像生成部によって前記携帯端末から受け取った撮影画像に、前記サインマーカーからまず進むべき目的先への前記行き先方向を示す矢印と前記ガイダンスメッセージとを合成した合成画像を生成して、生成した合成画像を前記携帯端末に送信するステップと、
前記携帯端末が、前記サーバーから受け取った合成画像を前記表示部上に表示するステップと
を備えることにより、前記携帯端末で撮影した撮影画像の前記サインマーカー上に前記サインマーカーからまず進むべき目的先への行き先方向を示す矢印と前記ガイダンスメッセージとを合成した合成画像を、前記携帯端末の前記表示部に表示させて、前記サインマーカーからまず進むべき前記目的先への行先方向と次に撮影する必要があるサインマーカーの位置の案内を行うようにされる。
In order to achieve the above-described object, in a representative invention according to the present application, a portable terminal, a server for providing guidance information that can communicate with the portable terminal via a network, and various places, the captured images are arranged. In a guidance information display method in a system using a sign marker with information that can identify the location by analyzing the image,
The mobile terminal includes a camera unit, a transmission / reception unit capable of transmitting / receiving information to / from the outside via a network, a storage unit for storing various data, a display unit, an input unit for performing operation input, and an entire mobile terminal have a control unit that controls,
The server includes a transmission / reception unit capable of transmitting / receiving information to / from the outside via a network, a map information database storing map information, and identification information of a mobile terminal received from the mobile terminal or from a dedicated input terminal A storage table that stores destination information in association with each other, a captured image that includes the sign marker received from the mobile terminal, and a location of the photographed sign marker and a photographing direction in which the sign marker is photographed Based on the received destination information and information on the location of the specified sign marker, the route to the destination is searched with reference to the contents of the map information database. a route search section for, based on said specified photographing direction, the photographing image received from the mobile terminal, the captured image Superimposed on the image of the sign marker in, as well as synthetic arrows indicating the connection direction of the first flow proceeds to the object away from the position of the sign markers, then the guidance message indicating a position of signature markers that must be taken possess a composite image generating unit for synthesizing,
Said holder of the portable terminal accesses the server using the portable terminal or the input terminal of said exclusive, by transmitting said identification information and a destination information of a mobile terminal possessed, stores the server the Storing identification information and destination information of the mobile terminal in a table;
The user of the portable terminal takes an image including the sign marker with the camera unit, and transmits the taken image to the server, whereby the server is taken by the position / photographing direction recognition unit. after identifying the photographing direction obtained by photographing the location and sign marker sign markers, searches the route to a destination by the route search unit, the captured image received from the mobile terminal by the composite image generating unit, wherein Generating a composite image obtained by combining the guidance message and the arrow indicating the destination direction from the sign marker to the destination to be advanced first, and transmitting the generated composite image to the mobile terminal;
The portable terminal displaying the composite image received from the server on the display unit;
By obtaining Bei, said a composite image of said guidance message and arrow said indicating the destination direction from the sign markers on sign marker first to a destination should proceed photographed image photographed by a portable terminal, the portable The information is displayed on the display unit of the terminal to guide the destination direction to the destination to be first traveled from the sign marker and the position of the sign marker that needs to be photographed next .
本発明によれば、目的先に対して自身が進むべき進行方向がどの方向であるのかを、携帯端末の表示部上での表示で、視認性よく簡単・容易に把握できる。また、携帯端末が測位機能を持たなくても、かつ、地図情報をあらかじめ保持したりダウンロードしたりしなくても、携帯端末の所持者に対して、地図を用いない非常にわかりやすい形態の、行き先方向の案内表示を提示できる。 According to the present invention, it is possible to easily and easily comprehend with good visibility, which direction the traveling direction that the user should travel with respect to the destination is the display on the display unit of the mobile terminal. Also, even if the mobile device does not have a positioning function, and the map information is not stored or downloaded in advance, the destination of the mobile device owner in a very easy-to-understand form that does not use a map A direction indication can be presented.
以下、本発明の実施の形態を、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、本発明の一実施形態(以下、本実施形態と記す)に係る案内情報表示方法を実現するためのシステムの概要を示す図である。図1において、1は、カメラ付き携帯電話やカメラ付きPDAなどの携帯端末(カメラ付き携帯型端末)、2は、携帯端末1とネットワーク(公衆網(電話網、インターネット)、無線LANなど)5を介して通信可能な案内情報提供用のサーバー、3は、駅や繁華街などに固定的に設置され、利用者(ここでは、携帯端末1の所持者)が入力操作を行うための専用の入力端末(据え置き型入力端末)で、サーバー2と専用ネットワーク6や公衆網などを介して通信を行う。また、4は、施設内や地下街や繁華街などの要所、要所に配置されたサインマーカ(画像認識用サインマーカー)であり、望ましくは、人の目に目立つように独自のカラーリング、マーキングを施されて、大人の身長よりも高い位置に配置され、サインマーカー4とともに周辺の風景(実空間)が撮影されるように配慮して設けられる。なお、サーバー2がカバーするサービス範囲は、任意の大きさの領域、任意の数の領域とすることが可能であるが、以下では説明の便宜上、サーバー2がカバーするサービス範囲は、ある特定の施設内であるとする。
FIG. 1 is a diagram showing an overview of a system for realizing a guidance information display method according to an embodiment of the present invention (hereinafter referred to as the present embodiment). In FIG. 1, 1 is a mobile terminal (camera mobile terminal) such as a camera-equipped mobile phone or camera-equipped PDA, and 2 is a
図2は、図1のシステムにおける各構成要素1〜4の機能構成を示すブロック図である。図2の携帯端末1中において、101は携帯端末1全体の統括制御を司る制御部、102は映像と音声を双方向でやり取りするテレビ電話機能部(テレビ電話送受信機能部)、103はEメールを送信し受信するEメール機能部(Eメール送受信機能部)、104は携帯電話1の所持者が撮影を行うカメラ部(カメラ機能部)、105は撮影画像や各種ガイダンス画像などを表示する表示部(薄型画像表示パネル)、106は携帯電話1の所持者が送受信操作や撮影操作や文字入力等々の各種の操作を行うための入力操作部、107は携帯電話1の電話番号やEメールアドレスを記憶した非接触式のRFID(Radio Frequency Identification)タグ、108はWEBに則った通信プロトコルによりインターネットを介してサーバー2などに接続するためのWEB接続機能部、109は各種のデータを記憶し、またワークエリアとして使用される記憶部である。
FIG. 2 is a block diagram illustrating a functional configuration of each of the
また、図2のサーバー2中において、201はサーバー2全体の統括制御を司る制御部、202は、会員カードをもつ会員のIDとその会員の所有する携帯端末1の識別情報(電話番号、Eメールアドレス)とを対応付けたデータを記憶した会員ID/携帯端末識別情報対応データベース、203は、携帯端末1の識別情報と、当該携帯端末1から受け取った目的先情報または入力端末3から受け取った目的先情報とを対応付けたデータを、所定の期間保持する携帯端末識別情報/目的先情報対応テーブル、204は、サインマーカー4に印された個々のサインマーカー4に固有のマーカーIDと、そのサインマーカー4の所在位置を示す位置情報およびサインマーカー4の表示面の向く方向(方位)の情報とを対応付けたデータを格納したサインマーカー情報データベースである。
In the
また、図2のサーバー2中において、205は、携帯端末1から受け取ったサインマーカー4を含む撮影画像から、撮影されたサインマーカー4の画像部分を抽出し、抽出した画像部分を画像処理により解析して、撮影されたサインマーカー4の所在位置とサインマーカー4を撮影した撮影方向とを特定する位置・撮影方向認識部(画像解析判定処理部)である。この位置・撮影方向認識部205は、撮影されたサインマーカー4にマーカーIDが印されている場合には、まず、マーカーID部分を認識して、マーカーIDを判読・特定する。そして、位置・撮影方向認識部205は、判読・特定したマーカーIDに基づき、サインマーカー情報データベース204の内容を参照して、当該サインマーカー4の所在位置と、サインマーカー4の表示面の向く方位と反対方向であるサインマーカー4を撮影した撮影方向とを、特定する。
Further, in the
あるいは、位置・撮影方向認識部205は、撮影されたサインマーカー4にマーカーIDが印されている場合には、特定したマーカーIDに基づき、サインマーカー情報データベース204の内容を参照して、当該サインマーカー4の所在位置を特定するとともに、受け取ったサインマーカー4を含む撮影画像から3次元認識処理によって、サインマーカー4を撮影した撮影方向を特定する(例えば、矩形のサインマーカ4の左辺が右辺より所定量だけ大きい場合には、サインマーカ4を左手前の所定角度から撮影したなどと、判定処理をする。なお、このような3次元認識処理プログラムは公知であり、インターネットを通じて簡単に入手可能である)。
Alternatively, when the marker ID is marked on the photographed
あるいはまた、位置・撮影方向認識部205は、撮影されたサインマーカー4にマーカーIDが印されておらず、撮影されたサインマーカー4自体に、その所在位置を表す情報とその表示面の向く方向(方位)を表す情報とが印されている場合には、撮影されたサインマーカー4の画像部分を画像処理により解析して、サインマーカー4に印された所在位置の情報と表示面の向く方向の情報を取得し、当該サインマーカー4の所在位置と、サインマーカー4の表示面の向く方位と反対方向であるサインマーカーを撮影した撮影方向とを、特定する。または、位置・撮影方向認識部205は、撮影されたサインマーカー4にマーカーIDが印されておらず、撮影されたサインマーカー4自体に、その所在位置を表す情報のみが印されている場合には、撮影されたサインマーカー4の画像部分を画像処理により解析して、サインマーカー4に印された所在位置の情報を取得するとともに、受け取ったサインマーカー4を含む撮影画像から3次元認識処理によって、サインマーカー4を撮影した撮影方向を特定する。
Alternatively, the position / photographing direction recognition unit 205 does not mark the photographed
なお、色抽出処理や輪郭抽出処理や交点抽出処理等々による情報の識別処理は公知であり、それを実現するためのプログラムも多数実現されている。 Note that information identification processing such as color extraction processing, contour extraction processing, intersection extraction processing, and the like is known, and a number of programs for realizing it are also implemented.
さらに、図2のサーバー2中において、206は最新の地図情報を格納した地図情報データベース、207は行き先情報と現在位置情報に基づき行き先までの経路を検索する経路検索部である。この経路検索部207は、サインマーカー4を含む撮影画像を送信してきた携帯端末1の識別情報に基づいて、携帯端末識別情報/目的先情報対応テーブル203を参照して得られる当該携帯端末1の所持者の望む行き先情報と、当該携帯端末1から受け取ったサインマーカー4を含む撮影画像から位置・撮影方向認識部205で特定したサインマーカー4の所在位置(当該携帯端末1の所持者の現在位置)と、地図情報データベース206の内容とに基づき、所定の検索アルゴリズムによって、当該携帯端末1の所持者の現在位置から行き先までの、最短経路ないしは分かり易い経路を検索する。
Furthermore, in the
さらに、図2のサーバー2中において、208は、携帯端末1から受け取った撮影画像に行き先への進行方向を示すために付加する矢印画像を生成する3D矢印表示生成部、209は、携帯端末1から受け取った撮影画像に付加するコメントやアドバイスの文字画像を生成するコメント・アドバイス生成部、210は、携帯端末1から受け取った撮影画像に、3D矢印表示生成部208で生成した矢印画像や、コメント・アドバイス生成部209で生成した文字画像を合成した合成画像を生成する合成画像生成部である。なお、3D矢印表示生成部208は、位置・撮影方向認識部205で特定したサインマーカー4の撮影方向と、経路検索部207で検索した検索結果情報とに基づき、携帯端末1から受け取った撮影画像に付加するための3次元表現の矢印画像を生成する。また、コメント・アドバイス生成部209は、経路検索部207で検索した検索結果情報(経路情報)に基づき、例えば、「次のコーナーで右折し、右折後にサインマーカー4を撮影して下さい。」などといった、携帯端末1の所持者にとって有意なガイダンスメッセージを生成する。
Further, in the
さらに、図2のサーバー2中において、211は映像と音声を双方向でやり取りするテレビ電話機能部(テレビ電話送受信機能部)、212はEメールを送信し受信するEメール機能部(Eメール送受信機能部)、213はインターネットを通じて携帯端末1がアクセス可能なWEB接続機能部、214は各種のデータを記憶し、またワークエリアとして使用される記憶部である。
Further, in the
また、図2中の入力端末3において、301は入力端末3全体の統括制御を司る制御部、302は各種ガイダンス画像などを表示する大画面の表示部(薄型画像表示パネル)、303は表示部301上に一体に設けられた操作入力部としてのタッチパネル(例えば赤外線タッチパネル)、304は、表示部302の裏面側に設置され、携帯端末1に内蔵されたRFIDタグ107や会員のもつ会員カードに内蔵されたRFIDタグ107に記録された内容を非接触で読み取るRFIDリーダ、305はサーバー2との接続機能部(例えば、WEB接続機能部)、306は各種のデータを記憶し、またワークエリアとして使用される記憶部である。
Also, in the input terminal 3 in FIG. 2, 301 is a control unit that performs overall control of the
また、図2中のサインマーカー4において、401は個々のサインマーカーに固有のマーカーIDを表したマーカーID表現部である。なお、サインマーカー4には、マーカーID(マーカーID表現部401)を印さず、その代わりに、サインマーカー4の所在位置を表す情報と、その表示面の向く方向(方位)を表す情報とを、直接表現するようにしても差し支えない。また、サインマーカー4には、サーバー2の位置・撮影方向認識部(画像解析判定処理部)205が前記した3次元認識処理により、サインマーカー4を撮影した撮影方向を特定するための3次元認識処理対象の認識部(矩形表現部など)を設けてもよい。なおまた、サインマーカー4には、マーカーID、所在位置を表す情報、その表示面の向く方向(方位)を表す情報、3次元認識処理対象の認識部を全て設けても、これらから適宜に選択されたものを組み合わせて設けてもよい。
Further, in the
サインマーカー4は、先にも述べたように、施設内や地下街や繁華街などの要所、要所に配置され、例えば、店舗、建家などの通路に面した壁面に貼付されたり、店舗、建家などから通路に対して直角に突出した看板、案内板などの表裏に貼付されたりする。サインマーカー4の配置数や、配置位置の近接の如何は任意であるが、いずれにせよ、各サインマーカー4にはそれぞれ異なった情報が印される。つまり、同じ案内板の表裏に設けられた2つのサインマーカーであっても、例えば、マーカーIDや、表示面の向く方向(方位)を表す情報は異なったものとなる。
As described above, the
図1、図2に示すシステム構成において実現される、本実施形態の案内情報表示方法の概要について説明する。まず、携帯端末1の所持者が、専用の入力端末3または携帯端末1を用いてサーバー2にアクセスして、所持する携帯端末1の識別情報(電話番号、Eメールアドレス)と目的先の情報とを送信することにより、サーバー2が携帯端末識別情報/目的先情報対応テーブル203に、携帯端末1の識別情報と目的先情報とを格納する。次に、携帯端末1の所持者がサインマーカー4を含む画像をカメラ部104で撮影して、撮影した画像をサーバー1に送信すると、サーバー2の位置・撮影方向認識部205が、撮影されたサインマーカー4の所在位置とサインマーカー4を撮影した撮影方向とを特定した後、サーバー2の経路検索部207が当該サインマーカーの位置から目的先までへの経路を検索する。そして、サーバー2の3D矢印表示生成部208が、携帯端末1から受け取った撮影画像に付加するための3次元表現の矢印画像を生成し、サーバー2のコメント・アドバイス生成部209が携帯端末1から受け取った撮影画像に付加するためのガイダンスメッセージの文字画像を生成し、サーバー2の合成画像生成部210が、携帯端末から受け取った撮影画像に、行き先方向を示す矢印とガイダンスメッセージとを合成した合成画像を生成する。生成された合成画像はサーバー2から携帯端末1に送信され、携帯端末1は受け取った合成画像を表示部105上に表示し、これにより、携帯端末1の所持者は、その場の実空間を撮影した画像中の矢印表示により、行き先への進行方向を把握する。以上が、本実施形態の案内情報表示方法の概要である。なお、携帯端末1とサーバー2との間の画像データのやり取りは、TV電話機能を用いて行っても、あるいはEメールの貼付ファイルとしておこなってもよい。
An overview of the guidance information display method of the present embodiment that is realized in the system configuration shown in FIGS. 1 and 2 will be described. First, the owner of the
次に、専用の入力端末3を用いて行き先をサーバー2に設定する(記憶させる)手順について説明する。図3は入力端末3を示す図で、同図に示し前記したように、入力端末3は、最表層から順にタッチパネル303、薄型画像表示パネルよりなる表示部302、非接触で読み取りを行うRFIDリーダ304が積層された構造をとっている。したがって、RFIDタグ107を内蔵した携帯端末1、あるいはRFIDタグを内蔵したカードで、表示部302上に表示された所望項目をタッチするだけで、入力端末3は、携帯端末1の所持者あるいはカードの所持者の選択した項目を認知するとともに、携帯端末1のRFIDタグ106に記憶された携帯端末1の識別情報(電話番号、Eメールアドレス)、あるいは、カードのRFIDタグに記憶された会員ID(カードID)を認知するようになっている。
Next, a procedure for setting (storing) the destination in the
図4は、入力端末3を用いて、携帯端末1の所持者がサーバー2に所望する行き先を設定する(記憶させる)様子を示す図である。図4の(a)は、入力端末3の初期メニュー画像の表示状態を示しており、この状態で、携帯端末1の所持者が「ナビサービス」の項目を指などでタッチすると、入力端末3は、図4の(b)に示すようなナビサービスガイダンス画像の表示状態に遷移する。このナビサービスガイダンス画像では、例えば、上位概念の店の種別や商品種別などの項目と、「お探しのお店を会員カードもしくは、登録された携帯電話でタッチしてください。」などの操作ガイダンスが表示される。
FIG. 4 is a diagram illustrating a state in which the owner of the
携帯端末1の所持者は、図4の(b)のナビサービスガイダンス画像により、行き先候補を選択し(行きたい店の種別、探している商品などを選択し)、図4の(c)に示すように、会員カード7でナビサービスガイダンス画像中の所望する項目をタッチするか、もしくは、図4の(d)に示すように、携帯端末1(ここでは携帯電話として示したあるがPDAなどであってもよい)でナビサービスガイダンス画像中の所望する項目をタッチする。これにより、入力端末3は、会員カード7の会員ID(カードID)もしくは携帯端末1の識別情報(電話番号、Eメールアドレス)を取得すると同時に、タッチされた項目を認知する。図4の(c)、(d)でタッチして選択された項目が上位項目で、さらに下位項目がある場合には、入力端末3は、図4の(e)に示すような次位のナビサービスガイダンス画像の表示状態に遷移する。携帯端末1の所持者は、さらに、図4の(e)のナビサービスガイダンス画像により所望する行き先の項目を選択し、その項目にタッチする(この場合のタッチは、指であっても、会員カード7であっても、携帯端末1であってもよい)。そして、最下位のナビサービスガイダンス画像においてタッチされた項目を、入力端末3は、携帯端末1の所持者の行きたい行き先であると認知する。この認知の後は、入力端末3は、図4の(f)に示すような、ナビサービス案内のためのユーザー操作が終了したことを示す表示画像に遷移した後、所定秒時後に、図4の(a)に示すの初期メニュー画像の表示状態に戻る。
The owner of the
そして、携帯端末1の所持者による上記したユーザー操作によって、会員カード7の会員IDまたは携帯端末1の識別情報、と行き先の情報とを認知すると、入力端末3は、会員カード7の会員IDまたは携帯端末1の識別情報と行き先の情報とを対応付けて、サーバー2に対して送信する(この際の通信手段や経路は任意である)。これを受けて、サーバー2は、携帯端末1の識別情報と行き先の情報とが送信されてきた場合には、これを携帯端末識別情報/目的先情報対応テーブル203に格納し、また、会員IDの情報と行き先の情報とが送信されてきた場合には、会員ID/携帯端末識別情報対応データベース202の内容を参照して、会員IDからこれに対応する携帯端末1の識別情報を検索して、携帯端末1の識別情報と行き先の情報を携帯端末識別情報/目的先情報対応テーブル203に格納して、当該携帯端末1に対する行き先案内動作モードをとる。
If the user ID of the member card 7 or the identification information of the
サーバー2は、当該携帯端末1に対する行き先案内動作モードに入ると、まず、当該携帯端末1に対してEメールによって、行き先案内サービスの行き先入力を受け付けたことを知らせるメールを送信する。図4の(g)は、このメールを受け取った携帯端末1の表示部でのメール表示の例を示しており、ここでは、携帯端末1の所持者の指定した行き先と、本発明の案内情報表示方法での行き先案内を所望しないユーザーに対して、地図・経路での案内を行うためのサーバー2のWEBサイトのアドレス(URL)と、本発明の案内情報表示方法での行き先案内を所望し、かつTV電話機能を有する携帯端末1を所持するユーザーに対して、撮影画像に対する矢印での案内を行うためのサーバー2の電話番号とが、表示されている。
When the
そして、図4の(g)の表示状態において、サーバー2の電話番号の箇所にカーソルを合わせて、携帯端末1の送信ボタンをプッシュすると、携帯端末1は電話番号の箇所とリンクしたサーバー2の電話番号を認知して、サーバー2に自動的に電話をかけ(自動的に発呼し)、また、図4の(g)の表示状態において、WEBサイトのアドレスの箇所にカーソルを合わせて、携帯端末1の送信ボタンをプッシュすると、携帯端末1はアドレスの箇所とリンクしたサーバー2のWEBサイトのアドレス(URL)を認知して、サーバー2のWEBサイトに自動的にアクセスするようになっている(このような、仕組みは容易に構築可能である)。なお、以下の説明では、サーバー2の電話番号の選択を、「TV電話でナビサービス開始」の選択と称し、サーバー2のWEBサイトのアドレスの選択を、「検索結果をWEBで表示」の選択と称する。
Then, in the display state of FIG. 4G, when the cursor is moved to the location of the telephone number of the
図4の(g)に示すメールを受け取った、本発明の案内情報表示方法での行き先案内を所望し、かつTV電話機能を有する携帯端末1を所持するユーザーが、メールに表示された電話番号に電話をかけてサーバー2と回線接続すると、携帯端末1とサーバー2とは自動的にTV電話接続状態となる。この後、携帯端末1の所持者(ユーザー)がサインマーカー4を撮影し(図4の(h))、これによって、サインマーカー4を含む撮影画像がサーバー2に送信されることとなる。
The user who received the mail shown in (g) of FIG. 4 and desires destination guidance by the guidance information display method of the present invention and possesses the
また、図4の(g)に示すメールを受け取った、本発明の案内情報表示方法での行き先案内を所望しないユーザーが、メールで示されたサーバー2のWEBサイトにアクセスすると、地図・経路による案内情報が携帯端末1に送信され、携帯端末1の表示部105には、図4の(i)に示すように、従来から提供されているサービスと同様な、簡単な地図上に現在位置と経路とが表示されることとなる。
Further, when a user who has received the mail shown in FIG. 4G and does not desire destination guidance in the guidance information display method of the present invention accesses the WEB site of the
このように、専用の入力端末3を用いて行き先をサーバー2に記憶させる手法をとると、入力端末3の大画面の表示によって、見やすく、容易・確実に行き先を検索することが可能となる。
In this way, when the method of storing the destination in the
なお、上述した専用の入力端末3を用いて行き先をサーバー2に記憶させる手順においては、RFIDタグをもつ携帯端末1または会員カード7でタッチすることで、携帯端末1の識別情報や会員カード7の会員IDを自動的に読み取ることで、ユーザーの手間を低減するようにしているが、携帯端末1の識別情報は、ユーザー自身が入力するように構成してもよい。また、RFIDタグをもつ会員カード7以外にも、カードに携帯端末1と1対1にリンクするID情報が記してあるものならば、例えば磁気カードであってもよく、この場合には入力端末3に磁気カードリーダーが備えられることになる。
In the procedure for storing the destination in the
次に、携帯端末1を用いて行き先をサーバー2に設定する(記憶させる)手順について説明する。図5は、携帯端末1の所持者がサーバー2に所望する行き先を設定する(記憶させる)手順を示すフロー図である。
Next, a procedure for setting (storing) the destination in the
まず、携帯端末1の所持者であるユーザーは、案内情報の提供サービスを行っているサーバー2のWEBサイトのアドレス(URL(Uniform Resource Locator))を取得する(ステップS1)。このURLの取得方法としては、携帯端末1から案内情報の提供サービスを行っているサーバー2に空メールを送信し、サーバー2からWEBサイトのURLをメールで返信させる(この場合には、携帯端末1の電子メールアドレス帳に相手先のサーバー2のEメールアドレスが記憶されていることなどが前提となる)、あるいは、サーバー2のWEBサイトのURLを表した2次元バーコードを携帯端末1のカメラ部104で撮影して、携帯端末1が画像解析することにより、WEBサイトのURLを取得する、あるいは、携帯端末1の所持者(ユーザー)が自身でWEBサイトのURLを取得する(人に聞く、印刷物から取得するなど)といった、方法が考えられる。なお、2次元バーコードは、サインマーカー4の近傍に配設しておくことが望まれる。何となれば、こうしておくことで、サインマーカー4の存在に気づいたユーザーが、案内情報の提供サービスエリア内にいると認識して、サービスの提供を受けようと思いつくと、その場で2次元バーコードを撮影することで、案内情報の提供サービスを行っているサーバー2のWEBサイトのURLを、至って簡単に取得できるからである。なおまた、携帯端末1のWEB機能の「お気に入り」に、サーバー2のWEBサイトのURLが登録されている場合には、ステップS1は省くことが可能である。
First, the user who is the owner of the
次に、携帯端末1の所持者は、ステップS1で取得したURLを用いて、携帯端末1から、案内情報の提供サービスを行っているサーバー2のWEBサイトにアクセスする(ステップS2)。なお、2次元バーコードを撮影してURLを撮影した場合には、自動的に、サーバー2のWEBサイトにアクセスするような仕組みにすることも可能である。
Next, the owner of the
次に、携帯端末1からWEBサイトへのアクセスを受けたサーバー2から、携帯端末1に適宜の電話番号およびEメールアドレスを入力するため表示データを送信し、携帯端末1の所持者が、携帯端末1の表示部105の表示内容と対話式に、自機の電話番号およびEメールアドレスを入力する(ステップS3)ことで、サーバー2は携帯端末1の電話番号およびEメールアドレスを取得する。次に、サーバー2は、携帯端末1に対して、適宜の行き先入力用(あるいは行き先選択用)のナビサービスガイダンス表示データを送信し、これを受けた携帯端末1の表示部105上にはナビサービスガイダンス画像が表示されて、この表示内容と対話式に、携帯端末1の所持者が所望する行き先を入力する(ステップS3)。この行き先の入力方法としては、階層式のメニュー表示から選択する、住所を入力する、郵便番号を入力する、地図上の番号を入力する、探している商品や店、機能、イベントなどを入力するといった、方法が考えられる。このような方法を用いて、携帯端末1の所持者は最終的な行き先を入力・決定する。これにより、サーバー2は当該携帯端末1の識別情報と行き先の情報とを取得し、取得した携帯端末1の識別情報と行き先の情報を携帯端末識別情報/目的先情報対応テーブル203に格納して、当該携帯端末1に対する行き先案内動作モードをとる。
Next, display data is transmitted from the
サーバー2は、当該携帯端末1に対する行き先案内動作モードに入ると、まず、当該携帯端末1に対してWEBデータによって、行き先案内サービスの行き先入力を受け付けたことを知らせる表示データを送信する。この表示データを受けた携帯端末1の表示部105上での表示内容は、図示していないが、例えば前記した図4の(g)の表示内容と略同様であり、携帯端末1の所持者の指定した行き先と、本発明の案内情報表示方法での行き先案内を所望しないユーザーに対して、地図・経路での案内を行うためのサーバー2のWEBサイトのアドレス(URL)と、本発明の案内情報表示方法での行き先案内を所望し、かつTV電話機能を有する携帯端末1を所持するユーザーに対して、撮影画像に対する矢印での案内を行うためのサーバー2の電話番号とが、表示される。そして、このような表示状態において、サーバー2の電話番号の箇所にカーソルを合わせて、携帯端末1の送信ボタンをプッシュすると、携帯端末1は電話番号の箇所とリンクしたサーバー2の電話番号を認知して、サーバー2に自動的に電話をかけ(ステップS4)、また、このような表示状態において、WEBサイトのアドレスの箇所にカーソルを合わせて、携帯端末1の送信ボタンをプッシュすると、携帯端末1はアドレスの箇所とリンクしたサーバー2のWEBサイトのアドレス(URL)を認知して、サーバー2のWEBサイトに自動的にアクセスする(ステップS4)ようになっている(このような、仕組みも容易に構築可能である)。なお、以下の説明では、このようなサーバー2の電話番号の選択も、「TV電話でナビサービス開始」の選択と称し、このようなサーバー2のWEBサイトのアドレスの選択も、「検索結果をWEBで表示」の選択と称する。「検索結果をWEBで表示」を選択すると、地図・経路による案内情報が携帯端末1に送信され、携帯端末1の表示部105には、従来から提供されているサービスと同様な、簡単な地図上に現在位置と経路とが表示される(ステップS4)。「TV電話でナビサービス開始」を選択すると、サーバー2と回線接続されて、携帯端末1とサーバー2とは自動的にTV電話接続状態となる(ステップS4)。
When the
この後、携帯端末1の所持者(ユーザー)がサインマーカー4を撮影すると、これによって、サインマーカー4を含む撮影画像がサーバー2に送信されることとなる(ステップS5)。
Thereafter, when the holder (user) of the
次に、サーバー2が、合成画像を生成しこれを携帯端末1に送信する処理について、図6を用いて説明する。図6は、主としてサーバーによる処理の流れのイメージを示す説明である。
Next, a process in which the
図6の(a)は、携帯端末1の所持者(ユーザー)が現在見ている実空間(実際の世界)のイメージを示しており、このような実空間において、携帯端末1の所持者は、カメラ部105でサインマーカー4を含む周囲の風景を、図6の(b)のように撮影する。撮影されたサインマーカー4を含む撮影画像は、TV電話機能により携帯端末1からサーバー2へと自動的に送信される。
FIG. 6A shows an image of a real space (actual world) that the owner (user) of the
サーバー2は、位置・撮影方向認識部205によって、送信されてきたサインマーカー4を含む撮影画像からサインマーカー部分を検知・抽出し、抽出したサインマーカー部分の画像から、ここでは例えば、マーカーIDを判読して特定する。同時に、位置・撮影方向認識部205は、ここでは例えば、前記した3次元認識処理によって、サインマーカー4を撮影した撮影方向を特定する(図6の(c))。さらに、位置・撮影方向認識部205は、特定したマーカーIDに基づき、サインマーカー情報データベース204を参照して、サインマーカー4の位置(ユーザーの現在位置)を特定する(図6の(d))。なお、サインマーカー4の位置情報や撮影方向の特定手法は、前記したように他の手法を用いることも可能である。
The
次に、経路検索部207が、サインマーカー4を含む撮影画像を送信してきた携帯端末1の識別情報に基づいて、携帯端末識別情報/目的先情報対応テーブル203を参照して得られる当該携帯端末1の所持者の望む行き先情報と、位置・撮影方向認識部205で特定したサインマーカー4の所在位置(ユーザーの現在位置)の情報と、地図情報データベース206の内容とに基づき、所定の検索アルゴリズムによって、当該携帯端末1の所持者(ユーザー)の現在位置から行き先までの、最短経路ないしは分かり易い経路を検索する。また、経路検索部207は、検索結果から、現在位置からまずユーザーが進まなければならない方向を決定する(図6の(e))。
Next, the mobile terminal obtained by the
次に、3D矢印表示生成部208が、位置・撮影方向認識部205で特定したサインマーカー4の撮影方向と、経路検索部207による検索結果情報とに基づき、携帯端末1から受け取った撮影画像に付加するための3次元表現の矢印画像(3D矢印画像)を生成する(図6の(f))。なお、位置・撮影方向認識部205でのサインマーカー4の撮影方向の特定が、3次元認識処理による場合には、3D矢印はサインマーカー4の撮影方向と正確に一致したものとして作成される。また、位置・撮影方向認識部205でのサインマーカー4の撮影方向の特定が、サインマーカー4の表示面の向く方位情報に基づくものである場合で、サインマーカー4が店舗、建家などの通路に面した壁面に貼付されている際には、3D矢印は平面的な矢印として作成され、サインマーカー4が店舗、建家などから通路に対して直角に突出した看板、案内板などの表裏に貼付されている際には、3D矢印はある所定角度だけ傾けた矢印として作成される。
Next, based on the shooting direction of the
また、コメント・アドバイス生成部209が、経路検索部207による検索結果情報(経路情報)に基づき、携帯端末1の所持者(ユーザー)にとって有意なガイダンスメッセージ(コメント、アドバイス)を生成する(図6の(g))。
Further, the comment /
次に、合成画像生成部210が、携帯端末1から送信されてきたサインマーカー4を含む撮影画像に、行き先方向を示す3D矢印とガイダンスメッセージとを合成した合成画像を生成し、生成された合成画像はサーバー2から携帯端末1に送信される(図6の(h))。なお、3D矢印の表示位置は、抽出したサインマーカー4の位置と合致するように、画像合成が行われるようになっている。
Next, the composite
図7は、携帯端末1の所持者(ユーザー)が現在見ている実空間(実際の世界)と、携帯端末1の表示部105上に表示された合成画像とを示す説明図である。ユーザーがサインマーカー4を見つけ、サインマーカー4を含むように周囲の風景を撮影するだけで、携帯端末1の表示部105上には、撮影した画像に、3D矢印と、行き先名称と、ガイダンスメッセージとを重畳した合成画像が表示される。よって、ユーザーは、その場で見ている実空間と同様の実空間撮影画像中の矢印表示により、目的先に対して自身が進むべき進行方向がどの方向であるのかを、視認性よく簡単・容易に把握できる。さらに、ガイダンスメッセージによって、矢印の方向に沿ってどの程度の距離だけ進むのであるなどを的確に把握でき、次にサインマーカー4を撮影する必要がある場所がどこであるかなどを事前に知ることができる。なお、ここでの例では、ガイダンスメッセージを表示するようにしているが、ガイダンスメッセージの表示と併せて、あるいはガイダンスメッセージの表示に代替して、サーバー2から携帯端末1に音声によるガイダンスメッセージを送信して、携帯端末1にガイダンスメッセージを音声出力させるように構成することも可能である。
FIG. 7 is an explanatory diagram showing a real space (actual world) currently viewed by the owner (user) of the
図8は、入力端末3とサーバー2と携帯端末1とにおける処理の流れの関係を示す図であり、図9は、携帯端末1とサーバー2とにおける処理の流れの関係を示す図であり、各機器の処理の詳細は、上述した通りである。
FIG. 8 is a diagram illustrating the relationship between the processing flows in the input terminal 3 , the
なお、上述した実施形態では、携帯端末1とサーバー2との間での撮影画像や合成画像のやり取りを、TV電話機能で行う例を示したが、携帯端末1からサーバー2へ撮影画像をEメールの貼付ファイルとして送信し、サーバー2から携帯端末1へ同様に合成画像をEメールの貼付ファイルとして送信するようにしても構わない。この場合、携帯端末1の所持者は、サインマーカー4を含む画像を撮影する毎に、Eメールの貼付ファイルとして送信する操作と、サーバー2からEメールを受け取る毎にEメールのに貼付ファイルを開く操作とを行う必要があるが、TV電話機能のない携帯端末1であっても、本発明による案内情報表示方法を実現することが可能となる。
In the above-described embodiment, an example in which a captured image and a composite image are exchanged between the
図1〜図9を用いて説明した上述の実施形態によれば、各所に、その撮影画像を画像解析することによりその所在位置が特定可能な情報が印されたサインマーカーが配置されている環境が前提となるが、携帯端末の所持者が、携帯端末のカメラ部で撮影したサインマーカーを含む撮影画像を、サーバー側で画像解析して、撮影されたサインマーカーの所在位置とサインマーカーを撮影した撮影方向とを特定し、経路検索処理の結果に応じて、携帯端末から受け取った撮影画像に行き先方向を示す矢印を合成した合成画像を生成して、これを携帯端末に送信するので、携帯端末の表示部には、その場の実空間を撮影した画像中に矢印が表示されることとなる。したがって、目的先に対して自身が進むべき進行方向がどの方向であるのかを、実空間の撮影画像上で、視認性よく簡単・容易に把握できる。また、携帯端末が測位機能を持たなくても、かつ、地図情報をあらかじめ保持したりダウンロードしたりしなくても、携帯端末の所持者に対して、地図を用いない非常にわかりやすい形態の、行き先方向の案内表示を提示できるので、携帯端末に掛ける負担が少なくて済み、携帯端末のコストアップを招来することもない。また、GPS測位が困難な屋内等においても利用可能である。さらに、10m前後の誤差が生じることがあるGPSによる測位機能を用いる場合に比べて、高い精度で案内表示を提示できるので、歩行者向けとして特に有効である。 According to the above-described embodiment described with reference to FIG. 1 to FIG. 9, an environment in which a sign marker marked with information that can identify the location by performing image analysis of the captured image is arranged in each place. However, the owner of the mobile device analyzes the captured image including the sign marker captured by the camera unit of the mobile device on the server side, and captures the location of the captured sign marker and the sign marker. Since a composite image in which an arrow indicating the destination direction is combined with the captured image received from the mobile terminal is generated and transmitted to the mobile terminal according to the result of the route search process, this is transmitted to the mobile terminal. On the display unit of the terminal, an arrow is displayed in an image obtained by photographing the real space on the spot. Therefore, it is possible to easily and easily grasp the direction in which the user should travel with respect to the destination on the captured image in the real space with high visibility. Also, even if the mobile device does not have a positioning function, and the map information is not stored or downloaded in advance, the destination of the mobile device owner in a very easy-to-understand form that does not use a map Since the direction guidance display can be presented, the burden on the portable terminal can be reduced, and the cost of the portable terminal is not increased. It can also be used indoors where GPS positioning is difficult. Furthermore, since a guidance display can be presented with higher accuracy than when using a GPS positioning function that may cause an error of around 10 m, it is particularly effective for pedestrians.
1 携帯端末
2 サーバー
3 入力端末
4 サインマーカー
101 制御部
102 テレビ電話機能部
103 Eメール機能部
104 カメラ部
105 表示部
106 入力操作部
107 RFIDタグ
108 WEB接続機能部
109 記憶部
201 制御部
202 会員ID/携帯端末識別情報対応データベース
203 携帯端末識別情報/目的先情報対応テーブル
204 サインマーカー情報データベース
205 位置・撮影方向認識部
206 地図情報データベース
207 経路検索部
208 3D矢印表示生成部
209 コメント・アドバイス生成部
210 合成画像生成部
211 テレビ電話機能部
212 Eメール機能部
213 WEB接続機能部
214 記憶部
301 制御部
302 表示部
303 タッチパネル
304 RFIDリーダ
305 サーバーとの接続機能部
306 記憶部
401 マーカーID表現部
DESCRIPTION OF
Claims (9)
前記携帯端末は、
カメラ部と、
ネットワークを介して外部と情報の送受信が可能な送受信部と、
各種データを格納する記憶部と、
表示部と、
操作入力を行う入力部と、
携帯端末全体の制御を司る制御部と
を有し、
前記サーバーは、
ネットワークを介して外部と情報の送受信が可能な送受信部と、
地図情報を格納した地図情報データベースと、
前記携帯端末から受け取ったまたは専用の入力端末から受け取った携帯端末の識別情報と目的先情報とを対応付けて格納する格納テーブルと、
前記携帯端末から受け取った前記サインマーカーを含む撮影画像を解析して、撮影された前記サインマーカーの所在位置とサインマーカーを撮影した撮影方向とを特定する位置・撮影方向認識部と、
前記受け取った目的先情報と前記特定した前記サインマーカーの所在位置の情報とに基づき、前記地図情報データベースの内容を参照して目的先への経路を検索する経路検索部と、
前記特定した撮影方向に基づき、前記携帯端末から受け取った前記撮影画像に、当該撮影画像での前記サインマーカーの画像に重ねて、前記サインマーカーの位置からまず進むべき前記目的先への行き先方向を示す矢印を合成するとともに、次に撮影する必要があるサインマーカーの位置を示すガイダンスメッセージを合成する合成画像生成部と
を有し、
前記携帯端末の所持者が、前記携帯端末または前記専用の入力端末を用いて前記サーバーにアクセスして、所持する前記携帯端末の識別情報と目的先情報とを送信することにより、前記サーバーが前記格納テーブルに前記携帯端末の識別情報と目的先情報とを格納するステップと、
前記携帯端末の所持者が前記サインマーカーを含む画像を前記カメラ部で撮影して、撮影した画像を前記サーバーに送信することにより、前記サーバーが、前記位置・撮影方向認識部によって撮影された前記サインマーカーの所在位置とサインマーカーを撮影した撮影方向とを特定した後、前記経路検索部によって目的先への経路を検索し、前記合成画像生成部によって前記携帯端末から受け取った撮影画像に、前記サインマーカーからまず進むべき目的先への前記行き先方向を示す矢印と前記ガイダンスメッセージとを合成した合成画像を生成して、生成した合成画像を前記携帯端末に送信するステップと、
前記携帯端末が、前記サーバーから受け取った合成画像を前記表示部上に表示するステップと
を備えることにより、前記携帯端末で撮影した撮影画像の前記サインマーカー上に前記サインマーカーからまず進むべき目的先への行き先方向を示す矢印と前記ガイダンスメッセージとを合成した合成画像を、前記携帯端末の前記表示部に表示させて、前記サインマーカーからまず進むべき前記目的先への行先方向と次に撮影する必要があるサインマーカーの位置の案内を行うようにしたことを特徴とする案内情報表示方法。 Signs with information that can be located at various locations and that can be identified by analyzing the captured images, and the mobile terminal, a server for providing guidance information that can communicate with the mobile terminal via a network A guide information display method in a system using a marker,
The portable terminal is
A camera unit;
A transmission / reception unit capable of transmitting / receiving information to / from the outside via a network;
A storage unit for storing various data;
A display unit;
An input unit for performing operation input;
A control unit that controls the entire mobile terminal
I have a,
The server
A transmission / reception unit capable of transmitting / receiving information to / from the outside via a network;
A map information database storing map information;
A storage table for storing the identification information and destination information of the portable terminal received from the portable terminal or received from the dedicated input terminal;
A position / photographing direction recognition unit that analyzes a captured image including the sign marker received from the mobile terminal and identifies a location of the photographed sign marker and a photographing direction in which the sign marker is photographed,
Based on the received destination information and information on the location of the identified sign marker, a route search unit that searches for a route to the destination with reference to the contents of the map information database;
Based on the imaging direction that is the specified, the the captured image received from the mobile terminal, superimposed on the image of the sign markers in the captured image, a destination direction to the target destination to go first from the position of the sign markers A composite image generation unit that combines a guidance message indicating the position of a sign marker that needs to be photographed next ,
I have a,
The owner of the mobile terminal accesses the server using the mobile terminal or the dedicated input terminal, and transmits the identification information and destination information of the mobile terminal that the server has, so that the server Storing identification information and destination information of the mobile terminal in a storage table;
The user of the portable terminal takes an image including the sign marker with the camera unit, and transmits the taken image to the server, whereby the server is taken by the position / photographing direction recognition unit. after identifying the photographing direction obtained by photographing the location and sign marker sign markers, searches the route to a destination by the route search unit, the captured image received from the mobile terminal by the composite image generating unit, wherein Generating a composite image obtained by combining the guidance message and the arrow indicating the destination direction from the sign marker to the destination to be advanced first, and transmitting the generated composite image to the mobile terminal;
The portable terminal displaying the composite image received from the server on the display unit;
By obtaining Bei, said a composite image of said guidance message and arrow said indicating the destination direction from the sign markers on sign marker first to a destination should proceed photographed image photographed by a portable terminal, the portable Guidance information displayed on the display unit of the terminal to guide the destination direction to the destination to be first traveled from the sign marker and the position of the sign marker that needs to be photographed next Display method.
前記サインマーカーには、個々のサインマーカーを識別するためのID情報が印されており、
前記サーバーには、各サインマーカーのID情報と対応付けた、位置情報およびサインマーカーの表示面の向く方向(方位)の情報を格納したサインマーカー情報データベースが設けられ、
前記サーバーの前記位置・撮影方向認識部は、受け取った前記サインマーカーを含む撮影画像からサインマーカーのID情報を取得し、取得したID情報に基づき、前記サインマーカー情報データベースの情報を参照して、前記サインマーカーの所在位置と、サインマーカーの表示面の向く方位と反対方向であるサインマーカーを撮影した撮影方向とを特定する
ことを特徴とする案内情報表示方法。 In the guidance information display method according to claim 1,
The sign marker is marked with ID information for identifying individual sign markers,
The server is provided with a sign marker information database storing position information and direction information (direction) facing the display surface of the sign marker, which is associated with the ID information of each sign marker,
The position / photographing direction recognizing unit of the server acquires ID information of a sign marker from a captured image including the received sign marker, and refers to information in the sign marker information database based on the acquired ID information. guidance information display wherein the location of the sign marker to identify the a photographing direction taken to sign marker is the azimuthal direction opposite facing the display surface of the sign markers.
前記サインマーカーには、その所在位置を表す情報とその表示面の向く方向(方位)を表す情報とが印されており、
前記サーバーの前記位置・撮影方向認識部は、受け取った前記サインマーカーを含む撮影画像から、サインマーカーに印された所在位置の情報と表示面の向く方向の情報を取得して、前記サインマーカーの所在位置と、サインマーカーの表示面の向く方位と反対方向であるサインマーカーを撮影した撮影方向とを特定する
ことを特徴とする案内情報表示方法。 In the guidance information display method according to claim 1,
The sign marker is marked with information indicating its location and information indicating the direction (azimuth) of the display surface.
The position / capturing direction recognizing unit of the server obtains information on a location marked on the sign marker and information on a direction of the display surface from the received captured image including the sign marker. guidance information display method characterized by the location and the shooting direction taken to sign marker is the azimuthal direction opposite facing the display surface of the sign markers specific.
前記サインマーカーには、その所在位置を表す情報、または、個々のサインマーカーを識別するためのID情報が印されており、
前記サーバーの前記位置・撮影方向認識部は、受け取った前記サインマーカーを含む撮影画像からサインマーカーに印された所在位置の情報を直接取得することで、または、サインマーカーに印されたID情報を取得し、各サインマーカーのID情報と対応付けた位置情報を格納したサインマーカー情報データベースを参照することで、前記サインマーカーの所在位置を特定し、
かつ、前記位置・撮影方向認識部は、受け取った前記サインマーカーを含む撮影画像から3次元認識処理によって、サインマーカーを撮影した撮影方向を特定する
ことを特徴とする案内情報表示方法。 In the guidance information display method according to claim 1,
The sign marker is marked with information indicating its location, or ID information for identifying individual sign markers,
ID The position and photographing direction recognition unit of the server, you obtain the information of the marked the location in the captured image or Rasa Inn markers including the sign markers received directly, or which marked the sign marker By acquiring information and referring to a sign marker information database storing position information associated with the ID information of each sign marker, the location of the sign marker is identified,
And the said position and imaging | photography direction recognition part specifies the imaging | photography direction which image | photographed the sign marker by the three-dimensional recognition process from the captured image containing the said sign marker. The guidance information display method characterized by the above-mentioned.
前記サインマーカーの近傍に、前記携帯端末のカメラ部で撮影することにより、前記携帯端末から前記サーバーにアクセスすることが可能な情報をもつ2次元バーコードを設けたことを特徴とする案内情報表示方法。 In the guidance information display method according to claim 1,
In the vicinity of the sign markers, said by shooting by the camera unit of the mobile terminal, display the guidance information, characterized in that a two-dimensional bar code having information that can access the server from the mobile terminal Method.
前記携帯端末はテレビ電話機能をもつ携帯電話であって、前記携帯端末の識別情報は電話番号であり、前記携帯電話と前記サーバーとは、テレビ電話機能により画像情報の送受信を行うことを特徴とする案内情報表示方法。 In the guidance information display method according to claim 1,
The mobile terminal is a mobile phone with a videophone function, identification information of the portable terminal is a telephone number, the mobile phone and the server, and wherein the transmitting and receiving image information by videophone function How to display guidance information.
前記携帯端末はEメール機能をもつ携帯端末であって、前記携帯端末の識別情報はメールアドレスであり、前記携帯端末と前記サーバーとは、Eメールの添付ファイルとして画像情報の送受信を行うことを特徴とする案内情報表示方法。 In the guidance information display method according to claim 1,
The mobile terminal is a mobile terminal with E-mail function, identification information of the portable terminal is email address, the mobile terminal and the server, to perform the transmission and reception of image information as an attachment to an E-mail A characteristic guide information display method.
前記サーバーから、前記合成画像とともにガイダンス音声が、もしくは前記合成画像とともに前記ガイダンスメッセージに替えてガイダンス音声が送信されることを特徴とする案内情報表示方法。 In the guidance information display method according to claim 1,
A guidance information display method , wherein a guidance voice is transmitted from the server together with the synthesized image or a guidance voice instead of the guidance message together with the synthesized image .
前記専用の入力端末には、前記携帯端末に内蔵された非接触式のRFID(Radio Frequency Identification)タグから携帯端末の識別情報を読み取るRFIDリーダー、または、前記携帯端末の識別情報と対応付けられたカード識別情報をもつカードからカード識別情報を読み取るリーダーが備えられ、
前記専用の入力端末から前記サーバーにカード識別情報が送信されてきた場合には、前記サーバーは、前記カード識別情報と前記携帯端末の識別情報との対応関係を格納したデータベースから、携帯端末の識別情報を特定する
ことを特徴とする案内情報表示装置。 In the guidance information display method according to claim 1,
The dedicated input terminal is associated with the RFID reader that reads the identification information of the portable terminal from a non-contact RFID (Radio Frequency Identification) tag built in the portable terminal, or the identification information of the portable terminal A reader that reads card identification information from a card with card identification information,
When the card identification information is transmitted from the dedicated input terminal to the server, the server identifies the mobile terminal from a database storing the correspondence between the card identification information and the mobile terminal identification information. A guidance information display device characterized by identifying information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004282531A JP4464780B2 (en) | 2004-09-28 | 2004-09-28 | Guidance information display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004282531A JP4464780B2 (en) | 2004-09-28 | 2004-09-28 | Guidance information display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006101013A JP2006101013A (en) | 2006-04-13 |
JP4464780B2 true JP4464780B2 (en) | 2010-05-19 |
Family
ID=36240434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004282531A Expired - Fee Related JP4464780B2 (en) | 2004-09-28 | 2004-09-28 | Guidance information display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4464780B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009036726A (en) * | 2007-08-03 | 2009-02-19 | Yahoo Japan Corp | Method and system for displaying search path |
JP4376962B1 (en) * | 2009-03-13 | 2009-12-02 | キーパー=スミス エル・エル・ピー | Navigation system, navigation apparatus and method |
US9552657B2 (en) | 2010-08-27 | 2017-01-24 | Kyocera Corporation | Mobile electronic device and control method of mobile electronic device |
JP5595834B2 (en) * | 2010-08-27 | 2014-09-24 | 京セラ株式会社 | Portable electronic device and method of using portable electronic device |
EP2888634A4 (en) | 2012-08-27 | 2016-04-06 | Empire Technology Dev Llc | Indicating the geographic origin of a digitally-mediated communication |
EP2938055B1 (en) * | 2012-12-21 | 2018-08-29 | Tagcast Inc. | Location information service system, location information service method employing electronic tag, portable information terminal, and terminal program |
JP6075077B2 (en) * | 2013-01-23 | 2017-02-08 | 清水建設株式会社 | Mobile terminal, evacuation guidance method and evacuation guidance system |
FR3022358A1 (en) * | 2014-06-12 | 2015-12-18 | Terabee Sas | DYNAMIC TRACKING SYSTEM AND AUTOMATIC GUIDING METHOD |
JP2017111034A (en) * | 2015-12-17 | 2017-06-22 | 株式会社日立ソリューションズ | Terminal having camera, navigation information providing system, and navigation information display method |
JP6461239B2 (en) * | 2017-06-08 | 2019-01-30 | エンパイア テクノロジー ディベロップメント エルエルシー | Indicate the geographical source of digitally mediated communications |
KR20190018243A (en) | 2017-08-14 | 2019-02-22 | 라인 가부시키가이샤 | Method and system for navigation using video call |
JP7001711B2 (en) * | 2017-12-01 | 2022-01-20 | マクセル株式会社 | A position information system that uses images taken by a camera, and an information device with a camera that uses it. |
KR102225175B1 (en) * | 2019-10-15 | 2021-03-09 | 라인 가부시키가이샤 | Method and system for navigation using video call |
CN111723682A (en) * | 2020-05-28 | 2020-09-29 | 北京三快在线科技有限公司 | Method and device for providing location service, readable storage medium and electronic equipment |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002048586A (en) * | 2000-07-31 | 2002-02-15 | Takatsugu Kitagawa | Navigation method, portable information apparatus, navigation server, and optical data analytic server |
JP2003023666A (en) * | 2001-07-06 | 2003-01-24 | Ntt Docomo Inc | Information distribution system, call-over processing system, physical distribution management system, information distributor, mobile terminal, information reader, information distribution method, information access method and information distribution program |
JP2003108454A (en) * | 2001-09-28 | 2003-04-11 | Hitachi Sogo Keikaku Kenkyusho:Kk | Data transmission system, terminal using the data transmission system, and service providing system |
JP2004048674A (en) * | 2002-05-24 | 2004-02-12 | Olympus Corp | Information presentation system of visual field agreement type, portable information terminal, and server |
JP2004138569A (en) * | 2002-10-21 | 2004-05-13 | Toshiba Corp | Portable navigation system and portable navigation terminal |
-
2004
- 2004-09-28 JP JP2004282531A patent/JP4464780B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006101013A (en) | 2006-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107782314B (en) | Code scanning-based augmented reality technology indoor positioning navigation method | |
US8416309B2 (en) | Camera-fitted information retrieval device | |
CN103471580B (en) | For providing method, mobile terminal and the server of navigation information | |
US9721388B2 (en) | Individual identification character display system, terminal device, individual identification character display method, and computer program | |
US8098894B2 (en) | Mobile imaging device as navigator | |
US9074899B2 (en) | Object guiding method, mobile viewing system and augmented reality system | |
CN102804905B (en) | The display of view data and geographic element data | |
JP4591353B2 (en) | Character recognition device, mobile communication system, mobile terminal device, fixed station device, character recognition method, and character recognition program | |
JP4464780B2 (en) | Guidance information display device | |
US20190086214A1 (en) | Image processing device, image processing method, and program | |
US20110013014A1 (en) | Methods and arrangements for ascertaining a target position | |
KR101350227B1 (en) | Gps camera apparatus and system for traveling | |
JP2006059136A (en) | Viewer apparatus and its program | |
KR101232864B1 (en) | Method and system for providing peripheral information to mobile device | |
JP2005100276A (en) | Information processing system, information processor, information processing method and program | |
JP4085634B2 (en) | Image display program | |
JP2011060254A (en) | Augmented reality system and device, and virtual object display method | |
JP2006285546A (en) | Information providing system, database server, portable communication terminal | |
JP4637133B2 (en) | Guidance system, guidance server device, guidance method and program implementing the method | |
TWI400467B (en) | Electronic device with object guidance function and its object guidance method | |
US20120281102A1 (en) | Portable terminal, activity history depiction method, and activity history depiction system | |
JP4733343B2 (en) | Navigation system, navigation device, navigation method, and navigation program | |
JP2015114190A (en) | Target direction recognition device, target direction recognition method, and target direction recognition program | |
KR102200464B1 (en) | Service providing system and method for guiding a point, apparatus and computer readable medium having computer program recorded therefor | |
JP2003283664A (en) | Location guide system and server |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091117 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100219 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130226 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140226 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |