JP2006003963A

JP2006003963A - Local guide system

Info

Publication number: JP2006003963A
Application number: JP2004176891A
Authority: JP
Inventors: Kenji Uematsu; 健二上松
Original assignee: Hitachi Omron Terminal Solutions Corp
Current assignee: Hitachi Omron Terminal Solutions Corp
Priority date: 2004-06-15
Filing date: 2004-06-15
Publication date: 2006-01-05

Abstract

<P>PROBLEM TO BE SOLVED: To provide a local guide system for displaying the detail information of a facility based on an image obtained by photographing the partial section of a notice board on which the map of a peripheral region is displayed. <P>SOLUTION: This local guide system is provided with a notice board on which the map of a peripheral region is displayed, an electronic notice board computer 10 equipped with a map database 107 in which the map information of the peripheral region is stored and a facility database 101 in which the facility of the peripheral region and the guide information are stored and an image recognizing server 30 equipped with a featured point database 301 in which the featured points of the map of the peripheral region are stored for successively receiving an image obtained by photographing the partial section of the notice board from a terminal, and for recognizing the location of the received image on the map by referring to the featured point database. The electronic notice board computer 10 receives the location information of the image on the map received from the image recognizing server 30, and retrieves a facility included in the received image and the guide information of the facility based on the received location information, and transmits the received information to the terminal. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、地域案内システムに係り、特に地域内の任意の場所にある施設の情報を利用者に提示することのできる地域案内システムに関する。 The present invention relates to a regional guidance system, and more particularly, to a regional guidance system that can present information on a facility at an arbitrary place in a region to a user.

駅の周辺地域などの公共空間には、その地域周辺の地図や代表的な建物、地名などを示した案内用の掲示板が設置されている。また、周辺地域にある施設の情報を紹介する情報端末が設置されているところもある。 In public spaces such as the surrounding area of the station, a bulletin board for information indicating a map of the area, a typical building, and a place name is installed. There are also information terminals that introduce information about facilities in the surrounding area.

地図を参照することにより、現在地と目的地の相対的な地理関係を把握することは可能である。しかし、それ以外の情報、例えば目的地およびその近傍の施設に関する情報等は得ることができない。このため、目的地が決まっており、かつ目的地への経路がわからない利用者以外には利用価値が少ない。また、地図内の複数の施設に関する情報を比較しながら目的地を選択することも不可能である。一般に、掲示板は地理的にある程度の範囲内の地図情報を載せなければならないため、個々の施設の特徴を説明するだけの情報量を載せることは困難である。 By referring to the map, it is possible to grasp the relative geographical relationship between the current location and the destination. However, other information, for example, information on the destination and facilities in the vicinity thereof cannot be obtained. For this reason, there is little utility value except the user who has decided the destination and does not know the route to the destination. It is also impossible to select a destination while comparing information on a plurality of facilities in the map. In general, a bulletin board must include map information within a certain geographical range, and thus it is difficult to include an amount of information for explaining the characteristics of each facility.

特許文献１には、携帯情報端末の撮像手段で撮影した画像に写っているマーカを用いて、撮影時の携帯情報端末自身の位置姿勢を演算し、その結果を基にして撮影されたマーカに予め関連付けられた所定の情報を加工処理し、携帯情報端末の画面内に表示している実写の映像の上に、この加工処理した情報を重畳して表示することが示されている。 In Patent Document 1, the position and orientation of the mobile information terminal itself at the time of shooting is calculated using the marker reflected in the image shot by the imaging means of the mobile information terminal, and the marker shot based on the result is calculated. It is shown that predetermined information associated in advance is processed, and the processed information is displayed superimposed on a live-action image displayed on the screen of the portable information terminal.

また、特許文献２には、携帯端末に搭載したカメラで紙ポスターに形成された識別情報を撮影し、その結果をもとにサーバを介して紙ポスターに関する情報を取得することが示されている。
特開２００４−０４８６７４号公報特開２００２−３１８７４４号公報 Patent Document 2 shows that identification information formed on a paper poster is photographed with a camera mounted on a portable terminal, and information about the paper poster is acquired via a server based on the result. .
JP 2004-048674 A JP 2002-318744 A

前記案内用の掲示板等の従来技術によれば、利用者に地域の地理的な情報を提供することができる。しかし、周辺地域にある施設の詳細な情報を得るためには、他の情報収集手段を用意する必要がある。また、ポスターや看板は、利用者の利用に対して一目瞭然で情報を伝えやすくするため、載せる情報量を増やすこともできず、ある程度のシンプルさが要求される。また、不特定多数の利用者が利用するため、特定の内容に偏った情報を載せることもできない。 According to the prior art such as the bulletin board for guidance, the geographical information of the area can be provided to the user. However, in order to obtain detailed information on facilities in the surrounding area, it is necessary to prepare other information collecting means. In addition, posters and billboards are easy to convey information easily at a glance to the user's use, so the amount of information to be placed cannot be increased, and a certain degree of simplicity is required. In addition, since it is used by an unspecified number of users, information that is biased toward specific contents cannot be posted.

本発明は、これらの問題点に鑑みてなされたもので、周辺地域の地図を表示した掲示板の一部区画を撮影した画像をもとに、施設の詳細情報を表示することのできる地域案内システムを提供する。 The present invention has been made in view of these problems, and an area guidance system capable of displaying detailed information of facilities based on an image obtained by photographing a part of a bulletin board displaying a map of the surrounding area. I will provide a.

本発明は上記課題を解決するため、次のような手段を採用した。 In order to solve the above problems, the present invention employs the following means.

周辺地域の地図を表示した掲示板と、周辺地域の地図情報を格納した地図データベースおよび前記周辺地域の施設とその案内情報を格納した施設データベースを備えた電子掲示板コンピュータと、前記周辺地域の地図の特徴点を格納した特徴点データベースを備え、掲示板の一部区画を撮影した画像を端末から順次受信し、受信した画像の地図上における位置を前記特徴点データベースを参照して認識する画像認識サーバを備え、電子掲示板コンピュータは、画像認識サーバから受信した画像の地図上における位置情報を受信し、受信した位置情報をもとに、受信した画像内に含まれる施設および施設の案内情報を検索し、検索した情報を前記端末に送信する。 A bulletin board displaying a map of the surrounding area, a map database storing map information of the surrounding area, an electronic bulletin board computer including a facility database storing facilities of the surrounding area and guidance information thereof, and features of the map of the surrounding area A feature point database that stores points, and an image recognition server that sequentially receives images taken from a part of a bulletin board from a terminal and recognizes the position of the received image on a map with reference to the feature point database The electronic bulletin board computer receives the position information on the map of the image received from the image recognition server, and searches for the facility and the facility guidance information included in the received image based on the received position information. The transmitted information is transmitted to the terminal.

本発明は、以上の構成を備えるため、周辺地域の地図を表示した掲示板の一部区画を撮影した画像をもとに、前記一部区画にある施設の詳細情報を表示することのできる地域案内システムを提供することができる。 Since the present invention has the above-described configuration, a regional guide that can display detailed information of facilities in the partial section based on an image of the partial section of a bulletin board displaying a map of the surrounding area. A system can be provided.

以下、最良の実施形態を添付図面を参照しながら説明する。図１は、地域案内システムの全体構成を説明する図である。このシステムでは、例えば、通行人の多い駅周辺に看板あるいはディスプレイ等の掲示板を設置して、周辺区域の地図を表示しておき、利用者がカメラ付き携帯電話を用いて、この地図の一部を撮影することにより、駅周辺の施設の詳細情報についてのサービスを受けることができる。 Hereinafter, the best embodiment will be described with reference to the accompanying drawings. FIG. 1 is a diagram for explaining the overall configuration of the area guidance system. In this system, for example, a billboard such as a signboard or a display is installed around a station where there are many passersby, a map of the surrounding area is displayed, and a user uses a mobile phone with a camera, and a part of this map is displayed. By taking pictures, you can receive services about detailed information on facilities around the station.

図において、１０は電子掲示板コンピュータであり、周辺地域の地図情報を格納した地図データベース１０１および前記周辺地域の施設とその案内情報を格納施設データベース１０７を備える。２０は、利用者が携帯するカメラ付き携帯電話等の携帯端末である。３０は画像認識サーバであり、後述する掲示板４０１の一部区画を撮影した画像を携帯端末から順次受信し、受信した画像の地図上における位置を特徴点データベース３０１を参照して認識する。１０１は、施設データベースであり、周辺地域（掲示板設置個所の周辺地域のうち掲示板に表示された地域）にある店舗等の施設とその案内情報を格納する。１０７は地図データベースであり、周辺地域の地図情報を格納する。 In the figure, reference numeral 10 denotes an electronic bulletin board computer, which includes a map database 101 storing map information of surrounding areas and a facility database 107 storing facilities of the surrounding area and guidance information thereof. Reference numeral 20 denotes a mobile terminal such as a camera-equipped mobile phone carried by the user. Reference numeral 30 denotes an image recognition server, which sequentially receives images obtained by capturing some sections of a bulletin board 401 (to be described later) from the portable terminal, and recognizes the position of the received images on the map with reference to the feature point database 301. Reference numeral 101 denotes a facility database, which stores facilities such as stores in the surrounding area (the area displayed on the bulletin board among the surrounding areas of the bulletin board installation location) and guidance information thereof. Reference numeral 107 denotes a map database, which stores map information of surrounding areas.

１０２は携帯電話基地局アンテナであり、携帯電話の公衆回線網を通じて利用者が所有する携帯端末２０とデータの送受信を行う。１０３は近距離無線通信アンテナであり、電子掲示板コンピュータ１０は携帯端末２０と無線ＬＡＮやＢｌｕｅｔｏｏｔｈのような近距離無線通信手段を介して直接通信を行うことができる。１０４は赤外線通信装置、１０５はメモリカードスロットであり、利用者の携帯端末２０に挿入されたメモリカード２０４をメモリカードスロット１０５に挿入することによりオフラインでデータの受け渡しを行うことができる。１０６はディスプレイであり、利用者への案内サービスとして、地図データベース１０７および施設データベースをもとに地図等を表示する。詳細な地図電子データを表示することで、利用者へ与える視覚的効果の向上を図ることができる。 Reference numeral 102 denotes a mobile phone base station antenna which transmits and receives data to and from the mobile terminal 20 owned by the user through the public line network of the mobile phone. Reference numeral 103 denotes a short-range wireless communication antenna, and the electronic bulletin board computer 10 can directly communicate with the portable terminal 20 via a short-range wireless communication means such as a wireless LAN or Bluetooth. Reference numeral 104 denotes an infrared communication device, and reference numeral 105 denotes a memory card slot. By inserting the memory card 204 inserted into the user's portable terminal 20 into the memory card slot 105, data can be exchanged offline. Reference numeral 106 denotes a display, which displays a map or the like based on the map database 107 and the facility database as a guide service to the user. By displaying detailed electronic map data, it is possible to improve the visual effect on the user.

２０１は携帯端末２０に取り付けたカメラであり、掲示板４０１に表示されている地図をファインダー越しに見ながら、利用者が目的とする施設を示す地図内の箇所まで順次撮影する。２０２は電子掲示板コンピュータ１０と直接通信を行うための無線ＬＡＮやＢｌｕｅｔｏｏｔｈのような近距離無線通信用のアンテナ、２０３は赤外線通信装置、２０４はメモリカード、２０５はメモリカードを挿入するためのスロットである。 Reference numeral 201 denotes a camera attached to the portable terminal 20, which sequentially captures a location on the map indicating a target facility for the user while viewing the map displayed on the bulletin board 401 through the viewfinder. 202 is a short-range wireless communication antenna such as a wireless LAN or Bluetooth for direct communication with the electronic bulletin board computer 10, 203 is an infrared communication device, 204 is a memory card, and 205 is a slot for inserting a memory card. is there.

３０１は特徴点データベースであり、地図内の地形・区画の特定を目的として、全体の地図画像から特徴が出るように細線化や線分の交点抽出等の画像処理を行って特徴点を抽出する。カメラ画像認識サーバ３０は利用者が撮影した地図画像とこのデータベースのマッチングをとることで撮影箇所を特定する。 Reference numeral 301 denotes a feature point database, which extracts feature points by performing image processing such as thinning and extracting intersections of line segments so that features are extracted from the entire map image for the purpose of specifying the topography and sections in the map. . The camera image recognition server 30 specifies the shooting location by matching the map image taken by the user with this database.

図２は、利用者が案内サービスを受ける際の操作を説明する図である。図において、４０１は駅前等に設置される掲示板であり、周辺地域の地図を表示する。４０２は利用者が所有するカメラ機能付きの携帯端末２０であり、４０３は、利用者が携帯端末２０を用いて撮影を行っている際の撮影視野を確認するディスプレイである。また、４０４は地図の撮影を開始する際の初期位置を示すマークであり、利用者は、この位置を最初に撮影し、その後、目的位置（例えば施設４０５）まで連続して撮影する。これにより画像認識サーバは利用者が示す目的位置を正確且つ迅速に認識することができる。 FIG. 2 is a diagram illustrating an operation when a user receives a guidance service. In the figure, 401 is a bulletin board installed in front of a station and displays a map of the surrounding area. Reference numeral 402 denotes a mobile terminal 20 with a camera function owned by the user, and reference numeral 403 denotes a display for confirming a shooting field of view when the user is shooting using the mobile terminal 20. Reference numeral 404 denotes a mark indicating an initial position at the start of shooting of the map, and the user first shoots this position and then continuously shoots up to the target position (for example, the facility 405). As a result, the image recognition server can accurately and quickly recognize the target position indicated by the user.

４０５は地図上に描写した施設である。前述のように利用者は携帯端末２０を用いて地図の撮影を目的の施設まで行う。これにより、地図上に部分的に相似な地形・区画がある場合でも、映像の履歴関係から撮影している地図の映像が、地図上でどの部分であるかが認識できる。目的の施設まで撮影を行った後、携帯端末２０の決定ボタンを押すなどの操作を行うことで、携帯端末２０の画面４０７には図２ｂのように施設名等を表示する。このとき画面内の施設が複数あるときはそれぞれに識別番号を割り振る。利用者は割り振られた番号のうち何れかを選択すると選択された施設に対してさらに詳細な情報が図２ｃのように表示される。 Reference numeral 405 denotes a facility depicted on a map. As described above, the user uses the mobile terminal 20 to take a map to the target facility. As a result, even if there is a partially similar terrain / section on the map, it is possible to recognize which part of the map image is captured on the map from the history of the image. After shooting to the target facility, an operation such as pressing the enter button of the portable terminal 20 is performed, whereby the facility name and the like are displayed on the screen 407 of the portable terminal 20 as shown in FIG. At this time, if there are multiple facilities on the screen, an identification number is assigned to each facility. When the user selects one of the assigned numbers, more detailed information is displayed for the selected facility as shown in FIG. 2c.

図３は、掲示板４０１を斜め方向から撮影した画像（携帯端末の撮影画像）と、地図画像をもとに作成した特徴点データベースとのマッチングを行う際の座標変換処理を説明する図である。図において、５０１は掲示板の表面上の座標系を表し、５０２はカメラの撮影対象となる被撮影像の座標系を表し、５０３はカメラの内部で被撮影像を投射されるＣＣＤなどの感光面の座標系を示す。座標系５０１上に存在する点を（ｘ”，ｙ”，ｚ”）、座標系５０２上に存在する点を（ｘ’，ｙ’，ｚ’）、座標系５０３上に存在する点を（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）とする。 FIG. 3 is a diagram for explaining a coordinate conversion process when matching an image obtained by photographing the bulletin board 401 from an oblique direction (a photographed image of a portable terminal) with a feature point database created based on a map image. In the figure, reference numeral 501 represents a coordinate system on the surface of the bulletin board, 502 represents a coordinate system of a photographed image to be photographed by the camera, and 503 represents a photosensitive surface such as a CCD on which the photographed image is projected inside the camera. Indicates the coordinate system. A point existing on the coordinate system 501 is (x ″, y ″, z ″), a point existing on the coordinate system 502 is (x ′, y ′, z ′), and a point existing on the coordinate system 503 is ( x _c , y _c , z _c ).

座標系５０１において、点が看板上に存在する以上、ｚ”＝０である。座標系５０３において、点が感光面上に存在する以上、ｚ_ｃ＝０である。座標系５０１から座標系５０２への変換は、回転を行いながら、平行方向に移動し、かつ、ｘ’，ｙ’平面に射影されることになる。 In the coordinate system 501, z ″ = 0 because a point exists on the signboard. In the coordinate system 503, z _c = 0 because a point exists on the photosensitive surface. From the coordinate system 501 to the coordinate system 502 In the conversion to, the image moves in the parallel direction while being rotated, and is projected onto the x ′, y ′ plane.

回転による変換を表す行列を（１）式で表す。

A matrix representing conversion by rotation is expressed by equation (1).

平行方向の移動量を（２）式で表す。

The amount of movement in the parallel direction is expressed by equation (2).

よって、（３）式がえられる。

Therefore, equation (3) is obtained.

座標系５０２から座標系５０３への変換は、平面上の点から平面上の点への変換になり、倍率をａとすると、係数ａによる線形変換になり、（４）式で表せる。

The conversion from the coordinate system 502 to the coordinate system 503 is a conversion from a point on the plane to a point on the plane. If the magnification is a, the conversion is a linear conversion using a coefficient a, which can be expressed by equation (4).

以上をまとめると、（５）式が得られる。

Summarizing the above, equation (5) is obtained.

ここで、回転を表す行列の要素ｒ_ｉｊは、三次元における回転角（α、β、γ）の関数になる。ここで、座標系５０１上に存在する２点Ｘ_１”、Ｘ_２”に関して、座標系５０３に変換されてＸｃ_１、Ｘｃ_２に変化した時、Ｘｃ_１−Ｘｃ_２間の距離は、（６）式となる。

Here, the element r _ij of the matrix representing rotation is a function of the rotation angle (α, β, γ) in three dimensions. Here, two points _X 1 is present on the coordinate system 501 ", _{X 2"} with respect to, when changes to _Xc 1, Xc ₂ is converted to the coordinate system _503, the distance between Xc 1 -Xc ₂ is (6 ).

この中で、（Ｘ_１”−Ｘ_２”、Ｘｃ_１−Ｘｃ_２）の値をパラメータで固定したとき、上記の式は（α、β、γ、ａ）の４つの変数を持つ。よって、少なくとも４つの異なるＸ_１”−Ｘ_２”間とＸｃ_１−Ｘｃ_２間の線分の距離を係数にした４元連立方程式を解くことで、（α、β、γ、ａ）を決定することができる。 Among these, when the value of (X ₁ ″ −X ₂ ″, Xc ₁ −Xc ₂ ) is fixed as a parameter, the above formula has four variables (α, β, γ, a). Accordingly, (α, β, γ, a) is determined by solving a quaternary simultaneous equation using the distances between at least four different X ₁ ″ -X ₂ ″ and Xc ₁ -Xc ₂ as coefficients. can do.

異なる複数の点を結んで４つの線分を成立するためには、異なる４つの点の間を結ぶことで、最大６つの線分が生成される。本実施形態では、Ｘｃとして携帯端末２０で撮影して得られた画像中の点を利用し、Ｘ”として特徴点データベース３０１で管理している点を利用することを想定しており、特徴点データベース３０１で管理している数値データの値を次々代入して調べることで、マッチングを行うことができる。 In order to establish four line segments by connecting a plurality of different points, a maximum of six line segments are generated by connecting the four different points. In the present embodiment, it is assumed that a point in an image obtained by photographing with the mobile terminal 20 is used as Xc, and a point managed in the feature point database 301 is used as X ″. Matching can be performed by substituting the values of the numerical data managed in the database 301 one after another.

図４は、利用者がカメラ付き携帯端末（この例では携帯電話）で行う処理を説明する図である。利用者は、携帯端末２０を操作して、掲示板に描画された地形・区画を撮影しながら、撮影画像を電子掲示板コンピュータ１０に送信する。電子掲示板コンピュータは、画像認識サーバからの撮影画像の認識結果取得し、これに伴い利用者が選択した施設に関する情報を取得して表示する。 FIG. 4 is a diagram for explaining processing performed by a user using a camera-equipped mobile terminal (a mobile phone in this example). The user operates the portable terminal 20 to transmit the photographed image to the electronic bulletin board computer 10 while photographing the terrain / section drawn on the bulletin board. The electronic bulletin board computer acquires the recognition result of the captured image from the image recognition server, and acquires and displays information regarding the facility selected by the user.

まず、ステップ６０１において、利用者は携帯端末２０の電源を入れ、カメラ２０１の機能を利用可能な状態にする。ステップ６０２において、携帯端末２０でカメラ２０１を起動して、携帯端末２０のディスプレイで撮影対象を確認しながら、撮影した画像もしくは動画を所定間隔でネットワークを通じて電子掲示板コンピュータ１０に送付するためのアプリケーションを起動する。 First, in step 601, the user turns on the mobile terminal 20 to make the function of the camera 201 available. In step 602, an application for starting the camera 201 on the portable terminal 20 and sending a photographed image or video to the electronic bulletin board computer 10 through the network at predetermined intervals while confirming the photographing target on the display of the portable terminal 20. to start.

ステップ６０３において、掲示板４０１の地図上で指定された初期位置４０４を携帯端末２０のディスプレイで確認しながら、カメラ２０１の撮影視野に入れる。ステップ６０４において、掲示板４０１の地図上で利用者が目的とする施設２０５まで、ステップ６０２で起動したアプリケーションによって撮影を行いながら、ネットワークを通じて電子掲示板コンピュータ１０へ画像の送信を行う。ステップ６０５において、利用者が目的とする施設２０５がカメラ２０１の撮影視野に入り、携帯端末２０のディスプレイで表示された状態４０６になると、撮影に伴う移動を停止し、目的とする施設が携帯端末２０に表示された状態で、目的施設を決定するための操作（決定ボタンの操作）を行う。この情報は電子掲示板コンピュータを介して画像認識サーバに伝送される。 In step 603, the initial position 404 designated on the map of the bulletin board 401 is entered in the field of view of the camera 201 while being confirmed on the display of the portable terminal 20. In step 604, the image is transmitted to the electronic bulletin board computer 10 through the network while photographing with the application started in step 602 up to the facility 205 intended by the user on the map of the bulletin board 401. In step 605, when the facility 205 intended by the user enters the field of view of the camera 201 and is displayed 406 on the display of the portable terminal 20, the movement associated with the photographing is stopped, and the target facility becomes the portable terminal. In the state displayed at 20, an operation for determining the target facility (operation of the determination button) is performed. This information is transmitted to the image recognition server via the electronic bulletin board computer.

ステップ６０６において、電子掲示板コンピュータは、画像認識サーバからの撮影画像の認識結果を取得し、これに伴い利用者が選択した施設に関する情報を施設データベースを参照して取得し、カメラ２０１の視野に入った施設の施設名（複数ある場合は施設名一覧）を携帯端末２０のディスプレイに表示する（図２ｂ参照）。ステップ６０７において、利用者は、ステップ６０６で得られた施設名一覧の中から、さらに詳しい情報の入手を希望する施設名の選択する操作を行うかどうかを決定し、操作を行う場合には、ステップ６０８において、施設名を選択した施設に関する詳細な情報を電子掲示板コンピュータから受け取り、携帯端末２０のディスプレイに表示する（図２ｃ参照）。 In step 606, the electronic bulletin board computer acquires the recognition result of the photographed image from the image recognition server, acquires information regarding the facility selected by the user with reference to the facility database, and enters the field of view of the camera 201. The facility name of the facility (if there are a plurality of facility names) is displayed on the display of the portable terminal 20 (see FIG. 2b). In step 607, the user determines whether or not to perform an operation of selecting a facility name for which more detailed information is desired from the facility name list obtained in step 606. In step 608, detailed information regarding the facility whose facility name is selected is received from the electronic bulletin board computer and displayed on the display of the portable terminal 20 (see FIG. 2c).

図５は、電子掲示板コンピュータの処理を説明する図である。電子掲示板コンピュータ１０は、掲示板に表示した地域（周辺地域）の地図データおよび地域内にある各施設に関する情報（地図データおよび施設データ）を管理する。また、利用者の持つ携帯端末２０と送受信を行い、利用者がカメラ２０１で撮影した地図画像を画像認識サーバ３０に送付し、地図画像の認識結果を受け取る。また、この認識結果をもとに利用者が選択した施設に関する情報を利用者が持つ携帯端末に送信する。 FIG. 5 is a diagram for explaining processing of the electronic bulletin board computer. The electronic bulletin board computer 10 manages the map data of the area (surrounding area) displayed on the bulletin board and information (map data and facility data) regarding each facility in the area. Further, the user performs transmission / reception with the mobile terminal 20 possessed by the user, sends the map image taken by the user with the camera 201 to the image recognition server 30, and receives the recognition result of the map image. In addition, information on the facility selected by the user based on the recognition result is transmitted to the mobile terminal held by the user.

まず、ステップ７０１において、掲示板４０１が設置されている周辺地域の地形、区画が造成などによって変更があり、地図データ１０７や特徴点データベース３０１の内容に変更が必要か否かを判別する。ステップ７０１の判別の結果、変更が必要ならば、ステップ７０２において周辺地域の地形、区画等の変更に併せて地図データ１０７や特徴点データベース３０１の内容に変更を行う。ステップ７０３において、店舗の入れ替え、改装、改築、場所の移動などによって、施設の基本情報の変更、追加や、新商品の発売開始やキャンペーン、特売等の広告等、変更や追加があるか否かを判別する。ステップ７０３の判別の結果、変更・追加が必要であれば、ステップ７０４において、施設の情報を管理している施設データベース１０１の対応する項目に関して、変更・追加を行う。 First, in step 701, it is determined whether or not there is a change in the terrain or section of the surrounding area where the bulletin board 401 is installed due to the creation of the map data 107 or the feature point database 301. As a result of the determination in step 701, if a change is necessary, in step 702, the contents of the map data 107 and the feature point database 301 are changed in accordance with the change of the terrain, sections, etc. of the surrounding area. In step 703, whether or not there is a change or addition of basic information about the facility, change, addition of new information, advertisements for launch of new products, campaigns, special sales, etc. due to store replacement, renovation, renovation, location movement, etc. Is determined. If it is necessary to change / add as a result of the determination in step 703, in step 704, the corresponding item in the facility database 101 managing the facility information is changed / added.

ステップ７０５において、利用者から携帯端末２０を用いて地図を撮影した画像の送付が行われたか否かを判別する。ステップ７０５の判別の結果、利用者による画像の送付が行われた場合は、ステップ７０６において画像の認識を行うために、受信した画像を画像認識サーバ３０に伝送する。ステップ７０７において、画像認識サーバ３０から、利用者が携帯端末２０で撮影した画像が正常に認識されたか否かの判別結果を受信する。正常に認識された場合は、ステップ７０８において、画像認識サーバ３０より掲示板上において画像が撮影された範囲とその代表点の座標が送られる。ステップ７０７において正常に認識できなかった場合は、ステップ７０９において、認識が不可能である旨の通知を画像認識サーバより受け取り、利用者の携帯端末２０のディスプレイに表示する。 In step 705, it is determined whether or not the user has sent an image obtained by photographing a map using the mobile terminal 20. If it is determined in step 705 that the image has been sent by the user, the received image is transmitted to the image recognition server 30 in order to recognize the image in step 706. In step 707, a determination result is received from the image recognition server 30 as to whether or not the image captured by the user with the mobile terminal 20 has been normally recognized. If the image is recognized normally, in step 708, the image recognition server 30 sends the range where the image was shot on the bulletin board and the coordinates of the representative point. If the recognition is not successful in step 707, a notification indicating that the recognition is impossible is received from the image recognition server in step 709 and displayed on the display of the user's portable terminal 20.

ステップ７１０において、撮影された範囲内に立地する施設を施設データベース１０１より検索し、認識結果を利用者の携帯端末２０のディスプレイに表示する。ステップ７１１において、利用者が所持する携帯端末２０を用いて、認識した施設に関するさらに詳しい情報を閲覧するための操作を行ったか否かを判別する。利用者がさらに詳しい情報を得るための操作を行ったと判定した場合は、ステップ７１２において、利用者が携帯端末２０を操作して選択した施設に関する情報を施設データベース１０１から取得して利用者に配信する。ステップ７１３において、続けて認識を行うか否かを判別し、行う場合にはステップ７０５から改めて処理を行う。 In step 710, the facility database 101 is searched for facilities located within the photographed range, and the recognition result is displayed on the display of the user's portable terminal 20. In step 711, it is determined whether or not an operation for browsing more detailed information regarding the recognized facility has been performed using the mobile terminal 20 possessed by the user. If it is determined that the user has performed an operation for obtaining more detailed information, in step 712, information regarding the facility selected by the user operating the mobile terminal 20 is acquired from the facility database 101 and distributed to the user. To do. In step 713, it is determined whether or not to continue recognition. If so, processing is performed again from step 705.

図６は、画像認識サーバ３０の処理を説明する図である。画像認識サーバ３０は、利用者がカメラ付き携帯端末２０を用いて撮影した掲示板の一部区画の撮影画像を電子掲示板コンピュータ１０を介して受信し、撮影された画像が地図中のどの部分を撮影したものなのかを認識して、認識結果を電子掲示板コンピュータ１０に送信する。この図の例では、図３で示した計算手法を用いて処理を行う。 FIG. 6 is a diagram for explaining processing of the image recognition server 30. The image recognition server 30 receives a photographed image of a section of the bulletin board photographed by the user using the camera-equipped mobile terminal 20 via the electronic bulletin board computer 10, and shoots which part of the photographed image in the map. The recognition result is transmitted to the electronic bulletin board computer 10. In the example of this figure, processing is performed using the calculation method shown in FIG.

まず、ステップ８０１において、利用者が携帯端末２０を操作して掲示板４０１に表示された地図を撮影した画像を、電子掲示板コンピュータ１０を介して受信し、受信した画像に二値化や細線化などの画像処理を施し、画像を特徴付ける特徴点を抽出する。例えば、８１２に示す元画像から、８１３に示すように細線化を行い、線分の交点を特徴点として抽出する。ステップ８０２において、ステップ８０１の処理により得られた画像の特徴点が４点以上存在するか否かを判別する。４点以上の特徴点の存在が確認できる場合には、ステップ８０３において、特徴点の４点間を結ぶ６本の線分を決定する。ステップ８０２において、４点以上の特徴点の存在が確認できない場合は、ステップ８０４において、利用者の携帯端末２０に、現在携帯端末２０から受信した画像は、認識不可であることを通知する。 First, in step 801, an image obtained by photographing a map displayed on the bulletin board 401 by the user operating the portable terminal 20 is received via the electronic bulletin board computer 10, and binarization, thinning, etc. are performed on the received image. Image processing is performed, and feature points characterizing the image are extracted. For example, thinning is performed as indicated by 813 from the original image indicated by 812, and intersections of the line segments are extracted as feature points. In step 802, it is determined whether or not there are four or more feature points of the image obtained by the processing in step 801. If the presence of four or more feature points can be confirmed, in step 803, six line segments connecting the four feature points are determined. If the presence of four or more feature points cannot be confirmed in step 802, in step 804, the user's portable terminal 20 is notified that the image currently received from the portable terminal 20 cannot be recognized.

次に、ステップ８０５において、特徴点間を結ぶ６本の線分から、長さを計算する４本の線分を決定する。例えば、８１４のように４点間の６本の線分から、４本の線分を選択する。ステップ８０６において、画像の特徴点を結ぶ４本の線分の長さを計算した値と、特徴点データベース３０１にて管理しているあらかじめ抽出された特徴点の候補から選ばれた４点間の距離をすべての特徴点の候補に対して計算を行い、画像中の４点の特定を行う。 Next, in step 805, four line segments for calculating the length are determined from the six line segments connecting the feature points. For example, four line segments are selected from six line segments between four points as in 814. In step 806, between the values calculated from the lengths of the four line segments connecting the feature points of the image and the four points selected from the previously extracted feature point candidates managed in the feature point database 301 The distance is calculated for all feature point candidates, and four points in the image are specified.

ステップ８０７において、画像の４つの特徴点を結ぶ６本の線分のうち、ステップ８０６で計算に用いられなかった残りの二本の線分と、特徴点データベース３０１から選ばれた特徴点の候補を結ぶ二本の線分の距離を計算することで検算を行う。例えば、８１５のように４点間で距離の計算を行わなかった残りの２本の線分から、検算を行う。 In step 807, among the six line segments connecting the four feature points of the image, the remaining two line segments not used in the calculation in step 806 and the feature point candidates selected from the feature point database 301 The verification is performed by calculating the distance between the two line segments connecting. For example, the verification is performed from the remaining two line segments in which the distance is not calculated between four points as in 815.

ステップ８０８において、解の候補として選ばれた画像中の４つの特徴点と、その特徴点に対応する特徴点データベース３０１で管理している点は、関係式を用いて計算した結果、あらかじめ設定した誤差内に収まって対応しているか否かを判別する。対応していると判断できる場合は、ステップ８０９において、得られた４点の特徴点を、特徴点データベース３０１にて管理している４点として特定する。ステップ８０８において、対応していると判断できないときは、特徴点データベースで選択した特徴点の候補が間違っていたと判断し、候補を選びなおす。 In step 808, the four feature points in the image selected as the solution candidate and the points managed in the feature point database 301 corresponding to the feature points are set in advance as a result of calculation using relational expressions. It is determined whether or not the error is accommodated. If it can be determined that they correspond, in step 809, the obtained four feature points are identified as the four points managed in the feature point database 301. If it cannot be determined in step 808 that the feature points correspond to each other, it is determined that the feature point candidate selected in the feature point database is wrong, and the candidate is selected again.

ステップ８１０において、携帯端末２０のカメラ２０１が撮影した視野の範囲を特定する。ステップ８１１において、ステップ８１０において特定した撮影範囲を電子掲示板コンピュータ１０に通知する。なお、図６に示す認識処理に代えて、一般的な写真画像の画像認識を行う手法を用いることができる。 In step 810, the range of the field of view taken by the camera 201 of the mobile terminal 20 is specified. In step 811, the electronic bulletin board computer 10 is notified of the shooting range specified in step 810. Instead of the recognition process shown in FIG. 6, a general technique for recognizing a photographic image can be used.

図７は、電子掲示板コンピュータ１０が管理する施設データベース１０１を説明する図である。施設データベース１０１は、周辺地域の施設とその案内情報、例えば地図に表示する周辺地域内に立地する施設に関連して地図内での表示位置や店舗の立地場所、利用者にアピールを行うための施設の連絡先や広告のための商品画像等のコンテンツを格納している。 FIG. 7 is a diagram for explaining the facility database 101 managed by the electronic bulletin board computer 10. The facility database 101 is used for appealing to the facility in the surrounding area and its guidance information, for example, the display position in the map, the location of the store, and the user in relation to the facility located in the surrounding area to be displayed on the map. Contents such as facility contact information and product images for advertisement are stored.

図において、テーブル９０１は地図で描画されている周辺地域内に立地する施設に対してそれぞれ与えられる固有番号であり、行の数は情報サービスを利用者に提供可能な施設の総数だけ存在する。テーブル９０２はテーブル９０１で固有番号を与えられた施設の名称であり、利用者が施設の検索を行った時には、店名や施設名として携帯端末２０のディスプレイに表示される。テーブル９０３はテーブル９０１で固有番号を与えられた施設に関して、地図上の座標であり、利用者が撮影している画像の撮影範囲を認識したときに、視野内に含んでいる施設を確定するために用いる。テーブル９０４はテーブル９０１で固有番号を与えられた施設の住所であり、利用者が施設の検索を行ったときには、施設が立地する住所として携帯端末２０のディスプレイに表示される。テーブル９０５はテーブル９０１で固有番号を与えられた施設の連絡先であり、利用者が施設の検索を行ったときには、電話番号や電子メールアドレスなどの施設と連絡をとるための連絡先として携帯端末２０のディスプレイに表示される。テーブル９０６はテーブル９０１で固有番号を与えられた施設の種別であり、利用者が施設の検索を行ったときには、施設の業種や利用目的として携帯端末２０のディスプレイに表示される。テーブル９０７はテーブル９０１で固有番号を与えられた施設に関して、利用者に向けた広告・宣伝・告知などの基本情報であり、施設に関するテキスト文章であったり、視覚的に効果のある画像データ、ムービーデータのファイルを一意に示す固有番号であり、利用者にアピールを行う広告等のための商品画像等のコンテンツとして、携帯端末２０のディスプレイに表示される。 In the figure, a table 901 is a unique number given to each facility located in the surrounding area drawn on the map, and there are as many rows as the total number of facilities that can provide information services to users. The table 902 is the name of the facility given the unique number in the table 901, and is displayed on the display of the portable terminal 20 as the store name or facility name when the user searches for the facility. The table 903 is a coordinate on the map regarding the facility given the unique number in the table 901, and is used to determine the facility included in the field of view when the photographing range of the image photographed by the user is recognized. Used for. The table 904 is an address of the facility given the unique number in the table 901. When the user searches for the facility, the table 904 is displayed on the display of the portable terminal 20 as the address where the facility is located. A table 905 is a facility contact given a unique number in the table 901. When a user searches for a facility, a portable terminal is used as a contact for contacting the facility such as a telephone number or an e-mail address. It is displayed on 20 displays. The table 906 is a type of facility given a unique number in the table 901. When a user searches for a facility, the table 906 is displayed on the display of the portable terminal 20 as the type of business of the facility and the purpose of use. The table 907 is basic information such as advertisements / advertising / notifications for the facilities given the unique numbers in the table 901. The table 907 is a text sentence related to the facilities, and is visually effective image data and movies. This is a unique number that uniquely indicates the data file, and is displayed on the display of the mobile terminal 20 as content such as a product image for an advertisement or the like that appeals to the user.

なお、以上の例では携帯端末２０のディスプレイに表示したが、電子掲示板コンピュータのディスプレイ１０６に表示しても良い。 In addition, although displayed on the display of the portable terminal 20 in the above example, you may display on the display 106 of an electronic bulletin board computer.

図８は、画像認識サーバ２０が管理する特徴点データベース３０１を説明する図である。特徴点データベース１０１は、画像認識サーバ２０が図６に示す処理を行う際の画像認識プロセスにおいて、利用者が撮影した撮影画像の画像処理によって得られた特徴点と比較することにより、前記撮影画像が示している地図上の地形・区画を認識するために用いられる数値化されたテンプレートをデータベースとして管理している。 FIG. 8 is a diagram illustrating the feature point database 301 managed by the image recognition server 20. The feature point database 101 compares the captured image with the feature points obtained by image processing of the captured image taken by the user in the image recognition process when the image recognition server 20 performs the processing shown in FIG. It manages as a database a digitized template used to recognize the terrain / section on the map.

図において、テーブル１００１は、地図上で描画されている地形・区画の特徴を点で現す特徴点に対してそれぞれ与えられる固有番号であり、行の数は特徴点の総数分存在する。テーブル１００２は、テーブル１００１で固有番号が与えられた特徴点の地図上の座標を数値で表したものであり、利用者が携帯端末２０を用いて撮影した画像が示している地図上の地形・区画を画像処理した結果得られた特徴点と比較を行うために用いられる。 In the figure, a table 1001 is a unique number given to each feature point that represents the feature of the topography / section drawn on the map as a point, and there are as many rows as the total number of feature points. The table 1002 is a numerical representation of the coordinates on the map of the feature point given the unique number in the table 1001, and the terrain / map on the map indicated by the image captured by the user using the mobile terminal 20. It is used to compare with the feature points obtained as a result of image processing of the section.

以上説明したように、本実施形態によれば、周辺地域の地図を表示した掲示板の一部区画を撮影した画像をもとに、撮影場所を特定し、特定した場所に含まれる施設の詳細情報を表示するので、目的地までの道順を確認しつつ、その目的地の詳細情報を得ることができる。また、目的地があいまいな利用者にとっては、地図を見ながら地域内の施設をリアルタイムで比較しながら、目的地を決めることができる。また、利用者は地図情報の他、自分が気になる施設の情報を、自分が所有する携帯端末を用いて閲覧し、利用することができる。 As described above, according to the present embodiment, the shooting location is specified based on an image obtained by shooting a partial section of a bulletin board displaying a map of the surrounding area, and detailed information on the facilities included in the specified location Is displayed, it is possible to obtain detailed information of the destination while confirming the route to the destination. In addition, for a user whose destination is ambiguous, the destination can be determined while comparing the facilities in the region in real time while looking at the map. In addition to the map information, the user can browse and use information on facilities that he / she is interested in using his / her own portable terminal.

地域案内システムの全体構成を説明する図である。It is a figure explaining the whole area guidance system composition. 利用者が案内サービスを受ける際の操作を説明する図である。It is a figure explaining operation when a user receives guidance service. 掲示板を斜め方向から撮影した画像と、地図画像をもとに作成した特徴点データベースとのマッチングを行う際の座標変換処理を説明する図である。It is a figure explaining the coordinate conversion process at the time of matching with the image which image | photographed the bulletin board from the diagonal direction, and the feature point database produced based on the map image. 利用者がカメラ付き携帯端末で行う処理を説明する図である。It is a figure explaining the process which a user performs with a portable terminal with a camera. 電子掲示板コンピュータの処理を説明する図である。It is a figure explaining the process of an electronic bulletin board computer. 画像認識サーバの処理を説明する図である。It is a figure explaining the process of an image recognition server. 電子掲示板コンピュータが管理する施設データベースを説明する図である。It is a figure explaining the facility database which an electronic bulletin board computer manages. 画像認識サーバが管理する特徴点データベースを説明する図である。It is a figure explaining the feature point database which an image recognition server manages.

Explanation of symbols

１０電子掲示板コンピュータ
２０携帯端末
３０画像認識サーバ
１０１施設データベース
１０２携帯電話基地局アンテナ
１０３近距離無線通信アンテナ
１０４赤外線通信装置
１０５メモリカード用スロット
１０６ディスプレイ
２０１カメラ
２０２近距離無線通信装置
２０３赤外線通信装置
２０４メモリカード
２０５メモリカード用スロット
３０１特徴点データベース DESCRIPTION OF SYMBOLS 10 Electronic bulletin board computer 20 Mobile terminal 30 Image recognition server 101 Facility database 102 Mobile phone base station antenna 103 Near field communication antenna 104 Infrared communication device 105 Memory card slot 106 Display 201 Camera 202 Near field communication device 203 Infrared communication device 204 Memory card 205 Memory card slot 301 Feature point database

Claims

A bulletin board displaying a map of the surrounding area,
An electronic bulletin board computer provided with a map database storing map information of the surrounding area, and a facility database storing the facility of the surrounding area and its guidance information;
A feature point database storing feature points of the map of the surrounding area is provided, images obtained by capturing a part of the bulletin board are sequentially received from the terminal, and the position of the received image on the map is referred to the feature point database. An image recognition server to recognize
The electronic bulletin board computer receives the position information on the map of the image received from the image recognition server, and searches for the facility and the facility guide information included in the received image based on the received position information. A regional guidance system for transmitting information to the terminal.

The geographical guidance system according to claim 1,
The electronic bulletin board computer displays identification information in each facility and transmits it to the terminal when a plurality of facilities are included in the received image based on the received position information.

The geographical guidance system according to claim 1,
A bulletin board displaying a map of a surrounding area includes a guidance display of a section to be photographed first on a terminal.

The geographical guidance system according to claim 1,
An electronic bulletin board computer, based on a request from a terminal, transmits detailed information to the terminal in addition to facility guidance information included in the received image.

The geographical guidance system according to claim 1,
The electronic bulletin board computer is provided with a display for displaying facilities included in received images and facility guidance information.