JP2013142956A - Photographing object retrieval system - Google Patents

Photographing object retrieval system Download PDF

Info

Publication number
JP2013142956A
JP2013142956A JP2012002019A JP2012002019A JP2013142956A JP 2013142956 A JP2013142956 A JP 2013142956A JP 2012002019 A JP2012002019 A JP 2012002019A JP 2012002019 A JP2012002019 A JP 2012002019A JP 2013142956 A JP2013142956 A JP 2013142956A
Authority
JP
Japan
Prior art keywords
search
information
photographing
imaging
option selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012002019A
Other languages
Japanese (ja)
Other versions
JP5788810B2 (en
Inventor
Tadashi Sasagawa
正 笹川
Yoichi Sugimoto
陽一 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pasco Corp
Original Assignee
Pasco Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pasco Corp filed Critical Pasco Corp
Priority to JP2012002019A priority Critical patent/JP5788810B2/en
Publication of JP2013142956A publication Critical patent/JP2013142956A/en
Application granted granted Critical
Publication of JP5788810B2 publication Critical patent/JP5788810B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a user-friendly photographing object retrieval system in which high retrieval accuracy can be kept.SOLUTION: The photographing object retrieval system comprises a retrieval server 1 and a photographing device 3 which obtains an azimuth and a position of a photographing object displayed on a display unit 2 and outputs them to the retrieval server 1. The retrieval server 1 includes: a map database 4 storing map information on a region including a photographing position transmitted from the photographing device 3; retrieval means 6 retrieving a building indicated by a retrieval vector having a direction specified by photographing azimuth information, with a photographing position information set in a map space in the map database 4 as an origin; an option selection information addition unit 7 adding option selection information to the retrieval result and generating a display screen to be displayed on the display unit 2 of the photographing device 3; and a final retrieval result generation unit 8 generating a retrieval result image corresponding to the option selection information selected in the photographing device 3.

Description

本発明は、撮影対象検索システムに関するものである。   The present invention relates to a photographing object search system.

利用者が指示する方向の存在する対象物を特定するための装置としては、特許文献１に記載のものが知られている。   As an apparatus for specifying an object having a direction instructed by a user, an apparatus described in Patent Document 1 is known.

この従来例において、装置は、装置の現在位置を取得する位置情報取得部と、装置の向きを検出する方位情報取得部とを有し、利用者が装置を対象物に向けると、位置情報と方位情報が検索センターに送信される。検索センターは対象物データベースを有しており、装置から送信された位置情報と方位情報とが合致する対象物を検索して出力する。   In this conventional example, the device has a position information acquisition unit that acquires the current position of the device, and an orientation information acquisition unit that detects the orientation of the device, and when the user points the device toward the object, the position information Direction information is transmitted to the search center. The search center has an object database, and searches for and outputs an object whose position information and orientation information transmitted from the apparatus match.

検索時には、対象物の種類等を予め選択しておくことができ、さらに、検索結果が複数ある場合には、その候補が装置の表示部に表示され、利用者により選択された対象についての情報が表示される。   When searching, the type of object can be selected in advance, and if there are multiple search results, the candidates are displayed on the display unit of the device, and information about the object selected by the user Is displayed.

特開２００１-２１６３０９号公報Japanese Patent Laid-Open No. 2001-216309

しかし、上述した従来例において、装置からの検索要求に対して検索センターが１対１対応して検索結果を返す構成を取るために、装置からの検索要求に対して複数の候補を示す必要がある場合、さらに、各候補に追加的な情報が付随している場合には、候補情報の全てを装置内のメモリに格納する必要があり、装置に大きなメモリを必要とするという問題がある。また、検索対象の種類等を指定して検索する場合には、予めサーバ側の対象物データベースでの検索キー項目を装置内に記憶しておく必要があるために、使い勝手が非常に悪いという問題がある。   However, in the conventional example described above, it is necessary to indicate a plurality of candidates for the search request from the device in order to adopt a configuration in which the search center returns the search result in one-to-one correspondence to the search request from the device. In some cases, if additional information is associated with each candidate, it is necessary to store all of the candidate information in a memory in the apparatus, which requires a large memory in the apparatus. Also, when searching by specifying the type of search target, etc., it is necessary to store the search key item in the server-side object database in advance in the apparatus, so that the usability is very bad. There is.

さらに、一次検索の結果だけでは、例えば都市部でのＧＰＳの精度低下がそのまま検索精度の低下につながる等、検索精度が観察環境に影響を受けるために、安定的に高い検索精度を保持することができないという問題がある。かかる問題を解決するために、上述した従来例においては、距離情報等を重畳して検索精度の向上を図っているが、この場合、撮影装置に距離計測手段等を付加する必要が発生するために、装置の構造が複雑になる上に、装置のコスト上昇も惹起する。   Furthermore, because the search accuracy is affected by the observation environment, for example, a decrease in the accuracy of GPS in urban areas directly leads to a decrease in the search accuracy, the result of the primary search alone can maintain a high search accuracy stably. There is a problem that can not be. In order to solve such a problem, in the above-described conventional example, distance information or the like is superimposed to improve the search accuracy. However, in this case, it is necessary to add a distance measuring unit or the like to the photographing apparatus. In addition, the structure of the apparatus is complicated, and the cost of the apparatus is increased.

本発明は以上の欠点を解消すべくなされたものであって、高い検索精度を維持することが可能で、かつ、使い勝手の良好な撮影対象検索システムの提供を目的とする。また、本発明の他の目的は、上記撮影対象検索システムに使用可能な検索サーバの提供にある。   The present invention has been made to solve the above drawbacks, and an object of the present invention is to provide a photographing object search system that can maintain high search accuracy and is easy to use. Another object of the present invention is to provide a search server that can be used in the photographing object search system.

本発明によれば上記目的は、
検索サーバ１と、
表示部２に撮影対象を表示させた際の方位、および撮影位置を取得して前記検索サーバ１に出力する撮影装置３とを有し、
前記検索サーバ１は、
前記撮影装置３から送信される撮影位置を含む領域の地図情報を格納した地図データベース４と、
前記地図データベース４内の地図空間内に設定された撮影位置情報を始点として撮影方位情報により指定される方向をもつ検索ベクトル５が指示する建物を検索する検索手段６と、
検索結果にオプション選択情報を付加して撮影装置３の表示部２への表示画面を生成するオプション選択情報付加部７と、
前記撮影装置３において選択されたオプション操作に対応した検索結果画像を生成する最終検索結果生成部８とを有する撮影対象検索システムを提供することにより達成される。 According to the present invention, the object is
Search server 1;
An imaging device 3 that acquires an orientation and an imaging position when the imaging object is displayed on the display unit 2 and outputs the acquired imaging position to the search server 1;
The search server 1
A map database 4 storing map information of an area including a photographing position transmitted from the photographing device 3;
Search means 6 for searching for a building indicated by a search vector 5 having a direction specified by shooting direction information, starting from shooting position information set in the map space in the map database 4;
An option selection information adding unit 7 that adds option selection information to the search result to generate a display screen on the display unit 2 of the photographing apparatus 3;
This is achieved by providing a photographing object search system having a final search result generation unit 8 for generating a search result image corresponding to the optional operation selected in the photographing apparatus 3.

本発明において撮影装置３は、表示部２に撮影対象を表示させた際の方位、撮影位置情報をジャイロ、あるいは電子コンパス等の撮影方位取得手段１０とＧＰＳ等の撮影位置取得手段１１とから取得し、検索サーバ１に出力する。   In the present invention, the photographing apparatus 3 obtains the orientation and photographing position information when the photographing object is displayed on the display unit 2 from the photographing orientation obtaining means 10 such as a gyroscope or an electronic compass and the photographing position obtaining means 11 such as a GPS. And output to the search server 1.

撮影装置３から撮影位置情報等を受信した検索サーバ１は、地図空間内に設定したカメラ位置から方位情報が示す方向をもつ検索ベクトル５を設定して撮影装置３が示す建物を特定し、この特定情報にオプション選択情報を付加して撮影装置３に送信して撮影装置３に設けられるファインダ等の表示部２に表示させる。   The search server 1 that has received the shooting position information and the like from the shooting device 3 sets a search vector 5 having a direction indicated by the azimuth information from the camera position set in the map space, and specifies the building indicated by the shooting device 3. Option selection information is added to the specific information and transmitted to the photographing apparatus 3 to be displayed on the display unit 2 such as a finder provided in the photographing apparatus 3.

オプション選択情報には、ビルディングのフロアー選択、フロアー内の店舗選択、あるいは店舗等でのバーゲン情報表示の要否、さらにはＧＰＳの誤差を考慮した複数の建物の候補を含めることが可能であり、これらのオプション選択情報を利用者が選択して検索サーバ１に送信すると、検索サーバ１は、オプション選択情報に応じた情報を検索して撮影装置３に出力して表示部２に表す。   Option selection information can include building floor selection, store selection within the floor, or the necessity of bargain information display at stores etc., as well as multiple building candidates that take into account GPS errors, When the user selects the option selection information and transmits it to the search server 1, the search server 1 searches for information corresponding to the option selection information, outputs the information to the photographing apparatus 3, and displays it on the display unit 2.

一次検索結果をオプション選択情報とともに撮影装置３に送信し、利用者の選択に従って再度検索サーバ１で必要な検索を行って撮影装置３に最終結果を送信する本発明において、検索サーバ１と撮影装置３との間での１回の交信におけるデータ通信量を必要最小限に抑えることができるために、検索時の応答性が向上する上に、撮影装置３に大きなメモリを確保する必要がなくなる。   In the present invention, a primary search result is transmitted to the photographing apparatus 3 together with option selection information, a necessary search is again performed by the search server 1 according to the user's selection, and the final result is transmitted to the photographing apparatus 3. Since the amount of data communication in one communication with 3 can be minimized, the response at the time of search is improved and it is not necessary to secure a large memory in the photographing apparatus 3.

また、一般に都市部等においては、ビルにより衛星からの電波が遮断されることが多くなるために、撮影位置を特定するためのＧＰＳの誤差が大きくなることが知られているが、上述したように、一次検索結果をＧＰＳの誤差を見込んだオプション選択情報として提供することにより、より正確な情報を提供することができる。   In general, in urban areas and the like, radio waves from satellites are often blocked by buildings, so it is known that the GPS error for specifying the shooting position becomes large. In addition, more accurate information can be provided by providing the primary search result as option selection information that allows for GPS errors.

さらに、一時検索結果から再度オプション選択情報に基づいた検索を行うことによって
、例えば、最初の検索により検索された領域の近くにある特定が容易な建物をオプション
選択情報として提供し、利用者が当該建物に装置を向けたときの方位情報から検索サーバ
１で位置情報を修正し、その後、修正位置情報をもとに一次検索を行うことによって、Ｇ
ＰＳの誤差を修正してより正確な検索を行うことが可能になる。 Furthermore, by performing a search based on the option selection information again from the temporary search results, for example, a building that is easy to identify near the area searched by the first search is provided as the option selection information, and the user can By correcting the position information by the search server 1 from the direction information when the device is directed to the building, and then performing a primary search based on the corrected position information, G
It becomes possible to correct the PS error and perform a more accurate search.

また、前記撮影装置３は、表示部２に表示される撮影対象への焦点合致を条件に前記検索サーバ１との交信を開始する撮影対象検索システムを構成すると、検索対象を利用者が検索を意図する対象に限定することができるために、システムへの負担を可及的に軽減することが可能になる。   Further, when the photographing apparatus 3 constitutes a photographing target search system that starts communication with the search server 1 on the condition that the photographing target displayed on the display unit 2 is in focus, the user searches for the search target. Since it can be limited to the intended object, the burden on the system can be reduced as much as possible.

この場合、焦点合わせ完了の検知は、撮影装置３に組み込まれたオートフォーカス機構からの焦点合わせ完了信号によるものであっても、あるいは利用者によるシャッターの半押し等のフォーカスロック操作の検出によるものであってもよく、さらに、撮影装置３と検索サーバ１との交信開始条件には、焦点合致条件に加えて他の利用者による操作、例えば、シャッター開閉操作を条件とすることができる。   In this case, the detection of the completion of focusing is based on a focusing completion signal from an autofocus mechanism incorporated in the photographing apparatus 3 or by detecting a focus lock operation such as half-pressing the shutter by the user. Furthermore, in addition to the focus matching condition, an operation by another user, for example, a shutter opening / closing operation can be used as a condition for the communication start condition between the imaging device 3 and the search server 1.

上記地図データベース４には、２次元地図情報を使用することも可能であるが、３次元形状モデルを格納すると、撮影装置３から取得した位置情報に含まれる標高情報を検索に利用できるために、例えば、比較的高層のビルから低層のビル越しに高層のビルを見た場合にも、低層側のビルを誤って検索結果として示すことなく、所望の高層のビルを検索することができる。   The map database 4 can use 2D map information, but if a 3D shape model is stored, the altitude information contained in the position information acquired from the imaging device 3 can be used for searching. For example, when a high-rise building is viewed from a relatively high-rise building through a low-rise building, a desired high-rise building can be searched without erroneously indicating the low-rise building as a search result.

この場合、撮影装置３から取得した俯仰角情報を検索に使用すると、ビルの階数等を検索することも可能になる。   In this case, if the elevation / elevation angle information acquired from the imaging device 3 is used for the search, it is also possible to search for the number of floors of the building.

また、上記システムには、
撮影装置３との交信手段９と、
前記撮影装置３から送信される撮影位置を含む領域の地図情報を格納した地図データベース４と、
前記地図データベース４内の地図空間内に設定された撮影位置情報を始点として撮影方位情報により指定される方向の検索ベクトル５が指示する建物を検索する検索手段６と、
検索結果にオプション選択情報を付加して撮影装置３の表示部２への表示画面を生成するオプション選択情報付加部７と、
携帯型撮影装置３において選択されたオプション操作に対応した検索結果画像を生成する最終検索結果生成部８と、
を有する検索サーバを使用することができる。 In addition, the above system includes
Means 9 for communicating with the photographing device 3;
A map database 4 storing map information of an area including a photographing position transmitted from the photographing device 3;
Search means 6 for searching for a building indicated by a search vector 5 in a direction specified by shooting direction information, starting from shooting position information set in the map space in the map database 4;
An option selection information adding unit 7 that adds option selection information to the search result to generate a display screen on the display unit 2 of the photographing apparatus 3;
A final search result generation unit 8 that generates a search result image corresponding to the optional operation selected in the portable imaging device 3;
Can be used.

本発明によれば、使い勝手の低下を招くことなく検索精度を高めることができる。   According to the present invention, it is possible to improve the search accuracy without deteriorating usability.

本発明を示すブロック図である。It is a block diagram which shows this invention. 撮影対象検索システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of an imaging | photography target search system. 建物の検索手順を示す説明図で、（ａ）は平面図、（ｂ）は要部斜視図である。It is explanatory drawing which shows the search procedure of a building, (a) is a top view, (b) is a principal part perspective view.

図１に示すように、撮影対象検索システムは、検索サーバ１と、撮影装置３とから構成される。本例において撮影装置３には、情報処理機能が組み込まれるとともに、レンズ１２ａ、フォーカシング部１２ｂを備えるカメラ部１２を備えるカメラ付き携帯電話（スマートフォンを含む）が使用され、撮影装置３の装置筐体には、比較的広いＬＣＤ等の表示部２と、情報処理時のメニュー選択等に使用する操作部１３とが配置される。   As illustrated in FIG. 1, the photographing target search system includes a search server 1 and a photographing device 3. In this example, the photographing device 3 uses a camera-equipped mobile phone (including a smartphone) that includes a camera unit 12 that includes a lens 12a and a focusing unit 12b, and incorporates an information processing function. The display unit 2 such as a relatively wide LCD and the operation unit 13 used for menu selection at the time of information processing are arranged.

また、撮影装置３には、上記表示部２、操作部１３、カメラ部１２に加え、制御部３ａにより制御される撮影位置取得手段１１、撮影方位取得手段１０、俯仰角取得手段１４、および交信手段９が内蔵される。撮影位置取得手段１０は、ＧＰＳにより撮影装置３の位置を、撮影方位取得手段１０は、電子コンパス、あるいはジャイロによりレンズ１２ａの光軸方向の方位を、俯仰角取得手段１４は、ジャイロにより光軸の水平面に対する傾きを各々検出する。   In addition to the display unit 2, the operation unit 13, and the camera unit 12, the imaging device 3 includes an imaging position acquisition unit 11, an imaging direction acquisition unit 10, an elevation angle acquisition unit 14, and communication that are controlled by the control unit 3 a. Means 9 are incorporated. The photographing position acquisition means 10 is the position of the photographing device 3 by GPS, the photographing orientation acquisition means 10 is the direction of the optical axis direction of the lens 12a by an electronic compass or gyro, and the elevation angle acquisition means 14 is the optical axis by the gyro. The inclination of each with respect to the horizontal plane is detected.

カメラ部１２のフォーカシング部１２ｂは、適宜のオートフォーカス機構により形成され、制御部３ａは焦点合致状態になると撮影位置取得手段１１、撮影方位取得手段１０、および俯仰角取得手段１４から各々の情報を収集し、交信手段９によりインターネット等の適宜の通信網１５を経由して検索サーバ１に送信する。制御部３ａにおける焦点合致状態の検出は、オートフォーカス機構からのフォーカシング完了信号の検出によることも可能であるが、撮影装置３が撮影モードにセットされた状態での操作部１３の半押し等、利用者によるオートフォーカスロック操作の検出によることもできる。   The focusing unit 12b of the camera unit 12 is formed by an appropriate autofocus mechanism. When the control unit 3a is in a focused state, each information is obtained from the imaging position acquisition unit 11, the imaging direction acquisition unit 10, and the elevation angle acquisition unit 14. Collected and transmitted to the search server 1 by the communication means 9 via an appropriate communication network 15 such as the Internet. The control unit 3a can detect the in-focus state by detecting a focusing completion signal from the autofocus mechanism. However, the operation unit 13 is half-pressed while the photographing apparatus 3 is set in the photographing mode. It is also possible to detect the autofocus lock operation by the user.

一方、検索サーバ１は、制御部１ａにより制御されて動作するデータベース１６、検索手段６、オプション選択情報付加部７、および最終検索結果生成部８を有し、交信手段１ｂを介して通信網１５に接続される。   On the other hand, the search server 1 includes a database 16 that operates under the control of the control unit 1a, a search unit 6, an option selection information addition unit 7, and a final search result generation unit 8, and a communication network 15 via the communication unit 1b. Connected to.

データベース１６は、地図データベース４と補助データベース１６ａとから構成され、地図データベース４には、図３に示すように、位置情報を有する３次元形状モデルが格納される。３次元形状モデル内の各建物には、ＩＤが付されており、ＩＤを介して地図データベース４を構成する名称等の基本データにリンクすることができる。   The database 16 includes a map database 4 and an auxiliary database 16a. The map database 4 stores a three-dimensional shape model having position information as shown in FIG. Each building in the three-dimensional shape model is given an ID, and can be linked to basic data such as names constituting the map database 4 via the ID.

これに対し、補助データベース１６ａは、上記基本データに対する補助的、あるいは頻繁に書き換えられる一時的データ（オプション項目）が格納され、本例においては、商業ビル内の各階に入居しているテナント、あるいは売り場、さらには、テナント、売り場におけるバーゲン情報等が格納される。なお、補助データベース１６ａは複数のオプション項目を１つのデータベースとして構成する、あるいはオプション項目毎にデータベースを構成することができる。   On the other hand, the auxiliary database 16a stores auxiliary data for the basic data or temporary data (optional items) that are frequently rewritten. In this example, the tenant occupying each floor in the commercial building, or Store information, bargain information at the sales floor, tenant, sales floor, and the like are stored. The auxiliary database 16a can configure a plurality of option items as one database, or can configure a database for each option item.

検索手段６は、上記撮影装置３から送信された撮影位置、撮影方位、および俯仰角情報に基づいて、３次元形状モデル内の地物を特定する。図３は、撮影位置ｘを始点とし、撮影方位、および俯仰角情報に基づく検索ベクトルを設定した場合を示すもので、（ａ）は２次元表示を、（ｂ）はその３次元形状モデルを示す。なお、理解を容易にするために、これらモデル空間は、説明に必要な範囲についてのみ表示する。   The search means 6 specifies the feature in the three-dimensional shape model based on the photographing position, photographing orientation, and elevation / elevation angle information transmitted from the photographing device 3. FIG. 3 shows a case where a search vector is set based on the shooting position x and the shooting direction and elevation / elevation angle information. (A) shows a two-dimensional display, and (b) shows the three-dimensional shape model. Show. In order to facilitate understanding, these model spaces are displayed only for the range necessary for explanation.

本例は、ビルＸの前の道路上の点ｘから方位角（θ）、仰角（α）で撮影装置３を構えた場合のモデル上での検索線を示すもので、検索線は、ビルＸの正面にあるビルＢを指示しているために、検索手段６は検索対象がビルＢであることを出力する。   This example shows a search line on the model when the photographing apparatus 3 is held at an azimuth angle (θ) and an elevation angle (α) from a point x on the road in front of the building X. Since the building B in front of X is indicated, the search means 6 outputs that the search target is the building B.

オプション選択情報付加部７は、前記検索結果により得られた地物ＩＤをもとに補助データベース１６ａからオプション情報の有無を検索し、オプション情報がある場合には、検索手段６における検索結果にオプション情報を表示するか否か、複数種のオプション情報がある場合には、どの種類のオプション情報を表示するか等の選択情報を加えた出力データを生成する。   The option selection information adding unit 7 searches the auxiliary database 16a for the presence or absence of option information based on the feature ID obtained from the search result. When there is a plurality of types of option information whether or not to display information, output data including selection information such as which type of option information is displayed is generated.

最終検索結果生成部８は、制御部１ａが撮影装置３から送信された上記オプション選択に対する回答を受信した際に補助データベースから該当するデータを抽出して検索結果を交信手段９にセットし、撮影装置３に送信する。   The final search result generation unit 8 extracts the corresponding data from the auxiliary database when the control unit 1a receives the response to the option selection transmitted from the imaging device 3, sets the search result in the communication unit 9, and captures the image. Transmit to device 3.

なお、以上においてオプション選択情報付加部７は、最初の検索結果に連結するオプション情報を選択可能に構成される場合を示したが、これに加えて、一次検索結果の修正機能を付加することができる。この場合、ビルが密集している都市部においてはＧＰＳの誤差が生じやすくなるために、撮影位置情報の誤差を前提とした複数の候補からの選択を利用者に求める情報を生成する。   In the above description, the option selection information adding unit 7 is configured to be able to select option information linked to the first search result. In addition to this, a function for correcting the primary search result may be added. it can. In this case, in an urban area where buildings are densely populated, a GPS error is likely to occur. Therefore, information for requesting a user to select from a plurality of candidates based on an error in shooting position information is generated.

すなわち、図３に示す例においては、点ｘの位置に誤差があることを前提とすると、経験則上の誤差範囲（Ｒ）内の端縁部に設定した点から一次検索に使用した方位角（θ）、俯仰角（α）を使用して検索した結果、すなわち、ビルＢ、Ｇを候補とする選択要求画面を生成する。   That is, in the example shown in FIG. 3, assuming that there is an error in the position of the point x, the azimuth angle used for the primary search from the point set at the edge within the error range (R) based on the rule of thumb. As a result of the search using (θ) and the elevation angle (α), that is, a selection request screen with buildings B and G as candidates is generated.

なお、本例においては、ｘがビルの隙間の地面から浮揚した位置であることは考えられないとの想定に基づいて、地上で、かつ、路上にいるとの前提で誤差範囲を決定しているが、例えば、利用者がビルの２階でサービス提供を求めているような場合に対応するために、オプション選択情報付加部７は、オプション選択情報として、ビルの階数を含めることができ、ビル上階が指定された場合、検索手段６は階数から標高値を推定するとともに、方位情報を元にｘの範囲を道路に面したビル列に絞り込んだ複数の検索結果を抽出し、オプション選択情報付加部７はこれらを候補とした選択要求情報を生成する。   In this example, the error range is determined based on the assumption that x is a position levitated from the ground in the gap of the building, on the ground and on the road. However, for example, in order to cope with a case where the user requests service provision on the second floor of the building, the option selection information adding unit 7 can include the number of floors of the building as option selection information. When the upper floor of the building is specified, the search means 6 estimates the altitude value from the floor number, extracts a plurality of search results by narrowing the range of x to the building row facing the road based on the direction information, and selects an option The information adding unit 7 generates selection request information using these as candidates.

さらに、ＧＰＳの誤差を解消するためにオプション選択情報付加部７は以下のように構成することもできる。すなわち、地図データベース４には、著名性、目立ちやすさ等を考慮して適数の基準建物が予め設定されており、補助データベース１６ａに登録される。オプション選択情報付加部７は、一次検索結果とともに、近隣の基準建物をオプション選択情報として提示して当該基準建物への焦点合わせ操作を促す表示を行う。基準建物の指示は、ビル名称等のほかに、近隣から見たときの３次元モデル、あるいは当該基準建物に関する予め撮影された撮影画像の提示によることもできる。   Further, the option selection information adding unit 7 can be configured as follows in order to eliminate the GPS error. That is, an appropriate number of reference buildings are set in advance in the map database 4 in consideration of prominence and conspicuousness, and are registered in the auxiliary database 16a. The option selection information adding unit 7 presents a neighboring reference building as option selection information together with the primary search result, and performs display for prompting a focusing operation on the reference building. The instruction of the reference building can be made by presenting a three-dimensional model when viewed from the vicinity, or a photographed image taken in advance related to the reference building, in addition to the building name.

撮影装置３からオプション選択操作の結果としての方位、俯仰角情報を取得すると、この方位、俯仰角により基準建物が見える位置を位置情報として演算した後、一次検索時の位置情報を補正し、次いで、補正後の撮影位置情報に一次検索で使用した方位、俯仰角情報を適用して正しい建物を検索する。   When the azimuth / elevation angle information as a result of the option selection operation is acquired from the imaging device 3, after calculating the position where the reference building can be seen by the azimuth / elevation angle as position information, the position information at the time of the primary search is corrected, The correct building is searched by applying the azimuth and elevation angle information used in the primary search to the corrected shooting position information.

図２に上述した撮影対象検索システムの動作を示す。まず、利用者が撮影装置３を検索対象に向け、カメラ部１２において焦点合致が検出されると（ステップＣ１）、制御部３ａは撮影位置取得手段１１、撮影方位取得手段１０、および俯仰角取得手段１４から対応する情報を取得する（ステップＣ２）。この後制御部３ａは上記位置、方位、俯仰角情報を含む検索要求を生成して、交信手段９から検索サーバ１に送信し（ステップＣ３）、この後、検索サーバ１からの検索結果受信を待つ（ステップＣ４）。   FIG. 2 shows the operation of the photographing object search system described above. First, when the user directs the photographing device 3 to the search target and the camera unit 12 detects a focus match (step C1), the control unit 3a obtains the photographing position obtaining unit 11, the photographing azimuth obtaining unit 10, and the elevation angle obtaining. Corresponding information is acquired from the means 14 (step C2). Thereafter, the control unit 3a generates a search request including the position, azimuth, and elevation / elevation angle information and transmits it to the search server 1 from the communication means 9 (step C3). Thereafter, the search result reception from the search server 1 is received. Wait (step C4).

一方、検索サーバ１は、撮影装置３からの検索要求を受けると（ステップＳ１）、地図データベース４を検索して検索対象を抽出し（ステップＳ２）、さらに、抽出された建物等に対するオプション項目があるか否かを補助データベースにより検索する（ステップＳ３）。ステップＳ３においてオプション項目がない場合、あるいは上述したような位置情報の修正操作等のオプション選択情報がシステムの初期設定項目として選択、または設定されていない場合には、一次検索結果を最終結果として交信手段９にセットし、撮影装置３に出力する（ステップＳ６）。   On the other hand, when the search server 1 receives a search request from the imaging device 3 (step S1), the search server 1 searches the map database 4 to extract the search target (step S2), and the option item for the extracted building or the like is further displayed. It is searched from the auxiliary database whether or not there is (step S3). If there is no option item in step S3, or if option selection information such as the position information correction operation as described above is not selected or set as an initial setting item of the system, the primary search result is communicated as the final result. It is set in the means 9 and outputted to the photographing apparatus 3 (step S6).

これに対し、ステップＳ３においてオプション項目が抽出され、あるいはシステム初期項目として位置情報修正等が設定されている場合には、オプション選択情報付加部７において一次検索結果にオプション選択情報を付加し（ステップＳ４）、一次検索結果を撮影装置３に出力する（ステップＳ５）。   On the other hand, if option items are extracted in step S3 or position information correction or the like is set as an initial system item, option selection information adding unit 7 adds option selection information to the primary search result (step S3). S4) The primary search result is output to the photographing apparatus 3 (step S5).

撮影装置３は、検索サーバ１から検索結果を受信すると（ステップＣ４）、まず、送信情報を表示部２に表示し（ステップＣ５）、次いで、検索結果が一次検索結果、すなわち、オプション選択情報が付加されているか否かを判定し（ステップＣ６）、最終結果である場合には、処理を終了する。   When receiving the search result from the search server 1 (step C4), the imaging device 3 first displays transmission information on the display unit 2 (step C5), and then the search result is the primary search result, that is, option selection information is displayed. It is determined whether or not it has been added (step C6). If the result is the final result, the process ends.

また、ステップＣ６においてオプション選択情報が付加されている場合には、制御部３ａは操作部１３からのオプション選択操作を可能にして利用者による選択操作を待ち（ステップＣ７）、オプション選択操作が行われるとその結果であるオプション選択情報を検索サーバ１に出力し（ステップＣ８）、一次検索結果の受信を待つ。   When option selection information is added in step C6, the control unit 3a enables an option selection operation from the operation unit 13 and waits for a selection operation by the user (step C7), and the option selection operation is performed. Then, the option selection information as a result is output to the search server 1 (step C8), and reception of the primary search result is awaited.

１ 検索サーバ
２ 表示部
３ 撮影装置
４ 地図データベース
５ 検索ベクトル
６ 検索手段
７ オプション選択情報付加部
８ 最終検索結果生成部
９ 交信手段 DESCRIPTION OF SYMBOLS 1 Search server 2 Display part 3 Image pick-up device 4 Map database 5 Search vector 6 Search means 7 Option selection information addition part 8 Final search result generation part 9 Communication means

Claims (5)

検索サーバと、
表示部に撮影対象を表示させた際の方位、および位置を取得して前記検索サーバに出力する撮影装置とを有し、
前記検索サーバは、
前記撮影装置から送信される撮像位置を含む領域の地図情報を格納した地図データベースと、
前記地図データベース内の地図空間内に設定された撮影位置情報を始点として撮影方位情報により指定される方向をもつ検索ベクトルが指示する建物を検索する検索手段と、
検索結果にオプション選択情報を付加して撮影装置の表示部への表示画面を生成するオプション選択情報付加部と、
前記撮影装置において選択されたオプション選択情報に対応した検索結果画像を生成する最終検索結果生成部とを有する撮影対象検索システム。 A search server;
An imaging device that obtains the orientation and position when the imaging object is displayed on the display unit and outputs the acquired position to the search server;
The search server
A map database storing map information of an area including an imaging position transmitted from the imaging device;
Search means for searching for a building indicated by a search vector having a direction specified by shooting direction information starting from shooting position information set in the map space in the map database;
An option selection information adding unit for adding option selection information to the search result to generate a display screen on the display unit of the photographing apparatus;
An imaging target search system comprising: a final search result generation unit that generates a search result image corresponding to option selection information selected by the imaging apparatus. 前記撮影装置は、表示部に表示される撮影対象への焦点合致を条件に前記検索サーバとの交信を開始する請求項１記載の撮影対象検索システム。   The imaging object search system according to claim 1, wherein the imaging apparatus starts communication with the search server on condition that the imaging object displayed on the display unit is in focus. 前記地図データベースには、３次元形状モデルが格納される請求項１または２記載の撮影対象検索システム。   The imaging object search system according to claim 1, wherein a three-dimensional shape model is stored in the map database. 前記検索手段は、撮影装置の俯仰角情報を検索キーとして建物を検索する請求項３記載の撮影対象検索システム。   The imaging object search system according to claim 3, wherein the search means searches for a building using the elevation angle information of the imaging apparatus as a search key. 撮影装置との交信手段と、
前記撮影装置から送信される撮像位置を含む領域の地図情報を格納した地図データベースと、
前記地図データベース内の地図空間内に設定された撮影位置情報を始点として撮影方位情報により指定される方向の検索ベクトルが指示する建物を検索する検索手段と、
検索結果にオプション選択情報を付加して撮影装置の表示部への表示画面を生成するオプション選択情報付加部と、
携帯型撮影装置において選択されたオプション選択情報に対応した検索結果画像を生成する最終検索結果生成部と、
を有する検索サーバ。 Means for communicating with the imaging device;
A map database storing map information of an area including an imaging position transmitted from the imaging device;
Search means for searching for a building indicated by a search vector in a direction specified by shooting direction information starting from shooting position information set in a map space in the map database;
An option selection information adding unit for adding option selection information to the search result to generate a display screen on the display unit of the photographing apparatus;
A final search result generation unit that generates a search result image corresponding to the option selection information selected in the portable imaging device;
Search server with
JP2012002019A 2012-01-10 2012-01-10 Shooting target search system Active JP5788810B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012002019A JP5788810B2 (en) 2012-01-10 2012-01-10 Shooting target search system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012002019A JP5788810B2 (en) 2012-01-10 2012-01-10 Shooting target search system

Publications (2)

Publication Number Publication Date
JP2013142956A true JP2013142956A (en) 2013-07-22
JP5788810B2 JP5788810B2 (en) 2015-10-07

Family

ID=49039501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012002019A Active JP5788810B2 (en) 2012-01-10 2012-01-10 Shooting target search system

Country Status (1)

Country Link
JP (1) JP5788810B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015125210A1 (en) * 2014-02-18 2015-08-27 日立マクセル株式会社 Information display device and information display program
JP2016006612A (en) * 2014-06-20 2016-01-14 ソニー株式会社 Information processing device, information processing method, and program
WO2017007254A1 (en) * 2015-07-08 2017-01-12 고려대학교 산학협력단 Device and method for generating and displaying 3d map
KR20170011235A (en) * 2015-07-22 2017-02-02 주식회사 엘지씨엔에스 Structure image management method, image processing apparatus, and image inquiry apparatus
CN107836012A (en) * 2015-07-08 2018-03-23 高丽大学校产学协力团 Mapping method between projection image generation method and its device, image pixel and depth value

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1186027A (en) * 1997-07-11 1999-03-30 Werk Japan:Kk Image display method
JP2001216309A (en) * 2000-01-31 2001-08-10 Keio Gijuku Object specifying device and camera
JP2003323440A (en) * 2002-04-30 2003-11-14 Japan Research Institute Ltd Photographed image information providing system using portable terminal, photographed image information providing method, and program for executing method in computer
JP2006178828A (en) * 2004-12-24 2006-07-06 Konica Minolta Holdings Inc Photographic object information retrieval system
JP2008513852A (en) * 2004-09-15 2008-05-01 フランス テレコム Method and system for identifying object in photograph, and program, recording medium, terminal and server for realizing the system
US20080147730A1 (en) * 2006-12-18 2008-06-19 Motorola, Inc. Method and system for providing location-specific image information
US20090324058A1 (en) * 2008-06-25 2009-12-31 Sandage David A Use of geographic coordinates to identify objects in images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1186027A (en) * 1997-07-11 1999-03-30 Werk Japan:Kk Image display method
JP2001216309A (en) * 2000-01-31 2001-08-10 Keio Gijuku Object specifying device and camera
JP2003323440A (en) * 2002-04-30 2003-11-14 Japan Research Institute Ltd Photographed image information providing system using portable terminal, photographed image information providing method, and program for executing method in computer
JP2008513852A (en) * 2004-09-15 2008-05-01 フランス テレコム Method and system for identifying object in photograph, and program, recording medium, terminal and server for realizing the system
JP2006178828A (en) * 2004-12-24 2006-07-06 Konica Minolta Holdings Inc Photographic object information retrieval system
US20080147730A1 (en) * 2006-12-18 2008-06-19 Motorola, Inc. Method and system for providing location-specific image information
US20090324058A1 (en) * 2008-06-25 2009-12-31 Sandage David A Use of geographic coordinates to identify objects in images

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015125210A1 (en) * 2014-02-18 2015-08-27 日立マクセル株式会社 Information display device and information display program
CN105917329A (en) * 2014-02-18 2016-08-31 日立麦克赛尔株式会社 Information display device and information display program
JPWO2015125210A1 (en) * 2014-02-18 2017-03-30 日立マクセル株式会社 Information display device and information display program
CN105917329B (en) * 2014-02-18 2019-08-30 麦克赛尔株式会社 Information display device and information display program
JP2016006612A (en) * 2014-06-20 2016-01-14 ソニー株式会社 Information processing device, information processing method, and program
CN106415206A (en) * 2014-06-20 2017-02-15 索尼公司 Apparatus, method and program to position building infrastructure through user information
WO2017007254A1 (en) * 2015-07-08 2017-01-12 고려대학교 산학협력단 Device and method for generating and displaying 3d map
CN107836012A (en) * 2015-07-08 2018-03-23 高丽大学校产学协力团 Mapping method between projection image generation method and its device, image pixel and depth value
US10349033B2 (en) 2015-07-08 2019-07-09 Teelabs Co., Ltd. Three-dimensional map generating and displaying apparatus and method
CN107836012B (en) * 2015-07-08 2021-10-08 高丽大学校产学协力团 Projection image generation method and device, and mapping method between image pixel and depth value
KR20170011235A (en) * 2015-07-22 2017-02-02 주식회사 엘지씨엔에스 Structure image management method, image processing apparatus, and image inquiry apparatus
KR101714174B1 (en) * 2015-07-22 2017-03-08 주식회사 엘지씨엔에스 Structure image management method, image processing apparatus, and image inquiry apparatus

Also Published As

Publication number Publication date
JP5788810B2 (en) 2015-10-07

Similar Documents

Publication Publication Date Title
KR102221286B1 (en) Method for location updating, method for displaying location and route guidance, vehicle and system
JP5255595B2 (en) Terminal location specifying system and terminal location specifying method
JP5788810B2 (en) Shooting target search system
KR101413011B1 (en) Augmented Reality System based on Location Coordinates and Augmented Reality Image Providing Method thereof
JP2007017406A (en) Geographic data collection device
US8928584B2 (en) Display apparatus, display method, and storage medium
US20110183684A1 (en) Mobile communication terminal and method
JP2011248832A (en) Image collection system, portable terminal, image collection device, and image collection method
CN107193820B (en) Position information acquisition method, device and equipment
JP2017126150A (en) Ship information retrieval system, ship information retrieval method and ship information retrieval server
JP6607987B2 (en) Information providing system, server device, and information providing method
JP5854714B2 (en) Display control apparatus, display control apparatus control method, and program
US20140306998A1 (en) Computer-readable recording medium, method, and terminal apparatus for displaying land boundary
JP5640175B2 (en) Image display apparatus, photographing apparatus equipped with the image display apparatus as a finder apparatus, and image display method
JP2006285546A (en) Information providing system, database server, portable communication terminal
JP2002181536A (en) Photogrammetric service system
JP6591594B2 (en) Information providing system, server device, and information providing method
KR20080025862A (en) System and its method for providing geographic information using positioning coordinates of object in picture, camera and method of creation of picture file with positioning coordinates
JP2010171664A (en) Personal digital assistant, information display control method, and information display control program
JP4733343B2 (en) Navigation system, navigation device, navigation method, and navigation program
JP5432000B2 (en) Information presentation system and program
JP5634925B2 (en) Maintenance information display device, maintenance information display method, and program
JP2018018086A (en) Land boundary display program, method, and device
JP2019164001A (en) Information provision system, server device, terminal program, and information provision method
JP2006350879A (en) Information providing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150216

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150730

R150 Certificate of patent or registration of utility model

Ref document number: 5788810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250