JP2010129032A - Device and program for retrieving image - Google Patents

Device and program for retrieving image Download PDF

Info

Publication number
JP2010129032A
JP2010129032A JP2008306096A JP2008306096A JP2010129032A JP 2010129032 A JP2010129032 A JP 2010129032A JP 2008306096 A JP2008306096 A JP 2008306096A JP 2008306096 A JP2008306096 A JP 2008306096A JP 2010129032 A JP2010129032 A JP 2010129032A
Authority
JP
Japan
Prior art keywords
image
data
unit
search
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008306096A
Other languages
Japanese (ja)
Inventor
Yasuhiko Miyazaki
泰彦 宮崎
Akira Kojima
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008306096A priority Critical patent/JP2010129032A/en
Publication of JP2010129032A publication Critical patent/JP2010129032A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system for retrieving an image on which a subject is taken by specifying the position of the subject. <P>SOLUTION: An image acquiring section 1 acquires image data, photographing position information of the image data and the photographing direction range information, and a data accumulating section 2 accumulates the data. When a position specifying section 3 inputs the position of a retrieving object specified by the user, a data retrieving section 4 retrieves the image data whose specified position is included in the image from the data accumulating section 2 based on the photographing position information and the photographing direction range information of the image data. A data display section 5 displays the retrieved image data. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は,蓄積された画像を検索する画像検索装置および画像検索プログラムに関するものである。   The present invention relates to an image search apparatus and an image search program for searching for stored images.

特許文献1に記されているように,GPS(Global Positioning System )から得られる位置情報を画像情報と同期させて記録する技術は従来からある。   As described in Patent Document 1, there is a conventional technique for recording position information obtained from GPS (Global Positioning System) in synchronization with image information.

画像データの記録に当たっては,「Exif」と呼ばれる仕様が規定されていて実際に広く使われているが,そのExifにおいて,撮影時のGPS位置情報(緯度,経度,移動方向など)の記録フォーマットも規定されている(非特許文献1,第55ページ参照)。実際にこのフォーマットに基づき,位置情報が付与された画像データを撮影する機器も市販されている。なお,非特許文献1は,“http://it.jeita.or.jp/document/publica/standard/exif/japanese/Exifj.pdf ”からダウンロード可能である。   When recording image data, a specification called “Exif” is defined and widely used in practice. However, in the Exif, the recording format of GPS position information (latitude, longitude, moving direction, etc.) at the time of shooting is also available. (See Non-Patent Document 1, page 55). Devices that take image data to which position information is assigned based on this format are also commercially available. Non-patent document 1 can be downloaded from “http://it.jeita.or.jp/document/publica/standard/exif/japanese/Exifj.pdf”.

このような機器により撮影された,複数の位置情報付きExifフォーマットの画像データを収集して,サーバに蓄積する際に,Exifフォーマットを解析して緯度経度情報を取り出し,画像データのID(あるいはファイル名)と位置情報をデータベースによって管理することで,利用者が指定した位置(あるいは指定した位置から一定距離内)で撮影された画像データのみを検索して表示するような画像検索装置を構成することが可能であった。   When collecting a plurality of Exif format image data with position information, which is taken by such a device, and storing it in a server, the Exif format is analyzed to extract latitude and longitude information, and the image data ID (or file) Name) and position information are managed by a database, and an image search device is configured to search and display only image data taken at a position specified by the user (or within a certain distance from the specified position). It was possible.

他にも,画像データが多数蓄積された画像データベースから,利用者が検索をする方法としては,蓄積された画像に情報を付与する(一般に「タグ付け」と呼ばれる)ことにより,そのタグを検索することで検索を行うという方法も知られている。例えば,「富士山」というキーワードを入力して検索を行うと,「富士山」というタグ付けされた画像データが検索されるようなサービスを提供するシステムが存在する。   Another method for users to search from an image database in which a large number of image data is stored is to search for the tag by adding information to the stored image (commonly called "tagging"). A method of performing a search by doing so is also known. For example, there is a system that provides a service in which image data tagged with “Mt. Fuji” is searched when a keyword “Mt. Fuji” is input to perform a search.

画像データとしては,広角レンズあるいは魚眼レンズを装着したカメラで撮影することにより,広角な,すなわち,多数の被写体を含んだ画像データを取得することが可能である。   As image data, it is possible to acquire image data having a wide angle, that is, including a large number of subjects, by photographing with a camera equipped with a wide-angle lens or a fish-eye lens.

さらに,特許文献2の第4段落から第6段落および図4に記載されているように,このようなレンズを用いるのではなく,同一地点から撮影されたカメラを水平あるいは垂直方向に回転して得られる画像を合成することにより,同様に多数の被写体を含んだパノラマ画像データを取得することも可能である。
特開平7−123348号公報 特開平11−15953号公報 「ディジタルスチルカメラ用画像ファイルフォーマット規格(Exif)Version 2.1 」,社団法人 日本電子工業振興協会,平成10年12月改正,P.55
Further, as described in the fourth to sixth paragraphs and FIG. 4 of Patent Document 2, instead of using such a lens, a camera photographed from the same point is rotated horizontally or vertically. Similarly, panoramic image data including a large number of subjects can be acquired by synthesizing the obtained images.
Japanese Patent Laid-Open No. 7-123348 JP-A-11-15593 "Image file format standard for digital still cameras (Exif) Version 2.1", Japan Electronics Industry Development Association, revised in December 1998, P.55

しかしながら,これらの従来技術により管理されているのは,撮影したカメラの位置であって,被写体の位置ではない。そのため,利用者が,特定の被写体が撮影された画像データを,その被写体の存在する位置を指定することで検索することはできない。   However, it is the position of the photographed camera that is managed by these conventional techniques, not the position of the subject. Therefore, the user cannot search the image data obtained by photographing a specific subject by designating the position where the subject exists.

被写体がカメラからあまり離れていない場合には,被写体の位置をカメラの位置として近似し,適当な閾値を設定することで,実質的に目的とする効果(特定の被写体の検索結果)を得ることができる。例えば,ある特定の電柱位置から,30m以内の位置で撮影された画像を検索すると,その電柱が撮影されている可能性が高い画像データを検索することができる。しかしながら,この方法では,例えばその電柱を背にして撮影された画像(当然,当該電柱は写っていない)も検索結果に含まれてしまうという問題がある。   When the subject is not so far away from the camera, the target position is approximated as the position of the camera, and an appropriate threshold value is set to obtain a substantially desired effect (search result of a specific subject). Can do. For example, if an image photographed at a position within 30 m from a specific power pole position is retrieved, it is possible to retrieve image data that is likely to be photographed. However, this method has a problem that, for example, an image taken with the utility pole in the back (of course, the utility pole is not shown) is included in the search results.

すなわち,このような従来技術では,検索したい被写体が写っていない画像が検索結果に含まれてしまうという課題がある。   That is, in such a conventional technique, there is a problem that an image in which a subject to be searched is not included is included in the search result.

タグ付けによる方法では,このようなカメラと被写体との距離とは関係なく検索を行うことができるが,そのためには,データの蓄積時に被写体に関するタグ付けを行わなくてはならない。しかしながら,一般に通常撮影された画像には多数の被写体が含まれているのに対し,それらすべてをタグとして付与することは困難である。特に,撮影者が意図せずに写りこんだ被写体(例えば富士山を撮影したときにたまたま写った電柱など)については,タグ付けされないため,検索結果に含まれることはない。   In the tagging method, a search can be performed regardless of the distance between the camera and the subject. For this purpose, tagging of the subject must be performed when data is accumulated. However, in general, an image shot normally includes a large number of subjects, but it is difficult to add all of them as tags. In particular, a subject that is unintentionally captured by the photographer (for example, a utility pole that happens to be captured when Mt. Fuji is photographed) is not tagged and is not included in the search results.

すなわち,このような従来技術では,検索したい被写体が写っている画像が検索結果に含まれないという課題がある。   That is, in such a conventional technique, there is a problem that an image showing a subject to be searched is not included in the search result.

また,以上のように検索結果に含まれるか否かの課題のほかに,特に広角やパノラマ画像のように多数の被写体が含まれる画像の場合,検索対象がその画像上のどこに含まれるかについて識別が困難であるという課題もある。   In addition to the problem of whether or not it is included in the search results as described above, especially in the case of an image including a large number of subjects such as a wide-angle or panoramic image, where the search target is included in the image. There is also a problem that identification is difficult.

本発明は,上記課題の解決を図り,カメラの位置ではなく,被写体の位置の指定によって,被写体が写っている画像を検索することができるシステムを提供することを目的としている。   SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned problems and to provide a system that can search for an image showing a subject by specifying the subject position rather than the camera position.

本発明は,上記課題を解決するため,画像に対して,カメラの撮影位置(緯度経度)と,撮影方向(左右)の情報を付加情報として蓄積しておく。撮影対象の位置(経度緯度)が指定されると,カメラ位置と撮影方向から,指定された撮影対象が写っている画像を検索する。   In order to solve the above-described problems, the present invention stores information about the shooting position (latitude and longitude) of the camera and the shooting direction (left and right) as additional information for an image. When the position (longitude / latitude) of the shooting target is specified, an image showing the specified shooting target is retrieved from the camera position and shooting direction.

すなわち,本発明は,画像データとともに,その画像データの撮影位置情報と撮影方向範囲情報とを取得する画像取得部と,前記画像取得部により取得されたデータを蓄積するデータ蓄積部と,検索対象物の位置を入力装置から入力して指定する位置指定部と,前記位置指定部により指定された位置が前記画像データの画像内に含まれるかどうかを,前記画像データとともに前記データ蓄積部に蓄積された撮影位置情報と撮影方向範囲情報とに基づいて判別し,前記指定された位置が画像内に含まれる画像データを前記データ蓄積部から検索するデータ検索部と,検索された画像データを表示装置に出力するデータ表示部とを備えることを特徴とする。   That is, the present invention provides an image acquisition unit that acquires imaging position information and imaging direction range information of image data together with image data, a data storage unit that stores data acquired by the image acquisition unit, and a search target A position specifying unit that inputs and specifies the position of an object from an input device, and whether or not the position specified by the position specifying unit is included in the image of the image data is stored in the data storage unit together with the image data. A data retrieval unit that retrieves image data in which the designated position is included in the image from the data storage unit, and the retrieved image data is displayed based on the obtained photographing position information and photographing direction range information And a data display unit for outputting to the apparatus.

これによって,本発明は,カメラの位置ではなく,被写体の位置の指定によって,被写体が写っている画像を検索することができる。   As a result, the present invention can search for an image in which the subject is captured by specifying the subject position rather than the camera position.

上記発明においては,前記データ検索部が前記撮影位置情報と撮影方向範囲情報とに基づいて画像データを検索する条件,すなわち前記位置指定部により指定された位置が前記画像データの画像内に含まれるかどうかを判別する条件としては,前記指定された位置が画像の左端方向と右端方向の間に入っており,かつ前記指定された位置が前記撮影位置から所定の距離の範囲内にあるという条件を用いることができる。   In the above invention, the data search unit includes a condition for searching for image data based on the shooting position information and the shooting direction range information, that is, the position specified by the position specifying unit is included in the image of the image data. As a condition for determining whether or not the specified position is between the left end direction and the right end direction of the image, and the specified position is within a predetermined distance from the shooting position. Can be used.

所定の距離については,あらかじめ一定値を定めておいてもよいし,利用者に事前にまたは検索時に指定させてもよい。これにより,画像にタグ付けを行わなくても,検索対象物が写っている蓋然性の高い画像を選び出すことができる。   The predetermined distance may be determined in advance, or may be specified by the user in advance or at the time of search. As a result, it is possible to select an image with a high probability that the search object is reflected without tagging the image.

また,上記発明において,前記データ表示部は,前記データ検索部により検索された画像データを表示装置に表示する際に,画像内の前記指定された位置を指す方向にマークを付加して表示することも好適である。これにより,検索結果の画像が特に広角やパノラマ画像のように多数の被写体が含まれる画像である場合に,利用者は,検索対象物がその画像上のどこに含まれるかについて容易に識別できるようになる。   In the above invention, the data display unit displays the image data retrieved by the data retrieval unit with a mark in a direction indicating the designated position in the image when the image data is displayed on a display device. It is also suitable. As a result, when the search result image is an image including a large number of subjects, such as a wide-angle or panoramic image, the user can easily identify where the search object is included in the image. become.

また,上記発明において,前記データ表示部は,前記データ検索部により検索された画像データを表示装置に表示する際に,画像内の前記指定された位置を指す方向が表示画面上で所定のオフセット位置になるように表示位置を調整して表示することも好適である。これにより,表示画面上の決まった位置に検索対象物を表示させることができ,特に検索結果が多く出力されるような場合に,検索対象物を見やすく表示させることができる。   In the above invention, when the data display unit displays the image data searched by the data search unit on a display device, the direction indicating the designated position in the image has a predetermined offset on the display screen. It is also preferable that the display position is adjusted so that the display position is adjusted. As a result, the search object can be displayed at a fixed position on the display screen, and particularly when a large number of search results are output, the search object can be displayed in an easy-to-see manner.

また,上記発明において,前記データ表示部は,前記データ検索部により検索された画像データを表示装置に表示する際に,撮影位置から前記指定された位置までの方向を所定の順序でソートして表示することも好適である。これにより,特に検索結果が多く出力されるような場合に,カメラとそれぞれの画像における検索対象物の方向的な位置関係を把握しやすくなる。   In the above invention, the data display unit sorts the directions from the shooting position to the designated position in a predetermined order when displaying the image data searched by the data search unit on a display device. It is also suitable to display. This makes it easier to grasp the directional positional relationship between the camera and each search object in each image, particularly when many search results are output.

本発明によれば,検索したい撮影対象が写っている画像をその撮影対象の位置から容易に検索することができるようになる。   According to the present invention, it is possible to easily search for an image showing a shooting target to be searched from the position of the shooting target.

以下,図面を用いて本発明の実施の形態について説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図1は,本発明の全体の構成図を示す。図1において,画像取得部1は,画像データとともに,その画像データの撮影位置情報と撮影方向範囲情報とを取得する手段である。データ蓄積部2は,画像取得部1が取得した画像データと,その付加情報である撮影位置情報と撮影方向範囲情報とを蓄積する。位置指定部3は,利用者が指定する検索対象物の位置を入力装置から入力し,検索する画像を指定する手段である。データ検索部4は,位置指定部3により指定された位置が画像内に含まれる画像データを,データ蓄積部2から検索する手段である。データ検索部4は,撮影位置・方向判定部41を有し,位置指定部3により指定された位置が画像内に含まれるかどうかを,撮影位置・方向判定部41による撮影位置と撮影方向範囲の検索条件の判定により決定する。データ表示部5は,データ検索部4が検索したデータを表示装置に表示する手段である。   FIG. 1 shows an overall configuration diagram of the present invention. In FIG. 1, an image acquisition unit 1 is means for acquiring image position information and image direction range information of image data together with image data. The data storage unit 2 stores the image data acquired by the image acquisition unit 1, and shooting position information and shooting direction range information as additional information thereof. The position designation unit 3 is a means for designating an image to be retrieved by inputting the position of a retrieval object designated by the user from an input device. The data search unit 4 is a unit that searches the data storage unit 2 for image data in which the position specified by the position specifying unit 3 is included in the image. The data search unit 4 includes a shooting position / direction determination unit 41, and determines whether or not the position specified by the position specification unit 3 is included in the image. This is determined by determining the search condition. The data display unit 5 is means for displaying the data searched by the data search unit 4 on a display device.

なお,位置指定部3が指定位置を入力する入力装置およびデータ表示部5がデータを表示する表示先の表示装置は,ネットワークを介して接続される端末であってもよい。   Note that the input device for inputting the specified position by the position specifying unit 3 and the display device of the display destination for displaying the data by the data display unit 5 may be terminals connected via a network.

まず,画像取得部1の構成例について述べる。図2は,本実施の形態における画像取得部1の構成例を示している。   First, a configuration example of the image acquisition unit 1 will be described. FIG. 2 shows a configuration example of the image acquisition unit 1 in the present embodiment.

画像取得部1における画像,位置,方向情報の入力方法として,例えば図2(A)に示すようなセンサを利用する方法や,図2(B)に示すような車両に搭載した機器を利用する方法を用いることができる。   As an image, position, and direction information input method in the image acquisition unit 1, for example, a method using a sensor as shown in FIG. 2A or a device mounted on a vehicle as shown in FIG. 2B is used. The method can be used.

図2(A)では,画像を取得するための装置として,デジタルカメラ102を用い,また,位置の取得にはGPS装置101を用いている。さらに,方向の取得には,ジャイロあるいは地磁気センサ103といった方向を検知することができるセンサが市販されているので,これらのセンサをデジタルカメラ102に取り付け,デジタルカメラ102による画像の取得と同期して方向も取得できるようにしている。取得した情報は,メモリカード104に記録され,メモリカード104を介して,または,有線もしくは無線のインタフェースを介して処理用パーソナルコンピュータ(PC)10に取り込まれる。   In FIG. 2A, a digital camera 102 is used as an apparatus for acquiring an image, and a GPS apparatus 101 is used for acquiring a position. Furthermore, for obtaining the direction, sensors capable of detecting the direction such as a gyroscope or a geomagnetic sensor 103 are commercially available. These sensors are attached to the digital camera 102 and synchronized with the image acquisition by the digital camera 102. The direction can also be acquired. The acquired information is recorded in the memory card 104 and is taken into the processing personal computer (PC) 10 via the memory card 104 or via a wired or wireless interface.

なお,以下では,方向については図3に示すような記法を用いて説明する。すなわち,本実施の形態では,方向については真北方向を0度とし,時計回りに真北方向からの角度により記述する。例えば図3に示すD1の南東方向は135度であり,D2の真西方向は270度として記述する。   In the following, the direction will be described using a notation as shown in FIG. That is, in the present embodiment, the direction is described with the true north direction being 0 degrees and the clockwise direction described by the angle from the true north direction. For example, the southeast direction of D1 shown in FIG. 3 is 135 degrees, and the west direction of D2 is described as 270 degrees.

図2(B)に示す例では,GPS装置112とデジタルカメラ113とを車両111(自動車を想定)に固定して設置し,車両111の移動とともに画像データを取得するという方法を用いる。方向については,次のようにして取得する。   In the example shown in FIG. 2B, a method is used in which the GPS device 112 and the digital camera 113 are fixedly installed on a vehicle 111 (assuming an automobile) and image data is acquired as the vehicle 111 moves. The direction is obtained as follows.

図4は,車両に搭載した機器による方向の取得方法を説明する図である。図4では,車両111を真上から見た様子を表している。デジタルカメラ113は,車両111の進行方向に対してα度(この例ではα=90)で固定して取り付けられるものとする。画像はデジタルカメラ113により取得し,位置はGPS装置112により取得する。   FIG. 4 is a diagram for explaining a method of acquiring a direction by a device mounted on the vehicle. FIG. 4 shows a state in which the vehicle 111 is viewed from directly above. It is assumed that the digital camera 113 is fixed and attached at α degrees (α = 90 in this example) with respect to the traveling direction of the vehicle 111. The image is acquired by the digital camera 113 and the position is acquired by the GPS device 112.

GPS装置112により取得した現在位置と,直前の位置との差分から,その差分がゼロでなければ,その間の移動方向を計算することが可能である。GPSの位置取得周期(通常一秒程度)は,車両111が方向を変える時間に比べて短いため,この差分により求められる方向は,その瞬間の車両111の方向として近似しても実用上問題ない。車両111が停止している場合には差分がゼロとなるが,車両111(自動車を想定)は,位置を変えずに方向のみを変えることは原則不可能なので,ゼロでない直近の差分から得られる方向を使うことができる。このようにして,GPSのデータのみから,車両111の方向を求めることができる。   From the difference between the current position acquired by the GPS device 112 and the previous position, if the difference is not zero, the moving direction between them can be calculated. Since the GPS position acquisition cycle (usually about one second) is shorter than the time for the vehicle 111 to change direction, there is no practical problem even if the direction obtained by this difference is approximated as the direction of the vehicle 111 at that moment. . The difference is zero when the vehicle 111 is stopped, but the vehicle 111 (assuming an automobile) cannot be changed only in the direction without changing the position, so it can be obtained from the latest non-zero difference. You can use direction. In this way, the direction of the vehicle 111 can be obtained from only the GPS data.

デジタルカメラ113は車両111に固定して設置してあるため,車両111の進行方向に対するデジタルカメラ113の向きは不変であるので,その値を加算することで,デジタルカメラ113の向きを算出することが可能である。例えば図4(B)の場合の,GPSの移動差分から得られる車両進行方向がt度であるとすると,デジタルカメラ113の撮影方向は,
撮影方向=(t+α) mod 360度
となる。ここで,「mod 360 」は,360で割ったときの剰余である。
Since the digital camera 113 is fixedly installed on the vehicle 111, the direction of the digital camera 113 with respect to the traveling direction of the vehicle 111 is not changed. Therefore, the direction of the digital camera 113 is calculated by adding the value. Is possible. For example, in the case of FIG. 4B, if the vehicle traveling direction obtained from the GPS movement difference is t degrees, the shooting direction of the digital camera 113 is
Shooting direction = (t + α) mod 360 degrees. Here, “mod 360” is a remainder when divided by 360.

なお,非特許文献1に記載されているように,Exifフォーマットには,位置情報のほか,進行方向や撮影した画像の方向を格納するフォーマットも規定されているため,これらのデータは,Exifフォーマットとして画像データとともにメモリカード114等へ格納することができる。   As described in Non-Patent Document 1, since the Exif format also defines a format for storing the traveling direction and the direction of the captured image in addition to the position information, these data are stored in the Exif format. Can be stored in the memory card 114 together with the image data.

このようにして取得された画像データ・位置データ・カメラ方向データは,メモリカード104,114などを通じて,方向範囲を計算するための処理用PC10に送られ,方向範囲計算部11において,カメラ水平画角からの方向範囲の計算が行われる。もちろん,ここまでの計算を,小型可搬なPCで撮影と同時に行うように構成することも可能である。   The image data, position data, and camera direction data acquired in this way are sent to the processing PC 10 for calculating the direction range through the memory cards 104 and 114 and the like, and the direction range calculation unit 11 uses the camera horizontal image. The calculation of the direction range from the corner is performed. Of course, it is also possible to configure so that the calculations so far are performed simultaneously with photographing on a small portable PC.

図5は,画像の撮影方向範囲の取得方法を説明する図である。一般に,カメラで撮影される画像に写される光景の範囲を角度で表したものを画角と呼ぶが,この値は,カメラの構造と取り付けたレンズにより決まった値となる。そこで,方向範囲計算部11では,この画角の値をもとに,方向範囲を示すための左端方向および右端方向を,次のように計算することができる。   FIG. 5 is a diagram for explaining a method for acquiring the image capturing direction range. In general, the angle of view of the range of a scene captured in an image taken by a camera is called an angle of view. This value is determined by the structure of the camera and the attached lens. Therefore, the direction range calculation unit 11 can calculate the left end direction and the right end direction for indicating the direction range based on the value of the angle of view as follows.

図5(A)に示すように,カメラの撮影方向をa度,カメラの水平方向の画角をs度とする。画像の左端方向と右端方向は,図5(B)に示す式から求められる。すなわち,左端方向は,カメラ中心から見て「(a−s/2) mod 360度」となる。また,右端方向は,カメラ中心から見て「(a+s/2) mod 360度」となる。   As shown in FIG. 5A, it is assumed that the shooting direction of the camera is a degree and the horizontal angle of view of the camera is s degree. The left end direction and the right end direction of the image can be obtained from the equations shown in FIG. That is, the left end direction is “(as−2) mod 360 degrees” when viewed from the camera center. The right end direction is “(a + s / 2) mod 360 degrees” when viewed from the camera center.

なお,画像取得部1の構成に当たっては,オプションとしてパノラマ合成部12を設けることもできる。パノラマ合成部12では,特許文献2の方法により複数の画像をパノラマ合成して,より広角の画像を得る。この場合には,パノラマ作成の過程でどの画像を組み合わせたかは分かっているので,その左端方向,右端方向の最大値,最小値を保持することにより,最終的に得られるパノラマ画像の左端方向,右端方向を求めることができる。   In the configuration of the image acquisition unit 1, a panorama composition unit 12 can be provided as an option. The panorama synthesizing unit 12 panorama synthesizes a plurality of images by the method of Patent Document 2 to obtain a wider-angle image. In this case, since it is known which images were combined in the panorama creation process, the left end direction of the panoramic image finally obtained by holding the maximum value and the minimum value in the left end direction and the right end direction, The right end direction can be obtained.

画像取得部1では,以上のようにして,画像データと,画像の位置(緯度経度)と,画像の左端および右端の方向を取得する。   As described above, the image acquisition unit 1 acquires the image data, the position (latitude and longitude) of the image, and the directions of the left end and the right end of the image.

図6は,本実施の形態において画像取得部1以外の構成を,1台のコンピュータで実現する場合の例を示している。   FIG. 6 shows an example in which the configuration other than the image acquisition unit 1 in the present embodiment is realized by a single computer.

本実施の形態で使用するコンピュータ60は,命令に従って動作を実行するために必要なCPUやメモリのほかに,画像等のデジタルデータを蓄積するためのハードディスク装置(HDD)20と,利用者に対して情報を表示するためのディスプレイ50と,利用者が情報を入力するためのマウス等のポインティングデバイス30を備えている。   A computer 60 used in the present embodiment includes a hard disk device (HDD) 20 for storing digital data such as images, in addition to a CPU and a memory necessary for executing an operation according to an instruction, and a user. A display 50 for displaying information and a pointing device 30 such as a mouse for the user to input information.

まず,データ蓄積部2の構成例について述べる。データ蓄積部2は,HDD20とそれを制御するための入出力機能および一般に市販されているデータベースマネジメントシステム(DBMS)21として実現できる。すなわち,画像取得部1により求められた画像データをHDD20上の特定のフォルダ上に,例えばJPEG形式のファイルとして蓄積し,撮影位置情報と撮影方向情報については,図7に示すようなDBMS21上のテーブルとして実現することができる。   First, a configuration example of the data storage unit 2 will be described. The data storage unit 2 can be realized as the HDD 20, an input / output function for controlling the HDD 20, and a database management system (DBMS) 21 that is generally available on the market. That is, the image data obtained by the image acquisition unit 1 is stored in a specific folder on the HDD 20 as, for example, a file in JPEG format, and the shooting position information and shooting direction information are stored on the DBMS 21 as shown in FIG. It can be realized as a table.

図7に示すテーブルは,画像データと位置情報・方向情報を保存するための位置・方向情報管理テーブルである。この例では,画像データ自体はJPEG形式で特定のフォルダに保存されていることを前提として,画像ファイル名を画像データの代わりに保存する実施方法を記載しているが,画像データのバイナリデータ自体をDBMS21で保存する方法も採り得る。   The table shown in FIG. 7 is a position / direction information management table for storing image data and position information / direction information. In this example, the image data itself is stored in a specific folder in the JPEG format, and the implementation method for storing the image file name instead of the image data is described. However, the binary data itself of the image data is described. Can be stored in the DBMS 21.

次に位置指定部3の構成例について述べる。位置指定部3としては,検索したい被写体がある位置を緯度経度で指定することが必要なので,もっとも簡易な実施例としては,コンピュータ60に接続されたキーボードにより,数値を直接入力できるようにすればよい。   Next, a configuration example of the position specifying unit 3 will be described. Since it is necessary for the position specifying unit 3 to specify the position where the subject to be searched is located by latitude and longitude, the simplest embodiment is that a numerical value can be directly input by a keyboard connected to the computer 60. Good.

より実用的な位置指定部3の実施例としては,ディスプレイ50上に地図データを表示し,利用者の操作によって,拡大・縮小・スクロール表示や,住所やランドマークなどを指定して検索することができるソフトウェアを利用する方法もある。このようなソフトウェアは,デジタル地図ソフトとして,多くのものが出回っており市販もされている。   As a more practical example of the position specifying unit 3, map data is displayed on the display 50, and search is performed by specifying an enlargement / reduction / scroll display, an address, a landmark, or the like by a user operation. There is also a way to use software that can do this. There are many such softwares available on the market as digital map software.

図8は,位置指定部3による位置指定情報の入力画面の例を示している。また,図9は,位置指定部3の処理フローチャートを示している。   FIG. 8 shows an example of a position designation information input screen by the position designation unit 3. FIG. 9 shows a process flowchart of the position specifying unit 3.

位置指定部3は,図8に示すように,指定された位置の地図を画面に表示するとともに,デジタル地図ソフトを機能拡張し,例えば「被写体検索」のような特定のメニューも表示する。利用者が「被写体検索」メニューを選択すると,被写体検索メニュー状態になり(ステップS10),この状態で利用者が画面上をマウス等のポインティングデバイス30でクリックすると,位置指定部3は,画面上のマウス位置から地図上の緯度経度を求める(ステップS11)。次に,位置指定部3は,データ検索部4を呼び出し,指定された緯度経度をデータ検索部4に渡す(ステップS12)。ディスプレイ50上のポインタの位置から地図上の位置(緯度経度)への変換は,その時点の表示状態をデジタル地図ソフトが変換パラメータとして保持しており,その機能を利用することで変換することができる。   As shown in FIG. 8, the position designation unit 3 displays a map of the designated position on the screen and expands the function of the digital map software to display a specific menu such as “subject search”, for example. When the user selects the “subject search” menu, the subject search menu state is set (step S10). When the user clicks on the screen with a pointing device 30 such as a mouse in this state, the position specifying unit 3 is displayed on the screen. The latitude and longitude on the map are obtained from the mouse position (step S11). Next, the position specifying unit 3 calls the data search unit 4 and passes the specified latitude and longitude to the data search unit 4 (step S12). The conversion from the position of the pointer on the display 50 to the position on the map (latitude and longitude) is performed by the digital map software holding the display state at that time as a conversion parameter, and can be converted using this function. it can.

次に,データ検索部4の構成例について述べる。図10は,緯度経度から局所直交座標系への変換方法を説明する図,図11は,検索条件の例を説明する図である。   Next, a configuration example of the data search unit 4 will be described. FIG. 10 is a diagram for explaining a conversion method from a latitude / longitude to a local orthogonal coordinate system, and FIG. 11 is a diagram for explaining an example of a search condition.

まず,データ検索部4では,2点の緯度経度により,方向や距離を求める必要がある。厳密な計算のためには,地球の厳密な形状の解析が必要であるが,図10では,その近似方法について記してある。すなわち,地球は,一周が4万kmの球体であるとみなすことができる。また,局所的な範囲(例えば基点から10km以内の範囲等)においては,その球体の表面を,平面として近似することができる。この場合,次のような計算式により,距離や方向を求めることができる。なお,以下ではcosやarctan等の三角関数は,ラジアン角度ではなく,360度法により計算されるものとして記載してある。   First, the data search unit 4 needs to obtain a direction and a distance from two latitudes and longitudes. For exact calculation, it is necessary to analyze the exact shape of the earth. In FIG. 10, the approximation method is described. That is, the earth can be regarded as a sphere with a circumference of 40,000 km. In a local range (for example, a range within 10 km from the base point), the surface of the sphere can be approximated as a plane. In this case, the distance and direction can be obtained by the following calculation formula. In the following, trigonometric functions such as cos and arctan are described as being calculated by the 360 degree method, not by the radians angle.

0 を地図上の基点とし,その緯度をα,経度をβとする。P1 を対象点とし,その緯度をφ,経度をψとする。地球の1周の距離をEr [m]とすると,基点P0 における経度1度当たりの距離は,Er ×cos(α)×1/360mであり,緯度1度当たりの距離は,Er ×1/360mとなる。 Let P 0 be the base point on the map, the latitude be α, and the longitude be β. Let P 1 be a target point, and let its latitude be φ and longitude be ψ. If the distance of one round of the earth is E r [m], the distance per longitude at the base point P 0 is E r × cos (α) × 1/360 m, and the distance per latitude 1 degree is E r × 1/360 m.

基点P0 から対象点P1 への南北方向の距離Dn (北向きを正とする)は,次式により求まる。 A north-south direction distance D n from the base point P 0 to the target point P 1 (the north direction is positive) is obtained by the following equation.

n (φ)=Er ×(φ−α)/360
基点P0 から対象点P1 への東西方向の距離De (東向きを正とする)は,次式により求まる。
D n (φ) = E r × (φ−α) / 360
The distance D e in the east-west direction from the base point P 0 to the target point P 1 (the east direction is positive) is obtained by the following equation.

e (ψ)=Er ×cos(α)×(ψ−β)/360
基点P0 から対象点P1 への距離Dは,次式により求まる。
D e (ψ) = E r × cos (α) × (ψ−β) / 360
A distance D from the base point P 0 to the target point P 1 is obtained by the following equation.

D(φ,ψ)=Er ×(Dn (φ)2 +De (ψ)2 1/2
基点P0 から対象点P1 への方向θ(図3の記法参照)は,次式により求まる。
D (φ, φ) = E r × (D n (φ) 2 + D e (φ) 2 ) 1/2
A direction θ (see the notation in FIG. 3) from the base point P 0 to the target point P 1 is obtained by the following equation.

・De ≠0の場合(つまり,ψ≠βの場合)
θ(φ,ψ)=arctan(Dn (φ)/De (ψ))
・De =0の場合(つまり,ψ=βの場合)
θ(φ,ψ)=0度(真北),または,θ(φ,ψ)=180度(真南)
なお,このときθが0度であるか180度であるかは,φとαの大小関係により判定することができる。
・ When D e ≠ 0 (that is, when ψ ≠ β)
θ (φ, ψ) = arctan (D n (φ) / D e (ψ))
・ When D e = 0 (that is, when ψ = β)
θ (φ, ψ) = 0 degrees (true north) or θ (φ, ψ) = 180 degrees (true south)
At this time, whether θ is 0 degrees or 180 degrees can be determined by the magnitude relationship between φ and α.

対象点P1 から基点P0 への方向θ′は,θと向きが180度変わるので,次のようになる。 Since the direction θ ′ from the target point P 1 to the base point P 0 changes in direction from θ by 180 degrees, it is as follows.

θ′(φ,ψ)=(θ(φ,ψ)+180) mod 360
データ検索部4では,画像データの検索時に各画像データが指定された位置をその画像方向範囲内に含むかどうかの判定が必要になる。図11(A)に示すように,カメラ位置を(Cx ,Cy )とし,画像の左端方向をTl ,右端方向をTr とする。また,利用者が指定した指定位置を(α,β)とする。データ検索部4の判定では,画像方向範囲が,図11(B)に示すように0度(真北方向)をまたぐ可能性を考慮する必要がある。図11(A)の場合をCase1,図11(B)の場合をCase2として説明する。
θ ′ (φ, ψ) = (θ (φ, ψ) +180) mod 360
In the data search unit 4, it is necessary to determine whether or not the position where each image data is specified is included in the image direction range when searching for image data. As shown in FIG. 11A, the camera position is (C x , C y ), the left end direction of the image is T l , and the right end direction is T r . Also, the designated position designated by the user is (α, β). In the determination by the data search unit 4, it is necessary to consider the possibility that the image direction range crosses 0 degrees (true north direction) as shown in FIG. The case of FIG. 11A will be described as Case 1, and the case of FIG. 11B will be described as Case 2.

検索のための条件としては,例えば方向の条件(条件1)および距離の条件(条件2)を用いる。
[条件1]:カメラから見て,指定位置が左端方向と右端方向の範囲に入っている。
[条件2]:カメラから見て,指定位置が距離R以内に入っている(Rは閾値)。
As conditions for the search, for example, a direction condition (condition 1) and a distance condition (condition 2) are used.
[Condition 1]: The designated position is in the range of the left end direction and the right end direction as viewed from the camera.
[Condition 2]: The designated position is within the distance R as seen from the camera (R is a threshold value).

条件1では,θ′(CX ,Cy )が左端方向と右端方向の間に入っているかどうかの判定となる。そこで,Case1(Tl <Tr のとき)では,次の条件式に合致するかどうかを判定する。 In condition 1, it is determined whether θ ′ (C X , C y ) is between the left end direction and the right end direction. Therefore, in Case 1 (when T l <T r ), it is determined whether or not the following conditional expression is satisfied.

l ≦θ′(CX ,Cy )≦Tr
Case2(Tl >Tr のとき;0度をまたいでいるとき)では,次の条件式に合致するかどうかを判定する。
T l ≦ θ ′ (C X , C y ) ≦ T r
In Case 2 (when T 1 > T r ; when crossing 0 degree), it is determined whether or not the following conditional expression is satisfied.

l ≦θ′(CX ,Cy )<360 または 0≦θ′(CX ,Cy )≦Tr
また,条件2は,カメラから見て指定位置が距離R以内に入っているかどうかであるから,次の条件式に合致するかどうかを判定する。
T l ≦ θ ′ (C X , C y ) <360 or 0 ≦ θ ′ (C X , C y ) ≦ T r
Further, since condition 2 is whether or not the designated position is within the distance R when viewed from the camera, it is determined whether or not the following conditional expression is satisfied.

D(φ,ψ)≦R
このように,距離については,ある閾値Rを条件として設けてあるが,このRについては,本発明の実施目的に合わせて,適宜設定してもよいし,検索のたびに,利用者が入力できるようにしてもよい。利用者がRを入力できるようにする場合には,例えば図8に示す画面における被写体検索メニューのサブメニューとして,Rの値を入力できるようにする。
D (φ, ψ) ≦ R
As described above, the distance is set with a certain threshold value R as a condition. However, this R may be appropriately set according to the purpose of carrying out the present invention, and is input by the user at every search. You may be able to do it. When the user can input R, for example, the value of R can be input as a submenu of the subject search menu on the screen shown in FIG.

図12は,以上の検索条件に従って画像データを検索するデータ検索部4の処理フローチャートである。   FIG. 12 is a process flowchart of the data search unit 4 that searches for image data in accordance with the above search conditions.

まず,データ検索部4は,位置指定部3から受け取った引数から,指定位置の緯度αと経度βを取得する(ステップS20)。次に,取得した緯度αと経度βから,距離の条件(上記条件2)を,SQL(検索言語)のwhere節にして,レコード検索するように,SQL文を設定する(ステップS21)。設定したSQL文をデータ蓄積部2を構成するDBMS21へ送り,指定位置が撮像されている画像データの検索を要求する(ステップS22)。   First, the data search unit 4 acquires the latitude α and longitude β of the specified position from the argument received from the position specifying unit 3 (step S20). Next, from the acquired latitude α and longitude β, an SQL statement is set so that a record search is performed with the distance condition (the above condition 2) as the WHERE clause of SQL (search language) (step S21). The set SQL sentence is sent to the DBMS 21 constituting the data storage unit 2, and a search for image data in which the designated position is imaged is requested (step S22).

次に,DBMS21からの検索結果のそれぞれについて,ステップS231〜S233の繰り返し処理を実行する(ステップS23)。なお,検索結果は,図7に示す位置・方向情報管理テーブルのレコードである。まず,検索結果の左端方向Tl と右端方向Tr から,θ′(Cx ,Cy )を計算する(ステップS231)。次に,方向の条件(上記条件1)を満たすかどうかを判定する(ステップS232)。条件を満たす場合には,判定対象の画像データを検索結果として残し,条件を満たさない場合には,検索結果から判定対象の画像データを削除する(ステップS233)。以上の処理を,すべての検索結果について繰り返す。 Next, the repetition process of steps S231 to S233 is executed for each of the search results from the DBMS 21 (step S23). The search result is a record in the position / direction information management table shown in FIG. First, θ ′ (C x , C y ) is calculated from the left end direction T 1 and the right end direction T r of the search result (step S231). Next, it is determined whether or not the direction condition (the above condition 1) is satisfied (step S232). When the condition is satisfied, the determination target image data is left as a search result, and when the condition is not satisfied, the determination target image data is deleted from the search result (step S233). The above processing is repeated for all search results.

その後,残った検索結果のデータをデータ表示部5へ渡す(ステップS24)。   Thereafter, the remaining search result data is transferred to the data display unit 5 (step S24).

図13は,検索結果の例を示す。例えば図13(A)に示されるような地図上で,P0 の位置が指定されたとする。この指定位置P0 の緯度経度情報をもとに,一定の距離Rの範囲内で,この指定位置P0 が画像の左端と右端の範囲に収まっている画像が,図7に示す位置・方向情報管理テーブルから検索されることになる。この例では,検索結果として,R1,R2,R3の3枚の画像が得られている。 FIG. 13 shows an example of a search result. For example, assume that the position of P 0 is specified on the map as shown in FIG. Based on latitude and longitude information of the designated position P 0, within a certain distance R, the image which the designated position P 0 is within the left and right ends of the range of the image, the position-direction shown in FIG. 7 It is retrieved from the information management table. In this example, three images R1, R2, and R3 are obtained as search results.

最後に,データ表示部5の構成例について述べる。図14は,データ表示部5の処理フローチャートである。この処理で使われる,画像の表示や,他の画像の重畳,表示位置の指定などは,Windows(登録商標)OSなどの標準的な機能を利用することで実施できる。   Finally, a configuration example of the data display unit 5 will be described. FIG. 14 is a process flowchart of the data display unit 5. The display of images, the superimposition of other images, the designation of the display position, etc. used in this processing can be performed by using standard functions such as Windows (registered trademark) OS.

まず,データ表示部5は,データ検索部4から受け取った検索結果のデータを,θ′をキーとしてソートする(ステップS30)。その後,検索結果の各データについて,ステップS311〜S314の処理を繰り返す(ステップS31)。この繰り返し処理は,利用者からの指示に従って,1画像ずつ処理を進めてもよいし,繰り返し処理を連続して行い,検索結果の画像を例えばサムネイル表示のように一覧表示するようにしてもよい。   First, the data display unit 5 sorts the search result data received from the data search unit 4 using θ ′ as a key (step S30). Thereafter, the processing of steps S311 to S314 is repeated for each data of the search result (step S31). This iterative process may be performed one image at a time in accordance with an instruction from the user, or the iterative process may be performed continuously to display a list of search result images, for example, as a thumbnail display. .

繰り返し処理では,検索結果のデータ中の画像ファイル名をもとに画像ファイルを表示する(ステップS311)。次に,画像内のθ′の左端からのピクセル数pを求める(ステップS312)。   In the iterative process, the image file is displayed based on the image file name in the search result data (step S311). Next, the number p of pixels from the left end of θ ′ in the image is obtained (step S312).

ここでのピクセル数pの求め方を説明する。図14の下側に示すように画像全体の横のピクセル数をPXとする。求め方は,方向の条件(条件1)によって,次のように分類される。
・Case1(Tl ≦θ′≦Tr の場合)
p=PX×(θ′−Tl )/(Tr −Tl
・Case2−1(Tl >Tr かつTl ≦θ′<360の場合)
p=PX×(θ′−Tl )/(Tr +360−Tl
・Case2−2(Tl >Tr かつ0≦θ′≦Tr の場合)
p=PX×(θ′+360−Tl )/(Tr +360−Tl
以上の式により,ピクセル数pを算出したならば,求めた画像中のpの位置に,指定位置の方向を示すマークを描画する(ステップS313)。また,pがディスプレイ画面のoffset位置にくるように,(offset−p)ピクセル分だけ画像の表示位置を水平にずらす(ステップS314)。なお,(offset−p)が正なら,画像を右方向にずらし,(offset−p)が負なら,画像を左方向にずらすことになる。繰り返し処理では,以上の処理を検索結果の画像ごとに繰り返す。
Here, a method for obtaining the number of pixels p will be described. As shown in the lower side of FIG. 14, the number of horizontal pixels in the entire image is PX. The method of obtaining is classified as follows according to the direction condition (condition 1).
・ Case 1 (when T l ≦ θ ′ ≦ T r )
p = PX × (θ′−T l ) / (T r −T l )
Case 2-1 (when T l > T r and T l ≦ θ ′ <360)
p = PX × (θ′−T l ) / (T r + 360−T l )
Case 2-2 (when T l > T r and 0 ≦ θ ′ ≦ T r )
p = PX × (θ ′ + 360−T l ) / (T r + 360−T l )
When the number of pixels p is calculated by the above formula, a mark indicating the direction of the designated position is drawn at the position of p in the obtained image (step S313). Further, the display position of the image is shifted horizontally by (offset-p) pixels so that p is at the offset position of the display screen (step S314). If (offset-p) is positive, the image is shifted to the right. If (offset-p) is negative, the image is shifted to the left. In the iterative process, the above process is repeated for each search result image.

図15は,画像表示位置の調整例を示す図である。表示枠の横幅をWx ピクセルとする。表示枠は,Windows(登録商標)における表示ウィンドウあるいは単なる表示画面である。offsetは,表示枠のどの位置に画像を表示するかの基準を示すものであり,offsetの決め方としては,次のような方法を用いることができる。
〔offsetの決め方1〕
offsetを画面中央に固定する。offset=Wx /2 とする。
〔offsetの決め方2〕
offsetを必ず固定値とする。例えば,offset=100とする。
〔offsetの決め方3〕
表示に先立ち,利用者がマウス等により指定した位置を使う。offset=(マウスポインタの横座標)とする。
FIG. 15 is a diagram illustrating an example of adjusting the image display position. The horizontal width of the display frame is W x pixels. The display frame is a display window or a simple display screen in Windows (registered trademark). “offset” indicates a reference in which position of the display frame an image is displayed, and the following method can be used for determining the offset.
[How to determine offset 1]
Fix the offset at the center of the screen. Let offset = W x / 2.
[How to decide offset 2]
Offset is always a fixed value. For example, offset = 100.
[How to decide offset 3]
Prior to display, the position specified by the user with the mouse is used. Let offset = (abscissa of the mouse pointer).

図14のステップS314の処理は,図15に示すように,offsetの位置にマークM1,M2がくるように表示位置を調整する処理である。   The process of step S314 in FIG. 14 is a process of adjusting the display position so that the marks M1 and M2 are positioned at the offset position as shown in FIG.

次に,図13に示したような利用者の指定位置P0 に対して,データ検索部4により検索結果R1,R2,R3の画像データが得られたときのデータ表示部5による表示例を,図16に示す。 Next, a display example by the data display unit 5 when the image data of the search results R1, R2, and R3 is obtained by the data search unit 4 at the user specified position P 0 as shown in FIG. FIG. 16 shows.

検索結果R1,R2,R3は,指定位置P0 から撮影位置への方向θ′をキーとして,真北方向から時計回りにソートされて表示されるため,図16に示すように,検索結果R3の画像,検索結果R2の画像,検索結果R1の画像の順番で表示される。なお,θ′の順番ではなく,これと逆方向のθの昇順で検索結果を表示するように定めてもよい。あるいは,真北方向以外の方向から時計回りまたは反時計回りにソートすることもできる。 The search results R1, R2, and R3 are sorted and displayed clockwise from the true north direction using the direction θ ′ from the designated position P 0 to the shooting position as a key. Therefore, as shown in FIG. 16, the search results R3 , The image of the search result R2, and the image of the search result R1 are displayed in this order. Note that the search results may be displayed not in the order of θ ′ but in the ascending order of θ in the opposite direction. Alternatively, it can be sorted clockwise or counterclockwise from directions other than the true north direction.

検索結果の各画像の上端および下端には,指定位置P0 の方向を示すマークM11〜M32が付与される。また,これらの各マークM11〜M32の位置が,あらかじめ定められた表示枠内の表示位置を示すoffsetもしくは利用者が指定したoffsetの位置に合うように,画像が表示される。 The upper and lower ends of each image search results, marks M11~M32 indicating the direction of the designated position P 0 is given. Further, the image is displayed so that the positions of these marks M11 to M32 are matched with the offset indicating the display position within a predetermined display frame or the offset specified by the user.

以上の画像検索の処理は,コンピュータとソフトウェアプログラムとによって実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。   The above-described image search processing can be realized by a computer and a software program, and the program can be recorded on a computer-readable recording medium or provided through a network.

なお,本実施例では,画像取得部1以外の構成を,1台のコンピュータで実施される例について記してきたが,各機能を別個のコンピュータにより構成する実施例へも容易に応用することができる。   In the present embodiment, the configuration other than the image acquisition unit 1 has been described as an example implemented by a single computer. However, the present invention can be easily applied to an embodiment in which each function is configured by a separate computer. it can.

本発明の全体を示す構成図である。It is a block diagram which shows the whole this invention. 本実施の形態における画像取得部の構成例を示す図である。It is a figure which shows the structural example of the image acquisition part in this Embodiment. 方向についての記法を説明する図である。It is a figure explaining the notation about a direction. 車両に搭載した機器による方向の取得方法を説明する図である。It is a figure explaining the acquisition method of the direction by the apparatus mounted in the vehicle. 画像の撮影方向範囲の取得方法を説明する図である。It is a figure explaining the acquisition method of the imaging direction range of an image. 本実施の形態において画像取得部以外の構成を,1台のコンピュータで実現する場合の例を示す図である。It is a figure which shows the example in the case of implement | achieving structures other than an image acquisition part in this Embodiment with one computer. DBMSで管理する位置・方向情報管理テーブルの例を示す図である。It is a figure which shows the example of the position and direction information management table managed by DBMS. 位置指定部による位置指定情報の入力画面の例を示す図である。It is a figure which shows the example of the input screen of the position designation information by a position designation part. 位置指定部の処理フローチャートである。It is a process flowchart of a position designation part. 緯度経度から局所直交座標系への変換方法を説明する図である。It is a figure explaining the conversion method from the latitude longitude to a local orthogonal coordinate system. 検索条件の例を説明する図である。It is a figure explaining the example of search conditions. データ検索部の処理フローチャートである。It is a processing flowchart of a data search part. 検索結果の例を示す図である。It is a figure which shows the example of a search result. データ表示部の処理フローチャートである。It is a process flowchart of a data display part. 画像表示位置の調整例を示す図である。It is a figure which shows the example of adjustment of an image display position. データ表示部による表示例を示す図である。It is a figure which shows the example of a display by a data display part.

符号の説明Explanation of symbols

1 画像取得部
2 データ蓄積部
3 位置指定部
4 データ検索部
41 撮影位置・方向判定部
5 データ表示部
DESCRIPTION OF SYMBOLS 1 Image acquisition part 2 Data storage part 3 Position designation part 4 Data search part 41 Shooting position and direction determination part 5 Data display part

Claims (6)

画像データとともに,その画像データの撮影位置情報と撮影方向範囲情報とを取得する画像取得部と,
前記画像取得部により取得されたデータを蓄積するデータ蓄積部と,
検索対象物の位置を入力装置から入力して指定する位置指定部と,
前記位置指定部により指定された位置が前記画像データの画像内に含まれるかどうかを,前記画像データとともに前記データ蓄積部に蓄積された撮影位置情報と撮影方向範囲情報とに基づいて判別し,前記指定された位置が画像内に含まれる画像データを前記データ蓄積部から検索するデータ検索部と,
検索された画像データを表示装置に出力するデータ表示部とを備える
ことを特徴とする画像検索装置。
An image acquisition unit that acquires image data and shooting position information and shooting direction range information of the image data;
A data storage unit for storing data acquired by the image acquisition unit;
A position specification unit for specifying the position of the search object by inputting from the input device;
Whether the position specified by the position specifying unit is included in the image of the image data is determined based on shooting position information and shooting direction range information stored in the data storage unit together with the image data, A data search unit that searches the data storage unit for image data in which the designated position is included in an image;
An image search device comprising: a data display unit that outputs the searched image data to a display device.
請求項1に記載の画像検索装置において,
前記データ検索部が前記撮影位置情報と撮影方向範囲情報とに基づいて画像データを検索する条件は,前記指定された位置が画像の左端方向と右端方向の間に入っており,かつ前記指定された位置が前記撮影位置から所定の距離の範囲内にあるという条件である
ことを特徴とする画像検索装置。
The image search device according to claim 1,
The condition that the data search unit searches for image data based on the shooting position information and the shooting direction range information is that the specified position is between the left end direction and the right end direction of the image and the specified The image search device is characterized in that the position is within a predetermined distance from the photographing position.
請求項1または請求項2に記載の画像検索装置において,
前記データ表示部は,前記データ検索部により検索された画像データを表示装置に表示する際に,画像内の前記指定された位置を指す方向にマークを付加して表示する手段を備える
ことを特徴とする画像検索装置。
In the image search device according to claim 1 or 2,
The data display unit includes means for adding and displaying a mark in a direction indicating the designated position in an image when displaying the image data searched by the data search unit on a display device. An image search device.
請求項1,請求項2または請求項3に記載の画像検索装置において,
前記データ表示部は,前記データ検索部により検索された画像データを表示装置に表示する際に,画像内の前記指定された位置を指す方向が表示画面上で所定のオフセット位置になるように表示位置を調整して表示する手段を備える
ことを特徴とする画像検索装置。
In the image search device according to claim 1, claim 2 or claim 3,
The data display unit displays the image data retrieved by the data retrieval unit so that a direction indicating the designated position in the image is a predetermined offset position on a display screen when the image data is displayed on a display device. An image search apparatus comprising: means for adjusting and displaying a position.
請求項1,請求項2,請求項3または請求項4に記載の画像検索装置において,
前記データ表示部は,前記データ検索部により検索された画像データを表示装置に表示する際に,撮影位置から前記指定された位置までの方向を所定の順序でソートして表示する手段を備える
ことを特徴とする画像検索装置。
In the image search device according to claim 1, claim 2, claim 3 or claim 4,
The data display unit includes means for sorting and displaying directions from a photographing position to the designated position in a predetermined order when displaying the image data retrieved by the data retrieval unit on a display device. An image search device characterized by the above.
コンピュータを,請求項1から請求項5までのいずれか1項に記載の画像検索装置が備える前記画像取得部と,前記データ蓄積部と,前記位置指定部と,前記データ検索部と,前記データ表示部として,機能させるための画像検索プログラム。   The computer includes the image acquisition unit, the data storage unit, the position specifying unit, the data search unit, and the data provided in the image search device according to any one of claims 1 to 5. An image search program for functioning as a display unit.
JP2008306096A 2008-12-01 2008-12-01 Device and program for retrieving image Pending JP2010129032A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008306096A JP2010129032A (en) 2008-12-01 2008-12-01 Device and program for retrieving image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008306096A JP2010129032A (en) 2008-12-01 2008-12-01 Device and program for retrieving image

Publications (1)

Publication Number Publication Date
JP2010129032A true JP2010129032A (en) 2010-06-10

Family

ID=42329344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008306096A Pending JP2010129032A (en) 2008-12-01 2008-12-01 Device and program for retrieving image

Country Status (1)

Country Link
JP (1) JP2010129032A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013161390A (en) * 2012-02-08 2013-08-19 Sony Corp Server, client terminal, system and program
JP2013182332A (en) * 2012-02-29 2013-09-12 Nikon Corp Image display program and image display device
KR20140065043A (en) * 2012-11-21 2014-05-29 주식회사 엘지유플러스 Apparatus and method for providing augmented reality based on time
JP2015509239A (en) * 2012-05-28 2015-03-26 テンセント テクノロジー (シェンツェン) カンパニー リミテッド Location search method and apparatus based on electronic map
JP2016103248A (en) * 2014-11-28 2016-06-02 富士通株式会社 Image providing system and image providing method
JP2020144705A (en) * 2019-03-07 2020-09-10 インフカム株式会社 Management system, management program, and management method

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013161390A (en) * 2012-02-08 2013-08-19 Sony Corp Server, client terminal, system and program
US9635234B2 (en) 2012-02-08 2017-04-25 Sony Corporation Server, client terminal, system, and program
JP2013182332A (en) * 2012-02-29 2013-09-12 Nikon Corp Image display program and image display device
JP2015509239A (en) * 2012-05-28 2015-03-26 テンセント テクノロジー (シェンツェン) カンパニー リミテッド Location search method and apparatus based on electronic map
KR20140065043A (en) * 2012-11-21 2014-05-29 주식회사 엘지유플러스 Apparatus and method for providing augmented reality based on time
KR101643024B1 (en) 2012-11-21 2016-07-26 주식회사 엘지유플러스 Apparatus and method for providing augmented reality based on time
JP2016103248A (en) * 2014-11-28 2016-06-02 富士通株式会社 Image providing system and image providing method
JP2020144705A (en) * 2019-03-07 2020-09-10 インフカム株式会社 Management system, management program, and management method

Similar Documents

Publication Publication Date Title
KR101411038B1 (en) Panoramic ring user interface
US9497581B2 (en) Incident reporting
US8254727B2 (en) Method and apparatus for providing picture file
KR100845892B1 (en) Method and system for mapping image objects in photo to geographic objects
US20080069449A1 (en) Apparatus and method for tagging ID in photos by utilizing geographical positions
KR20090019184A (en) Image reproducing apparatus which uses the image files comprised in the electronic map, image reproducing method for the same, and recording medium which records the program for carrying the same method
US20090278949A1 (en) Camera system and method for providing information on subjects displayed in a camera viewfinder
US8687853B2 (en) Method, system and computer-readable recording medium for providing service using electronic map
JP5334159B2 (en) Photo display method and system on electronic map
JP5315424B2 (en) Image display control apparatus and control method thereof
JP2012160904A (en) Information processor, information processing method, program, and imaging apparatus
JP5229791B2 (en) PHOTO MAPPING METHOD AND SYSTEM, PROGRAM, AND STORAGE MEDIUM
US10068157B2 (en) Automatic detection of noteworthy locations
US20120033070A1 (en) Local search device and local search method
JP5419644B2 (en) Method, system and computer-readable recording medium for providing image data
JP2010129032A (en) Device and program for retrieving image
JP6292915B2 (en) Display control apparatus, control method therefor, and program
JP6210807B2 (en) Display control device and control method of display control device
JP2010276364A (en) Navigation information creation device, navigation system, navigation information creation method, and navigation method
JP2007020054A (en) Method and device for managing image
JP2015064824A (en) Information processor, image processing system, and information processing method and program in information processor and program
JP5980172B2 (en) Display control apparatus and control method thereof
JP4166074B2 (en) Mobile information management apparatus and information management system
JP2006127525A (en) Movement information management device and information management system
JP2011041167A (en) Image pickup device and location information additional equipment

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100331