JP2010129032A - Device and program for retrieving image - Google Patents
Device and program for retrieving image Download PDFInfo
- Publication number
- JP2010129032A JP2010129032A JP2008306096A JP2008306096A JP2010129032A JP 2010129032 A JP2010129032 A JP 2010129032A JP 2008306096 A JP2008306096 A JP 2008306096A JP 2008306096 A JP2008306096 A JP 2008306096A JP 2010129032 A JP2010129032 A JP 2010129032A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- unit
- search
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Navigation (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は,蓄積された画像を検索する画像検索装置および画像検索プログラムに関するものである。 The present invention relates to an image search apparatus and an image search program for searching for stored images.
特許文献1に記されているように,GPS(Global Positioning System )から得られる位置情報を画像情報と同期させて記録する技術は従来からある。
As described in
画像データの記録に当たっては,「Exif」と呼ばれる仕様が規定されていて実際に広く使われているが,そのExifにおいて,撮影時のGPS位置情報(緯度,経度,移動方向など)の記録フォーマットも規定されている(非特許文献1,第55ページ参照)。実際にこのフォーマットに基づき,位置情報が付与された画像データを撮影する機器も市販されている。なお,非特許文献1は,“http://it.jeita.or.jp/document/publica/standard/exif/japanese/Exifj.pdf ”からダウンロード可能である。
When recording image data, a specification called “Exif” is defined and widely used in practice. However, in the Exif, the recording format of GPS position information (latitude, longitude, moving direction, etc.) at the time of shooting is also available. (See Non-Patent
このような機器により撮影された,複数の位置情報付きExifフォーマットの画像データを収集して,サーバに蓄積する際に,Exifフォーマットを解析して緯度経度情報を取り出し,画像データのID(あるいはファイル名)と位置情報をデータベースによって管理することで,利用者が指定した位置(あるいは指定した位置から一定距離内)で撮影された画像データのみを検索して表示するような画像検索装置を構成することが可能であった。 When collecting a plurality of Exif format image data with position information, which is taken by such a device, and storing it in a server, the Exif format is analyzed to extract latitude and longitude information, and the image data ID (or file) Name) and position information are managed by a database, and an image search device is configured to search and display only image data taken at a position specified by the user (or within a certain distance from the specified position). It was possible.
他にも,画像データが多数蓄積された画像データベースから,利用者が検索をする方法としては,蓄積された画像に情報を付与する(一般に「タグ付け」と呼ばれる)ことにより,そのタグを検索することで検索を行うという方法も知られている。例えば,「富士山」というキーワードを入力して検索を行うと,「富士山」というタグ付けされた画像データが検索されるようなサービスを提供するシステムが存在する。 Another method for users to search from an image database in which a large number of image data is stored is to search for the tag by adding information to the stored image (commonly called "tagging"). A method of performing a search by doing so is also known. For example, there is a system that provides a service in which image data tagged with “Mt. Fuji” is searched when a keyword “Mt. Fuji” is input to perform a search.
画像データとしては,広角レンズあるいは魚眼レンズを装着したカメラで撮影することにより,広角な,すなわち,多数の被写体を含んだ画像データを取得することが可能である。 As image data, it is possible to acquire image data having a wide angle, that is, including a large number of subjects, by photographing with a camera equipped with a wide-angle lens or a fish-eye lens.
さらに,特許文献2の第4段落から第6段落および図4に記載されているように,このようなレンズを用いるのではなく,同一地点から撮影されたカメラを水平あるいは垂直方向に回転して得られる画像を合成することにより,同様に多数の被写体を含んだパノラマ画像データを取得することも可能である。
しかしながら,これらの従来技術により管理されているのは,撮影したカメラの位置であって,被写体の位置ではない。そのため,利用者が,特定の被写体が撮影された画像データを,その被写体の存在する位置を指定することで検索することはできない。 However, it is the position of the photographed camera that is managed by these conventional techniques, not the position of the subject. Therefore, the user cannot search the image data obtained by photographing a specific subject by designating the position where the subject exists.
被写体がカメラからあまり離れていない場合には,被写体の位置をカメラの位置として近似し,適当な閾値を設定することで,実質的に目的とする効果(特定の被写体の検索結果)を得ることができる。例えば,ある特定の電柱位置から,30m以内の位置で撮影された画像を検索すると,その電柱が撮影されている可能性が高い画像データを検索することができる。しかしながら,この方法では,例えばその電柱を背にして撮影された画像(当然,当該電柱は写っていない)も検索結果に含まれてしまうという問題がある。 When the subject is not so far away from the camera, the target position is approximated as the position of the camera, and an appropriate threshold value is set to obtain a substantially desired effect (search result of a specific subject). Can do. For example, if an image photographed at a position within 30 m from a specific power pole position is retrieved, it is possible to retrieve image data that is likely to be photographed. However, this method has a problem that, for example, an image taken with the utility pole in the back (of course, the utility pole is not shown) is included in the search results.
すなわち,このような従来技術では,検索したい被写体が写っていない画像が検索結果に含まれてしまうという課題がある。 That is, in such a conventional technique, there is a problem that an image in which a subject to be searched is not included is included in the search result.
タグ付けによる方法では,このようなカメラと被写体との距離とは関係なく検索を行うことができるが,そのためには,データの蓄積時に被写体に関するタグ付けを行わなくてはならない。しかしながら,一般に通常撮影された画像には多数の被写体が含まれているのに対し,それらすべてをタグとして付与することは困難である。特に,撮影者が意図せずに写りこんだ被写体(例えば富士山を撮影したときにたまたま写った電柱など)については,タグ付けされないため,検索結果に含まれることはない。 In the tagging method, a search can be performed regardless of the distance between the camera and the subject. For this purpose, tagging of the subject must be performed when data is accumulated. However, in general, an image shot normally includes a large number of subjects, but it is difficult to add all of them as tags. In particular, a subject that is unintentionally captured by the photographer (for example, a utility pole that happens to be captured when Mt. Fuji is photographed) is not tagged and is not included in the search results.
すなわち,このような従来技術では,検索したい被写体が写っている画像が検索結果に含まれないという課題がある。 That is, in such a conventional technique, there is a problem that an image showing a subject to be searched is not included in the search result.
また,以上のように検索結果に含まれるか否かの課題のほかに,特に広角やパノラマ画像のように多数の被写体が含まれる画像の場合,検索対象がその画像上のどこに含まれるかについて識別が困難であるという課題もある。 In addition to the problem of whether or not it is included in the search results as described above, especially in the case of an image including a large number of subjects such as a wide-angle or panoramic image, where the search target is included in the image. There is also a problem that identification is difficult.
本発明は,上記課題の解決を図り,カメラの位置ではなく,被写体の位置の指定によって,被写体が写っている画像を検索することができるシステムを提供することを目的としている。 SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned problems and to provide a system that can search for an image showing a subject by specifying the subject position rather than the camera position.
本発明は,上記課題を解決するため,画像に対して,カメラの撮影位置(緯度経度)と,撮影方向(左右)の情報を付加情報として蓄積しておく。撮影対象の位置(経度緯度)が指定されると,カメラ位置と撮影方向から,指定された撮影対象が写っている画像を検索する。 In order to solve the above-described problems, the present invention stores information about the shooting position (latitude and longitude) of the camera and the shooting direction (left and right) as additional information for an image. When the position (longitude / latitude) of the shooting target is specified, an image showing the specified shooting target is retrieved from the camera position and shooting direction.
すなわち,本発明は,画像データとともに,その画像データの撮影位置情報と撮影方向範囲情報とを取得する画像取得部と,前記画像取得部により取得されたデータを蓄積するデータ蓄積部と,検索対象物の位置を入力装置から入力して指定する位置指定部と,前記位置指定部により指定された位置が前記画像データの画像内に含まれるかどうかを,前記画像データとともに前記データ蓄積部に蓄積された撮影位置情報と撮影方向範囲情報とに基づいて判別し,前記指定された位置が画像内に含まれる画像データを前記データ蓄積部から検索するデータ検索部と,検索された画像データを表示装置に出力するデータ表示部とを備えることを特徴とする。 That is, the present invention provides an image acquisition unit that acquires imaging position information and imaging direction range information of image data together with image data, a data storage unit that stores data acquired by the image acquisition unit, and a search target A position specifying unit that inputs and specifies the position of an object from an input device, and whether or not the position specified by the position specifying unit is included in the image of the image data is stored in the data storage unit together with the image data. A data retrieval unit that retrieves image data in which the designated position is included in the image from the data storage unit, and the retrieved image data is displayed based on the obtained photographing position information and photographing direction range information And a data display unit for outputting to the apparatus.
これによって,本発明は,カメラの位置ではなく,被写体の位置の指定によって,被写体が写っている画像を検索することができる。 As a result, the present invention can search for an image in which the subject is captured by specifying the subject position rather than the camera position.
上記発明においては,前記データ検索部が前記撮影位置情報と撮影方向範囲情報とに基づいて画像データを検索する条件,すなわち前記位置指定部により指定された位置が前記画像データの画像内に含まれるかどうかを判別する条件としては,前記指定された位置が画像の左端方向と右端方向の間に入っており,かつ前記指定された位置が前記撮影位置から所定の距離の範囲内にあるという条件を用いることができる。 In the above invention, the data search unit includes a condition for searching for image data based on the shooting position information and the shooting direction range information, that is, the position specified by the position specifying unit is included in the image of the image data. As a condition for determining whether or not the specified position is between the left end direction and the right end direction of the image, and the specified position is within a predetermined distance from the shooting position. Can be used.
所定の距離については,あらかじめ一定値を定めておいてもよいし,利用者に事前にまたは検索時に指定させてもよい。これにより,画像にタグ付けを行わなくても,検索対象物が写っている蓋然性の高い画像を選び出すことができる。 The predetermined distance may be determined in advance, or may be specified by the user in advance or at the time of search. As a result, it is possible to select an image with a high probability that the search object is reflected without tagging the image.
また,上記発明において,前記データ表示部は,前記データ検索部により検索された画像データを表示装置に表示する際に,画像内の前記指定された位置を指す方向にマークを付加して表示することも好適である。これにより,検索結果の画像が特に広角やパノラマ画像のように多数の被写体が含まれる画像である場合に,利用者は,検索対象物がその画像上のどこに含まれるかについて容易に識別できるようになる。 In the above invention, the data display unit displays the image data retrieved by the data retrieval unit with a mark in a direction indicating the designated position in the image when the image data is displayed on a display device. It is also suitable. As a result, when the search result image is an image including a large number of subjects, such as a wide-angle or panoramic image, the user can easily identify where the search object is included in the image. become.
また,上記発明において,前記データ表示部は,前記データ検索部により検索された画像データを表示装置に表示する際に,画像内の前記指定された位置を指す方向が表示画面上で所定のオフセット位置になるように表示位置を調整して表示することも好適である。これにより,表示画面上の決まった位置に検索対象物を表示させることができ,特に検索結果が多く出力されるような場合に,検索対象物を見やすく表示させることができる。 In the above invention, when the data display unit displays the image data searched by the data search unit on a display device, the direction indicating the designated position in the image has a predetermined offset on the display screen. It is also preferable that the display position is adjusted so that the display position is adjusted. As a result, the search object can be displayed at a fixed position on the display screen, and particularly when a large number of search results are output, the search object can be displayed in an easy-to-see manner.
また,上記発明において,前記データ表示部は,前記データ検索部により検索された画像データを表示装置に表示する際に,撮影位置から前記指定された位置までの方向を所定の順序でソートして表示することも好適である。これにより,特に検索結果が多く出力されるような場合に,カメラとそれぞれの画像における検索対象物の方向的な位置関係を把握しやすくなる。 In the above invention, the data display unit sorts the directions from the shooting position to the designated position in a predetermined order when displaying the image data searched by the data search unit on a display device. It is also suitable to display. This makes it easier to grasp the directional positional relationship between the camera and each search object in each image, particularly when many search results are output.
本発明によれば,検索したい撮影対象が写っている画像をその撮影対象の位置から容易に検索することができるようになる。 According to the present invention, it is possible to easily search for an image showing a shooting target to be searched from the position of the shooting target.
以下,図面を用いて本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は,本発明の全体の構成図を示す。図1において,画像取得部1は,画像データとともに,その画像データの撮影位置情報と撮影方向範囲情報とを取得する手段である。データ蓄積部2は,画像取得部1が取得した画像データと,その付加情報である撮影位置情報と撮影方向範囲情報とを蓄積する。位置指定部3は,利用者が指定する検索対象物の位置を入力装置から入力し,検索する画像を指定する手段である。データ検索部4は,位置指定部3により指定された位置が画像内に含まれる画像データを,データ蓄積部2から検索する手段である。データ検索部4は,撮影位置・方向判定部41を有し,位置指定部3により指定された位置が画像内に含まれるかどうかを,撮影位置・方向判定部41による撮影位置と撮影方向範囲の検索条件の判定により決定する。データ表示部5は,データ検索部4が検索したデータを表示装置に表示する手段である。
FIG. 1 shows an overall configuration diagram of the present invention. In FIG. 1, an
なお,位置指定部3が指定位置を入力する入力装置およびデータ表示部5がデータを表示する表示先の表示装置は,ネットワークを介して接続される端末であってもよい。
Note that the input device for inputting the specified position by the position specifying unit 3 and the display device of the display destination for displaying the data by the
まず,画像取得部1の構成例について述べる。図2は,本実施の形態における画像取得部1の構成例を示している。
First, a configuration example of the
画像取得部1における画像,位置,方向情報の入力方法として,例えば図2(A)に示すようなセンサを利用する方法や,図2(B)に示すような車両に搭載した機器を利用する方法を用いることができる。
As an image, position, and direction information input method in the
図2(A)では,画像を取得するための装置として,デジタルカメラ102を用い,また,位置の取得にはGPS装置101を用いている。さらに,方向の取得には,ジャイロあるいは地磁気センサ103といった方向を検知することができるセンサが市販されているので,これらのセンサをデジタルカメラ102に取り付け,デジタルカメラ102による画像の取得と同期して方向も取得できるようにしている。取得した情報は,メモリカード104に記録され,メモリカード104を介して,または,有線もしくは無線のインタフェースを介して処理用パーソナルコンピュータ(PC)10に取り込まれる。
In FIG. 2A, a
なお,以下では,方向については図3に示すような記法を用いて説明する。すなわち,本実施の形態では,方向については真北方向を0度とし,時計回りに真北方向からの角度により記述する。例えば図3に示すD1の南東方向は135度であり,D2の真西方向は270度として記述する。 In the following, the direction will be described using a notation as shown in FIG. That is, in the present embodiment, the direction is described with the true north direction being 0 degrees and the clockwise direction described by the angle from the true north direction. For example, the southeast direction of D1 shown in FIG. 3 is 135 degrees, and the west direction of D2 is described as 270 degrees.
図2(B)に示す例では,GPS装置112とデジタルカメラ113とを車両111(自動車を想定)に固定して設置し,車両111の移動とともに画像データを取得するという方法を用いる。方向については,次のようにして取得する。
In the example shown in FIG. 2B, a method is used in which the
図4は,車両に搭載した機器による方向の取得方法を説明する図である。図4では,車両111を真上から見た様子を表している。デジタルカメラ113は,車両111の進行方向に対してα度(この例ではα=90)で固定して取り付けられるものとする。画像はデジタルカメラ113により取得し,位置はGPS装置112により取得する。
FIG. 4 is a diagram for explaining a method of acquiring a direction by a device mounted on the vehicle. FIG. 4 shows a state in which the
GPS装置112により取得した現在位置と,直前の位置との差分から,その差分がゼロでなければ,その間の移動方向を計算することが可能である。GPSの位置取得周期(通常一秒程度)は,車両111が方向を変える時間に比べて短いため,この差分により求められる方向は,その瞬間の車両111の方向として近似しても実用上問題ない。車両111が停止している場合には差分がゼロとなるが,車両111(自動車を想定)は,位置を変えずに方向のみを変えることは原則不可能なので,ゼロでない直近の差分から得られる方向を使うことができる。このようにして,GPSのデータのみから,車両111の方向を求めることができる。
From the difference between the current position acquired by the
デジタルカメラ113は車両111に固定して設置してあるため,車両111の進行方向に対するデジタルカメラ113の向きは不変であるので,その値を加算することで,デジタルカメラ113の向きを算出することが可能である。例えば図4(B)の場合の,GPSの移動差分から得られる車両進行方向がt度であるとすると,デジタルカメラ113の撮影方向は,
撮影方向=(t+α) mod 360度
となる。ここで,「mod 360 」は,360で割ったときの剰余である。
Since the
Shooting direction = (t + α) mod 360 degrees. Here, “mod 360” is a remainder when divided by 360.
なお,非特許文献1に記載されているように,Exifフォーマットには,位置情報のほか,進行方向や撮影した画像の方向を格納するフォーマットも規定されているため,これらのデータは,Exifフォーマットとして画像データとともにメモリカード114等へ格納することができる。
As described in
このようにして取得された画像データ・位置データ・カメラ方向データは,メモリカード104,114などを通じて,方向範囲を計算するための処理用PC10に送られ,方向範囲計算部11において,カメラ水平画角からの方向範囲の計算が行われる。もちろん,ここまでの計算を,小型可搬なPCで撮影と同時に行うように構成することも可能である。
The image data, position data, and camera direction data acquired in this way are sent to the
図5は,画像の撮影方向範囲の取得方法を説明する図である。一般に,カメラで撮影される画像に写される光景の範囲を角度で表したものを画角と呼ぶが,この値は,カメラの構造と取り付けたレンズにより決まった値となる。そこで,方向範囲計算部11では,この画角の値をもとに,方向範囲を示すための左端方向および右端方向を,次のように計算することができる。
FIG. 5 is a diagram for explaining a method for acquiring the image capturing direction range. In general, the angle of view of the range of a scene captured in an image taken by a camera is called an angle of view. This value is determined by the structure of the camera and the attached lens. Therefore, the direction
図5(A)に示すように,カメラの撮影方向をa度,カメラの水平方向の画角をs度とする。画像の左端方向と右端方向は,図5(B)に示す式から求められる。すなわち,左端方向は,カメラ中心から見て「(a−s/2) mod 360度」となる。また,右端方向は,カメラ中心から見て「(a+s/2) mod 360度」となる。 As shown in FIG. 5A, it is assumed that the shooting direction of the camera is a degree and the horizontal angle of view of the camera is s degree. The left end direction and the right end direction of the image can be obtained from the equations shown in FIG. That is, the left end direction is “(as−2) mod 360 degrees” when viewed from the camera center. The right end direction is “(a + s / 2) mod 360 degrees” when viewed from the camera center.
なお,画像取得部1の構成に当たっては,オプションとしてパノラマ合成部12を設けることもできる。パノラマ合成部12では,特許文献2の方法により複数の画像をパノラマ合成して,より広角の画像を得る。この場合には,パノラマ作成の過程でどの画像を組み合わせたかは分かっているので,その左端方向,右端方向の最大値,最小値を保持することにより,最終的に得られるパノラマ画像の左端方向,右端方向を求めることができる。
In the configuration of the
画像取得部1では,以上のようにして,画像データと,画像の位置(緯度経度)と,画像の左端および右端の方向を取得する。
As described above, the
図6は,本実施の形態において画像取得部1以外の構成を,1台のコンピュータで実現する場合の例を示している。
FIG. 6 shows an example in which the configuration other than the
本実施の形態で使用するコンピュータ60は,命令に従って動作を実行するために必要なCPUやメモリのほかに,画像等のデジタルデータを蓄積するためのハードディスク装置(HDD)20と,利用者に対して情報を表示するためのディスプレイ50と,利用者が情報を入力するためのマウス等のポインティングデバイス30を備えている。
A
まず,データ蓄積部2の構成例について述べる。データ蓄積部2は,HDD20とそれを制御するための入出力機能および一般に市販されているデータベースマネジメントシステム(DBMS)21として実現できる。すなわち,画像取得部1により求められた画像データをHDD20上の特定のフォルダ上に,例えばJPEG形式のファイルとして蓄積し,撮影位置情報と撮影方向情報については,図7に示すようなDBMS21上のテーブルとして実現することができる。
First, a configuration example of the
図7に示すテーブルは,画像データと位置情報・方向情報を保存するための位置・方向情報管理テーブルである。この例では,画像データ自体はJPEG形式で特定のフォルダに保存されていることを前提として,画像ファイル名を画像データの代わりに保存する実施方法を記載しているが,画像データのバイナリデータ自体をDBMS21で保存する方法も採り得る。
The table shown in FIG. 7 is a position / direction information management table for storing image data and position information / direction information. In this example, the image data itself is stored in a specific folder in the JPEG format, and the implementation method for storing the image file name instead of the image data is described. However, the binary data itself of the image data is described. Can be stored in the
次に位置指定部3の構成例について述べる。位置指定部3としては,検索したい被写体がある位置を緯度経度で指定することが必要なので,もっとも簡易な実施例としては,コンピュータ60に接続されたキーボードにより,数値を直接入力できるようにすればよい。
Next, a configuration example of the position specifying unit 3 will be described. Since it is necessary for the position specifying unit 3 to specify the position where the subject to be searched is located by latitude and longitude, the simplest embodiment is that a numerical value can be directly input by a keyboard connected to the
より実用的な位置指定部3の実施例としては,ディスプレイ50上に地図データを表示し,利用者の操作によって,拡大・縮小・スクロール表示や,住所やランドマークなどを指定して検索することができるソフトウェアを利用する方法もある。このようなソフトウェアは,デジタル地図ソフトとして,多くのものが出回っており市販もされている。
As a more practical example of the position specifying unit 3, map data is displayed on the
図8は,位置指定部3による位置指定情報の入力画面の例を示している。また,図9は,位置指定部3の処理フローチャートを示している。 FIG. 8 shows an example of a position designation information input screen by the position designation unit 3. FIG. 9 shows a process flowchart of the position specifying unit 3.
位置指定部3は,図8に示すように,指定された位置の地図を画面に表示するとともに,デジタル地図ソフトを機能拡張し,例えば「被写体検索」のような特定のメニューも表示する。利用者が「被写体検索」メニューを選択すると,被写体検索メニュー状態になり(ステップS10),この状態で利用者が画面上をマウス等のポインティングデバイス30でクリックすると,位置指定部3は,画面上のマウス位置から地図上の緯度経度を求める(ステップS11)。次に,位置指定部3は,データ検索部4を呼び出し,指定された緯度経度をデータ検索部4に渡す(ステップS12)。ディスプレイ50上のポインタの位置から地図上の位置(緯度経度)への変換は,その時点の表示状態をデジタル地図ソフトが変換パラメータとして保持しており,その機能を利用することで変換することができる。
As shown in FIG. 8, the position designation unit 3 displays a map of the designated position on the screen and expands the function of the digital map software to display a specific menu such as “subject search”, for example. When the user selects the “subject search” menu, the subject search menu state is set (step S10). When the user clicks on the screen with a
次に,データ検索部4の構成例について述べる。図10は,緯度経度から局所直交座標系への変換方法を説明する図,図11は,検索条件の例を説明する図である。 Next, a configuration example of the data search unit 4 will be described. FIG. 10 is a diagram for explaining a conversion method from a latitude / longitude to a local orthogonal coordinate system, and FIG. 11 is a diagram for explaining an example of a search condition.
まず,データ検索部4では,2点の緯度経度により,方向や距離を求める必要がある。厳密な計算のためには,地球の厳密な形状の解析が必要であるが,図10では,その近似方法について記してある。すなわち,地球は,一周が4万kmの球体であるとみなすことができる。また,局所的な範囲(例えば基点から10km以内の範囲等)においては,その球体の表面を,平面として近似することができる。この場合,次のような計算式により,距離や方向を求めることができる。なお,以下ではcosやarctan等の三角関数は,ラジアン角度ではなく,360度法により計算されるものとして記載してある。 First, the data search unit 4 needs to obtain a direction and a distance from two latitudes and longitudes. For exact calculation, it is necessary to analyze the exact shape of the earth. In FIG. 10, the approximation method is described. That is, the earth can be regarded as a sphere with a circumference of 40,000 km. In a local range (for example, a range within 10 km from the base point), the surface of the sphere can be approximated as a plane. In this case, the distance and direction can be obtained by the following calculation formula. In the following, trigonometric functions such as cos and arctan are described as being calculated by the 360 degree method, not by the radians angle.
P0 を地図上の基点とし,その緯度をα,経度をβとする。P1 を対象点とし,その緯度をφ,経度をψとする。地球の1周の距離をEr [m]とすると,基点P0 における経度1度当たりの距離は,Er ×cos(α)×1/360mであり,緯度1度当たりの距離は,Er ×1/360mとなる。
Let P 0 be the base point on the map, the latitude be α, and the longitude be β. Let P 1 be a target point, and let its latitude be φ and longitude be ψ. If the distance of one round of the earth is E r [m], the distance per longitude at the base point P 0 is E r × cos (α) × 1/360 m, and the distance per
基点P0 から対象点P1 への南北方向の距離Dn (北向きを正とする)は,次式により求まる。 A north-south direction distance D n from the base point P 0 to the target point P 1 (the north direction is positive) is obtained by the following equation.
Dn (φ)=Er ×(φ−α)/360
基点P0 から対象点P1 への東西方向の距離De (東向きを正とする)は,次式により求まる。
D n (φ) = E r × (φ−α) / 360
The distance D e in the east-west direction from the base point P 0 to the target point P 1 (the east direction is positive) is obtained by the following equation.
De (ψ)=Er ×cos(α)×(ψ−β)/360
基点P0 から対象点P1 への距離Dは,次式により求まる。
D e (ψ) = E r × cos (α) × (ψ−β) / 360
A distance D from the base point P 0 to the target point P 1 is obtained by the following equation.
D(φ,ψ)=Er ×(Dn (φ)2 +De (ψ)2 )1/2
基点P0 から対象点P1 への方向θ(図3の記法参照)は,次式により求まる。
D (φ, φ) = E r × (D n (φ) 2 + D e (φ) 2 ) 1/2
A direction θ (see the notation in FIG. 3) from the base point P 0 to the target point P 1 is obtained by the following equation.
・De ≠0の場合(つまり,ψ≠βの場合)
θ(φ,ψ)=arctan(Dn (φ)/De (ψ))
・De =0の場合(つまり,ψ=βの場合)
θ(φ,ψ)=0度(真北),または,θ(φ,ψ)=180度(真南)
なお,このときθが0度であるか180度であるかは,φとαの大小関係により判定することができる。
・ When D e ≠ 0 (that is, when ψ ≠ β)
θ (φ, ψ) = arctan (D n (φ) / D e (ψ))
・ When D e = 0 (that is, when ψ = β)
θ (φ, ψ) = 0 degrees (true north) or θ (φ, ψ) = 180 degrees (true south)
At this time, whether θ is 0 degrees or 180 degrees can be determined by the magnitude relationship between φ and α.
対象点P1 から基点P0 への方向θ′は,θと向きが180度変わるので,次のようになる。 Since the direction θ ′ from the target point P 1 to the base point P 0 changes in direction from θ by 180 degrees, it is as follows.
θ′(φ,ψ)=(θ(φ,ψ)+180) mod 360
データ検索部4では,画像データの検索時に各画像データが指定された位置をその画像方向範囲内に含むかどうかの判定が必要になる。図11(A)に示すように,カメラ位置を(Cx ,Cy )とし,画像の左端方向をTl ,右端方向をTr とする。また,利用者が指定した指定位置を(α,β)とする。データ検索部4の判定では,画像方向範囲が,図11(B)に示すように0度(真北方向)をまたぐ可能性を考慮する必要がある。図11(A)の場合をCase1,図11(B)の場合をCase2として説明する。
θ ′ (φ, ψ) = (θ (φ, ψ) +180) mod 360
In the data search unit 4, it is necessary to determine whether or not the position where each image data is specified is included in the image direction range when searching for image data. As shown in FIG. 11A, the camera position is (C x , C y ), the left end direction of the image is T l , and the right end direction is T r . Also, the designated position designated by the user is (α, β). In the determination by the data search unit 4, it is necessary to consider the possibility that the image direction range crosses 0 degrees (true north direction) as shown in FIG. The case of FIG. 11A will be described as
検索のための条件としては,例えば方向の条件(条件1)および距離の条件(条件2)を用いる。
[条件1]:カメラから見て,指定位置が左端方向と右端方向の範囲に入っている。
[条件2]:カメラから見て,指定位置が距離R以内に入っている(Rは閾値)。
As conditions for the search, for example, a direction condition (condition 1) and a distance condition (condition 2) are used.
[Condition 1]: The designated position is in the range of the left end direction and the right end direction as viewed from the camera.
[Condition 2]: The designated position is within the distance R as seen from the camera (R is a threshold value).
条件1では,θ′(CX ,Cy )が左端方向と右端方向の間に入っているかどうかの判定となる。そこで,Case1(Tl <Tr のとき)では,次の条件式に合致するかどうかを判定する。
In
Tl ≦θ′(CX ,Cy )≦Tr
Case2(Tl >Tr のとき;0度をまたいでいるとき)では,次の条件式に合致するかどうかを判定する。
T l ≦ θ ′ (C X , C y ) ≦ T r
In Case 2 (when T 1 > T r ; when crossing 0 degree), it is determined whether or not the following conditional expression is satisfied.
Tl ≦θ′(CX ,Cy )<360 または 0≦θ′(CX ,Cy )≦Tr
また,条件2は,カメラから見て指定位置が距離R以内に入っているかどうかであるから,次の条件式に合致するかどうかを判定する。
T l ≦ θ ′ (C X , C y ) <360 or 0 ≦ θ ′ (C X , C y ) ≦ T r
Further, since
D(φ,ψ)≦R
このように,距離については,ある閾値Rを条件として設けてあるが,このRについては,本発明の実施目的に合わせて,適宜設定してもよいし,検索のたびに,利用者が入力できるようにしてもよい。利用者がRを入力できるようにする場合には,例えば図8に示す画面における被写体検索メニューのサブメニューとして,Rの値を入力できるようにする。
D (φ, ψ) ≦ R
As described above, the distance is set with a certain threshold value R as a condition. However, this R may be appropriately set according to the purpose of carrying out the present invention, and is input by the user at every search. You may be able to do it. When the user can input R, for example, the value of R can be input as a submenu of the subject search menu on the screen shown in FIG.
図12は,以上の検索条件に従って画像データを検索するデータ検索部4の処理フローチャートである。 FIG. 12 is a process flowchart of the data search unit 4 that searches for image data in accordance with the above search conditions.
まず,データ検索部4は,位置指定部3から受け取った引数から,指定位置の緯度αと経度βを取得する(ステップS20)。次に,取得した緯度αと経度βから,距離の条件(上記条件2)を,SQL(検索言語)のwhere節にして,レコード検索するように,SQL文を設定する(ステップS21)。設定したSQL文をデータ蓄積部2を構成するDBMS21へ送り,指定位置が撮像されている画像データの検索を要求する(ステップS22)。
First, the data search unit 4 acquires the latitude α and longitude β of the specified position from the argument received from the position specifying unit 3 (step S20). Next, from the acquired latitude α and longitude β, an SQL statement is set so that a record search is performed with the distance condition (the above condition 2) as the WHERE clause of SQL (search language) (step S21). The set SQL sentence is sent to the
次に,DBMS21からの検索結果のそれぞれについて,ステップS231〜S233の繰り返し処理を実行する(ステップS23)。なお,検索結果は,図7に示す位置・方向情報管理テーブルのレコードである。まず,検索結果の左端方向Tl と右端方向Tr から,θ′(Cx ,Cy )を計算する(ステップS231)。次に,方向の条件(上記条件1)を満たすかどうかを判定する(ステップS232)。条件を満たす場合には,判定対象の画像データを検索結果として残し,条件を満たさない場合には,検索結果から判定対象の画像データを削除する(ステップS233)。以上の処理を,すべての検索結果について繰り返す。 Next, the repetition process of steps S231 to S233 is executed for each of the search results from the DBMS 21 (step S23). The search result is a record in the position / direction information management table shown in FIG. First, θ ′ (C x , C y ) is calculated from the left end direction T 1 and the right end direction T r of the search result (step S231). Next, it is determined whether or not the direction condition (the above condition 1) is satisfied (step S232). When the condition is satisfied, the determination target image data is left as a search result, and when the condition is not satisfied, the determination target image data is deleted from the search result (step S233). The above processing is repeated for all search results.
その後,残った検索結果のデータをデータ表示部5へ渡す(ステップS24)。 Thereafter, the remaining search result data is transferred to the data display unit 5 (step S24).
図13は,検索結果の例を示す。例えば図13(A)に示されるような地図上で,P0 の位置が指定されたとする。この指定位置P0 の緯度経度情報をもとに,一定の距離Rの範囲内で,この指定位置P0 が画像の左端と右端の範囲に収まっている画像が,図7に示す位置・方向情報管理テーブルから検索されることになる。この例では,検索結果として,R1,R2,R3の3枚の画像が得られている。 FIG. 13 shows an example of a search result. For example, assume that the position of P 0 is specified on the map as shown in FIG. Based on latitude and longitude information of the designated position P 0, within a certain distance R, the image which the designated position P 0 is within the left and right ends of the range of the image, the position-direction shown in FIG. 7 It is retrieved from the information management table. In this example, three images R1, R2, and R3 are obtained as search results.
最後に,データ表示部5の構成例について述べる。図14は,データ表示部5の処理フローチャートである。この処理で使われる,画像の表示や,他の画像の重畳,表示位置の指定などは,Windows(登録商標)OSなどの標準的な機能を利用することで実施できる。
Finally, a configuration example of the
まず,データ表示部5は,データ検索部4から受け取った検索結果のデータを,θ′をキーとしてソートする(ステップS30)。その後,検索結果の各データについて,ステップS311〜S314の処理を繰り返す(ステップS31)。この繰り返し処理は,利用者からの指示に従って,1画像ずつ処理を進めてもよいし,繰り返し処理を連続して行い,検索結果の画像を例えばサムネイル表示のように一覧表示するようにしてもよい。
First, the
繰り返し処理では,検索結果のデータ中の画像ファイル名をもとに画像ファイルを表示する(ステップS311)。次に,画像内のθ′の左端からのピクセル数pを求める(ステップS312)。 In the iterative process, the image file is displayed based on the image file name in the search result data (step S311). Next, the number p of pixels from the left end of θ ′ in the image is obtained (step S312).
ここでのピクセル数pの求め方を説明する。図14の下側に示すように画像全体の横のピクセル数をPXとする。求め方は,方向の条件(条件1)によって,次のように分類される。
・Case1(Tl ≦θ′≦Tr の場合)
p=PX×(θ′−Tl )/(Tr −Tl )
・Case2−1(Tl >Tr かつTl ≦θ′<360の場合)
p=PX×(θ′−Tl )/(Tr +360−Tl )
・Case2−2(Tl >Tr かつ0≦θ′≦Tr の場合)
p=PX×(θ′+360−Tl )/(Tr +360−Tl )
以上の式により,ピクセル数pを算出したならば,求めた画像中のpの位置に,指定位置の方向を示すマークを描画する(ステップS313)。また,pがディスプレイ画面のoffset位置にくるように,(offset−p)ピクセル分だけ画像の表示位置を水平にずらす(ステップS314)。なお,(offset−p)が正なら,画像を右方向にずらし,(offset−p)が負なら,画像を左方向にずらすことになる。繰り返し処理では,以上の処理を検索結果の画像ごとに繰り返す。
Here, a method for obtaining the number of pixels p will be described. As shown in the lower side of FIG. 14, the number of horizontal pixels in the entire image is PX. The method of obtaining is classified as follows according to the direction condition (condition 1).
・ Case 1 (when T l ≦ θ ′ ≦ T r )
p = PX × (θ′−T l ) / (T r −T l )
Case 2-1 (when T l > T r and T l ≦ θ ′ <360)
p = PX × (θ′−T l ) / (T r + 360−T l )
Case 2-2 (when T l > T r and 0 ≦ θ ′ ≦ T r )
p = PX × (θ ′ + 360−T l ) / (T r + 360−T l )
When the number of pixels p is calculated by the above formula, a mark indicating the direction of the designated position is drawn at the position of p in the obtained image (step S313). Further, the display position of the image is shifted horizontally by (offset-p) pixels so that p is at the offset position of the display screen (step S314). If (offset-p) is positive, the image is shifted to the right. If (offset-p) is negative, the image is shifted to the left. In the iterative process, the above process is repeated for each search result image.
図15は,画像表示位置の調整例を示す図である。表示枠の横幅をWx ピクセルとする。表示枠は,Windows(登録商標)における表示ウィンドウあるいは単なる表示画面である。offsetは,表示枠のどの位置に画像を表示するかの基準を示すものであり,offsetの決め方としては,次のような方法を用いることができる。
〔offsetの決め方1〕
offsetを画面中央に固定する。offset=Wx /2 とする。
〔offsetの決め方2〕
offsetを必ず固定値とする。例えば,offset=100とする。
〔offsetの決め方3〕
表示に先立ち,利用者がマウス等により指定した位置を使う。offset=(マウスポインタの横座標)とする。
FIG. 15 is a diagram illustrating an example of adjusting the image display position. The horizontal width of the display frame is W x pixels. The display frame is a display window or a simple display screen in Windows (registered trademark). “offset” indicates a reference in which position of the display frame an image is displayed, and the following method can be used for determining the offset.
[How to determine offset 1]
Fix the offset at the center of the screen. Let offset = W x / 2.
[How to decide offset 2]
Offset is always a fixed value. For example, offset = 100.
[How to decide offset 3]
Prior to display, the position specified by the user with the mouse is used. Let offset = (abscissa of the mouse pointer).
図14のステップS314の処理は,図15に示すように,offsetの位置にマークM1,M2がくるように表示位置を調整する処理である。 The process of step S314 in FIG. 14 is a process of adjusting the display position so that the marks M1 and M2 are positioned at the offset position as shown in FIG.
次に,図13に示したような利用者の指定位置P0 に対して,データ検索部4により検索結果R1,R2,R3の画像データが得られたときのデータ表示部5による表示例を,図16に示す。
Next, a display example by the
検索結果R1,R2,R3は,指定位置P0 から撮影位置への方向θ′をキーとして,真北方向から時計回りにソートされて表示されるため,図16に示すように,検索結果R3の画像,検索結果R2の画像,検索結果R1の画像の順番で表示される。なお,θ′の順番ではなく,これと逆方向のθの昇順で検索結果を表示するように定めてもよい。あるいは,真北方向以外の方向から時計回りまたは反時計回りにソートすることもできる。 The search results R1, R2, and R3 are sorted and displayed clockwise from the true north direction using the direction θ ′ from the designated position P 0 to the shooting position as a key. Therefore, as shown in FIG. 16, the search results R3 , The image of the search result R2, and the image of the search result R1 are displayed in this order. Note that the search results may be displayed not in the order of θ ′ but in the ascending order of θ in the opposite direction. Alternatively, it can be sorted clockwise or counterclockwise from directions other than the true north direction.
検索結果の各画像の上端および下端には,指定位置P0 の方向を示すマークM11〜M32が付与される。また,これらの各マークM11〜M32の位置が,あらかじめ定められた表示枠内の表示位置を示すoffsetもしくは利用者が指定したoffsetの位置に合うように,画像が表示される。 The upper and lower ends of each image search results, marks M11~M32 indicating the direction of the designated position P 0 is given. Further, the image is displayed so that the positions of these marks M11 to M32 are matched with the offset indicating the display position within a predetermined display frame or the offset specified by the user.
以上の画像検索の処理は,コンピュータとソフトウェアプログラムとによって実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。 The above-described image search processing can be realized by a computer and a software program, and the program can be recorded on a computer-readable recording medium or provided through a network.
なお,本実施例では,画像取得部1以外の構成を,1台のコンピュータで実施される例について記してきたが,各機能を別個のコンピュータにより構成する実施例へも容易に応用することができる。
In the present embodiment, the configuration other than the
1 画像取得部
2 データ蓄積部
3 位置指定部
4 データ検索部
41 撮影位置・方向判定部
5 データ表示部
DESCRIPTION OF
Claims (6)
前記画像取得部により取得されたデータを蓄積するデータ蓄積部と,
検索対象物の位置を入力装置から入力して指定する位置指定部と,
前記位置指定部により指定された位置が前記画像データの画像内に含まれるかどうかを,前記画像データとともに前記データ蓄積部に蓄積された撮影位置情報と撮影方向範囲情報とに基づいて判別し,前記指定された位置が画像内に含まれる画像データを前記データ蓄積部から検索するデータ検索部と,
検索された画像データを表示装置に出力するデータ表示部とを備える
ことを特徴とする画像検索装置。 An image acquisition unit that acquires image data and shooting position information and shooting direction range information of the image data;
A data storage unit for storing data acquired by the image acquisition unit;
A position specification unit for specifying the position of the search object by inputting from the input device;
Whether the position specified by the position specifying unit is included in the image of the image data is determined based on shooting position information and shooting direction range information stored in the data storage unit together with the image data, A data search unit that searches the data storage unit for image data in which the designated position is included in an image;
An image search device comprising: a data display unit that outputs the searched image data to a display device.
前記データ検索部が前記撮影位置情報と撮影方向範囲情報とに基づいて画像データを検索する条件は,前記指定された位置が画像の左端方向と右端方向の間に入っており,かつ前記指定された位置が前記撮影位置から所定の距離の範囲内にあるという条件である
ことを特徴とする画像検索装置。 The image search device according to claim 1,
The condition that the data search unit searches for image data based on the shooting position information and the shooting direction range information is that the specified position is between the left end direction and the right end direction of the image and the specified The image search device is characterized in that the position is within a predetermined distance from the photographing position.
前記データ表示部は,前記データ検索部により検索された画像データを表示装置に表示する際に,画像内の前記指定された位置を指す方向にマークを付加して表示する手段を備える
ことを特徴とする画像検索装置。 In the image search device according to claim 1 or 2,
The data display unit includes means for adding and displaying a mark in a direction indicating the designated position in an image when displaying the image data searched by the data search unit on a display device. An image search device.
前記データ表示部は,前記データ検索部により検索された画像データを表示装置に表示する際に,画像内の前記指定された位置を指す方向が表示画面上で所定のオフセット位置になるように表示位置を調整して表示する手段を備える
ことを特徴とする画像検索装置。 In the image search device according to claim 1, claim 2 or claim 3,
The data display unit displays the image data retrieved by the data retrieval unit so that a direction indicating the designated position in the image is a predetermined offset position on a display screen when the image data is displayed on a display device. An image search apparatus comprising: means for adjusting and displaying a position.
前記データ表示部は,前記データ検索部により検索された画像データを表示装置に表示する際に,撮影位置から前記指定された位置までの方向を所定の順序でソートして表示する手段を備える
ことを特徴とする画像検索装置。 In the image search device according to claim 1, claim 2, claim 3 or claim 4,
The data display unit includes means for sorting and displaying directions from a photographing position to the designated position in a predetermined order when displaying the image data retrieved by the data retrieval unit on a display device. An image search device characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008306096A JP2010129032A (en) | 2008-12-01 | 2008-12-01 | Device and program for retrieving image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008306096A JP2010129032A (en) | 2008-12-01 | 2008-12-01 | Device and program for retrieving image |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010129032A true JP2010129032A (en) | 2010-06-10 |
Family
ID=42329344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008306096A Pending JP2010129032A (en) | 2008-12-01 | 2008-12-01 | Device and program for retrieving image |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010129032A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013161390A (en) * | 2012-02-08 | 2013-08-19 | Sony Corp | Server, client terminal, system and program |
JP2013182332A (en) * | 2012-02-29 | 2013-09-12 | Nikon Corp | Image display program and image display device |
KR20140065043A (en) * | 2012-11-21 | 2014-05-29 | 주식회사 엘지유플러스 | Apparatus and method for providing augmented reality based on time |
JP2015509239A (en) * | 2012-05-28 | 2015-03-26 | テンセント テクノロジー (シェンツェン) カンパニー リミテッド | Location search method and apparatus based on electronic map |
JP2016103248A (en) * | 2014-11-28 | 2016-06-02 | 富士通株式会社 | Image providing system and image providing method |
JP2020144705A (en) * | 2019-03-07 | 2020-09-10 | インフカム株式会社 | Management system, management program, and management method |
-
2008
- 2008-12-01 JP JP2008306096A patent/JP2010129032A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013161390A (en) * | 2012-02-08 | 2013-08-19 | Sony Corp | Server, client terminal, system and program |
US9635234B2 (en) | 2012-02-08 | 2017-04-25 | Sony Corporation | Server, client terminal, system, and program |
JP2013182332A (en) * | 2012-02-29 | 2013-09-12 | Nikon Corp | Image display program and image display device |
JP2015509239A (en) * | 2012-05-28 | 2015-03-26 | テンセント テクノロジー (シェンツェン) カンパニー リミテッド | Location search method and apparatus based on electronic map |
KR20140065043A (en) * | 2012-11-21 | 2014-05-29 | 주식회사 엘지유플러스 | Apparatus and method for providing augmented reality based on time |
KR101643024B1 (en) | 2012-11-21 | 2016-07-26 | 주식회사 엘지유플러스 | Apparatus and method for providing augmented reality based on time |
JP2016103248A (en) * | 2014-11-28 | 2016-06-02 | 富士通株式会社 | Image providing system and image providing method |
JP2020144705A (en) * | 2019-03-07 | 2020-09-10 | インフカム株式会社 | Management system, management program, and management method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101411038B1 (en) | Panoramic ring user interface | |
US9497581B2 (en) | Incident reporting | |
US8254727B2 (en) | Method and apparatus for providing picture file | |
KR100845892B1 (en) | Method and system for mapping image objects in photo to geographic objects | |
US20080069449A1 (en) | Apparatus and method for tagging ID in photos by utilizing geographical positions | |
KR20090019184A (en) | Image reproducing apparatus which uses the image files comprised in the electronic map, image reproducing method for the same, and recording medium which records the program for carrying the same method | |
US20090278949A1 (en) | Camera system and method for providing information on subjects displayed in a camera viewfinder | |
US8687853B2 (en) | Method, system and computer-readable recording medium for providing service using electronic map | |
JP5334159B2 (en) | Photo display method and system on electronic map | |
JP5315424B2 (en) | Image display control apparatus and control method thereof | |
JP2012160904A (en) | Information processor, information processing method, program, and imaging apparatus | |
JP5229791B2 (en) | PHOTO MAPPING METHOD AND SYSTEM, PROGRAM, AND STORAGE MEDIUM | |
US10068157B2 (en) | Automatic detection of noteworthy locations | |
US20120033070A1 (en) | Local search device and local search method | |
JP5419644B2 (en) | Method, system and computer-readable recording medium for providing image data | |
JP2010129032A (en) | Device and program for retrieving image | |
JP6292915B2 (en) | Display control apparatus, control method therefor, and program | |
JP6210807B2 (en) | Display control device and control method of display control device | |
JP2010276364A (en) | Navigation information creation device, navigation system, navigation information creation method, and navigation method | |
JP2007020054A (en) | Method and device for managing image | |
JP2015064824A (en) | Information processor, image processing system, and information processing method and program in information processor and program | |
JP5980172B2 (en) | Display control apparatus and control method thereof | |
JP4166074B2 (en) | Mobile information management apparatus and information management system | |
JP2006127525A (en) | Movement information management device and information management system | |
JP2011041167A (en) | Image pickup device and location information additional equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100331 |