JP2011234257A - Imaging apparatus, captured image display system, control method, captured image display method and program - Google Patents

Imaging apparatus, captured image display system, control method, captured image display method and program Download PDF

Info

Publication number
JP2011234257A
JP2011234257A JP2010104693A JP2010104693A JP2011234257A JP 2011234257 A JP2011234257 A JP 2011234257A JP 2010104693 A JP2010104693 A JP 2010104693A JP 2010104693 A JP2010104693 A JP 2010104693A JP 2011234257 A JP2011234257 A JP 2011234257A
Authority
JP
Japan
Prior art keywords
information
captured image
image
position information
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010104693A
Other languages
Japanese (ja)
Inventor
Yoshitake Miyajima
祥剛 宮島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon System and Support Inc
Original Assignee
Canon Marketing Japan Inc
Canon System and Support Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon System and Support Inc filed Critical Canon Marketing Japan Inc
Priority to JP2010104693A priority Critical patent/JP2011234257A/en
Publication of JP2011234257A publication Critical patent/JP2011234257A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of adding information to an image by explicitly selecting positional information of a subject settled within the image from a map displayed in the imaging apparatus.SOLUTION: The present invention relates to an imaging apparatus including an imaging section. The imaging apparatus further includes: a display means for displaying a captured image on a display section; a positional information detecting means for detecting first positional information indicating a position of photographing; a direction information detecting means for detecting direction information indicating a direction of photographing; a map information display means for displaying on the display section map information for designating a subject to pay attention from the captured image displayed on the display section by the display means in accordance with the first positional information and the direction information; a selection means for receiving a selection of the subject to pay attention in the captured image from among subject candidates included in the map information displayed by the map information display means; and a positional information adding means for adding second positional information indicating a position of the subject selected by the selection means to the captured image and storing that captured image.

Description

本発明は、例えば位置情報取得機能及び通信機能を備えた撮像画像表示装置100及びそれに用いる記録ファイルの作成方法及び再生装置に係り、特に少なくとも動画像データと地図画像データとを関連付けた記録ファイルを生成し記録可能な撮像画像表示装置100、当該記録ファイルの作成方法、当該記録ファイルに基づき再生が可能な再生装置に関する。   The present invention relates to a captured image display device 100 having, for example, a position information acquisition function and a communication function, and a recording file creation method and a playback device used therefor, in particular, at least a recording file that associates moving image data and map image data The present invention relates to a captured image display device 100 that can be generated and recorded, a method for creating the recording file, and a reproducing device that can reproduce based on the recording file.

近年、デジタル画像技術の発展により、動画、静止画を問わずデジタル形式の写真、ビデオが主流になっており、カメラ、ビデオ問わずそれらの付加機能は高まりつつある。例えば、近年では、GPS(グローバル・ポインティング・システム)から動画、静止画の撮影場所を取得可能なビデオカメラや、デジタルコンパクトカメラ(以下、まとめて「撮像画像表示装置100」)が存在する。インターネットを介してサービスプロバイダ等により地図データが提供されるようになり、これらの機能を有する撮像画像表示装置100により撮影された静止画、動画は、付加情報として、地図データと紐付けてユーザが動画像を情報処理装置に記憶管理することが可能である。   In recent years, with the development of digital image technology, digital pictures and videos have become mainstream regardless of moving images and still images, and their additional functions are increasing regardless of cameras and videos. For example, in recent years, there are video cameras and digital compact cameras (hereinafter collectively referred to as “captured image display device 100”) that can acquire moving image and still image shooting locations from GPS (Global Pointing System). Map data is provided by a service provider or the like via the Internet, and still images and moving images captured by the captured image display device 100 having these functions are linked to map data as additional information by a user. It is possible to store and manage moving images in the information processing apparatus.

例えば、特許文献1には、時刻情報と撮影方角と撮影位置とからなる撮影識別情報を付加した画像をサーバへ送信し、そのサーバが撮影位置を含む地図やその撮影地点での写真画像を利用者端末へ提供する位置方位付き写真提供システムが開示されている。   For example, in Patent Document 1, an image to which shooting identification information including time information, a shooting direction, and a shooting position is added is transmitted to a server, and the server uses a map including the shooting position and a photograph image at the shooting point. A system for providing a photograph with position and orientation to be provided to a person terminal is disclosed.

また、特許文献2には、動画撮影時に動画像データ、並びに地図画像データを対応付けた記録ファイルを生成して記録し、動画再生時に動画撮影中のリアルタイムな撮影場所を反映した地図画像を表示可能とする撮像装置、及び当該記録ファイルの作成方法及び当該記録ファイルに基づく再生が可能な撮像再生装置が開示されている。   Patent Document 2 generates and records a recording file in which moving image data and map image data are associated with each other during moving image shooting, and displays a map image reflecting a real-time shooting location during moving image shooting during moving image reproduction. An imaging device that enables recording, a method for creating the recording file, and an imaging playback device that can perform playback based on the recording file are disclosed.

これらの特許文献によれば、画像(若しくは動画)の撮影時に、撮影場所の位置情報を取得しておき、地図情報に動画像情報を付加するシステムが実現可能である。   According to these patent documents, it is possible to realize a system that acquires position information of a shooting location and adds moving image information to map information when shooting an image (or moving image).

また、特許文献3には、撮像装置(デジタルカメラ)で撮影した画像に撮影位置情報の他に、撮影日時情報を付加して、特定の対象画像の、現在を除く過去や未来の画像を、ユーザが取得可能なシステムが開示されている。   In addition, in Patent Document 3, in addition to shooting position information, shooting date and time information is added to an image shot by an imaging apparatus (digital camera), and past and future images of a specific target image, excluding the present, A system that can be acquired by a user is disclosed.

特開2007−52809号公報JP 2007-52809 A 特開2008−277959号公報JP 2008-277959 A 特登録4366601号公報Japanese Patent No. 4366601

特許文献3に開示される発明は、被写体の撮像時に、同じ撮像場所において、同じ被写体あるいは被写体方向の過去または未来の画像を見てみたいという要求から、同じ場所で撮影された過去や未来の画像を取得可能なシステムである。しかしながら、このシステムは、特定の場所から撮影された画像のみを検索するためユーザの求める被写体の過去(未来)画像が検索結果として取得しづらいという課題が想起される。画像を検索する側のユーザからすれば、同じ撮像場所において、同じ被写体あるいは被写体方向の画像を検索することもあるが、それ以上に、撮像場所は特に限定せずに、被写体の過去の姿を求めることの方が需要が大きいと思われる。
また、これらの特許文献に開示される発明では、GPSを用いて撮影位置情報を取得することが可能であるが、しかしながら、撮影した画像に収められる被写体については、撮像装置のオートフォーカスを用いても、被写体を特定できず、被写体の位置情報を正確に検知することが困難である。たとえば、特定の建物や人物ではなく、風景写真を撮影する場合には、被写体を特定することは非常に困難であるといえる。
The invention disclosed in Patent Document 3 is based on a request to view past or future images of the same subject or subject direction at the same imaging location at the time of imaging of the subject. It is a system that can acquire. However, since this system searches for only images taken from a specific location, there is a problem that past (future) images of the subject desired by the user are difficult to obtain as search results. From the user who searches for images, there may be a search for images of the same subject or subject direction at the same imaging location, but beyond that, the imaging location is not particularly limited, and the past appearance of the subject can be viewed. The demand is likely to be greater.
In addition, in the inventions disclosed in these patent documents, it is possible to acquire shooting position information using GPS. However, for an object to be stored in a shot image, autofocus of the imaging device is used. However, the subject cannot be specified, and it is difficult to accurately detect the position information of the subject. For example, it can be said that it is very difficult to specify a subject when taking a landscape photograph instead of a specific building or person.

本発明は、上記課題を解決するためになされたものであり、本発明の目的は、画像に収められる被写体の位置情報を、撮像装置に表示される地図上から明示的に選択して画像に情報を付加することが可能な撮像装置を提供することである。   The present invention has been made to solve the above-described problems, and an object of the present invention is to explicitly select position information of a subject to be stored in an image from a map displayed on an image pickup device and display it in the image. An imaging apparatus capable of adding information is provided.

即ち、本発明の撮像装置は、撮像部を備える撮像装置であって、前記撮像部により入力される撮像画像を表示部に表示する表示手段と、前記撮像画像を撮影した位置を示す第1の位置情報を検出する位置情報検出手段と、当該撮像装置の撮影方向を示す方向情報を検出する方向情報検出手段と、前記位置情報検出手段により検出された第1の位置情報と、前記方向情報検出手段により検出された方向情報に従って、前記表示手段により前記表示部に表示されている撮像画像から注目される被写体を指定するための地図情報を前記表示部に表示する地図情報表示手段と、前記地図情報表示手段により表示された地図情報に含まれる被写体候補から、前記撮像画像中に注目される被写体の選択を受け付ける選択手段と、前記選択手段により選択を受け付けた被写体の位置を示す第2の位置情報を、前記撮像画像に付して保存する位置情報付加手段とを備えることを特徴とする。
また、本発明の撮像画像表示システムは、地図情報を管理している画像管理装置と、該画像管理装置と通信可能な撮像部を備える撮像装置とを含む撮像画像表示システムであって、前記撮像装置は、前記撮像部により入力される撮像画像を表示部に表示する表示手段と、前記撮像画像を撮影した位置を示す第1の位置情報を検出する位置情報検出手段と、
当該撮像装置の撮影方向を示す方向情報を検出する方向情報検出手段と、前記位置情報検出手段により検出された第1の位置情報と、前記方向情報検出手段により検出された方向情報を含む地図情報要求を前記画像管理装置に送信する地図情報要求手段と、前記地図情報要求手段により送信された地図情報要求に応じて前記画像管理装置から送信される地図情報であって、前記表示手段により前記表示部に表示されている撮像画像から注目される被写体を指定するための地図情報を前記表示部に表示する地図情報表示手段と、前記地図情報表示手段により表示された地図情報に含まれる被写体候補から、前記撮像画像中に注目される被写体の選択を受け付ける選択手段と、前記選択手段により選択を受け付けた被写体の位置を示す第2の位置情報を、前記撮像画像に付して保存する位置情報付加手段と、
を備え、前記画像管理装置は、前記撮像装置から前記第1の位置情報と前記方向情報とを含む前記地図情報要求を受信する受信手段と、複数の被写体候補の情報を含む地図情報を記憶する記憶手段と、前記受信手段で受信された地図情報要求に含まれる前記第1の位置情報と前記方向情報に従って、前記記憶手段から特定される地図情報を前記撮像装置に送信する送信手段とを備えることを特徴とする。
また、本発明の撮像装置は、前記撮像画像を、該撮像画像の撮像日時と該撮像画像の位置情報を含む属性情報と共に記憶する記憶手段と、前記記憶手段により記憶されている撮像画像を表示部に表示する表示手段と、表示すべき撮像画像の日時情報を設定する設定手段と、前記設定手段により設定された日時情報に基づく撮像画像の表示指示がなされた場合に、前記表示手段に表示されている撮像画像の位置情報と、前記設定手段により設定された日時情報とに基づいて、前記記憶手段に記憶されている複数の撮像画像の中から特定された撮像画像を前記表示部に表示すべく制御する制御手段とを備えることを特徴とする。
また、本発明の撮像画像表示システムは、前記撮像画像を、該撮像画像の撮像日時と該撮像画像の位置情報を含む属性情報と共に記憶する記憶手段と、前記撮像部から入力される撮像画像を表示部に表示する表示手段と、前記撮像画像に付されるべき位置情報を検出する位置情報検出手段と、表示すべき撮像画像の日時情報を設定する設定手段と、前記設定手段により設定された日時情報に基づく撮像画像の表示指示がなされた場合に、前記位置情報検出手段により検出された位置情報と、前記設定手段により設定された日時情報とに基づいて、前記記憶手段に記憶されている複数の撮像画像の中から特定された撮像画像を前記表示部に表示すべく制御する制御手段とを備えることを特徴とする。
また、本発明の撮像装置は、前記地図情報表示手段で表示する前記地図情報は、前記第1の位置情報で示される位置から、前記方位情報で示される方向にある被写体候補が表示されており、当該被写体候補には、それぞれ第2の位置情報が対応づけられていることを特徴とする。
また、本発明の撮像装置は、前記撮像画像で注目される被写体を特定する被写体特定手段と、前記被写体特定手段により前記被写体の位置情報を検出する第二の位置情報検出手段とを更に備え、前記第二の位置情報検出手段により検出した前記被写体の位置情報を用いて表示すべき撮像画像を特定することを特徴とする。
また、本発明の撮像装置は、前記設定手段により設定された日時情報に一致する撮像画像がない場合に、当該日時情報と近い日時情報と紐付いて記憶されている前記撮像画像を抽出することを特徴とする。
また、本発明の撮像装置は、前記位置情報と一致する撮像画像がない場合に、当該位置情報に近い撮像画像を抽出することを特徴とする。
また、本発明の撮像装置は、前記撮像画像表示装置の画像撮影時の傾き情報を検出する傾き情報検出手段を更に備えることを特徴とする。
また、本発明の撮像装置は、前記地図情報表示手段で表示する前記地図情報は、前記第1の位置情報で示される位置から、前記方位情報で示される方向にある被写体候補が表示されており、当該被写体候補には、それぞれ第2の位置情報が対応づけられていることを特徴とする。
That is, the imaging apparatus of the present invention is an imaging apparatus including an imaging unit, and includes a display unit that displays a captured image input by the imaging unit on a display unit, and a first that indicates a position where the captured image is captured. Position information detection means for detecting position information, direction information detection means for detecting direction information indicating the shooting direction of the imaging apparatus, first position information detected by the position information detection means, and the direction information detection Map information display means for displaying, on the display section, map information for designating a subject to be noticed from the captured image displayed on the display section by the display means in accordance with the direction information detected by the means, and the map Selection means for receiving selection of a subject to be noticed in the captured image from candidate subjects included in the map information displayed by the information display means; and selection by the selection means A second position information indicating the position of only with the subject, characterized in that it comprises a position information adding means for storing subjected to the captured image.
The captured image display system of the present invention is a captured image display system including an image management device that manages map information and an imaging device that includes an imaging unit that can communicate with the image management device. The apparatus includes: a display unit that displays a captured image input by the imaging unit on a display unit; a position information detection unit that detects first position information indicating a position where the captured image is captured;
Map information including direction information detection means for detecting direction information indicating the shooting direction of the imaging apparatus, first position information detected by the position information detection means, and direction information detected by the direction information detection means Map information requesting means for transmitting a request to the image management apparatus, and map information transmitted from the image management apparatus in response to the map information request transmitted by the map information requesting means, wherein the display means displays the display A map information display means for displaying on the display section map information for designating a subject of interest from the captured image displayed in the section, and a subject candidate included in the map information displayed by the map information display means. A selection unit that receives selection of a subject to be noticed in the captured image, and a second position that indicates a position of the subject that has received selection by the selection unit The distribution, and position information adding means for storing subjected to the captured image,
And the image management device stores receiving means for receiving the map information request including the first position information and the direction information from the imaging device, and map information including information on a plurality of subject candidates. Storage means; and transmission means for transmitting the map information specified from the storage means to the imaging device according to the first position information and the direction information included in the map information request received by the receiving means. It is characterized by that.
In addition, the imaging apparatus of the present invention displays the captured image together with the attribute information including the imaging date and time of the captured image and the position information of the captured image, and displays the captured image stored by the storage unit. Display means for displaying on the display section, setting means for setting the date and time information of the captured image to be displayed, and display on the display means when an instruction to display the captured image based on the date and time information set by the setting means is given Based on the position information of the captured image and the date and time information set by the setting unit, the captured image specified from the plurality of captured images stored in the storage unit is displayed on the display unit. And a control means for controlling accordingly.
In the captured image display system of the present invention, the captured image is stored together with attribute information including the captured date and time of the captured image and position information of the captured image, and the captured image input from the imaging unit. Display means for displaying on the display unit, position information detecting means for detecting position information to be attached to the captured image, setting means for setting date and time information of the captured image to be displayed, and setting by the setting means When an instruction to display a captured image based on date / time information is given, the image is stored in the storage unit based on the position information detected by the position information detection unit and the date / time information set by the setting unit. And a control unit that controls to display the captured image specified from the plurality of captured images on the display unit.
In the imaging device of the present invention, the map information displayed by the map information display means displays a subject candidate in a direction indicated by the azimuth information from a position indicated by the first position information. Each of the subject candidates is associated with second position information.
The imaging apparatus of the present invention further includes subject specifying means for specifying a subject to be noticed in the captured image, and second position information detecting means for detecting position information of the subject by the subject specifying means, The captured image to be displayed is specified using the position information of the subject detected by the second position information detecting means.
In addition, when there is no captured image that matches the date and time information set by the setting unit, the imaging apparatus of the present invention extracts the captured image stored in association with the date and time information close to the date and time information. Features.
The imaging apparatus of the present invention is characterized in that when there is no captured image that matches the position information, a captured image close to the position information is extracted.
The imaging apparatus of the present invention further includes tilt information detection means for detecting tilt information when the captured image display apparatus captures an image.
In the imaging device of the present invention, the map information displayed by the map information display means displays a subject candidate in a direction indicated by the azimuth information from a position indicated by the first position information. Each of the subject candidates is associated with second position information.

本発明によれば、本発明の目的は、画像に収められる被写体の位置情報を、撮像装置に表示される地図上から明示的に選択して画像に情報を付加することが可能な撮像装置を提供する事が可能になる。   According to the present invention, an object of the present invention is to provide an imaging device capable of explicitly selecting position information of a subject contained in an image from a map displayed on the imaging device and adding information to the image. It becomes possible to provide.

本システムのシステム構成を示す図である。It is a figure which shows the system configuration | structure of this system. 本発明における撮像画像表示装置100の構成例を示す図であるIt is a figure which shows the structural example of the captured image display apparatus 100 in this invention. 本発明における撮像画像表示装置100のハードウエア構成例を示す図である。It is a figure which shows the hardware structural example of the captured image display apparatus 100 in this invention. 本発明における画像管理装置200のハードウエア構成例を示す図である。It is a figure which shows the hardware structural example of the image management apparatus 200 in this invention. 本発明における撮像画像表示装置100の処理例を示すフローチャートである。It is a flowchart which shows the process example of the captured image display apparatus 100 in this invention. 本発明における撮像画像表示装置100の処理例を示すフローチャートである。It is a flowchart which shows the process example of the captured image display apparatus 100 in this invention. 本発明における撮像画像表示装置100の表示部10で表示される画面一例である。It is an example of the screen displayed on the display part 10 of the captured image display apparatus 100 in this invention. 本発明における画像管理装置200で記憶される画像属性情報例を示すデータテーブルである。It is a data table which shows the example of image attribute information memorize | stored in the image management apparatus 200 in this invention. 本発明における撮像画像表示システムの処理例を示すフローチャートである。It is a flowchart which shows the process example of the captured image display system in this invention. 本発明における撮像画像表示装置100の表示部10で表示される画面一例である。It is an example of the screen displayed on the display part 10 of the captured image display apparatus 100 in this invention. 本発明における撮像画像表示装置100の表示部10で表示される画面一例である。It is an example of the screen displayed on the display part 10 of the captured image display apparatus 100 in this invention. 本発明における撮像画像表示装置100の処理例を示すフローチャートである。It is a flowchart which shows the process example of the captured image display apparatus 100 in this invention. 本発明における撮像画像表示装置100での被写体位置取得例を示す図である。It is a figure which shows the subject position acquisition example in the captured image display apparatus 100 in this invention. 本発明における撮像画像表示装置100の処理例を示すフローチャートである。It is a flowchart which shows the process example of the captured image display apparatus 100 in this invention. 本発明における撮像画像表示システムの処理例を示すフローチャートである。It is a flowchart which shows the process example of the captured image display system in this invention. 本発明における撮像画像表示装置100の表示部10で表示される画面一例である。It is an example of the screen displayed on the display part 10 of the captured image display apparatus 100 in this invention.

以下、図1を用いて、本発明の実施形態のシステム構成の一例を説明する。図1は、本実施例における撮像画像表示システムの一例である。   Hereinafter, an example of a system configuration according to the embodiment of the present invention will be described with reference to FIG. FIG. 1 is an example of a captured image display system in the present embodiment.

本実施例の撮像画像表示システムは、撮像画像表示装置100、画像管理装置200、位置情報取得装置300がネットワーク1を通じて接続可能な環境にある。   The captured image display system of the present embodiment is in an environment where the captured image display device 100, the image management device 200, and the position information acquisition device 300 can be connected through the network 1.

撮像画像表示装置100は、備え付けのモード切替機構(ダイヤル)で静止画撮影、シーン別静止画撮影、動画撮影、画像転送(アップロード)、画像呼出(ダウンロード)のそれぞれのモードに切り替えることが可能なものとする。モード切替機構11において切り替え可能な撮像画像表示装置100については、後述の図2において詳細に説明する。   The captured image display device 100 can be switched to each mode of still image shooting, still image shooting by scene, moving image shooting, image transfer (upload), and image call (download) by a mode switching mechanism (dial) provided. Shall. The captured image display device 100 that can be switched by the mode switching mechanism 11 will be described in detail with reference to FIG.

なお、撮像画像表示装置100は、本明細書での例としてデジタルカメラなどの撮像画像表示装置100としているがこの限りではなく、動画を記録可能なビデオカメラや、撮像部を備えたデジタルフォトフレームや携帯電話等、可搬性のある装置であれば実現可能である。   The captured image display apparatus 100 is the captured image display apparatus 100 such as a digital camera as an example in the present specification, but is not limited thereto, and a digital photo frame including a video camera capable of recording a moving image and an imaging unit. Any portable device such as a mobile phone can be realized.

画像管理装置200は、撮像画像表示装置100から転送(アップロード)された画像を受信して記憶管理している。また、撮像画像表示装置100からの画像呼出要求に応じて、管理されている画像を検索し、画像呼出要求に該当する画像を撮像画像表示装置100に送信する。   The image management apparatus 200 receives and stores and manages the image transferred (uploaded) from the captured image display apparatus 100. Further, in response to an image call request from the captured image display device 100, a managed image is searched, and an image corresponding to the image call request is transmitted to the captured image display device 100.

位置情報取得装置(システム)300は、既知の技術であるGPS(Grobal Pointing System)を利用することで、撮像画像表示装置100をもつユーザの位置情報を取得することが可能であるため、装置は特に限定をしない。   Since the position information acquisition apparatus (system) 300 can acquire the position information of the user having the captured image display apparatus 100 by using a known technology GPS (Global Pointing System), the apparatus is There is no particular limitation.

本発明の撮像画像表示システムは、これらの撮像画像表示装置100、画像管理装置200、位置情報取得装置300が、ネットワーク1で相互に接続可能である構成を必要とする。   The captured image display system of the present invention requires a configuration in which the captured image display device 100, the image management device 200, and the position information acquisition device 300 can be connected to each other via the network 1.

図2は、撮像画像表示装置100の詳細な構成を示す図である。撮像画像表示装置100は、表示部10と、モード切替機構11と、日付設定機構12、地図情報呼出機構15を備えているものとする。この他に、撮像画像表示装置100としては必須のレンズや、シャッター等も備えているものとする。   FIG. 2 is a diagram illustrating a detailed configuration of the captured image display device 100. The captured image display apparatus 100 includes a display unit 10, a mode switching mechanism 11, a date setting mechanism 12, and a map information calling mechanism 15. In addition to this, it is assumed that the captured image display apparatus 100 includes an essential lens, a shutter, and the like.

なお、本図でモード切替機構11と日付設定機構12は、ダイヤル式のボタンとしているが、実際にはこの限りではない。表示部10がタッチパネル機能を有するものである場合に、モード切替機構11と日付設定機構12、地図情報呼出機構15を備えずに、表示部10に表示される「モード切替」ボタンや、「日付設定」ボタンの押下を受け付けることにより、設定変更を実現可能である。   In this figure, the mode switching mechanism 11 and the date setting mechanism 12 are dial buttons, but this is not the case. When the display unit 10 has a touch panel function, the mode switching mechanism 11, the date setting mechanism 12, and the map information calling mechanism 15 are not provided, and the “mode switching” button displayed on the display unit 10, The setting change can be realized by accepting the pressing of the “SET” button.

また、モード切替機構11には、静止画撮影モード、シーン別撮影モード、動画撮影モード、プレビューモードの他に、画像転送モード13と画像呼出モード14を備えている。つまり、撮像画像表示装置100は、有線若しくは無線形式でネットワークとの接続が可能であり、撮像画像表示装置100で撮影をした画像(動画)のアップロードおよびダウンロードが可能である。   The mode switching mechanism 11 includes an image transfer mode 13 and an image call mode 14 in addition to a still image shooting mode, a scene-specific shooting mode, a moving image shooting mode, and a preview mode. That is, the captured image display device 100 can be connected to a network in a wired or wireless format, and can upload and download images (moving images) captured by the captured image display device 100.

モード切替機構11は、撮像画像表示装置100で備えている撮影方式の切替えを行う。本図では、撮像画像表示装置100の備える機能として、静止画(写真)撮影モード、シーン別静止画撮影モード、動画撮影モード、プレビューモードの他に、特徴的な機能として、画像転送モード13、画像呼出モード14を備えているものとする。   The mode switching mechanism 11 switches the photographing method provided in the captured image display device 100. In this figure, as a function of the captured image display device 100, in addition to a still image (photo) shooting mode, a still image shooting mode for each scene, a moving image shooting mode, and a preview mode, the image transfer mode 13, It is assumed that an image call mode 14 is provided.

なおモード切替機構11、及び日時設定機構12について、本図において設定機構を備えている撮像画像表示装置100を例示しているが、撮像画像表示装置100には表示部10が既知の技術を利用したタッチパネル機能を備えているものがある。   Note that, for the mode switching mechanism 11 and the date and time setting mechanism 12, the captured image display device 100 including the setting mechanism is illustrated in the figure, but the display unit 10 uses a known technique for the captured image display device 100. Some have a touch panel function.

この場合モード切替機構11は、タッチパネルの画面上に表示される「モード設定」ボタンを押下することで、その撮像画像表示装置100で設定ができるモードが選択可能に表示され、ユーザによるタッチ操作を受け付けて撮影モードの切替制御を行うことが可能である。   In this case, the mode switching mechanism 11 presses a “mode setting” button displayed on the screen of the touch panel, so that a mode that can be set by the captured image display device 100 is displayed so that the user can perform a touch operation. It is possible to receive and perform shooting mode switching control.

日時設定機構12についても、被写体を設定した後に、タッチパネルの画面上に表示される「日時設定」ボタンを押下することで、ユーザによるタッチ操作を受け付けて被写体Zの過去に撮影された画像を取得(ダウンロード)することが可能である。   Also for the date and time setting mechanism 12, after setting the subject, by pressing the “date and time setting” button displayed on the screen of the touch panel, a touch operation by the user is accepted and images taken in the past of the subject Z are acquired. (Downloading) is possible.

画像転送モード13では、ネットワーク接続が可能な撮像画像表示装置100である場合に、ネットワークを介して画像管理装置200に撮影した画像を転送(アップロード)することが可能である。   In the image transfer mode 13, in the case of the captured image display apparatus 100 that can be connected to the network, it is possible to transfer (upload) the captured image to the image management apparatus 200 via the network.

画像呼出モード14では、画像を取得するために、被写体(被写体Zとする)を設定し、画像が撮影された日時を日時設定機構12で設定することにより、ネットワークを介して画像管理装置200に記憶管理されている被写体Zの過去に撮影された画像を取得(ダウンロード)することが可能である。また、画像呼出モード14では、撮像画像表示装置100に装着されている外部メモリ211に記憶されている画像の中から、過去画像を取得する被写体Zとして選択された画像を検索し、表示部に表示することも可能である。   In the image call mode 14, in order to acquire an image, a subject (referred to as subject Z) is set, and the date and time when the image was taken is set by the date and time setting mechanism 12, so that the image management apparatus 200 can be accessed via the network. It is possible to acquire (download) images taken in the past of the subject Z that is stored and managed. In the image call mode 14, the image selected as the subject Z for acquiring the past image is searched from the images stored in the external memory 211 attached to the captured image display device 100, and the image is displayed on the display unit. It is also possible to display.

また、撮像画像表示装置100が静止画撮影モードであれば、地図情報呼出機構15の押下を受け付けることにより、撮像画像表示装置100が向いている方向の地図情報を取得することが可能である。また、撮像画像表示装置100がプレビューモードで静止画を表示部10に表示している場合には、地図情報呼出機構15の押下を受け付けることにより、画像の被写体位置情報を中心とした地図情報を表示する。   Further, if the captured image display device 100 is in the still image shooting mode, it is possible to acquire map information in the direction in which the captured image display device 100 is facing by accepting the pressing of the map information calling mechanism 15. When the captured image display device 100 displays a still image on the display unit 10 in the preview mode, map information centered on the subject position information of the image is received by accepting the depression of the map information call mechanism 15. indicate.

本構成を備えることにより、撮像画像表示装置100では、画像転送モードを用いてネットワーク通信を実行して撮影した画像を画像管理装置200に転送して画像を管理することが可能である。   With this configuration, the captured image display device 100 can manage images by transferring an image taken by executing network communication using the image transfer mode to the image management device 200.

また、撮像画像表示装置100で設定した被写体Zの過去画像を取得する際に、画像管理装置200と通信をすることにより、画像管理装置200に記憶管理されている同被写体Zの過去画像を取得することが可能である。   Further, when acquiring the past image of the subject Z set by the captured image display device 100, the past image of the subject Z stored and managed in the image management device 200 is acquired by communicating with the image management device 200. Is possible.

次に、撮像画像表示装置100のハードウエア構成例を図3に示す。この図3の例の実施形態の撮像画像表示装置100は、無線通信機能を備え、この例では、撮像画像表示装置100の構成である。この実施形態では、静止画を撮像するデジタルカメラの場合として説明するが、動画も合わせて撮像記録することができるものであっても勿論よい。   Next, a hardware configuration example of the captured image display device 100 is shown in FIG. The captured image display device 100 of the embodiment of the example in FIG. 3 has a wireless communication function, and in this example, the configuration is the captured image display device 100. In this embodiment, a digital camera that captures a still image will be described. However, it is of course possible that a moving image can also be captured and recorded.

図3に示すように、この実施形態の撮像画像表示装置100は、CPU101に対して、システムバス104を通じてROM202と、RAM203とが接続されると共に、システムバス104には、入力コントローラ105、ビデオコントローラ106、メモリコントローラ107、通信I/Fコントローラ108、カレンダー時計部109、カメラモジュール110とが接続されている。   As shown in FIG. 3, in the captured image display apparatus 100 of this embodiment, a ROM 202 and a RAM 203 are connected to a CPU 101 through a system bus 104, and an input controller 105, a video controller are connected to the system bus 104. 106, a memory controller 107, a communication I / F controller 108, a calendar clock unit 109, and a camera module 110 are connected.

また、システムバス204には、更に、高度センサ111、方位センサ112、傾きセンサ113、GPS測位部114が接続されている。   Further, an altitude sensor 111, an orientation sensor 112, an inclination sensor 113, and a GPS positioning unit 114 are connected to the system bus 204.

ROM102には、撮像機能を遂行するためのプログラムの他、上述した画像サーバ1に対する検索要求、取得要求を発信し、画像サーバ1から、当該検索要求や取得要求に応じて送られてくる情報を取得して表示および記録処理するためのプログラム、撮像画像データの画像サーバ1へのアップロードのためのプログラムなどが記憶されている。後述するように、CPU101により、RAM103をワークエリアとして用いながら、このROM102に記憶されているプログラムが実行されるものである。   In addition to the program for performing the imaging function, the ROM 102 transmits a search request and an acquisition request to the image server 1 described above, and information sent from the image server 1 in response to the search request and the acquisition request. A program for acquiring and displaying and recording, a program for uploading captured image data to the image server 1, and the like are stored. As will be described later, the CPU 101 executes a program stored in the ROM 102 while using the RAM 103 as a work area.

105は入力コントローラで、操作入力部115や不図示のマウス等のポインティングデバイス等からの入力を制御する。106はビデオコントローラで、CRTディスプレイ(CRT)116等の表示器への表示を制御する。なお、図3では、CRT116と記載しているが、表示器はCRTだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。   An input controller 105 controls input from the operation input unit 115 or a pointing device such as a mouse (not shown). A video controller 106 controls display on a display device such as a CRT display (CRT) 116. Although described as CRT 116 in FIG. 3, the display device is not limited to the CRT, but may be another display device such as a liquid crystal display. These are used by the administrator as needed.

107はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶するハードディスク(HD)や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。   Reference numeral 107 denotes a memory controller, which is connected via an adapter to a hard disk (HD), flexible disk (FD), or PCMCIA card slot for storing a boot program, various applications, font data, user files, editing files, various data, and the like. The access to the external memory 211 such as a compact flash (registered trademark) memory is controlled.

108は通信I/Fコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。   A communication I / F controller 108 connects and communicates with an external device via a network, and executes communication control processing on the network. For example, communication using TCP / IP is possible.

操作入力部115は、ズームキーやシャッターボタンなどの撮像のために操作するキー群を含む。CPU101は、操作入力部115において、いずれのキーが操作されたかを監視して、操作されたキーに応じた処理を、ROM102のプログラムにしたがって実行する。   The operation input unit 115 includes a group of keys operated for imaging such as a zoom key and a shutter button. The CPU 101 monitors which key is operated in the operation input unit 115 and executes processing corresponding to the operated key in accordance with the program in the ROM 102.

カレンダー時計部109は、年、月、日、時、分、秒のカレンダー時計情報を発生するものである。このカレンダー時計情報は、撮像時に、その撮像時間情報として保持される。また、タイマー動作をする場合には、このカレンダー時計部109からの時刻情報に基づいて、タイマー時間が計測される。   The calendar clock unit 109 generates calendar clock information of year, month, day, hour, minute, and second. This calendar clock information is held as imaging time information at the time of imaging. Further, when the timer operation is performed, the timer time is measured based on the time information from the calendar clock unit 109.

カメラモジュール110は、例えばCCD(Charge Coupled Device)イメージャやCMOS(Complementary Metal Oxide Semiconductor)イメージャからなる撮像素子と、撮像レンズを含む撮像光学系と、撮像画像信号処理部とを含み、デジタル信号とされた撮像画像データをシステムバス104に出力する。   The camera module 110 includes, for example, an image pickup device including a charge coupled device (CCD) imager or a complementary metal oxide semiconductor (CMOS) imager, an image pickup optical system including an image pickup lens, and a picked-up image signal processing unit. The captured image data is output to the system bus 104.

高度センサ111は、撮像装置が現在存在している場所の高度を検知し、検知した高度の情報をシステムバス204に送出する。   The altitude sensor 111 detects the altitude of the location where the imaging device currently exists, and sends the detected altitude information to the system bus 204.

方位センサ112は、カメラモジュール110のレンズ光学系の光軸の方向、つまり、撮像方向を検知し、検知した撮像方向の情報をシステムバス204に送出する。   The direction sensor 112 detects the direction of the optical axis of the lens optical system of the camera module 110, that is, the imaging direction, and sends information on the detected imaging direction to the system bus 204.

傾きセンサ113は、カメラモジュール110のレンズ光学系の光軸の方向と、水平面とのなす角(仰角または伏角)、つまり、撮像画像表示装置100の撮像方向の上下方向のアングル(いわゆる撮像アングル)を検知し、検知した撮像アングルの情報をシステムバス204に送出する。   The tilt sensor 113 is an angle formed between the direction of the optical axis of the lens optical system of the camera module 110 and the horizontal plane (elevation angle or dip angle), that is, an up-down angle in the imaging direction of the captured image display device 100 (so-called imaging angle). And information of the detected imaging angle is sent to the system bus 204.

GPS測位部114は、GPS衛星からの電波を受信して、撮像画像表示装置100が存在している位置を検知し、検知した位置の情報をシステムバス204に送出する。   The GPS positioning unit 114 receives a radio wave from a GPS satellite, detects a position where the captured image display device 100 exists, and sends information on the detected position to the system bus 204.

この実施形態では、後述するように、これら高度センサ111からの高度情報、方位センサ112からの撮像方向情報、傾きセンサ113からの撮像アングルの情報、GPS測位部114からの位置情報は、撮像した画像のデータと共に、当該撮像画像のメタ情報として外部メモリ117に記録される。   In this embodiment, as will be described later, altitude information from the altitude sensor 111, imaging direction information from the orientation sensor 112, imaging angle information from the tilt sensor 113, and position information from the GPS positioning unit 114 are captured. Along with the image data, it is recorded in the external memory 117 as meta information of the captured image.

また、画像管理装置200に検索要求を送るときには、上述した撮像された時の情報に加えて、高度センサ111からの高度情報、方位センサ112からの撮像方向情報、傾きセンサ113からの撮像アングルの情報、GPS測位部114からの位置情報は、検索条件情報に含められる。   In addition, when sending a search request to the image management apparatus 200, in addition to the information at the time of imaging described above, the altitude information from the altitude sensor 111, the imaging direction information from the azimuth sensor 112, and the imaging angle from the tilt sensor 113 are displayed. Information and position information from the GPS positioning unit 114 are included in the search condition information.

さらに、この実施形態では、撮像画像表示装置100で撮像した画像を、画像管理装置200にアップロードするか否かをユーザが設定可能とされており、その設定情報が、図示を省略した外部メモリ(電池バックアップされたメモリを含む)に記憶されている。そして、シャッターを切ったときには、この設定情報を確認して、アップロード可に設定されているときには、当該撮像画像を前記メタ情報と共に、画像サーバ1にアップロードするようにする。   Further, in this embodiment, the user can set whether or not to upload an image captured by the captured image display device 100 to the image management device 200, and the setting information is stored in an external memory (not shown). Battery-backed memory). Then, when the shutter is released, the setting information is confirmed. If the setting is permitted to be uploaded, the captured image is uploaded to the image server 1 together with the meta information.

なお、予め、画像管理装置200にアップロードするか否かを予めユーザが設定して保持しておくのではなく、ユーザがシャッターを切る操作をするごとに、その撮像画像のデータを画像サーバ1にアップロードしてよいか否かをユーザに問い合わせるメッセージをLCD画面208Dに表示して、ユーザにアップロード可否を入力させるようにしてもよい。   Note that the user does not set and hold in advance whether or not to upload to the image management apparatus 200 in advance, but each time the user performs an operation to release the shutter, the data of the captured image is stored in the image server 1. A message asking the user whether to upload can be displayed on the LCD screen 208D to allow the user to input whether to upload.

以上のように、この実施形態の撮像画像表示装置100では、撮像画像表示装置100に取付けた、高度センサ111、方位センサ112、傾きセンサ113、GPS測位部114により、ユーザが、どこで、どんなアングルで撮影をしているかを認識する。そして、撮像画像表示装置100は、その認識した条件を検索条件とすると共に、ユーザにより指定された過去の年代を検索条件として、画像管理装置200に検索要求をし、これにより、当該検索条件に適合する、現在を除く過去の年代に撮影された、当該過去の写真をインターネット上にある画像管理装置200から検索するようにする。   As described above, in the captured image display device 100 of this embodiment, the altitude sensor 111, the azimuth sensor 112, the tilt sensor 113, and the GPS positioning unit 114 attached to the captured image display device 100 allow the user to select where and what angle. Recognize whether you are shooting with. Then, the captured image display apparatus 100 uses the recognized condition as a search condition, and makes a search request to the image management apparatus 200 using the past age specified by the user as the search condition, thereby satisfying the search condition. The past photograph taken in the past age except the present is searched from the image management apparatus 200 on the Internet.

図4は、画像管理装置200のハードウエア構成例を示す図である。図4において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。   FIG. 4 is a diagram illustrating a hardware configuration example of the image management apparatus 200. In FIG. 4, reference numeral 201 denotes a CPU that comprehensively controls each device and controller connected to the system bus 204.

ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、各サーバ或いは各PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。   In the ROM 202 or the external memory 211, a BIOS (Basic Input / Output System) or an operating system program (hereinafter referred to as OS), which is a control program of the CPU 201, or a function to be executed by each server or each PC is described later. Various programs to be stored are stored.

203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。   A RAM 203 functions as a main memory, work area, and the like for the CPU 201. The CPU 201 implements various operations by loading a program or the like necessary for execution of processing from the ROM 202 or the external memory 211 into the RAM 203 and executing the loaded program.

205は入力コントローラで、キーボード(KB)209や不図示のマウス等のポインティングデバイス等からの入力を制御する。206はビデオコントローラで、CRTディスプレイ(CRT)210等の表示器への表示を制御する。なお、図2では、CRT210と記載しているが、表示器はCRTだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。   An input controller 205 controls input from a keyboard (KB) 209 or a pointing device such as a mouse (not shown). A video controller 206 controls display on a display device such as a CRT display (CRT) 210. In FIG. 2, although described as CRT 210, the display device is not limited to the CRT, but may be another display device such as a liquid crystal display. These are used by the administrator as needed.

207はメモリコントローラで、ブートプログラム,各種のアプリケーション,フォントデータ,ユーザファイル,編集ファイル,各種データ等を記憶するハードディスク(HD)や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。   A memory controller 207 is connected to the hard disk (HD), flexible disk (FD), or PCMCIA card slot for storing a boot program, various applications, font data, user files, editing files, various data, etc. via an adapter. The access to the external memory 211 such as a compact flash (registered trademark) memory is controlled.

208は通信I/Fコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。   A communication I / F controller 208 connects and communicates with an external device via a network, and executes communication control processing on the network. For example, communication using TCP / IP is possible.

なお、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、CRT210上での表示を可能としている。また、CPU201は、CRT210上の不図示のマウスカーソル等でのユーザ指示を可能とする。   Note that the CPU 201 enables display on the CRT 210 by executing outline font rasterization processing on a display information area in the RAM 203, for example. Further, the CPU 201 enables a user instruction with a mouse cursor (not shown) on the CRT 210.

本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル、地図情報等も、外部メモリ211に格納されており、これらについての詳細な説明も後述する。   Various programs to be described later for realizing the present invention are recorded in the external memory 211 and executed by the CPU 201 by being loaded into the RAM 203 as necessary. Furthermore, a definition file, various information tables, map information, and the like used when executing the program are also stored in the external memory 211, and a detailed description thereof will be described later.

次に、撮像画像表示装置100を用いて画像を撮影する処理について、以下のフローチャートを用いて説明をする。   Next, a process for capturing an image using the captured image display apparatus 100 will be described using the following flowchart.

図5は、本発明の撮像画像表示装置100で、画像を撮影する処理についてのフローチャートである。   FIG. 5 is a flowchart of processing for capturing an image in the captured image display apparatus 100 of the present invention.

まず、ユーザ操作により撮像画像表示装置100の電源が投入されると(例えば、電源ボタンの押下やレンズカバーのオープンなど)、撮像画像表示装置100が起動する(ステップS501)。   First, when the power of the captured image display apparatus 100 is turned on by a user operation (for example, pressing of the power button or opening of the lens cover), the captured image display apparatus 100 is activated (step S501).

撮像画像表示装置100が起動し、ユーザによるモードの切り替え指示を受付けると、撮像画像表示装置100に予め設定されている、静止画撮影モード、シーン別撮影モード、動画撮影モードの設定ファイルを読込み、モード切替制御を行いスタンバイ状態にする(ステップS502)。   When the captured image display device 100 is activated and receives a mode switching instruction from the user, the setting file of the still image shooting mode, the shooting mode for each scene, and the moving image shooting mode set in advance in the captured image display device 100 is read. Mode switching control is performed to set the standby state (step S502).

次に、ユーザの操作に応じて、被写体に撮像画像表示装置100を向けて被写体を設定する(ステップS503)。被写体の設定方法は、本発明を実施する撮像画像表示装置100の撮影方法に基づくものとするため限定はしないが、例えば、表示部10がタッチパネル機能を持つ撮像画像表示装置100であれば、表示部10に移る被写体に対するタッチ指示を受け付けることで、選択された被写体に対してレンズ焦点を合わせる制御をする。   Next, the subject is set by directing the captured image display device 100 toward the subject in accordance with a user operation (step S503). The setting method of the subject is not limited because it is based on the shooting method of the captured image display device 100 that implements the present invention. For example, if the display unit 10 is the captured image display device 100 having a touch panel function, display is possible. By accepting a touch instruction for the subject to be moved to the unit 10, the lens focus is controlled for the selected subject.

なお、ステップS503で被写体の設定がユーザ操作によりなされなかった場合には、撮像画像表示装置100に搭載されているオートフォーカスにより、被写体の設定を実現可能とする。   If the subject is not set by a user operation in step S503, the subject can be set by autofocus mounted on the captured image display device 100.

被写体が設定されると、ユーザ操作に応じて撮像画像表示装置100のシャッターを押下を受付け、撮影を行う(ステップS504)。   When the subject is set, the user presses the shutter of the captured image display device 100 in response to a user operation, and performs shooting (step S504).

ステップS505において、撮像画像表示装置100は、撮影された画像に撮影情報を付加する。ここで言う撮影情報とは、画像を撮像した日時情報や、GPS測位部114から取得される撮影位置の位置情報、高度センサ111から取得される現在の撮影位置の高さ情報、方位センサ112から取得される撮像方向の情報、傾きセンサ113から取得される、撮像画像表示装置100の上下方向のカメラアングルの情報、画像に撮影されている被写体の位置情報、被写体から撮影位置までの距離情報(本発明中では、「3Dベクトル情報」と称する)とその距離、並びに画像を撮影したユーザのユーザID情報を付加するものとする。   In step S505, the captured image display apparatus 100 adds shooting information to the shot image. The shooting information referred to here is the date and time information when the image is taken, the position information of the shooting position acquired from the GPS positioning unit 114, the height information of the current shooting position acquired from the altitude sensor 111, and the direction sensor 112. Information on the imaging direction acquired, information on the camera angle in the vertical direction of the captured image display device 100 acquired from the tilt sensor 113, position information on the subject photographed in the image, and distance information from the subject to the photographing position ( In the present invention, it is referred to as “3D vector information”), its distance, and user ID information of the user who has taken the image.

撮影された画像は、それらを一意に特定するために画像名(シリアル番号等を想定)が付されるものとする。その後、撮像画像表示装置100は、撮影情報を付加した画像を記録媒体の所定の記録領域に記録する。これらの情報については、後述の図8について詳細に説明をする。   The taken images are given an image name (assuming a serial number or the like) in order to uniquely identify them. Thereafter, the captured image display apparatus 100 records the image with the shooting information added thereto in a predetermined recording area of the recording medium. These pieces of information will be described in detail with reference to FIG.

図6は、本発明の撮像画像表示装置100で、撮影した画像を画像管理装置200に転送(アップロード)する処理についてのフローチャートである。   FIG. 6 is a flowchart of processing for transferring (uploading) a captured image to the image management apparatus 200 in the captured image display apparatus 100 of the present invention.

まず、ユーザのボタン押下により撮像画像表示装置100が起動されると(ステップS601)、撮像画像表示装置100が画像転送モード13に設定されたことを確認する(ステップS602)。操作モードの切替制御は、ステップS502で先述の通り、撮像画像表示装置100に予め設定されている各モードの設定ファイルを読込み、設定されたモードに切替る制御を行う。   First, when the captured image display device 100 is activated by the user pressing a button (step S601), it is confirmed that the captured image display device 100 is set to the image transfer mode 13 (step S602). In the operation mode switching control, as described above in step S502, the setting file of each mode set in advance in the captured image display device 100 is read, and control for switching to the set mode is performed.

画像転送モード13に切り替わると、撮像画像表示装置100は、画像管理装置200へ転送するための画像を選択する画面が表示される。選択画面が表示されると、撮像画像表示装置100は、ユーザ操作により画像管理装置200に転送する画像の選択を受け付ける(ステップS603)。具体的な転送画像選択画面の例は、図12の画面1200に示す。   When the image transfer mode 13 is switched, the captured image display device 100 displays a screen for selecting an image to be transferred to the image management device 200. When the selection screen is displayed, the captured image display apparatus 100 accepts selection of an image to be transferred to the image management apparatus 200 by a user operation (step S603). An example of a specific transfer image selection screen is shown in a screen 1200 in FIG.

転送する画像の選択を受け付けると、撮像画像表示装置100は、ユーザの転送ボタン押下指示を受け付けて(ステップS604)、選択された画像を画像管理装置200へ転送する(ステップS605)。   When the selection of the image to be transferred is received, the captured image display apparatus 100 receives a user's instruction to press the transfer button (step S604), and transfers the selected image to the image management apparatus 200 (step S605).

図11は、図6のステップS603において画像管理装置200に転送する撮像画像を選択する画面の例である。画面1100では、図5で撮像画像表示装置100において記憶された画像のサムネイル画像が表示され、それらを選択するための太枠1101が表示されている。太枠1101をOKボタン1102で上下左右に移動させ、OKボタン1102の押下を受け付けることによって、OKボタン押下時に太枠1101内にあった画像が選択される。   FIG. 11 is an example of a screen for selecting a captured image to be transferred to the image management apparatus 200 in step S603 of FIG. On the screen 1100, thumbnail images of the images stored in the captured image display device 100 in FIG. 5 are displayed, and a thick frame 1101 for selecting them is displayed. By moving the thick frame 1101 up and down and left and right with the OK button 1102 and accepting the press of the OK button 1102, the image that was in the thick frame 1101 when the OK button was pressed is selected.

転送する画像の選択を受け付けたら、決定ボタン1103に太枠を合わせて、決定ボタン1103の押下を受け付ける。図12のように「合計4枚の画像を転送します。OKボタンを押して下さい」という旨の、転送指示のダイアログ(1104)が表示されるので、実行すべくOKボタン1102の押下を受け付けることで、転送が実行される。   When the selection of the image to be transferred is accepted, a thick frame is aligned with the decision button 1103 and the depression of the decision button 1103 is accepted. As shown in FIG. 12, a transfer instruction dialog (1104) indicating that “a total of four images are to be transferred. Please press the OK button” is displayed, and accepting the pressing of the OK button 1102 to be executed. The transfer is executed.

なお、本図では、OKボタン1102の押下により太枠1101を上下左右に移動させて転送する画像の選択を受け付ける制御を行っているが、表示部10(画面1100)がタッチパネル機能を有するものであれば、直接画像のサムネイル「A,B,C,,,」へのタッチによる選択受け付けおよび、決定ボタンの押下による転送指示を受け付けることが可能である。   In this figure, when the OK button 1102 is pressed, the thick frame 1101 is moved up, down, left, and right to control selection of an image to be transferred. However, the display unit 10 (screen 1100) has a touch panel function. If there is, it is possible to accept selection by directly touching the thumbnails “A, B, C,...” Of the image and a transfer instruction by pressing the enter button.

次に本発明の撮像画像表示システムにおいて、画像管理装置200が撮像画像表示装置100より画像を受信する処理について説明する。   Next, processing in which the image management apparatus 200 receives an image from the captured image display apparatus 100 in the captured image display system of the present invention will be described.

ステップS606において、画像管理装置200は、ステップS605で撮像画像表示装置100より転送された画像を受信する。画像を受信すると、画像管理装置200は、撮像画像表示装置100において撮影時に記憶された撮影情報の読込を開始する(ステップS607)。   In step S606, the image management apparatus 200 receives the image transferred from the captured image display apparatus 100 in step S605. When the image is received, the image management apparatus 200 starts reading the shooting information stored at the time of shooting in the captured image display apparatus 100 (step S607).

ステップS608において、画像管理装置200は、受信した画像に付加されている撮影情報の解析を行う。   In step S608, the image management apparatus 200 analyzes the shooting information added to the received image.

具体的に、画像管理装置200は、転送された画像の画像名、撮影位置情報と撮影位置の高さ情報、撮影方向情報、撮影時の撮像画像表示装置100の傾き情報、被写体位置情報、およびに画像を撮影したユーザのユーザ識別情報を解析する。被写体時位置情報は、後述の図13において詳細な情報取得方法を説明する。   Specifically, the image management apparatus 200 includes an image name of the transferred image, shooting position information and shooting position height information, shooting direction information, tilt information of the captured image display apparatus 100 at the time of shooting, subject position information, and The user identification information of the user who has taken the image is analyzed. The subject position information will be described in detail with reference to FIG.

属性情報の解析をすると、解析した画像の属性情報のうち、被写体Zの位置情報で示される地図上の店を始点とし、撮影位置情報で示される地図上の点を終点とする3Dベクトルデータを生成し(ステップS609)、画像管理装置200に記憶されている地図上に、被写体Zの位置情報と3Dベクトルデータを付加しマッピングする(ステップS610)。   When the attribute information is analyzed, 3D vector data starting from a store on the map indicated by the position information of the subject Z and ending at a point on the map indicated by the shooting position information among the attribute information of the analyzed image. The position information of the subject Z and 3D vector data are added and mapped on the map generated (step S609) and stored in the image management apparatus 200 (step S610).

マッピングが完了すると、画像管理装置200は撮像画像表示装置100より転送された画像と画像の属性情報を所定の位置にて記憶管理する(ステップS611)。   When the mapping is completed, the image management apparatus 200 stores and manages the image transferred from the captured image display apparatus 100 and the attribute information of the image at a predetermined position (step S611).

なお、図6の画像管理装置200へのアップロード処理は、撮像画像表示装置100と、画像管理装置200とがネットワーク1を通じて通信可能である場合に実現可能である。画像管理装置200に画像を蓄積せず、撮像画像表示装置100の外部メモリ117に記憶する画像に属性情報を付加する場合には、ステップS607〜ステップS611の処理を全て撮像画像表示装置100のCPU101で実現させる。   The upload process to the image management apparatus 200 in FIG. 6 can be realized when the captured image display apparatus 100 and the image management apparatus 200 can communicate via the network 1. When the attribute information is added to the image stored in the external memory 117 of the captured image display device 100 without accumulating the image in the image management device 200, all of the processes in steps S607 to S611 are performed by the CPU 101 of the captured image display device 100. To make it happen.

具体的には、ステップS607において、撮像画像表示装置100のCPU101が、撮影画像に付加される属性情報の読み込みを開始する。   Specifically, in step S607, the CPU 101 of the captured image display device 100 starts reading attribute information added to the captured image.

ステップS608において、撮像画像表示装置100のCPU101は、転送された画像の画像名、撮影位置情報と撮影位置の高さ情報、撮影方向情報、撮影時の撮像画像表示装置100の傾き情報、被写体位置情報、およびに画像を撮影したユーザのユーザ識別情報を解析する。   In step S608, the CPU 101 of the captured image display apparatus 100 transfers the image name of the transferred image, shooting position information and shooting position height information, shooting direction information, tilt information of the captured image display apparatus 100 during shooting, and subject position. Information and user identification information of the user who has taken the image are analyzed.

ステップS609において、解析した画像の属性情報のうち、被写体Zの位置情報で示される地図上の点を始点とし、撮影位置情報で示される地図上の点を終点とする3Dベクトルデータを生成する。   In step S609, 3D vector data is generated with the point on the map indicated by the position information of the subject Z as the start point and the point on the map indicated by the shooting position information as the end point among the attribute information of the analyzed image.

作成された3Dベクトルデータを、撮像画像表示装置100で取得可能な地図上にマッピングし、処理を終了する。   The created 3D vector data is mapped onto a map that can be acquired by the captured image display device 100, and the process ends.

図7は、画像管理装置200で記憶管理する、画像の属性情報から解析される撮影位置情報、被写体Zの位置情報から生成される3Dベクトルデータを地図上にマッピングした例の図面である。本図においては、東京都品川区天王洲周辺で撮影された画像の被写体としてA、B、C、Dと、それらを撮影した位置情報とから生成される3Dベクトルデータ(A1,A2、A3…)が実線矢印で地図にマッピングされている。   FIG. 7 is a drawing of an example in which shooting position information analyzed from image attribute information and 3D vector data generated from position information of a subject Z, which are stored and managed by the image management apparatus 200, are mapped on a map. In this figure, 3D vector data (A1, A2, A3,...) Generated from A, B, C, D as the subjects of an image photographed in the vicinity of Tennozu, Shinagawa-ku, Tokyo, and position information obtained by photographing them. ) Is mapped to the map with solid arrows.

また、点線で示されているB3’、C3’、D3’は、それぞれ、B3、C3、D3の撮影位置から実際に地点B,C,Dを撮影した時に背景として画像データに記憶される方向の逆ベクトル情報である。   B3 ′, C3 ′, and D3 ′ indicated by dotted lines are directions stored in the image data as the background when the points B, C, and D are actually shot from the shooting positions of B3, C3, and D3, respectively. Is the inverse vector information.

逆ベクトル情報とは、後述する図10の画像呼出処理のシーケンスチャートにおいて撮像画像表示装置100から画像管理装置200に記憶されている画像を検索する際に利用される。   The reverse vector information is used when searching for an image stored in the image management apparatus 200 from the captured image display apparatus 100 in a sequence chart of an image call process in FIG.

例えば、地点Aが被写体として設定されている画像データを検索する時に、通常であれば、画像の検索対象となるのはA1、A2、A3であるが、被写体としてではなく、背景に地点Aが撮影されている画像データも検索対象として設定する場合に、B3’およびC3’も候補として挙がってくることになる。そのため、後述の画像検索条件の設定時には、「逆ベクトル情報を検索対象に含む/含まない」を選択することが可能である。   For example, when searching for image data in which the point A is set as a subject, normally, the search target of the image is A1, A2, A3, but the point A is not in the subject but in the background. When imaged image data is also set as a search target, B3 ′ and C3 ′ are also listed as candidates. Therefore, when setting an image search condition to be described later, it is possible to select “include / do not include reverse vector information as a search target”.

図8は、ステップS608において、画像管理装置200で解析された撮影情報を示す、画像情報テーブルの一例である。画像管理装置200は、受信した画像に付加された情報を解析して、画像を記憶管理する。   FIG. 8 is an example of an image information table showing the shooting information analyzed by the image management apparatus 200 in step S608. The image management apparatus 200 analyzes information added to the received image and stores and manages the image.

本画像情報テーブルで記憶される情報は、例えば、撮影者情報801、撮影日時情報802、撮影位置情報803、撮影方向情報804、撮影時の撮像画像表示装置100の傾き情報805、被写体の位置情報806、撮影被写体から撮影位置までの3DベクトルID807、3Dベクトルの長さ情報808および画像名809である。   Information stored in the main image information table includes, for example, photographer information 801, shooting date and time information 802, shooting position information 803, shooting direction information 804, tilt information 805 of the captured image display device 100 at the time of shooting, and subject position information. Reference numeral 806 denotes a 3D vector ID 807, 3D vector length information 808, and an image name 809 from the photographing subject to the photographing position.

撮影者情報801は、本撮像画像表示システムを利用するユーザに一意に割り当てられるユーザIDなどを指す。または、画像の送信元である撮像画像表示装置100の機種番号が撮影者情報801となってもよい。撮影日時情報802は、画像が撮影された日時を示している。   The photographer information 801 indicates a user ID uniquely assigned to a user who uses the captured image display system. Alternatively, the model number of the captured image display device 100 that is the image transmission source may be the photographer information 801. The shooting date / time information 802 indicates the date and time when the image was shot.

撮影位置情報803は、撮影前に撮像画像表示装置100のGPS測位部114が自動で取得する緯度・経度情報と、高さセンサ111により取得される撮影位置の標高の情報を示している。   The shooting position information 803 indicates latitude / longitude information automatically acquired by the GPS positioning unit 114 of the captured image display device 100 before shooting, and elevation information of the shooting position acquired by the height sensor 111.

撮影方向情報804は、方位センサ112により取得される撮影時の撮像画像表示装置100のレンズの向きを示している。   The shooting direction information 804 indicates the direction of the lens of the captured image display device 100 at the time of shooting acquired by the direction sensor 112.

傾き情報805は、傾きセンサ113により取得される、水平時=0°を基準にした撮像画像表示装置100の撮影時の傾きを示す。上方向に傾けられると、正の位の数値で表され、下方向に傾けられると、負の位の数値で表される。被写体の位置情報806は、図13で示す測定方法で算出する。   The tilt information 805 indicates the tilt at the time of shooting of the captured image display apparatus 100 based on 0 ° in the horizontal direction acquired by the tilt sensor 113. When tilted upward, it is represented by a positive number, and when tilted downward, it is represented by a negative number. The subject position information 806 is calculated by the measurement method shown in FIG.

3DベクトルID807は、被写体の位置情報806を始点とし、撮影位置情報803を終点とする仮想の線分で結んだ地図上のベクトルデータに一意に採番される識別情報である。   The 3D vector ID 807 is identification information uniquely assigned to vector data on a map connected by a virtual line segment starting from the position information 806 of the subject and ending with the shooting position information 803.

3Dベクトルの長さ情報808とは、前記被写体の位置情報806を始点とし、撮影位置情報803を終点とする仮想の線分で結んだ地図上のベクトルデータの距離を示す。   The 3D vector length information 808 indicates the distance of vector data on a map connected by a virtual line segment starting from the subject position information 806 and taking the shooting position information 803 as an end point.

画像名(画像ID)809は、撮影された撮像画像表示装置100で一意に採番される識別番号若しくは文字列である。   The image name (image ID) 809 is an identification number or a character string that is uniquely assigned by the captured image display device 100 that has been captured.

図13は、画像の撮影位置情報、撮影時の傾き情報、撮影方向情報、および撮像画像表示装置100で撮像時に算出するレンズの焦点距離の情報を用いて被写体の位置情報を特定する方法について示した図である。本図では、撮影位置情報(XX,YY)から北にXメートルの位置が被写体の位置情報(AA,BB)となる。なお、実際の撮影位置情報は、GPS測位部より取得するため、(35°40′N/139°46′E)のように(緯度、経度)で表される。その算出方法について説明する。   FIG. 13 shows a method for specifying subject position information using image position information, image tilt information, image direction information, and lens focal length information calculated during image capture by the captured image display apparatus 100. It is a figure. In this figure, the position X meters north from the shooting position information (XX, YY) is the position information (AA, BB) of the subject. Since the actual shooting position information is obtained from the GPS positioning unit, it is represented by (latitude, longitude) as (35 ° 40′N / 139 ° 46′E). The calculation method will be described.

まず、撮像画像表示装置100は撮影位置(頂点B)からレンズの焦点(頂点A)までの距離を算出する(焦点距離の算出)。本図では、焦点距離ABは200メートルとなっている。次に、撮像画像表示装置100は、画像の撮影時に傾きセンサ113により撮像画像表示装置100自体の傾き情報を取得する。本図では、撮像画像表示装置100の傾きは「30°」となっている。   First, the captured image display device 100 calculates the distance from the shooting position (vertex B) to the focal point of the lens (vertex A) (calculation of focal length). In this figure, the focal length AB is 200 meters. Next, the captured image display device 100 acquires tilt information of the captured image display device 100 itself by the tilt sensor 113 when the image is captured. In this figure, the tilt of the captured image display device 100 is “30 °”.

図13で示す直角三角形のうち、2角が「30°」と直角であることから、残りの1角が「60°」であることが明らかになる。このことから、レンズの焦点(頂点A)から被写体位置(C)までの距離(高さ)は、100メートルであると算出することができる。この直角三角形の3辺の比は、(焦点から地上までの距離AC:焦点距離AB:撮影位置から被写体までの距離BC)=(1:2:√3)であることから、線分BC(X)=100m×√3=約173mと算出することができる。   Among the right triangles shown in FIG. 13, two corners are perpendicular to “30 °”, so that it becomes clear that the other corner is “60 °”. From this, it can be calculated that the distance (height) from the focal point (vertex A) of the lens to the subject position (C) is 100 meters. Since the ratio of the three sides of this right triangle is (distance AC from the focus to the ground: focal distance AB: distance BC from the photographing position to the subject) = (1: 2: √3), the line segment BC ( X) = 100 m × √3 = about 173 m.

よって、撮影位置(XX,YY)から北に173mの位置が、被写体位置情報(AA,BB)であるとわかる。上記のように、焦点距離と、傾きを算出することで、三角関数の定理を用いて簡単に撮影位置から被写体位置までの距離を求めることが可能である。また、被写体の位置情報の検出手段は、上記手段の他にも、「特開平09−101142号公報」の図3の方法を用いることで、被写体の位置を検出することが可能である。すなわち、カメラから被写体までの距離を検出する手段は、カメラレンズのフォーカス情報等を利用して構成することができる。ビデオカメラ(撮像画像表示装置100)のレンズの場合、一般にフォーカスに連動した電圧出力を得ることができ、この電圧と距離の関係式を予め求めておくことによって、電圧より距離が検出される。画像の撮影位置(緯度、経度)をGPSから検出する。このGPS17は例えばカーナビゲーション用GPSの機能と同様の機能を有するものである。地図情報を記憶する記憶手段としては、CD−ROM等が用いられ、こ のCD−ROMはカーナビゲーション用として市販されているものを用いることができる。
カメラ光軸の姿勢角と方位角、カメラから被写体までの距離及びカメラの位置から、被写体の位置(緯度、経度)を算出する。被写体の位置は実際には3次元で演算されるが、緯度−高さの2次元で説明すると、「特開平9−101142号公報」の図3Aに示されるように、撮影位置(LAT0)、カメラ光軸方向(θ)、被写体までの距離(R)から、被写体位置(LAT1)は、LAT1=LAT0 + Rcosθで求められる。
Therefore, the position of 173 m north from the shooting position (XX, YY) is known as subject position information (AA, BB). As described above, by calculating the focal length and the inclination, it is possible to easily obtain the distance from the shooting position to the subject position using the trigonometric theorem. In addition to the above-described means, the subject position information detection means can detect the subject position by using the method shown in FIG. 3 of “Japanese Patent Laid-Open No. 09-101142”. That is, the means for detecting the distance from the camera to the subject can be configured using the focus information of the camera lens. In the case of a lens of a video camera (captured image display device 100), generally, a voltage output linked to focus can be obtained, and the distance is detected from the voltage by obtaining a relational expression between the voltage and the distance in advance. The shooting position (latitude, longitude) of the image is detected from the GPS. This GPS 17 has a function similar to the function of GPS for car navigation, for example. As the storage means for storing the map information, a CD-ROM or the like is used, and this CD-ROM can be one commercially available for car navigation.
The position (latitude, longitude) of the subject is calculated from the posture angle and azimuth angle of the camera optical axis, the distance from the camera to the subject, and the position of the camera. Although the position of the subject is actually calculated in three dimensions, as described in two dimensions of latitude-height, as shown in FIG. 3A of “JP-A-9-101142”, the shooting position (LAT0), From the camera optical axis direction (θ) and the distance (R) to the subject, the subject position (LAT1) is obtained by LAT1 = LAT0 + Rcos θ.

図9は、撮像画像表示装置100を用いて画像管理装置200に記憶管理されている過去画像を取得する処理についてのフローチャートである。   FIG. 9 is a flowchart of processing for acquiring a past image stored and managed in the image management apparatus 200 using the captured image display apparatus 100.

まず、ユーザ操作により撮像画像表示装置100の電源が投入されると(例えば、電源ボタンの押下やレンズカバーのオープンなど)、撮像画像表示装置100が起動する(ステップS901)。   First, when the power of the captured image display apparatus 100 is turned on by a user operation (for example, pressing of the power button or opening of the lens cover), the captured image display apparatus 100 is activated (step S901).

撮像画像表示装置100が起動すると、ユーザのモード切替機構11操作によるモードの切り替え指示を受付ける。モードの切り替えは、撮像画像表示装置100に予め設定されている静止画撮影モード、シーン別撮影モード、動画撮影モードの設定ファイルを読込み、モードの切替制御を行い、撮影スタンバイ状態にする(ステップS902)。   When the captured image display device 100 is activated, it receives a mode switching instruction by the user's operation of the mode switching mechanism 11. The mode is switched by reading a still image shooting mode, a scene-by-scene shooting mode, and a moving image shooting mode setting file preset in the captured image display apparatus 100, performing mode switching control, and setting the shooting standby state (step S902). ).

撮影可能な状態になると、ユーザによるシャッターボタンの半押しを受け付けて被写体を特定する(ステップS903)。また、ここでの被写体特定方法は、シャッターボタンの半押し時にオートフォーカスにより測定される焦点距離と、撮影時の撮像画像表示装置100の傾き情報および撮影方向情報と、撮影位置情報とから被写体の位置を特定する方法が挙げられる(先述の図13の方法)。   When the camera is ready to shoot, it accepts a half-press of the shutter button by the user and identifies the subject (step S903). The subject specifying method here is based on the focal length measured by autofocus when the shutter button is half-pressed, the tilt information and shooting direction information of the captured image display device 100 at the time of shooting, and the shooting position information. There is a method for specifying the position (the method of FIG. 13 described above).

また、撮像画像表示装置100の表示部10がタッチパネル機能を有しているものであれば、画面へのタッチ指示を受け付けることにより被写体を特定することが可能である。画面へタッチ指示を受け付けた場合にも撮影位置からの焦点距離がわかるので、同様に被写体の位置を特定することが可能である。   Further, if the display unit 10 of the captured image display device 100 has a touch panel function, the subject can be specified by receiving a touch instruction on the screen. Even when a touch instruction is received on the screen, the focal length from the shooting position is known, so that the position of the subject can be specified in the same manner.

ステップS903において被写体(被写体Zとする)が特定されると、当該被写体Zの過去画像を呼び出すための画像呼出モードへの切り替えを受け付ける。画像呼出モードへの切り替えは、図2の撮像画像表示装置100の構成図で説明するように、撮像画像表示装置100に搭載されているモード切替機構11の画像呼出モード14に合わせることで、画像管理装置200から画像を呼び出すことが可能になる。   When a subject (referred to as subject Z) is specified in step S903, switching to an image calling mode for calling a past image of the subject Z is accepted. The switching to the image calling mode is performed in accordance with the image calling mode 14 of the mode switching mechanism 11 mounted on the captured image display device 100 as described in the configuration diagram of the captured image display device 100 in FIG. Images can be called from the management apparatus 200.

また、タッチパネルを有する撮像画像表示装置100であれば、表示部10に表示される「モード切替」ボタンの押下を受け付け、その下層にある「画像呼出モード14」の選択を受け付けることで画像呼出モードへ切替制御をすることが可能である。   In the case of the captured image display device 100 having a touch panel, the image call mode is received by accepting the pressing of the “mode switching” button displayed on the display unit 10 and accepting the selection of the “image call mode 14” in the lower layer. It is possible to perform switching control.

ステップS904で画像呼出モードへの切り替え制御を行うと、撮像画像表示装置100は、画像呼出モードの日付設定機構12を用いることにより、ステップS903で設定した被写体Zの過去画像を取得する日付の設定を受け付ける(ステップS905)。   When switching control to the image calling mode is performed in step S904, the captured image display apparatus 100 sets the date for acquiring the past image of the subject Z set in step S903 by using the date setting mechanism 12 in the image calling mode. Is received (step S905).

被写体Zの過去画像の取得設定について、特に限定は行わないが、特定の日付(例えば、「1990年3月1日」)の過去画像を取得するための設定をすることも可能であるし、また特定の期間(例えば、「1990年1月1日〜1990年4月30日」)に撮影された当該被写体Zの過去画像を取得する設定をすることも可能である。   The acquisition setting of the past image of the subject Z is not particularly limited, but it is also possible to make a setting for acquiring a past image of a specific date (for example, “March 1, 1990”). It is also possible to make a setting for acquiring a past image of the subject Z taken during a specific period (for example, “January 1, 1990 to April 30, 1990”).

過去画像を取得する日付を設定すると、ステップS906において、撮像画像表示装置100は、画像管理装置200で画像を検索する際の検索条件を設定する。画像撮影時に画像情報とともに記憶される撮影場所の位置情報と高度の情報を用いることにより、現在位置と同じ位置情報で記憶している画像の検索を行う。   When the date for acquiring the past image is set, in step S906, the captured image display apparatus 100 sets a search condition for searching for an image by the image management apparatus 200. By using the position information and altitude information of the shooting location stored together with the image information at the time of image shooting, the stored image is searched with the same position information as the current position.

また、検索条件に撮影場所の高さを「考慮する/しない」の条件を持たせることが可能であり、撮影場所の高さを考慮すると、現在位置の高さを取得して、同じ高さで撮影された画像があるか否かを検索する。
図10は、過去画像を取得するための画像検索条件設定の一例である。
In addition, it is possible to have a condition of “considering / not considering” the height of the shooting location in the search condition. Taking the height of the shooting location into consideration, the height of the current position is acquired and the same height is obtained. Whether there is an image taken in is searched.
FIG. 10 is an example of image search condition setting for acquiring a past image.

図10の(1)は、過去画像を取得するための日付設定を行う画面の一例である。先のステップS903で被写体Zを特定し、S904で画像呼出モードに切り替わると、図10(1)の日付設定画面が表示される。ここで画像を取得したい日時情報を設定を受け付ける。   (1) of FIG. 10 is an example of a screen for setting a date for acquiring a past image. When the subject Z is specified in the previous step S903 and switched to the image calling mode in S904, the date setting screen of FIG. 10A is displayed. Here, setting of date / time information for which an image is desired to be received is accepted.

また、図10の(2)は、ステップS906で検索条件を設定する際の詳細検索条件設定画面である。本画面では、画像データの撮影位置の高さ(高度)情報を考慮に入れての検索を行うことが可能である。高さ(高度)情報を検索時の詳細設定に入れることにより、例えば、同じ建物から同じ被写体を撮影した場合(建物の1階と2階等)画像を絞ることが可能になる。   Also, (2) in FIG. 10 is a detailed search condition setting screen when setting the search condition in step S906. On this screen, it is possible to perform a search in consideration of the height (altitude) information of the shooting position of the image data. By including the height (altitude) information in the detailed settings at the time of search, for example, when the same subject is photographed from the same building (such as the first floor and the second floor of the building), it is possible to narrow down the image.

また、背景写真も「含む/含まない」の設定は、先に説明した図7の逆ベクトルデータを用いることで、検索対象を広げるために行う。例えば、地点Aが被写体として設定されている画像データを検索する時に、通常であれば、検索対象となるのはA1、A2、A3から撮影された画像であるが、被写体としてではなく、背景に地点Aが撮影されている画像データも検索対象として設定する場合に、B3’およびC3’の逆ベクトルデータも検索対象として挙がるため、検索結果には、B3、C3から撮影された画像も表示されることになる。   Further, the setting of “including / not including” the background photo is performed in order to widen the search target by using the inverse vector data of FIG. 7 described above. For example, when searching for image data in which the point A is set as a subject, normally, the images to be searched are images taken from A1, A2, and A3. When the image data of the point A is also set as the search target, the reverse vector data of B3 ′ and C3 ′ is also included as the search target, and therefore the images shot from B3 and C3 are also displayed in the search result. Will be.

背景写真を検索対象に含む場合には、被写体からの範囲を指定することで、検索対象が広がりすぎることを防ぐことができる。詳細検索条件設定では、検索対象を、サーバに記憶されている画像にするか、それとも撮像画像表示装置100に装着されている外部メモリ211に記憶されている画像にするかを選択することが可能である。   When the background photo is included in the search target, it is possible to prevent the search target from becoming too wide by specifying the range from the subject. In the detailed search condition setting, it is possible to select whether the search target is an image stored in the server or an image stored in the external memory 211 attached to the captured image display device 100. It is.

この設定により、図9のフローチャートのようにサーバに記憶されている画像から検索をするか、または後述の図12のフローチャートのように、撮像画像表示装置100の外部メモリ211に記憶されている画像から検索をするかを選択することが可能になる。
引き続き、図9の説明に戻る。
With this setting, a search is performed from an image stored in the server as shown in the flowchart of FIG. 9, or an image stored in the external memory 211 of the captured image display device 100 as shown in the flowchart of FIG. It becomes possible to select whether to search from.
Subsequently, the description returns to FIG.

ステップS905およびS906で、被写体Zの過去画像を取得する日付と検索対象の設定を受け付けると、ステップS907において、撮像画像表示装置100は、被写体Zの過去画像を取得するために、画像管理装置200へ検索要求を送信する。ステップS908において、画像管理装置200は、撮像画像表示装置100から送信された被写体Zの過去画像の検索要求を受信する。   In Steps S905 and S906, when the date for acquiring the past image of the subject Z and the setting of the search target are accepted, the captured image display device 100 acquires the past image of the subject Z in Step S907, in order to acquire the past image of the subject Z. Send search request to. In step S <b> 908, the image management apparatus 200 receives the search request for the past image of the subject Z transmitted from the captured image display apparatus 100.

ステップS909において、画像管理装置200は、画像管理装置200の外部メモリ211に記憶されている画像の中から、被写体Zの過去画像を検索する。   In step S909, the image management apparatus 200 searches for past images of the subject Z from the images stored in the external memory 211 of the image management apparatus 200.

具体的な検索方法について説明する。画像管理装置200は、ステップS905で設定を受け付けた画像を検索したい日時情報を用いて、画像管理装置200の外部メモリ211に記憶されている画像の中から設定された日時情報に合致する画像を抽出する。例えば、ステップS905で「1990年1月1日〜1990年4月30日」の画像取得設定をした場合には、図8の画像情報テーブルの撮影日時情報802を検査して、該当する期間に撮影された画像を抽出する。   A specific search method will be described. The image management apparatus 200 uses the date / time information for which the image whose setting has been received in step S905 is to be searched, and selects an image that matches the date / time information set from the images stored in the external memory 211 of the image management apparatus 200. Extract. For example, when the image acquisition setting of “January 1, 1990 to April 30, 1990” is set in step S905, the shooting date / time information 802 in the image information table of FIG. Extract the captured image.

次に、画像管理装置200は、ステップS907で撮像画像表示装置100より送信された画像の検索対象とする被写体の位置情報を用いて、先程、撮影日時情報を基に抽出した画像のうち、今回被写体として選択されているものと同一の位置情報をもつ画像を抽出する。   Next, the image management apparatus 200 uses the position information of the subject to be searched for the image transmitted from the captured image display apparatus 100 in step S907, among the images previously extracted based on the shooting date / time information. An image having the same position information as that selected as the subject is extracted.

次に、画像管理装置200は、ステップS903で画像の検索対象となる被写体を特定した位置情報を用いて、前段落で抽出した画像のうち、同一の撮影位置情報をもつ画像を抽出する。撮影位置情報は、緯度・経度の情報の他に撮影位置の高さ情報も備えている。高さ情報も考慮して、現在画像を取得しようとしている位置の高さと同高さで撮影された画像のみを抽出したい場合には、図10で示す詳細条件設定で、「高さを考慮に入れる」旨の設定をしておくことにより、現在位置と同じ高さで撮影された画像を抽出することが可能である。   Next, the image management apparatus 200 extracts an image having the same shooting position information from the images extracted in the previous paragraph, using the position information specifying the subject to be searched for in step S903. The shooting position information includes height information of the shooting position in addition to the latitude / longitude information. If you want to extract only images taken at the same height as the position where you are going to acquire the image, considering the height information, you can use the detailed condition settings shown in FIG. By setting “to enter”, an image photographed at the same height as the current position can be extracted.

ユーザの求める検索条件に合致した画像が取得されると、ステップS910において、画像管理装置200は、送信された検索要求で設定されている条件に合致した被写体Zの画像を撮像画像表示装置100に送信する。   When an image that matches the search condition requested by the user is acquired, in step S910, the image management apparatus 200 sends an image of the subject Z that matches the condition set in the transmitted search request to the captured image display apparatus 100. Send.

ステップS911において、撮像画像表示装置100は、画像管理装置200より送信された被写体Zの過去画像を受信する。過去画像を受信すると、ステップS912において、撮像画像表示装置100は、受信した画像を表示部10に表示する。なお、複数枚の画像の候補が検出された場合には、検索結果一覧画面(不図示)を表示するよう制御することが可能である。   In step S <b> 911, the captured image display device 100 receives a past image of the subject Z transmitted from the image management device 200. When the past image is received, the captured image display device 100 displays the received image on the display unit 10 in step S912. When a plurality of image candidates are detected, it is possible to control to display a search result list screen (not shown).

本フローチャートの処理によれば、撮像画像表示装置100で過去画像を取得したい被写体を特定し、特定した被写体の過去に撮影された画像を、画像管理装置200を介して取得することが可能になる。   According to the processing of this flowchart, it is possible to specify a subject for which a past image is to be acquired by the captured image display device 100 and acquire an image captured in the past of the specified subject via the image management device 200. .

次に、図12のフローチャートを用いて、撮像画像表示装置100に挿入されている記憶媒体(外部メモリ117)に記憶されている過去画像の取得方法について説明する。   Next, a past image acquisition method stored in a storage medium (external memory 117) inserted in the captured image display device 100 will be described with reference to the flowchart of FIG.

図12は、本発明の撮像画像表示装置100において実施される過去画像の取得方法を示すフローチャートである。   FIG. 12 is a flowchart showing a past image acquisition method implemented in the captured image display apparatus 100 of the present invention.

まず、ユーザ操作により撮像画像表示装置100の電源が投入されると(例えば、電源ボタンの押下やレンズカバーのオープンなど)、撮像画像表示装置100が起動する(ステップS1201)。   First, when the power of the captured image display device 100 is turned on by a user operation (for example, pressing a power button or opening a lens cover), the captured image display device 100 is activated (step S1201).

撮像画像表示装置100が起動すると、ユーザのモード切替機構11操作によるモードの切り替え指示を受付ける。モードの切り替えは、撮像画像表示装置100に予め設定されている静止画撮影モードの設定ファイルを読込み、モードの切替制御を行い、撮影スタンバイ状態にする(ステップS1202)。   When the captured image display device 100 is activated, it receives a mode switching instruction by the user's operation of the mode switching mechanism 11. The mode is switched by reading a still image shooting mode setting file preset in the captured image display device 100, performing mode switching control, and setting the shooting standby state (step S1202).

撮影可能な状態になると、撮像画像表示装置100の表示部10に表示されている画面からユーザのタッチ操作を受け付け、被写体を特定する。また、ここでの被写体位置情報特定方法は、シャッターボタンの半押しを受け付けることで焦点距離を算出し、焦点距離と撮影時の撮像画像表示装置100の傾き情報と、撮影時の撮像画像表示装置100の撮影方向と、撮影位置情報から、被写体位置までの距離を算出する方法が挙げられる(先述の図13と同様の方法をとる)。   When shooting is possible, the user's touch operation is received from the screen displayed on the display unit 10 of the captured image display device 100, and the subject is specified. The subject position information specifying method here calculates the focal length by accepting a half-press of the shutter button, the focal length and the tilt information of the captured image display device 100 at the time of shooting, and the captured image display device at the time of shooting. There is a method of calculating the distance to the subject position from 100 shooting directions and shooting position information (the same method as in FIG. 13 described above is used).

ステップS1203において被写体(被写体Zとする)が特定されると、当該被写体Zの過去画像を呼び出すための画像呼出モードへの切り替えを受け付ける。画像呼出モードへの切り替えは、図2の撮像画像表示装置100の構成図で説明するように、撮像画像表示装置100に搭載されているモード切替機構11の画像呼出モード14に合わせることで、画像管理装置200から画像を呼び出すことが可能になる。   When a subject (referred to as subject Z) is specified in step S1203, switching to an image calling mode for calling a past image of the subject Z is accepted. The switching to the image calling mode is performed in accordance with the image calling mode 14 of the mode switching mechanism 11 mounted on the captured image display device 100 as described in the configuration diagram of the captured image display device 100 in FIG. Images can be called from the management apparatus 200.

また、タッチパネルを有する撮像画像表示装置100であれば、表示部10に表示される「モード切替」ボタンの押下を受け付け、その下層にある「画像呼出モード14」の選択を受け付けることで画像呼出モードへ切替制御をすることが可能である。   In the case of the captured image display device 100 having a touch panel, the image call mode is received by accepting the pressing of the “mode switching” button displayed on the display unit 10 and accepting the selection of the “image call mode 14” in the lower layer. It is possible to perform switching control.

ステップS1204で画像呼出モードへの切り替え制御を行うと、撮像画像表示装置100は、画像呼出モードの日付設定機構12を用いることにより、ステップS1203で設定した被写体Zの過去画像を取得する日付の設定を受け付ける(ステップS1205)。   When the switching control to the image calling mode is performed in step S1204, the captured image display apparatus 100 sets the date for acquiring the past image of the subject Z set in step S1203 by using the date setting mechanism 12 in the image calling mode. Is received (step S1205).

被写体Zの過去画像の取得設定について、特に限定は行わないが、特定の日付(例えば、「1990年3月1日」)の過去画像を取得するための設定をすることも可能であるし、また特定の期間(例えば、「1990年1月1日〜1990年4月30日」)に撮影された当該被写体Zの過去画像を取得する設定をすることも可能である。   The acquisition setting of the past image of the subject Z is not particularly limited, but it is also possible to make a setting for acquiring a past image of a specific date (for example, “March 1, 1990”). It is also possible to make a setting for acquiring a past image of the subject Z taken during a specific period (for example, “January 1, 1990 to April 30, 1990”).

過去画像を取得する日付を設定すると、ステップS1206において、撮像画像表示装置100は、画像管理装置200で画像を検索する際の検索条件を設定する。画像撮影時に画像情報とともに記憶される撮影場所の位置情報と高さの情報を用いることにより、現在位置と同じ位置情報で記憶している画像の検索を行う。   When the date for acquiring the past image is set, in step S1206, the captured image display apparatus 100 sets a search condition for searching for an image by the image management apparatus 200. By using the position information and height information of the shooting location stored together with the image information at the time of image shooting, the stored image is searched with the same position information as the current position.

また、検索条件に撮影場所の高さを考慮する/しないの条件を持たせることが可能であり、撮影場所の高さを考慮すると、現在位置の高さを取得して、同じ高さで撮影された画像があるか否かを検索する。   In addition, it is possible to give the search condition whether or not to consider the height of the shooting location. Taking the height of the shooting location into consideration, the height of the current position is acquired and shooting is performed at the same height. It is searched whether there is an image that has been edited.

被写体Zの過去画像を取得する日付の設定を受け付けると、ステップS1206において、撮像画像表示装置100は、設定した日付の被写体Zの過去画像を取得するために、外部メモリ211に記憶されている画像の検索を開始する。   When the setting of the date for acquiring the past image of the subject Z is received, in step S1206, the captured image display device 100 stores the image stored in the external memory 211 in order to acquire the past image of the subject Z on the set date. Start searching for.

具体的な検索方法について説明する。撮像画像表示装置100は、ステップS1205で設定を受け付けた画像を検索したい日時の情報を用いて、撮像画像表示装置100の外部メモリ211に記憶されている画像の中から設定された日時情報に合致する画像を抽出する。例えば、ステップS1205で「1990年1月1日〜1990年4月30日」の画像取得設定をした場合には、図8の画像情報テーブルの撮影日時情報802を検査して、該当する期間に撮影された画像を抽出する。 A specific search method will be described. The captured image display apparatus 100 matches the date and time information set from the images stored in the external memory 211 of the captured image display apparatus 100 using the information on the date and time when the image whose setting has been accepted in step S1205 is to be searched. Images to be extracted. For example, when the image acquisition setting of “January 1, 1990 to April 30, 1990” is set in step S1205, the shooting date / time information 802 in the image information table of FIG. Extract the captured image.

次に、撮像画像表示装置100は、ステップS1207で撮像画像表示装置100より送信された画像の検索対象とする被写体の位置情報を用いて、先程、撮影日時情報を基に抽出した画像のうち、今回被写体として選択されているものと同一の位置情報をもつ画像を抽出する。   Next, the captured image display device 100 uses the position information of the subject to be searched for the image transmitted from the captured image display device 100 in step S1207, among the images extracted based on the shooting date / time information earlier. An image having the same position information as that selected as the subject this time is extracted.

次に、撮像画像表示装置100は、ステップS1203で画像の検索対象となる被写体を特定した位置情報を用いて、前段落で抽出した画像のうち、同一の撮影位置情報をもつ画像を抽出する。撮影位置情報は、緯度・経度の情報の他に撮影位置の高さ情報も備えている。高さ情報も考慮して、現在画像を取得しようとしている位置の高さと同高さで撮影された画像のみを抽出したい場合には、図10で示す詳細条件設定で、「高さを考慮に入れる」旨の設定をしておくことにより、現在位置と同じ高さで撮影された画像を抽出することが可能である。   Next, the captured image display apparatus 100 extracts an image having the same shooting position information from the images extracted in the previous paragraph, using the position information specifying the subject to be searched for the image in step S1203. The shooting position information includes height information of the shooting position in addition to the latitude / longitude information. If you want to extract only images taken at the same height as the position where you are going to acquire the image, considering the height information, you can use the detailed condition settings shown in FIG. By setting “to enter”, an image photographed at the same height as the current position can be extracted.

ユーザの求める検索条件に合致した画像が取得されると、ステップS1210において、撮像画像表示装置100は、送信された検索要求で設定されている条件に合致した被写体Zの画像を撮像画像表示装置100の表示部10に表示する。なお、複数枚の画像の候補が検出された場合には、検索結果一覧画面(不図示)を表示するよう制御することが可能である。   When an image that matches the search condition requested by the user is acquired, in step S1210, the captured image display apparatus 100 captures an image of the subject Z that matches the condition set in the transmitted search request. Is displayed on the display unit 10. When a plurality of image candidates are detected, it is possible to control to display a search result list screen (not shown).

ステップS1207では、ステップS1206で行った検索結果を外部メモリ211から取得し、ステップS1208では取得した過去画像を表示部10に表示する。   In step S1207, the search result obtained in step S1206 is acquired from the external memory 211. In step S1208, the acquired past image is displayed on the display unit 10.

図9および図12のフローチャートの処理によれば、特定した被写体が撮影されている過去画像のうち、撮影された日時を条件にして、希望の時代の過去画像を取得することが可能である、別の方法としては、図9のステップS903および図12のステップS1203で被写体を特定して、画像呼出モードに切り替える指示を受け付けると、その時点で被写体の位置情報を算出し、図7で示すような被写体が撮影された画像情報を示す3Dベクトルを地図情報を表示させるようにしてもよい。3Dベクトルが表示された状態で、ユーザの操作指示(タッチパネル機能を有する表示部10である場合にタッチ操作、タッチパネル機能がなければ不図示のボタン操作)で3Dベクトルの選択を受け付けると、撮影日時等の情報を同時に表示させた画像が表示部10に表示されるようにしてもよい。   According to the processing of the flowcharts of FIGS. 9 and 12, it is possible to acquire a past image of a desired era, on the condition of the date and time when the identified subject was captured, on the condition of the captured date and time. As another method, when the subject is specified in step S903 of FIG. 9 and step S1203 of FIG. 12 and an instruction to switch to the image calling mode is received, the position information of the subject is calculated at that time, as shown in FIG. The map information may be displayed as a 3D vector indicating image information obtained by photographing a simple subject. When a 3D vector selection is received in response to a user operation instruction (touch operation in the case of the display unit 10 having a touch panel function, or button operation (not shown if there is no touch panel function)) in a state where the 3D vector is displayed, An image on which information such as the above information is simultaneously displayed may be displayed on the display unit 10.

本発明によれば、被写体を起点として、画像の撮像場所に捉われることなく画像が撮影された方向を明示的に地図上に表示して、画像検索効率を向上させる撮像画像表示システム、撮像画像表示装置100、および画像表示装置を提供することが可能となる。
(第二の実施形態)
According to the present invention, a captured image display system that improves the image search efficiency by explicitly displaying on the map the direction in which the image was captured without being captured by the image capturing location, starting from the subject, and the captured image It is possible to provide the display device 100 and the image display device.
(Second embodiment)

本発明の第一の実施形態では、ユーザにより撮影された画像のうち、同一の被写体を撮影している過去の画像を被写体を起点に撮影位置を明示しながら検索する方法について説明したが、第二の実施形態では、撮影時に撮像画像表示装置100から焦点距離を取得しづらい風景写真など、被写体設定が自動的になされない画像の被写体設定方法について、後から第一の実施形態の方法で検索をした時に画像が抽出されるように、被写体情報を付加する方法について説明する。   In the first embodiment of the present invention, a description has been given of a method of searching for past images in which the same subject is photographed among images photographed by the user while clearly indicating the photographing position from the subject. In the second embodiment, a method for setting the subject of an image in which subject setting is not automatically performed, such as a landscape photograph in which it is difficult to obtain the focal length from the captured image display device 100 at the time of shooting, is searched later by the method of the first embodiment. A method for adding subject information so that an image is extracted at the time of shooting will be described.

図14は、撮影時に被写体情報が取得出来ない画像について、画像の撮影前後に被写体をユーザ指示により特定し、被写体位置情報を付加する処理を説明するフローチャートである。   FIG. 14 is a flowchart for describing processing for specifying a subject according to a user instruction before and after photographing an image and adding subject position information for an image for which subject information cannot be acquired at the time of photographing.

ステップ1401では、撮像画像表示装置100が起動すると、ユーザのモード切替機構11操作によるモードの切り替え指示を受付け、プレビューモードを呼び出す。ユーザに操作に応じた切替制御は、撮像画像表示装置100に予め設定されている画像プレビューモードの設定ファイルを読込み、スタンバイ状態にする。   In step 1401, when the captured image display apparatus 100 is activated, it receives a mode switching instruction by the user's operation of the mode switching mechanism 11 and calls the preview mode. The switching control according to the operation by the user reads an image preview mode setting file preset in the captured image display device 100 and sets the standby state.

撮影された画像のプレビューモードにおいて、撮像画像表示装置100は、ユーザの画像表示操作に応じて、被写体情報を付加する画像の選択を行う。表示部10には撮影された画像が表示されていて、左右ボタンの押下受付や、タッチパネルの特定の箇所に触れることで表示画像の切替を行う(ステップS1402)。   In the captured image preview mode, the captured image display apparatus 100 selects an image to which subject information is added in accordance with a user's image display operation. The captured image is displayed on the display unit 10, and the display image is switched by accepting pressing of the left and right buttons or touching a specific part of the touch panel (step S1402).

被写体情報を付加したい画像を表示した状態で、特定のボタン押下を受け付けることにより、被写体情報を付加する画像を決定する(ステップS1403)。   In a state where an image to which subject information is to be added is displayed, an image to which subject information is to be added is determined by accepting a specific button press (step S1403).

ステップS1403で被写体情報を付加する画像を決定したら、当該画像に付加されている属性情報のうち、図8で示す撮影位置情報803を検出する(ステップS1404)。   When the image to which the subject information is added is determined in step S1403, the shooting position information 803 shown in FIG. 8 is detected from the attribute information added to the image (step S1404).

次に、被写体情報を付加する画像の属性情報のうち、図8で示す撮影方向情報804を検出する(ステップS1405)。撮影位置情報803と、撮影方向情報804が検出することにより、当該画像がどの場所から、どちらの方角を向いて撮影したかを特定することができるので、撮影位置情報を起点とした撮影方向の地図情報を、ネットワークを通じて取得し、表示部10に表示する(ステップS1406)。   Next, the shooting direction information 804 shown in FIG. 8 is detected from the attribute information of the image to which the subject information is added (step S1405). By detecting the shooting position information 803 and the shooting direction information 804, it is possible to specify from which place the image was shot and in which direction, so that the shooting direction information from the shooting position information as a starting point can be specified. Map information is acquired through a network and displayed on the display unit 10 (step S1406).

次に、ステップS1406で表示部10に表示された地図情報の中から被写体の候補となる位置情報を識別可能に表示する(ステップS1407)。被写体の候補となる位置情報の選定方法は特に限定しないが、例えば、既に複数の他の画像で被写体として設定されている位置情報がある場合には、それらを識別可能な形式で地図上に表示する。また、画像が撮影された方向に位置しているランドマークを明示的に地図上に表示してもよい。   Next, position information that is a candidate for the subject is displayed in an identifiable manner from the map information displayed on the display unit 10 in step S1406 (step S1407). The method for selecting position information that is a candidate for the subject is not particularly limited. For example, if there is position information that is already set as a subject in a plurality of other images, the information is displayed on the map in a format that can be identified. To do. In addition, landmarks located in the direction in which the image was taken may be explicitly displayed on the map.

ステップS1407で、被写体の候補となる位置情報が表示部10に表示されている地図上に表示されると、ユーザ操作に応じて、どの位置情報を被写体との位置情報とするかの選択を受付け、画像に付加する位置情報を決定する(ステップS1408)。   In step S1407, when position information that is a candidate for the subject is displayed on the map displayed on the display unit 10, a selection of which position information is to be the position information with respect to the subject is accepted according to a user operation. Then, position information to be added to the image is determined (step S1408).

画像に付加する被写体の位置情報の決定を受け付けると、決定した被写体情報を画像に付加し、図8の属性情報のうち、撮影位置情報803の値を更新する(ステップS1409)。   When the determination of the position information of the subject to be added to the image is received, the determined subject information is added to the image, and the value of the shooting position information 803 in the attribute information of FIG. 8 is updated (step S1409).

また、第二の実施形態は、撮像画像表示装置100と画像管理装置200が通信して、画像管理装置200の外部メモリ211に記憶されている地図情報を送信し、被写体位置情報を決定するための地図情報を撮像画像表示装置100で取得する方法も可能である。この方法を実現するためのフローチャートが図15に示されている。   In the second embodiment, the captured image display device 100 and the image management device 200 communicate with each other to transmit map information stored in the external memory 211 of the image management device 200 and determine subject position information. A method of acquiring the map information with the captured image display device 100 is also possible. A flowchart for realizing this method is shown in FIG.

図14との相違点を述べると、撮像画像表示装置100は、撮影位置情報803と、撮影方向情報804が検出すると、当該画像がどの場所から、どちらの方角を向いて撮影したかを特定することができるので、撮影位置情報を起点を起点とした撮影方向の地図情報を取得するために、画像管理装置200に対して地図情報要求を送信する(ステップS1506)。   When the difference from FIG. 14 is described, the captured image display device 100 identifies from which location the image was captured and from which direction when the captured position information 803 and the captured direction information 804 are detected. Therefore, a map information request is transmitted to the image management apparatus 200 in order to acquire map information in the shooting direction starting from the shooting position information (step S1506).

画像管理装置200は、地図情報要求を取得すると、要求情報の中に含まれている、被写体位置を特定する画像の撮影位置情報と、撮影方向情報を用いることにより、撮像画像表示装置100が求めている地図情報がどの部分なのかを判断し、外部メモリ211より地図情報を呼び出す(ステップS1508)。ステップS1509では、取得した地図情報を撮像画像表示装置100に送信する。   When the image management apparatus 200 acquires the map information request, the captured image display apparatus 100 obtains the image information by using the shooting position information and the shooting direction information of the image for specifying the subject position included in the request information. It is determined which part of the map information is present, and the map information is called from the external memory 211 (step S1508). In step S1509, the acquired map information is transmitted to the captured image display apparatus 100.

図14および図15のフローチャートの処理によれば、撮影時に被写体設定を特に行わなかった画像について、後から第一の実施形態の方法で検索をした時に画像が抽出されるように、被写体位置情報を付加することが可能になる。   According to the processing of the flowcharts of FIGS. 14 and 15, the subject position information is such that an image that has not been subjected to subject setting at the time of shooting is extracted when the image is later retrieved by the method of the first embodiment. Can be added.

なお、図14および図15のフローチャートの処理は、どちらも画像が撮影された後に、撮像画像表示装置100の外部メモリ211から呼出をして、被写体の位置情報が付加されていない画像について、被写体の位置情報設定を行う仕組みにしているが、この仕組みは、ユーザにより画像が撮像される前にも適用することが可能である。   14 and 15 are both called from the external memory 211 of the captured image display device 100 after an image is captured, and the subject is not subject to position information. However, this mechanism can also be applied before an image is captured by the user.

具体例を説明する。モード切替機構11へのユーザ操作に応じて静止画撮影モードの設定を呼出し、スタンバイ状態にする。その後、地図情報呼出機構15の押下を受け付けると、撮像画像表示装置100の置かれている位置情報をGPS測位部114から取得し、どの方角を向いているのかを方位センサ112で取得することにより、表示部10に地図情報を表示させる(図14のS1406に相当)。   A specific example will be described. In response to a user operation on the mode switching mechanism 11, the setting of the still image shooting mode is called and the standby state is set. Thereafter, when the depression of the map information calling mechanism 15 is accepted, the position information where the captured image display device 100 is placed is acquired from the GPS positioning unit 114, and the direction sensor 112 is used to acquire which direction it is facing. The map information is displayed on the display unit 10 (corresponding to S1406 in FIG. 14).

地図情報が表示部10に表示されると、地図上に被写体候補の位置情報が表示されると(図14のS1407に相当)、ユーザ操作により、これから撮影を行おうとしている被写体の位置情報の特定を受け付ける(図14のS1408に相当)。被写体の位置情報が特定されると撮影画面に遷移し、画像の撮影を実行する。画像が撮影されると、特定された被写体の位置情報を付加し(図14のS1409に相当)、画像を外部メモリ211に記憶する。   When the map information is displayed on the display unit 10, when the position information of the subject candidate is displayed on the map (corresponding to S1407 in FIG. 14), the position information of the subject to be photographed from now on by the user operation is displayed. The identification is accepted (corresponding to S1408 in FIG. 14). When the position information of the subject is specified, the screen transitions to the shooting screen and the image is shot. When the image is taken, position information of the specified subject is added (corresponding to S1409 in FIG. 14), and the image is stored in the external memory 211.

また、図16は、図14および図15のフローチャートで行う、被写体位置情報の特定を実現する画面の例である。被写体位置情報特定画面1600の下辺の撮影位置アイコン1601は、撮像画像表示装置100の現在位置を示している。もし、既に撮影された画像に対する被写体情報の付加処理である場合には、当該画像の撮影位置情報が、撮影位置アイコン1601で示される。   FIG. 16 is an example of a screen that realizes specification of subject position information performed in the flowcharts of FIGS. 14 and 15. A shooting position icon 1601 on the lower side of the subject position information specifying screen 1600 indicates the current position of the captured image display device 100. If the subject information is added to an already captured image, the shooting position information of the image is indicated by a shooting position icon 1601.

地図拡縮メーター1602は、被写体位置情報特定画面1600に表示する地図の表示範囲を決定するメーターである。表示部10がタッチパネル機能を有するものであれば、ユーザの直接タッチ操作によりメーターの制御が可能である。タッチパネル機能を有していなければ、不図示のボタン操作指示を受付けて拡縮を行う。W(Wide)の方向にメーターを移動させると広範囲の地図を表示し、T(Tele)の方向にメーターを移動させると、表示範囲がより狭まっていく(拡大されていく)。標準の表示範囲は、例えば、撮像画像表示装置100の最大焦点距離を画面中心の十字部に合わせるように表示する。撮像画像表示装置100の最大焦点距離が200mであれば、撮影位置アイコン1601から、画面中央の十字部までの距離が200mになるように拡縮が制御される。   The map enlargement / reduction meter 1602 is a meter that determines a display range of a map displayed on the subject position information specifying screen 1600. If the display unit 10 has a touch panel function, the meter can be controlled by a direct touch operation by the user. If it does not have a touch panel function, it accepts a button operation instruction (not shown) and performs enlargement / reduction. When the meter is moved in the direction of W (Wide), a wide-range map is displayed, and when the meter is moved in the direction of T (Tele), the display range is narrowed (expanded). For example, the standard display range is displayed so that the maximum focal length of the captured image display device 100 is matched with the cross at the center of the screen. If the maximum focal length of the captured image display device 100 is 200 m, scaling is controlled so that the distance from the shooting position icon 1601 to the cross at the center of the screen is 200 m.

被写体位置情報1603(A〜E)は、被写体位置情報特定画面1600で表示されている範囲内にある被写体候補であり、例えば、3以上の画像データの被写体として設定されている場合に、この被写体位置情報1603が表示されるようにする(表示の条件は特に限定しない)。またこの被写体位置情報1603で表示される被写体に限らず、ユーザの操作に応じて自由に被写体位置情報を特定することが可能である。表示部10がタッチパネル機能を有するものであれば、画面に直接タッチ指示を受け付けることで被写体位置を特定することが可能である。タッチパネル機能がない場合には、不図示のスクロールボタンによる操作に応じて、画面中心の十字部を被写体位置に合わせ、決定ボタン等の押下受付により被写体位置を特定することが可能である。   The subject position information 1603 (A to E) is a subject candidate within the range displayed on the subject position information specifying screen 1600. For example, when the subject position information 1603 (A to E) is set as a subject of three or more image data, this subject The position information 1603 is displayed (display conditions are not particularly limited). The subject position information can be freely specified according to the user's operation, not limited to the subject displayed by the subject position information 1603. If the display unit 10 has a touch panel function, the subject position can be specified by receiving a touch instruction directly on the screen. If there is no touch panel function, the cross section at the center of the screen can be aligned with the subject position in response to an operation with a scroll button (not shown), and the subject position can be specified by accepting a press of the enter button or the like.

本処理では、撮像画像表示装置100の最大焦点距離よりも遠い位置を、被写体位置として特定することが可能である。   In this process, a position farther than the maximum focal length of the captured image display apparatus 100 can be specified as the subject position.

以上、図14、図15及び図16の処理によれば、ユーザの直接指示を受付けて、画像に被写体位置情報を付加することが可能になる。例えば、風景写真など、特定の建物やランドマークを被写体として設定しない画像であっても、被写体位置情報を付加することが可能になる。   As described above, according to the processes of FIGS. 14, 15 and 16, it is possible to accept the user's direct instruction and add subject position information to the image. For example, it is possible to add subject position information to an image in which a specific building or landmark is not set as a subject, such as a landscape photograph.

上記には本発明の実施の形態について説明したが、本発明はこれに限定されることなくその趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。   Although the embodiment of the present invention has been described above, the present invention is not limited to this, and it is needless to say that various improvements and modifications can be made without departing from the spirit of the present invention.

例えば、前述した実施の形態では、デジタルカメラやデジタルビデオカメラ等の撮像画像表示装置100への適用例を示したが、これに限定されず、デジタルカメラ機能を備えた携帯電話機やPDA(Personal Digital Assistants)にも適用可能であることは勿論である。   For example, in the above-described embodiment, an example of application to the captured image display device 100 such as a digital camera or a digital video camera has been shown. However, the present invention is not limited to this, and a mobile phone or PDA (Personal Digital) having a digital camera function is not limited thereto. Needless to say, the present invention can also be applied to (Assistants).

以上、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。   As described above, a recording medium on which a program for realizing the functions of the above-described embodiments is recorded is supplied to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus reads and executes the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved. In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,DVD−ROM,磁気テープ,不揮発性のメモリカード,ROM,EEPROM,シリコンディスク等を用いることができる。   As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, EEPROM, silicon A disk or the like can be used.

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on an instruction of the program is actually It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the processing and the processing is included.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Furthermore, after the program read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is based on the instructions of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。   Further, the present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device. Needless to say, the present invention can be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program for achieving the present invention into the system or apparatus, the system or apparatus can enjoy the effects of the present invention.

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ,データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network by a communication program, the system or apparatus can enjoy the effects of the present invention.
In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.

1 ネットワーク
100 撮像画像表示装置
10 表示部(ディスプレイ)
11 モード切替機構
12 日付設定機構
15 地図情報呼出機構
200 画像管理装置
300 位置情報取得装置
DESCRIPTION OF SYMBOLS 1 Network 100 Captured image display apparatus 10 Display part (display)
DESCRIPTION OF SYMBOLS 11 Mode switching mechanism 12 Date setting mechanism 15 Map information call mechanism 200 Image management apparatus 300 Location information acquisition apparatus

Claims (13)

撮像部を備える撮像装置であって、
前記撮像部により入力される撮像画像を表示部に表示する表示手段と、
前記撮像画像を撮影した位置を示す第1の位置情報を検出する位置情報検出手段と、
当該撮像装置の撮影方向を示す方向情報を検出する方向情報検出手段と、
前記位置情報検出手段により検出された第1の位置情報と、前記方向情報検出手段により検出された方向情報に従って、前記表示手段により前記表示部に表示されている撮像画像から注目される被写体を指定するための地図情報を前記表示部に表示する地図情報表示手段と、
前記地図情報表示手段により表示された地図情報に含まれる被写体候補から、前記撮像画像で注目される被写体の選択を受け付ける選択手段と、
前記選択手段により選択を受け付けた被写体の位置を示す第2の位置情報を、前記撮像画像に付して保存する位置情報付加手段と、
を備えることを特徴とする撮像装置。
An imaging apparatus including an imaging unit,
Display means for displaying a captured image input by the imaging unit on a display unit;
Position information detecting means for detecting first position information indicating a position where the captured image is captured;
Direction information detection means for detecting direction information indicating the shooting direction of the imaging device;
In accordance with the first position information detected by the position information detection means and the direction information detected by the direction information detection means, a subject to be noted is designated from the captured image displayed on the display unit by the display means. Map information display means for displaying map information on the display unit,
Selection means for receiving selection of a subject to be noted in the captured image from subject candidates included in the map information displayed by the map information display means;
Position information addition means for attaching the second position information indicating the position of the subject whose selection has been received by the selection means to the captured image and storing the second position information;
An imaging apparatus comprising:
地図情報を管理している画像管理装置と、該画像管理装置と通信可能な撮像部を備える撮像装置とを含む撮像画像表示システムであって、
前記撮像装置は、
前記撮像部により入力される撮像画像を表示部に表示する表示手段と、
前記撮像画像を撮影した位置を示す第1の位置情報を検出する位置情報検出手段と、
当該撮像装置の撮影方向を示す方向情報を検出する方向情報検出手段と、
前記位置情報検出手段により検出された第1の位置情報と、前記方向情報検出手段により検出された方向情報を含む地図情報要求を前記画像管理装置に送信する地図情報要求手段と、
前記地図情報要求手段により送信された地図情報要求に応じて前記画像管理装置から送信される地図情報であって、前記表示手段により前記表示部に表示されている撮像画像から注目される被写体を指定するための地図情報を前記表示部に表示する地図情報表示手段と、
前記地図情報表示手段により表示された地図情報に含まれる被写体候補から、前記撮像画像で注目される被写体の選択を受け付ける選択手段と、
前記選択手段により選択を受け付けた被写体の位置を示す第2の位置情報を、前記撮像画像に付して保存する位置情報付加手段と、
を備え、
前記画像管理装置は、
前記撮像装置から前記第1の位置情報と前記方向情報とを含む前記地図情報要求を受信する受信手段と、
複数の被写体候補の情報を含む地図情報を記憶する記憶手段と、
前記受信手段で受信された地図情報要求に含まれる前記第1の位置情報と前記方向情報に従って、前記記憶手段から特定される地図情報を前記撮像装置に送信する送信手段と、
を備えることを特徴とする撮像画像表示システム。
A captured image display system including an image management device that manages map information and an imaging device that includes an imaging unit capable of communicating with the image management device,
The imaging device
Display means for displaying a captured image input by the imaging unit on a display unit;
Position information detecting means for detecting first position information indicating a position where the captured image is captured;
Direction information detection means for detecting direction information indicating the shooting direction of the imaging device;
Map information requesting means for transmitting a map information request including the first position information detected by the position information detecting means and the direction information detected by the direction information detecting means to the image management device;
A map information transmitted from the image management apparatus in response to a map information request transmitted by the map information requesting unit, and a subject to be noticed is designated from a captured image displayed on the display unit by the display unit Map information display means for displaying map information on the display unit,
Selection means for receiving selection of a subject to be noted in the captured image from subject candidates included in the map information displayed by the map information display means;
Position information addition means for attaching the second position information indicating the position of the subject whose selection has been received by the selection means to the captured image and storing the second position information;
With
The image management device includes:
Receiving means for receiving the map information request including the first position information and the direction information from the imaging device;
Storage means for storing map information including information on a plurality of subject candidates;
Transmitting means for transmitting the map information specified from the storage means to the imaging device according to the first position information and the direction information included in the map information request received by the receiving means;
A captured image display system comprising:
前記撮像画像を、該撮像画像の撮像日時と該撮像画像の位置情報を含む属性情報と共に記憶する記憶手段と、
表示すべき撮像画像の日時情報を設定する設定手段と、
前記設定手段により設定された日時情報に基づく撮像画像の表示指示がなされた場合に、前記表示手段に表示されている撮像画像の位置情報と、前記設定手段により設定された日時情報とに基づいて、前記記憶手段に記憶されている複数の撮像画像の中から特定された撮像画像を前記表示部に表示すべく制御する制御手段とを備え、
を備えることを特徴とする請求項1に記載の撮像装置。
Storage means for storing the captured image together with attribute information including an imaging date and time of the captured image and position information of the captured image;
Setting means for setting date and time information of a captured image to be displayed;
Based on the position information of the captured image displayed on the display unit and the date / time information set by the setting unit when an instruction to display the captured image is given based on the date / time information set by the setting unit. Control means for controlling to display the captured image specified from the plurality of captured images stored in the storage means on the display unit,
The imaging apparatus according to claim 1, further comprising:
撮像画像を保存している画像管理装置と、該画像管理装置と通信可能な撮像装置とを含む撮像画像表示システムであって、
前記撮像装置は、
撮像画像を、該撮像画像の撮像日時と該撮像画像の位置情報を含む属性情報と共に記憶する第1の記憶手段と、
表示すべき撮像画像の日時情報を設定する設定手段と、
前記設定手段により設定された日時情報に基づく撮像画像の表示指示がなされた場合に、前記表示手段に表示されている撮像画像の位置情報と、前記設定手段により設定された日時情報とを含む画像検索要求を、前記画像管理装置に送信する検索要求手段と、
前記検索要求手段による画像検索要求に応答して前記画像管理装置から得られる撮像画像を前記表示部に表示すべく制御する制御手段と、
を備え、
前記画像管理装置は、
前記撮像画像の撮像日時と該撮像画像の位置情報を含む属性情報と前記撮像画像とを複数組記憶する第2の記憶手段と、
前記撮像装置から前記位置情報と前記日時情報を含む画像検索要求を受信する受信手段と、
前記受信手段により受信された画像検索要求に含まれる前記位置情報と前記日時情報とに基づいて、前記第2の記憶手段に記憶されている複数の撮像画像の中から特定された撮像画像を前記撮像装置に送信する送信手段と、
を備えることを特徴とする請求項2に記載の撮像画像表示システム。
A captured image display system including an image management device that stores captured images and an imaging device that can communicate with the image management device,
The imaging device
First storage means for storing a captured image together with attribute information including an imaging date and time of the captured image and position information of the captured image;
Setting means for setting date and time information of a captured image to be displayed;
An image including position information of the captured image displayed on the display unit and date / time information set by the setting unit when an instruction to display the captured image is given based on the date / time information set by the setting unit Search request means for transmitting a search request to the image management device;
Control means for controlling to display a captured image obtained from the image management apparatus in response to an image search request by the search request means on the display unit;
With
The image management device includes:
Second storage means for storing a plurality of sets of attribute information including the imaging date and time of the captured image, position information of the captured image, and the captured image;
Receiving means for receiving an image search request including the position information and the date / time information from the imaging device;
Based on the position information and the date / time information included in the image search request received by the receiving unit, a captured image specified from a plurality of captured images stored in the second storage unit is Transmitting means for transmitting to the imaging device;
The captured image display system according to claim 2, further comprising:
前記撮像画像で注目される被写体を特定する被写体特定手段と、
前記被写体特定手段により前記被写体の位置情報を検出する第二の位置情報検出手段とを更に備え、
前記第二の位置情報検出手段により検出した前記被写体の位置情報を用いて表示すべき撮像画像を特定することを特徴とする請求項1または3に記載の撮像装置。
Subject identifying means for identifying a subject to be noted in the captured image;
Second position information detection means for detecting position information of the subject by the subject specifying means,
The imaging apparatus according to claim 1 or 3, wherein a captured image to be displayed is specified using position information of the subject detected by the second position information detection unit.
前記設定手段により設定された日時情報に一致する撮像画像がない場合に、当該日時情報と近い日時情報と紐付いて記憶されている前記撮像画像を抽出することを特徴とする請求項3または5のいずれか1項記載の撮像装置。   6. The captured image stored in association with date and time information close to the date and time information is extracted when there is no captured image that matches the date and time information set by the setting means. The imaging apparatus of any one of Claims. 前記位置情報と一致する撮像画像がない場合に、当該位置情報に近い撮像画像を抽出することを特徴とする請求項1、3、5または6のいずれか1項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein when there is no captured image that matches the position information, a captured image close to the position information is extracted. 前記撮像装置の画像撮影時の傾き情報を検出する傾き情報検出手段を更に備えることを特徴とする請求項1、3、5乃至7のいずれか1項に記載の撮像装置。   The imaging apparatus according to any one of claims 1, 3, 5 to 7, further comprising tilt information detection means for detecting tilt information when the image capturing apparatus captures an image. 前記地図情報表示手段で表示する前記地図情報は、前記第1の位置情報で示される位置から、前記方向情報で示される方向にある被写体候補が表示されており、当該被写体候補には、それぞれ第2の位置情報が対応づけられていることを特徴とする請求項1、3、5乃至8のいずれか1項に記載の撮像装置。   The map information displayed by the map information display means displays subject candidates in the direction indicated by the direction information from the position indicated by the first position information. 9. The image pickup apparatus according to claim 1, wherein two pieces of position information are associated with each other. 撮像部を備える撮像装置の制御方法であって、
前記撮像装置の表示手段が、前記撮像部により入力される撮像画像を表示部に表示する表示ステップと、
前記撮像装置の位置情報検出手段が、前記撮像画像を撮影した位置を示す第1の位置情報を検出する位置情報検出ステップと、
前記撮像装置の方向情報検出手段が、当該撮像装置の撮影方向を示す方向情報を検出する方向情報検出ステップと、
前記撮像装置の地図情報表示手段が、前記位置情報検出ステップにより検出された第1の位置情報と、前記方向情報検出ステップにより検出された方向情報に従って、前記表示ステップにより前記表示部に表示されている撮像画像から注目される被写体を指定するための地図情報を前記表示部に表示する地図情報表示ステップと、
前記撮像装置の選択手段が、前記地図情報表示ステップにより表示された地図情報に含まれる被写体候補から、前記撮像画像で注目される被写体の選択を受け付ける選択ステップと、
前記撮像装置の位置情報付加手段が、前記選択ステップにより選択を受け付けた被写体の位置を示す第2の位置情報を、前記撮像画像に付して保存する位置情報付加ステップと、
を含むことを特徴とする制御方法。
A method for controlling an imaging apparatus including an imaging unit,
A display step in which the display unit of the imaging apparatus displays a captured image input by the imaging unit on a display unit;
A position information detecting step in which the position information detecting means of the imaging device detects first position information indicating a position where the captured image is captured;
A direction information detecting step in which the direction information detecting means of the imaging device detects direction information indicating a shooting direction of the imaging device;
The map information display means of the imaging device is displayed on the display unit by the display step according to the first position information detected by the position information detection step and the direction information detected by the direction information detection step. A map information display step for displaying map information for designating a subject to be noticed from the captured image on the display unit;
A selection step in which the selection unit of the imaging device accepts selection of a subject to be noticed in the captured image from candidate subjects included in the map information displayed in the map information display step;
A position information adding step in which the position information adding means of the imaging apparatus attaches to the captured image and stores second position information indicating the position of the subject that has been selected in the selection step;
The control method characterized by including.
複数の被写体候補の情報を含む地図情報を記憶する記憶手段を備える画像管理装置と、該画像管理装置と通信可能な撮像部を備える撮像装置とを含む撮像画像表示方法であって、
前記撮像装置において、
前記撮像装置の表示手段が、前記撮像部により入力される撮像画像を表示部に表示する表示ステップと、
前記撮像装置の位置情報検出手段が、前記撮像画像を撮影した位置を示す第1の位置情報を検出する位置情報検出ステップと、
前記撮像装置の方向情報検出手段が、当該撮像装置の撮影方向を示す方向情報を検出する方向情報検出ステップと、
前記撮像装置の地図情報要求手段が、前記位置情報検出ステップにより検出された第1の位置情報と、前記方向情報検出ステップにより検出された方向情報を含む地図情報要求を前記画像管理装置に送信する地図情報要求ステップと、
前記撮像装置の地図情報表示手段が、前記位置情報検出ステップにより検出された第1の位置情報と、前記方向情報検出ステップにより検出された方向情報に従って、前記表示ステップにより前記表示部に表示されている撮像画像から注目される被写体を指定するための地図情報を前記表示部に表示する地図情報表示ステップと、
前記撮像装置の選択手段が、前記地図情報表示ステップにより表示された地図情報に含まれる被写体候補から、前記撮像画像で注目される被写体の選択を受け付ける選択ステップと、
前記撮像装置の位置情報付加手段が、前記選択ステップにより選択を受け付けた被写体の位置を示す第2の位置情報を、前記撮像画像に付して保存する位置情報付加ステップと、を含み、
前記画像管理装置において、
前記画像管理装置の受信手段が、前記撮像装置から前記第1の位置情報と前記方向情報とを含む前記地図情報要求を受信する受信ステップと、
前記画像管理装置の送信手段が、前記受信ステップで受信された地図情報要求に含まれる前記第1の位置情報と前記方向情報に従って、前記記憶手段から特定される地図情報を前記撮像装置に送信する送信ステップと、
を含むことを特徴とする撮像画像表示方法。
A captured image display method comprising: an image management device comprising storage means for storing map information including information on a plurality of subject candidates; and an imaging device comprising an imaging unit capable of communicating with the image management device,
In the imaging apparatus,
A display step in which the display unit of the imaging apparatus displays a captured image input by the imaging unit on a display unit;
A position information detecting step in which the position information detecting means of the imaging device detects first position information indicating a position where the captured image is captured;
A direction information detecting step in which the direction information detecting means of the imaging device detects direction information indicating a shooting direction of the imaging device;
The map information requesting means of the imaging apparatus transmits a map information request including the first position information detected by the position information detecting step and the direction information detected by the direction information detecting step to the image management apparatus. A map information request step;
The map information display means of the imaging device is displayed on the display unit by the display step according to the first position information detected by the position information detection step and the direction information detected by the direction information detection step. A map information display step for displaying map information for designating a subject to be noticed from the captured image on the display unit;
A selection step in which the selection unit of the imaging device accepts selection of a subject to be noticed in the captured image from candidate subjects included in the map information displayed in the map information display step;
A position information adding step for adding the position information adding means of the image pickup device to the picked-up image and storing second position information indicating the position of the subject whose selection has been received in the selecting step;
In the image management apparatus,
A receiving step in which a receiving unit of the image management device receives the map information request including the first position information and the direction information from the imaging device;
The transmission unit of the image management apparatus transmits the map information specified from the storage unit to the imaging apparatus according to the first position information and the direction information included in the map information request received in the reception step. Sending step;
The captured image display method characterized by including.
撮像部を備える撮像装置をコンピュータで読み取り可能なプログラムであって、
前記撮像部により入力される撮像画像を表示部に表示する表示手段と、
前記撮像画像を撮影した位置を示す第1の位置情報を検出する位置情報検出手段と、
当該撮像装置の撮影方向を示す方向情報を検出する方向情報検出手段と、
前記位置情報検出手段により検出された第1の位置情報と、前記方向情報検出手段により検出された方向情報に従って、前記表示手段により前記表示部に表示されている撮像画像から注目される被写体を指定するための地図情報を前記表示部に表示する地図情報表示手段と、
前記地図情報表示手段により表示された地図情報に含まれる被写体候補から、前記撮像画像で注目される被写体の選択を受け付ける選択手段と、
前記選択手段により選択を受け付けた被写体の位置を示す第2の位置情報を、前記撮像画像に付して保存する位置情報付加手段として機能させることを特徴とするプログラム。
A computer-readable program for an imaging device including an imaging unit,
Display means for displaying a captured image input by the imaging unit on a display unit;
Position information detecting means for detecting first position information indicating a position where the captured image is captured;
Direction information detection means for detecting direction information indicating the shooting direction of the imaging device;
In accordance with the first position information detected by the position information detection means and the direction information detected by the direction information detection means, a subject to be noted is designated from the captured image displayed on the display unit by the display means. Map information display means for displaying map information on the display unit,
Selection means for receiving selection of a subject to be noted in the captured image from subject candidates included in the map information displayed by the map information display means;
A program that causes second position information indicating a position of a subject that has been selected by the selection means to function as position information addition means that saves the captured image attached thereto.
複数の被写体候補の情報を含む地図情報を記憶する記憶手段を備える画像管理装置と、該画像管理装置と通信可能な撮像部を備える撮像装置とを含む撮像画像表示システムをコンピュータで読み取り可能なプログラムであって、
前記撮像装置を、
前記撮像部により入力される撮像画像を表示部に表示する表示手段と、
前記撮像画像を撮影した位置を示す第1の位置情報を検出する位置情報検出手段と、
当該撮像装置の撮影方向を示す方向情報を検出する方向情報検出手段と、
前記位置情報検出手段により検出された第1の位置情報と、前記方向情報検出手段により検出された方向情報を含む地図情報要求を前記画像管理装置に送信する地図情報要求手段と、
前記地図情報要求手段により送信された地図情報要求に応じて前記画像管理装置から送信される地図情報であって、前記表示手段により前記表示部に表示されている撮像画像から注目される被写体を指定するための地図情報を前記表示部に表示する地図情報表示手段と、
前記地図情報表示手段により表示された地図情報に含まれる被写体候補から、前記撮像画像で注目される被写体の選択を受け付ける選択手段と、
前記選択手段により選択を受け付けた被写体の位置を示す第2の位置情報を、前記撮像画像に付して保存する位置情報付加手段として機能させ、
前記画像管理装置を、
前記撮像装置から前記第1の位置情報と前記方向情報とを含む前記地図情報要求を受信する受信手段と、
前記受信手段で受信された地図情報要求に含まれる前記第1の位置情報と前記方向情報に従って、前記記憶手段から特定される地図情報を前記撮像装置に送信する送信手段として機能させることを特徴とするプログラム。
A computer-readable program for reading a captured image display system including an image management device including a storage unit that stores map information including information on a plurality of subject candidates, and an imaging device including an imaging unit capable of communicating with the image management device Because
The imaging device;
Display means for displaying a captured image input by the imaging unit on a display unit;
Position information detecting means for detecting first position information indicating a position where the captured image is captured;
Direction information detection means for detecting direction information indicating the shooting direction of the imaging device;
Map information requesting means for transmitting a map information request including the first position information detected by the position information detecting means and the direction information detected by the direction information detecting means to the image management device;
A map information transmitted from the image management apparatus in response to a map information request transmitted by the map information requesting unit, and a subject to be noticed is designated from a captured image displayed on the display unit by the display unit Map information display means for displaying map information on the display unit,
Selection means for receiving selection of a subject to be noted in the captured image from subject candidates included in the map information displayed by the map information display means;
Second position information indicating the position of the subject that has been selected by the selection means is functioned as position information addition means for attaching to the captured image and storing it,
The image management device;
Receiving means for receiving the map information request including the first position information and the direction information from the imaging device;
In accordance with the first position information and the direction information included in the map information request received by the receiving means, the map information specified from the storage means is made to function as a transmitting means for transmitting to the imaging device. Program to do.
JP2010104693A 2010-04-30 2010-04-30 Imaging apparatus, captured image display system, control method, captured image display method and program Withdrawn JP2011234257A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010104693A JP2011234257A (en) 2010-04-30 2010-04-30 Imaging apparatus, captured image display system, control method, captured image display method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010104693A JP2011234257A (en) 2010-04-30 2010-04-30 Imaging apparatus, captured image display system, control method, captured image display method and program

Publications (1)

Publication Number Publication Date
JP2011234257A true JP2011234257A (en) 2011-11-17

Family

ID=45323094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010104693A Withdrawn JP2011234257A (en) 2010-04-30 2010-04-30 Imaging apparatus, captured image display system, control method, captured image display method and program

Country Status (1)

Country Link
JP (1) JP2011234257A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013114732A1 (en) * 2012-01-30 2013-08-08 株式会社ザクティ Electronic device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013114732A1 (en) * 2012-01-30 2013-08-08 株式会社ザクティ Electronic device

Similar Documents

Publication Publication Date Title
JP4366601B2 (en) Time shift image distribution system, time shift image distribution method, time shift image request device, and image server
JP5194650B2 (en) Electronic camera
WO2010001778A1 (en) Imaging device, image display device, and electronic camera
CN108702445B (en) Image display method, electronic equipment and computer readable storage medium
WO2017221659A1 (en) Image capturing device, display device, and image capturing and displaying system
JP2009239397A (en) Imaging apparatus, imaging system, control method of imaging apparatus, and control program
JP2013162487A (en) Image display apparatus and imaging apparatus
JPH11122638A (en) Image processor, image processing method, and computer-readable information recording medium recorded with image processing program
US20120002094A1 (en) Image pickup apparatus for providing reference image and method for providing reference image thereof
JP6292915B2 (en) Display control apparatus, control method therefor, and program
JP5007631B2 (en) Electronic camera
JP2009253717A (en) Electronic camera
JP2018036760A (en) Image management system, image management method, and program
JPH10243263A (en) Image data processing system and image-processing unit
WO2012169636A1 (en) Information terminal, information terminal control method, control program, and recording medium
JP5003358B2 (en) Display device, electronic camera, and control program
JP2018026642A (en) Image management system, image communication system, image management method, and program
JP6149400B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP2014120815A (en) Information processing apparatus, imaging device, information processing method, program, and storage medium
JP5533201B2 (en) Captured image display device, captured image display system, control method, captured image display method, and program.
JP2011234257A (en) Imaging apparatus, captured image display system, control method, captured image display method and program
JP2009111827A (en) Photographing apparatus and image file providing system
JP6586819B2 (en) Image management system, image communication system, image management method, and program
JP2014115388A (en) Information processor, information processing system, control method, and program
JP2015023478A (en) Imaging apparatus

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130531

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130531

A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130702