JP2008153998A

JP2008153998A - Electronic camera

Info

Publication number: JP2008153998A
Application number: JP2006340413A
Authority: JP
Inventors: Noriyoshi Tachikawa; 法義立川
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-12-18
Filing date: 2006-12-18
Publication date: 2008-07-03

Abstract

<P>PROBLEM TO BE SOLVED: To provide a means making it possible to easily select a reference image desired by a user from a plurality of images in an electronic camera for compositing a reference image with a through image and proposing the composite image to the user. <P>SOLUTION: The electronic camera is provided with an image pickup section, a recording section, a first control section, an image processing section, and a monitor. The image pickup section picks up an image of a subject to generate data of the image. The recording section records the data of picked-up image generated in the image pickup section into a recording medium. The first control section extracts the data of a reference image matching predetermined searching conditions from among the data of picked-up images recorded in the recording medium. The image processing section superimposes a through image generated by the image pickup section when it is in a non-release state with the reference image to generate a composite image. A monitor displays the composite image. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮影画像によるフレーミングが可能な電子カメラに関する。 The present invention relates to an electronic camera capable of framing by a captured image.

従来から、非レリーズ時に撮影されるスルー画像をモニタに表示し、撮影画像によるフレーミングを可能とする電子カメラが一般的に知られている。また、ユーザーの構図決定を一層容易とするために、予め撮影しておいた基準画像とスルー画像とを合成してユーザーに提示する電子カメラも提案されている。例えば、特許文献１に上述の電子カメラの一例が開示されている。
特開２００３−３３３３７９号公報 2. Description of the Related Art Conventionally, an electronic camera that displays a through image captured at a non-release time on a monitor and enables framing by the captured image is generally known. In order to make it easier for the user to determine the composition, there has also been proposed an electronic camera that synthesizes a reference image captured in advance and a through image and presents them to the user. For example, Patent Document 1 discloses an example of the above-described electronic camera.
JP 2003-333379 A

しかし、従来の電子カメラでは、基準画像の候補となる画像が多い場合には所望の画像を探し出すことがユーザーにとって煩雑となる点で改善の余地があった。
本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、基準画像とスルー画像とを合成してユーザーに提示する電子カメラについて、複数の画像からユーザーの意図する基準画像を容易に選択できる手段を提供することである。 However, the conventional electronic camera has room for improvement in that it is troublesome for the user to find a desired image when there are many reference image candidate images.
The present invention is to solve the above-mentioned problems of the prior art. An object of the present invention is to provide means for easily selecting a reference image intended by a user from a plurality of images for an electronic camera that synthesizes a reference image and a through image and presents the same to a user.

第１の発明に係る電子カメラは、撮像部と、記録部と、第１制御部と、画像処理部と、モニタとを備える。撮像部は、被写体像を撮像して画像のデータを生成する。記録部は、撮像部で生成された撮影画像のデータを記録媒体に記録する。第１制御部は、記録媒体に記録された撮影画像のデータのうちから、所定の検索条件に合致する基準画像のデータを抽出する。画像処理部は、撮像部が非レリーズ時に生成したスルー画像と、基準画像とを重畳させて合成画像を生成する。モニタは合成画像を表示する。 An electronic camera according to a first invention includes an imaging unit, a recording unit, a first control unit, an image processing unit, and a monitor. The imaging unit captures a subject image and generates image data. The recording unit records the captured image data generated by the imaging unit on a recording medium. The first control unit extracts reference image data that matches a predetermined search condition from the captured image data recorded on the recording medium. The image processing unit generates a composite image by superimposing the through image generated when the imaging unit is not released and the reference image. The monitor displays the composite image.

第２の発明に係る電子カメラは、カメラ側通信部と、撮像部と、第２制御部と、画像処理部と、モニタとを備える。カメラ側通信部は、外部サーバに対してデータの通信を行う。ここで、外部サーバは、サーバ側通信部と、接続先の電子カメラで撮影された撮影画像のデータを記録するサーバ側記録部と、サーバ側記録部に記録された撮影画像のデータのうちから所定の検索条件に合致する基準画像のデータを抽出するサーバ側検索部とを含む。撮像部は、被写体像を撮像して画像のデータを生成する。第２制御部は、外部サーバに対して、検索条件のデータとともに基準画像のデータの抽出指示を送信する。画像処理部は、撮像部が非レリーズ時に生成したスルー画像と、外部サーバから送信された基準画像とを重畳させて合成画像を生成する。モニタは合成画像を表示する。 An electronic camera according to a second invention includes a camera side communication unit, an imaging unit, a second control unit, an image processing unit, and a monitor. The camera side communication unit communicates data with an external server. Here, the external server includes a server-side communication unit, a server-side recording unit that records data of a captured image captured by a connection-target electronic camera, and a captured image data recorded in the server-side recording unit. A server-side search unit that extracts data of a reference image that matches a predetermined search condition. The imaging unit captures a subject image and generates image data. The second control unit transmits a reference image data extraction instruction together with the search condition data to the external server. The image processing unit generates a composite image by superimposing the through image generated when the imaging unit is not released and the reference image transmitted from the external server. The monitor displays the composite image.

第３の発明は、第１または第２の発明において、電子カメラの現在位置のデータを取得する位置情報取得部を電子カメラがさらに備える。また、各々の撮影画像のデータには撮影位置のデータが対応付けされている。そして、第１制御部または第２制御部は、現在位置と撮影位置とが一定の関係を満たす撮影画像のデータを抽出するように、検索条件を設定する。 According to a third aspect, in the first or second aspect, the electronic camera further includes a position information acquisition unit that acquires data of a current position of the electronic camera. Further, the data of the photographing position is associated with the data of each photographed image. Then, the first control unit or the second control unit sets a search condition so as to extract captured image data in which the current position and the captured position satisfy a certain relationship.

第４の発明は、第１または第２の発明において、各々の撮影画像のデータには１以上の検索キーワードが対応付けされている。そして、第１制御部または第２制御部は、ユーザーから指定キーワードの入力を受け付けるとともに、指定キーワードに対応する検索キーワードを含んだ撮影画像のデータを抽出するように、検索条件を設定する。
第５の発明は、第４の発明において、指定キーワードに基づいて基準画像が抽出された場合、合成画像の表示時に撮像された撮影画像のデータに対して、検索キーワードとして指定キーワードを対応付けする第３制御部を電子カメラがさらに備える。 In a fourth aspect based on the first aspect or the second aspect, one or more search keywords are associated with each captured image data. Then, the first control unit or the second control unit accepts the input of the specified keyword from the user, and sets the search condition so as to extract the captured image data including the search keyword corresponding to the specified keyword.
According to a fifth aspect, in the fourth aspect, when the reference image is extracted based on the designated keyword, the designated keyword is associated as a search keyword with respect to the data of the captured image captured when the composite image is displayed. The electronic camera further includes a third control unit.

本発明の電子カメラでは、記録媒体または外部サーバから検索条件に合致する基準画像のデータを抽出し、基準画像およびスルー画像を重畳させた合成画像を表示できる。 With the electronic camera of the present invention, it is possible to extract reference image data that matches a search condition from a recording medium or an external server, and display a composite image in which the reference image and the through image are superimposed.

図１は、本実施形態の電子カメラシステムに関する構成を示すブロック図である。電子カメラシステムは、電子カメラ１１と、外部サーバ１２とを有している。なお、電子カメラ１１および外部サーバ１２は、有線または無線の公知の通信回線１３によって接続されている。
電子カメラ１１は、撮影レンズ１４およびレンズ駆動部１５と、撮像素子１６と、アナログ信号処理部１７と、タイミングジェネレータ（ＴＧ）１８と、バッファメモリ１９と、画像処理部２０と、記録Ｉ／Ｆ２１と、通信Ｉ／Ｆ２２と、位置情報取得部２３と、モニタ２４と、操作部２５と、ＣＰＵ２６およびバス２７とを有している。ここで、バッファメモリ１９、画像処理部２０、記録Ｉ／Ｆ２１、通信Ｉ／Ｆ２２、モニタ２４およびＣＰＵ２６はバス２７を介してそれぞれ接続されている。また、レンズ駆動部１５、ＴＧ１８、位置情報取得部２３および操作部２５は、それぞれＣＰＵ２６に接続されている。 FIG. 1 is a block diagram showing a configuration related to the electronic camera system of the present embodiment. The electronic camera system has an electronic camera 11 and an external server 12. The electronic camera 11 and the external server 12 are connected by a well-known wired or wireless communication line 13.
The electronic camera 11 includes a photographing lens 14 and a lens driving unit 15, an image sensor 16, an analog signal processing unit 17, a timing generator (TG) 18, a buffer memory 19, an image processing unit 20, and a recording I / F 21. A communication I / F 22, a position information acquisition unit 23, a monitor 24, an operation unit 25, a CPU 26 and a bus 27. Here, the buffer memory 19, the image processing unit 20, the recording I / F 21, the communication I / F 22, the monitor 24 and the CPU 26 are connected via a bus 27. The lens driving unit 15, the TG 18, the position information acquisition unit 23, and the operation unit 25 are each connected to the CPU 26.

撮影レンズ１４は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮影レンズ１４のレンズ位置は、レンズ駆動部１５によって光軸方向に調整される。また、レンズ駆動部１５は、エンコーダ（不図示）によって撮影レンズ１４のレンズ位置をＣＰＵ２６に出力する。なお、簡単のため、図１では撮影レンズ１４を１枚のレンズとして図示する。 The taking lens 14 is composed of a plurality of lens groups including a zoom lens and a focusing lens. The lens position of the taking lens 14 is adjusted by the lens driving unit 15 in the optical axis direction. Further, the lens driving unit 15 outputs the lens position of the photographing lens 14 to the CPU 26 by an encoder (not shown). For simplicity, the photographic lens 14 is shown as a single lens in FIG.

撮像素子１６は、撮影レンズ１４の像空間側に配置されている。撮像素子１６の受光面には受光素子が２次元配列されている。撮像素子１６は、撮影レンズ１４を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。この撮像素子１６の出力はアナログ信号処理部１７に接続されている。
ここで、撮影モードにおける撮像素子１６は、レリーズ時に記録用画像（本画像）を撮像する。また、撮影モードにおける撮像素子１６は、撮影待機時（非レリーズ時）にも所定間隔毎に間引き読み出しでスルー画像を撮像する。上記のスルー画像のデータは、モニタ２４での画像表示やＣＰＵ２６による各種の演算処理などに使用される。 The image sensor 16 is disposed on the image space side of the photographing lens 14. The light receiving elements are two-dimensionally arranged on the light receiving surface of the image sensor 16. The image sensor 16 photoelectrically converts an object image formed by a light beam that has passed through the photographing lens 14 to generate an analog image signal. The output of the image sensor 16 is connected to an analog signal processing unit 17.
Here, the image sensor 16 in the shooting mode captures a recording image (main image) at the time of release. Further, the imaging device 16 in the imaging mode captures a through image by thinning out at predetermined intervals even during imaging standby (non-release). The through image data is used for image display on the monitor 24 and various arithmetic processes by the CPU 26.

アナログ信号処理部１７は、撮像素子１６の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ処理部は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。なお、アナログ信号処理部１７の出力はバッファメモリ１９に接続されている。
ＴＧ１８は、ＣＰＵ２６の指示に基づいて、撮像素子１６およびアナログ信号処理部１７に対してタイミングパルスを供給する。撮像素子１６およびアナログ信号処理部１７の駆動タイミングは、ＴＧ１８のタイミングパルスによって制御される。 The analog signal processing unit 17 is an analog front-end circuit that performs analog signal processing on the output of the image sensor 16. This analog processing unit performs correlated double sampling, image signal gain adjustment, and A / D conversion of the image signal. The output of the analog signal processing unit 17 is connected to the buffer memory 19.
The TG 18 supplies timing pulses to the image sensor 16 and the analog signal processing unit 17 based on instructions from the CPU 26. The drive timing of the image sensor 16 and the analog signal processing unit 17 is controlled by the timing pulse of the TG 18.

バッファメモリ１９は、画像処理部２０による画像処理の前工程や後工程で画像のデータを一時的に記録する。
画像処理部２０は、１フレーム分のデジタル画像信号に対して、各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部２０は、ＣＰＵ２６の指示によりスルー画像のデータからモニタ２４の表示用画像（ビュー画像）を生成する。さらに、本実施形態での画像処理部２０は、構図決定用の基準画像をスルー画像に重畳させて合成画像を生成することもできる。なお、画像処理部２０は、本画像の解像度変換処理や、本画像のデータの圧縮処理または伸長処理も実行する。 The buffer memory 19 temporarily records image data in the pre-process and post-process of the image processing by the image processing unit 20.
The image processing unit 20 performs various types of image processing (color interpolation processing, gradation conversion processing, contour enhancement processing, white balance adjustment, etc.) on the digital image signal for one frame. Further, the image processing unit 20 generates a display image (view image) of the monitor 24 from the through image data according to an instruction from the CPU 26. Furthermore, the image processing unit 20 in the present embodiment can also generate a composite image by superimposing a reference image for composition determination on a through image. The image processing unit 20 also executes resolution conversion processing of the main image and compression processing or expansion processing of the data of the main image.

記録Ｉ／Ｆ２１には、記録媒体２８を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２１は、コネクタに接続された記録媒体２８に対してデータの書き込み／読み込みを実行する。上記の記録媒体２８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記録媒体２８の一例としてメモリカードを図示する。 A connector for connecting the recording medium 28 is formed in the recording I / F 21. The recording I / F 21 writes / reads data to / from the recording medium 28 connected to the connector. The recording medium 28 is composed of a hard disk, a memory card incorporating a semiconductor memory, or the like. In FIG. 1, a memory card is illustrated as an example of the recording medium 28.

ここで、本実施形態での記録媒体２８には、基準画像となりうる撮影画像のデータが複数記録されている。上記の撮影画像のデータは、電子カメラ１１で過去に撮影した本画像のデータで構成される。また、各々の撮影画像のデータには、撮影画像に関する付加情報がそれぞれ対応付けされている。一例として、Ｅｘｉｆ規格の画像ファイルであれば、付加情報は画像ファイルのヘッダ部にタグ形式で記録される。なお、上記の付加情報には、例えば、撮影位置の座標系データ（緯度、経度および高度）と、撮影条件のデータ（撮影レンズ１４の焦点距離など）と、検索用のキーワードのデータとが含まれる。 Here, in the recording medium 28 in the present embodiment, a plurality of pieces of captured image data that can serve as reference images are recorded. The photographed image data is composed of main image data photographed in the past by the electronic camera 11. Further, each piece of captured image data is associated with additional information related to the captured image. As an example, in the case of an Exif standard image file, the additional information is recorded in a tag format in the header portion of the image file. Note that the additional information includes, for example, coordinate system data (latitude, longitude, and altitude) of the shooting position, shooting condition data (such as the focal length of the shooting lens 14), and search keyword data. It is.

通信Ｉ／Ｆ２２は、通信回線１３に対応する通信規格の仕様に準拠して、外部サーバ１２とのデータの送受信を制御する。
位置情報取得部２３は、電子カメラ１１の現在位置の座標系データ（緯度、経度および高度）を取得する。例えば、本実施形態での位置情報取得部２３はＧＰＳ（Global Positioning System：全地球測位システム）による測位装置で構成される。 The communication I / F 22 controls transmission / reception of data with the external server 12 in accordance with the specification of the communication standard corresponding to the communication line 13.
The position information acquisition unit 23 acquires coordinate system data (latitude, longitude, and altitude) of the current position of the electronic camera 11. For example, the position information acquisition unit 23 in the present embodiment is configured by a positioning device using GPS (Global Positioning System).

モニタ２４は、ＣＰＵ２６の指示に応じて各種画像を表示する。なお、本実施形態でのモニタ２４の構成は、接眼部を備えた電子ファインダや、カメラ筐体の背面などに設けられる表示パネルのいずれでもよい。
上記のモニタ２４には、撮影モードでの撮影待機時にビュー画像または合成画像が表示される。また、モニタ２４には、ＧＵＩ(Graphical User Interface)形式で各種の設定項目の入力が可能なメニュー画面を表示できる。なお、メニュー画面では、（イ）合成画像の表示に関するオンオフの変更と、（ロ）基準画像の検索方法の選択と、（ハ）基準画像の検索時におけるキーワードの指定とを、ＣＰＵ２６に対してユーザーが設定できる（なお、本実施形態ではメニュー画面の図示をいずれも省略する）。 The monitor 24 displays various images according to instructions from the CPU 26. Note that the configuration of the monitor 24 in this embodiment may be any of an electronic viewfinder having an eyepiece, a display panel provided on the back surface of the camera housing, and the like.
On the monitor 24, a view image or a composite image is displayed during shooting standby in the shooting mode. Further, the monitor 24 can display a menu screen on which various setting items can be input in a GUI (Graphical User Interface) format. On the menu screen, (b) on / off change related to the display of the composite image, (b) selection of the reference image search method, and (c) keyword specification at the time of reference image search are made to the CPU 26. It can be set by the user (in this embodiment, the menu screen is not shown).

操作部２５は、操作釦とレリーズ釦とを有している。操作部２５の操作釦は、例えばコマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、上記の操作釦はメニュー画面上での入力操作などをユーザーから受け付ける。また、操作部２５のレリーズ釦は、レリーズタイミングの指示入力をユーザーから受け付ける。
ＣＰＵ２６は、電子カメラ１１の統括的な制御を行うプロセッサである。ＣＰＵ２６は所定のシーケンスプログラムに従って電子カメラ１１の各部動作を制御するとともに、撮影時に必要となる演算処理（ＡＦ演算、ＡＥ演算、オートホワイトバランス演算など）を実行する。また、ＣＰＵ２６は、レンズ駆動部１５から出力されたレンズ位置のデータに基づいて撮影レンズ１４の焦点距離を演算する。 The operation unit 25 includes an operation button and a release button. The operation buttons of the operation unit 25 include, for example, a command dial, a cross-shaped cursor key, a determination button, and the like. The operation buttons receive an input operation on the menu screen from the user. The release button of the operation unit 25 receives an instruction input of release timing from the user.
The CPU 26 is a processor that performs overall control of the electronic camera 11. The CPU 26 controls the operation of each part of the electronic camera 11 according to a predetermined sequence program, and executes arithmetic processing (AF calculation, AE calculation, auto white balance calculation, etc.) required at the time of shooting. Further, the CPU 26 calculates the focal length of the photographing lens 14 based on the lens position data output from the lens driving unit 15.

さらに、ＣＰＵ２６は、合成画像の表示がオンに設定されているときに、記録媒体２８および外部サーバ１２から基準画像を取得するための検索処理を実行する。さらに、ＣＰＵ２６は、本画像のデータに対して付加情報を対応付けする処理を実行する。
一方、外部サーバ１２は、サーバ側通信部３１と、サーバ側記録部３２と、サーバ側制御部３３とを有している。サーバ側通信部３１およびサーバ側記録部３２は、それぞれサーバ側制御部３３に接続されている。なお、外部サーバ１２は据置型のコンピュータには限定されず、例えば携帯型の画像記録装置も含む。 Further, the CPU 26 executes a search process for acquiring a reference image from the recording medium 28 and the external server 12 when the display of the composite image is set to ON. Further, the CPU 26 executes processing for associating additional information with the data of the main image.
On the other hand, the external server 12 includes a server side communication unit 31, a server side recording unit 32, and a server side control unit 33. The server side communication unit 31 and the server side recording unit 32 are each connected to a server side control unit 33. The external server 12 is not limited to a stationary computer and includes, for example, a portable image recording device.

サーバ側通信部３１は、通信回線１３に対応する通信規格の仕様に準拠して、電子カメラ１１とのデータの送受信を制御する。
サーバ側記録部３２は、公知の記録媒体（半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなど）にデータを記録する記録装置で構成される。本実施形態では、上記のサーバ側記録部３２にも基準画像となりうる撮影画像のデータが複数記録されている。サーバ側記録部３２の撮影画像のデータは、接続先の電子カメラ１１で過去に撮影した本画像のデータで構成される。なお、撮影画像のデータの構成は、上記の記録媒体２８の場合と同様であるので重複説明は省略する。 The server side communication unit 31 controls transmission / reception of data with the electronic camera 11 in accordance with the specification of the communication standard corresponding to the communication line 13.
The server-side recording unit 32 is composed of a recording device that records data on a known recording medium (semiconductor memory, magnetic disk, optical disk, magneto-optical disk, magnetic tape, etc.). In the present embodiment, a plurality of photographed image data that can serve as reference images are also recorded in the server-side recording unit 32. The captured image data of the server-side recording unit 32 is composed of the actual image data captured in the past by the connected electronic camera 11. Note that the configuration of the data of the captured image is the same as that of the recording medium 28 described above, and thus a duplicate description is omitted.

サーバ側制御部３３は外部サーバ１２の各部動作を制御する。また、サーバ側制御部３３は、電子カメラ１１から指示された検索条件に基づいて、サーバ側記録部３２に記録された撮影画像のデータを検索する。そして、サーバ側制御部３３は、上記の検索によって抽出された撮影画像のデータを電子カメラ１１に送信する。さらに、サーバ側制御部３３は、撮影画像の解像度変換処理も実行する。 The server side control unit 33 controls the operation of each unit of the external server 12. Further, the server-side control unit 33 searches the captured image data recorded in the server-side recording unit 32 based on the search condition instructed from the electronic camera 11. Then, the server-side control unit 33 transmits the captured image data extracted by the above search to the electronic camera 11. Furthermore, the server-side control unit 33 also executes resolution conversion processing for the captured image.

次に、図２、図３の流れ図を参照しつつ、本実施形態の撮影モードにおける電子カメラシステムの動作例を説明する。
ステップ１０１：ＣＰＵ２６は、メニュー画面において合成画像の表示の項目がオンに設定されたか否かを判定する。合成画像の表示の項目がオンに設定された場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１０２に移行する。一方、合成画像の表示の項目がオフに設定されている場合（ＮＯ側）には、ＣＰＵ２６はＳ１２２に移行する。 Next, an operation example of the electronic camera system in the shooting mode of the present embodiment will be described with reference to the flowcharts of FIGS.
Step 101: The CPU 26 determines whether or not the composite image display item is set to ON in the menu screen. If the composite image display item is set to ON (YES side), the CPU 26 proceeds to S102. On the other hand, if the composite image display item is set to OFF (NO side), the CPU 26 proceeds to S122.

ステップ１０２：ＣＰＵ２６は、外部サーバ１２と通信可能な状態にあるか否かを判定する。外部サーバ１２と通信可能な状態にある場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１０３に移行する。一方、外部サーバ１２と通信不能の状態にある場合（ＮＯ側）には、ＣＰＵ２６はＳ１０４に移行する。
ステップ１０３：ＣＰＵ２６は、電子カメラ１１の記録媒体２８と外部サーバ１２のサーバ側記録部３２とを基準画像の検索対象に指定する。その後、ＣＰＵ２６はＳ１０５に移行する。 Step 102: The CPU 26 determines whether or not communication with the external server 12 is possible. When the communication with the external server 12 is possible (YES side), the CPU 26 proceeds to S103. On the other hand, when communication with the external server 12 is not possible (NO side), the CPU 26 proceeds to S104.
Step 103: The CPU 26 designates the recording medium 28 of the electronic camera 11 and the server-side recording unit 32 of the external server 12 as reference image search targets. Thereafter, the CPU 26 proceeds to S105.

ステップ１０４：ＣＰＵ２６は、電子カメラ１１の記録媒体２８のみを基準画像の検索対象に指定する。
ステップ１０５：ＣＰＵ２６は、基準画像の検索方法に関するメニュー画面をモニタ２４に表示する。このＳ１０５のメニュー画面では、基準画像の検索方法として、（１）キーワードに基づく検索と、（２）撮影位置に基づく検索と、（３）基準画像の候補の全表示との３つの項目がモニタ２４に表示される。これに対して、ユーザーは上記（１）から（３）の項目のいずれかを、操作部２５の操作釦でＣＰＵ２６に指定入力する。 Step 104: The CPU 26 designates only the recording medium 28 of the electronic camera 11 as a reference image search target.
Step 105: The CPU 26 displays a menu screen related to the reference image search method on the monitor 24. In the menu screen of S105, as a reference image search method, three items, (1) a search based on a keyword, (2) a search based on a shooting position, and (3) a full display of reference image candidates, are monitored. 24. On the other hand, the user designates and inputs any one of the items (1) to (3) to the CPU 26 with the operation button of the operation unit 25.

ここで、（１）のキーワードに基づく検索では、付加情報に含まれるキーワードに基づいて、電子カメラ１１または外部サーバ１２が基準画像の候補を絞り込む。また、（２）の撮影位置に基づく検索では、付加情報に含まれる撮影位置のデータに基づいて、電子カメラ１１または外部サーバ１２が基準画像の候補を絞り込む。さらに、（３）の基準画像の候補の全表示では、全ての撮影画像が基準画像の候補としてユーザーに提示される。 Here, in the search based on the keyword (1), the electronic camera 11 or the external server 12 narrows down reference image candidates based on the keyword included in the additional information. In the search based on the shooting position in (2), the electronic camera 11 or the external server 12 narrows down the reference image candidates based on the shooting position data included in the additional information. Further, in the entire display of candidate reference images in (3), all captured images are presented to the user as reference image candidates.

ステップ１０６：ＣＰＵ２６は、検索方法の項目（Ｓ１０５）の指定入力をユーザーから受け付けたか否かを判定する。上記の指定入力を受け付けた場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１０７に移行する。一方、上記の指定入力がない場合（ＮＯ側）には、ＣＰＵ２６は検索方法の項目の指定入力を待機する。
ステップ１０７：ＣＰＵ２６は、Ｓ１０５のメニュー画面でいずれの検索方法の項目がユーザーから指定されたかを判定する。第１に、キーワードに基づく検索の項目が指定された場合（ＣＡＳＥ１側）には、ＣＰＵ２６はＳ１０８に移行する。第２に、撮影位置に基づく検索の項目が指定された場合（ＣＡＳＥ２側）には、ＣＰＵ２６はＳ１１０に移行する。第３に、基準画像の候補の全表示の項目が指定された場合（ＣＡＳＥ３側）には、ＣＰＵ２６はＳ１１４に移行する。 Step 106: The CPU 26 determines whether or not a designation input for the search method item (S105) has been received from the user. When the above designation input is accepted (YES side), the CPU 26 proceeds to S107. On the other hand, when there is no such designation input (NO side), the CPU 26 waits for designation input of the item of the search method.
Step 107: The CPU 26 determines which search method item is designated by the user on the menu screen of S105. First, when a search item based on a keyword is designated (CASE 1 side), the CPU 26 proceeds to S108. Secondly, when a search item based on the shooting position is designated (CASE 2 side), the CPU 26 proceeds to S110. Third, when all display items of the reference image candidates are designated (CASE 3 side), the CPU 26 proceeds to S114.

ステップ１０８：ＣＰＵ２６は、ユーザーに対してキーワードの入力を促す画面をモニタ２４に表示する。これに対して、ユーザーは基準画像の候補を絞り込むための指定キーワードを電子カメラ１１に入力する。なお、Ｓ１０８での指定キーワードの入力方法は操作部２５の操作釦による文字入力に限定されない。例えば、指定キーワードの入力方法は、予め登録された語句からユーザーが操作部２５で指定キーワードを選択する形式であってもよい。 Step 108: The CPU 26 displays a screen for prompting the user to input a keyword on the monitor 24. On the other hand, the user inputs a designated keyword for narrowing down the reference image candidates to the electronic camera 11. Note that the method for inputting the designated keyword in S108 is not limited to character input using the operation buttons of the operation unit 25. For example, the method for inputting the designated keyword may be a format in which the user selects the designated keyword with the operation unit 25 from words registered in advance.

ステップ１０９：ＣＰＵ２６は、キーワードに基づく検索処理を実行する。なお、ＣＰＵ２６は、Ｓ１０９での検索処理の後にＳ１１２へ移行する。
ここで、記録媒体２８とサーバ側記録部３２とが基準画像の検索対象に指定されている場合（Ｓ１０３）には、Ｓ１０９でのＣＰＵ２６は、電子カメラ１１に関する第１検索処理と、外部サーバ１２に関する第２検索処理とを実行する。なお、電子カメラ１１の記録媒体２８のみが検索対象に指定されている場合（Ｓ１０４）には、Ｓ１０９でのＣＰＵ２６は、上記の第１検索処理のみを実行する。 Step 109: The CPU 26 executes a search process based on the keyword. The CPU 26 proceeds to S112 after the search process in S109.
Here, when the recording medium 28 and the server-side recording unit 32 are designated as reference image search targets (S103), the CPU 26 in S109 performs the first search processing related to the electronic camera 11 and the external server 12. The second search process is executed. When only the recording medium 28 of the electronic camera 11 is designated as a search target (S104), the CPU 26 in S109 executes only the first search process.

まず、電子カメラ１１に関する第１検索処理を説明する。
（Ａ１）ＣＰＵ２６は、判定対象とする撮影画像のデータを記録媒体２８の撮影画像のデータ群から選択する。
（Ａ２）ＣＰＵ２６は、判定対象の撮影画像のデータに対応付けされた検索用のキーワードと、指定キーワード（Ｓ１０８）とを照合する。検索用のキーワードと指定キーワードとが合致する場合には、ＣＰＵ２６は判定対象の撮影画像のデータを基準画像の候補とする。 First, the 1st search process regarding the electronic camera 11 is demonstrated.
(A1) The CPU 26 selects captured image data to be determined from the captured image data group of the recording medium 28.
(A2) The CPU 26 collates the search keyword associated with the data of the photographic image to be determined against the designated keyword (S108). If the search keyword matches the designated keyword, the CPU 26 uses the data of the photographed image to be determined as a reference image candidate.

一方、検索用のキーワードと指定キーワードとが合致しない場合には、ＣＰＵ２６は後述の（Ａ３）の処理に移行する。
（Ａ３）ＣＰＵ２６は、判定対象の撮影画像のデータを変更する。そして、ＣＰＵ２６は、上記の（Ａ２）の処理を繰り返す。これにより、記録媒体２８の全ての撮影画像から基準画像の候補が抽出される。 On the other hand, if the search keyword and the specified keyword do not match, the CPU 26 proceeds to the process (A3) described later.
(A3) The CPU 26 changes the data of the captured image to be determined. Then, the CPU 26 repeats the process (A2). As a result, reference image candidates are extracted from all captured images of the recording medium 28.

（Ａ４）画像処理部２０は、基準画像の候補として抽出された各々の撮影画像のデータに対して、撮影画像の解像度をモニタ２４の表示サイズに合わせるための解像度変換処理を実行する。以上で、第１検索処理の説明を終了する。
次に、外部サーバ１２に関する第２検索処理を説明する。
（Ｂ１）ＣＰＵ２６は、外部サーバ１２に対して、指定キーワード（Ｓ１０８）のデータと基準画像のデータの抽出指示とを送信する。 (A4) The image processing unit 20 executes resolution conversion processing for matching the resolution of the captured image to the display size of the monitor 24 for each captured image data extracted as the reference image candidate. Above, description of a 1st search process is complete | finished.
Next, the second search process related to the external server 12 will be described.
(B1) The CPU 26 transmits data of the designated keyword (S108) and an instruction to extract data of the reference image to the external server 12.

（Ｂ２）外部サーバ１２のサーバ側制御部３３は、上記の抽出指示を受信すると、判定対象とする撮影画像のデータをサーバ側記録部３２の撮影画像のデータ群から選択する。
（Ｂ３）サーバ側制御部３３は、判定対象の撮影画像のデータに対応付けされた検索用のキーワードと、上記の指定キーワードとを照合する。検索用のキーワードと指定キーワードとが合致する場合には、サーバ側制御部３３は判定対象の撮影画像のデータを基準画像の候補とする。一方、検索用のキーワードと指定キーワードとが合致しない場合には、ＣＰＵ２６は後述の（Ｂ５）の処理に移行する。 (B2) Upon receiving the extraction instruction, the server-side control unit 33 of the external server 12 selects the captured image data to be determined from the captured image data group of the server-side recording unit 32.
(B3) The server-side control unit 33 collates the search keyword associated with the data of the photographic image to be determined against the specified keyword. If the search keyword matches the specified keyword, the server-side control unit 33 sets the data of the captured image to be determined as a reference image candidate. On the other hand, if the search keyword and the designated keyword do not match, the CPU 26 proceeds to the process (B5) described later.

（Ｂ４）サーバ側制御部３３は、基準画像の候補として抽出された撮影画像のデータに対して、撮影画像の解像度をモニタ２４の表示サイズに合わせるための解像度変換処理を実行する。
（Ｂ５）サーバ側制御部３３は判定対象の撮影画像のデータを変更する。そして、サーバ側制御部３３は、上記の（Ｂ３），（Ｂ４）の処理を繰り返す。これにより、サーバ側記録部３２の全ての撮影画像から基準画像の候補が抽出される。 (B4) The server-side control unit 33 executes resolution conversion processing for matching the resolution of the captured image to the display size of the monitor 24 on the captured image data extracted as the reference image candidate.
(B5) The server-side control unit 33 changes the data of the captured image to be determined. And the server side control part 33 repeats said (B3) and the process of (B4). As a result, reference image candidates are extracted from all the captured images of the server-side recording unit 32.

（Ｂ６）サーバ側制御部３３は、基準画像の候補として抽出された撮影画像のデータを電子カメラ１１に送信する。そして、電子カメラ１１のＣＰＵ２６は、受信した撮影画像のデータをバッファメモリ１９などに一時的に記録する。以上で、第２検索処理の説明を終了する。
ステップ１１０：ＣＰＵ２６は、位置情報取得部２３から現在位置の座標系データを取得する。また、ＣＰＵ２６は、撮影レンズ１４の焦点距離のデータを演算する。 (B6) The server-side control unit 33 transmits the captured image data extracted as the reference image candidate to the electronic camera 11. Then, the CPU 26 of the electronic camera 11 temporarily records the received captured image data in the buffer memory 19 or the like. Above, description of a 2nd search process is complete | finished.
Step 110: The CPU 26 acquires the coordinate system data of the current position from the position information acquisition unit 23. Further, the CPU 26 calculates the focal length data of the photographing lens 14.

ステップ１１１：ＣＰＵ２６は、撮影位置に基づく検索処理を実行する。
ここで、記録媒体２８とサーバ側記録部３２とが基準画像の検索対象に指定されている場合（Ｓ１０３）には、Ｓ１１１でのＣＰＵ２６は、電子カメラ１１に関する第３検索処理と、外部サーバ１２に関する第４検索処理とを実行する。なお、電子カメラ１１の記録媒体２８のみが検索対象に指定されている場合（Ｓ１０４）には、Ｓ１１１でのＣＰＵ２６は、上記の第３検索処理のみを実行する。 Step 111: The CPU 26 executes a search process based on the shooting position.
Here, when the recording medium 28 and the server-side recording unit 32 are designated as the search target of the reference image (S103), the CPU 26 in S111 performs the third search process related to the electronic camera 11 and the external server 12. And a fourth search process related to. When only the recording medium 28 of the electronic camera 11 is designated as a search target (S104), the CPU 26 in S111 executes only the third search process.

まず、電子カメラ１１に関する第３検索処理を説明する。
（Ｃ１）ＣＰＵ２６は、判定対象とする撮影画像のデータを記録媒体２８の撮影画像のデータ群から選択する。
（Ｃ２）ＣＰＵ２６は、判定対象の撮影画像のデータに関する付加情報のうちで、撮影位置の座標系データと撮影レンズ１４の焦点距離のデータとを読み出す。 First, the 3rd search process regarding the electronic camera 11 is demonstrated.
(C1) The CPU 26 selects photographed image data to be determined from the photographed image data group of the recording medium 28.
(C2) The CPU 26 reads out the coordinate system data of the photographing position and the focal length data of the photographing lens 14 among the additional information related to the data of the photographed image to be determined.

（Ｃ３）ＣＰＵ２６は、現在位置の座標系データ（Ｓ１１０）に基づいて、判定対象の撮影画像が現在位置から所定の範囲内で撮影されたものか否かを判定する。上記要件を満たす場合には、ＣＰＵ２６は判定対象の撮影画像のデータを基準画像の候補とする。このとき、ＣＰＵ２６は、焦点距離のデータから判定対象の撮影画像の撮影画角をさらに判定し、撮影レンズ１４の現在の画角と大きく異なる撮影画像を基準画像の候補から除外してもよい。一方、上記要件を満たさない場合には、ＣＰＵ２６は後述の（Ｃ４）の処理に移行する。 (C3) The CPU 26 determines based on the coordinate system data (S110) of the current position whether or not the captured image to be determined was captured within a predetermined range from the current position. If the above requirement is satisfied, the CPU 26 sets the captured image data to be determined as a reference image candidate. At this time, the CPU 26 may further determine the shooting angle of view of the shot image to be determined from the focal length data, and exclude a shot image that is significantly different from the current angle of view of the shooting lens 14 from the reference image candidates. On the other hand, if the above requirement is not satisfied, the CPU 26 proceeds to a process (C4) described later.

（Ｃ４）ＣＰＵ２６は、判定対象の撮影画像のデータを変更する。そして、ＣＰＵ２６は、上記の（Ｃ２），（Ｃ３）の処理を繰り返す。これにより、記録媒体２８の全ての撮影画像から基準画像の候補が抽出される。
（Ｃ５）画像処理部２０は、基準画像の候補として抽出された各々の撮影画像のデータに対して、撮影画像の解像度をモニタ２４の表示サイズに合わせるための解像度変換処理を実行する。以上で、第３検索処理の説明を終了する。 (C4) The CPU 26 changes the data of the captured image to be determined. Then, the CPU 26 repeats the processes (C2) and (C3). As a result, reference image candidates are extracted from all captured images of the recording medium 28.
(C5) The image processing unit 20 executes resolution conversion processing for matching the resolution of the captured image to the display size of the monitor 24 for each captured image data extracted as the reference image candidate. Above, description of a 3rd search process is complete | finished.

次に、外部サーバ１２に関する第４検索処理を説明する。
（Ｄ１）ＣＰＵ２６は、外部サーバ１２に対して、現在位置の座標系データおよび撮影レンズ１４の焦点距離のデータ（Ｓ１１０）と基準画像のデータの抽出指示とを送信する。
（Ｄ２）外部サーバ１２のサーバ側制御部３３は、上記の抽出指示を受信すると、判定対象とする撮影画像のデータをサーバ側記録部３２の撮影画像のデータ群から選択する。 Next, the 4th search process regarding the external server 12 is demonstrated.
(D1) The CPU 26 transmits to the external server 12 the coordinate system data of the current position, the focal length data of the photographing lens 14 (S110), and the reference image data extraction instruction.
(D2) Upon receiving the above extraction instruction, the server-side control unit 33 of the external server 12 selects the captured image data to be determined from the captured image data group of the server-side recording unit 32.

（Ｄ３）サーバ側制御部３３は、判定対象の撮影画像のデータに関する付加情報のうちで、撮影位置の座標系データと撮影レンズ１４の焦点距離のデータとを読み出す。
（Ｄ４）サーバ側制御部３３は、現在位置の座標系データ（Ｓ１１０）に基づいて、判定対象の撮影画像が電子カメラ１１の現在位置から所定の範囲内で撮影されたものか否かを判定する。上記要件を満たす場合には、サーバ側制御部３３は判定対象の撮影画像のデータを基準画像の候補とする。このとき、サーバ側制御部３３は、上記の（Ｃ３）と同様に、撮影レンズ１４の現在の画角と大きく異なる撮影画像を基準画像の候補から除外する処理を実行してもよい。一方、上記要件を満たさない場合には、サーバ側制御部３３は後述の（Ｄ６）の処理に移行する。 (D3) The server-side control unit 33 reads out the coordinate system data of the photographing position and the focal length data of the photographing lens 14 among the additional information regarding the data of the photographed image to be determined.
(D4) Based on the coordinate system data (S110) of the current position, the server-side control unit 33 determines whether or not the captured image to be determined has been captured within a predetermined range from the current position of the electronic camera 11. To do. When the above requirements are satisfied, the server-side control unit 33 sets the captured image data to be determined as a reference image candidate. At this time, similarly to (C3) above, the server-side control unit 33 may execute a process of excluding from the reference image candidates a photographed image that is significantly different from the current angle of view of the photographing lens 14. On the other hand, if the above requirement is not satisfied, the server-side control unit 33 proceeds to the process (D6) described later.

（Ｄ５）サーバ側制御部３３は、基準画像の候補として抽出された撮影画像のデータに対して、撮影画像の解像度をモニタ２４の表示サイズに合わせるための解像度変換処理を実行する。
（Ｄ６）サーバ側制御部３３は判定対象の撮影画像のデータを変更する。そして、サーバ側制御部３３は、上記の（Ｄ３）から（Ｄ５）までの処理を繰り返す。これにより、サーバ側記録部３２の全ての撮影画像から基準画像の候補が抽出される。 (D5) The server-side control unit 33 executes resolution conversion processing for adjusting the resolution of the captured image to the display size of the monitor 24 on the captured image data extracted as the reference image candidate.
(D6) The server-side control unit 33 changes the data of the captured image to be determined. And the server side control part 33 repeats said process from (D3) to (D5). As a result, reference image candidates are extracted from all the captured images of the server-side recording unit 32.

（Ｄ７）サーバ側制御部３３は、基準画像の候補として抽出された撮影画像のデータを電子カメラ１１に送信する。そして、電子カメラ１１のＣＰＵ２６は、受信した撮影画像のデータをバッファメモリ１９などに一時的に記録する。以上で、第４検索処理の説明を終了する。
ステップ１１２：ＣＰＵ２６は、Ｓ１０９またはＳ１１１の検索処理によって、基準画像の候補となる撮影画像が抽出できたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１１３に移行する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２６はＳ１１６に移行する。 (D7) The server-side control unit 33 transmits the captured image data extracted as the reference image candidate to the electronic camera 11. Then, the CPU 26 of the electronic camera 11 temporarily records the received captured image data in the buffer memory 19 or the like. This is the end of the description of the fourth search process.
Step 112: The CPU 26 determines whether or not a photographed image that is a candidate for the reference image has been extracted by the search processing in S109 or S111. If the above requirement is satisfied (YES side), the CPU 26 proceeds to S113. On the other hand, if the above requirement is not satisfied (NO side), the CPU 26 proceeds to S116.

ステップ１１３：ＣＰＵ２６は、Ｓ１０９またはＳ１１１の検索処理で抽出された撮影画像をモニタ２４への表示対象に設定する。その後、ＣＰＵ２６はＳ１１７に移行する。
ステップ１１４：ＣＰＵ２６は、基準画像の検索対象に指定されているデバイス（記録媒体２８またはサーバ側記録部３２）から１以上の撮影画像のデータを読み込めるか否かを判定する。撮影画像のデータを読み込める場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１１５に移行する。一方、撮影画像のデータを全く読み込めない場合（ＮＯ側）には、ＣＰＵ２６はＳ１１６に移行する。 Step 113: The CPU 26 sets the photographed image extracted in the search process of S109 or S111 as a display target on the monitor 24. Thereafter, the CPU 26 proceeds to S117.
Step 114: The CPU 26 determines whether or not one or more captured image data can be read from the device (the recording medium 28 or the server-side recording unit 32) designated as the reference image search target. If the captured image data can be read (YES side), the CPU 26 proceeds to S115. On the other hand, if the captured image data cannot be read at all (NO side), the CPU 26 proceeds to S116.

ステップ１１５：ＣＰＵ２６は、基準画像の検索対象のデバイスにある全ての撮影画像をモニタ２４への表示対象に設定する。その後、ＣＰＵ２６はＳ１１７に移行する。
このとき、画像処理部２０は、記録媒体２８にある撮影画像のデータに対して、撮影画像の解像度をモニタ２４の表示サイズに合わせるための解像度変換処理を実行する。また、サーバ側記録部３２が基準画像の検索対象に指定されている場合（Ｓ１０３）には、サーバ側制御部３３が、サーバ側記録部３２にある撮影画像のデータに対して解像度変換処理を実行する。 Step 115: The CPU 26 sets all captured images in the device to be searched for the reference image as display targets on the monitor 24. Thereafter, the CPU 26 proceeds to S117.
At this time, the image processing unit 20 executes resolution conversion processing for adjusting the resolution of the captured image to the display size of the monitor 24 on the captured image data on the recording medium 28. When the server-side recording unit 32 is designated as a reference image search target (S103), the server-side control unit 33 performs resolution conversion processing on the captured image data in the server-side recording unit 32. Execute.

ステップ１１６：ＣＰＵ２６は、基準画像の候補となる撮影画像が存在しない旨のエラー表示をモニタ２４に出力する。その後、ＣＰＵ２６はＳ１２２に移行する。
ステップ１１７：ＣＰＵ２６は、表示対象に設定された撮影画像（Ｓ１１３，Ｓ１１５）をモニタ２４に一覧表示する。これに対して、ユーザーは一覧表示された撮影画像のなかから基準画像を選択するとともに、操作部２５の操作釦でＣＰＵ２６に基準画像を指定入力する。 Step 116: The CPU 26 outputs to the monitor 24 an error display indicating that there is no captured image that is a candidate for the reference image. Thereafter, the CPU 26 proceeds to S122.
Step 117: The CPU 26 displays a list of the captured images (S113, S115) set as display targets on the monitor 24. On the other hand, the user selects a reference image from the photographed images displayed as a list, and designates and inputs the reference image to the CPU 26 with the operation button of the operation unit 25.

ステップ１１８：ＣＰＵ２６は、ユーザーから基準画像の指定入力があったか否かを判定する。指定入力がある場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１１９に移行する。一方、指定入力がない場合（ＮＯ側）には、ＣＰＵ２６は基準画像の指定入力を待機する。
ステップ１１９：ＣＰＵ２６は、スルー画像と基準画像との合成画像をモニタ２４に動画表示する。 Step 118: The CPU 26 determines whether or not a reference image designation input has been received from the user. If there is a designated input (YES side), the CPU 26 proceeds to S119. On the other hand, when there is no designation input (NO side), the CPU 26 waits for the designation input of the reference image.
Step 119: The CPU 26 displays a composite image of the through image and the reference image on the monitor 24 as a moving image.

まず、ＣＰＵ２６は撮像素子１６を駆動させてスルー画像を撮像する。画像処理部２０は、スルー画像に基準画像を重畳させて合成画像を生成する。一例として、画像処理部２０は、半透過状態の基準画像をスルー画像に重畳させて合成画像を生成する。あるいは、画像処理部２０は、基準画像から輪郭成分のみを抽出したエッジ画像を生成し、このエッジ画像をスルー画像に重畳させて合成画像を生成する（図４参照）。 First, the CPU 26 drives the image sensor 16 to capture a through image. The image processing unit 20 generates a composite image by superimposing the reference image on the through image. As an example, the image processing unit 20 generates a composite image by superimposing a semi-transparent reference image on a through image. Alternatively, the image processing unit 20 generates an edge image obtained by extracting only the contour component from the reference image, and generates a composite image by superimposing the edge image on the through image (see FIG. 4).

そして、逐次生成される上記の合成画像は、ＣＰＵ２６によりモニタ２４に動画表示される。ユーザーは、基準画像の被写体の位置にスルー画像の被写体が重なるようにフレーミングを行うことで、本画像の構図を容易に決定することができる。
ステップ１２０：ＣＰＵ２６は、合成画像の表示を解除する操作をユーザーから受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１０１に戻って上記動作を繰り返す。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２６はＳ１２１に移行する。 Then, the above-described synthesized image generated sequentially is displayed as a moving image on the monitor 24 by the CPU 26. The user can easily determine the composition of the main image by performing framing so that the subject of the through image overlaps the position of the subject of the reference image.
Step 120: The CPU 26 determines whether or not an operation for canceling the display of the composite image has been received from the user. If the above requirement is satisfied (YES side), the CPU 26 returns to S101 and repeats the above operation. On the other hand, if the above requirement is not satisfied (NO side), the CPU 26 proceeds to S121.

ステップ１２１：ＣＰＵ２６は、レリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１２４に移行する。一方、レリーズ釦が全押しされていない場合（ＮＯ側）には、ＣＰＵ２６はＳ１１９に戻って上記動作を繰り返す。
ステップ１２２：ＣＰＵ２６は、撮像素子１６でスルー画像を撮像するとともに、スルー画像に基づくビュー画像をモニタ２４に動画表示する。 Step 121: The CPU 26 determines whether or not the release button has been fully pressed. If the release button is fully pressed (YES side), the CPU 26 proceeds to S124. On the other hand, when the release button is not fully pressed (NO side), the CPU 26 returns to S119 and repeats the above operation.
Step 122: The CPU 26 captures a through image with the image sensor 16 and displays a view image based on the through image on the monitor 24 as a moving image.

ステップ１２３：ＣＰＵ２６は、レリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１２４に移行する。一方、レリーズ釦が全押しされていない場合（ＮＯ側）には、ＣＰＵ２６はＳ１０１に戻って上記動作を繰り返す。
ステップ１２４：ＣＰＵ２６は、撮像素子１６を駆動させて本画像を撮影する。その後、画像処理部２０によって本画像のデータが生成される。その後、ＣＰＵ２６は、撮影位置の座標系データと撮影レンズ１４の焦点距離のデータとを、本画像のデータに付加情報として対応付けする。 Step 123: The CPU 26 determines whether or not the release button has been fully pressed. If the release button is fully pressed (YES side), the CPU 26 proceeds to S124. On the other hand, when the release button is not fully pressed (NO side), the CPU 26 returns to S101 and repeats the above operation.
Step 124: The CPU 26 drives the image sensor 16 to capture the main image. Thereafter, the image processing unit 20 generates data of the main image. Thereafter, the CPU 26 associates the coordinate system data of the photographing position and the focal length data of the photographing lens 14 with the main image data as additional information.

ステップ１２５：ＣＰＵ２６は、指定キーワードの入力（Ｓ１０８）が撮影前に行われたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２６はＳ１２６に移行する。なお、指定キーワードの入力後にエラー表示（Ｓ１１６）があった場合も、ＣＰＵ２６は上記要件を満たすものとして処理する。
一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２６は本画像のデータを付加情報とともに記録媒体２８に記録する。その後、ＣＰＵ２６は一連の撮像処理を終了する。 Step 125: The CPU 26 determines whether or not the input of the designated keyword (S108) has been performed before shooting. If the above requirement is satisfied (YES side), the CPU 26 proceeds to S126. Even when an error message is displayed (S116) after inputting the designated keyword, the CPU 26 processes it as satisfying the above requirements.
On the other hand, when the above requirement is not satisfied (NO side), the CPU 26 records the data of the main image on the recording medium 28 together with the additional information. Thereafter, the CPU 26 ends a series of imaging processes.

ステップ１２６：ＣＰＵ２６は、ユーザーの入力した指定キーワードを、本画像のデータに付加情報として対応付けする。そして、ＣＰＵ２６は、本画像のデータを付加情報とともに記録媒体２８に記録する。これにより、ユーザーが上記の本画像のデータを基準画像とするときには、キーワードに基づく検索処理（Ｓ１０９）で容易に検索できるようになる。その後、ＣＰＵ２６は一連の撮像処理を終了する。以上で、本実施形態における電子カメラシステムの動作説明を終了する。 Step 126: The CPU 26 associates the designated keyword input by the user with the data of the main image as additional information. Then, the CPU 26 records the main image data on the recording medium 28 together with the additional information. Thus, when the user uses the above-described main image data as a reference image, the user can easily perform a search by the keyword-based search process (S109). Thereafter, the CPU 26 ends a series of imaging processes. Above, description of operation | movement of the electronic camera system in this embodiment is complete | finished.

以下、本実施形態の作用効果を説明する。本実施形態の電子カメラでは、基準画像とスルー画像とを重畳させた合成画像をモニタ２４に表示できる。そのため、ユーザーはモニタ２４の基準画像を指標としてフレーミングを行うことで、意図通りの構図で本画像を撮影できる。
また、本実施形態の電子カメラでは、キーワードまたは現在位置に基づいて、記録媒体２８または外部サーバ１２にある撮影画像群から基準画像を抽出して合成画像を生成できる。そのため、合成画像によるフレーミングを行おうとするときに、ユーザーは撮影するシーンに合致した基準画像を多数の撮影画像のうちから容易に探し出すことができる。 Hereinafter, the effect of this embodiment is demonstrated. In the electronic camera of the present embodiment, a composite image in which the reference image and the through image are superimposed can be displayed on the monitor 24. Therefore, the user can shoot the main image with the intended composition by performing framing using the reference image of the monitor 24 as an index.
In the electronic camera of this embodiment, a composite image can be generated by extracting a reference image from a captured image group in the recording medium 28 or the external server 12 based on a keyword or a current position. Therefore, when performing framing with a composite image, the user can easily find a reference image that matches the scene to be photographed from among a large number of photographed images.

（実施形態の補足事項）
（１）上記実施形態において、記録媒体２８やサーバ側記録部３２には、予めモニタ２４の解像度に対応した基準画像用の画像データを記録しておいてもよい。この場合には、画像処理部２０やサーバ側制御部３３での解像度変換処理を省略できるので、電子カメラ１１が合成画像の表示をより迅速に行うことができる。 (Supplementary items of the embodiment)
(1) In the above embodiment, the image data for the reference image corresponding to the resolution of the monitor 24 may be recorded in advance on the recording medium 28 or the server-side recording unit 32. In this case, since the resolution conversion process in the image processing unit 20 or the server side control unit 33 can be omitted, the electronic camera 11 can display the composite image more quickly.

（２）上記実施形態において、ＣＰＵ２６は補助的な検索条件としてオートホワイトバランスの光源種別の情報（晴れ、曇り、晴天日陰など）を用いて、基準画像の候補を絞り込むようにしてもよい。
（３）上記実施形態の撮影位置検索処理において、ＣＰＵ２６は撮影レンズ１４の向き（方位）の同一性を考慮して基準画像の候補を絞り込むようにしてもよい。この場合には、撮影するシーンに合致した基準画像の抽出精度をより向上させることができる。 (2) In the above embodiment, the CPU 26 may narrow down the reference image candidates using information on the light source type of auto white balance (sunny, cloudy, sunny shade, etc.) as an auxiliary search condition.
(3) In the photographing position search process of the above embodiment, the CPU 26 may narrow down the reference image candidates in consideration of the same orientation (orientation) of the photographing lens 14. In this case, it is possible to further improve the extraction accuracy of the reference image that matches the scene to be photographed.

（４）本発明の位置情報取得部の構成はＧＰＳによる測位装置に限定されるものではない。例えば、位置情報取得部は、ＰＨＳや携帯電話などの移動体通信網の複数の基地局から発信される情報を利用して測位を行う測位装置であってもよい。なお、この場合には、位置情報取得部２３と通信Ｉ／Ｆ２２とを兼用することもできる。
なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。 (4) The configuration of the position information acquisition unit of the present invention is not limited to a GPS positioning device. For example, the position information acquisition unit may be a positioning device that performs positioning using information transmitted from a plurality of base stations of a mobile communication network such as a PHS or a mobile phone. In this case, the position information acquisition unit 23 and the communication I / F 22 can also be used.
It should be noted that the present invention can be implemented in various other forms without departing from the spirit or main features thereof. Therefore, the above-described embodiment is merely an example in all respects and should not be interpreted in a limited manner. The present invention is defined by the claims, and the present invention is not limited to the text of the specification. Further, all modifications and changes belonging to the equivalent scope of the claims are within the scope of the present invention.

本実施形態の電子カメラシステムに関する構成を示すブロック図1 is a block diagram showing a configuration related to an electronic camera system of the present embodiment 本実施形態の撮影モードにおける電子カメラシステムの動作例を示す流れ図The flowchart which shows the operation example of the electronic camera system in imaging | photography mode of this embodiment 図２の続きの流れ図Flowchart continued from FIG. 本実施形態の合成画像に関する説明図Explanatory drawing about the composite image of this embodiment

Explanation of symbols

１１…電子カメラ、１２…外部サーバ、１６…撮像素子、２０…画像処理部、２１…記録Ｉ／Ｆ、２２…通信Ｉ／Ｆ、２３…位置情報取得部、２４…モニタ、２５…操作部、２６…ＣＰＵ、２８…記録媒体、３１…サーバ側通信部、３２…サーバ側記録部、３３…サーバ側制御部 DESCRIPTION OF SYMBOLS 11 ... Electronic camera, 12 ... External server, 16 ... Image sensor, 20 ... Image processing part, 21 ... Recording I / F, 22 ... Communication I / F, 23 ... Position information acquisition part, 24 ... Monitor, 25 ... Operation part , 26 ... CPU, 28 ... recording medium, 31 ... server side communication unit, 32 ... server side recording unit, 33 ... server side control unit

Claims

An imaging unit that captures a subject image and generates image data;
A recording unit that records data of a captured image generated by the imaging unit on a recording medium;
A first control unit that extracts data of a reference image that matches a predetermined search condition from data of the captured image recorded on the recording medium;
An image processing unit for generating a composite image by superimposing the through image generated by the imaging unit when not released and the reference image;
A monitor for displaying the composite image;
An electronic camera comprising:

A server-side communication unit, a server-side recording unit that records data of a captured image captured by a connected electronic camera, and a predetermined search condition among the captured image data recorded in the server-side recording unit A camera-side communication unit that performs data communication with an external server including a server-side search unit that extracts matching reference image data;
An imaging unit that captures a subject image and generates image data;
A second control unit that transmits an instruction to extract the data of the reference image together with the data of the search condition to the external server;
An image processing unit that generates a composite image by superimposing the through image generated by the imaging unit at the time of non-release and the reference image transmitted from the external server;
A monitor for displaying the composite image;
An electronic camera comprising:

The electronic camera according to claim 1 or 2,
It further includes a position information acquisition unit that acquires data of the current position of the electronic camera,
Data of each of the photographed images is associated with data of photographing positions,
The first control unit or the second control unit sets the search condition so as to extract data of the photographed image that satisfies a certain relationship between the current position and the photographing position. camera.

The electronic camera according to claim 1 or 2,
Each of the photographed image data is associated with one or more search keywords,
The first control unit or the second control unit receives the input of a specified keyword from a user, and sets the search condition so as to extract data of the captured image including the search keyword corresponding to the specified keyword. An electronic camera characterized by setting.

The electronic camera according to claim 4,
A third control unit that associates the specified keyword as the search keyword with respect to the data of the captured image captured when the composite image is displayed when the reference image is extracted based on the specified keyword; An electronic camera comprising: