JP2012151758A - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP2012151758A
JP2012151758A JP2011010047A JP2011010047A JP2012151758A JP 2012151758 A JP2012151758 A JP 2012151758A JP 2011010047 A JP2011010047 A JP 2011010047A JP 2011010047 A JP2011010047 A JP 2011010047A JP 2012151758 A JP2012151758 A JP 2012151758A
Authority
JP
Japan
Prior art keywords
image
photographing
image data
information
photographed image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011010047A
Other languages
Japanese (ja)
Other versions
JP5737961B2 (en
Inventor
Fujiyo Suzuki
ふじ代 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Personal Computers Ltd
Original Assignee
NEC Personal Computers Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Personal Computers Ltd filed Critical NEC Personal Computers Ltd
Priority to JP2011010047A priority Critical patent/JP5737961B2/en
Publication of JP2012151758A publication Critical patent/JP2012151758A/en
Application granted granted Critical
Publication of JP5737961B2 publication Critical patent/JP5737961B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To take a picture of even a target subject found at an outgoing destination or a travel destination in a composition desired for the subject, without needing a particular communication environment or preparation.SOLUTION: An imaging device comprises: imaging means which generates image data on an imaged subject; storage means which stores the image data generated by the imaging means; and control means which uses the difference between image data of a first imaged image of the target subject and image data of a second imaged image to be referred to in order to image the target subject in a desired composition, both pieces of image data being stored in the storage means, to obtain information required to image the second imaged image.

Description

本発明は、撮影装置に関し、特に、ユーザが目的の被写体を所望の構図で撮影することをアシストする機能に好ましく適用される技術に関するものである。   The present invention relates to a photographing apparatus, and more particularly to a technique preferably applied to a function for assisting a user to photograph a target subject with a desired composition.

近年、撮影が容易なデジタルカメラ、デジタルビデオカメラ等の撮影装置は急速に普及している。ほとんどのユーザは写真撮影にデジタルカメラを用いているが、最近ではデジタルビデオカメラで写真撮影を行うユーザも見受けられる。当該撮影装置は、フィルム等を必要とせず、フィルム代を気にせず何枚も撮影でき、撮影したその場で画像を確認できる等、気軽な写真撮影を可能にしている。   In recent years, photographing apparatuses such as digital cameras and digital video cameras that can be easily photographed have been rapidly spread. Most users use digital cameras for taking pictures, but recently there are users who take pictures with digital video cameras. The photographing apparatus does not require a film or the like, can take a number of pictures without worrying about the film cost, and can easily take a picture such as confirming an image on the spot.

しかし、写真撮影に関して重要な要素の1つである構図については、写真撮影の苦手なユーザには判断が難しく、ユーザが思うような写真を撮影するのはそれほど簡単なことではない。例えば、名所旧跡を観光する場合、その風景をどのような構図で撮影するとユーザが望む写真が得られるのか、写真撮影の苦手なユーザには判断が難しい。   However, it is difficult for a user who is not good at taking a picture of the composition, which is one of the important elements for taking a picture, and it is not so easy to take a picture that the user thinks. For example, when sightseeing a historic spot, it is difficult for a user who is not good at taking a picture to determine what kind of composition the scenery should be taken to obtain a photograph desired by the user.

これに対して、例えば特許文献1では、ユーザが撮影に不慣れな場合や、初めて撮影する場所であっても、より好適な構図で写真撮影を行うことを可能とする撮影装置が開示されている。当該撮影装置は、サーバから取得した参照画像(最終的に撮影したい構図の画像)に対応する撮影位置情報及び自己の現在位置に基づいて、ユーザを当該参照画像の撮影位置に誘導する。そして、当該撮影位置において、ユーザの撮影状態に基づいて、当該撮影状態に対応する構図が参照画像の構図となるようにユーザに教示する。   On the other hand, for example, Patent Document 1 discloses a photographing apparatus that can take a photograph with a more suitable composition even when the user is unfamiliar with photographing or at a place where photographing is performed for the first time. . The photographing apparatus guides the user to the photographing position of the reference image based on the photographing position information corresponding to the reference image acquired from the server (an image having a composition desired to be finally photographed) and its current position. Then, the user is instructed so that the composition corresponding to the shooting state becomes the composition of the reference image based on the shooting state of the user at the shooting position.

特開2009−239397号公報JP 2009-239397 A

特許文献1で開示された発明は、所望の構図の写真を撮影するためにユーザをアシストするものといえる。しかし、特許文献1の発明では、参照画像に関する情報を保持するサーバと撮影装置との通信環境が必要となる。また、参照画像に関する情報を事前にサーバに格納しておく必要がある。さらに、参照画像に関する情報には撮影位置情報や方位情報等の構図情報が含まれるが、参照画像に関する情報をサーバに登録するユーザの撮影装置がGPS機能や方位センサ等を備えない場合、当該ユーザは構図情報を逐一入力しなければならない。   It can be said that the invention disclosed in Patent Document 1 assists the user to take a photograph of a desired composition. However, the invention of Patent Document 1 requires a communication environment between a server that holds information related to a reference image and the photographing apparatus. In addition, it is necessary to store information related to the reference image in the server in advance. Further, the information related to the reference image includes composition information such as shooting position information and azimuth information. However, if the user's shooting device that registers information related to the reference image in the server does not include a GPS function or a direction sensor, the user Must enter composition information one by one.

例えば、出先や旅先で見たポスターやパンフレットに掲載されている写真を、ユーザが自分のデジタルカメラでも撮ってみたいと突発的に思ったとき、上述したような事前準備を要する特許文献1の発明では対応できない。   For example, when the user suddenly thinks that he / she wants to take a picture of a poster or pamphlet viewed at a destination or travel destination with his / her digital camera, the invention of Patent Document 1 that requires advance preparation as described above Can not cope.

そこで、本発明は、特段の通信環境や事前準備を要することなく、目的の被写体が出先や旅先で見つけたような場合でも、当該被写体について所望の構図で写真撮影できるようにすることを目的とする。   Therefore, the present invention has an object of enabling photography of a subject with a desired composition even when the target subject is found on the road or travel destination without requiring a special communication environment or advance preparation. To do.

本発明の撮影装置は、撮影した被写体の画像データを生成する撮像手段と、撮像手段で生成された画像データを記憶する記憶手段と、記憶手段に記憶された画像データで、目的の被写体を撮影した第1撮影画像と目的の被写体を所望の構図で撮影するために参照される第2撮影画像の画像データとの差分を用いて、第2撮影画像の撮影に必要な情報を求める制御手段と、を有する。   An imaging apparatus according to the present invention captures a target subject with an imaging unit that generates image data of a photographed subject, a storage unit that stores image data generated by the imaging unit, and image data stored in the storage unit. Control means for obtaining information necessary for photographing the second photographed image using a difference between the first photographed image and the image data of the second photographed image referred to in order to photograph the target subject with a desired composition; Have.

また、上記の撮影装置において、記憶手段が、同一被写体を異なる撮影位置から撮影して生成された2つの画像データの相違量と当該2つの撮影位置の位置関係情報とを関連付けたテーブルデータを記憶し、制御手段が、第1撮影画像の画像データと第2撮影画像の画像データとの差分及びテーブルデータを用いて、第1撮影画像の撮影場所から第2撮影画像が撮影可能な撮影場所までの移動情報を求めるものであってもよい。   Further, in the above-described photographing apparatus, the storage unit stores table data in which a difference amount between two image data generated by photographing the same subject from different photographing positions and positional relationship information of the two photographing positions are associated with each other. Then, the control means uses the difference between the image data of the first photographed image and the image data of the second photographed image and the table data, from the photographing location of the first photographed image to the photographing location where the second photographed image can be photographed. The movement information may be obtained.

また、上記の撮影装置において、異なる撮影位置から撮影した同一被写体の画像データに基づいて3D化する3Dモデリング手段を有し、記憶手段が、同一被写体を異なる撮影位置から撮影して生成された2つの画像データの相違量と2つの撮影位置の位置関係情報とを関連付けたテーブルデータを記憶し、制御手段が、第1撮影画像の画像データと第2撮影画像の画像データとの差分及びテーブルデータを用いて、第1撮影画像の撮影場所から第2撮影画像が撮影可能な撮影場所までの移動情報を求め、第1撮影画像の画像データと3Dモデリング手段により3D化された第2撮影画像の画像データとの差分を用いて、求めた撮影場所から第2撮影画像を撮影するための角度情報を求めるものであってもよい。   Further, the above-described photographing apparatus has 3D modeling means for converting into 3D based on image data of the same subject photographed from different photographing positions, and the storage means is generated by photographing the same subject from different photographing positions. Table data in which the difference between the two image data and the positional relationship information of the two photographing positions are associated with each other, and the control means stores the difference between the image data of the first photographed image and the image data of the second photographed image and the table data. Is used to obtain the movement information from the shooting location of the first shot image to the shooting location where the second shot image can be shot, and the image data of the first shot image and the second shot image converted into 3D by the 3D modeling means. The angle information for photographing the second photographed image from the obtained photographing location may be obtained using the difference with the image data.

また、上記の撮影装置において、GPS衛星からの電波を受信して現在位置を測定する位置測定手段と、位置測定手段により測定された現在位置を用いて、制御手段により求められた第2撮影画像の撮影に必要な情報を地図表示する地図表示手段と、を有するものであってもよい。   Further, in the above photographing apparatus, the second photographed image obtained by the control means using the position measuring means for receiving the radio wave from the GPS satellite and measuring the current position and the current position measured by the position measuring means. And a map display means for displaying a map of information necessary for shooting.

また、上記の撮影装置において、制御手段により求められた第2撮影画像の撮影に必要な情報を文字表示する文字表示手段を有するものであってもよい。   Further, the above-described photographing apparatus may include a character display unit that displays information necessary for photographing the second photographed image obtained by the control unit.

また、上記の撮影装置において、制御手段により求められた第2撮影画像の撮影に必要な情報を音声出力する音声出力手段を有するものであってもよい。   Further, the above-described photographing apparatus may include a sound output unit that outputs information necessary for photographing the second photographed image obtained by the control unit.

また、上記の撮影装置において、記憶手段が、同一被写体を異なる画角で撮影して生成された2つの画像データの相違量と当該2つの画像データの画角情報とを関連付けたテーブルデータを記憶し、制御手段が、第1撮影画像の画像データと第2撮影画像の画像データとの差分及びテーブルデータを用いて、第2撮影画像を撮影するための画角情報を求め設定するものであってもよい。   Further, in the above-described photographing apparatus, the storage unit stores table data in which a difference amount between two image data generated by photographing the same subject at different angles of view and angle-of-view information of the two image data are associated with each other. The control means obtains and sets angle-of-view information for photographing the second photographed image using the difference between the image data of the first photographed image and the image data of the second photographed image and the table data. May be.

また、上記の撮影装置において、記憶手段が、同一被写体を異なる絞り値で撮影して生成された2つの画像データの相違量と当該2つの画像データの絞り値情報とを関連付けたテーブルデータを記憶し、制御手段が、第1撮影画像の画像データと第2撮影画像の画像データとの差分及びテーブルデータを用いて、第2撮影画像を撮影するための絞り値情報を求め設定するものであってもよい。   Further, in the above-described photographing apparatus, the storage unit stores table data in which a difference amount between two image data generated by photographing the same subject with different aperture values and aperture value information of the two image data are associated with each other. The control means obtains and sets aperture value information for photographing the second photographed image using the difference between the image data of the first photographed image and the image data of the second photographed image and the table data. May be.

本発明によれば、特段の通信環境や事前準備を要することなく、目的の被写体が出先や旅先で見つけたような場合でも、当該被写体について所望の構図で写真撮影することが可能となる。   According to the present invention, it is possible to take a photograph of a subject with a desired composition even when a target subject is found at a destination or travel destination without requiring a special communication environment or advance preparation.

本発明の実施形態に係る撮影装置のハードウェア構成を示したブロック図である。It is the block diagram which showed the hardware constitutions of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る撮影装置の機能構成を示したブロック図である。It is the block diagram which showed the function structure of the imaging device which concerns on embodiment of this invention. 本発明の実施形態(実施例1)に係る撮影ナビゲーション処理の流れを示したフローチャートである。It is the flowchart which showed the flow of the imaging | photography navigation process which concerns on embodiment (Example 1) of this invention. 本発明の実施形態(実施例1)に係る撮影ナビゲーション処理を説明するための図である。It is a figure for demonstrating the imaging | photography navigation process which concerns on embodiment (Example 1) of this invention. 本発明の実施形態(実施例2)に係る撮影ナビゲーション処理の流れを示したフローチャートである。It is the flowchart which showed the flow of the imaging | photography navigation process which concerns on embodiment (Example 2) of this invention. 本発明の実施形態(実施例2)に係る撮影ナビゲーション処理を説明するための図である。It is a figure for demonstrating the imaging | photography navigation process which concerns on embodiment (Example 2) of this invention. 本発明の実施形態(実施例3)に係る撮影情報設定処理の流れを示したフローチャートである。10 is a flowchart showing a flow of shooting information setting processing according to an embodiment (Example 3) of the present invention. 本発明の実施形態(実施例3)に係る撮影情報設定処理を説明するための図である。It is a figure for demonstrating the imaging | photography information setting process which concerns on embodiment (Example 3) of this invention. 本発明の実施形態(実施例3)に係る撮影情報設定処理を説明するための図である。It is a figure for demonstrating the imaging | photography information setting process which concerns on embodiment (Example 3) of this invention. 本発明の実施形態(実施例3)に係る撮影情報設定処理を説明するための図である。It is a figure for demonstrating the imaging | photography information setting process which concerns on embodiment (Example 3) of this invention.

以下、本発明の実施形態について図面を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図1は、本発明の実施形態に係るデジタルカメラのハードウェア構成を示すブロック図である。本実施形態のデジタルカメラ1は、レンズ10、絞り11、赤外線カットフィルタ12、CCD(Charge-Coupled Device)13、アナログ信号処理部14、A/D(Analog to Digital)変換器15、レンズ駆動部16、絞り駆動部17、CCD駆動部18、CPU(Central Processing Unit)19、ROM20(Read Only Memory)、RAM21(Random Access Memory)、操作部22、メインメモリ24、メインメモリ制御部25、デジタル信号処理部26、圧縮伸張処理部27、積算部28、外部メモリ29、外部メモリ制御部30、タッチパネル31、タッチパネル制御部32、ディスプレイ33、ディスプレイ制御部34、スピーカ35、スピーカ制御部36,GPS(Global Positioning System)受信部37、制御バス38、データバス39を備えて構成される。   FIG. 1 is a block diagram showing a hardware configuration of a digital camera according to an embodiment of the present invention. The digital camera 1 of this embodiment includes a lens 10, an aperture 11, an infrared cut filter 12, a CCD (Charge-Coupled Device) 13, an analog signal processing unit 14, an A / D (Analog to Digital) converter 15, and a lens driving unit. 16, aperture drive unit 17, CCD drive unit 18, CPU (Central Processing Unit) 19, ROM 20 (Read Only Memory), RAM 21 (Random Access Memory), operation unit 22, main memory 24, main memory control unit 25, digital signal Processing unit 26, compression / decompression processing unit 27, integration unit 28, external memory 29, external memory control unit 30, touch panel 31, touch panel control unit 32, display 33, display control unit 34, speaker 35, speaker control unit 36, GPS ( A Global Positioning System) receiving unit 37, a control bus 38, and a data bus 39 are provided.

各部はCPU19に制御されて動作し、CPU19は、タッチパネル制御部32を介したタッチパネル31や操作部22からの入力に基づいて、所定の制御プログラムを実行することにより、デジタルカメラ1の各部を制御する。また、CPU19は、デジタルカメラ1の制御に必要な各種制御値を算出するための演算処理手段として機能し、プログラムに従って各種演算処理を実行する。デジタルカメラ1の各部は、制御バス38を介してCPU19と接続されている。   Each unit operates under the control of the CPU 19, and the CPU 19 controls each unit of the digital camera 1 by executing a predetermined control program based on an input from the touch panel 31 or the operation unit 22 via the touch panel control unit 32. To do. The CPU 19 functions as an arithmetic processing unit for calculating various control values necessary for controlling the digital camera 1 and executes various arithmetic processes according to a program. Each unit of the digital camera 1 is connected to the CPU 19 via the control bus 38.

ROM20は、CPU19が実行する制御プログラムのほか、制御に必要な各種データ等が格納されている。なお、ROM20が格納する制御プログラムに、本実施形態特有の撮影ナビゲーション処理や撮影情報設定処理を行わせるプログラムが含まれる。RAM21は、CPU19の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。また、表示用の画像データ専用の一時記憶領域としても利用される。CPU19は、ROM20に記録された制御プログラムをメインメモリ24に読み出し、逐次実行することにより、デジタルカメラ1の各部を制御する。   The ROM 20 stores various data necessary for control in addition to the control program executed by the CPU 19. The control program stored in the ROM 20 includes a program for performing shooting navigation processing and shooting information setting processing unique to the present embodiment. The RAM 21 is used as a work area for the CPU 19 and as a temporary storage area for image data. It is also used as a temporary storage area dedicated to display image data. The CPU 19 controls each unit of the digital camera 1 by reading the control program recorded in the ROM 20 into the main memory 24 and sequentially executing the program.

操作部22は、電源ボタン、シャッタレリーズボタン、撮影モード/再生モード切替スイッチ、メニューを表示させるメニュースイッチ、画面上で上下左右を指示する十字キー等(いずれも不図示)の各種のハードウェアスイッチで構成され、それぞれの操作に応じた信号をCPU19に出力する。   The operation unit 22 includes various hardware switches such as a power button, a shutter release button, a shooting mode / playback mode switching switch, a menu switch for displaying a menu, and a cross key for pointing up, down, left and right on the screen (all not shown). The signal corresponding to each operation is output to the CPU 19.

レンズ10は、図示しないズームレンズ、フォーカスレンズを含み、レンズ駆動部16に駆動されて、ズーミング及びフォーカシングを行う。   The lens 10 includes a zoom lens and a focus lens (not shown), and is driven by the lens driving unit 16 to perform zooming and focusing.

絞り11は、レンズ10を透過してCCD13の受光面に到達する被写体光の光量を調節するためのものであり、絞り駆動部17は、CPU19の指令に従って絞り11の開口量を制御し、露光量が適正露光量となるように調整する。   The aperture 11 is for adjusting the amount of subject light that passes through the lens 10 and reaches the light receiving surface of the CCD 13. The aperture drive unit 17 controls the aperture amount of the aperture 11 in accordance with a command from the CPU 19 and performs exposure. The amount is adjusted so as to be an appropriate exposure amount.

赤外線カットフィルタ12は、絞り11を通過した被写体光から特定波長域の赤外線をカットし、撮影画像の赤外光によるゴーストやかぶりを防止するためのものである。   The infrared cut filter 12 is for cutting infrared light in a specific wavelength region from subject light that has passed through the diaphragm 11 and preventing ghosts and fogging caused by infrared light in the captured image.

CCD13は、赤外線カットフィルタ12の後段に配置されており、レンズ10を透過した被写体光を受光する。   The CCD 13 is arranged at the subsequent stage of the infrared cut filter 12 and receives the subject light transmitted through the lens 10.

CCD13の受光面には図示しない多数の受光素子が2次元的に配列されており、各受光素子に対応して赤(R)、緑(G)、青(B)の原色カラーフィルタ(不図示)が所定の配列構造で配置されている。受光面上に結像された被写体光は、各受光素子によって電気信号に変換されて蓄積される。   A large number of light receiving elements (not shown) are two-dimensionally arranged on the light receiving surface of the CCD 13, and primary color filters (not shown) for red (R), green (G), and blue (B) corresponding to the respective light receiving elements. ) Are arranged in a predetermined arrangement structure. The subject light imaged on the light receiving surface is converted into an electrical signal by each light receiving element and accumulated.

各受光素子に蓄積された電気信号は、図示しない垂直転送路に読み出される。垂直転送路は、この信号を、CCD駆動部18から供給されるクロックに同期して、1ラインずつ図示しない水平転送路に転送する。さらに、水平転送路は、垂直転送路から転送された1ライン分の信号を、CCD駆動部18から供給されるクロックに同期してアナログ信号処理部14へ出力する。   The electrical signal accumulated in each light receiving element is read out to a vertical transfer path (not shown). The vertical transfer path transfers this signal to a horizontal transfer path (not shown) line by line in synchronization with the clock supplied from the CCD drive unit 18. Further, the horizontal transfer path outputs the signal for one line transferred from the vertical transfer path to the analog signal processing unit 14 in synchronization with the clock supplied from the CCD driving unit 18.

なお、画像信号の出力は、デジタルカメラ1が撮影モードにセットされると開始される。すなわち、デジタルカメラ1が撮影モードにセットされると、ディスプレイ33にスルー画像を表示するために画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮影の指示が行われると一旦停止され、本撮影が終了すると再度開始される。本撮影終了時には、一定時間、ディスプレイ33に本撮影された撮影画像が表示され、ユーザは、当該画像を確認することにより、適切に撮影できたか否かを確認することができる。   The output of the image signal is started when the digital camera 1 is set to the shooting mode. That is, when the digital camera 1 is set to the shooting mode, output of an image signal is started in order to display a through image on the display 33. The output of the image signal for the through image is temporarily stopped when the instruction for the main photographing is given, and is started again when the main photographing is finished. At the end of the main photographing, the photographed image is displayed on the display 33 for a certain time, and the user can confirm whether or not the photographing has been properly performed by confirming the image.

アナログ信号処理部14は、図示しない相関二重サンプリング回路(CDS:Correlated Double Sampling)、クランプ処理回路、及び自動ゲインコントロール回路(AGC:Automatic Gain Control)を含んで構成される。   The analog signal processing unit 14 includes a correlated double sampling circuit (CDS: Correlated Double Sampling), a clamp processing circuit, and an automatic gain control circuit (AGC: Automatic Gain Control) (not shown).

相関二重サンプリング回路は、画像信号に含まれているノイズの除去を行う。また、クランプ処理回路は、暗電流成分を除去する処理を行う。また、自動ゲインコントロール回路は、暗電流成分が除去された画像信号を、設定された撮影感度(ISO感度)に応じた所定のゲインで増幅する。   The correlated double sampling circuit removes noise contained in the image signal. In addition, the clamp processing circuit performs processing for removing dark current components. The automatic gain control circuit amplifies the image signal from which the dark current component has been removed with a predetermined gain corresponding to the set photographing sensitivity (ISO sensitivity).

このアナログ信号処理部14で所要の信号処理が施されたアナログの画像信号は、A/D変換器15において所定ビットの階調幅を持ったデジタルの画像信号に変換される。この画像信号は、いわゆるRAWデータであり、画素毎にR、G、Bの濃度を示す階調値を有している。このデジタルの画像信号は、データバス39、メモリ制御部25を介してメインメモリ24に格納される。   The analog image signal subjected to the required signal processing in the analog signal processing unit 14 is converted into a digital image signal having a gradation width of a predetermined bit in the A / D converter 15. This image signal is so-called RAW data, and has a gradation value indicating the density of R, G, and B for each pixel. The digital image signal is stored in the main memory 24 via the data bus 39 and the memory control unit 25.

制御バス38、データバス39には、上記メモリ制御部25のほか、デジタル信号処理部26、圧縮伸張処理部27、積算部28、外部メモリ制御部30、タッチパネル制御部32、ディスプレイ制御部34、スピーカ制御部36等が接続されており、これらは制御バス38の制御信号に基づいて、データバス39を介して互いに情報を送受信できるようにされている。   In addition to the memory control unit 25, the control bus 38 and the data bus 39 include a digital signal processing unit 26, a compression / decompression processing unit 27, an integration unit 28, an external memory control unit 30, a touch panel control unit 32, a display control unit 34, A speaker control unit 36 and the like are connected, and these can transmit / receive information to / from each other via a data bus 39 based on a control signal of the control bus 38.

デジタル信号処理部26は、メインメモリ24に格納されたR、G、Bの各色の画像信号に対して所定の信号処理を施し、輝度信号Yと色差信号Cr、Cbとからなる画像信号(Y/C信号)を生成する。   The digital signal processing unit 26 performs predetermined signal processing on the image signals of R, G, and B colors stored in the main memory 24, and an image signal (Y that includes the luminance signal Y and the color difference signals Cr and Cb). / C signal).

圧縮伸張処理部27は、CPU19からの圧縮指令に従い、入力された輝度信号Yと色差信号Cr、Cbとからなる画像信号(Y/C信号)に所定形式(例えばJPEG(Joint Photographic Experts Group))の圧縮処理を施し、圧縮画像データを生成する。また、CPU19からの伸張指令に従い、入力された圧縮画像データに所定形式の伸張処理を施して、非圧縮の画像データを生成する。   In accordance with a compression command from the CPU 19, the compression / expansion processing unit 27 converts the input luminance signal Y and color difference signals Cr and Cb into a predetermined format (for example, JPEG (Joint Photographic Experts Group)). The compressed image data is generated. Further, in accordance with a decompression command from the CPU 19, the input compressed image data is subjected to a decompression process in a predetermined format to generate uncompressed image data.

積算部28は、CPU19の指令に従い、メインメモリ24に格納されたR、G、Bの画像信号を取り込み、AE(Auto Exposure)制御に必要な積算値を算出する。CPU19は、積算値から輝度値を算出し、輝度値から露出値を求める。また露出値から所定のプログラム線図に従って、絞り値及びシャッタースピードを決定する。   The accumulating unit 28 takes in R, G, and B image signals stored in the main memory 24 according to a command from the CPU 19 and calculates an accumulated value necessary for AE (Auto Exposure) control. The CPU 19 calculates a luminance value from the integrated value, and obtains an exposure value from the luminance value. Further, the aperture value and the shutter speed are determined from the exposure value according to a predetermined program diagram.

外部メモリ制御部30は、CPU19からの指令に従い、外部メモリ29に対してデータの読み/書きを制御する。なお、外部メモリ29は、メモリカードのようにデジタルカメラ1の本体に対して着脱自在なものでもよいし、デジタルカメラ1の本体に内蔵されたものでもよい。着脱自在とする場合は、デジタルカメラ1の本体にカードスロットを設け、このカードスロットに装填して使用する。   The external memory control unit 30 controls reading / writing of data with respect to the external memory 29 in accordance with a command from the CPU 19. The external memory 29 may be detachable from the main body of the digital camera 1 such as a memory card, or may be built into the main body of the digital camera 1. In the case of detachable, a card slot is provided in the main body of the digital camera 1, and the card slot is used by being loaded.

タッチパネル31は、透光性のある材料からなり、ユーザによるタッチ入力を検出する。タッチパネル31としては、公知の各種のタッチセンサを用いることができるが、携帯機器用としては、指と導電膜との間で発生する静電容量の変化を検出する静電容量方式のタッチセンサ、複数枚の抵抗膜を用いて電圧を検知する抵抗膜方式のタッチセンサ等、薄型のタッチセンサを用いる。また、指やペンでタッチして描いた軌跡を認識するため、多点検出のタッチセンサが好ましい。   The touch panel 31 is made of a translucent material and detects a touch input by the user. Various known touch sensors can be used as the touch panel 31, but for portable devices, a capacitive touch sensor that detects a change in capacitance generated between the finger and the conductive film, A thin touch sensor such as a resistive film type touch sensor that detects a voltage using a plurality of resistive films is used. A multipoint detection touch sensor is preferable in order to recognize a locus drawn by touching with a finger or a pen.

タッチパネル制御部32は、CPU19からの指令に従って、タッチパネル31のタッチ入力検出を制御する。本例では、タッチパネル31上で指やペンでタッチされた位置を示す位置情報を時系列でRAM21に格納する。   The touch panel control unit 32 controls touch input detection on the touch panel 31 in accordance with a command from the CPU 19. In this example, position information indicating a position touched with a finger or a pen on the touch panel 31 is stored in the RAM 21 in time series.

ディスプレイ33は画面表示を行う。ディスプレイ33としては、公知の各種の表示デバイスを用いることができるが、携帯機器用としては、一般に、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)表示デバイス等、薄型の表示デバイスが用いられる。このディスプレイ48は、再生モード時には記録済み画像を表示し、撮影モード時にはスルー画像として表示する。   The display 33 performs screen display. Various known display devices can be used as the display 33. Generally, thin display devices such as LCD (Liquid Crystal Display) and organic EL (Electro Luminescence) display devices are used for portable devices. . The display 48 displays a recorded image in the playback mode and displays it as a through image in the shooting mode.

ディスプレイ制御部34は、CPU19からの指令に従って、ディスプレイ33の表示を制御する。   The display control unit 34 controls display on the display 33 in accordance with a command from the CPU 19.

また、デジタルカメラ1の各種設定は、タッチパネル31及びディスプレイ33を用いて行われるようにすることもできる。この場合、メニュースイッチ(不図示)が押下されると、デジタルカメラ1の各種設定を行うための設定画面がディスプレイ33に表示される。また、タッチパネル31上に特定の軌跡を描いたときに設定画面を表示させてもよい。ユーザは、ディスプレイ33の画面表示に従って、タッチパネル31からデジタルカメラ1の各種設定を行う。   Various settings of the digital camera 1 can also be performed using the touch panel 31 and the display 33. In this case, when a menu switch (not shown) is pressed, a setting screen for performing various settings of the digital camera 1 is displayed on the display 33. Further, the setting screen may be displayed when a specific locus is drawn on the touch panel 31. The user performs various settings of the digital camera 1 from the touch panel 31 in accordance with the screen display on the display 33.

スピーカ35は音声出力を行う。スピーカ制御部36は、CPU19からの指令に従って、スピーカ35の音声出力を制御する。   The speaker 35 performs audio output. The speaker control unit 36 controls the sound output of the speaker 35 in accordance with a command from the CPU 19.

GPS(Global Positioning System)受信部37は、GPS衛星から発信される電波を受信して現在位置の位置情報(経度・緯度・高度)を取得する。   A GPS (Global Positioning System) receiving unit 37 receives radio waves transmitted from GPS satellites and acquires position information (longitude, latitude, and altitude) of the current position.

図2は、本発明の実施形態に係るデジタルカメラの機能構成を示すブロック図である。本実施形態のデジタルカメラ1は、CPU19がROM20に格納された本実施形態特有のプログラムを読み込んで、参照画像(理想の構図の写真画像を意味する、以下同じ)と現地撮影画像(参照画像に含まれる被写体を現地で撮影した写真画像を意味する、以下同じ)との差分に基づく撮影ナビゲーション処理や撮影情報設定処理を行うための機能部である制御部100を構成する。制御部100は、比較ポイント指定手段110、画像比較手段120、移動情報算出手段130、角度情報算出手段140、3Dモデリング手段150、画角絞り調整手段160を論理的に有する。なお、各手段は、上記のようにソフト的に実現するほか、回路等を用いてハード的に実現してもよい。   FIG. 2 is a block diagram showing a functional configuration of the digital camera according to the embodiment of the present invention. In the digital camera 1 of the present embodiment, the CPU 19 reads a program specific to the present embodiment stored in the ROM 20, and a reference image (meaning a photographic image with an ideal composition, the same applies hereinafter) and a field-captured image (in the reference image). The control unit 100 is configured as a functional unit for performing shooting navigation processing and shooting information setting processing based on a difference from a photographic image obtained by shooting an included subject at the site (the same applies hereinafter). The control unit 100 logically includes a comparison point designation unit 110, an image comparison unit 120, a movement information calculation unit 130, an angle information calculation unit 140, a 3D modeling unit 150, and a field angle aperture adjustment unit 160. Each means may be realized by software as described above, or may be realized by hardware using a circuit or the like.

比較ポイント指定手段110は、ユーザによるタッチパネル31への入力を受け付けて、参照画像と現地撮影画像における被写体等の共通箇所を比較ポイントとして指定する。   The comparison point designating unit 110 receives an input from the user to the touch panel 31 and designates a common part such as a subject in the reference image and the on-site photographed image as a comparison point.

画像比較手段120は、参照画像と現地撮影画像とを比較し、両画像の差分を求める。具体的には、参照画像と現地撮影画像との間で、1つの比較ポイントを共通にした場合の他の比較ポイントに関する差分を求める。   The image comparison unit 120 compares the reference image with the on-site photographed image and obtains a difference between the two images. Specifically, a difference regarding another comparison point when one comparison point is shared between the reference image and the field-captured image is obtained.

移動情報算出手段130は、画像比較手段120で求めた差分に基づいて、現地撮影画像の撮影ポイントから参照画像を撮影できる撮影ポイントまでの移動情報(移動方向、移動距離)を算出する。   The movement information calculation unit 130 calculates movement information (movement direction and movement distance) from the shooting point of the local shooting image to the shooting point where the reference image can be shot based on the difference obtained by the image comparison unit 120.

角度情報算出手段140は、参照画像と3Dモデリング手段150で3D化された現地撮影画像との比較結果に基づいて、3D化した画像の角度情報(方位、仰角)を算出する。   The angle information calculation unit 140 calculates angle information (azimuth and elevation angle) of the 3D image based on the comparison result between the reference image and the on-site photographed image 3D by the 3D modeling unit 150.

3Dモデリング手段150は、複数の現地撮影画像を用いて画像の3D化を行う。   The 3D modeling means 150 performs 3D image conversion using a plurality of field images.

画角絞り調整手段160は、画像比較手段120で求めた差分に基づいて、参照画像を撮影するための撮影情報(焦点距離、絞り値)を算出し、設定する。   The field angle aperture adjustment unit 160 calculates and sets shooting information (focal length, aperture value) for shooting the reference image based on the difference obtained by the image comparison unit 120.

<実施例1>
本実施形態における第1の実施例として、参照画像と現地撮影画像との差分に基づいて、参照画像を撮影できる撮影ポイントまでナビゲートする処理について説明する。図3は、本実施例の撮影ナビゲーション処理の流れを示したフローチャートで、図4は、本実施例の撮影ナビゲーション処理を説明するための図である。
<Example 1>
As a first example of the present embodiment, a process for navigating to a shooting point at which a reference image can be shot based on the difference between the reference image and the on-site shot image will be described. FIG. 3 is a flowchart showing the flow of the shooting navigation process of this embodiment, and FIG. 4 is a diagram for explaining the shooting navigation process of this embodiment.

まず、CPU19は、ユーザにより撮影された理想の構図の写真A(参照画像、図4(a))の画像データを外部メモリ29に記憶する(ステップS101)。ここで想定している参照画像は、ポスター、雑誌等を見たユーザが撮影した写真画像であるが、インターネット等のネットワークを通じて取得したものでもよい。   First, the CPU 19 stores in the external memory 29 the image data of the photograph A (reference image, FIG. 4A) with an ideal composition taken by the user (step S101). The reference image assumed here is a photographic image taken by a user who viewed a poster, a magazine, or the like, but may be acquired through a network such as the Internet.

そして、CPU19は、参照画像に含まれる被写体が存在する名所旧跡等でユーザにより撮影された写真B(現地撮影画像、図4(b))の画像データを外部メモリ20に記憶する(ステップS102)。また、写真Bの撮影場所の位置情報をGPS受信部37により取得する(ステップS103)。   Then, the CPU 19 stores in the external memory 20 the image data of the photograph B (field photographed image, FIG. 4B) photographed by the user at a famous landmark where the subject included in the reference image exists (step S102). . Further, the position information of the shooting location of the photo B is acquired by the GPS receiving unit 37 (step S103).

次いで、CPU19は、写真A(参照画像)と写真B(現地撮影画像)をディスプレイ33に重ね合わせて表示する(ステップS104)。ユーザは、タッチパネル31を介して、表示された両画像とも画面内を移動させることができ、被写体を重ね合わせた際に共通する部分を複数タッチする。例えば写真A(参照画像)か写真B(現地撮影画像)のどちらかを基準とし、もう一方を被写体が重なるように動かし、共通する部分を複数ポインティングする。そして、CPU19(比較ポイント指定手段110)は、ユーザによるタッチパネル31への入力を受け付けて、両画像の共通箇所を複数指定する(ステップS105)。   Next, the CPU 19 displays the photograph A (reference image) and the photograph B (field-captured image) superimposed on the display 33 (step S104). The user can move both displayed images on the screen via the touch panel 31, and touch a plurality of common portions when the subjects are overlapped. For example, based on either the photograph A (reference image) or the photograph B (field-captured image), the other is moved so that the subject overlaps, and a plurality of common portions are pointed. Then, the CPU 19 (comparison point designating unit 110) accepts an input to the touch panel 31 by the user and designates a plurality of common portions of both images (step S105).

続いて、CPU19(画像比較手段120)は、指定した共通箇所の1つを重ね合わせたときの他の共通箇所同士の差分を算出する。これを共通箇所全てについて行う(ステップS106)。図4(c)に示すように、ポインティング1を重ね合わせたときのポインティング2、3、・・・、n(図ではポインティング2までしか示していない)の差分を算出する。同様に、ポインティング2を重ね合わせたときのポインティング1、3、・・・、nの差分を算出する。これをポインティングnまで行い、各ポインティングの差分を求める。   Subsequently, the CPU 19 (image comparison unit 120) calculates a difference between other common parts when one of the designated common parts is superimposed. This is performed for all common locations (step S106). As shown in FIG. 4C, the difference between pointing 2, 3,..., N (only pointing 2 is shown in the figure) when pointing 1 is overlapped is calculated. Similarly, the difference between the pointing points 1, 3,..., N when the pointing 2 is overlapped is calculated. This is performed up to pointing n, and the difference between each pointing is obtained.

そして、CPU19(移動情報算出手段130)は、求めた両画像の差分情報から、写真Bの撮影場所から理想の撮影ポイントまでの移動方向や移動距離といった移動情報を算出する(ステップS107)。ROM20は、同一被写体を異なる位置から撮影して生成された2つの画像データの相違量と当該2つの撮影位置の位置関係情報とを関連付けたテーブルデータを格納している。当該テーブルデータを用いることで、2つの画像データの共通箇所同士が座標上どの程度相違しているときに、撮影場所がどの方向にどの程度離れているかを求めることができる。すなわち、CPU19(移動情報算出手段130)は、参照画像と現地撮影画像の差分情報及びテーブルデータを用いて、写真Bの撮影場所からどの方向にどの程度移動すれば理想の撮影ポイントとなるかを求める。   Then, the CPU 19 (movement information calculation means 130) calculates movement information such as a movement direction and a movement distance from the shooting location of the photograph B to the ideal shooting point from the obtained difference information of both images (step S107). The ROM 20 stores table data in which a difference amount between two image data generated by photographing the same subject from different positions and positional relationship information of the two photographing positions are associated with each other. By using the table data, it is possible to determine how far the shooting location is in which direction when the common portions of the two image data are different in coordinates. That is, the CPU 19 (movement information calculation means 130) uses the difference information between the reference image and the on-site photographed image and the table data to determine the direction in which the photograph B is taken and how much the ideal photographing point is to be moved. Ask.

続いて、CPU19は、GPS受信部37により取得した位置情報、上記算出した移動情報を用いてディスプレイ33に地図表示し、ユーザに理想の撮影ポイントまでのナビゲーションを行う(ステップS108)。理想の撮影ポイントまでのナビゲーションは、地図表示のほか、スピーカ35を介して音声出力して行ってもよいし、移動情報をディスプレイ33に文字表示して行ってもよい。   Subsequently, the CPU 19 displays a map on the display 33 using the position information acquired by the GPS receiver 37 and the calculated movement information, and performs navigation to an ideal shooting point for the user (step S108). Navigation to the ideal shooting point may be performed by outputting voice through the speaker 35 or displaying movement information on the display 33 in addition to the map display.

<実施例2>
本実施形態における第2の実施例として、参照画像と現地撮影画像との差分に基づいて、参照画像を撮影できる撮影ポイントまでナビゲートする処理について説明する。実施例1との違いは、比較する画像の一方を3D化し、移動情報に加えて角度情報を求める点である。図5は、本実施例の撮影ナビゲーション処理の流れを示したフローチャートで、図6は、本実施例の撮影ナビゲーション処理を説明するための図である。
<Example 2>
As a second example of the present embodiment, a process for navigating to a shooting point where a reference image can be shot based on the difference between the reference image and the field shot image will be described. The difference from the first embodiment is that one of the images to be compared is converted into 3D and angle information is obtained in addition to the movement information. FIG. 5 is a flowchart showing the flow of the shooting navigation process of this embodiment, and FIG. 6 is a diagram for explaining the shooting navigation process of this embodiment.

まず、CPU19は、ユーザにより撮影された理想の構図の写真A(参照画像、図6(a))の画像データを外部メモリ29に記憶する(ステップS201)。また、CPU19は、参照画像に含まれる被写体が存在する名所旧跡等でユーザにより複数撮影された写真B(現地撮影画像、図6(b))の画像データを外部メモリ20に記憶する(ステップS202)。   First, the CPU 19 stores the image data of the photograph A (reference image, FIG. 6A) of the ideal composition photographed by the user in the external memory 29 (step S201). Further, the CPU 19 stores in the external memory 20 the image data of a plurality of photographs B (locally photographed images, FIG. 6 (b)) photographed by the user at a famous landmark where the subject included in the reference image exists (step S202). ).

そして、CPU19(3Dモデリング手段150)は、複数の画像データを用いて写真B(現地撮影画像)を3D化する(ステップS203)。また、写真Bの撮影場所の位置情報をGPS受信部37により取得する(ステップS204)。   Then, the CPU 19 (3D modeling means 150) converts the photograph B (local photographed image) into 3D using a plurality of image data (step S203). Further, the position information of the shooting location of the photo B is acquired by the GPS receiving unit 37 (step S204).

次いで、CPU19は、写真A(参照画像)と写真B(現地撮影画像)をディスプレイ33に重ね合わせて表示する(ステップS205)。ユーザは、例えば写真A(参照画像)か写真B(現地撮影画像)のどちらかを基準とし、もう一方を被写体が重なるように動かし、共通する部分を複数ポインティングする。そして、CPU19(比較ポイント指定手段110)は、ユーザによるタッチパネル31への入力を受け付けて、両画像の共通箇所を複数指定する(ステップS206)。   Next, the CPU 19 superimposes and displays the photograph A (reference image) and the photograph B (field-captured image) on the display 33 (step S205). The user uses, for example, either the photograph A (reference image) or the photograph B (field-captured image) as a reference, moves the other so that the subject overlaps, and points a plurality of common portions. Then, the CPU 19 (comparison point designating unit 110) accepts an input to the touch panel 31 by the user and designates a plurality of common portions of both images (step S206).

続いて、CPU19(画像比較手段120)は、指定した共通箇所の1つを重ね合わせたときの他の共通箇所同士の差分を算出する。これを共通箇所全てについて行う(ステップS207)。   Subsequently, the CPU 19 (image comparison unit 120) calculates a difference between other common parts when one of the designated common parts is superimposed. This is performed for all common locations (step S207).

そして、CPU19(移動情報算出手段130)は、求めた両画像の差分情報から、写真Bの撮影場所(本実施例の場合、複数撮影したうち最後に撮影した場所)から理想の撮影ポイントまでの移動方向や移動距離といった移動情報を算出する。また、CPU19(角度情報算出手段140)は、求めた両画像の差分情報から、3D化した画像の角度情報(方位や仰角)を算出する(ステップS208)。   Then, the CPU 19 (movement information calculation means 130) determines from the obtained difference information of the two images from the shooting location of the photograph B (in the case of the present embodiment, the last shooting location among a plurality of shootings) to the ideal shooting point. Movement information such as a movement direction and a movement distance is calculated. Further, the CPU 19 (angle information calculation means 140) calculates angle information (azimuth and elevation angle) of the 3D image from the obtained difference information of both images (step S208).

次に、CPU19は、GPS受信部37により取得した位置情報、上記算出した移動情報や角度情報を用いてディスプレイ33に地図表示し、ユーザに理想の撮影ポイントまで及び被写体に対する撮影角度のナビゲーションを行う(ステップS209)。   Next, the CPU 19 displays a map on the display 33 using the position information acquired by the GPS receiver 37 and the calculated movement information and angle information, and performs navigation of the shooting angle up to the ideal shooting point and the subject for the user. (Step S209).

<実施例3>
本実施形態における第3の実施例として、参照画像と現地撮影画像との差分に基づいて、参照画像を撮影するための撮影情報を設定する処理について説明する。図7は、本実施例の撮影情報設定処理の流れを示したフローチャートで、図8から10は、本実施例の撮影情報設定処理を説明するための図である。
<Example 3>
As a third example of the present embodiment, a process for setting shooting information for shooting a reference image based on a difference between the reference image and the on-site shot image will be described. FIG. 7 is a flowchart showing the flow of the shooting information setting process of this embodiment, and FIGS. 8 to 10 are diagrams for explaining the shooting information setting process of this embodiment.

まず、CPU19は、ユーザにより撮影された理想の構図の写真A(参照画像、図8(a))の画像データを外部メモリ29に記憶する(ステップS301)。また、CPU19は、参照画像に含まれる被写体が存在する名所旧跡等でユーザにより撮影された写真B(現地撮影画像、図8(b))の画像データを外部メモリ20に記憶する(ステップS302)。また、写真Bの撮影場所の位置情報をGPS受信部37により取得する(ステップS303)。   First, the CPU 19 stores the image data of the photograph A (reference image, FIG. 8A) of the ideal composition taken by the user in the external memory 29 (step S301). Further, the CPU 19 stores in the external memory 20 the image data of the photograph B (on-site photographed image, FIG. 8 (b)) photographed by the user at a famous landmark where the subject included in the reference image exists (step S302). . Further, the position information of the shooting location of the photo B is acquired by the GPS receiving unit 37 (step S303).

次いで、CPU19は、写真A(参照画像)と写真B(現地撮影画像)をディスプレイ33に重ね合わせて表示する(ステップS304)。ユーザは、例えば写真A(参照画像)か写真B(現地撮影画像)のどちらかを基準とし、もう一方を被写体が重なるように動かし、共通する部分を複数ポインティングする(図8(c))。そして、CPU19(比較ポイント指定手段110)は、ユーザによるタッチパネル31への入力を受け付けて、両画像の共通箇所を複数指定する(ステップS305)。   Next, the CPU 19 superimposes and displays the photograph A (reference image) and the photograph B (local photographed image) on the display 33 (step S304). The user uses, for example, either the photograph A (reference image) or the photograph B (field-captured image) as a reference, moves the other so that the subject overlaps, and points a plurality of common portions (FIG. 8C). Then, the CPU 19 (comparison point designating unit 110) accepts input from the user to the touch panel 31 and designates a plurality of common portions of both images (step S305).

続いて、CPU19(画像比較手段120)は、指定した共通箇所の1つを重ね合わせたときの他の共通箇所同士の差分を算出する。これを共通箇所全てについて行う(ステップS306)。   Subsequently, the CPU 19 (image comparison unit 120) calculates a difference between other common parts when one of the designated common parts is superimposed. This is performed for all common locations (step S306).

求めた差分から移動情報の算出が不可能な場合(ステップS307/NO)、CPU19(画角絞り調整手段160)は、算出した差分から、理想の構図で撮影するための焦点距離や絞り値といった撮影情報を求め、設定を行う(ステップS308)。   If the movement information cannot be calculated from the obtained difference (step S307 / NO), the CPU 19 (view angle aperture adjusting means 160) uses the calculated difference to determine the focal length and aperture value for photographing with an ideal composition. Shooting information is obtained and set (step S308).

求めた差分から移動情報の算出が不可能な場合の例として、図9に示すような画角の違いに起因する画像の差分や、図10に示すような背景の違いに起因する画像の差分が挙げられる。ROM20は、同一被写体を異なる画角で撮影して生成された2つの画像データの相違量と当該2つの画像データの画角情報とを関連付けたテーブルデータ、また同一被写体を異なる絞り値で撮影して生成された2つの画像データの相違量と当該2つの画像データの絞り値情報とを関連付けたテーブルデータを格納している。当該テーブルデータを用いることで、2つの画像データの共通箇所同士が座標上どの程度違っていて被写体の大きさがどの程度異なるときに、焦点距離がどの程度相違しているのか、また、2つの画像データ中の背景となる被写体の画像がどの程度異なるときに、絞り値がどの程度相違しているのかを求めることができる。すなわち、CPU19(画角絞り調整手段160)は、参照画像と現地撮影画像の差分情報及びテーブルデータを用いて、焦点距離や絞り値をどの程度調整すれば写真Aに極力近い写真が撮影できるかを求め、設定を行う。   As an example of the case where movement information cannot be calculated from the obtained difference, an image difference due to a difference in angle of view as shown in FIG. 9 or an image difference due to a difference in background as shown in FIG. Is mentioned. The ROM 20 captures table data in which the difference between two image data generated by photographing the same subject at different angles of view and the angle of view information of the two image data, and the same subject with different aperture values. The table data in which the difference between the two image data generated in this way is associated with the aperture value information of the two image data is stored. By using the table data, the difference between the focal points when the common parts of the two image data are different in coordinates and the size of the subject is different. It is possible to determine how much the aperture value differs when the background image in the image data differs. In other words, how much the CPU 19 (view angle aperture adjusting means 160) can adjust the focal length and aperture value by using the difference information between the reference image and the field-captured image and the table data to capture a photo as close as possible to the photo A. And set up.

なお、上記では求めた撮影情報を設定してユーザに再度撮影をさせるように構成しているが、このほかに、求めた撮影情報に基づいて写真Bに画像処理を加え写真Aに極力近い画像を生成するように構成してもよい。例えば、図10に示すように、写真Bのぼけポインティング2を基準にして段階的に画像処理を行い、その都度ディスプレイ33に表示させ、写真Aに近似したところでユーザに決定させることができる。   In the above, the obtained shooting information is set and the user is allowed to take another shot. In addition to this, an image that is as close as possible to the photo A is obtained by performing image processing on the photo B based on the obtained shooting information. May be configured to generate. For example, as shown in FIG. 10, image processing can be performed in stages based on the blur pointing 2 of the photo B, displayed on the display 33 each time, and can be determined by the user when the photo A is approximated.

他方、求めた差分から移動情報の算出が可能な場合(ステップS307/YES)、CPU19(移動情報算出手段130)は、求めた両画像の差分情報から、写真Bの撮影場所から理想の撮影ポイントまでの移動方向や移動距離といった移動情報を算出する(ステップS309)。そして、CPU19は、GPS受信部37により取得した位置情報、上記算出した移動情報を用いてディスプレイ33に地図表示し、ユーザに理想の撮影ポイントまで及び被写体に対する撮影角度のナビゲーションを行う(ステップS310)。   On the other hand, when the movement information can be calculated from the obtained difference (step S307 / YES), the CPU 19 (movement information calculating means 130) determines the ideal shooting point from the shooting location of the photo B from the obtained difference information of both images. The movement information such as the movement direction and the movement distance up to is calculated (step S309). Then, the CPU 19 displays a map on the display 33 using the position information acquired by the GPS receiver 37 and the calculated movement information, and performs navigation of the shooting angle up to the ideal shooting point for the user and the subject (step S310). .

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。例えば、撮影装置としては、実施形態として挙げたデジタルカメラのほか、デジタルビデオカメラであってもよい。   The above-described embodiment is a preferred embodiment of the present invention, and the scope of the present invention is not limited to the above-described embodiment alone, and various modifications are made without departing from the gist of the present invention. Implementation is possible. For example, the photographing apparatus may be a digital video camera in addition to the digital camera described as the embodiment.

また、本実施形態におけるデジタルカメラで実行されるプログラムは、先に述べた各手段(比較ポイント指定手段110、画像比較手段120、移動情報算出手段130、角度情報算出手段140、3Dモデリング手段150、画角絞り調整手段160)を含むモジュール構成となっており、実際のハードウェアを用いて具体的手段を実現する。すなわち、コンピュータ(CPU)が所定の記録媒体からプログラムを読み出して実行することにより上記各手段が主記憶装置上にロードされて生成される。   The program executed by the digital camera in the present embodiment includes the above-described means (comparison point specifying means 110, image comparing means 120, movement information calculating means 130, angle information calculating means 140, 3D modeling means 150, The module configuration includes an angle-of-view aperture adjusting unit 160), and a specific unit is realized using actual hardware. That is, when the computer (CPU) reads a program from a predetermined recording medium and executes it, the above-mentioned means are loaded onto the main storage device and generated.

本実施形態におけるクライアントPCで実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードさせることにより提供されるように構成してもよい。また、上記プログラムをインターネット等のネットワーク経由で提供あるいは配布するように構成してもよい。   The program executed on the client PC in the present embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. Further, the program may be provided or distributed via a network such as the Internet.

また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD、不揮発性のメモリカード等のコンピュータで読み取り可能な記録媒体に記録されて提供されるように構成してもよい。また、上記プログラムは、ROM等にあらかじめ組み込んで提供するように構成してもよい。   The program is a file in an installable or executable format, such as a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD, nonvolatile memory card, or the like. It may be configured to be provided by being recorded on a computer-readable recording medium. Further, the program may be provided by being incorporated in advance in a ROM or the like.

この場合、上記記録媒体から読み出された又は通信回線を通じてロードし実行されたプログラムコード自体が前述の実施形態の機能を実現することになる。そして、そのプログラムコードを記録した記録媒体は本発明を構成する。   In this case, the program code itself read from the recording medium or loaded and executed through the communication line realizes the functions of the above-described embodiments. And the recording medium which recorded the program code comprises this invention.

1 デジタルカメラ
10 レンズ
11 絞り
12 赤外線カットフィルタ
13 CCD
14 アナログ信号処理部
15 A/D変換器
16 レンズ駆動部
17 絞り駆動部
18 CCD駆動部
19 CPU
20 ROM
21 RAM
22 操作部
24 メインメモリ
25 メインメモリ制御部
26 デジタル信号処理部
27 圧縮伸張処理部
28 積算部
29 外部メモリ
30 外部メモリ制御部
31 タッチパネル
32 タッチパネル制御部
33 ディスプレイ
34 ディスプレイ制御部
35 スピーカ
36 スピーカ制御部
37 GPS受信部
38 制御バス
39 データバス
100 制御部
110 比較ポイント指定手段
120 画像比較手段
130 移動情報算出手段
140 角度情報算出手段
150 3Dモデリング手段
160 画角絞り調整手段
1 Digital Camera 10 Lens 11 Aperture 12 Infrared Cut Filter 13 CCD
14 Analog signal processing unit 15 A / D converter 16 Lens driving unit 17 Aperture driving unit 18 CCD driving unit 19 CPU
20 ROM
21 RAM
DESCRIPTION OF SYMBOLS 22 Operation part 24 Main memory 25 Main memory control part 26 Digital signal processing part 27 Compression / decompression processing part 28 Accumulation part 29 External memory 30 External memory control part 31 Touch panel 32 Touch panel control part 33 Display 34 Display control part 35 Speaker 36 Speaker control part 37 GPS receiving unit 38 Control bus 39 Data bus 100 Control unit 110 Comparison point designating unit 120 Image comparing unit 130 Movement information calculating unit 140 Angle information calculating unit 150 3D modeling unit 160 Field angle aperture adjusting unit

Claims (8)

撮影した被写体の画像データを生成する撮像手段と、
前記撮像手段で生成された画像データを記憶する記憶手段と、
前記記憶手段に記憶された画像データで、目的の被写体を撮影した第1撮影画像と前記目的の被写体を所望の構図で撮影するために参照される第2撮影画像の画像データとの差分を用いて、前記第2撮影画像の撮影に必要な情報を求める制御手段と、
を有することを特徴とする撮影装置。
Imaging means for generating image data of a photographed subject;
Storage means for storing image data generated by the imaging means;
Using the image data stored in the storage means, a difference between the first photographed image obtained by photographing the target subject and the image data of the second photographed image referred to photograph the target subject with a desired composition is used. Control means for obtaining information necessary for photographing the second photographed image;
A photographing apparatus comprising:
前記記憶手段は、同一被写体を異なる撮影位置から撮影して生成された2つの画像データの相違量と前記2つの撮影位置の位置関係情報とを関連付けたテーブルデータを記憶し、
前記制御手段は、前記第1撮影画像の画像データと前記第2撮影画像の画像データとの差分及び前記テーブルデータを用いて、前記第1撮影画像の撮影場所から前記第2撮影画像が撮影可能な撮影場所までの移動情報を求めることを特徴とする請求項1に記載の撮影装置。
The storage means stores table data in which a difference amount between two image data generated by photographing the same subject from different photographing positions and positional relationship information of the two photographing positions are associated with each other.
The control means can photograph the second photographed image from the photographing location of the first photographed image using the difference between the image data of the first photographed image and the image data of the second photographed image and the table data. 2. The photographing apparatus according to claim 1, wherein movement information to a photographing place is obtained.
異なる撮影位置から撮影した同一被写体の画像データに基づいて3D化する3Dモデリング手段を有し、
前記記憶手段は、同一被写体を異なる撮影位置から撮影して生成された2つの画像データの相違量と前記2つの撮影位置の位置関係情報とを関連付けたテーブルデータを記憶し、
前記制御手段は、前記第1撮影画像の画像データと前記第2撮影画像の画像データとの差分及び前記テーブルデータを用いて、前記第1撮影画像の撮影場所から前記第2撮影画像が撮影可能な撮影場所までの移動情報を求め、前記第1撮影画像の画像データと前記3Dモデリング手段により3D化された前記第2撮影画像の画像データとの差分を用いて、前記求めた撮影場所から前記第2撮影画像を撮影するための角度情報を求めることを特徴とする請求項1又は2に記載の撮影装置。
3D modeling means for converting to 3D based on image data of the same subject photographed from different photographing positions;
The storage means stores table data in which a difference amount between two image data generated by photographing the same subject from different photographing positions and positional relationship information of the two photographing positions are associated with each other.
The control means can photograph the second photographed image from the photographing location of the first photographed image using the difference between the image data of the first photographed image and the image data of the second photographed image and the table data. The movement information to the appropriate shooting location is obtained, and the difference between the image data of the first shot image and the image data of the second shot image converted into 3D by the 3D modeling means is used to calculate the movement information from the obtained shooting location. The imaging apparatus according to claim 1, wherein angle information for capturing the second captured image is obtained.
GPS衛星からの電波を受信して現在位置を測定する位置測定手段と、
前記位置測定手段により測定された現在位置を用いて、前記制御手段により求められた前記第2撮影画像の撮影に必要な情報を地図表示する地図表示手段と、
を有することを特徴とする請求項1から3のいずれか1項に記載の撮影装置。
Position measuring means for receiving a radio wave from a GPS satellite and measuring a current position;
Map display means for displaying, on a map, information necessary for photographing the second photographed image obtained by the control means, using the current position measured by the position measuring means;
The imaging device according to any one of claims 1 to 3, wherein:
前記制御手段により求められた前記第2撮影画像の撮影に必要な情報を文字表示する文字表示手段を有することを特徴とする請求項1から4のいずれか1項に記載の撮影装置。   5. The photographing apparatus according to claim 1, further comprising a character display unit that displays information necessary for photographing the second photographed image obtained by the control unit. 前記制御手段により求められた前記第2撮影画像の撮影に必要な情報を音声出力する音声出力手段を有することを特徴とする請求項1から5のいずれか1項に記載の撮影装置。   6. The photographing apparatus according to claim 1, further comprising: an audio output unit that outputs information necessary for photographing the second photographed image obtained by the control unit. 前記記憶手段は、同一被写体を異なる画角で撮影して生成された2つの画像データの相違量と前記2つの画像データの画角情報とを関連付けたテーブルデータを記憶し、
前記制御手段は、前記第1撮影画像の画像データと前記第2撮影画像の画像データとの差分及び前記テーブルデータを用いて、前記第2撮影画像を撮影するための画角情報を求め設定することを特徴とする請求項1から6のいずれか1項に記載の撮影装置。
The storage means stores table data in which a difference amount between two image data generated by photographing the same subject at different angles of view and angle-of-view information of the two image data,
The control means obtains and sets angle-of-view information for photographing the second photographed image using the difference between the image data of the first photographed image and the image data of the second photographed image and the table data. The imaging device according to any one of claims 1 to 6, wherein
前記記憶手段は、同一被写体を異なる絞り値で撮影して生成された2つの画像データの相違量と前記2つの画像データの絞り値情報とを関連付けたテーブルデータを記憶し、
前記制御手段は、前記第1撮影画像の画像データと前記第2撮影画像の画像データとの差分及び前記テーブルデータを用いて、前記第2撮影画像を撮影するための絞り値情報を求め設定することを特徴とする請求項1から7のいずれか1項に記載の撮影装置。
The storage means stores table data in which a difference amount between two image data generated by photographing the same subject with different aperture values and aperture value information of the two image data are associated with each other,
The control means obtains and sets aperture value information for photographing the second photographed image using the difference between the image data of the first photographed image and the image data of the second photographed image and the table data. The imaging device according to claim 1, wherein
JP2011010047A 2011-01-20 2011-01-20 Imaging device Active JP5737961B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011010047A JP5737961B2 (en) 2011-01-20 2011-01-20 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011010047A JP5737961B2 (en) 2011-01-20 2011-01-20 Imaging device

Publications (2)

Publication Number Publication Date
JP2012151758A true JP2012151758A (en) 2012-08-09
JP5737961B2 JP5737961B2 (en) 2015-06-17

Family

ID=46793578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011010047A Active JP5737961B2 (en) 2011-01-20 2011-01-20 Imaging device

Country Status (1)

Country Link
JP (1) JP5737961B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220210334A1 (en) * 2020-12-29 2022-06-30 Industrial Technology Research Institute Movable photographing system and photography composition control method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004080359A (en) * 2002-08-16 2004-03-11 Fuji Photo Film Co Ltd Digital camera and photographing system
JP2009212803A (en) * 2008-03-04 2009-09-17 Fujifilm Corp Imaging apparatus with composition assisting function, and composition assisting method of the same imaging apparatus
JP2010063052A (en) * 2008-09-08 2010-03-18 Sony Corp Image capturing apparatus and method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004080359A (en) * 2002-08-16 2004-03-11 Fuji Photo Film Co Ltd Digital camera and photographing system
JP2009212803A (en) * 2008-03-04 2009-09-17 Fujifilm Corp Imaging apparatus with composition assisting function, and composition assisting method of the same imaging apparatus
JP2010063052A (en) * 2008-09-08 2010-03-18 Sony Corp Image capturing apparatus and method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220210334A1 (en) * 2020-12-29 2022-06-30 Industrial Technology Research Institute Movable photographing system and photography composition control method
US11445121B2 (en) * 2020-12-29 2022-09-13 Industrial Technology Research Institute Movable photographing system and photography composition control method

Also Published As

Publication number Publication date
JP5737961B2 (en) 2015-06-17

Similar Documents

Publication Publication Date Title
US9204051B2 (en) Image pickup apparatus, image pickup method, and non-transitory computer-readable medium
US8976270B2 (en) Imaging device and imaging device control method capable of taking pictures rapidly with an intuitive operation
WO2017221659A1 (en) Image capturing device, display device, and image capturing and displaying system
US10200585B2 (en) Imaging device, imaging system, imaging method, and computer-readable recording medium for use in an imaging system including an external communication device
JP5851766B2 (en) Portable device
JP2012065263A (en) Imaging apparatus
WO2016002355A1 (en) Image capturing device and image capturing method
JP2014146989A (en) Image pickup device, image pickup method, and image pickup program
US8547454B2 (en) Digital image photographing apparatuses and methods of controlling the same to provide location information
JP2006020111A (en) Camera
JP2018007041A (en) Imaging apparatus, display device, and imaging and display system
JP2011035752A (en) Imaging apparatus
JP2014068081A (en) Imaging apparatus and control method of the same, program and storage medium
JP6300569B2 (en) Imaging apparatus and control method thereof
JP5737961B2 (en) Imaging device
JP2008113466A (en) Electronic camera
JP2007195099A (en) Photographing apparatus
JP2004088607A (en) Imaging apparatus, imaging method and program
JP5962974B2 (en) Imaging apparatus, imaging method, and program
JP6704301B2 (en) Imaging device and imaging display system
JP2015092780A (en) Imaging apparatus and imaging method
JP5934844B2 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
JP2010183565A (en) Image capturing apparatus, image retrieval device, and program
JP2004112549A (en) Digital still camera apparatus
JP2022060315A (en) Imaging and display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150421

R150 Certificate of patent or registration of utility model

Ref document number: 5737961

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250