JP2012199807A - Imaging apparatus, imaging method, and program - Google Patents

Imaging apparatus, imaging method, and program Download PDF

Info

Publication number
JP2012199807A
JP2012199807A JP2011062953A JP2011062953A JP2012199807A JP 2012199807 A JP2012199807 A JP 2012199807A JP 2011062953 A JP2011062953 A JP 2011062953A JP 2011062953 A JP2011062953 A JP 2011062953A JP 2012199807 A JP2012199807 A JP 2012199807A
Authority
JP
Japan
Prior art keywords
composition information
composition
imaging
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011062953A
Other languages
Japanese (ja)
Other versions
JP2012199807A5 (en
Inventor
Yoshisuke Nakamura
善亮 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2011062953A priority Critical patent/JP2012199807A/en
Publication of JP2012199807A publication Critical patent/JP2012199807A/en
Publication of JP2012199807A5 publication Critical patent/JP2012199807A5/ja
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To allow a user to easily obtain an image captured by a composition close to a desired image only by performing a simple operation without requiring much time and labor.SOLUTION: An imaging apparatus 1 includes a composition information storage part 51, an imaging part 16, a composition information detection part 43, and a composition information determination part 44. The composition information storage part 51 stores composition information for specifying the composition of a reference image. The imaging part 16 successively captures the image of a subject and outputs the data of the captured image. The composition information detection part 43 detects the composition information for specifying the composition of the captured image based on the data of the captured image which is output from the imaging part 16. The composition information determination part 44 determines a coincident state between the composition information of the reference image stored by the composition information storage part 51 and the composition information of the captured image detected by the composition information detection part 43.

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。   The present invention relates to an imaging apparatus, an imaging method, and a program.

昨今、ユーザの所望の構図を撮像記録前(シャッタボタン押下前)にガイドするデジタルカメラが提案されている。
特許文献1に記載の従来のデジタルカメラは、過去の撮像画像から抽出されたエッジや、所定のガイド枠のみを含み、それ以外の部分を透過させた過去画像のデータを生成し、当該過去画像を現在のライブビュー画像に重畳表示させる。
Recently, there has been proposed a digital camera that guides a user's desired composition before imaging recording (before pressing the shutter button).
The conventional digital camera described in Patent Literature 1 generates data of a past image that includes only an edge extracted from a past captured image or a predetermined guide frame, and transmits other portions, and the past image Is superimposed on the current live view image.

特開2005−51776号公報JP 2005-51776 A

しかしながら、ユーザは、特許文献1に記載の従来のデジタルカメラを用いて、所望の構図で撮像記録操作(シャッタボタンの押下操作)をするまでには、煩雑で手間のかかる操作が必要である。
具体的には、ユーザは、過去の撮像画像と同様の構図になった撮像画像のデータを得るためには、従来のデジタルカメラの画面を目視しながら、過去の撮像画像のエッジやガイド枠に、現在のライブビュー画像に含まれる被写体等が合致するように、当該従来のデジタルカメラの姿勢を変更させる、といった操作を何度も繰り返さなければならない。そして、ユーザは、このような煩雑で手間のかかる操作を何度も繰り返した後、自らが最良と思われる構図になった段階ではじめて、シャッタボタンを押下する必要があった。
However, the user needs a complicated and troublesome operation until the user performs an image recording operation (pressing operation of the shutter button) with a desired composition using the conventional digital camera described in Patent Document 1.
Specifically, in order to obtain data of a captured image having the same composition as that of a past captured image, the user visually observes the screen of a conventional digital camera while looking at the edge or guide frame of the past captured image. The operation of changing the posture of the conventional digital camera so that the subject included in the current live view image matches must be repeated many times. Then, after repeating such a complicated and time-consuming operation many times, the user has to press the shutter button only when the composition is considered to be the best.

本発明は、このような状況に鑑みてなされたものであり、ユーザにとって、簡単で手間のかからない操作をするだけで、所望の画像に近い構図で撮像された画像を容易に得ることを可能とすることを目的とする。   The present invention has been made in view of such a situation, and it is possible for a user to easily obtain an image captured with a composition close to a desired image only by performing a simple and trouble-free operation. The purpose is to do.

上記目的を達成するため、本発明の一態様の撮像装置は、
参照画像の構図を特定するための構図情報を記憶する構図情報記憶手段と、
被写体を逐次撮像して撮像画像のデータを出力する撮像手段と、
前記撮像手段から出力された撮像画像のデータに基づいて、当該撮像画像の構図を特定するための構図情報を検出する構図情報検出手段と、
前記構図情報記憶手段により記憶された前記参照画像の前記構図情報と、前記構図情報検出手段により検出された前記撮像画像の前記構図情報との間の合致状態を判定する構図情報判定手段と、
を備えることを特徴とする。
In order to achieve the above object, an imaging device of one embodiment of the present invention includes:
Composition information storage means for storing composition information for specifying the composition of the reference image;
Imaging means for sequentially imaging a subject and outputting captured image data;
Composition information detection means for detecting composition information for specifying the composition of the captured image based on the data of the captured image output from the imaging means;
Composition information determination means for determining a matching state between the composition information of the reference image stored by the composition information storage means and the composition information of the captured image detected by the composition information detection means;
It is characterized by providing.

本発明によれば、ユーザにとって、簡単で手間のかからない操作をするだけで、所望の画像に近い構図で撮像された画像を容易に得ることができる。   According to the present invention, it is possible for a user to easily obtain an image picked up with a composition close to a desired image only by performing a simple and trouble-free operation.

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。It is a block diagram which shows the structure of the hardware of the imaging device which concerns on one Embodiment of this invention. 図1の撮像装置の機能的構成のうち、判定処理を実行するための機能的構成を示す機能ブロック図である。It is a functional block diagram which shows the functional structure for performing a determination process among the functional structures of the imaging device of FIG. 図1の撮像装置のRAMに記憶されている参照テーブルの構造例を示している。2 shows an example of the structure of a reference table stored in the RAM of the imaging apparatus in FIG. 図2の機能的構成を有する図1の撮像装置が実行する撮像処理の流れを説明するフローチャートである。3 is a flowchart illustrating a flow of an imaging process executed by the imaging apparatus of FIG. 1 having the functional configuration of FIG. 2. 図2の機能的構成を有する図1の撮像装置が実行する判定処理の流れを説明するフローチャートである。3 is a flowchart illustrating a flow of determination processing executed by the imaging apparatus of FIG. 1 having the functional configuration of FIG. 2. 図1の撮像装置のROMに記憶されている図3の参照テーブルに記憶されている参照画像の一例を示している。4 shows an example of a reference image stored in the reference table of FIG. 3 stored in the ROM of the imaging apparatus of FIG. 図5の判定処理中の出力部のディスプレイの画面の一例を示している。6 shows an example of a display screen of the output unit during the determination process of FIG.

以下、本発明の実施形態について、図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置1は、例えばデジタルカメラとして構成される。
FIG. 1 is a block diagram showing a hardware configuration of an imaging apparatus according to an embodiment of the present invention.
The imaging device 1 is configured as a digital camera, for example.

撮像装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、傾きセンサ20と、通信部21と、ドライブ22と、を備えている。   The imaging apparatus 1 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a bus 14, an input / output interface 15, an imaging unit 16, and an input unit 17. An output unit 18, a storage unit 19, a tilt sensor 20, a communication unit 21, and a drive 22.

CPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。   The CPU 11 executes various processes according to a program recorded in the ROM 12 or a program loaded from the storage unit 19 to the RAM 13.

RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。   The RAM 13 appropriately stores data necessary for the CPU 11 to execute various processes.

CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、傾きセンサ20、通信部21及びドライブ22が接続されている。   The CPU 11, ROM 12, and RAM 13 are connected to each other via a bus 14. An input / output interface 15 is also connected to the bus 14. An imaging unit 16, an input unit 17, an output unit 18, a storage unit 19, a tilt sensor 20, a communication unit 21, and a drive 22 are connected to the input / output interface 15.

撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。   Although not shown, the imaging unit 16 includes an optical lens unit and an image sensor.

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The optical lens unit is also provided with a peripheral circuit for adjusting setting parameters such as focus, exposure, and white balance as necessary.

イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、CPU11に適宜供給される。
The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal as an analog signal to the AFE.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. Through various signal processing, a digital signal is generated and output as an output signal of the imaging unit 16.
Hereinafter, the output signal of the imaging unit 16 is referred to as “captured image data”. The captured image data is appropriately supplied to the CPU 11.

このような撮像部16の動作は、CPU11によって、詳細には、後述の図2を参照して説明する撮像制御部41によって制御される。例えば、撮像制御部41は、撮像部16の各種撮像条件を設定する。例えば撮像制御部41は、撮像条件の1つとしてズーム倍率を設定し、設定したズーム倍率になるように、図示せぬレンズ駆動部を制御してズームレンズを駆動する。   Such an operation of the imaging unit 16 is controlled by the CPU 11 in detail by an imaging control unit 41 described with reference to FIG. For example, the imaging control unit 41 sets various imaging conditions for the imaging unit 16. For example, the imaging control unit 41 sets a zoom magnification as one of the imaging conditions, and controls a lens driving unit (not shown) to drive the zoom lens so that the set zoom magnification is obtained.

入力部17は、電源ボタン、シャッタボタン、構図選択ボタン等、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部19は、ハードディスク或いはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
The input unit 17 includes various buttons such as a power button, a shutter button, a composition selection button, and the like, and inputs various information according to a user's instruction operation.
The output unit 18 includes a display, a speaker, and the like, and outputs images and sounds.
The storage unit 19 is composed of a hard disk, a DRAM (Dynamic Random Access Memory), or the like, and stores various image data.

傾きセンサ20は、加速度センサ等で構成され、撮像装置1の傾きの度合いとして、撮像装置1の仰角、俯角、及び光軸周りの撮像装置1の回転角等を検出する。ここで、撮像装置1の仰角及び俯角とは、撮像部16の光学レンズ部の光軸が水平面となす角度をいう。
通信部21は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
The inclination sensor 20 is configured by an acceleration sensor or the like, and detects the elevation angle, depression angle, rotation angle of the imaging device 1 around the optical axis, and the like as the degree of inclination of the imaging device 1. Here, the elevation angle and the depression angle of the imaging device 1 refer to angles formed by the optical axis of the optical lens unit of the imaging unit 16 and a horizontal plane.
The communication unit 21 controls communication with other devices (not shown) via a network including the Internet.

ドライブ22には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ22によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。   A removable medium 31 composed of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached to the drive 22. The program read from the removable medium 31 by the drive 22 is installed in the storage unit 19 as necessary. The removable medium 31 can also store various data such as image data stored in the storage unit 19 in the same manner as the storage unit 19.

図2は、このような撮像装置1の機能的構成のうち、判定処理を実行するための機能的構成を示す機能ブロック図である。   FIG. 2 is a functional block diagram illustrating a functional configuration for executing the determination process among the functional configurations of the imaging apparatus 1 as described above.

ここでいう「判定処理」とは、次のような一連の処理をいう。即ち、撮像装置1は、ROM12に記憶された参照画像の構図情報と、ライブビュー画像(ライブビュー画像については後述する)のデータから検出された撮像画像の構図情報と、がどの程度合致しているのかを示す合致の度合の状態(以下、「合致状態」と呼ぶ)を判定する。撮像装置1は、この構図情報の合致状態をユーザに報知し、その後、所定の判定結果に基づいて、構図情報の合致状態が合致している状態になると、その時点のライブビュー画像のデータを撮像画像のデータとして記録する。
なお、「参照画像」とは、絵画や名画等、ユーザが撮影をする際に参照したい構図を備える画像をいう。
Here, the “determination process” refers to the following series of processes. That is, the imaging apparatus 1 matches the composition information of the reference image stored in the ROM 12 with the composition information of the captured image detected from the data of the live view image (the live view image will be described later). The state of the degree of coincidence indicating whether or not it is present (hereinafter referred to as “match state”) is determined. The imaging device 1 informs the user of the match state of the composition information, and then, when the match state of the composition information is matched based on a predetermined determination result, the data of the live view image at that time is displayed. Recorded as captured image data.
The “reference image” refers to an image having a composition that the user wants to refer to when taking a picture, such as a painting or a masterpiece.

CPU11においては、判定処理の実行が制御される場合、撮像制御部41と、画像取得部42と、構図情報検出部43と、構図情報判定部44と、報知制御部45と、表示制御部46と、が機能する。
また、ROM12においては、後述の参照画像の構図情報を記憶するために、構図情報記憶部51、が機能する。
In the CPU 11, when execution of the determination process is controlled, the imaging control unit 41, the image acquisition unit 42, the composition information detection unit 43, the composition information determination unit 44, the notification control unit 45, and the display control unit 46. And it works.
In the ROM 12, a composition information storage unit 51 functions to store composition information of a reference image, which will be described later.

撮像制御部41は、撮像部16の撮像動作を制御する。ここでいう撮像動作の制御とは、記録用の撮像画像のデータを撮像部16が出力するまでに行われる制御であり、後述するライブビュー画像のデータを撮像部16が出力するための制御や、ズーム倍率等の撮像部16の撮像条件を変更する制御も含まれる。   The imaging control unit 41 controls the imaging operation of the imaging unit 16. The control of the imaging operation here is control performed until the imaging unit 16 outputs the captured image data for recording, and the control for the imaging unit 16 to output the data of the live view image to be described later. Also included is control for changing the imaging conditions of the imaging unit 16 such as zoom magnification.

画像取得部42は、撮像部16から出力された撮像画像のデータを、ライブビュー画像のデータとして取得する。
即ち、CPU11等は、撮影処理の実行中やその前後に、ライブビュー撮像処理及びライブビュー表示処理を実行することで、ライブビュー画像を出力部18のディスプレイに表示させる。
具体的には、CPU11等は、本実施形態では撮像制御部41は、例えば動作モードが撮像動作のモードに切り替えられると、撮像部16による撮像動作を継続させる。そして、CPU11等は、本実施形態では撮像制御部41は、撮像部16による撮像動作が継続されている間、当該撮像部16から順次出力される撮像画像のデータを、メモリ(本実施形態では記憶部19)に一時的に記憶させる。このような一連の制御処理が、ここでいう「ライブビュー撮像処理」である。
また、CPU11等は、ライブビュー撮像処理の最中にメモリ(本実施形態では記憶部19)に一時的に記録された各撮像画像のデータを順次読み出して、当該撮像画像を出力部18に順次表示させる。このような一連の制御処理が、ここでいう「ライブビュー表示処理」であり、ライブビュー表示処理により出力部18に表示されている撮像画像が、ここでいう「ライブビュー画像」である。
即ち、画像取得部42は、ライブビュー表示処理のうち、撮像部16から出力された後にメモリ(記憶部19)に一時的に記憶されたライブビュー画像のデータを取得して、構図情報検出部43及び表示制御部46に供給する処理まで実行する、そして、後述の表示制御部46は、ライブビュー表示処理のうち、当該ライブビュー画像を出力部18から表示出力する処理まで実行する。
The image acquisition unit 42 acquires captured image data output from the imaging unit 16 as live view image data.
That is, the CPU 11 or the like displays the live view image on the display of the output unit 18 by executing the live view imaging process and the live view display process during or before the shooting process.
Specifically, in this embodiment, the imaging control unit 41 continues the imaging operation by the imaging unit 16 when the operation mode is switched to the imaging operation mode, for example. In this embodiment, the CPU 11 and the like control the imaging control unit 41 to store the captured image data sequentially output from the imaging unit 16 while the imaging operation by the imaging unit 16 is continued (in the present embodiment). It is temporarily stored in the storage unit 19). Such a series of control processes is the “live view imaging process” referred to herein.
Further, the CPU 11 and the like sequentially read out the data of each captured image temporarily recorded in the memory (the storage unit 19 in this embodiment) during the live view imaging process, and sequentially output the captured image to the output unit 18. Display. Such a series of control processes is the “live view display process” here, and the captured image displayed on the output unit 18 by the live view display process is the “live view image” here.
That is, the image acquisition unit 42 acquires the data of the live view image that is output from the imaging unit 16 and temporarily stored in the memory (storage unit 19) in the live view display process, and the composition information detection unit 43 and processing to be supplied to the display control unit 46, and the display control unit 46 to be described later executes up to processing for displaying and outputting the live view image from the output unit 18 in the live view display processing.

構図情報検出部43は、画像取得部42により取得されたライブビュー画像のデータに基づいて、当該ライブビュー画像の構図を特定するための構図情報を検出する。
ここで、「構図情報」とは、所定の画像や絵画の構図を特定するための情報の集合体である。即ち、構図を特徴付けるための条件が幾つか存在し、所定の画像や絵画が、これらの幾つかの条件の観点でどのような情報を有しているのかに応じて、その構図が特定される。したがって、所定の画像や絵画の構図情報とは、任意の数の任意の種類の条件の各々に関し、当該所定の画像や絵画がどのような特徴を有しているのかを示す情報の集合体である。
The composition information detection unit 43 detects composition information for specifying the composition of the live view image based on the data of the live view image acquired by the image acquisition unit 42.
Here, “composition information” is a collection of information for specifying the composition of a predetermined image or painting. In other words, there are some conditions for characterizing the composition, and the composition is specified according to what information a predetermined image or painting has in terms of these several conditions. . Therefore, the composition information of a predetermined image or painting is a collection of information indicating what characteristics the predetermined image or painting has for each of an arbitrary number of arbitrary types of conditions. is there.

本実施形態においては、このような条件として、3次元方向、距離、及び遠近感といった3つの条件が採用されている。これらの3つの条件に関して、所定の画像や絵画がどのような特徴を有しているのかを示す情報の集合体が構図情報として採用されている。
即ち、本実施形態の構図情報は、3次元方向の情報、距離の情報、及び遠近感の情報からなる。
In this embodiment, three conditions such as a three-dimensional direction, a distance, and a perspective are adopted as such conditions. With respect to these three conditions, a collection of information indicating what characteristics a predetermined image or picture has is adopted as composition information.
That is, the composition information of the present embodiment includes information in a three-dimensional direction, distance information, and perspective information.

「3次元方向」とは、地上の3次元実空間上で参照画像又は撮像画像にオブジェクトとして含まれる対象物(画像ならば被写体となる物体であり、絵画ならば描画対象の物体)をみる場合の、当該3次元実空間内での方向をいう。
より詳細には、所定の撮像画像(ライブビュー画像を含む)を撮像する際の撮像装置(必ずしも撮像装置1である必要はない)の姿勢により特定される、当該撮像装置の光軸の方向(3次元実空間内の3次元の方向)が、当該所定の撮像画像についての3次元方向の一例である。また、所定の絵画を描画する際の人間の姿勢により特定される、当該人間の視線の方向(3次元実空間内の3次元の方向)もまた、所定の絵画についての3次元方向の一例である。
本実施形態では、処理対象のライブビュー画像が撮像されたときの撮像装置1の姿勢に基づいて3次元方向の情報が検出される。具体的には、処理対象のライブビュー画像が撮像されたときの傾きセンサ20の検出結果、即ち、仰角及び俯角が、3次元方向の情報として構図情報検出部43によって取得される。
ただし、構図情報検出部43による3次元方向の検出手法は、特に本実施形態の例に限定されず、その他例えば、処理対象のライブビュー画像に対して画像処理を施して、その画像処理の結果から3次元方向を検出する手法を採用してもよい。
具体的には、構図情報検出部43は、処理対象のライブビュー画像のデータのうち色情報等を用いて、コントラスト変化を算出し、その算出結果に基づいて、当該ライブビュー画像に含まれる建物、人、又は草木等の特徴的なオブジェクト(被写体や背景等)を検出する。そして、構図情報検出部43は、検出したオブジェクトの向きや配置に基づいて、当該オブジェクトが撮像された方向を特定し、その特定結果に基づいて3次元方向の情報を検出してもよい。
或いはまた、構図情報検出部43は、背景画像のエッジの画素値を利用して輪郭線を検出し、輪郭線内の領域を特徴領域として抽出し、その特定結果に基づいて3次元方向の情報を検出してもよい。
“Three-dimensional direction” refers to a case where a target object (an object that is a subject in the case of an image or an object to be drawn in the case of a painting) included as an object in a reference image or a captured image in a three-dimensional real space on the ground Is the direction in the three-dimensional real space.
More specifically, the direction of the optical axis of the imaging apparatus (specified by the attitude of the imaging apparatus (not necessarily the imaging apparatus 1) when capturing a predetermined captured image (including a live view image) ( 3D direction in the 3D real space) is an example of the 3D direction for the predetermined captured image. In addition, the direction of the line of sight of the person (three-dimensional direction in the three-dimensional real space) specified by the posture of the person when drawing the predetermined painting is also an example of the three-dimensional direction of the predetermined painting. is there.
In the present embodiment, information in a three-dimensional direction is detected based on the attitude of the imaging device 1 when a live view image to be processed is captured. Specifically, the detection result of the inclination sensor 20 when the live view image to be processed is captured, that is, the elevation angle and the depression angle are acquired by the composition information detection unit 43 as information in a three-dimensional direction.
However, the detection method in the three-dimensional direction by the composition information detection unit 43 is not particularly limited to the example of the present embodiment. For example, image processing is performed on the live view image to be processed, and the result of the image processing is performed. A method of detecting a three-dimensional direction from the above may be adopted.
Specifically, the composition information detection unit 43 calculates the contrast change using color information or the like in the data of the live view image to be processed, and based on the calculation result, the building included in the live view image A characteristic object (subject, background, etc.) such as a person or a plant is detected. Then, the composition information detection unit 43 may identify the direction in which the object is imaged based on the detected orientation and arrangement of the object, and may detect information on the three-dimensional direction based on the identification result.
Alternatively, the composition information detection unit 43 detects a contour line using the pixel values of the edge of the background image, extracts a region in the contour line as a feature region, and information on the three-dimensional direction based on the identification result May be detected.

「遠近感」とは、対象の画像又は絵画を鑑賞者が鑑賞したときに、当該鑑賞者が感じ取ることができる立体的な奥行きや厚み等をいい、この立体的な奥行きや厚み等の度合いを示す指標が、遠近感の情報として構図情報検出部43によって検出される。
遠近感の情報は、地上の3次元実空間のうち撮像装置1の画角の範囲内の部分における、1の主要被写体(人物等)と、それ以外の被写体(画像内で背景になるものも含む)との間の実際の位置関係(以下、「実被写体間位置関係」と呼ぶ)を考慮して取得される。換言すると、遠近感の情報は、実被写体間位置関係が考慮された情報であれば足り、具体的な取得手法は特に限定されない。そこで、本実施形態では、処理対象のライブビュー画像に含まれる1の主要オブジェクト(主要被写体の像)についての焦点距離と、それ以外のオブジェクトに対する焦点距離とがそれぞれ求められる。具体的には、フォーカスレンズが順次移動され、所定のオブジェクトにおいて合焦した時点における、フォーカスレンズの光軸方向の位置によって、当該所定のオブジェクトの焦点距離が求められる。そして、1の主要オブジェクトと、それ以外のオブジェクトとの各焦点距離の比較によって、実被写体間の位置関係が予測演算され、その予測演算の算出結果に基づいて遠近感の情報が取得される。このため、1の主要オブジェクトを含む各オブジェクトに対する各焦点距離が、撮像制御部41から検出される。
“Perspective” refers to the three-dimensional depth and thickness that the viewer can perceive when the viewer views the target image or painting. The index shown is detected by the composition information detection unit 43 as perspective information.
Perspective information includes one main subject (such as a person) and a subject other than the main subject (such as a person in the image) in a portion within the range of the angle of view of the imaging apparatus 1 in the three-dimensional real space on the ground. In consideration of the actual positional relationship (hereinafter referred to as “real subject positional relationship”). In other words, the perspective information only needs to be information that takes into account the positional relationship between actual subjects, and the specific acquisition method is not particularly limited. Therefore, in this embodiment, the focal length for one main object (image of the main subject) included in the live view image to be processed and the focal length for other objects are obtained. Specifically, the focal length of the predetermined object is obtained from the position of the focus lens in the optical axis direction when the focus lens is sequentially moved and focused on the predetermined object. Then, the positional relationship between the actual subjects is predicted and calculated by comparing the focal lengths of one main object and other objects, and perspective information is acquired based on the calculation result of the prediction calculation. For this reason, each focal length with respect to each object including one main object is detected from the imaging control unit 41.

「距離」とは、地上の3次元実空間上で参照画像又は撮像画像にオブジェクトとして含まれる対象物(画像ならば被写体となる物体であり、絵画ならば描画対象の物体)までの、当該3次元実空間内での実距離をいう。
ここで、ライブビュー画像を含む撮像画像については、当該撮像画像に含まれる主要オブジェクトに対応する主要被写体(人物等)が「対象物」になる。したがって、3次元実空間内において、当該撮像画像を撮像した撮像装置(必ずしも撮像装置1である必要はない)と、当該撮像画像に含まれる主要オブジェクトに対応する主要被写体(人物等)との間の実距離が、ここでいう「距離」になる。
また、絵画については、当該絵画に描かれている主要オブジェクトに対応する実物体(人物等)が「対象物」になる。したがって、3次元実空間内において、絵画に含まれる主要オブジェクトに対応する主要被写体(人物等)と、当該絵画を描画している人物(画家)との間の実距離が、ここでいう「距離」になる。
距離の情報の取得手法は、特に限定されず、例えば超音波やレーザ等を用いた測距センサを用いた手法であってもよい。ただし、本実施形態では、上述の遠近感の情報とともに取得することが可能となるように、1の主要オブジェクトに対する各焦点距離を用いて、距離を予測演算する手法が、距離の情報の取得手法として採用されている。
撮像制御部41は、1の主要オブジェクトを含む各オブジェクトの各々についての焦点距離の情報、及びライブビュー画像のデータを撮像部16に供給する。
“Distance” refers to the three objects up to a target object (an object that is a subject in the case of an image and a target object to be drawn in the case of a painting) included as an object in a reference image or a captured image in a three-dimensional real space on the ground. The real distance in the dimensional real space.
Here, for a captured image including a live view image, a main subject (such as a person) corresponding to the main object included in the captured image becomes a “target”. Accordingly, in the three-dimensional real space, between the imaging device that captured the captured image (not necessarily the imaging device 1) and the main subject (such as a person) corresponding to the main object included in the captured image. The actual distance is the “distance” here.
For a painting, a real object (such as a person) corresponding to a main object drawn in the painting becomes a “target”. Therefore, in the three-dimensional real space, the actual distance between the main subject (person, etc.) corresponding to the main object included in the painting and the person (painter) who is drawing the painting is the “distance” "become.
The method for acquiring the distance information is not particularly limited, and may be a method using a distance measuring sensor using, for example, an ultrasonic wave or a laser. However, in the present embodiment, a method for predicting and calculating the distance using each focal length for one main object is a distance information acquisition method so that it can be acquired together with the above-described perspective information. Has been adopted as.
The imaging control unit 41 supplies the imaging unit 16 with focal length information and live view image data for each object including one main object.

構図情報検出部43は、このようにして、3次元方向の情報、遠近感の情報、及び距離の情報を含む構図情報を検出し、構図情報判定部44に供給する。   In this way, the composition information detection unit 43 detects the composition information including the information in the three-dimensional direction, the perspective information, and the distance information, and supplies the composition information to the composition information determination unit 44.

構図情報判定部44は、ROM12(より詳細には、後述の構図情報記憶部51)に予め記憶されている参照画像の構図情報と、構図情報検出部43により検出されたライブビュー画像の構図情報と、の合致状態を判定する。   The composition information determination unit 44 includes composition information of a reference image stored in advance in the ROM 12 (more specifically, composition information storage unit 51 described later), and composition information of a live view image detected by the composition information detection unit 43. And the matching state is determined.

より具体的には、構図情報判定部44は、構図情報記憶部51に記憶された参照テーブルに基づいて、所定の参照画像(絵画)に対応する絵画情報を特定して、当該絵画情報に対応する構図情報を構図情報判定部44に供給する。
そこで、以下この参照テーブルについて説明する。
More specifically, the composition information determination unit 44 identifies painting information corresponding to a predetermined reference image (painting) based on the reference table stored in the composition information storage unit 51, and corresponds to the painting information. The composition information to be supplied is supplied to the composition information determination unit 44.
The reference table will be described below.

図3は、図1の撮像装置1のROM12(より詳細には、構図情報記憶部51)に記憶されている参照テーブルの構造例を示している。
参照テーブルとは、「画家名」及び「作品名」を含む「絵画情報」と、「3次元方向」の情報、「距離」の情報、及び「遠近感」の情報を含む「構図情報」の組み合わせとの関係を示すテーブルである。したがって、参照テーブルの構造は、このような関係を示すものであれば足り、特に限定されないが、本実施形態では図3に示すように行列構造となっている。
図3の参照テーブルの所定行には、「絵画情報」に対応する「画家名」及び「作品名」で特定される所定の1つの参照画像(絵画)が対応付けられている。そして、当該所定行には、当該絵画に対応する、「3次元方向」の情報、「距離」の情報、及び「遠近感」の情報を含む「構図情報」が格納される。
FIG. 3 shows an example of the structure of a reference table stored in the ROM 12 (more specifically, the composition information storage unit 51) of the imaging apparatus 1 in FIG.
The reference table includes “painting information” including “painter name” and “work name”, “three-dimensional direction” information, “distance” information, and “composition information” information including “perspective” information. It is a table which shows the relationship with a combination. Therefore, the structure of the reference table is not particularly limited as long as it shows such a relationship, but in the present embodiment, it has a matrix structure as shown in FIG.
A predetermined row of the reference table in FIG. 3 is associated with one predetermined reference image (painting) specified by “painter name” and “work name” corresponding to “picture information”. In the predetermined row, “composition information” including “three-dimensional direction” information, “distance” information, and “perspective” information corresponding to the picture is stored.

具体的には、所定行に格納される「画家名」とは、当該所定行に対応する参照画像の著者名又は作家名を示す情報である。また、所定行に格納される「作品名」とは、当該所定行に対応する参照画像の名称を示す情報である。この「画家名」又は「作品名」を含む「絵画情報」が、後述の出力部18によって提示される参照画像情報の内容である。   Specifically, the “painter name” stored in a predetermined line is information indicating the author name or author name of the reference image corresponding to the predetermined line. The “work name” stored in a predetermined line is information indicating the name of the reference image corresponding to the predetermined line. The “painting information” including this “painter name” or “work name” is the content of the reference image information presented by the output unit 18 described later.

所定行に格納される「3次元方向」の情報、「距離」の情報、及び「遠近感」の情報とは、当該所定行に対応する参照画像に対して予め求められている、構図情報の各内容である。即ち、この「3次元方向」の情報、「距離」の情報、「遠近感」の情報が、構図情報判定部44によりライブビュー画像の構図情報と比較される比較相手である、当該所定行に対応する参照画像の構図情報である。   The “three-dimensional direction” information, the “distance” information, and the “perspective” information stored in the predetermined row are the composition information obtained in advance for the reference image corresponding to the predetermined row. Each content. That is, the information on the “three-dimensional direction”, the information on “distance”, and the information on “perspective” are compared with the composition information of the live view image by the composition information determination unit 44 in the predetermined row. It is composition information of a corresponding reference image.

なお、「3次元方向」の情報、「距離」の情報、「遠近感」の情報を含む図3の参照テーブルのデータベースの作成手法については、後述の図6を参照して説明する。
また、本実施形態においては、図3の参照テーブルは、ROM12の構図情報記憶部51に記憶しているがこれに限られるものではなく、記憶部19やRAM13であってもよい。
A method of creating the reference table database shown in FIG. 3 including “three-dimensional direction” information, “distance” information, and “perspective” information will be described with reference to FIG.
In the present embodiment, the reference table of FIG. 3 is stored in the composition information storage unit 51 of the ROM 12, but is not limited thereto, and may be the storage unit 19 or the RAM 13.

構図情報判定部44は、このような参照画像の構図情報のうち3次元方向の情報と、処理対象のライブビュー画像についての構図情報のうちの3次元方向の情報とを比較する。
同様に、構図情報判定部44は、参照画像の構図情報のうち遠近感の情報と、処理対象のライブビュー画像についての構図情報のうちの遠近感の情報とを比較する。構図情報判定部44は、参照画像の構図情報のうちの距離の情報と、処理対象のライブビュー画像についての構図情報のうちの距離の情報とを比較する。
そして、構図情報判定部44は、これらの比較の結果を総合的に判断して、参照画像と処理対象のライブビュー画像との各構図情報の合致状態を判定し、その判定結果を撮像制御部41及び報知制御部45に通知する。
The composition information determination unit 44 compares the information in the three-dimensional direction in the composition information of the reference image and the information in the three-dimensional direction in the composition information about the live view image to be processed.
Similarly, the composition information determination unit 44 compares perspective information in the composition information of the reference image with perspective information in the composition information about the live view image to be processed. The composition information determination unit 44 compares the distance information in the composition information of the reference image with the distance information in the composition information about the live view image to be processed.
Then, the composition information determination unit 44 comprehensively determines the result of the comparison, determines the matching state of each piece of composition information between the reference image and the live view image to be processed, and the determination result is used as the imaging control unit. 41 and the notification control unit 45.

報知制御部45は、構図情報判定部44により判定された判定結果、即ち、図3の参照テーブルの参照画像の構図情報と、処理対象のライブビュー画像から検出された構図情報との合致状態を報知する制御を実行する。
ここで、報知の形態は、特に限定されず、例えば所定の音声により提示する形態を採用してもよいが、本実施形態では、構図情報の差異を示す画像を出力部18のディスプレイに表示する形態が採用される。
報知制御部45は、構図情報判定部44により判定された「3次元方向」の情報、「距離」の情報、及び「遠近感」の情報を含む各構図情報の差異を示す情報を表示制御部46に供給する。
The notification control unit 45 indicates the determination result determined by the composition information determination unit 44, that is, the matching state between the composition information of the reference image in the reference table in FIG. 3 and the composition information detected from the live view image to be processed. Control to notify is executed.
Here, the form of notification is not particularly limited, and for example, a form presented by a predetermined voice may be adopted. However, in the present embodiment, an image indicating a difference in composition information is displayed on the display of the output unit 18. A form is adopted.
The notification control unit 45 displays information indicating a difference between the pieces of composition information including the “three-dimensional direction” information, the “distance” information, and the “perspective” information determined by the composition information determination unit 44. 46.

表示制御部46は、報知制御部45から供給された各構図情報の差異を示す情報を、出力部18のディスプレイに表示させる制御を実行する。
なお、報知制御部45により供給された各構図情報の差異を示す情報は、通信部21によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パーソナルコンピュータ、プロジェクタ等でも、各構図情報の差異を示す情報の表示が可能になる。
The display control unit 46 performs control to display information indicating the difference between the composition information supplied from the notification control unit 45 on the display of the output unit 18.
In addition, the information which shows the difference of each composition information supplied by the alerting | reporting control part 45 can also be made to output to the external apparatus which is not shown by the communication part 21. FIG. As a result, it is possible to display information indicating the difference in composition information even in an external device such as a television receiver, a personal computer, or a projector.

次に、図4を参照して、このような図2の機能的構成を有する撮像装置1が実行する処理のうち、撮影処理について説明する。
図4は、図2の機能的構成を有する図1の撮像装置1が実行する撮影処理の流れを説明するフローチャートである。
Next, with reference to FIG. 4, a photographing process will be described among the processes executed by the imaging apparatus 1 having the functional configuration of FIG.
FIG. 4 is a flowchart for explaining the flow of imaging processing executed by the imaging apparatus 1 of FIG. 1 having the functional configuration of FIG.

撮影処理は、ユーザの入力部17に対する所定操作により、撮像装置1の動作モードが撮影モードに切り替えられたことを契機として開始され、その後、所定の単位時間毎に繰り返し実行される。即ち、所定の単位時間毎に、次のような処理が繰り返し実行される。   The photographing process is started when the operation mode of the imaging apparatus 1 is switched to the photographing mode by a predetermined operation on the input unit 17 by the user, and is then repeatedly executed every predetermined unit time. That is, the following processing is repeatedly executed every predetermined unit time.

ステップS11において、表示制御部46は、ライブビュー表示処理を開始する。これにより、ライブビュー画像が出力部18のディスプレイに表示される。
なお、本実施形態では、ステップS11の処理でライブビュー表示処理が開始されると、それ以降撮影処理が終了されるまでの間、ライブビュー画像が出力部18のディスプレイに表示され続けるものとする。
In step S11, the display control unit 46 starts live view display processing. Thereby, the live view image is displayed on the display of the output unit 18.
In the present embodiment, when the live view display process is started in the process of step S <b> 11, the live view image is continuously displayed on the display of the output unit 18 until the shooting process is ended thereafter. .

ステップS12において、撮像制御部41は、構図選択操作がされたか否かを判定する。
即ち、撮像制御部41は、入力部17の構図選択ボタンが押下され、出力部18のディスプレイに表示された「画家名」及び「作品名」を含む参照画像情報の中から、ユーザの所望する参照画像情報が選択されたか否かを判定する。構図選択操作がされていない場合、ステップS12においてNOであると判定されて、処理はステップS16に進む。
In step S12, the imaging control unit 41 determines whether or not a composition selection operation has been performed.
That is, the imaging control unit 41 presses the composition selection button of the input unit 17 and the user desires from the reference image information including “painter name” and “work name” displayed on the display of the output unit 18. It is determined whether reference image information has been selected. If the composition selection operation has not been performed, it is determined as NO in Step S12, and the process proceeds to Step S16.

ステップS16において、撮像制御部41は、通常撮像記録処理を行う。
通常撮像記録処理とは、ユーザにより入力部17のシャッタボタンが押下されると、撮影動作を行い、その結果得られる撮像画像のデータをメモリ(記憶部19等)に記録させるまでの一連の処理をいう。
この処理が終了すると、撮影処理が終了する。
In step S16, the imaging control unit 41 performs a normal imaging recording process.
The normal imaging recording process is a series of processes from when the user presses the shutter button of the input unit 17 until a shooting operation is performed and the resulting captured image data is recorded in a memory (such as the storage unit 19). Say.
When this process ends, the photographing process ends.

これに対して、構図選択操作がされている場合、ステップS12においてYESであると判定されて、処理はステップS13に進む。   On the other hand, when the composition selection operation is performed, it is determined as YES in Step S12, and the process proceeds to Step S13.

ステップS13において、構図情報検出部43は、ライブビュー画像に基づいて被写体(オブジェクト)の構図情報を検出する。   In step S13, the composition information detection unit 43 detects composition information of the subject (object) based on the live view image.

ステップS14において、構図情報判定部44乃至表示制御部46は、後述の図5を参照して説明する判定処理を実行する。これにより、処理はステップS15に進む。   In step S14, the composition information determination unit 44 to the display control unit 46 execute a determination process described with reference to FIG. Thereby, a process progresses to step S15.

ステップS15において、撮像制御部41は、撮像記録処理を行う。
撮像記録処理とは、ユーザにより入力部17のシャッタボタンが押下操作されたか否かに関わらず撮影動作を行い、その結果得られる撮像画像のデータをメモリ(記憶部19等)に自動的に記録させるまでの一連の処理をいう。
この処理が終了すると、撮影処理が終了する。
In step S15, the imaging control unit 41 performs imaging recording processing.
The imaging recording process is performed regardless of whether the user has pressed the shutter button of the input unit 17 or not, and the captured image data obtained as a result is automatically recorded in a memory (such as the storage unit 19). It means a series of processing until it is done.
When this process ends, the photographing process ends.

次に、図5を参照して、このような撮影処理のうち、ステップS14の判定処理について説明する。
図5は、図2の機能的構成を有する図1の撮像装置1が実行する図4の撮影処理のうち、ステップS14の判定処理の流れを説明するフローチャートである。
Next, with reference to FIG. 5, the determination process in step S <b> 14 among such shooting processes will be described.
FIG. 5 is a flowchart for explaining the flow of the determination process in step S14 in the imaging process of FIG. 4 executed by the imaging apparatus 1 of FIG. 1 having the functional configuration of FIG.

判定処理は、本実施形態では、ユーザが入力部17の構図選択ボタンを操作して、1の参照画像情報を選択したことを契機として開始される。即ち、次のような処理が実行される。   In this embodiment, the determination process is started when the user operates the composition selection button of the input unit 17 and selects one reference image information. That is, the following processing is executed.

ステップS31において、構図情報判定部44は、3次元方向は合致したか否かを判定する。具体的には、構図情報判定部44は、ROM12から読み出した3次元方向の情報を含む参照画像の構図情報と、傾きセンサ20から得られる撮像装置1自身の傾きから得られるライブビュー画像の構図情報とを比較して、各3次元方向の情報が合致したか否かを判定する。3次元方向が合致している場合、ステップS31においてYESであると判定されて、処理はステップS33に進む。これに対して、3次元方向が合致していない場合、ステップS31においてNOであると判定されて、処理はステップS32に進む。   In step S31, the composition information determination unit 44 determines whether or not the three-dimensional directions match. Specifically, the composition information determination unit 44 composes a live view image obtained from the composition information of the reference image including the information in the three-dimensional direction read from the ROM 12 and the inclination of the imaging device 1 itself obtained from the inclination sensor 20. The information is compared to determine whether the information in each three-dimensional direction matches. If the three-dimensional directions match, it is determined as YES in step S31, and the process proceeds to step S33. On the other hand, when the three-dimensional directions do not match, it is determined as NO in Step S31, and the process proceeds to Step S32.

ステップS32において、報知制御部45は、ステップS31において判定された結果に基づいて、参照画像の構図情報に含まれる3次元方向の情報と、ライブビュー画像から検出された構図情報に含まれる3次元方向の情報との差異を報知する。
具体的には、報知制御部45は、図3の参照テーブルの参照画像の構図情報に含まれる3次元方向の情報と、傾きセンサ20から得られる撮像装置1自身の傾きから得られるライブビュー画像の構図情報に含まれる3次元情報との差異を出力部18のディスプレイにおいて報知する制御を実行する。この処理が終了すると、処理はステップS31に戻る。
即ち、本実施形態では3次元方向の情報が合致しない限り、3次元方向が合致するまでの間、ステップS31:NO及びステップS32のループ処理が繰り返し実行されて、判定処理は待機状態となる。この間、報知制御部45は、3次元方向の差異を出力部18のディスプレイを通じて報知し続けるため、報知を受けたユーザは、報知に基づくガイドを通じて、参照画像とライブビュー画像との3次元方向の差異を修正することができる。
In step S32, the notification control unit 45, based on the result determined in step S31, information on the three-dimensional direction included in the composition information of the reference image and the three-dimensional information included in the composition information detected from the live view image. The difference with the direction information is notified.
Specifically, the notification control unit 45 is a live view image obtained from information on the three-dimensional direction included in the composition information of the reference image of the reference table in FIG. 3 and the inclination of the imaging device 1 itself obtained from the inclination sensor 20. The control which alert | reports the difference with the three-dimensional information contained in the composition information on the display of the output part 18 is performed. When this process ends, the process returns to step S31.
That is, in this embodiment, unless the information in the three-dimensional direction matches, the loop processing of step S31: NO and step S32 is repeatedly executed until the three-dimensional direction matches, and the determination process enters a standby state. During this time, since the notification control unit 45 continues to notify the difference in the three-dimensional direction through the display of the output unit 18, the user who has received the notification is guided through the guide based on the notification in the three-dimensional direction between the reference image and the live view image. Differences can be corrected.

ステップS33において、構図情報判定部44は、距離は合致したか否かを判定する。具体的には、構図情報判定部44は、ROM12から読み出した距離の情報を含む参照画像の構図情報と、撮像制御部41から得られるオブジェクトまでの距離の情報を含むライブビュー画像の構図情報とを比較して、各距離の情報が合致したか否かを判定する。距離が合致している場合、ステップS33においてYESであると判定されて、処理はステップS35に進む。これに対して、距離が合致していない場合、ステップS33においてNOであると判定されて、処理はステップS34に進む。   In step S33, the composition information determination unit 44 determines whether the distances match. Specifically, the composition information determination unit 44 includes the composition information of the reference image including the distance information read from the ROM 12, and the composition information of the live view image including the distance information to the object obtained from the imaging control unit 41. Are compared to determine whether the information of each distance matches. If the distances match, it is determined as YES in step S33, and the process proceeds to step S35. On the other hand, if the distances do not match, it is determined as NO in step S33, and the process proceeds to step S34.

ステップS34において、報知制御部45は、ステップS33において判定された結果に基づいて、参照画像の構図情報に含まれる距離の情報と、撮像制御部41から検出された構図情報に含まれる距離の情報との差異を解消するためのズーム倍率を報知する。
具体的には、報知制御部45は、図3の参照テーブルの参照画像の構図情報に含まれる距離の情報と、撮像制御部41から検出された構図情報に含まれる距離の情報との差異とに基づき、撮像制御部41において設定すべきズーム倍率を算出する。そして、報知制御部45は、出力部18のディスプレイにおいて算出したズーム倍率を報知する制御を実行する。この処理が終了すると、処理はステップS33に戻る。
即ち、本実施形態では距離の情報が合致しない限り、距離の情報が合致するまでの間、ステップS33:NO及びステップS34のループ処理が繰り返し実行されて、判定処理は待機状態となる。この間、報知制御部45は、距離の差異を解消するためのズーム倍率を出力部18のディスプレイを通じて報知し続けるため、報知を受けたユーザは、報知に基づくガイドを通じて、参照画像とライブビュー画像との距離の差異を修正することができる。
In step S34, the notification control unit 45, based on the result determined in step S33, information on the distance included in the composition information of the reference image and information on the distance included in the composition information detected from the imaging control unit 41. The zoom magnification for eliminating the difference is notified.
Specifically, the notification control unit 45 determines the difference between the distance information included in the composition information of the reference image in the reference table of FIG. 3 and the distance information included in the composition information detected from the imaging control unit 41. Based on the above, the zoom magnification to be set in the imaging control unit 41 is calculated. The notification control unit 45 executes control for notifying the zoom magnification calculated on the display of the output unit 18. When this process ends, the process returns to step S33.
That is, in this embodiment, unless the distance information matches, the loop processing of Step S33: NO and Step S34 is repeatedly executed until the distance information matches, and the determination process enters a standby state. During this time, the notification control unit 45 continues to notify the zoom magnification for eliminating the difference in distance through the display of the output unit 18, so that the user who has received the notification uses the guide based on the notification and the reference image and the live view image. The distance difference can be corrected.

ステップS35において、構図情報判定部44は、遠近感は合致したか否かを判定する。具体的には、構図情報判定部44は、ROM12から読み出した遠近感の情報を含む参照画像の構図情報と、撮像制御部41から得られる各オブジェクトに対する遠近感の情報を含むライブビュー画像の構図情報とを比較して、遠近感の情報が合致したか否かを判定する。遠近感が合致している場合、ステップS35においてYESであると判定されると、判定処理が終了する。これに対して、遠近感が合致していない場合、ステップS35においてNOであると判定されて、処理はステップS36に進む。   In step S35, the composition information determination unit 44 determines whether or not the perspective has matched. Specifically, the composition information determination unit 44 composes a live view image including composition information of a reference image including perspective information read from the ROM 12 and perspective information for each object obtained from the imaging control unit 41. The information is compared to determine whether the perspective information matches. If the sense of perspective matches, if it is determined as YES in step S35, the determination process ends. On the other hand, if the perspective does not match, it is determined as NO in Step S35, and the process proceeds to Step S36.

ステップS36において、報知制御部45は、ステップS35において判定された結果に基づいて、参照画像の構図情報に含まれる遠近感の情報と、撮像制御部41から検出された構図情報に含まれる遠近感の情報との差異を報知する。
具体的には、報知制御部45は、図3の参照テーブルの参照画像の構図情報に含まれる遠近感の情報と、撮像制御部41から検出された構図情報に含まれる遠近感の情報との差異を出力部18のディスプレイにおいて報知する制御を実行する。この処理が終了すると、処理はステップS35に戻る。
即ち、本実施形態では遠近感の情報が合致しない限り、遠近感の情報が合致するまでの間、ステップS35:NO及びステップS36のループ処理が繰り返し実行されて、判定処理は待機状態となる。この間、報知制御部45は、遠近感の差異を出力部18のディスプレイを通じて報知し続けるため、報知を受けたユーザは、報知に基づくガイドを通じて、参照画像とライブビュー画像との遠近感の差異を修正することができる。この処理が終了すると、判定処理が終了する。
In step S36, the notification control unit 45, based on the result determined in step S35, the perspective information included in the composition information of the reference image and the perspective included in the composition information detected from the imaging control unit 41. The difference from the information is notified.
Specifically, the notification control unit 45 includes the perspective information included in the composition information of the reference image of the reference table in FIG. 3 and the perspective information included in the composition information detected from the imaging control unit 41. Control for notifying the difference on the display of the output unit 18 is executed. When this process ends, the process returns to step S35.
That is, in this embodiment, unless the perspective information matches, the loop processing of step S35: NO and step S36 is repeatedly executed until the perspective information matches, and the determination processing enters a standby state. During this time, the notification control unit 45 continues to notify the difference in perspective through the display of the output unit 18, so that the user who has received the notification sees the difference in perspective between the reference image and the live view image through a guide based on the notification. It can be corrected. When this process ends, the determination process ends.

さらに、以下、図6及び図7を参照して、撮影処理及び判定処理について具体的に説明する。   Furthermore, the imaging process and the determination process will be specifically described below with reference to FIGS.

図6は、図1の撮像装置1のROM12に記憶されている図3の参照テーブルに記憶されている参照画像の一例を示している。   6 shows an example of a reference image stored in the reference table of FIG. 3 stored in the ROM 12 of the imaging apparatus 1 of FIG.

図3の参照テーブルのデータベース作成者は、予め絵画である参照画像の画像解析を行い、透視図法から消失点を抽出し、当該消失点の画像上の位置から逆算することにより「3次元方向」の情報を作成する。
例えば、参照画像である絵画が人間の視野角で描かれていると仮定した場合、一点透視図法で消失点が画像の真ん中にあれば撮像装置1を水平にする画像の一番上に消失点がある場合、人間の視野角は125度程度なので、俯角は62.5度であると考えられる。但し、参照画像である絵画がどのような画角(視野角)で描かれているかは、画家の主観であるので、実在する風景画や代替対象物(花瓶等の静物)でない場合、解析不可能であるため、データベース作成者の主観により構築される。
The database creator of the reference table in FIG. 3 performs an image analysis of a reference image that is a painting in advance, extracts vanishing points from the perspective projection method, and performs a reverse calculation from the position of the vanishing point on the image. Create information for.
For example, when it is assumed that a picture that is a reference image is drawn at a human viewing angle, if the vanishing point is in the middle of the image by one-point perspective projection, the vanishing point is placed on the top of the image in which the imaging device 1 is leveled. If there is, the human viewing angle is about 125 degrees, so the depression angle is considered to be 62.5 degrees. However, the angle of view (viewing angle) at which the painting that is the reference image is drawn is subject to the artist's subjectivity, so analysis is not possible if it is not a real landscape image or an alternative object (still life such as a vase). Because it is possible, it is built by the subjectivity of the database creator.

また、図3の参照テーブルのデータベース作成者は、予め絵画である参照画像の画像解析を行い、参照画像中の各オブジェクトに対する距離を既存の手法に基づき算出することにより「距離」の情報を作成する。但し、オブジェクトに対する距離の算出が不可能な場合は、「3次元方向」の情報と同様に、データベース作成者の主観により構築される。   Also, the database creator of the reference table in FIG. 3 performs image analysis of a reference image that is a painting in advance, and creates “distance” information by calculating the distance to each object in the reference image based on an existing method. To do. However, when it is impossible to calculate the distance to the object, it is constructed by the subjectivity of the database creator, as in the “three-dimensional direction” information.

また、図3の参照テーブルのデータベース作成者は、予め絵画である参照画像の画像解析を行い、距離の情報と同様に、参照画像中の各オブジェクトに対する距離を既存の手法に基づき算出し、各オブジェクト間の焦点距離の差分を算出することにより「遠近感」の情報を作成する。但し、オブジェクトに対する遠近感の算出が不可能な場合は、「3次元方向」や「距離」の情報と同様に、データベース作成者の主観により構築される。   The database creator of the reference table in FIG. 3 performs image analysis of the reference image that is a painting in advance, calculates the distance to each object in the reference image based on the existing method, as well as the distance information, Information on “perspective” is created by calculating a difference in focal length between objects. However, when it is impossible to calculate the perspective for the object, the information is constructed by the subjectivity of the database creator as in the “three-dimensional direction” and “distance” information.

このように、構図情報判定部44は、ROM12から読み出した3次元方向の情報を含む参照画像の構図情報と、傾きセンサ20から得られる撮像装置1自身の傾きから得られるライブビュー画像の構図情報とを比較して判定する。この3次元方向の情報には、当該参照画像における画家の視点の仰角や俯角の情報が含まれている。   As described above, the composition information determination unit 44 composes the reference image composition information including the information in the three-dimensional direction read from the ROM 12 and the composition information of the live view image obtained from the inclination of the imaging device 1 itself obtained from the inclination sensor 20. To determine. The information in the three-dimensional direction includes information on the elevation angle and depression angle of the viewpoint of the painter in the reference image.

図7は、図5の判定処理中の出力部18のディスプレイの画面の一例を示している。
示している。
ユーザは、入力部17(図1)の構図選択ボタンを操作することで、参照画像情報の設定を指示することができる(ステップS12:YES)。構図情報検出部43は、このような指示に基づいて、図7に示すようにライブビュー画像中の被写体(オブジェクト)の構図情報を検出する(ステップS13)。本実施形態においては、「3次元方向」の情報として、仰角18度、俯角18度がそれぞれ構図情報として検出されている。ライブビュー画像中の構図情報の検出が終わると、ステップS14の判定処理が開始する。
図7に示すようなライブビュー画像が出力部18のディスプレイに表示されている時に、構図情報判定部44は、図6の参照画像の構図情報に含まれる3次元方向の情報と、図7に示すライブビュー画像の構図情報に含まれる3次元方向の情報が合致するか否かを判定する(図5のステップS31)。合致状態を判定した結果、3次元方向の情報が合致していない場合(図5のステップS31:NO)、3次元方向の差異が報知される(図5のステップS32)。3次元方向の差異の報知としては、図示しないが例えば、「仰角をあげてください」や「画角を調整してください」というメッセージをライブビュー画像中に重畳して表示することができる。
なお、図示していないが、図6の参照画像の構図情報に含まれる距離の情報や遠近感の情報と、図7に示すライブビュー画像の構図情報に含まれる距離の情報や遠近感の情報が合致するか否かも判定される(図5のステップS33、ステップS35)。合致状態を判定した結果、距離の情報や遠近感の情報が合致していない場合(図5のステップS33:NO、ステップS35:NO)、ズーム倍率や遠近感の差異が報知される(図5のステップS34、ステップS36)。
ズーム倍率の報知としては、図示しないが例えば、「ズーム倍率をあげてください」や「ズーム倍率を下げてください」というメッセージをライブビュー画像中に重畳して表示することができる。
遠近感の差異の報知としては、図示しないが例えば、「斜めに向けてください」や「仰角を調整してください」というメッセージをライブビュー画像中に重畳して表示することができる。
ユーザは、このようなメッセージを視認することによって、所望の参照画像に類似する構図に合わせることができる。
FIG. 7 shows an example of the display screen of the output unit 18 during the determination process of FIG.
Show.
The user can instruct the setting of reference image information by operating the composition selection button of the input unit 17 (FIG. 1) (step S12: YES). Based on such an instruction, the composition information detection unit 43 detects composition information of the subject (object) in the live view image as shown in FIG. 7 (step S13). In the present embodiment, as the information of “three-dimensional direction”, an elevation angle of 18 degrees and a depression angle of 18 degrees are respectively detected as composition information. When the detection of the composition information in the live view image is completed, the determination process in step S14 starts.
When the live view image as shown in FIG. 7 is displayed on the display of the output unit 18, the composition information determination unit 44 displays the three-dimensional direction information included in the composition information of the reference image in FIG. It is determined whether or not the information in the three-dimensional direction included in the composition information of the live view image shown matches (step S31 in FIG. 5). As a result of determining the match state, when the information in the three-dimensional direction does not match (step S31 in FIG. 5: NO), the difference in the three-dimensional direction is notified (step S32 in FIG. 5). As notification of the difference in the three-dimensional direction, although not shown, for example, a message “Please raise the elevation angle” or “Please adjust the angle of view” can be displayed superimposed on the live view image.
Although not shown, distance information and perspective information included in the composition information of the reference image in FIG. 6, and distance information and perspective information included in the composition information of the live view image shown in FIG. Is also determined (step S33, step S35 in FIG. 5). As a result of determining the match state, when the distance information and the perspective information do not match (step S33: NO, step S35: NO in FIG. 5), the zoom magnification and the difference in perspective are notified (FIG. 5). Step S34, step S36).
As notification of the zoom magnification, although not shown, for example, a message “Please increase the zoom magnification” or “Please decrease the zoom magnification” can be displayed superimposed on the live view image.
As a notification of the difference in perspective, although not shown, for example, a message “Please turn diagonally” or “Please adjust the elevation angle” can be superimposed and displayed in the live view image.
The user can adjust the composition similar to the desired reference image by visually recognizing such a message.

以上説明したように、本実施形態の撮像装置1は、構図情報記憶部51と、撮像部16と、構図情報検出部43と、構図情報判定部44と、を備える。
構図情報記憶部51は、参照画像の構図を特定するための構図情報を記憶する。
撮像部16は、被写体を逐次撮像して撮像画像のデータを出力する。
構図情報検出部43は、撮像部16から出力された撮像画像のデータに基づいて、当該撮像画像の構図を特定するための構図情報を検出する。
構図情報判定部44は、構図情報記憶部51により記憶された参照画像の構図情報と、構図情報検出部43により検出された撮像画像の構図情報と、の間の合致状態を判定する。
この場合、参照画像の被写体の構図と、ライブビュー画像の被写体の構図と、が合致したか否かが判定される。このため、ユーザは、名画や絵画等の参照画像の被写体の構図と、出力された撮像画像の被写体の構図と、が合致したか否かを容易に判断することができる。このため、ユーザは撮像装置1を大まかに動かすだけで、名画や絵画等の参照画像に近い構図での構図に合わせることができる。したがって、ユーザは、簡単で手間のかからない操作をするだけで、所望の画像に近い構図で撮像された画像を容易に得ることが可能となる。
As described above, the imaging apparatus 1 according to the present embodiment includes the composition information storage unit 51, the imaging unit 16, the composition information detection unit 43, and the composition information determination unit 44.
The composition information storage unit 51 stores composition information for specifying the composition of the reference image.
The imaging unit 16 sequentially captures a subject and outputs captured image data.
The composition information detection unit 43 detects composition information for specifying the composition of the captured image based on the data of the captured image output from the imaging unit 16.
The composition information determination unit 44 determines a matching state between the composition information of the reference image stored in the composition information storage unit 51 and the composition information of the captured image detected by the composition information detection unit 43.
In this case, it is determined whether or not the composition of the subject of the reference image matches the composition of the subject of the live view image. Therefore, the user can easily determine whether or not the composition of the subject of the reference image such as a masterpiece or painting matches the composition of the subject of the output captured image. For this reason, the user can adjust to a composition with a composition close to a reference image such as a masterpiece or a picture only by moving the imaging apparatus 1 roughly. Therefore, the user can easily obtain an image captured with a composition close to a desired image only by performing a simple and labor-saving operation.

さらに、本実施形態の撮像装置1において、構図情報には、参照画像又は撮像画像にオブジェクトとして含まれる実空間上の対象物をみる場合における当該実空間内の方向を示す、3次元方向の情報が含まれている。
この場合、構図情報判定部44は、3次元方向の情報に基づき参照画像の構図情報と、構図情報検出部43により検出された撮像画像の構図情報との間の合致状態を判定することで、例えば、参照画像と同じ仰角や俯角を備える構図での撮影を可能とすることができる。このため、ユーザは名画や絵画等の参照画像と同じ3次元方向の構図に合わせることができる。したがって、ユーザは、簡単で手間のかからない操作をするだけで、所望の画像に近い構図で撮像された画像を容易に得ることが可能となる。
Furthermore, in the imaging apparatus 1 of the present embodiment, the composition information includes three-dimensional direction information that indicates the direction in the real space when an object in the real space that is included as an object in the reference image or the captured image is viewed. It is included.
In this case, the composition information determination unit 44 determines a matching state between the composition information of the reference image and the composition information of the captured image detected by the composition information detection unit 43 based on the information in the three-dimensional direction. For example, it is possible to shoot with a composition having the same elevation angle and depression angle as the reference image. Therefore, the user can adjust the composition in the same three-dimensional direction as the reference image such as a masterpiece or a picture. Therefore, the user can easily obtain an image captured with a composition close to a desired image only by performing a simple and labor-saving operation.

また、本実施形態の撮像装置1において、構図情報には、参照画像又は撮像画像にオブジェクトとして含まれる実空間上の対象物までの実距離を示す、距離の情報が含まれている。この場合、構図情報判定部44は、距離の情報に基づき参照画像の構図情報と、構図情報検出部43により検出された撮像画像の構図情報との間の合致状態を判定することで、例えば、参照画像と同じ距離を備える構図での撮影を可能とすることができる。このため、ユーザは名画や絵画等の参照画像と同じ距離の構図に合わせることができる。したがって、ユーザは、簡単で手間のかからない操作をするだけで、所望の画像に近い構図で撮像された画像を容易に得ることが可能となる。   In the imaging apparatus 1 of the present embodiment, the composition information includes distance information indicating the actual distance to the target object in the real space included as an object in the reference image or the captured image. In this case, the composition information determination unit 44 determines the matching state between the composition information of the reference image and the composition information of the captured image detected by the composition information detection unit 43 based on the distance information, for example, Shooting with a composition having the same distance as the reference image can be performed. For this reason, the user can adjust the composition to the same distance as the reference image such as a masterpiece or painting. Therefore, the user can easily obtain an image captured with a composition close to a desired image only by performing a simple and labor-saving operation.

また、本実施形態の撮像装置1において、構図情報には、参照画像又は撮像画像についての遠近感の情報が含まれている。この場合、構図情報判定部44は、遠近感の情報に基づき参照画像の構図情報と、構図情報検出部43により検出された撮像画像の構図情報との間の合致状態を判定することで、例えば、参照画像と同じ遠近感を有する構図での撮影を可能とすることができる。このため、ユーザは名画や絵画等の参照画像と同じ遠近感の構図に合わせることができる。したがって、ユーザは、簡単で手間のかからない操作をするだけで、所望の画像に近い構図で撮像された画像を容易に得ることが可能となる。   In the imaging device 1 of the present embodiment, the composition information includes perspective information about the reference image or the captured image. In this case, the composition information determination unit 44 determines the matching state between the composition information of the reference image and the composition information of the captured image detected by the composition information detection unit 43 based on the perspective information, for example, Therefore, it is possible to enable photographing with a composition having the same perspective as the reference image. For this reason, the user can match the composition with the same perspective as the reference image such as a masterpiece or painting. Therefore, the user can easily obtain an image captured with a composition close to a desired image only by performing a simple and labor-saving operation.

さらに、本実施形態の撮像装置1は、構図情報判定部44の判定結果に基づいて、記録用の撮像画像のデータを撮像装置1が撮影するタイミングを制御する撮像制御部41をさらに備える。このため、ユーザが撮像装置1を大まかに動かすだけで、名画や絵画等の参照画像に近い構図での撮影が自動的に行われる。したがって、ユーザは、簡単で手間のかからない操作をするだけで、所望の画像に近い構図で撮像された画像を容易に得ることが可能となる。   Furthermore, the imaging apparatus 1 of the present embodiment further includes an imaging control unit 41 that controls the timing at which the imaging apparatus 1 captures data of a captured image for recording based on the determination result of the composition information determination unit 44. For this reason, just by the user roughly moving the imaging device 1, photographing with a composition close to a reference image such as a masterpiece or a picture is automatically performed. Therefore, the user can easily obtain an image captured with a composition close to a desired image only by performing a simple and labor-saving operation.

さらに、本実施形態の撮像装置1は、構図情報判定部44による判定結果の報知を制御する報知制御部45をさらに備える。この場合、参照画像の被写体の構図と、撮像画像の被写体の構図と、が合致していない場合、その構図情報の合致状態を報知しガイドすることで、ユーザに対し参照画像と同じ構図となるように撮像装置1の操作を促すことができる。したがって、ユーザは報知された内容に基づいて撮像装置1を操作するだけで、所望の参照画像と同様の構図での撮影を容易に行うことができる。   Furthermore, the imaging apparatus 1 of the present embodiment further includes a notification control unit 45 that controls notification of the determination result by the composition information determination unit 44. In this case, if the composition of the subject in the reference image and the composition of the subject in the captured image do not match, the composition information is informed and guided to guide the user to the same composition as the reference image. Thus, the operation of the imaging apparatus 1 can be prompted. Therefore, the user can easily perform shooting with the same composition as the desired reference image simply by operating the imaging device 1 based on the notified content.

さらに、本実施形態の撮像装置1の報知制御部45は、参照画像の構図情報と撮像画像の構図情報とが合致するようなズーム倍率を報知する。
また、撮像装置1の撮像部16は、報知制御部45により報知が制御されたズーム倍率で、被写体を撮像する。
この場合、参照画像の被写体の構図と、ライブビュー画像の被写体の構図と、が合致していない場合、その構図情報が合致するようにズーム倍率を報知しガイドすることで、ユーザに対し参照画像と同じ構図となるようにズーム倍率の操作を促すことができる。したがって、ユーザは報知された内容に基づいてズーム倍率を操作するだけで、所望の参照画像と同様の画角での撮影を容易に行うことができる。
さらに、撮像部16は、報知されたズーム倍率に基づいて被写体の撮像を自動的に行う。したがって、ユーザは、簡単で手間のかからない操作をするだけで、所望の画像に近い構図で撮像された画像を容易に得ることが可能となる。
Furthermore, the notification control unit 45 of the imaging apparatus 1 according to the present embodiment notifies the zoom magnification such that the composition information of the reference image matches the composition information of the captured image.
In addition, the imaging unit 16 of the imaging device 1 captures an image of the subject at a zoom magnification whose notification is controlled by the notification control unit 45.
In this case, if the composition of the subject in the reference image and the composition of the subject in the live view image do not match, the zoom image is notified and guided so that the composition information matches, thereby guiding the reference image to the user. It is possible to prompt the zoom magnification operation so that the same composition is obtained. Therefore, the user can easily perform shooting at the same angle of view as the desired reference image only by operating the zoom magnification based on the notified content.
Furthermore, the imaging unit 16 automatically performs imaging of the subject based on the notified zoom magnification. Therefore, the user can easily obtain an image captured with a composition close to a desired image only by performing a simple and labor-saving operation.

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。   In addition, this invention is not limited to the above-mentioned embodiment, The deformation | transformation in the range which can achieve the objective of this invention, improvement, etc. are included in this invention.

上述の実施形態では、報知制御部45は、ステップS33において判定された結果に基づいて、参照画像の構図情報に含まれる距離の情報と、撮像制御部41から検出された構図情報に含まれる距離の情報との差異を解消するためのズーム倍率を報知しているがこれに限られない。参照画像の構図情報に含まれる距離の情報と、撮像制御部41から検出された構図情報に含まれる距離の情報との差異を解消するために、所望の構図となるように、撮像制御部41によりズーム倍率を自動的に制御してもよい。   In the above-described embodiment, the notification control unit 45, based on the result determined in step S33, the distance information included in the composition information of the reference image and the distance included in the composition information detected from the imaging control unit 41. The zoom magnification for resolving the difference from the information is notified, but the present invention is not limited to this. In order to eliminate the difference between the distance information included in the composition information of the reference image and the distance information included in the composition information detected from the imaging control unit 41, the imaging control unit 41 has a desired composition. Thus, the zoom magnification may be automatically controlled.

また、参照画像の構図情報は、予めROM12の構図情報記憶部51に記憶しているがこれに限られるものではなく、ユーザが気に入った構図の撮像画像の構図情報を後から図3の参照テーブルに追加することができる。これにより、ユーザがお気に入りの構図をいつでも参照して繰り返し撮影することができる。   Further, the composition information of the reference image is stored in advance in the composition information storage unit 51 of the ROM 12, but the present invention is not limited to this. The composition information of the captured image having the composition that the user likes is later shown in the reference table of FIG. Can be added to. Accordingly, the user can repeatedly take a picture with reference to the favorite composition at any time.

また、図3の参照テーブルには、構図情報のみを記憶しているがこれに限られるものではない。例えば、図3の参照テーブルに、参照画像のデータを記憶し、各参照画像のデータ中に含まれるオブジェクトの抽出を行う。この場合、構図情報検出部43は、ライブビュー画像中に含まれるオブジェクトの抽出を行う。そして、構図情報判定部44は、参照画像のデータ中に含まれるオブジェクトの抽出結果と、ライブビュー画像中に含まれるオブジェクトの抽出結果とを比較判定することで、各画像中に含まれるオブジェクトの合致状態を判定することができる。なお、この場合、対象とするオブジェクトが人物である場合には、オブジェクト抽出技術ではなく、周知の顔検出技術を用いることにより、各画像中に含まれるオブジェクトの合致状態を判定することができる。   Further, although only the composition information is stored in the reference table in FIG. 3, the present invention is not limited to this. For example, reference image data is stored in the reference table of FIG. 3, and an object included in each reference image data is extracted. In this case, the composition information detection unit 43 extracts objects included in the live view image. Then, the composition information determination unit 44 compares and determines the extraction result of the object included in the reference image data and the extraction result of the object included in the live view image, thereby determining the object included in each image. A match state can be determined. In this case, when the target object is a person, the matching state of the objects included in each image can be determined by using a well-known face detection technique instead of the object extraction technique.

また、上述の実施形態では、本発明が適用される撮像装置1は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
In the above-described embodiment, the imaging apparatus 1 to which the present invention is applied has been described using a digital camera as an example, but is not particularly limited thereto.
For example, the present invention can be applied to general electronic devices having an imaging function. Specifically, for example, the present invention can be applied to a notebook personal computer, a printer, a television receiver, a video camera, a portable navigation device, a mobile phone, a portable game machine, and the like.

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 2 is merely an example and is not particularly limited. That is, it is sufficient that the imaging apparatus 1 has a function capable of executing the above-described series of processing as a whole, and what functional blocks are used to realize this function is not particularly limited to the example of FIG.
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図1のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM12や、図1の記憶部19に含まれるハードディスク等で構成される。   The recording medium including such a program is not only constituted by the removable medium 31 of FIG. 1 distributed separately from the apparatus main body in order to provide the program to the user, but also in a state of being incorporated in the apparatus main body in advance. The recording medium etc. provided in The removable medium 31 is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. The optical disk is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), or the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. In addition, the recording medium provided to the user in a state of being preliminarily incorporated in the apparatus main body includes, for example, the ROM 12 in FIG. 1 in which a program is recorded, the hard disk included in the storage unit 19 in FIG.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
Further, in the present specification, the term “system” means an overall apparatus configured by a plurality of devices, a plurality of means, and the like.

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalent scope thereof.

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
参照画像の構図を特定するための構図情報を記憶する構図情報記憶手段と、
被写体を逐次撮像して撮像画像のデータを出力する撮像手段と、
前記撮像手段から出力された撮像画像のデータに基づいて、当該撮像画像の構図を特定するための構図情報を検出する構図情報検出手段と、
前記構図情報記憶手段により記憶された前記参照画像の前記構図情報と、前記構図情報検出手段により検出された前記撮像画像の前記構図情報との間の合致状態を判定する構図情報判定手段と、
を備えることを特徴とする撮像装置。
[付記2]
前記構図情報には、前記参照画像又は前記撮像画像にオブジェクトとして含まれる実空間上の対象物をみる場合における当該実空間内の方向を示す、3次元方向の情報が含まれている、
ことを特徴とする付記1に記載の撮像装置。
[付記3]
前記構図情報には、前記参照画像又は前記撮像画像にオブジェクトとして含まれる実空間上の対象物までの実距離を示す、距離の情報が含まれている、
ことを特徴とする付記1又は2に記載の撮像装置。
[付記4]
前記構図情報には、前記参照画像又は前記撮像画像についての遠近感の情報が含まれている、
ことを特徴とする付記1乃至3の何れか1項に記載の撮像装置。
[付記5]
前記構図情報判定手段の判定結果に基づいて、記録用の撮像画像のデータを前記撮像装置が撮影するタイミングを制御する撮像制御手段、
をさらに備えることを特徴とする付記1乃至4の何れか1項に記載の撮像装置。
[付記6]
前記構図情報判定手段による判定結果の報知を制御する報知制御手段
をさらに備えることを特徴とする付記1乃至5の何れか1項に記載の撮像装置。
[付記7]
前記報知制御手段は、前記参照画像の構図情報と前記撮像画像の構図情報とが合致するようなズーム倍率を報知し、
前記撮像手段は、前記報知制御手段により報知が制御された前記ズーム倍率で、前記被写体を撮像する、
ことを特徴とする付記6に記載の撮像装置。
[付記8]
被写体を撮像して撮像画像のデータを出力する撮像装置が実行する撮像方法において、
参照画像の構図を特定するための構図情報を記憶する構図情報記憶ステップと、
被写体を逐次撮像して撮像画像のデータを出力する撮像ステップと、
前記撮像ステップにおいて出力された撮像画像のデータに基づいて、当該撮像画像の構図を特定するための構図情報を検出する構図情報検出ステップと、
前記構図情報記憶ステップにおいて記憶された前記参照画像の前記構図情報と、前記構図情報検出ステップにおいて検出された前記撮像画像の前記構図情報との間の合致状態を判定する構図情報判定ステップと、
を含むことを特徴とする撮像方法。
[付記9]
被写体を撮像して撮像画像のデータを出力する撮像装置を制御するコンピュータに、
参照画像の構図を特定するための構図情報を記憶装置に記憶させる構図情報記憶機能、
被写体を逐次撮像して撮像画像のデータを出力する撮像機能、
前記撮像機能により出力された撮像画像のデータに基づいて、当該撮像画像の構図を特定するための構図情報を検出する構図情報検出機能、
前記構図情報記憶機能により記憶された前記参照画像の前記構図情報と、前記構図情報検出機能により検出された前記撮像画像の前記構図情報との間の合致状態を判定する構図情報判定機能、
を実現させることを特徴とするプログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
Composition information storage means for storing composition information for specifying the composition of the reference image;
Imaging means for sequentially imaging a subject and outputting captured image data;
Composition information detection means for detecting composition information for specifying the composition of the captured image based on the data of the captured image output from the imaging means;
Composition information determination means for determining a matching state between the composition information of the reference image stored by the composition information storage means and the composition information of the captured image detected by the composition information detection means;
An imaging apparatus comprising:
[Appendix 2]
The composition information includes three-dimensional direction information indicating a direction in the real space when an object in the real space included as an object in the reference image or the captured image is viewed.
The imaging apparatus according to Supplementary Note 1, wherein
[Appendix 3]
The composition information includes distance information indicating an actual distance to an object in real space included as an object in the reference image or the captured image.
The imaging apparatus according to appendix 1 or 2, characterized in that:
[Appendix 4]
The composition information includes perspective information about the reference image or the captured image.
The imaging apparatus according to any one of appendices 1 to 3, wherein the imaging apparatus is characterized in that
[Appendix 5]
Imaging control means for controlling the timing at which the imaging apparatus captures data of a captured image for recording based on the determination result of the composition information determination means;
The imaging apparatus according to any one of appendices 1 to 4, further comprising:
[Appendix 6]
The imaging apparatus according to any one of appendices 1 to 5, further comprising notification control means for controlling notification of a determination result by the composition information determination means.
[Appendix 7]
The notification control means notifies the zoom magnification such that the composition information of the reference image matches the composition information of the captured image,
The imaging means images the subject at the zoom magnification whose notification is controlled by the notification control means.
The imaging apparatus according to appendix 6, wherein:
[Appendix 8]
In an imaging method executed by an imaging apparatus that images a subject and outputs captured image data,
A composition information storage step for storing composition information for specifying the composition of the reference image;
An imaging step of sequentially imaging a subject and outputting captured image data;
Composition information detection step for detecting composition information for specifying the composition of the captured image based on the data of the captured image output in the imaging step;
A composition information determination step for determining a matching state between the composition information of the reference image stored in the composition information storage step and the composition information of the captured image detected in the composition information detection step;
An imaging method comprising:
[Appendix 9]
To a computer that controls an imaging device that images a subject and outputs data of the captured image,
A composition information storage function for storing in the storage device composition information for specifying the composition of the reference image;
An imaging function that sequentially images a subject and outputs captured image data,
Composition information detection function for detecting composition information for specifying the composition of the captured image based on the data of the captured image output by the imaging function;
A composition information determination function for determining a matching state between the composition information of the reference image stored by the composition information storage function and the composition information of the captured image detected by the composition information detection function;
A program characterized by realizing.

1・・・撮像装置、11・・・CPU、12・・・ROM、13・・・RAM、14・・・バス、15・・・入出力インターフェース、16・・・撮像部、17・・・入力部、18・・・出力部、19・・・記憶部、20・・・傾きセンサ、21・・・通信部、22・・・ドライブ、31・・・リムーバブルメディア、41・・・撮像制御部、42・・・画像取得部、43・・・構図情報検出部、44・・・構図情報判定部、45・・・報知制御部、46・・・表示制御部、51・・・構図情報記憶部   DESCRIPTION OF SYMBOLS 1 ... Imaging device, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Bus, 15 ... Input-output interface, 16 ... Imaging part, 17 ... Input unit 18 ... Output unit 19 ... Storage unit 20 ... Tilt sensor 21 ... Communication unit 22 ... Drive 31 ... Removable media 41 ... Imaging control , 42 ... Image acquisition part, 43 ... Composition information detection part, 44 ... Composition information determination part, 45 ... Notification control part, 46 ... Display control part, 51 ... Composition information Memory

Claims (9)

参照画像の構図を特定するための構図情報を記憶する構図情報記憶手段と、
被写体を逐次撮像して撮像画像のデータを出力する撮像手段と、
前記撮像手段から出力された撮像画像のデータに基づいて、当該撮像画像の構図を特定するための構図情報を検出する構図情報検出手段と、
前記構図情報記憶手段により記憶された前記参照画像の前記構図情報と、前記構図情報検出手段により検出された前記撮像画像の前記構図情報との間の合致状態を判定する構図情報判定手段と、
を備えることを特徴とする撮像装置。
Composition information storage means for storing composition information for specifying the composition of the reference image;
Imaging means for sequentially imaging a subject and outputting captured image data;
Composition information detection means for detecting composition information for specifying the composition of the captured image based on the data of the captured image output from the imaging means;
Composition information determination means for determining a matching state between the composition information of the reference image stored by the composition information storage means and the composition information of the captured image detected by the composition information detection means;
An imaging apparatus comprising:
前記構図情報には、前記参照画像又は前記撮像画像にオブジェクトとして含まれる実空間上の対象物をみる場合における当該実空間内の方向を示す、3次元方向の情報が含まれている、
ことを特徴とする請求項1に記載の撮像装置。
The composition information includes three-dimensional direction information indicating a direction in the real space when an object in the real space included as an object in the reference image or the captured image is viewed.
The imaging apparatus according to claim 1.
前記構図情報には、前記参照画像又は前記撮像画像にオブジェクトとして含まれる実空間上の対象物までの実距離を示す、距離の情報が含まれている、
ことを特徴とする請求項1又は2に記載の撮像装置。
The composition information includes distance information indicating an actual distance to an object in real space included as an object in the reference image or the captured image.
The imaging apparatus according to claim 1 or 2, wherein
前記構図情報には、前記参照画像又は前記撮像画像についての遠近感の情報が含まれている、
ことを特徴とする請求項1乃至3の何れか1項に記載の撮像装置。
The composition information includes perspective information about the reference image or the captured image.
The image pickup apparatus according to claim 1, wherein the image pickup apparatus is an image pickup apparatus.
前記構図情報判定手段の判定結果に基づいて、記録用の撮像画像のデータを前記撮像装置が撮影するタイミングを制御する撮像制御手段、
をさらに備えることを特徴とする請求項1乃至4の何れか1項に記載の撮像装置。
Imaging control means for controlling the timing at which the imaging apparatus captures data of a captured image for recording based on the determination result of the composition information determination means;
The imaging apparatus according to claim 1, further comprising:
前記構図情報判定手段による判定結果の報知を制御する報知制御手段
をさらに備えることを特徴とする請求項1乃至5の何れか1項に記載の撮像装置。
The imaging apparatus according to claim 1, further comprising notification control means for controlling notification of a determination result by the composition information determination means.
前記報知制御手段は、前記参照画像の構図情報と前記撮像画像の構図情報とが合致するようなズーム倍率を報知し、
前記撮像手段は、前記報知制御手段により報知が制御された前記ズーム倍率で、前記被写体を撮像する、
ことを特徴とする請求項6に記載の撮像装置。
The notification control means notifies the zoom magnification such that the composition information of the reference image matches the composition information of the captured image,
The imaging means images the subject at the zoom magnification whose notification is controlled by the notification control means.
The imaging apparatus according to claim 6.
被写体を撮像して撮像画像のデータを出力する撮像装置が実行する撮像方法において、
参照画像の構図を特定するための構図情報を記憶する構図情報記憶ステップと、
被写体を逐次撮像して撮像画像のデータを出力する撮像ステップと、
前記撮像ステップにおいて出力された撮像画像のデータに基づいて、当該撮像画像の構図を特定するための構図情報を検出する構図情報検出ステップと、
前記構図情報記憶ステップにおいて記憶された前記参照画像の前記構図情報と、前記構図情報検出ステップにおいて検出された前記撮像画像の前記構図情報との間の合致状態を判定する構図情報判定ステップと、
を含むことを特徴とする撮像方法。
In an imaging method executed by an imaging apparatus that images a subject and outputs captured image data,
A composition information storage step for storing composition information for specifying the composition of the reference image;
An imaging step of sequentially imaging a subject and outputting captured image data;
Composition information detection step for detecting composition information for specifying the composition of the captured image based on the data of the captured image output in the imaging step;
A composition information determination step for determining a matching state between the composition information of the reference image stored in the composition information storage step and the composition information of the captured image detected in the composition information detection step;
An imaging method comprising:
被写体を撮像して撮像画像のデータを出力する撮像装置を制御するコンピュータに、
参照画像の構図を特定するための構図情報を記憶装置に記憶させる構図情報記憶機能、
被写体を逐次撮像して撮像画像のデータを出力する撮像機能、
前記撮像機能により出力された撮像画像のデータに基づいて、当該撮像画像の構図を特定するための構図情報を検出する構図情報検出機能、
前記構図情報記憶機能により記憶された前記参照画像の前記構図情報と、前記構図情報検出機能により検出された前記撮像画像の前記構図情報との間の合致状態を判定する構図情報判定機能、
を実現させることを特徴とするプログラム。
To a computer that controls an imaging device that images a subject and outputs data of the captured image,
A composition information storage function for storing in the storage device composition information for specifying the composition of the reference image;
An imaging function that sequentially images a subject and outputs captured image data,
Composition information detection function for detecting composition information for specifying the composition of the captured image based on the data of the captured image output by the imaging function;
A composition information determination function for determining a matching state between the composition information of the reference image stored by the composition information storage function and the composition information of the captured image detected by the composition information detection function;
A program characterized by realizing.
JP2011062953A 2011-03-22 2011-03-22 Imaging apparatus, imaging method, and program Pending JP2012199807A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011062953A JP2012199807A (en) 2011-03-22 2011-03-22 Imaging apparatus, imaging method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011062953A JP2012199807A (en) 2011-03-22 2011-03-22 Imaging apparatus, imaging method, and program

Publications (2)

Publication Number Publication Date
JP2012199807A true JP2012199807A (en) 2012-10-18
JP2012199807A5 JP2012199807A5 (en) 2014-03-20

Family

ID=47181582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011062953A Pending JP2012199807A (en) 2011-03-22 2011-03-22 Imaging apparatus, imaging method, and program

Country Status (1)

Country Link
JP (1) JP2012199807A (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006222690A (en) * 2005-02-09 2006-08-24 Nikon Corp Electronic camera
JP2006238082A (en) * 2005-02-25 2006-09-07 Casio Comput Co Ltd Digital camera and method of monitoring photographing position of camera
JP2007259035A (en) * 2006-03-23 2007-10-04 Fujifilm Corp Imaging apparatus and imaging condition guidance method
JP2009521134A (en) * 2005-12-22 2009-05-28 オリンパス株式会社 Scene recognition photographing system and scene recognition photographing method
JP2009212802A (en) * 2008-03-04 2009-09-17 Fujifilm Corp Imaging apparatus with composition assisting function, and composition assisting method of the same imaging apparatus
JP2011035633A (en) * 2009-07-31 2011-02-17 Casio Computer Co Ltd Image processor and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006222690A (en) * 2005-02-09 2006-08-24 Nikon Corp Electronic camera
JP2006238082A (en) * 2005-02-25 2006-09-07 Casio Comput Co Ltd Digital camera and method of monitoring photographing position of camera
JP2009521134A (en) * 2005-12-22 2009-05-28 オリンパス株式会社 Scene recognition photographing system and scene recognition photographing method
JP2007259035A (en) * 2006-03-23 2007-10-04 Fujifilm Corp Imaging apparatus and imaging condition guidance method
JP2009212802A (en) * 2008-03-04 2009-09-17 Fujifilm Corp Imaging apparatus with composition assisting function, and composition assisting method of the same imaging apparatus
JP2011035633A (en) * 2009-07-31 2011-02-17 Casio Computer Co Ltd Image processor and method

Similar Documents

Publication Publication Date Title
US10848662B2 (en) Image processing device and associated methodology for determining a main subject in an image
JP5848561B2 (en) Imaging apparatus, control method therefor, program, and storage medium
CN103024265B (en) The image capture method of camera head and camera head
EP2120210A2 (en) Composition determination device, composition determination method, and program
JP5713055B2 (en) Imaging apparatus, imaging method, and program
US9208569B2 (en) Image processing apparatus and control method thereof capable of performing refocus calculation processing for light field data
JP2006005662A (en) Electronic camera and electronic camera system
JP2014123070A (en) Image capturing device and control method therefor
JP5187035B2 (en) Imaging apparatus, image processing apparatus, and image processing program
JP2013186853A (en) Image processing device, image processing method and program
JP5477777B2 (en) Image acquisition device
JP2010199694A (en) Image capturing apparatus, angle-of-view adjusting method, and program
KR101665175B1 (en) Image acquisition apparatus,image acquisition method and recording medium
JP2011048295A (en) Compound eye photographing device and method for detecting posture of the same
US8665317B2 (en) Imaging apparatus, imaging method and recording medium
JP6460310B2 (en) Imaging apparatus, image display method, and program
JP2010200084A (en) Imaging apparatus
WO2015141185A1 (en) Imaging control device, imaging control method, and storage medium
US20130093856A1 (en) Stereoscopic imaging digital camera and method of controlling operation of same
JP2012199807A (en) Imaging apparatus, imaging method, and program
JP2009169884A (en) Photographing device, control method of photographing device, and image reproduction device, method and program
JP2017060133A (en) Electronic apparatus, imaging control method, image processing method, and program
JP7271316B2 (en) Imaging device and its control method
JP5181806B2 (en) Imaging device
JP2012029119A (en) Display control device, camera and display device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141007

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150217