JP2013183306A

JP2013183306A - Imaging apparatus, imaging method, and program

Info

Publication number: JP2013183306A
Application number: JP2012046039A
Authority: JP
Inventors: Akihiro Nemoto; 朗弘根本; Toshiaki Arai; 俊明荒井; Kazuyuki Yunoki; 和幸柚ノ木
Original assignee: NEC Casio Mobile Communications Ltd
Current assignee: NEC Casio Mobile Communications Ltd
Priority date: 2012-03-02
Filing date: 2012-03-02
Publication date: 2013-09-12

Abstract

PROBLEM TO BE SOLVED: To easily determine a composition for imaging, without a complicated operation.SOLUTION: An imaging apparatus comprises: imaging means 40 for taking an image; display means 41 for displaying the image; imaging range calculation means 41 which obtains an imaging range making a composition satisfying predetermined composition conditions, on the basis of the image taken by the imaging means 40; composition guide generation means 42 which generates a composition guide image obtained by superimposing the imaging range making the composition satisfying the predetermined composition conditions on the image taken by the imaging means 40; and display means 43 for displaying the composition guide image.

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。 The present invention relates to an imaging apparatus, an imaging method, and a program.

一般的に、良い写真を撮影するためには、焦点を合わせる、露出を合わせる、ブレを無くす、色を補正する、より所望する構図で撮影する等が必要とされているが、これらの中でより所望する構図で撮影することに関する技術だけが自動化で遅れている。 In general, in order to take a good picture, it is necessary to adjust the focus, adjust the exposure, eliminate blurring, correct the color, shoot with a desired composition, etc. Only technology related to shooting with a more desired composition is delayed by automation.

例えば、特許文献１には、撮影後に保存された撮影画像から主要被写体の位置を検出し、該主要被写体を配した複数のトリミング画像を生成し、操作者より複数のトリミング画像から所望する１つの画像を選択させる技術が開示されている。 For example, in Patent Document 1, the position of a main subject is detected from a captured image stored after shooting, a plurality of trimmed images in which the main subject is arranged are generated, and a desired one from a plurality of trimmed images by an operator is generated. A technique for selecting an image is disclosed.

また、特許文献２には、ライブ画像をそのままの画角で撮影し、顔検出した位置でのみ構図を判定する技術が開示されている。 Japanese Patent Application Laid-Open No. 2004-228688 discloses a technique for capturing a live image at an angle of view as it is and determining the composition only at the face detection position.

また、特許文献３には、スルー画像から抽出した被写体と、背景と被写体との配置が予め設定されている構図アシスト用のフレーム内の被写体との位置がずれている場合にカメラの移動方向を指示し、双方の位置が合致すると、合致したことを通知するとともに、合致状態が所定時間経過すると撮像する技術が開示されている。 Japanese Patent Laid-Open No. 2004-26883 discloses a camera movement direction when the subject extracted from the through image and the subject in the frame for composition assistance in which the arrangement of the background and the subject is preset are shifted. A technique is disclosed in which an instruction is given and notification is made when both positions match, and an image is picked up when the matching state has passed for a predetermined time.

また、特許文献４には、ライブビュー表示でフレーム枠の大きさと位置を設定し、該フレーム枠の大きさと位置とに対応する撮影画像の一部を選択画像として保持し、該選択画像とスルー画像とが一致するように、ズーミングの調節や撮影方向を移動させることで、所望する構図、画角での撮影を行う技術が開示されている。 In Patent Document 4, the size and position of a frame frame are set in live view display, and a part of a captured image corresponding to the size and position of the frame frame is held as a selected image. There is disclosed a technique for performing photographing at a desired composition and angle of view by adjusting zooming and moving a photographing direction so that the images coincide with each other.

特開２００７−２９５２０３号公報JP 2007-295203 A 特開２０１０−１７８１５８号公報JP 2010-178158 A 特開２００６−０７４３６８号公報JP 2006-074368 A 特開２０１０−０９３４１３号公報JP 2010-093413 A

しかしながら、特許文献１では、操作が複雑になってしまうという問題があるとともに、撮影時に撮影範囲が決まっているため、撮影画像の周囲も含めたほうが、構図が良くなるような場合でも、自由に構図を決めることができないという問題があった。 However, in Patent Document 1, there is a problem that the operation becomes complicated, and the shooting range is determined at the time of shooting. Therefore, including the periphery of the shot image is free even when the composition is improved. There was a problem that the composition could not be determined.

また、特許文献２では、ライブ画像をそのままの画角で撮影画像として記録するため、所望する構図になるように試行錯誤して撮像装置を構える必要があるという問題があった。さらに、顔検出した位置でのみ構図を判定するため、顔の無いシーンの撮影では、構図が決まらないという問題があった。 Further, in Patent Document 2, since a live image is recorded as a photographed image with an angle of view as it is, there is a problem that it is necessary to set up the imaging apparatus by trial and error so as to obtain a desired composition. Further, since the composition is determined only at the position where the face is detected, there is a problem that the composition cannot be determined when shooting a scene without a face.

また、特許文献３では、構図アシスト用のフレーム内に設定された被写体位置に撮影している被写体を合わせる必要があり、自由に構図を決めることができないという問題があった。 Further, in Patent Document 3, there is a problem that it is necessary to match the subject being photographed with the subject position set in the composition assist frame, and the composition cannot be determined freely.

また、特許文献４では、構図や画角はユーザが設定しなければならず、操作が複雑になってしまうという問題があるとともに、所望する構図になるように試行錯誤して操作しなければならないという問題があった。 Further, in Patent Document 4, the composition and the angle of view must be set by the user, and there is a problem that the operation becomes complicated, and the operation must be performed by trial and error so as to obtain a desired composition. There was a problem.

そこで本発明は、操作を煩雑にすることなく、より容易に撮影時の構図を決めることができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus, an imaging method, and a program that can more easily determine the composition at the time of shooting without complicating the operation.

本発明の撮像装置は、画像を取り込む撮影手段と、前記撮影手段によって取り込まれた画像に基づいて、所定の構図条件を満足する構図となる撮影範囲を求める撮影範囲算出手段と、前記所定の構図条件を満足する構図となる撮影範囲を、前記撮影手段により取り込まれた画像上に重ねて合成した構図ガイド画像を生成する構図ガイド生成手段と、前記構図ガイド画像を表示する表示手段とを備えることを特徴とする撮像装置である。 The imaging apparatus according to the present invention includes a photographing unit that captures an image, a photographing range calculating unit that obtains a photographing range that satisfies a predetermined composition condition based on the image captured by the photographing unit, and the predetermined composition. A composition guide generating unit that generates a composition guide image obtained by superimposing an image capturing range that satisfies a condition on an image captured by the image capturing unit; and a display unit that displays the composition guide image. An imaging device characterized by the above.

本発明の撮像方法は、撮像素子によって画像を取り込む撮影ステップと、前記撮影ステップで取り込まれた前記画像に基づいて、所定の構図条件を満足する構図となる撮影範囲を求める撮影範囲算出ステップと、前記所定の構図条件を満足する構図となる撮影範囲を、前記撮影ステップで取り込まれた前記画像上に重ねて合成した構図ガイド画像を生成する構図ガイド生成ステップと、前記構図ガイド画像を表示する表示ステップとを含むことを特徴とする撮像方法である。 The imaging method of the present invention includes a shooting step for capturing an image with an image sensor, and a shooting range calculation step for obtaining a shooting range having a composition that satisfies a predetermined composition condition based on the image captured in the shooting step. A composition guide generating step for generating a composition guide image obtained by superimposing the image capturing range that satisfies the predetermined composition condition on the image captured in the image capturing step, and a display for displaying the composition guide image An imaging method comprising: steps.

本発明のプログラムは、撮像装置のコンピュータに、撮像素子によって画像を取り込む撮影機能、前記撮影機能で取り込まれた前記画像に基づいて、所定の構図条件を満足する構図となる撮影範囲を求める撮影範囲算出機能、前記所定の構図条件を満足する構図となる撮影範囲を、前記撮影ステップで取り込まれた前記画像上に重ねて合成した構図ガイド画像を生成する構図ガイド生成機能、前記構図ガイド画像を表示する表示機能を実行させることを特徴とするプログラムである。 The program according to the present invention includes a photographing function for capturing an image with an image sensor in a computer of an imaging device, and a photographing range for obtaining a photographing range that satisfies a predetermined composition condition based on the image captured by the photographing function. A calculation function; a composition guide generation function for generating a composition guide image by superimposing a photographing range that satisfies the predetermined composition condition on the image captured in the photographing step; and displaying the composition guide image A program characterized by causing a display function to be executed.

この発明によれば、操作を煩雑にすることなく、より容易に撮影時の構図を決めることができる。 According to the present invention, the composition at the time of photographing can be determined more easily without complicating the operation.

本発明の実施形態による撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device by embodiment of this invention. 本実施形態において、撮影前動作時の演算部１１で行うデータ処理を説明するためのフローチャートである。In this embodiment, it is a flowchart for demonstrating the data processing performed in the calculating part 11 at the time of operation | movement before imaging | photography. 本実施形態において、撮影動作時の演算部１１で行うデータ処理を説明するためのフローチャートである。In this embodiment, it is a flowchart for demonstrating the data processing performed by the calculating part 11 at the time of imaging | photography operation | movement. 本実施形態において、構図ガイド画像２２（構図フレーム枠）の一例を示す模式図である。In this embodiment, it is a schematic diagram which shows an example of the composition guide image 22 (composition frame frame). 本実施形態において、構図ガイド画像２２（視野移動ガイドマーク）の一例を示す模式図である。In this embodiment, it is a schematic diagram which shows an example of the composition guide image 22 (visual field movement guide mark). 付記１の構成を示すブロック図である。It is a block diagram which shows the structure of Additional remark 1.

以下、本発明の実施の形態を、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明の実施形態による撮像装置１の構成を示すブロック図である。図において、撮像装置１は、光学部２、制御部３、表示部４、入力部５、及び記憶部６から構成されている。光学部２は、フォーカスレンズやズームレンズ等からなるレンズ７と、ＣＭＯＳセンサやＣＣＤ等の撮像素子８とから構成されている。撮像素子８は、レンズ７を通して結像した光を電気信号に変換して画像データとして出力する。 FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus 1 according to an embodiment of the present invention. In the figure, the imaging device 1 includes an optical unit 2, a control unit 3, a display unit 4, an input unit 5, and a storage unit 6. The optical unit 2 includes a lens 7 including a focus lens and a zoom lens, and an image sensor 8 such as a CMOS sensor or a CCD. The image sensor 8 converts the light imaged through the lens 7 into an electrical signal and outputs it as image data.

制御部３は、光学部２の制御と画像処理を行う画像処理部１０、制御部３内の各部を統括的に制御するＣＰＵやＤＳＰ等の演算部１１、プログラムやデータを保存するＤＲＡＭ等の主記憶部１２、表示部４の表示動作を制御する表示制御部１３、入力部５を制御する入力制御部１４、記憶部６を制御する記憶制御部１５からなる。 The control unit 3 includes an image processing unit 10 that controls the optical unit 2 and performs image processing, a calculation unit 11 such as a CPU and a DSP that collectively control each unit in the control unit 3, and a DRAM that stores programs and data. The main control unit 12 includes a display control unit 13 that controls the display operation of the display unit 4, an input control unit 14 that controls the input unit 5, and a storage control unit 15 that controls the storage unit 6.

画像処理部１０は、制御部３内の各部と光学部２とに接続され、光学部２を制御して露出を制御するとともに、撮像素子８から送られてくる画像データ（ライブ画像ｏｒ撮影画像：後述）を受信して主記憶部１２に転送する。 The image processing unit 10 is connected to each unit in the control unit 3 and the optical unit 2, and controls the optical unit 2 to control exposure and image data (live image or captured image) sent from the image sensor 8. Are received and transferred to the main storage unit 12.

演算部１１は、制御部３内の各部に接続され、主記憶部１２に記憶されるプログラムにより動作し、制御部３内の各部の制御や主記憶部１２のデータ処理等を行う。なお、演算部１１がプログラムを実行することにより実現する各種機能、手段の詳細については後述する。主記憶部１２は、ライブ画像２０や、撮影画像２１、構図ガイド画像２２、記録画像２３などを記憶する。主記憶部１２は、制御部３内の各部との間で、ライブ画像２０や、撮影画像２１、構図ガイド画像２２、記録画像２３などの入出力を制御するデータ処理部１６を備えている。 The calculation unit 11 is connected to each unit in the control unit 3 and operates according to a program stored in the main storage unit 12 to perform control of each unit in the control unit 3 and data processing of the main storage unit 12. Details of various functions and means realized by the calculation unit 11 executing the program will be described later. The main storage unit 12 stores a live image 20, a captured image 21, a composition guide image 22, a recorded image 23, and the like. The main storage unit 12 includes a data processing unit 16 that controls input / output of a live image 20, a captured image 21, a composition guide image 22, a recorded image 23, and the like with each unit in the control unit 3.

ここで、ライブ画像２０とは、撮影モードにおいて、例えば数十ｆｐｓ程度で撮像素子８から取り込まれる画像（縮小画像）のことである。該ライブ画像２０は、現在、どのような画角、構図で撮影されているかをユーザに提示すべく、リアルタイムで表示部４に表示される。また、ライブ画像２０が表示された表示部４の画面をライブビュー画面という。 Here, the live image 20 is an image (reduced image) captured from the image sensor 8 at, for example, about several tens of fps in the shooting mode. The live image 20 is displayed on the display unit 4 in real time in order to present to the user what angle of view and composition are currently being taken. The screen of the display unit 4 on which the live image 20 is displayed is referred to as a live view screen.

また、撮影画像２１とは、シャッターが全押しされたタイミングで撮像素子８から取り込まれる画像である。本実施形態では、所定の構図条件を満足する構図になるように撮影画像２１をトリミングし、記録画像２３として保存するようになっている。構図ガイド画像２２とは、上記所定の構図条件を満足する構図を提示すべく、上記ライブビュー画面上に表示される構図フレーム枠、または／及び移動方向を示す視野移動方向マークである。記録画像２３とは、上述したように、撮影画像をフレーム枠に基づいてトリミングした後の画像である。なお、上記所定の構図条件については後述する。 The captured image 21 is an image captured from the image sensor 8 when the shutter is fully pressed. In the present embodiment, the captured image 21 is trimmed so as to achieve a composition that satisfies a predetermined composition condition, and stored as a recorded image 23. The composition guide image 22 is a composition frame frame displayed on the live view screen and / or a visual field movement direction mark indicating a movement direction in order to present a composition that satisfies the predetermined composition condition. As described above, the recorded image 23 is an image after the captured image is trimmed based on the frame frame. The predetermined composition condition will be described later.

表示制御部１３は、制御部３内の各部と表示部４とに接続され、主記憶部１２の所定のアドレス領域に記憶されるライブ画像２０や、撮影画像２１、構図ガイド画像２２、記録画像２３などを読み出して表示部４に供給し、表示部４の動作を制御する。入力制御部１４は、制御部３内の各部と入力部５とに接続され、入力部５から送られてくる操作信号を受信して演算部１１に操作内容を通知する。記憶制御部１５は、制御部３内の各部と記憶部６に接続され、記憶部６へのデータ入出力を制御するとともに、主記憶部１２と記憶部６との間でファイル化されたデータを転送する。 The display control unit 13 is connected to each unit in the control unit 3 and the display unit 4, and displays a live image 20, a captured image 21, a composition guide image 22, and a recorded image stored in a predetermined address area of the main storage unit 12. 23 and the like are read out and supplied to the display unit 4 to control the operation of the display unit 4. The input control unit 14 is connected to each unit in the control unit 3 and the input unit 5, receives an operation signal sent from the input unit 5, and notifies the calculation unit 11 of the operation content. The storage control unit 15 is connected to each unit in the control unit 3 and the storage unit 6, and controls data input / output to / from the storage unit 6 and data filed between the main storage unit 12 and the storage unit 6. Forward.

表示部４は、ＬＣＤや有機ＥＬ等からなり、表示制御部１３から供給される画像データを表示する。入力部５は、ボタンやタッチスクリーン等からなり、撮影者の操作を検出してその操作内容を電気信号に変換して操作信号として入力制御部１４に供給する。記憶部６は、画像ファイルを記録する記録媒体であり、フラッシュメモリ等の不揮発性メモリからなる。なお、ＳＤカード（登録商標）のように、取り外し可能な記録媒体などであってもよい。 The display unit 4 includes an LCD, an organic EL, or the like, and displays image data supplied from the display control unit 13. The input unit 5 includes buttons, a touch screen, and the like, detects an operation of the photographer, converts the operation content into an electric signal, and supplies the electric signal to the input control unit 14. The storage unit 6 is a recording medium that records an image file, and includes a nonvolatile memory such as a flash memory. Note that it may be a removable recording medium such as an SD card (registered trademark).

上述したように、演算部１１は、プログラムを実行することにより各種手段（各種機能）を実現する。本実施形態において、演算部１１は、撮影シーン・主要被写体認識手段、構図フレーム枠検知手段、構図ガイド生成手段、画像補正手段、構図トリミング手段、及びファイル化手段を実現する。 As described above, the calculation unit 11 implements various means (various functions) by executing a program. In the present embodiment, the calculation unit 11 realizes a shooting scene / main subject recognition unit, a composition frame frame detection unit, a composition guide generation unit, an image correction unit, a composition trimming unit, and a file creation unit.

撮影シーン・主要被写体認識手段は、主記憶部１２から読み出されたライブ画像２０の中から、主要被写体と他の被写体（人・空・山・物体等の主要被写体以外）とを認識し、ライブ画像２０内における主要被写体と他の被写体との位置関係、それぞれの占有面積、占有面積比を検出する。 The shooting scene / main subject recognition means recognizes the main subject and other subjects (other than main subjects such as people, sky, mountains, objects, etc.) from the live image 20 read from the main storage unit 12, and The positional relationship between the main subject and other subjects in the live image 20, the occupied area, and the occupied area ratio are detected.

なお、主要被写体と他の被写体は、例えば、顔検出などの画像処理や、特徴点検出やパターン認識等により認識される。主要被写体とは、ユーザがシャッター半押した際に所定のフォーカシングエリア内でオートフォーカシング（自動合焦）した対象である。あるいは、上記被写体を認識する際に用いた、顔検出された対象を主要被写体として認識してもよい。一方、他の被写体とは、主要被写体以外の対象である。 The main subject and other subjects are recognized by image processing such as face detection, feature point detection, pattern recognition, and the like. The main subject is an object that is auto-focused (automatically focused) within a predetermined focusing area when the user half-presses the shutter. Alternatively, the face detected target used when recognizing the subject may be recognized as the main subject. On the other hand, the other subject is a subject other than the main subject.

構図フレーム枠検知手段は、撮影シーン・主要被写体認識手段により検出された、ライブ画像２０内における主要被写体と他の被写体との位置関係、それぞれの占有面積、占有面積比に基づいて、主要被写体と他の被写体とが、所定の構図条件を満足するような構図となる構図フレーム枠を検知する。 The composition frame frame detection means detects the main subject based on the positional relationship between the main subject and other subjects in the live image 20 detected by the shooting scene / main subject recognition means, the occupied area, and the occupied area ratio. A composition frame frame that forms a composition that satisfies a predetermined composition condition with another subject is detected.

ここで、所定の構図条件とは、主要被写体が他の被写体の中央付近、あるいは画角内の右端、または左端に位置すること（位置関係）、主要被写体または／及び他の被写体の画角内における占有面積が所定の範囲内であること（占有面積：小さすぎず、大きすぎず）、主要被写体と他の被写体との占有面積比が所定の範囲内であること（占有面積比）などからなり、そのうちの１つ、もしくは２つ以上を組み合わせて用いる。 Here, the predetermined composition condition is that the main subject is located near the center of the other subject or at the right end or the left end within the angle of view (positional relationship), within the angle of view of the main subject or / and other subject. Occupied area in the predetermined range (occupied area: not too small and not too large), and the occupied area ratio between the main subject and other subjects is within the predetermined range (occupied area ratio) 1 or 2 or more of them are used in combination.

また、所定の構図条件を満足するとは、上記構図フレーム枠をライブ画像上で移動、拡大、縮小することで、主要被写体と他の被写体との位置関係、それぞれの占有面積、占有面積比のいずれか１つ、あるいは２つ以上、あるいは全てが、所定の閾値以下になった場合（あるいは許容範囲に収まった場合）のことをいう。 Satisfying the predetermined composition condition means that the composition frame frame is moved, enlarged, or reduced on the live image, so that any of the positional relationship between the main subject and other subjects, the occupied area, and the occupied area ratio can be selected. One, two or more, or all of them fall below a predetermined threshold (or fall within an allowable range).

構図フレーム枠検知手段は、主要被写体と他の被写体とが、所定の構図条件を満足するような構図となる構図フレーム枠の検知に成功した場合（所定の構図条件を満足した場合）には、その構図フレーム枠の位置座標を算出する。 The composition frame frame detection means succeeds in detecting a composition frame frame in which the main subject and another subject have a composition that satisfies a predetermined composition condition (when a predetermined composition condition is satisfied). The position coordinates of the composition frame are calculated.

具体的には、予め所定サイズの構図フレーム枠（例えば、撮影画角の５０％程度の大きさの枠：デフォルト）を用意し、該構図フレーム枠を、主要被写体が中央（設定に応じて、右端、左端でも可）に位置するようにライブ画像２０上に位置決めする。そして、構図フレーム枠内における、主要被写体と他の被写体との位置関係、それぞれの占有面積、占有面積比が所定の構図条件を満足するか判別し、所定の構図条件を満足しなければ、構図フレーム枠を上下左右へ移動させたり、拡大／縮小させたりしながら、所定の構図条件を満足する大きさ、位置を探索する。そして、所定の構図条件を満足する、位置、大きさの構図フレーム枠が検知された場合に、構図フレーム枠の検知に成功したと判定する。このときの構図フレーム枠の４隅の座標（あるいは対角する２隅の座標）を、構図フレーム枠の位置座標として算出する。 Specifically, a composition frame frame of a predetermined size (for example, a frame having a size of about 50% of the shooting angle of view: default) is prepared in advance, and the main subject is in the center (depending on the setting, Position on the live image 20 so as to be located at the right end or the left end. Then, it is determined whether the positional relationship between the main subject and other subjects within the composition frame frame, the respective occupied area, and the occupied area ratio satisfy a predetermined composition condition. If the predetermined composition condition is not satisfied, the composition is determined. A size and a position that satisfy a predetermined composition condition are searched while moving the frame frame up and down, left and right, and enlarging / reducing. Then, when a composition frame frame having a position and a size that satisfies a predetermined composition condition is detected, it is determined that the composition frame frame has been successfully detected. The coordinates of the four corners of the composition frame frame (or the coordinates of the two diagonal corners) at this time are calculated as the position coordinates of the composition frame frame.

一方、構図フレーム枠の検知に失敗した場合（所定の構図条件を満足しなかった場合）には、主要被写体と他の被写体との位置関係、占有面積、占有面積比などから、所定の構図条件を満足する構図になるように、撮影領域（撮像素子の視野）を変更させるための移動方向を算出する。以下、移動方向の算出方法について具体的に説明する。 On the other hand, when the composition frame frame detection fails (when the predetermined composition condition is not satisfied), the predetermined composition condition is determined from the positional relationship between the main subject and other subjects, the occupied area, the occupied area ratio, and the like. The moving direction for changing the imaging region (field of view of the image sensor) is calculated so that the composition satisfies the above. Hereinafter, the calculation method of the moving direction will be specifically described.

ライブ画像２０内で構図フレーム枠が検知されている間は、撮影領域（撮像素子の視野）を変更させる必要はない。しかし、ライブ画像２０の周囲（撮像素子８の周囲に設けられているマージン領域）も探索範囲に含めることにより、探索範囲が広くなるので、所定の構図条件を満足する構図を、より容易に検知することができる可能性が高くなる。
そこで、ライブ画像２０の周囲も探索範囲に含めた場合には、所定の構図条件を満足する構図を示す構図フレーム枠の一部がライブ画像２０の外側に出てしまうこともある。あるいは、構図フレーム枠が小さくなりすぎたり、大きくなりすぎたりする場合もある。 While the composition frame frame is detected in the live image 20, there is no need to change the shooting area (field of view of the image sensor). However, since the search range is widened by including the periphery of the live image 20 (margin area provided around the image sensor 8) in the search range, a composition that satisfies a predetermined composition condition can be detected more easily. The possibility of being able to be increased.
Therefore, when the periphery of the live image 20 is also included in the search range, a part of the composition frame frame showing a composition that satisfies a predetermined composition condition may appear outside the live image 20. Alternatively, the composition frame may be too small or too large.

このような場合、ユーザに撮像装置１を、水平方向に振ったり（パン）、垂直方向に振ったり（チルト）、ズームイン（テレ）／ズームアウト（ワイド）（実際に主要被写体に近づく、遠ざかるという移動も含む）させることにより、構図フレーム枠がライブ画像２０内に収まるように、撮影領域（撮像素子の視野）を変更させる必要がある。つまり、本実施形態では、所定の構図条件を満足するような構図となるように、撮影装置１を水平方向に振ったり（パン）、垂直方向に振ったり（チルト）、ズームイン（テレ）／ズームアウト（ワイド）（実際に主要被写体に近づく、遠ざかるという移動も含む）させるための情報として、移動方向を算出する。上記移動方向には、上述したように、撮像装置１をパン／チルトさせる移動方向に加えて、ズームイン／ズームアウトさせる操作指示（ズームイン、ズームアウトを前後方向への移動と捉え、移動方向に含めている）も含まれる。 In such a case, the user shakes the imaging apparatus 1 in the horizontal direction (pan), shakes in the vertical direction (tilt), zooms in (tele) / zooms out (wide) (actually approaches or moves away from the main subject). It is necessary to change the imaging region (field of view of the image sensor) so that the composition frame frame fits in the live image 20. In other words, in the present embodiment, the photographing apparatus 1 is shaken in the horizontal direction (pan), shaken in the vertical direction (tilt), and zoomed in (tele) / zoom so that the composition satisfies a predetermined composition condition. The movement direction is calculated as information for moving out (wide) (including movement of actually approaching or moving away from the main subject). As described above, in the movement direction, in addition to the movement direction for panning / tilting the imaging apparatus 1, an operation instruction for zooming in / zooming out (zoom-in / zoom-out is regarded as movement in the front-rear direction and is included in the movement direction. Included).

移動方向の算出方法としては、所定の構図条件を満足する、位置、大きさの構図フレーム枠が検知された場合に、構図フレーム枠がライブ画像２０の外へ出ている場合や、構図フレーム枠が小さくなりすぎたり、大きくなりすぎたりする場合に、構図フレーム枠の位置（中心座標）を取得し、ライブ画像の中心座標から、構図フレーム枠の中心座標に向かう方向を移動方向とする。このとき、ライブ画像の中心座標と、構図フレーム枠の中心座標との距離を算出し、該距離に応じた長さ（大きさ）を提示すれば、移動量も知らせることが可能となる。 As a method of calculating the moving direction, when a composition frame frame of a position and size that satisfies a predetermined composition condition is detected, the composition frame frame is out of the live image 20, or the composition frame frame When is too small or too large, the position (center coordinate) of the composition frame frame is acquired, and the direction from the center coordinate of the live image toward the center coordinate of the composition frame frame is set as the movement direction. At this time, if the distance between the center coordinates of the live image and the center coordinates of the composition frame frame is calculated and the length (size) corresponding to the distance is presented, the amount of movement can be notified.

構図ガイド生成手段は、構図フレーム枠の検知に成功した場合には算出された位置座標にフレーム枠を、失敗した場合には移動させるべき視野の方向を示す視野移動方向マークを、構図ガイドマーク画像として生成し、この構図ガイドマーク画像をライブ画像２０上に重ね、はめ込み合成し（オーバレイ）、１つの構図ガイド画像２２を生成する。該構図ガイド画像２２は、ライブビュー画面として表示部４に表示される。 The composition guide generation means displays a frame movement direction mark indicating the direction of the visual field to be moved when the frame frame is calculated at the calculated position coordinates when the detection of the composition frame frame is successful. The composition guide mark image is superimposed on the live image 20 and is combined (overlayed) to generate one composition guide image 22. The composition guide image 22 is displayed on the display unit 4 as a live view screen.

画像補正手段は、撮影画像２１に対して色温度補正や記憶色補正などの補正処理を行う。構図トリミング手段は、補正処理が施された撮影画像２１を上記構図フレーム枠検知手段で得られた構図フレーム枠に従ってトリミングして記録画像２３を生成する。 The image correction unit performs correction processing such as color temperature correction and memory color correction on the captured image 21. The composition trimming means trims the captured image 21 that has been subjected to the correction processing in accordance with the composition frame frame obtained by the composition frame frame detection means to generate a recorded image 23.

ファイル化手段は、最終的に記憶部６に記録された記録画像２３を読み出して再生できるように、トリミングされた記録画像２３に対して、圧縮処理やデータ形式変換処理などを行う。最終的な画像ファイルは、記憶部６に転送されて記録される。 The filing unit performs compression processing, data format conversion processing, and the like on the trimmed recording image 23 so that the recording image 23 finally recorded in the storage unit 6 can be read and reproduced. The final image file is transferred to the storage unit 6 and recorded.

次に、上述した実施形態の動作について説明する。
図２、及び図３は、本実施形態による携帯電話の動作を説明するためのフローチャートである。本発明による携帯電話の動作は、図２に示す撮影前動作と図３に示す撮影動作との２つに分かれており、演算部１１が各部を制御して動作を切り替える。 Next, the operation of the above-described embodiment will be described.
2 and 3 are flowcharts for explaining the operation of the mobile phone according to the present embodiment. The operation of the mobile phone according to the present invention is divided into two operations, a pre-shooting operation shown in FIG. 2 and a shooting operation shown in FIG. 3, and the calculation unit 11 controls each unit to switch the operation.

図２は、本実施形態において、撮影前動作時の演算部１１で行うデータ処理を説明するためのフローチャートである。撮影前動作では、ライブ画像２０を得るために、制御部３において、画像処理部１０により光学部２の制御を行い、撮像素子８から逐次画像データを取り込み、画像処理部１０で所定の画像処理を行い、ライブ画像２０として主記憶部１２に転送する。このとき、画像処理部１０は、画像全体の露出が最適になるように光学部２を制御している。 FIG. 2 is a flowchart for explaining data processing performed by the calculation unit 11 during the pre-shooting operation in the present embodiment. In the pre-photographing operation, in order to obtain the live image 20, the control unit 3 controls the optical unit 2 by the image processing unit 10, sequentially captures image data from the image sensor 8, and the image processing unit 10 performs predetermined image processing. And transferred to the main storage unit 12 as a live image 20. At this time, the image processing unit 10 controls the optical unit 2 so that the exposure of the entire image is optimized.

撮影シーン・主要被写体認識手段は、主記憶部１２に転送されたライブ画像２０を読み出し（ステップＳ１０）、その中から主要被写体と他の被写体とを認識して、ライブ画像２０内におけるそれらの位置関係、それぞれの占有面積、占有面積比を検出する（ステップＳ１２）。構図フレーム枠検知手段は、主要被写体と他の被写体との位置関係、それぞれの占有面積、占有面積比に基づいて、主要被写体と他の被写体とが、所定の構図条件を満足するような構図となる構図フレーム枠の検知を試み（ステップＳ１４）、検知に成功したか否かを判定する（ステップＳ１６）。 The photographic scene / main subject recognition means reads the live image 20 transferred to the main storage unit 12 (step S10), recognizes the main subject and other subjects from the live image 20, and their positions in the live image 20 The relationship, the occupied area and the occupied area ratio are detected (step S12). The composition frame frame detecting means is configured such that the main subject and the other subject satisfy a predetermined composition condition based on the positional relationship between the main subject and the other subject, the occupied area, and the occupied area ratio. An attempt is made to detect a composition frame frame (step S14), and it is determined whether or not the detection is successful (step S16).

そして、構図フレーム枠検知手段は、構図フレーム枠の検知に成功した場合（所定の構図条件を満足した場合）には（ステップＳ１６のＹＥＳ）、その構図フレーム枠の位置座標を算出する（ステップＳ１８）。構図ガイド生成手段は、上記構図フレーム枠を、算出された位置座標に構図ガイドマーク画像として生成する（ステップＳ２０）。 Then, when the composition frame frame detection unit succeeds in detecting the composition frame frame (when a predetermined composition condition is satisfied) (YES in step S16), the composition frame frame detection unit calculates the position coordinates of the composition frame frame (step S18). ). The composition guide generating means generates the composition frame frame as a composition guide mark image at the calculated position coordinates (step S20).

一方、構図フレーム枠検知手段は、構図フレーム枠の検知に失敗した場合（所定の構図条件を満足しなかった場合）には（ステップＳ１６のＮＯ）、主要被写体と他の被写体との位置関係、占有面積、占有面積比などから、所定の構図条件を満足する構図になるように、撮影領域（撮像素子の視野）を変更させるための移動方向を算出する（ステップＳ２２）。次に、構図ガイド生成手段は、移動させるべき視野の方向を示す視野移動方向マークを構図ガイドマーク画像として生成する（ステップＳ２４）。 On the other hand, when the composition frame frame detection unit fails to detect the composition frame frame (when the predetermined composition condition is not satisfied) (NO in step S16), the positional relationship between the main subject and the other subjects, From the occupied area, the occupied area ratio, and the like, a moving direction for changing the imaging region (field of view of the image sensor) is calculated so as to satisfy a predetermined composition condition (step S22). Next, the composition guide generating means generates a visual field movement direction mark indicating the direction of the visual field to be moved as a composition guide mark image (step S24).

そして、構図フレーム枠の検知に成功した場合も失敗した場合も、構図ガイド生成手段は、上記構図ガイドマーク画像をライブ画像２０上に重ね、はめ込み合成し（オーバレイ）、１つの構図ガイド画像２２を生成する（ステップＳ２６）。 Then, regardless of whether the detection of the composition frame frame is successful or unsuccessful, the composition guide generation means superimposes the composition guide mark image on the live image 20 and synthesizes it (overlay), thereby creating one composition guide image 22. Generate (step S26).

演算部１１は、構図ガイド画像２２を、表示部４の条件に合わせてデータ変換し（ステップＳ２８）、主記憶部１２の所定の領域（ＶＲＡＭ領域）に、構図ガイド画像データとして書き込む（ステップＳ３０）。表示制御部１３は、主記憶部１２の所定の領域（ＶＲＡＭ領域）に記憶された構図ガイド画像データを読み出して表示部４に表示する（ステップＳ２２）。 The calculation unit 11 converts the composition guide image 22 into data according to the conditions of the display unit 4 (step S28), and writes the composition guide image data as composition guide image data in a predetermined area (VRAM area) of the main storage unit 12 (step S30). ). The display control unit 13 reads the composition guide image data stored in the predetermined area (VRAM area) of the main storage unit 12 and displays it on the display unit 4 (step S22).

図４は、本実施形態において、構図ガイド画像２２（構図フレーム枠）の一例を示す模式図である。図４に示すように、表示部４に表示されるライブビュー画面には、主要被写体と他の被写体とが表示されている。撮影シーン・主要被写体認識手段は、ライブ画像２０の中から主要被写体と他の被写体を認識して、ライブ画像２０内におけるそれらの位置関係、それぞれの占有面積、占有面積比を検出する。 FIG. 4 is a schematic diagram showing an example of the composition guide image 22 (composition frame frame) in the present embodiment. As shown in FIG. 4, the main view and other subjects are displayed on the live view screen displayed on the display unit 4. The photographic scene / main subject recognition means recognizes the main subject and other subjects from the live image 20 and detects their positional relationship in the live image 20, their occupied area, and occupied area ratio.

図示するように、ライブビュー画面には、主要被写体と認識された領域には、主要被写体マーク３０が表示され、他の被写体として認識された領域（の境界）には、境界マーク３１が表示される。また、所定の構図条件を満足するような構図を示す構図ガイドマーク画像の１つである構図フレーム枠３３ａが表示される。 As shown in the figure, on the live view screen, a main subject mark 30 is displayed in an area recognized as a main subject, and a boundary mark 31 is displayed in an area (boundary) recognized as another subject. The In addition, a composition frame frame 33a, which is one of composition guide mark images showing a composition that satisfies a predetermined composition condition, is displayed.

また、図５は、本実施形態において、構図ガイド画像２２（視野移動方向マーク）の一例を示す模式図である。図５に示すように、構図フレーム枠検知手段が構図フレーム枠の検知に失敗した場合、つまり、ライブ画像２０内に構図フレーム枠が収まらないような場合には、構図ガイドマーク画像の１つである、移動するべき視野の方向を示す視野移動方向マーク３３ｂが表示される。図示の例では、構図フレーム枠がライブ画像２０に対して右側にはみ出しているので、ライブ画像の中心座標から、構図フレーム枠の中心座標に向かう方向、すなわち右方向を向いた視野移動方向マーク３３ｂ（矢印）が表示されている。 FIG. 5 is a schematic diagram showing an example of the composition guide image 22 (field-of-view movement direction mark) in the present embodiment. As shown in FIG. 5, when the composition frame frame detection unit fails to detect the composition frame frame, that is, when the composition frame frame does not fit in the live image 20, one of the composition guide mark images is used. A visual field movement direction mark 33b indicating the direction of the visual field to be moved is displayed. In the illustrated example, since the composition frame frame protrudes to the right side with respect to the live image 20, the visual field movement direction mark 33b that faces the center coordinate of the composition frame frame from the center coordinate of the live image, that is, the right direction. (Arrow) is displayed.

なお、図示の例では、明示されていないが、上記主要被写体マーク３０、境界マーク３１、構図フレーム枠３３ａ、視野移動方向マーク３３ｂは、色や線種などを変えることで、それぞれ判別可能に表示される。 Although not clearly shown in the illustrated example, the main subject mark 30, the boundary mark 31, the composition frame frame 33a, and the visual field movement direction mark 33b are displayed so as to be distinguishable by changing colors, line types, and the like. Is done.

また、構図フレーム枠３３ａは、取り込んだライブ画像２０の範囲に限る必要はなく、もしライブ画像２０の周囲（撮像素子８の周囲に設けられているマージン領域）も構図フレーム枠３３ａ内に収めた方が所定の構図条件を満足する構図になるならば、外側に広げる、または移動することもある。このような場合、その視野外へ移動方向が判るような視野移動方向マーク３３ｂをライブ画像２０上に重ね、はめ込み合成（オーバレイ）してライブビュー画面に表示する（ズーム機能を考慮すると、上下左右の４方向全てで外側を指示することもある）。 Further, the composition frame frame 33a is not limited to the range of the captured live image 20, and the periphery of the live image 20 (margin area provided around the image pickup device 8) is also accommodated in the composition frame frame 33a. If the composition satisfies a predetermined composition condition, the composition may be spread outward or moved. In such a case, a visual field movement direction mark 33b that indicates the movement direction outside the visual field is overlaid on the live image 20, and is combined and overlaid and displayed on the live view screen (considering the zoom function, up, down, left, and right) The outside may be indicated in all four directions).

上述した撮影前動作において、入力部５がシャッターボタンの場合には、撮影者がシャッターボタンを押下したときを契機に、あるいは、入力部５がタッチスクリーンの場合には、撮影者がタッチスクリーンに表示されたボタンなどに触れたりしたときを契機に、入力部５は上記撮影操作を検知し、入力制御部１４を介して演算部１１に通知する。演算部１１は、撮影操作検知の通知を受けて制御部３内の各部を制御して撮影動作に切り替える。 In the above-described pre-shooting operation, when the input unit 5 is a shutter button, when the photographer presses the shutter button, or when the input unit 5 is a touch screen, the photographer enters the touch screen. When the displayed button or the like is touched, the input unit 5 detects the photographing operation and notifies the calculation unit 11 via the input control unit 14. The calculation unit 11 receives a notification of detection of the shooting operation and controls each unit in the control unit 3 to switch to the shooting operation.

図３は、本実施形態において、撮影動作時の演算部１１で行うデータ処理を説明するためのフローチャートである。ユーザによりシャッターボタンが全押しされると、演算部１１の動作は、図３に示す撮影動作処理へ移行する。撮影動作では、画像処理部１０は、光学部２を制御し、撮像素子８から撮影画像２１を取り込み、主記憶部１２に転送して保存する（ステップＳ４０）。このとき、画像処理部１０は、撮影前動作の構図フレーム枠検知手段で得られたフレーム枠の内側領域の露出が最適になるように光学部２を制御する。 FIG. 3 is a flowchart for explaining data processing performed by the calculation unit 11 during the photographing operation in the present embodiment. When the shutter button is fully pressed by the user, the operation of the calculation unit 11 shifts to the photographing operation process shown in FIG. In the photographing operation, the image processing unit 10 controls the optical unit 2 to capture the captured image 21 from the image sensor 8, transfer it to the main storage unit 12, and store it (step S40). At this time, the image processing unit 10 controls the optical unit 2 so that the exposure of the inner area of the frame frame obtained by the composition frame frame detecting means for the pre-shooting operation is optimized.

演算部１１は、主記憶部１２に転送された撮影画像２１を読み出し（ステップＳ４２）、画像補正手段は、撮影画像２１に対して色温度補正や記憶色補正などの補正処理を行う（ステップＳ４４）。構図トリミング手段は、補正された撮影画像２１を、撮影前動作の構図フレーム枠検知手段で得られた構図フレーム枠に従ってトリミングして記録画像を生成する（ステップＳ４６）。 The calculation unit 11 reads the captured image 21 transferred to the main storage unit 12 (step S42), and the image correction unit performs correction processing such as color temperature correction and memory color correction on the captured image 21 (step S44). ). The composition trimming means trims the corrected captured image 21 in accordance with the composition frame frame obtained by the composition frame frame detection means for the pre-shooting operation to generate a recorded image (step S46).

ファイル化手段は、上記記録画像に対して圧縮処理やデータ形式変換処理など行って最終的な画像ファイルを生成して主記憶部１６に書き込む（ステップＳ４８）。記憶制御部１５は、主記憶部１２に記憶された画像ファイルを読み出し、記憶部６に転送して記録する（ステップＳ５０）。 The filing unit performs a compression process and a data format conversion process on the recorded image to generate a final image file and writes the final image file in the main storage unit 16 (step S48). The storage control unit 15 reads the image file stored in the main storage unit 12, transfers it to the storage unit 6, and records it (step S50).

上述した実施形態によれば、撮影前のライブ画像２０から、画像認識等によって所定の構図条件を満足するような構図を探し出し、該所定の構図条件を満足するような構図を示す構図フレーム枠、または／及び、所定の構図条件を満足するような構図とするための移動方向を示す視野移動方向マークからなる構図ガイドマーク画像を、ライブ画像２０上に重ね、はめ込み合成（オーバレイ）して構図ガイド画像２２を生成してライブビュー画面に表示するようにしたので、表示部４に表示される構図ガイド画像２２を視認しながら、撮像装置１のアングルを変えたり、移動したり、ズームイン／ズームアウト操作したりすることで、より容易に構図を決めることができる。 According to the above-described embodiment, a composition frame that shows a composition that satisfies the predetermined composition condition by searching for a composition that satisfies the predetermined composition condition by image recognition or the like from the live image 20 before photographing, Alternatively, a composition guide mark image composed of a visual field movement direction mark indicating a movement direction for achieving a composition that satisfies a predetermined composition condition is superimposed on the live image 20 and embedded and overlaid to form a composition guide. Since the image 22 is generated and displayed on the live view screen, while the composition guide image 22 displayed on the display unit 4 is visually recognized, the angle of the imaging apparatus 1 is changed, moved, zoomed in / zoomed out The composition can be determined more easily by operating.

なお、本実施形態は、撮像装置として携帯電話に適用した例であるが、本発明はこれに限定されるものではなく、デジタルカメラ、スマートフォン、タブレット、携帯ゲーム機、携帯メディアプレイヤ、携帯型の撮像が可能な装置等にも幅広く適用できる。 Although the present embodiment is an example applied to a mobile phone as an imaging device, the present invention is not limited to this, and a digital camera, a smartphone, a tablet, a portable game machine, a portable media player, a portable type It can be widely applied to devices capable of imaging.

以下、本発明の特徴を付記する。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
図６は、付記１の構成図である。なお、図６と図１との対応について説明する。図６に示す撮影手段４０は、図１の光学部２に相当し、撮影範囲算出手段４２は、図１の制御部３における演算部１１による撮影シーン・主要被写体認識手段と構図フレーム枠検知手段とに相当する。また、図６の構図ガイド生成手段４２は、図１の制御部３における演算部１１による構図ガイド生成手段に相当する。そして、図６の表示手段４３は、図１の表示部４に相当する。 The features of the present invention will be described below.
A part or all of the above-described embodiment can be described as in the following supplementary notes, but is not limited thereto.
(Appendix 1)
FIG. 6 is a configuration diagram of Supplementary Note 1. The correspondence between FIG. 6 and FIG. 1 will be described. The imaging unit 40 shown in FIG. 6 corresponds to the optical unit 2 in FIG. 1, and the imaging range calculation unit 42 is a photographic scene / main subject recognition unit and composition frame frame detection unit by the calculation unit 11 in the control unit 3 in FIG. 1. It corresponds to. Further, the composition guide generating unit 42 in FIG. 6 corresponds to the composition guide generating unit by the calculation unit 11 in the control unit 3 in FIG. The display means 43 in FIG. 6 corresponds to the display unit 4 in FIG.

この図に示すように、付記１記載の発明は、
画像を取り込む撮影手段４０と、
前記画像を表示する表示手段４１と、
前記撮影手段４０によって取り込まれた前記画像に基づいて、所定の構図条件を満足する構図となる撮影範囲を求める撮影範囲算出手段４１と、
前記所定の構図条件を満足する構図となる撮影範囲を、前記撮影手段４０により取り込まれた画像上に重ねて合成した構図ガイド画像を生成する構図ガイド生成手段４２と、
前記構図ガイド画像を表示する表示手段４３と
を備えることを特徴とする撮像装置である。 As shown in this figure, the invention described in Appendix 1 is
Photographing means 40 for capturing an image;
Display means 41 for displaying the image;
An imaging range calculation unit 41 for obtaining an imaging range that satisfies a predetermined composition condition based on the image captured by the imaging unit 40;
A composition guide generating means for generating a composition guide image by superimposing the photographing range that satisfies the predetermined composition condition on the image captured by the photographing means 40;
An image pickup apparatus comprising: display means 43 for displaying the composition guide image.

（付記２）
前記撮影範囲算出手段は、前記撮影手段により取り込まれた画像の中から、主要被写体と他の被写体とを認識する撮影シーン・主要被写体認識手段と、前記撮影シーン・主要被写体認識手段により認識された前記主要被写体と前記他の被写体とが前記所定の構図条件を満足する構図となる撮影範囲を示す構図フレーム枠の位置座標を算出する構図フレーム枠検知手段とを備え、前記構図ガイド生成手段は、前記算出された位置座標に基づいて、前記構図フレーム枠を前記撮影手段により取り込まれた画像上に重ねて合成した構図ガイド画像を生成することを特徴とする付記１に記載の撮像装置である。 (Appendix 2)
The photographing range calculating means is recognized by a photographing scene / main subject recognizing means for recognizing a main subject and another subject from the image captured by the photographing means, and the photographing scene / main subject recognizing means. A composition frame frame detecting means for calculating a position coordinate of a composition frame frame indicating a photographing range in which the main subject and the other subject satisfy the predetermined composition condition; and the composition guide generating means comprises: The imaging apparatus according to appendix 1, wherein a composition guide image is generated by superimposing the composition frame frame on an image captured by the photographing unit based on the calculated position coordinates.

（付記３）
前記構図フレーム枠検知手段は、前記構図フレーム枠が前記撮影手段により取り込まれた画像内に収まる場合には、前記構図フレーム枠の位置座標を算出する一方、前記構図フレーム枠が前記撮影手段により取り込まれた画像内に収まらない場合には、前記構図フレーム枠が前記撮影手段により取り込まれた画像内に収めさせるべく前記撮影手段による撮影領域の移動方向を算出し、前記構図ガイド生成手段は、前記構図フレーム枠が前記撮影手段により取り込まれた画像内に収まる場合には、前記構図フレーム枠検知手段により算出された位置座標に基づいて、前記構図フレーム枠を前記撮影手段により取り込まれた画像上に重ねて合成した構図ガイド画像を生成し、前記構図フレーム枠が前記撮影手段により取り込まれた画像内に収まらない場合には、前記構図フレーム枠に加えて、前記構図フレーム枠検知手段により算出された移動方向を示す視野移動方向マークを、前記撮影手段により取り込まれた画像上に重ねて合成した構図ガイド画像を生成することを特徴とする付記２に記載の撮像装置である。 (Appendix 3)
The composition frame detection unit calculates the position coordinates of the composition frame when the composition frame falls within the image captured by the photographing unit, while the composition frame frame is captured by the photographing unit. If the image does not fit in the image, the composition frame frame calculates the moving direction of the photographing area by the photographing means so as to be contained in the image captured by the photographing means, and the composition guide generating means When the composition frame frame fits in the image captured by the photographing unit, the composition frame frame is placed on the image captured by the photographing unit based on the position coordinates calculated by the composition frame frame detection unit. A composition guide image that is superimposed and synthesized is generated, and the composition frame frame is not included in the image captured by the photographing means. The composition guide image in which the visual field movement direction mark indicating the movement direction calculated by the composition frame frame detection unit is superimposed on the image captured by the photographing unit in addition to the composition frame frame. The imaging device according to attachment 2, wherein the imaging device is generated.

（付記４）
撮影操作が入力される入力手段と、前記入力手段から撮影操作が入力されると、前記撮影手段により取り込まれた画像を、前記構図フレーム枠検知手段で得られた構図フレーム枠に従ってトリミングして記録画像を生成する構図トリミング手段とを更に備えることを特徴とする付記１から３のいずれかに記載の撮像装置である。 (Appendix 4)
An input unit for inputting a shooting operation, and when a shooting operation is input from the input unit, the image captured by the shooting unit is trimmed and recorded in accordance with the composition frame frame obtained by the composition frame frame detection unit. The imaging apparatus according to any one of appendices 1 to 3, further comprising composition trimming means for generating an image.

（付記５）
撮像素子によって画像を取り込む撮影ステップと、前記撮影ステップで取り込まれた前記画像に基づいて、所定の構図条件を満足する構図となる撮影範囲を求める撮影範囲算出ステップと、前記所定の構図条件を満足する構図となる撮影範囲を、前記撮影ステップで取り込まれた前記画像上に重ねて合成した構図ガイド画像を生成する構図ガイド生成ステップと、前記構図ガイド画像を表示する表示ステップとを含むことを特徴とする撮像方法である。 (Appendix 5)
A shooting step for capturing an image with an image sensor, a shooting range calculating step for obtaining a shooting range that satisfies a predetermined composition condition based on the image captured in the shooting step, and the predetermined composition condition A composition guide generating step for generating a composition guide image obtained by superimposing and synthesizing a photographing range to be a composition to be composed on the image captured in the photographing step; and a display step for displaying the composition guide image. This is an imaging method.

（付記６）
撮像装置のコンピュータに、撮像素子によって画像を取り込む撮影機能、前記撮影機能で取り込まれた前記画像に基づいて、所定の構図条件を満足する構図となる撮影範囲を求める撮影範囲算出機能、前記所定の構図条件を満足する構図となる撮影範囲を、前記撮影ステップで取り込まれた前記画像上に重ねて合成した構図ガイド画像を生成する構図ガイド生成機能、前記構図ガイド画像を表示する表示機能を実行させることを特徴とするプログラムである。 (Appendix 6)
An imaging function for capturing an image with an imaging element in a computer of an imaging device, an imaging range calculation function for obtaining an imaging range that satisfies a predetermined composition condition based on the image captured by the imaging function, and the predetermined A composition guide generation function for generating a composition guide image in which a photographing range that satisfies a composition condition is superimposed on the image captured in the photographing step and synthesized, and a display function for displaying the composition guide image are executed. It is a program characterized by this.

１撮像装置
２光学部
３制御部
４表示部
５入力部
６記憶部
７レンズ
８撮像素子
１１演算部
１２主記憶部
１３表示制御部
１４入力制御部
１５記憶制御部
１６データ処理部
２０ライブ画像
２１撮影用画像
２２構図ガイド画像
２３撮影画像ファイル
３０主要被写体マーク
３１境界マーク
３３ａ構図フレーム枠
３３ｂ視野移動方向マーク
DESCRIPTION OF SYMBOLS 1 Imaging device 2 Optical part 3 Control part 4 Display part 5 Input part 6 Storage part 7 Lens 8 Image pick-up element 11 Calculation part 12 Main memory part 13 Display control part 14 Input control part 15 Storage control part 16 Data processing part 20 Live image 21 Shooting image 22 Composition guide image 23 Captured image file 30 Main subject mark 31 Boundary mark 33a Composition frame frame 33b Field-of-view movement direction mark

Claims

Photographing means for capturing images;
An imaging range calculation means for obtaining an imaging range that achieves a composition that satisfies a predetermined composition condition based on the image captured by the imaging means;
A composition guide generating means for generating a composition guide image in which a photographing range that satisfies the predetermined composition condition is superimposed on an image captured by the photographing means;
An image pickup apparatus comprising: display means for displaying the composition guide image.

The photographing range calculation means includes
A photographic scene / main subject recognizing means for recognizing a main subject and other subjects from the image captured by the photographing means;
Composition frame frame detection for calculating position coordinates of a composition frame frame indicating a photographing range in which the main subject recognized by the photographing scene / main subject recognition means and the other subject satisfy the predetermined composition condition. Means and
The composition guide generation means includes:
The imaging apparatus according to claim 1, wherein a composition guide image is generated by superimposing the composition frame frame on an image captured by the photographing unit based on the calculated position coordinates.

The composition frame frame detecting means includes:
When the composition frame frame fits in the image captured by the photographing unit, the position coordinates of the composition frame frame are calculated, while the composition frame frame does not fit in the image captured by the photographing unit Calculating the moving direction of the shooting area by the shooting means so that the composition frame frame is contained in the image captured by the shooting means;
The composition guide generation means includes:
When the composition frame frame fits in the image captured by the photographing unit, the composition frame frame is displayed on the image captured by the photographing unit based on the position coordinates calculated by the composition frame frame detection unit. If the composition frame frame does not fit within the image captured by the photographing unit, the composition guide frame image is calculated by the composition frame frame detection unit in addition to the composition frame frame. The imaging apparatus according to claim 2, wherein a composition guide image is generated by superimposing a visual field movement direction mark indicating the movement direction on an image captured by the photographing unit.

An input means for inputting a shooting operation;
Composition trimming means for trimming an image captured by the photographing means in accordance with a composition frame frame obtained by the composition frame frame detection means to generate a recorded image when a photographing operation is input from the input means; The imaging apparatus according to claim 1, further comprising: an imaging apparatus according to claim 1.

A shooting step for capturing an image with an image sensor;
A shooting range calculation step for obtaining a shooting range that is a composition that satisfies a predetermined composition condition based on the image captured in the shooting step;
A composition guide generating step for generating a composition guide image in which a photographing range that satisfies the predetermined composition condition is superimposed on the image captured in the photographing step and combined;
And a display step for displaying the composition guide image.

In the computer of the imaging device,
Shooting function to capture images with the image sensor,
A shooting range calculation function for obtaining a shooting range that is a composition satisfying a predetermined composition condition based on the image captured by the shooting function;
A composition guide generation function for generating a composition guide image by combining a photographing range that satisfies the predetermined composition condition on the image captured in the photographing step;
A program for executing a display function for displaying the composition guide image.