JP2017181938A

JP2017181938A - Imaging apparatus

Info

Publication number: JP2017181938A
Application number: JP2016072071A
Authority: JP
Inventors: 前田　敏彰; Toshiaki Maeda; 敏彰前田; 慎太郎飯島; Shintaro Iijima
Original assignee: Nikon Corp; Nippon Kogaku KK
Current assignee: Nikon Corp
Priority date: 2016-03-31
Filing date: 2016-03-31
Publication date: 2017-10-05

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus that can output images optimum for display and storage.SOLUTION: An imaging apparatus includes: an imaging unit that images light from a subject having transmitted an imaging optical system to output a signal; an image generation unit that generates a plurality of images of the subject at a plurality of positions in an optical axis direction of the imaging optical system from the signal imaged and output by the imaging unit, and generates a display image to be displayed on a display part from part of images of the plurality of generated images of the subject; and a control unit that controls a drive unit for moving a focus lens adjusting a focus position of the imaging optical system. The control unit controls the drive unit for moving the focus lens so that a position of part of images from which the display image is generated is included in a range of a position in the optical axis direction of the imaging optical system enabling the image generation unit after the movement of the focus lens to generate the image of the subject.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.

コントラストＡＦを行うリフォーカスカメラが知られている（特許文献１）。コントラストＡＦではウォブリングを行うことによりスルー画の画面が変動するという問題がある。 A refocus camera that performs contrast AF is known (Patent Document 1). In contrast AF, there is a problem that the screen of the through image fluctuates due to wobbling.

特開２０１５−１６１７８５号公報JP-A-2015-161785

本発明の第１の態様によると、撮像装置は、撮像光学系を透過した被写体からの光を撮像し信号を出力する撮像部と、撮像部での撮像により出力された信号から撮像光学系の光軸方向の複数の位置における被写体の複数の画像を生成し、生成された被写体の複数の画像のうちの一部の画像から表示部に表示する表示画像を生成する画像生成部と、撮像光学系の合焦位置を調整するフォーカスレンズの移動させる駆動部を制御する制御部と、を有し、制御部は、フォーカスレンズの移動後の画像生成部が前記被写体の画像を生成できる撮像光学系の光軸方向の位置の範囲に表示画像を生成した一部の画像の位置が含まれるようにフォーカスレンズを移動させる駆動部を制御する。 According to the first aspect of the present invention, an imaging device includes: an imaging unit that images light from a subject that has passed through the imaging optical system and outputs a signal; and an imaging optical system that uses the signal output by imaging at the imaging unit. An image generation unit that generates a plurality of images of a subject at a plurality of positions in the optical axis direction and generates a display image to be displayed on a display unit from a part of the generated plurality of images of the subject; An imaging optical system capable of generating an image of the subject by the image generation unit after moving the focus lens. The drive unit that moves the focus lens is controlled so that the position of a part of the image that generated the display image is included in the range of the position in the optical axis direction.

撮像装置の構成を模式的に示す断面図Sectional drawing which shows the structure of an imaging device typically 撮像素子の構成を模式的に示す斜視図The perspective view which shows the structure of an image pick-up element typically 合成対象の像面上の光点からの光束と撮像素子とを模式的に示した断面図Cross-sectional view schematically showing the light flux from the light spot on the image plane to be synthesized and the image sensor 撮像画面に配置された焦点検出領域を示す平面図Plan view showing focus detection area arranged on imaging screen 動画撮影処理のフローチャートFlow chart of movie shooting process １フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図The figure which illustrates the relationship between the image plane position at the time of imaging the 1st frame, and a focus evaluation value ２フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図The figure which illustrates the relationship between the image plane position at the time of imaging the 2nd frame, and a focus evaluation value ３フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図The figure which illustrates the relationship between the image plane position at the time of imaging the 3rd frame, and a focus evaluation value ４フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図The figure which illustrates the relationship between the image plane position at the time of imaging the 4th frame, and a focus evaluation value ５フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図The figure which illustrates the relationship between the image plane position at the time of imaging the 5th frame, and a focus evaluation value 動画撮影処理のフローチャートFlow chart of movie shooting process

（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置１の構成を模式的に示す断面図である。撮像装置１は、撮像光学系１１、撮像素子１２、表示部１３、制御部（画像生成部、検出部、演算部、記録制御部）１４、ＲＯＭ１５、および絞り１７を備える。 (First embodiment)
FIG. 1 is a cross-sectional view schematically showing the configuration of the imaging apparatus 1 according to the first embodiment. The imaging device 1 includes an imaging optical system 11, an imaging element 12, a display unit 13, a control unit (image generation unit, detection unit, calculation unit, recording control unit) 14, ROM 15, and a diaphragm 17.

撮像光学系１１は、レンズ１１ａおよびフォーカスレンズ１１ｂを含み、被写体像を結像させる。フォーカスレンズ１１ｂは、不図示のアクチュエータにより光軸Ｏの方向に駆動可能に構成される。なお、図１では撮像光学系１１がレンズ１１ａおよびフォーカスレンズ１１ｂから構成されるように簡略化して図示しているが、撮像光学系１１が他のレンズを含んでもよいし、撮像光学系１１が複数のフォーカスレンズ１１ｂから構成されるようにしてもよい。 The imaging optical system 11 includes a lens 11a and a focus lens 11b, and forms a subject image. The focus lens 11b is configured to be driven in the direction of the optical axis O by an actuator (not shown). In FIG. 1, the imaging optical system 11 is illustrated in a simplified manner so as to include a lens 11a and a focus lens 11b. However, the imaging optical system 11 may include other lenses, or the imaging optical system 11 may be You may make it comprise from several focus lens 11b.

撮像光学系１１の開口は、絞り１７により規制される。絞り１７は、いわゆる虹彩絞りである。絞り１７は、不図示のアクチュエータにより開口径を変位可能に構成される。なお、図１では絞り１７がレンズ１１ｂの後ろ側に設けられているが、絞り１７はレンズ１１ａとレンズ１１ｂとの間や、レンズ１１ａの前側など、種々の位置に設けることができる。 The aperture of the imaging optical system 11 is regulated by the diaphragm 17. The diaphragm 17 is a so-called iris diaphragm. The diaphragm 17 is configured such that the opening diameter can be displaced by an actuator (not shown). In FIG. 1, the diaphragm 17 is provided on the rear side of the lens 11b. However, the diaphragm 17 can be provided at various positions such as between the lens 11a and the lens 11b or on the front side of the lens 11a.

撮像素子１２は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子である。撮像素子１２は、撮像光学系１１を通過した被写体光を光電変換した光電変換信号（撮像信号）を出力する。表示部１３は、例えば液晶パネル等による表示画面を有する表示装置である。表示部１３は、例えば撮像した画像や設定メニュー等を表示する。ＲＯＭ１５は、不揮発性の記憶媒体である。ＲＯＭ１５には、制御プログラムなどの種々のデータが記憶されている。 The image sensor 12 is a solid-state image sensor such as a CCD or CMOS. The imaging element 12 outputs a photoelectric conversion signal (imaging signal) obtained by photoelectrically converting subject light that has passed through the imaging optical system 11. The display unit 13 is a display device having a display screen such as a liquid crystal panel. The display unit 13 displays captured images, setting menus, and the like, for example. The ROM 15 is a nonvolatile storage medium. The ROM 15 stores various data such as a control program.

制御部１４は、ＣＰＵおよび周辺回路等を含む。制御部１４は、ＲＯＭ１５から制御プログラムを読み込んで実行することにより、撮像装置１の各部を制御する。なお、制御プログラムを読み込んで実行する制御部１４の代わりに、同等の機能を電子回路等により構成した制御部を用いてもよい。 The control unit 14 includes a CPU and peripheral circuits. The control unit 14 reads each control program from the ROM 15 and executes it to control each unit of the imaging apparatus 1. Instead of the control unit 14 that reads and executes the control program, a control unit that has an equivalent function configured by an electronic circuit or the like may be used.

撮像装置１は、メモリカード１６を着脱可能な不図示の着脱機構を有する。メモリカード１６は、可搬性の記憶媒体である。制御部１４は、撮像素子１２により出力された撮像信号に基づく動画像データ（後述）を、メモリカード１６に記憶する。 The imaging apparatus 1 has an attachment / detachment mechanism (not shown) that can attach / detach the memory card 16. The memory card 16 is a portable storage medium. The control unit 14 stores moving image data (described later) based on the imaging signal output from the imaging element 12 in the memory card 16.

図２は、撮像素子１２の構成を模式的に示す斜視図である。撮像素子１２は、マイクロレンズアレイ１２１および受光素子アレイ１２２を有する。マイクロレンズアレイ１２１は、複数のマイクロレンズ１２３を有する。複数のマイクロレンズ１２３は、円形形状を有し、二次元状に正方配列される。受光素子アレイ１２２は、複数の受光素子１２４を有する。複数の受光素子１２４は、受光素子アレイ１２２の受光面に二次元状に正方配列される。 FIG. 2 is a perspective view schematically showing the configuration of the image sensor 12. The imaging element 12 has a microlens array 121 and a light receiving element array 122. The microlens array 121 has a plurality of microlenses 123. The plurality of microlenses 123 have a circular shape and are squarely arranged in a two-dimensional shape. The light receiving element array 122 includes a plurality of light receiving elements 124. The plurality of light receiving elements 124 are squarely arranged in a two-dimensional manner on the light receiving surface of the light receiving element array 122.

撮像光学系１１（図１）を通過した被写体からの光線は、複数のマイクロレンズ１２３のいずれかを通過して、複数の受光素子１２４のいずれかに入射する。受光素子１２４は、マイクロレンズ１２３の焦点位置近傍に配置される。換言すると、受光素子１２４は、マイクロレンズ１２３の主平面からマイクロレンズ１２３の焦点距離ｆだけ離れた位置の近傍に配置される。 The light beam from the subject that has passed through the imaging optical system 11 (FIG. 1) passes through one of the plurality of microlenses 123 and enters one of the plurality of light receiving elements 124. The light receiving element 124 is disposed in the vicinity of the focal position of the microlens 123. In other words, the light receiving element 124 is disposed in the vicinity of a position away from the main plane of the microlens 123 by the focal length f of the microlens 123.

複数の受光素子１２４と複数のマイクロレンズ１２３には、互いに対応関係が存在する。具体的には、１つのマイクロレンズ１２３により被覆される領域１２５に配置された複数の受光素子１２４には、そのマイクロレンズ１２３を通過した光束のみが入射する。 The plurality of light receiving elements 124 and the plurality of microlenses 123 have a corresponding relationship with each other. Specifically, only the light beam that has passed through the microlens 123 is incident on the plurality of light receiving elements 124 arranged in the region 125 covered with one microlens 123.

（画像合成処理の説明）
制御部１４が実行する画像合成処理について説明する。本実施の形態における画像合成処理は、撮像素子１２により出力された撮像信号から、光軸方向の所定範囲内における任意像面の画像（いわゆるリフォーカス画像）を合成する機能である。リフォーカス画像の合成方法の例を、図３を参照して説明する。 (Description of image composition processing)
An image composition process executed by the control unit 14 will be described. The image composition processing in the present embodiment is a function for compositing an image of an arbitrary image plane (so-called refocus image) within a predetermined range in the optical axis direction from the image signal output by the image sensor 12. An example of a refocus image synthesis method will be described with reference to FIG.

図３は、合成対象の像面Ｓ上の光点Ｐからの光束と撮像素子１２とを模式的に示した断面図である。図３において、合成対象の像面Ｓ上に設けた光点Ｐを考える。この光点Ｐから撮像素子１２に向かう光の広がり角θは、撮像光学系１１の瞳の大きさ（すなわち撮像光学系１１の絞り値）により規定される。マイクロレンズ１２３の絞り値は撮像光学系１１の絞り値と同じかそれより小さくなるように構成されている。従って、この光点Ｐから出射し、あるマイクロレンズ１２３に入射した光束は、そのマイクロレンズ１２３により被覆されている領域の外には広がらない。 FIG. 3 is a cross-sectional view schematically showing the light flux from the light spot P on the image plane S to be synthesized and the image sensor 12. In FIG. 3, a light spot P provided on the image plane S to be synthesized is considered. The spread angle θ of light from the light spot P toward the image sensor 12 is defined by the size of the pupil of the image pickup optical system 11 (that is, the aperture value of the image pickup optical system 11). The aperture value of the micro lens 123 is configured to be the same as or smaller than the aperture value of the imaging optical system 11. Therefore, a light beam emitted from the light spot P and incident on a certain microlens 123 does not spread outside the region covered with the microlens 123.

ここで、図３に示すように、光点Ｐからの光束が５つのマイクロレンズ１２３（１）〜１２３（５）に入射するとすれば、これらのマイクロレンズ１２３（１）〜１２３（５）に入射した光束３０（１）〜３０（５）の受光面上における入射光量（受光素子１２４（１）〜１２４（５）の光電変換出力）を積算することにより、光点Ｐからの瞳に制限された全入射光量が得られる。すなわち、合成対象の像面Ｓ上の光点Ｐ（合成対象の画素）の光量が得られることになる。 Here, as shown in FIG. 3, if the light beam from the light spot P is incident on the five microlenses 123 (1) to 123 (5), the microlenses 123 (1) to 123 (5) are incident on the microlenses 123 (1) to 123 (5). By limiting the amount of incident light (photoelectric conversion output of the light receiving elements 124 (1) to 124 (5)) on the light receiving surface of the incident light beams 30 (1) to 30 (5), it is limited to the pupil from the light spot P. The total amount of incident light is obtained. That is, the amount of light at the light spot P (the pixel to be synthesized) on the image plane S to be synthesized is obtained.

制御部１４は、指定された像面Ｓ上に複数の光点Ｐを設定し、各光点Ｐについて、その光点Ｐからの光束が入射するマイクロレンズ１２３を特定する。制御部１４は、特定した各マイクロレンズ１２３について、光点Ｐからの光束がどの受光素子１２４に入射するかを特定する。制御部１４は、特定した受光素子１２４の光電変換出力を積算することにより、光点Ｐの画素値を算出する。 The control unit 14 sets a plurality of light spots P on the designated image plane S, and specifies, for each light spot P, the microlens 123 on which the light beam from the light spot P is incident. For each identified microlens 123, the control unit 14 identifies which light receiving element 124 the light beam from the light spot P enters. The control unit 14 calculates the pixel value of the light spot P by integrating the photoelectric conversion outputs of the identified light receiving elements 124.

以上の処理によって、合成対象として指定された像面Ｓの画像が合成される。制御部１４は、１回の撮像によって撮像素子１２から出力される撮像信号に対して、複数の異なる像面の画像を合成することができる。すなわち、１回の撮像結果から複数像面の画像を得ることができる。 Through the above processing, the image of the image plane S designated as the synthesis target is synthesized. The control unit 14 can synthesize images of a plurality of different image planes with the imaging signal output from the imaging element 12 by one imaging. That is, an image having a plurality of image planes can be obtained from one imaging result.

ところで、以上の処理により一定の解像度を保ったまま好適に合成可能な像面の位置には、一定の制約がある。例えば、マイクロレンズ１２３の頂点近傍の像面を合成すると、他の位置の像面を合成した場合に比べて、解像度が低下することが知られている。このように、合成可能な像面位置には制約がある。以下の説明では、解像度よく合成可能な像面の範囲を合成可能範囲と称し、ある像面が合成可能範囲から外れていることを、その像面が合成不可能であると表記する。 By the way, there is a certain restriction on the position of the image plane that can be suitably combined while maintaining a certain resolution by the above processing. For example, it is known that when the image plane in the vicinity of the apex of the microlens 123 is synthesized, the resolution is lower than when the image planes at other positions are synthesized. Thus, there are restrictions on the position of the image plane that can be combined. In the following description, a range of image planes that can be combined with high resolution is referred to as a compositable range, and that an image plane that is out of the compositable range is expressed as an image plane that cannot be combined.

フォーカスレンズ１１ｂが光軸方向に移動すると、合成可能範囲はそれに合わせて移動する。また、絞り１７を絞り込み、開口径を小さくすると、合成可能範囲は前後に広がる。つまり、ある時点において合成不可能な像面も、フォーカスレンズ１１ｂを移動させたり、絞り１７を絞り込むことで、合成可能にすることができる。 When the focus lens 11b moves in the optical axis direction, the compositable range moves in accordance with the movement. Further, when the diaphragm 17 is narrowed down and the opening diameter is reduced, the compositible range is widened back and forth. In other words, an image surface that cannot be combined at a certain point in time can be combined by moving the focus lens 11 b or narrowing the aperture 17.

（焦点検出処理の説明）
図４は、撮像画面４０に配置された焦点検出領域４１を示す平面図である。撮像画面４０には、計１３個の焦点検出領域４１が配置されている。制御部１４は、各々の焦点検出領域４１について、後述する焦点評価値を演算する（焦点検出を行う）ことができる。なお、図４に示した焦点検出領域４１のサイズ、個数および位置は一例であり、より大きな（または小さな）焦点検出領域４１やより多数の（または少数の）焦点検出領域４１を設けてもよいし、図４に示した位置とは別の位置に焦点検出領域４１を設けてもよい。以下、中央の焦点検出領域４１ａに注目して焦点検出等の処理を説明するが、説明する内容を複数の焦点検出領域４１に適用することは当然に可能である。 (Description of focus detection processing)
FIG. 4 is a plan view showing the focus detection area 41 arranged on the imaging screen 40. A total of 13 focus detection areas 41 are arranged on the imaging screen 40. The control unit 14 can calculate a focus evaluation value (described later) for each focus detection area 41. Note that the size, number, and position of the focus detection areas 41 shown in FIG. 4 are merely examples, and a larger (or smaller) focus detection area 41 or a larger number (or a smaller number) of focus detection areas 41 may be provided. However, the focus detection area 41 may be provided at a position different from the position shown in FIG. Hereinafter, processing such as focus detection will be described by focusing on the central focus detection region 41a, but it is naturally possible to apply the contents to be described to a plurality of focus detection regions 41.

焦点検出処理において、制御部１４は、合成可能範囲内の複数の像面の画像を、前述した画像合成処理によって合成する。制御部１４は、合成した複数の画像の各々について、焦点検出領域４１ａ内のコントラスト量を算出する。本実施の形態では、算出されるコントラスト量（例えば画像が鮮鋭であるほど大きくなる量）を焦点評価値として扱う。以上の処理によって、合成可能範囲内の各像面位置における焦点評価値が得られる。 In the focus detection process, the control unit 14 synthesizes images of a plurality of image planes within the synthesizable range by the above-described image synthesis process. The control unit 14 calculates the contrast amount in the focus detection area 41a for each of the combined images. In the present embodiment, the calculated contrast amount (for example, the amount that increases as the image becomes sharper) is handled as the focus evaluation value. The focus evaluation value at each image plane position within the compositible range is obtained by the above processing.

焦点検出処理において、合成可能範囲内のどの位置の像面を合成するかは適宜決定することができる。例えば、合成可能範囲の一端から他端まで、微小な間隔で多数の像面を合成して焦点評価値を算出すれば、計算量（計算時間）が大きくなるが、焦点評価値の分布（変化）を詳細に得ることができる。また、合成可能範囲の一端から他端まで、大きな間隔を空けてごく少数の像面を合成して焦点評価値を算出すれば、少ない計算量（計算時間）で、焦点評価値の大まかな分布を知ることができる。合成可能範囲の限定的な一部分において、微小な間隔で多数の像面を合成して焦点評価値を算出すれば、比較的少ない計算量（計算時間）で、限定的な一部分における詳細な焦点評価値を得ることができる。 In the focus detection process, it is possible to appropriately determine which position of the image plane within the compositible range is to be combined. For example, if a focus evaluation value is calculated by synthesizing a large number of image planes from one end to the other end of the compositible range at a minute interval, the amount of calculation (calculation time) increases, but the distribution (change in focus evaluation value) ) In detail. Also, if a focus evaluation value is calculated by synthesizing a small number of image planes from one end of the compositable range to the other end with a large distance, a rough distribution of the focus evaluation value is achieved with a small amount of calculation (calculation time). Can know. If a focus evaluation value is calculated by synthesizing a large number of image planes at minute intervals in a limited part of the compositable range, a detailed focus evaluation in a limited part can be performed with a relatively small amount of calculation (calculation time). A value can be obtained.

（動画撮影処理の説明）
撮像装置１は、動画撮影機能を有する。ユーザが所定の動画撮影開始操作（例えば録画ボタンの押下など）を行うと、制御部１４は、動画撮影処理の実行を開始する。動画撮影処理において、制御部１４は、所定間隔（例えば６０分の１秒）ごとに、撮像素子１２に被写体像を撮像させる。制御部１４は、撮像素子１２により出力された撮像信号に基づき合成された、特定の像面の画像を、表示部１３に表示する。制御部１４は、その特定の像面の画像を、動画像データの１フレームとして、メモリカード１６に記憶する。 (Description of video shooting process)
The imaging device 1 has a moving image shooting function. When the user performs a predetermined moving image shooting start operation (for example, pressing of a recording button), the control unit 14 starts executing the moving image shooting process. In the moving image shooting process, the control unit 14 causes the image sensor 12 to capture a subject image at predetermined intervals (for example, 1/60 second). The control unit 14 displays an image of a specific image plane synthesized on the basis of the imaging signal output from the imaging element 12 on the display unit 13. The control unit 14 stores the image of the specific image plane in the memory card 16 as one frame of moving image data.

図５は、動画撮影処理のフローチャートである。ユーザが所定の動画撮影開始操作を行うと、制御部１４は、図５に示す処理の実行を開始する。ステップＳ１０において、制御部１４は、撮像素子１２に被写体像を撮像させる。ステップＳ２０において、制御部１４は、ステップＳ１０で撮像素子１２により出力された撮像信号に基づき、合成可能範囲内の複数位置の像面の画像を合成する。 FIG. 5 is a flowchart of the moving image shooting process. When the user performs a predetermined moving image shooting start operation, the control unit 14 starts executing the process illustrated in FIG. In step S <b> 10, the control unit 14 causes the image sensor 12 to capture a subject image. In step S20, the control unit 14 synthesizes images of image planes at a plurality of positions within the synthesizable range based on the imaging signal output by the imaging element 12 in step S10.

ステップＳ３０において、制御部１４は、ステップＳ２０で合成された複数の像面の画像の各々について、焦点検出領域４１ａの焦点評価値を演算する。ステップＳ４０において、制御部１４は、ステップＳ３０で演算された像面ごとの焦点評価値から最大の値を探し、その最大の値に対応する像面を特定する。つまりここで特定された像面は、複数の像面のうち最大のコントラストを有する像面である。換言すると、特定された像面は、複数の像面のうち最も見映えがよい画像である。 In step S30, the control unit 14 calculates a focus evaluation value of the focus detection area 41a for each of the images of the plurality of image planes combined in step S20. In step S40, the control unit 14 searches for the maximum value from the focus evaluation values for each image plane calculated in step S30, and specifies the image plane corresponding to the maximum value. That is, the image plane specified here is an image plane having the maximum contrast among a plurality of image planes. In other words, the specified image plane is an image that looks best among a plurality of image planes.

ステップＳ４５において、制御部１４は、ステップＳ４０で見つかった最大の焦点評価値が、極大値であるか否かを判定する。焦点評価値が極大値であるとは、すなわち、その前後の像面位置における焦点評価値が、最大の焦点評価値よりも低いということである。なお、「その前後の像面位置」の少なくとも一方が合成可能範囲外である場合、その焦点評価値は不明なので、最大の焦点評価値は極大値ではないと判定される。 In step S45, the control unit 14 determines whether or not the maximum focus evaluation value found in step S40 is a maximum value. The focus evaluation value is the maximum value, that is, the focus evaluation value at the image plane positions before and after the focus evaluation value is lower than the maximum focus evaluation value. Note that when at least one of the “front and back image plane positions” is outside the compositible range, the focus evaluation value is unknown, so it is determined that the maximum focus evaluation value is not the maximum value.

最大の焦点評価値が極大値ではなかった場合（ステップＳ４５でＮＯの場合）、制御部１４は処理をステップＳ５０に進める。ステップＳ５０において、制御部１４は、合成可能範囲がステップＳ４０で特定された像面の方向（後述する）に向かって移動するように、フォーカスレンズ１１ｂを駆動する。制御部１４は、特定された像面が合成可能範囲から外れないように（合成可能範囲内に含まれるように）、フォーカスレンズ１１ｂを駆動する。その後、制御部１４は、処理をステップＳ６０に進める。他方、ステップＳ４５において、最大の焦点評価値が極大値であった場合（ステップＳ４５でＹＥＳの場合）、制御部１４は処理をステップＳ６０に進める。 If the maximum focus evaluation value is not the maximum value (NO in step S45), the control unit 14 advances the process to step S50. In step S50, the control unit 14 drives the focus lens 11b so that the compositable range moves toward the image plane direction (described later) specified in step S40. The control unit 14 drives the focus lens 11b so that the specified image plane does not deviate from the synthesizable range (so that it is included in the synthesizable range). Then, the control part 14 advances a process to step S60. On the other hand, when the maximum focus evaluation value is the maximum value in step S45 (YES in step S45), the control unit 14 advances the process to step S60.

ステップＳ６０において、制御部１４は、ステップＳ４０で特定された像面の画像を表示部１３に表示する。つまり制御部１４は、最も見栄えがよい画像を、いわゆるスルー画（ライブビュー画像）として表示する。ステップ７０において、制御部１４は、ステップＳ４０で特定された像面の画像を、動画像データの１フレームとして、メモリカード１６に記憶する。 In step S60, the control unit 14 displays the image of the image plane specified in step S40 on the display unit 13. That is, the control unit 14 displays the image that looks best as a so-called through image (live view image). In step 70, the control unit 14 stores the image of the image plane specified in step S40 in the memory card 16 as one frame of moving image data.

ステップＳ８０において、制御部１４は、ユーザによって所定の動画撮影終了操作（例えば録画ボタンの再押下など）が為されたか否かを判定する。動画撮影終了操作が為されていなかった場合、制御部１４は処理をステップＳ１０に進める。他方、動画撮影終了操作が為されていた場合、制御部１４は動画撮影処理を終了する。 In step S80, the control unit 14 determines whether or not a predetermined moving image shooting end operation (for example, re-pressing of the recording button) is performed by the user. If the moving image shooting end operation has not been performed, the control unit 14 advances the process to step S10. On the other hand, if the moving image shooting end operation has been performed, the control unit 14 ends the moving image shooting process.

以上で説明した動画撮影処理におけるフォーカスレンズ１１ｂの駆動方法について、図６〜図８を参照してより詳細に説明する。 The driving method of the focus lens 11b in the moving image shooting process described above will be described in more detail with reference to FIGS.

図６は、１フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図である。図６の横軸は像面位置を、縦軸は焦点評価値をそれぞれ示している。なお、説明の便宜上、図６ではｘ１〜ｘ１４の計１４個の像面位置のみが存在するものとしている。また、図６の横軸は左方向が至近側の像面位置であり、右方向側が無限遠側の像面位置であり、例えば、像面位置ｘ１、ｘ３、ｘ５に注目すると、像面位置ｘ３に対して像面位置ｘ５は無限遠側にあり、像面位置ｘ３に対して像面位置ｘ１は至近側にある。図７および図８についても同様である。 FIG. 6 is a diagram illustrating the relationship between the image plane position and the focus evaluation value when the first frame is imaged. In FIG. 6, the horizontal axis represents the image plane position, and the vertical axis represents the focus evaluation value. For convenience of explanation, it is assumed in FIG. 6 that there are only a total of 14 image plane positions x1 to x14. The horizontal axis in FIG. 6 is the image plane position on the near side on the left side, and the image plane position on the infinity side on the right direction. For example, when focusing on the image plane positions x1, x3, and x5, the image plane position The image plane position x5 is on the infinity side with respect to x3, and the image plane position x1 is on the near side with respect to the image plane position x3. The same applies to FIG. 7 and FIG.

図６では、全ての像面位置ｘ１〜ｘ１４に対応する焦点評価値を図示しているが、実際に制御部１４が演算可能な焦点評価値は、現在のフォーカスレンズ１１ｂの位置に対応する合成可能範囲６０ａに含まれる像面位置ｘ１〜ｘ５の焦点評価値のみである。 In FIG. 6, focus evaluation values corresponding to all image plane positions x1 to x14 are illustrated, but the focus evaluation values that can be actually calculated by the control unit 14 are synthesized corresponding to the current position of the focus lens 11b. Only focus evaluation values of image plane positions x1 to x5 included in the possible range 60a.

制御部１４は、現在の合成可能範囲６０ａに含まれる５つの像面位置ｘ１〜ｘ５に対応する５つの画像を合成する（図５のステップＳ２０）。制御部１４は、それら５つの像面位置ｘ１〜ｘ５の画像から焦点評価値を演算する（図５のステップＳ３０）。制御部１４は、現在の合成可能範囲６０ａ内で最大の焦点評価値を有している位置が像面位置ｘ５であることを特定する（図５のステップＳ４０）。 The control unit 14 synthesizes five images corresponding to the five image plane positions x1 to x5 included in the current synthesizable range 60a (step S20 in FIG. 5). The control unit 14 calculates a focus evaluation value from the images at the five image plane positions x1 to x5 (step S30 in FIG. 5). The control unit 14 specifies that the position having the maximum focus evaluation value within the current synthesizable range 60a is the image plane position x5 (step S40 in FIG. 5).

合成可能範囲６０ａの中央の位置の像面位置ｘ３の焦点評価値は極大値ではなく、合成可能範囲６０ａ内では右端の像面位置ｘ５で焦点評価値が最大となっているので、制御部１４は、像面位置ｘ５の方向に向かって（無限遠側に向かって）合成可能範囲６０ａが移動するように、かつ、像面位置ｘ５が新たな合成可能範囲から外れないように、フォーカスレンズ１１ｂを駆動する（図５のステップＳ５０）。具体的には、図６では合成可能範囲６０ａに含まれる像面位置が５つであり、合成可能範囲６０ａ内では右端の像面位置ｘ５で焦点評価値が最大となっているので、合成可能範囲の像面位置が無限遠側に４つずれるようにフォーカスレンズ１１ｂを駆動する。 The focus evaluation value of the image plane position x3 at the center of the compositable range 60a is not a maximum value, and the focus evaluation value is the maximum at the rightmost image plane position x5 within the compositible range 60a. Is the focus lens 11b so that the compositable range 60a moves in the direction of the image plane position x5 (toward the infinity side) and the image plane position x5 does not deviate from the new compositable range. Is driven (step S50 in FIG. 5). Specifically, in FIG. 6, there are five image plane positions included in the compositable range 60a, and the focus evaluation value is the maximum at the rightmost image plane position x5 in the compositable range 60a, so that compositing is possible. The focus lens 11b is driven so that the image plane position in the range is shifted by four toward the infinity side.

図６の時点で、合成可能範囲６０ａ内で焦点評価値は像面位置ｘ５において最大となっている。結果として、制御部１４は、焦点評価値が極大となる像面位置ｘ７に合成可能範囲６０ａが近づくようにフォーカスレンズ１１ｂを駆動する。 At the time of FIG. 6, the focus evaluation value is maximum at the image plane position x5 within the compositible range 60a. As a result, the control unit 14 drives the focus lens 11b so that the compositable range 60a approaches the image plane position x7 at which the focus evaluation value is maximized.

制御部１４は、合成可能範囲６０ａ内で最大の焦点評価値を有していた像面位置ｘ５の合成画像を、表示部１３に表示する（図５のステップＳ６０）。制御部１４は、合成可能範囲６０ａ内で最大の焦点評価値を有していた像面位置ｘ５の合成画像を、メモリカード１６に記憶する（図５のステップＳ７０）。 The control unit 14 displays the composite image at the image plane position x5 having the maximum focus evaluation value within the compositible range 60a on the display unit 13 (step S60 in FIG. 5). The control unit 14 stores the composite image at the image plane position x5 having the maximum focus evaluation value within the compositible range 60a in the memory card 16 (step S70 in FIG. 5).

図７は、２フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図である。図６の時点からフォーカスレンズ１１ｂが駆動されたことに伴い、現在の合成可能範囲６０ｂは、前回の合成可能範囲６０ａの位置から、像面位置ｘ５〜ｘ９を含む位置に移動している。図６の時点から被写体が移動しておらず、像面位置ｘ１〜ｘ１４の全域で、焦点評価値は変化していない。 FIG. 7 is a diagram illustrating the relationship between the image plane position and the focus evaluation value when the second frame is imaged. As the focus lens 11b is driven from the time of FIG. 6, the current synthesizable range 60b is moved from the position of the previous synthesizable range 60a to a position including the image plane positions x5 to x9. The subject has not moved since the time point in FIG. 6, and the focus evaluation value has not changed in the entire area of the image plane positions x1 to x14.

制御部１４は、現在の合成可能範囲６０ｂに含まれる５つの像面位置ｘ５〜ｘ９に対応する５つの画像を合成する（図５のステップＳ２０）。制御部１４は、それら５つの像面位置ｘ５〜ｘ９の画像から焦点評価値を演算する（図５のステップＳ３０）。制御部１４は、現在の合成可能範囲６０ｂ内で最大の焦点評価値を有している位置が像面位置ｘ７であることを特定する（図５のステップＳ４０）。像面位置ｘ７の焦点評価値は極大値なので、制御部１４は、フォーカスレンズ１１ｂを駆動しない。 The control unit 14 synthesizes five images corresponding to the five image plane positions x5 to x9 included in the current synthesizable range 60b (step S20 in FIG. 5). The control unit 14 calculates a focus evaluation value from the images at the five image plane positions x5 to x9 (step S30 in FIG. 5). The control unit 14 specifies that the position having the maximum focus evaluation value within the current synthesizable range 60b is the image plane position x7 (step S40 in FIG. 5). Since the focus evaluation value at the image plane position x7 is a maximum value, the control unit 14 does not drive the focus lens 11b.

制御部１４は、最大の焦点評価値を有していた像面位置ｘ７の合成画像を、表示部１３に表示する（図５のステップＳ６０）。制御部１４は、最大の焦点評価値を有していた像面位置ｘ７の合成画像を、メモリカード１６に記憶する（図５のステップＳ７０）。 The control unit 14 displays the composite image at the image plane position x7 having the maximum focus evaluation value on the display unit 13 (step S60 in FIG. 5). The control unit 14 stores the composite image at the image plane position x7 having the maximum focus evaluation value in the memory card 16 (step S70 in FIG. 5).

図８は、３フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図である。図７の時点から被写体が移動したことにより、焦点評価値は、像面位置ｘ９で極大となるように変化している。 FIG. 8 is a diagram illustrating the relationship between the image plane position and the focus evaluation value when the third frame is imaged. Due to the movement of the subject from the time point in FIG. 7, the focus evaluation value changes so as to become a maximum at the image plane position x9.

制御部１４は、現在の合成可能範囲６０ｃに含まれる５つの像面位置ｘ５〜ｘ９に対応する５つの画像を合成する（図５のステップＳ２０）。制御部１４は、それら５つの像面位置ｘ５〜ｘ９の画像から焦点評価値を演算する（図５のステップＳ３０）。制御部１４は、現在の合成可能範囲６０ｃ内で最大の焦点評価値を有している位置が像面位置ｘ９であることを特定する（図５のステップＳ４０）。 The control unit 14 synthesizes five images corresponding to the five image plane positions x5 to x9 included in the current synthesizable range 60c (step S20 in FIG. 5). The control unit 14 calculates a focus evaluation value from the images at the five image plane positions x5 to x9 (step S30 in FIG. 5). The control unit 14 specifies that the position having the maximum focus evaluation value within the current synthesizable range 60c is the image plane position x9 (step S40 in FIG. 5).

像面位置ｘ９の焦点評価値は合成可能範囲６０ｃ内では極大値ではないので、制御部１４は、像面位置ｘ９の方向に向かって（無限遠側に向かって）合成可能範囲６０ｃが移動するように、かつ、像面位置ｘ９が新たな合成可能範囲から外れないように、フォーカスレンズ１１ｂを駆動する（図５のステップＳ５０）。 Since the focus evaluation value of the image plane position x9 is not a maximum value in the compositable range 60c, the control unit 14 moves the compositable range 60c toward the image plane position x9 (toward the infinity side). Thus, the focus lens 11b is driven so that the image plane position x9 does not deviate from the new compositable range (step S50 in FIG. 5).

図８の時点で、焦点評価値は像面位置ｘ１３において極大となっている。結果として、制御部１４は、焦点評価値が極大となる像面位置ｘ１３に合成可能範囲６０ｃが近づくようにフォーカスレンズ１１ｂを駆動する。 At the time of FIG. 8, the focus evaluation value is maximized at the image plane position x13. As a result, the control unit 14 drives the focus lens 11b so that the compositable range 60c approaches the image plane position x13 where the focus evaluation value is maximized.

制御部１４は、最大の焦点評価値を有していた像面位置ｘ９の合成画像を、表示部１３に表示する（図５のステップＳ６０）。制御部１４は、最大の焦点評価値を有していた像面位置ｘ９の合成画像を、メモリカード１６に記憶する（図５のステップＳ７０）。 The control unit 14 displays the composite image of the image plane position x9 having the maximum focus evaluation value on the display unit 13 (Step S60 in FIG. 5). The control unit 14 stores the composite image at the image plane position x9 having the maximum focus evaluation value in the memory card 16 (step S70 in FIG. 5).

図９は、４フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図である。図８の時点から被写体が移動しておらず、像面位置ｘ１〜ｘ１４の全域で、焦点評価値は変化していない。現在の合成可能範囲６０ｄは、破線で図示した前回の合成可能範囲６０ｃから無限遠側に向かって移動している。前述の通り、現在の合成可能範囲６０ｄに、前回の合成可能範囲６０ｃ内で最大の焦点評価値を有していた像面位置ｘ９が含まれるように、フォーカスレンズ１１ｂが駆動される（合成可能範囲が移動される）。 FIG. 9 is a diagram illustrating the relationship between the image plane position and the focus evaluation value when the fourth frame is imaged. The subject has not moved since the time point in FIG. 8, and the focus evaluation value does not change in the entire area of the image plane positions x1 to x14. The present synthesizable range 60d is moving toward the infinity side from the previous synthesizable range 60c illustrated by a broken line. As described above, the focus lens 11b is driven such that the current synthesizable range 60d includes the image plane position x9 that has the maximum focus evaluation value within the previous synthesizable range 60c (synthesizeable). Range is moved).

制御部１４は、現在の合成可能範囲６０ｄに含まれる５つの像面位置ｘ９〜ｘ１３に対応する５つの画像を合成する（図５のステップＳ２０）。制御部１４は、それら５つの像面位置ｘ９〜ｘ１３の画像から焦点評価値を演算する（図５のステップＳ３０）。制御部１４は、現在の合成可能範囲６０ｄ内で最大の焦点評価値を有している位置が像面位置ｘ９であることを特定する（図５のステップＳ４０）。 The control unit 14 synthesizes five images corresponding to the five image plane positions x9 to x13 included in the current synthesizable range 60d (step S20 in FIG. 5). The control unit 14 calculates a focus evaluation value from the images at the five image plane positions x9 to x13 (step S30 in FIG. 5). The control unit 14 specifies that the position having the maximum focus evaluation value within the current synthesizable range 60d is the image plane position x9 (step S40 in FIG. 5).

像面位置ｘ９の焦点評価値は合成可能範囲６０ｄ内では極大値ではないので、制御部１４は、像面位置ｘ９の方向に向かって（無限遠側に向かって）合成可能範囲６０ｄが移動するように、かつ、像面位置ｘ９が新たな合成可能範囲から外れないように、フォーカスレンズ１１ｂを駆動する（図５のステップＳ５０）。 Since the focus evaluation value of the image plane position x9 is not a maximum value within the compositible range 60d, the control unit 14 moves the compositable range 60d toward the image plane position x9 (toward the infinity side). Thus, the focus lens 11b is driven so that the image plane position x9 does not deviate from the new compositable range (step S50 in FIG. 5).

制御部１４は、前回（図８の時点で）取得した像面位置ｘ５〜ｘ９の焦点評価値と、今回（図９の時点で）取得した像面位置ｘ９〜ｘ１３の焦点評価値とから、像面位置ｘ９の焦点評価値が極大であると推定する。この場合は、前回（図８の時点で）合成可能範囲６０ｃ内の右端（ｘ９）で焦点評価値が最大であり、今回（図９の時点で）合成可能範囲６０ｄ内の左端（ｘ９）で焦点評価値が最大であるので、像面位置ｘ９の焦点評価値が極大であると推定する。制御部１４は、新たな合成可能範囲（次回の合成可能範囲）において、焦点評価値が極大と推定される像面位置ｘ９が中央に位置するように、フォーカスレンズ１１ｂを駆動する。具体的には、合成可能範囲の像面位置が至近側に２つずれるように、フォーカスレンズ１１ｂを駆動する。 From the focus evaluation values of the image plane positions x5 to x9 acquired previously (at the time of FIG. 8) and the focus evaluation values of the image plane positions x9 to x13 acquired this time (at the time of FIG. 9), the control unit 14 It is estimated that the focus evaluation value at the image plane position x9 is maximal. In this case, the focus evaluation value is the maximum at the right end (x9) in the compositible range 60c last time (at the time of FIG. 8), and at the left end (x9) in the compositible range 60d this time (at the time of FIG. 9). Since the focus evaluation value is the maximum, it is estimated that the focus evaluation value at the image plane position x9 is maximal. The control unit 14 drives the focus lens 11b so that the image plane position x9 at which the focus evaluation value is estimated to be the maximum is located in the center in the new compositable range (next compositable range). Specifically, the focus lens 11b is driven so that the image plane position in the compositable range is shifted by two to the close side.

３フレーム目から４フレーム目にかけて、前回の合成可能範囲６０ｃ内で最大の焦点評価値を有していた像面位置ｘ９が、新たな合成可能範囲に含まれるようにフォーカスレンズ１１ｂを駆動しなかった場合、４フレーム目の時点での合成可能範囲は、例えば図９に破線で示す合成可能範囲６０ｘのようになる。この合成可能範囲６０ｘは、像面位置ｘ１０〜ｘ１４を含む。合成可能範囲６０ｘには像面位置ｘ９が含まれないので、合成可能範囲６０ｄに比べて、表示や記憶に用いられる合成画像の鮮鋭さが低下することになる。 From the third frame to the fourth frame, the focus lens 11b is not driven so that the image plane position x9 having the maximum focus evaluation value in the previous synthesizable range 60c is included in the new synthesizable range. In this case, the synthesizable range at the time of the fourth frame is, for example, a synthesizable range 60x indicated by a broken line in FIG. This synthesizable range 60x includes image plane positions x10 to x14. Since the image plane position x9 is not included in the compositable range 60x, the sharpness of the composite image used for display and storage is lower than that in the compositable range 60d.

図１０は、５フレーム目を撮像する際の像面位置と焦点評価値との関係を例示する図である。図９の時点からフォーカスレンズ１１ｂが駆動されたことに伴い、現在の合成可能範囲６０ｅは、前回の合成可能範囲６０ｄの位置から、像面位置ｘ７〜ｘ１１を含む位置に移動している。ここでは制御部１４が推定した通りに像面位置ｘ９において焦点評価値が極大になっており、合成可能範囲６０ｅの中央にその像面位置ｘ９が位置している。 FIG. 10 is a diagram illustrating the relationship between the image plane position and the focus evaluation value when the fifth frame is imaged. As the focus lens 11b is driven from the time of FIG. 9, the current synthesizable range 60e is moved from the position of the previous synthesizable range 60d to a position including the image plane positions x7 to x11. Here, as estimated by the control unit 14, the focus evaluation value is maximized at the image plane position x9, and the image plane position x9 is located at the center of the compositible range 60e.

以上のように、制御部１４は、現在の合成可能範囲内の像面位置のうち、最大の焦点評価値に対応する像面位置が新たな合成可能範囲内に常に含まれるように、フォーカスレンズ１１ｂを駆動する。制御部１４は、合成可能範囲内の各像面位置に対応する画像のうち、もっともピント状態のよい（コントラストが高い）画像を表示および記憶する。 As described above, the control unit 14 adjusts the focus lens so that the image plane position corresponding to the maximum focus evaluation value among the image plane positions in the current synthesizable range is always included in the new synthesizable range. 11b is driven. The control unit 14 displays and stores an image in the best focus state (high contrast) among the images corresponding to the image plane positions within the compositible range.

上述した実施の形態によれば、次の作用効果が得られる。
（１）制御部１４は、撮像素子１２により出力された撮像信号により、撮像光学系１１の光軸方向の合成可能範囲内における複数の像面の焦点評価値を演算して、焦点評価値が最大である像面による画像を出力する。このようにしたので、表示や記憶に最適な画像を出力することができる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The control unit 14 calculates focus evaluation values of a plurality of image planes within the compositible range in the optical axis direction of the image pickup optical system 11 based on the image pickup signal output from the image pickup element 12, and the focus evaluation value is calculated. Output the image with the maximum image plane. Since it did in this way, the optimal image for a display and memory | storage can be output.

（２）制御部１４は、撮像光学系１１が有するフォーカスレンズ１１ｂを、焦点評価値が最大である像面の方向に駆動させる。このようにしたので、駆動方向を決める際に、フォーカスレンズ１１ｂが逆方向に駆動されることがなく、スムーズに焦点調節を行うことができる。 (2) The control unit 14 drives the focus lens 11b included in the imaging optical system 11 in the direction of the image plane having the maximum focus evaluation value. Since it did in this way, when deciding a drive direction, focus lens 11b is not driven in the reverse direction, and it can adjust focus smoothly.

（３）制御部１４は、撮像信号により複数の像面の画像を作成（合成）し、作成したそれら複数の像面の画像から焦点評価値を演算する。このようにしたので、複数の像面位置における焦点評価値を精度よく演算することができる。 (3) The control unit 14 creates (synthesizes) images of a plurality of image planes based on the imaging signals, and calculates a focus evaluation value from the created images of the plurality of image planes. Since it did in this way, the focus evaluation value in a several image plane position can be calculated accurately.

（４）表示部１３は、制御部１４により出力された焦点評価値が最大である像面による画像を表示する。このようにしたので、フォーカスレンズ１１ｂの駆動中であっても、常にピントが合った画像をライブビュー表示することができる。 (4) The display unit 13 displays an image with an image plane having the maximum focus evaluation value output by the control unit 14. Since it did in this way, even if the focus lens 11b is being driven, an image that is always in focus can be displayed in live view.

（５）制御部１４は、焦点評価値が最大である像面による画像をメモリカード１６に記憶する。このようにしたので、フォーカスレンズ１１ｂの駆動中であっても、常にピントが合った動画を記憶することができる。 (5) The control unit 14 stores in the memory card 16 an image based on the image plane having the maximum focus evaluation value. Since this is done, it is possible to store a moving image that is always in focus even while the focus lens 11b is being driven.

（６）制御部１４は、撮像素子１２による撮像と、焦点評価値の演算と、フォーカスレンズ１１ｂの駆動と、を繰り返し行う。このようにしたので、動画撮影中に被写体の光軸方向の位置が変化しても、その被写体にピントが合った状態を維持することができる。 (6) The control unit 14 repeatedly performs imaging by the image sensor 12, calculation of a focus evaluation value, and driving of the focus lens 11b. Thus, even when the position of the subject in the optical axis direction changes during moving image shooting, the subject can be kept in focus.

（７）撮像素子１２は、複数のマイクロレンズ１２３と、複数のマイクロレンズ１２３を介して入射光を受光し受光信号を出力する複数の受光素子１２４とを有し、複数の受光素子１２４が出力した受光信号を撮像信号として出力する。制御部１４は、１回の撮像により撮像素子１２から出力された撮像信号により、複数の像面の画像を作成する。このようにしたので、いわゆるウォブリング動作を行うことなしに、複数の像面位置における焦点評価値および画像を得ることができる。 (7) The imaging element 12 includes a plurality of microlenses 123 and a plurality of light receiving elements 124 that receive incident light through the plurality of microlenses 123 and output light reception signals, and the plurality of light receiving elements 124 output. The received light signal is output as an imaging signal. The control unit 14 creates images of a plurality of image planes based on the imaging signal output from the imaging element 12 by one imaging. Thus, focus evaluation values and images at a plurality of image plane positions can be obtained without performing a so-called wobbling operation.

（第２の実施の形態）
第２の実施の形態に係る撮像装置は、第１の実施の形態に係る撮像装置１と同様の構成を有しているが、図２に示す撮像素子１２から、マイクロレンズアレイ１２１が取り除かれている。つまり第２の実施の形態に係る撮像装置は、画像合成機能を有しておらず、撮像素子１２からの撮像信号は、単一の像面に対応する画像信号である。以下、本実施の形態に係る動画撮影処理について説明する。 (Second Embodiment)
The imaging device according to the second embodiment has the same configuration as the imaging device 1 according to the first embodiment, but the microlens array 121 is removed from the imaging device 12 shown in FIG. ing. That is, the imaging apparatus according to the second embodiment does not have an image synthesis function, and the imaging signal from the imaging element 12 is an image signal corresponding to a single image plane. Hereinafter, the moving image shooting process according to the present embodiment will be described.

なお、本実施の形態において、撮像素子１２は、表示および記憶されるフレームレートよりも高いフレームレートで撮像が行えるものとする。例えば、６０分の１秒ごとに１フレームが表示および記憶される場合、撮像素子１２は３００分の１秒ごとに１回の撮像が行えるものとする。 In the present embodiment, it is assumed that the image sensor 12 can capture images at a frame rate higher than the frame rate displayed and stored. For example, when one frame is displayed and stored every 1 / 60th of a second, it is assumed that the image sensor 12 can capture an image once every 1 / 300th of a second.

図１１は、動画撮影処理のフローチャートである。ユーザが所定の動画撮影開始操作を行うと、制御部１４は、図１１に示す処理の実行を開始する。ステップＳ１００において、制御部１４は、所定方向へのフォーカスレンズ１１ｂの駆動を開始する。ここで制御部１４は、あらかじめ定められた駆動量だけフォーカスレンズ１１ｂを駆動させる。 FIG. 11 is a flowchart of the moving image shooting process. When the user performs a predetermined moving image shooting start operation, the control unit 14 starts executing the process illustrated in FIG. In step S100, the control unit 14 starts driving the focus lens 11b in a predetermined direction. Here, the control unit 14 drives the focus lens 11b by a predetermined drive amount.

ステップＳ１１０において、制御部１４は、３００分の１秒ごとに撮像素子１２に被写体像を撮像させる。ステップＳ１２０において、制御部１４は、ステップＳ１１０で撮像素子１２により出力された撮像信号に基づき、焦点評価値を演算する。すなわち制御部１４は、現在のフォーカスレンズ１１ｂの位置に対応する像面位置の焦点評価値を演算する。 In step S110, the control unit 14 causes the image sensor 12 to capture a subject image every 1/300 second. In step S120, the control unit 14 calculates a focus evaluation value based on the imaging signal output by the imaging element 12 in step S110. That is, the control unit 14 calculates the focus evaluation value of the image plane position corresponding to the current position of the focus lens 11b.

ステップＳ１３０において、制御部１４は、フォーカスレンズ１１ｂの駆動が完了したか否かを判定する。あらかじめ定められた駆動量ぶんの駆動が完了していた場合、制御部１４は、処理をステップＳ４０に進める。駆動が完了していない場合、制御部１４は処理をステップＳ１１０に進める。 In step S130, the control unit 14 determines whether or not the driving of the focus lens 11b is completed. If driving of a predetermined driving amount has been completed, the control unit 14 advances the processing to step S40. If the driving has not been completed, the control unit 14 advances the process to step S110.

ステップＳ４０から先の処理は、第１の実施の形態と同様である。すなわち制御部１４は、フォーカスレンズ１１ｂを駆動しながら撮像した、複数の像面位置に対応する画像について、焦点評価値が最大となる像面位置を特定し、必要に応じてフォーカスレンズ１１ｂを駆動させたり、その像面位置の画像を表示したり記憶したりする。ステップＳ１００からステップＳ７０までが６０分の１秒ごとに行われる。 The processing from step S40 onward is the same as in the first embodiment. That is, the control unit 14 specifies an image plane position where the focus evaluation value is maximum for images corresponding to a plurality of image plane positions, which are captured while driving the focus lens 11b, and drives the focus lens 11b as necessary. Or display or store an image at the image plane position. Steps S100 to S70 are performed every 1/60 second.

以上のように、本実施の形態では、リフォーカス可能範囲内の複数の像面位置における画像を合成するのではなく、フォーカスレンズ１１ｂを動かしながら、その移動範囲に対応する所定範囲内の複数の像面位置における画像を撮像する。 As described above, in the present embodiment, instead of synthesizing images at a plurality of image plane positions within the refocusable range, the focus lens 11b is moved, and a plurality of images within a predetermined range corresponding to the movement range is moved. An image at the image plane position is captured.

上述した実施の形態によれば、次の作用効果が得られる。
（１）制御部１４は、撮像素子１２により出力された撮像信号により、撮像光学系１１の光軸方向の所定範囲内における複数の像面の焦点評価値を演算して、焦点評価値が最大である像面による画像を出力する。このようにしたので、表示や記憶に最適な画像を出力することができる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The control unit 14 calculates the focus evaluation values of a plurality of image planes within a predetermined range in the optical axis direction of the imaging optical system 11 based on the imaging signal output from the imaging element 12, and the focus evaluation value is maximized. An image with an image plane is output. Since it did in this way, the optimal image for a display and memory | storage can be output.

（３）制御部１４は、撮像信号により複数の像面の画像を作成し、作成したそれら複数の像面の画像から焦点評価値を演算する。このようにしたので、複数の像面位置における焦点評価値を精度よく演算することができる。 (3) The control unit 14 creates images of a plurality of image planes based on the imaging signals, and calculates a focus evaluation value from the created images of the plurality of image planes. Since it did in this way, the focus evaluation value in a several image plane position can be calculated accurately.

（６）制御部１４は、撮像素子１２による撮像と、焦点評価値の演算と、フォーカスレンズ１１ｂの駆動と、を繰り返し行う。このようにしたので、動画撮影中に被写体が移動しても、その被写体にピントが合った状態を維持することができる。 (6) The control unit 14 repeatedly performs imaging by the image sensor 12, calculation of a focus evaluation value, and driving of the focus lens 11b. Since it did in this way, even if a to-be-photographed object moves during video recording, the state which focused on the to-be-photographed object can be maintained.

（７）撮像素子１２は、撮像光学系１１が有するフォーカスレンズ１１ｂがそれぞれ異なる位置にあるときに被写体像を撮像することにより、複数の像面の画像にそれぞれ対応する複数の撮像信号を出力する。制御部１４は、それら複数の撮像信号により複数の像面の画像を作成する。このようにしたので、リフォーカスを行うための特別な部材を設けることなく、表示や記憶に最適な画像を出力することができる。 (7) The image pickup device 12 outputs a plurality of image pickup signals respectively corresponding to images on a plurality of image planes by picking up subject images when the focus lenses 11b of the image pickup optical system 11 are at different positions. . The control unit 14 creates images of a plurality of image planes using the plurality of imaging signals. Since it did in this way, the optimal image for a display or memory | storage can be output, without providing the special member for performing a refocus.

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。 The following modifications are also within the scope of the present invention, and one or a plurality of modifications can be combined with the above-described embodiment.

（変形例１）
絞り１７を絞り込むと、被写界深度が深くなり、合成可能範囲は広くなる。そこで、第１の実施の形態において、フレーム間で絞り１７の開閉を交互に繰り返すようにしてもよい。このようにすると、絞り１７を絞り込んだフレームにおいては、合成可能範囲（すなわち焦点評価値の検出可能範囲）が広がり、絞り１７を開放したフレームにおいては、リフォーカス画像の画質が向上する。すなわち、検出範囲の広域化と画質とを両立させることができる。 (Modification 1)
When the diaphragm 17 is narrowed, the depth of field becomes deep and the compositable range becomes wide. Therefore, in the first embodiment, the opening and closing of the diaphragm 17 may be alternately repeated between frames. In this way, the compositable range (that is, the focus evaluation value detectable range) is widened in the frame with the aperture 17 narrowed down, and the image quality of the refocused image is improved in the frame with the aperture 17 opened. That is, it is possible to achieve both a wide detection range and image quality.

また、焦点評価値が極大となる像面位置が見つからない場合に、絞り１７を絞り込むようにしてもよい。このようにすることで、焦点評価値が極大となる像面位置をより確実に特定することができるようになる。 Further, the diaphragm 17 may be narrowed down when an image plane position where the focus evaluation value is maximized is not found. By doing in this way, the image plane position where the focus evaluation value becomes maximum can be specified more reliably.

いずれの場合であっても、絞り１７を絞り込むと、その分だけ撮像信号の信号レベルは低下し、画像が暗くなるおそれがある。この場合には、撮像素子１２の感度（出力ゲイン）を上げたり、リフォーカス画像に対してデジタル補正を施すことにより、画像の明るさを確保することが可能である。 In either case, if the diaphragm 17 is narrowed, the signal level of the imaging signal is lowered by that amount, and the image may be darkened. In this case, the brightness of the image can be ensured by increasing the sensitivity (output gain) of the image sensor 12 or by performing digital correction on the refocused image.

第２の実施の形態では、絞り１７を絞り込むことで、フォーカスレンズ１１ｂの駆動範囲内における各像面の画像が、より被写界深度の深い画像になる。これにより、フォーカスレンズ１１ｂの駆動範囲自体は変化しないものの、その駆動範囲内における各像面の画像は、よりピークの検出しやすい鮮鋭な画像になる。つまり、第２の実施の形態でも、絞り１７を絞り込むことで、焦点評価値が極大となる像面位置をより確実に特定することができるようになる。従って、上述した第１の実施の形態における変形例は、第２の実施の形態にも同様に適用することができる。 In the second embodiment, by narrowing down the diaphragm 17, the image on each image plane within the driving range of the focus lens 11b becomes an image with a deeper depth of field. As a result, although the drive range of the focus lens 11b itself does not change, the image on each image plane within the drive range becomes a sharp image in which a peak can be detected more easily. That is, also in the second embodiment, by narrowing down the diaphragm 17, the image plane position where the focus evaluation value is maximized can be specified more reliably. Therefore, the above-described modification of the first embodiment can be similarly applied to the second embodiment.

第２の実施の形態では、更に、連続して撮像される複数のフレームのうちの一部で絞り１７を絞り込んで撮影してもよい。例えば、図１１のステップＳ１００〜Ｓ１３０において、５回の撮像が行われるとき、そのうちの１回で絞り１７を絞り込む。絞り１７を絞り込んで行われるこの１回の撮像による画像は、焦点評価値を演算するためにのみ用い、記憶や表示には用いない。このようにすると、表示されたり記憶されたりする画像の画質を落とさずに、次回のレンズ位置をより広範囲から選択することができる。 In the second embodiment, the diaphragm 17 may be further narrowed down in some of a plurality of frames that are continuously captured. For example, in steps S100 to S130 in FIG. 11, when imaging is performed five times, the diaphragm 17 is narrowed once. The image obtained by this single imaging performed by narrowing down the diaphragm 17 is used only for calculating the focus evaluation value, and is not used for storage or display. In this way, the next lens position can be selected from a wider range without degrading the image quality of the displayed or stored image.

（変形例２）
第２の実施の形態において、撮像装置１がレンズ交換可能なカメラである場合には、装着中の交換レンズの特性に応じて絞り１７の絞り値を変化させてもよい。例えば、装着中の交換レンズから、フォーカスレンズ１１ｂの駆動スピードなど、単位時間あたりの撮像可能像面数を決定するための情報を取得する。フォーカスレンズ１１ｂの重量が大きい交換レンズや、フォーカスレンズ１１ｂを駆動させるアクチュエータの出力が低い交換レンズは、駆動スピードが低い。すなわち、単位時間あたりの撮像可能像面数が少ない。そのような交換レンズが装着されている場合には、絞り１７を絞り込む。逆に、駆動スピードが速い（単位時間あたりの撮像可能像面数が多い）交換レンズが装着されている場合には、絞り１７を開放する。このようにすることで、レンズ特性に応じて適切な焦点調節を行うことができる。 (Modification 2)
In the second embodiment, when the imaging apparatus 1 is a camera with interchangeable lenses, the diaphragm value of the diaphragm 17 may be changed according to the characteristics of the interchangeable lens being mounted. For example, information for determining the number of image planes that can be captured per unit time, such as the driving speed of the focus lens 11b, is acquired from the attached interchangeable lens. An interchangeable lens having a large weight of the focus lens 11b or an interchangeable lens having a low output of an actuator that drives the focus lens 11b has a low driving speed. That is, the number of image planes that can be captured per unit time is small. When such an interchangeable lens is attached, the diaphragm 17 is narrowed down. Conversely, when an interchangeable lens having a high driving speed (a large number of image surfaces that can be captured per unit time) is attached, the diaphragm 17 is opened. By doing in this way, an appropriate focus adjustment can be performed according to a lens characteristic.

なお、第１の実施の形態でも同様に、交換レンズの特性に応じて絞り１７の絞り値や合成する像面の数などを変化させてもよい。 Similarly in the first embodiment, the aperture value of the diaphragm 17 and the number of image planes to be combined may be changed according to the characteristics of the interchangeable lens.

（変形例３）
第１の実施の形態において、合成可能範囲内の像面の画像を合成する順序は、上述したものと異なっていてもよい。例えば、まず合成可能範囲の一端から他端まで、大きな間隔を空けてごく少数の像面を合成する。これにより、合成可能範囲内における焦点評価値の大まかな分布を把握する。その後、合成可能範囲の全体から、焦点評価値が高い一部分を特定し、その一部分において、微小な間隔で多数の像面位置の画像を合成して焦点評価値を算出する。このようにすることで、より効率的に焦点評価値が高い像面位置を検出することができる。 (Modification 3)
In the first embodiment, the order of compositing the images on the image plane within the compositible range may be different from that described above. For example, a very small number of image planes are synthesized at a large interval from one end to the other end of the compositible range. Thereby, a rough distribution of the focus evaluation values within the compositible range is grasped. Thereafter, a part having a high focus evaluation value is specified from the entire compositable range, and a part of the part is synthesized with images at a large number of image plane positions at minute intervals to calculate a focus evaluation value. By doing in this way, the image plane position with a high focus evaluation value can be detected more efficiently.

（変形例４）
上述した各実施の形態において、出力画像（表示や記憶に用いられる画像）は、焦点評価値を演算するために合成されたり撮像された画像そのものでなくてもよい。例えば複数の像面の画像を合成した画像であったり、２つの像面の間の像面の画像を、その２つの像面の画像から内挿して作成した画像であってもよい。 (Modification 4)
In each of the above-described embodiments, the output image (image used for display and storage) does not have to be an image itself that is synthesized or imaged to calculate a focus evaluation value. For example, it may be an image obtained by synthesizing images of a plurality of image planes, or an image created by interpolating an image plane image between two image planes from the images of the two image planes.

（変形例５）
上述した各実施の形態では、焦点評価値が最大となる像面の画像を、出力画像（表示や記憶に用いられる画像）としていたが、これとは異なる像面の画像を出力画像としてもよい。例えば、鑑賞に堪えうる最低限の品質となる焦点評価値の下限値を定めておき、その下限値を上回る焦点評価値が演算された像面の画像から任意の画像を選択して出力画像としてもよい。もしくは、各像面について演算された焦点評価値の中央値（または平均値や最頻値）を基準として、それを上回る焦点評価値が演算された像面の画像から任意の画像を選択して出力画像としてもよい。 (Modification 5)
In each of the above-described embodiments, the image on the image plane with the maximum focus evaluation value is the output image (image used for display and storage). However, an image on a different image plane may be used as the output image. . For example, a lower limit value of the focus evaluation value that is the minimum quality that can be appreciated is set, and an arbitrary image is selected from the images on the image plane on which the focus evaluation value exceeding the lower limit value is calculated, and used as an output image. Also good. Alternatively, an arbitrary image can be selected from the images of the image planes having a focus evaluation value higher than the median (or average or mode) of the focus evaluation values calculated for each image plane. An output image may be used.

（変形例６）
第２の実施の形態において、複数の像面の焦点評価値に大きな差がない（焦点評価値の差が所定のしきい値未満である）場合には、後から撮像された像面を表示や記憶の対象として優先的に採用するようにしてもよい。このようにするのは、時間的に後から撮像された像面の画像ほど、より最新の被写体を捉えた画像であるためである。 (Modification 6)
In the second embodiment, when there is no large difference between the focus evaluation values of a plurality of image planes (the difference between the focus evaluation values is less than a predetermined threshold value), the image planes that are captured later are displayed. Or may be preferentially adopted as a storage target. This is because the image of the image plane captured later in time is an image that captures the latest subject.

（変形例７）
第１の実施の形態において、メモリカード１６に記憶する画像は、合成画像ではなく撮像素子１２からの撮像信号（すなわち合成前の原画像）であってもよい。このようにすることで、撮影後に動画内の各フレームのピント位置を変更することができるようになる。 (Modification 7)
In the first embodiment, the image stored in the memory card 16 may not be a synthesized image but an imaging signal from the image sensor 12 (that is, an original image before synthesis). In this way, the focus position of each frame in the moving image can be changed after shooting.

（変形例８）
上述した各実施の形態において、コントラスト検出方式とは異なる方式の焦点検出方式を採用してもよい。 (Modification 8)
In each of the embodiments described above, a focus detection method different from the contrast detection method may be employed.

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。 Although various embodiments and modifications have been described above, the present invention is not limited to these contents. Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.

１…撮像装置、１１…撮像光学系、１１ｂ…フォーカスレンズ、１２…撮像素子、１３…表示部、１４…制御部、１５…ＲＯＭ、１６…メモリカード、１７…絞り DESCRIPTION OF SYMBOLS 1 ... Imaging device, 11 ... Imaging optical system, 11b ... Focus lens, 12 ... Imaging element, 13 ... Display part, 14 ... Control part, 15 ... ROM, 16 ... Memory card, 17 ... Aperture

Claims

An imaging unit that images light from a subject that has passed through the imaging optical system and outputs a signal;
Generating a plurality of images of the subject at a plurality of positions in the optical axis direction of the imaging optical system from the signal output by imaging at the imaging unit, and part of the generated plurality of images of the subject An image generation unit for generating a display image to be displayed on the display unit from the image of
A control unit that controls a drive unit that moves a focus lens that adjusts a focusing position of the imaging optical system;
Have
The position of the partial image in which the display unit generates the display image in a range of positions in the optical axis direction of the imaging optical system where the image generation unit after the focus lens moves can generate the image of the subject. An image pickup apparatus that controls a drive unit that moves the focus lens so as to be included.

The imaging device according to claim 1,
A detection unit that detects a contrast of at least some of the plurality of images of the subject generated by the image generation unit;
The imaging apparatus according to claim 1, wherein the control unit controls the driving unit based on a contrast of the image detected by the detection unit.

The imaging apparatus according to claim 2, wherein
A calculation unit that calculates a focus evaluation value from the contrast of at least some of the plurality of images of the subject detected by the detection unit;
The image generation unit generates the display image to be displayed on the display unit from at least a part of the plurality of images of the subject whose focus evaluation value is a threshold value or more.

The imaging device according to claim 3.
The image pickup apparatus that controls the drive unit by setting a direction of an optical axis of the image pickup optical system to which the focus lens moves based on the focus evaluation value calculated by the calculation unit.

In the imaging device according to claim 3 or 4,
The image generation unit generates the display image from an image having the maximum focus evaluation value among a plurality of images of the subject.

In the imaging device according to any one of claims 1 to 5,
After the focus lens is moved by being driven by the drive unit,
The imaging and the output of the signal by the imaging unit;
Generation of a plurality of images of the subject from the signal and generation of the display image by the image generation unit;
The movement of the focus lens such that the position of the partial image that generated the display image is included in the range after the movement of the focus lens under the control of the drive unit by the control unit;
An imaging device that repeats the above.

In the imaging device according to any one of claims 1 to 6,
An imaging apparatus having the display unit for displaying the display image.

In the imaging device according to any one of claims 1 to 7,
An imaging apparatus having a recording control unit that records the signal output by the imaging unit on a recording medium.

In the imaging device according to any one of claims 1 to 8,
The imaging unit includes a plurality of micro lenses and a plurality of light receiving units provided for each of the micro lenses that receive light from the subject that has passed through the micro lenses, and the signals are received from the plurality of light receiving units. Output,
The image generation unit is an imaging device that generates a plurality of images of the subject based on the signal output from the imaging unit by one imaging.

In the imaging device according to any one of claims 3 to 5,
The image generation unit generates a plurality of images of the subject for each position at a first interval in the optical axis direction of the imaging optical system from the signal, and then, based on the focus evaluation value, the first signal from the signal. An imaging device that generates a plurality of images of the subject for each position at a second interval that is narrower than the interval.

In the imaging device according to any one of claims 1 to 8,
The imaging unit corresponds to a plurality of images of the subject at a plurality of positions in the optical axis direction by imaging light from the subject when the focus lenses included in the imaging optical system are at different positions, respectively. Output multiple signals
The image generation unit is an imaging device that generates a plurality of images of the subject based on the plurality of signals, respectively.

The imaging device according to claim 11,
An imaging apparatus having a switching unit that switches an aperture diameter of the imaging optical system between a first aperture diameter and a second aperture diameter smaller than the first aperture diameter when imaging by the imaging unit.

The imaging apparatus according to claim 12,
The image generation unit is an imaging apparatus that does not generate the display image from an image based on a signal when the aperture diameter of the imaging optical system is the second aperture diameter.

In the imaging device according to any one of claims 1 to 13,
The image generation unit is configured to set a range of positions in the optical axis direction of the imaging optical system that generates a plurality of images of the subject from the signal based on optical characteristics of the imaging optical system.