JP2016122199A

JP2016122199A - Imaging device

Info

Publication number: JP2016122199A
Application number: JP2016015007A
Authority: JP
Inventors: 基範小倉; Motonori Ogura
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2014-03-28
Filing date: 2016-01-29
Publication date: 2016-07-07
Anticipated expiration: 2034-08-18
Also published as: JP6089232B2

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device realizing a more convenient focus operation using a distance to a subject.SOLUTION: An imaging device comprises: a focus lens which has a focusing position and forms a subject image of a subject; an imaging sensor which generates imaging data by picking up the subject image; and a control unit which controls the focus lens. The control unit operates so as to determine a controlled variable for the focus lens in a second exposure period after a first exposure period, the controlled variable controlling a moving speed of the focusing position, on the basis of the imaging data generated by the imaging sensor by picking up the subject image in the first exposure period. Furthermore, the control unit operates so that the image sensor picks up the subject image while moving the focusing position at the moving speed corresponding to the determined controlled variable in the second exposure period.SELECTED DRAWING: Figure 1

Description

本開示は撮像装置に関する。 The present disclosure relates to an imaging apparatus.

特許文献１は、ＤＦＤ（ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓ）方式のシステムを採用した撮像装置を開示している。この撮像装置は、複数種類のボケが得られるようにフォーカス制御を実施し、撮像素子によりボケの大きさが異なる複数の画像を取得する。次に、撮像装置は、ボケの大きさが異なる複数の画像に基づいて、被写体距離を算出する。そして、撮像装置は、算出した被写体距離に基づいて、フォーカス制御を実施する。 Patent Document 1 discloses an imaging apparatus that employs a DFD (Depth From Defocus) system. The imaging apparatus performs focus control so that a plurality of types of blur can be obtained, and acquires a plurality of images having different blur sizes by the imaging element. Next, the imaging apparatus calculates the subject distance based on a plurality of images having different blur sizes. Then, the imaging apparatus performs focus control based on the calculated subject distance.

特開２０１１−１５１６３号公報JP 2011-15163 A

ＤＦＤ方式などのシステムを採用することで、撮像装置は被写体までの距離を検出することができる。検出された距離を用いることにより、より便利なフォーカス動作の実現が期待される。 By employing a system such as the DFD method, the imaging apparatus can detect the distance to the subject. By using the detected distance, it is expected to realize a more convenient focus operation.

本開示は、被写体までの距離を用いて、より便利なフォーカス動作を実現する撮像装置を提供する。 The present disclosure provides an imaging apparatus that realizes a more convenient focus operation using a distance to a subject.

上記課題を解決するために、本開示の撮像装置は、合焦位置を有して被写体の被写体像を形成するフォーカスレンズと、被写体像を撮像することにより撮像データを生成する撮像センサと、フォーカスレンズを制御する制御部とを備える。制御部は、第１の露光期間において被写体像を撮像することによって撮像センサで生成された撮像データに基づき、第１の露光期間における撮像装置から被写体までの距離の変化を検出するように動作する。制御部は、距離の検出された変化に基づいて、合焦位置を第１の露光期間よりも後の第２の露光期間において移動させる移動速度を制御する制御量を決定するように動作する。さらに、制御部は、第２の露光期間において、決定した制御量に対応する移動速度で合焦位置を移動させて撮像センサに被写体像を撮像させるように動作する。 In order to solve the above problems, an imaging apparatus according to the present disclosure includes a focus lens that forms a subject image of a subject with a focus position, an imaging sensor that generates imaging data by capturing the subject image, a focus A control unit for controlling the lens. The control unit operates to detect a change in the distance from the imaging device to the subject in the first exposure period based on the imaging data generated by the imaging sensor by capturing the subject image in the first exposure period. . The control unit operates to determine a control amount for controlling the moving speed for moving the in-focus position in the second exposure period after the first exposure period based on the detected change in distance. Further, the control unit operates to cause the imaging sensor to capture the subject image by moving the in-focus position at the moving speed corresponding to the determined control amount in the second exposure period.

本開示によれば、被写体までの距離を用いて、より便利なフォーカス動作を実現する撮像装置を提供できる。 According to the present disclosure, it is possible to provide an imaging apparatus that realizes a more convenient focusing operation using the distance to the subject.

実施の形態におけるデジタルビデオカメラの電気的構成を示すブロック図1 is a block diagram showing an electrical configuration of a digital video camera in an embodiment 実施の形態におけるデジタルビデオカメラの動作のブロック図Block diagram of operation of digital video camera in embodiment 実施の形態におけるデジタルビデオカメラの動作のイメージ図Image diagram of operation of digital video camera in embodiment 実施の形態におけるデジタルビデオカメラのＤＦＤ演算のイメージ図Diagram of DFD operation of digital video camera in embodiment 実施の形態におけるデジタルビデオカメラの複数の被写体距離に対するズームトラッキングテーブルを示す図The figure which shows the zoom tracking table with respect to several object distance of the digital video camera in embodiment （ａ）実施の形態におけるデジタルビデオカメラでの被写体の移動を示すイメージ図（ｂ）実施の形態におけるデジタルビデオカメラでの被写体の移動を示すイメージ図(A) Image diagram showing movement of subject in digital video camera in the embodiment (b) Image diagram showing movement of subject in the digital video camera in the embodiment 実施の形態におけるデジタルビデオカメラの動作のフローチャートFlowchart of operation of digital video camera in embodiment 実施の形態におけるデジタルビデオカメラの動作を示すイメージ図The image figure which shows operation | movement of the digital video camera in embodiment 実施の形態におけるデジタルビデオカメラのズームトラッキングテーブルを示す図The figure which shows the zoom tracking table of the digital video camera in embodiment

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。 In addition, the inventor provides the accompanying drawings and the following description in order for those skilled in the art to fully understand the present disclosure, and is not intended to limit the claimed subject matter. .

撮像装置から被写体までの距離である被写体距離を計測する数ある方法の１つに、撮影された画像に生じるボケ量（Ｄｅｆｏｃｕｓ）の相関値を利用するＤＦＤ（ＤｅｐｔｈｆｒｏｍＤｅｆｏｃｕｓ）と呼ばれる手法がある。一般に、撮影画像に生じるボケ量は、撮影時のフォーカス位置と被写体距離との関係に応じて撮像装置毎に一意に決まる。ＤＦＤ演算ではこの特性を利用し、フォーカス位置を変動させることでボケ量の異なる２枚の画像を意図的に作り出し、ボケ量の違いと点拡がり関数（Ｐｏｉｎｔｓｐｒｅａｄｆｕｎｃｔｉｏｎ、ＰＳＦ）とから被写体距離を計測する。実施の形態にかかる撮像装置は、ＤＦＤ演算を用いて被写体距離を計測することによりオートフォーカス制御を行う。 One of many methods for measuring the subject distance, which is the distance from the imaging device to the subject, is a technique called DFD (Depth from Defocus) that uses a correlation value of a blur amount (Defocus) generated in a captured image. . In general, the amount of blur that occurs in a captured image is uniquely determined for each imaging device in accordance with the relationship between the focus position at the time of shooting and the subject distance. In the DFD calculation, this characteristic is used to intentionally create two images with different amounts of blur by changing the focus position, and the subject distance is calculated from the difference in the amount of blur and the point spread function (PSF). measure. The imaging apparatus according to the embodiment performs autofocus control by measuring a subject distance using DFD calculation.

以下、実施の形態における撮像装置の構成および動作について説明する。 Hereinafter, the configuration and operation of the imaging apparatus according to the embodiment will be described.

〔１．撮像装置の電気的構成〕
図１は実施の形態における撮像装置であるデジタルビデオカメラ１００の電気的構成を示すブロック図である。デジタルビデオカメラ１００は、１以上のレンズからなる光学系１１０を備える。光学系１１０は被写体からの光により被写体像をＣＭＯＳイメージセンサ１４０上に形成する。形成された被写体像を撮像センサであるＣＭＯＳイメージセンサ１４０で撮像する。ＣＭＯＳイメージセンサ１４０は撮像した被写体像に基づいて画像データを生成する。ＣＭＯＳイメージセンサ１４０で生成された画像データは、ＡＤＣ１５０でデジタル信号に変換された後、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルビデオカメラ１００の構成を詳細に説明する。 [1. Electrical configuration of imaging device]
FIG. 1 is a block diagram showing an electrical configuration of a digital video camera 100 which is an imaging apparatus according to an embodiment. The digital video camera 100 includes an optical system 110 including one or more lenses. The optical system 110 forms a subject image on the CMOS image sensor 140 by light from the subject. The formed subject image is picked up by a CMOS image sensor 140 which is an image pickup sensor. The CMOS image sensor 140 generates image data based on the captured subject image. Image data generated by the CMOS image sensor 140 is converted into a digital signal by the ADC 150, and then subjected to various processes by the image processing unit 160 and stored in the memory card 200. Hereinafter, the configuration of the digital video camera 100 will be described in detail.

実施の形態における光学系１１０は、ズームレンズ１１１、手振れ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４により構成される。ズームレンズ１１１を光軸１１０Ａに沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズ１１３を光軸１１０Ａに沿って移動させることにより被写体像のフォーカスを調整することができる。また、手振れ補正レンズ１１２は、光学系１１０の光軸１１０Ａに垂直な面内で移動可能である。デジタルビデオカメラ１００のブレを打ち消す方向に手振れ補正レンズ１１２を移動することで、デジタルビデオカメラ１００のブレが撮像画像に与える影響を低減できる。また、絞り１１４は光軸１１０Ａ上に位置する開口部１１４Ａを有し、使用者の設定に応じて若しくは自動で開口部１１４Ａの大きさを調整し、透過する光の量を調整する。 The optical system 110 in the embodiment includes a zoom lens 111, a camera shake correction lens 112, a focus lens 113, and a diaphragm 114. The subject image can be enlarged or reduced by moving the zoom lens 111 along the optical axis 110A. Further, the focus of the subject image can be adjusted by moving the focus lens 113 along the optical axis 110A. The camera shake correction lens 112 is movable in a plane perpendicular to the optical axis 110A of the optical system 110. By moving the camera shake correction lens 112 in a direction in which the blur of the digital video camera 100 is canceled, the influence of the blur of the digital video camera 100 on the captured image can be reduced. The diaphragm 114 has an opening 114A located on the optical axis 110A, and adjusts the size of the opening 114A according to the setting of the user or automatically to adjust the amount of transmitted light.

レンズ駆動部１２０は、ズームレンズ１１１を駆動するズームアクチュエータや、手ブレ補正レンズ１１２を駆動する手ブレ補正アクチュエータや、フォーカスレンズ１１３を駆動するフォーカスアクチュエータや、絞り１１４を駆動する絞りアクチュエータを含む。そして、レンズ駆動部１２０は、上記のズームアクチュエータや、フォーカスアクチュエータや、手ブレ補正アクチュエータや、絞りアクチュエータを制御する。 The lens driving unit 120 includes a zoom actuator that drives the zoom lens 111, a camera shake correction actuator that drives the camera shake correction lens 112, a focus actuator that drives the focus lens 113, and a diaphragm actuator that drives the diaphragm 114. The lens driving unit 120 controls the zoom actuator, the focus actuator, the camera shake correction actuator, and the aperture actuator.

ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像してアナログ信号であるアナログ画像データを生成する。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。 The CMOS image sensor 140 captures a subject image formed by the optical system 110 and generates analog image data that is an analog signal. The CMOS image sensor 140 performs various operations such as exposure, transfer, and electronic shutter.

Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル信号であるデジタル画像データに変換する。 The A / D converter 150 converts the analog image data generated by the CMOS image sensor 140 into digital image data that is a digital signal.

画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して各種処理を施し、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。 The image processing unit 160 performs various processes on the image data generated by the CMOS image sensor 140, generates image data to be displayed on the display monitor 220, and stores image data to be stored in the memory card 200. Or generate. For example, the image processing unit 160 performs various processes such as gamma correction, white balance correction, and flaw correction on the image data generated by the CMOS image sensor 140. The image processing unit 160 converts the image data generated by the CMOS image sensor 140 into the H.264 format. It compresses by the compression format etc. based on H.264 standard or MPEG2 standard. The image processing unit 160 can be realized by a DSP, a microcomputer, or the like.

制御部１８０は、デジタルビデオカメラ１００全体を制御する。制御部１８０は半導体素子などで実現できる。制御部１８０はハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１８０は、マイコンなどで実現できる。 The control unit 180 controls the entire digital video camera 100. The control unit 180 can be realized by a semiconductor element or the like. The control unit 180 may be configured only by hardware, or may be realized by combining hardware and software. The control unit 180 can be realized by a microcomputer or the like.

バッファ１７０は、画像処理部１６０及び制御部１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。 The buffer 170 functions as a work memory for the image processing unit 160 and the control unit 180. The buffer 170 can be realized by, for example, a DRAM or a ferroelectric memory.

カードスロット１９０はメモリカード２００を着脱可能に保持する。カードスロット１９０は機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００はフラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納できる。 The card slot 190 holds the memory card 200 in a detachable manner. The card slot 190 can be mechanically and electrically connected to the memory card 200. The memory card 200 includes a flash memory, a ferroelectric memory, and the like, and can store data such as an image file generated by the image processing unit 160.

内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶する。また、内部メモリ２４０は点拡がり関数を格納している。 The internal memory 240 is composed of a flash memory or a ferroelectric memory. The internal memory 240 stores a control program for controlling the entire digital video camera 100 and the like. The internal memory 240 stores a point spread function.

操作部材２１０は使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、例えば、使用者からの操作を受け付ける十字キーや決定釦等を含む。 The operation member 210 is a generic term for user interfaces that accept operations from the user. The operation member 210 includes, for example, a cross key that accepts an operation from the user, a determination button, and the like.

表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成された画像データが示す画像や、メモリカード２００から読み出された画像データが示す画像を表示できる画面２２０Ａを有する。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も画面２２０Ａに表示できる。表示モニタ２２０の画面２２０Ａ上にはタッチパネル２２０Ｂが配置されている。タッチパネル２２０Ｂはユーザによりタッチされて各種タッチ操作を受け付けることができる。タッチパネル２２０Ｂに対するタッチ操作が示す指示は制御部１８０に通知され各種処理が行われる。 The display monitor 220 includes a screen 220 </ b> A that can display an image indicated by the image data generated by the CMOS image sensor 140 or an image indicated by the image data read from the memory card 200. The display monitor 220 can also display various menu screens for performing various settings of the digital video camera 100 on the screen 220A. A touch panel 220B is arranged on the screen 220A of the display monitor 220. Touch panel 220B is touched by the user and can accept various touch operations. The instruction indicated by the touch operation on the touch panel 220B is notified to the control unit 180 and various processes are performed.

角速度センサ２５０は、手振れ等に起因してデジタルビデオカメラ１００に発生した角速度を検出する。角速度センサ２５０が検出した角速度は制御部１８０に通知される。制御部１８０は、角速度センサ２５０から通知された角速度により、デジタルビデオカメラ１００に発生した角速度に基づく画像のブレを解消するよう手振れ補正レンズ１１２を駆動させることができる。 The angular velocity sensor 250 detects an angular velocity generated in the digital video camera 100 due to camera shake or the like. The angular velocity detected by the angular velocity sensor 250 is notified to the control unit 180. The control unit 180 can drive the camera shake correction lens 112 based on the angular velocity notified from the angular velocity sensor 250 so as to eliminate image blurring based on the angular velocity generated in the digital video camera 100.

〔２．デジタルビデオカメラ１００の動作〕
〔２−１．ＤＦＤ演算結果を用いたオートフォーカス動作〕
デジタルビデオカメラ１００は、ＤＦＤ演算の結果を用いてオートフォーカス動作を行う。図２は実施の形態におけるデジタルビデオカメラ１００のＤＦＤ演算の結果を用いたフォーカスレンズ制御を説明するためのブロック図である。 [2. Operation of digital video camera 100]
[2-1. Autofocus operation using DFD calculation results]
The digital video camera 100 performs an autofocus operation using the result of the DFD calculation. FIG. 2 is a block diagram for explaining focus lens control using the result of the DFD calculation of the digital video camera 100 in the embodiment.

ＤＦＤ演算回路１６１は、画像処理部１６０内に構成された演算回路であり、ＤＦＤ演算を実施してＤｅｐｔｈマップを作成する。具体的には、ＤＦＤ演算回路１６１は、フォーカス位置を変動させることで、意図的に作り出したボケ量の異なる２枚の画像である観測画像ＰＡ、参照画像ＰＢと点拡がり関数とから観測画像ＰＡ（参照画像ＰＢ）の各画素での被写体距離を示すＤｅｐｔｈマップを作成する。 The DFD operation circuit 161 is an operation circuit configured in the image processing unit 160, and performs a DFD operation to create a depth map. Specifically, the DFD arithmetic circuit 161 changes the focus position, thereby observing the observation image PA based on the observation image PA, the reference image PB, and the point spread function, which are two images with different amounts of blur created intentionally. A depth map indicating the subject distance at each pixel of the (reference image PB) is created.

次に、ＤＦＤ演算回路１６１は、作成したＤｅｐｔｈマップを制御部１８０に通知する。制御部１８０は、通知されたＤｅｐｔｈマップに基づいてフォーカスレンズ１１３を駆動するようレンズ駆動部１２０を制御する。 Next, the DFD arithmetic circuit 161 notifies the control unit 180 of the created depth map. The control unit 180 controls the lens driving unit 120 to drive the focus lens 113 based on the notified depth map.

以下、図２に示したＤＦＤ演算回路１６１によるＤＦＤ演算の詳細と、制御部１８０による被写体距離の決定の詳細について説明する。 Details of the DFD calculation by the DFD calculation circuit 161 shown in FIG. 2 and details of determination of the subject distance by the control unit 180 will be described below.

まず、ＤＦＤ演算回路１６１によるＤＦＤ演算の詳細について説明する。図３は、実施の形態におけるデジタルビデオカメラ１００のＤＦＤ演算におけるフォーカスレンズ１１３の移動を説明するためのイメージ図である。ＤＦＤ演算において、制御部１８０はフォーカス位置を変動させることで、意図的にボケ量の異なる２枚の画像を作り出す。具体的には、図３に示すように、制御部１８０はレンズ駆動部１２０を制御して、時刻ｔ１におけるフォーカスレンズ１１３の位置をフォーカス位置Ｌ１に設定する。同様に、時刻ｔ２におけるフォーカスレンズ１１３の位置を、フォーカス位置Ｌ１と異なるフォーカス位置Ｌ２に設定する。ＣＭＯＳイメージセンサ１４０は、フォーカスレンズ１１３がフォーカス位置Ｌ１にあるときに被写体を撮像して、観測画像ＰＡを作成する。同様に、ＣＭＯＳイメージセンサ１４０は、フォーカスレンズ１１３がフォーカス位置Ｌ２にあるときにその被写体を撮像して参照画像ＰＢを作成する。観測画像ＰＡと参照画像ＰＢとは、撮像されたときのフォーカスレンズ１１３の位置が異なるので、同一被写体を撮像した画像ではあるが互いにボケ量が異なる。 First, details of the DFD calculation performed by the DFD calculation circuit 161 will be described. FIG. 3 is an image diagram for explaining the movement of the focus lens 113 in the DFD calculation of the digital video camera 100 according to the embodiment. In the DFD calculation, the control unit 180 intentionally creates two images with different amounts of blur by changing the focus position. Specifically, as shown in FIG. 3, the control unit 180 controls the lens driving unit 120 to set the position of the focus lens 113 at the time t1 to the focus position L1. Similarly, the position of the focus lens 113 at time t2 is set to a focus position L2 different from the focus position L1. The CMOS image sensor 140 images a subject when the focus lens 113 is at the focus position L1, and creates an observation image PA. Similarly, the CMOS image sensor 140 images the subject when the focus lens 113 is at the focus position L2, and creates a reference image PB. Since the observation image PA and the reference image PB are different in the position of the focus lens 113 when imaged, the amounts of blur are different from each other although they are images of the same subject.

図４は、実施の形態におけるデジタルビデオカメラ１００のＤＦＤ演算による被写体距離の算出を説明するイメージ図である。ＤＦＤ演算回路１６１は、観測画像ＰＡを構成する各観測画素ＳＡ、参照画像ＰＢを構成する各参照画素ＳＢに対してＤＦＤ演算を行い、各画素ＳＡ（ＳＢ）での被写体距離を算出する。ＤＦＤ演算回路１６１は、観測画素ＳＡに複数の点拡がり関数を畳み込んで得られた結果である複数の観測画素ＣＡを、観測画素ＣＡと画像上の同じ座標の参照画素ＳＢと照合する。その動作を以下に説明する。 FIG. 4 is a conceptual diagram illustrating calculation of the subject distance by DFD calculation of the digital video camera 100 according to the embodiment. The DFD calculation circuit 161 performs DFD calculation on each observation pixel SA that constitutes the observation image PA and each reference pixel SB that constitutes the reference image PB, and calculates a subject distance at each pixel SA (SB). The DFD arithmetic circuit 161 collates a plurality of observation pixels CA, which is a result obtained by convolving a plurality of point spread functions with the observation pixel SA, with a reference pixel SB having the same coordinates on the image as the observation pixel CA. The operation will be described below.

点拡がり関数は、光学系の点光源に対する応答を示す関数であり、ボケ量の変化を示す。点拡がり関数を、点光源の集合に対応する画像に畳み込む（Ｃｏｎｖｏｌｕｔｉｏｎ）ことで、人為的にボケ画像を生成することができる。本実施の形態では、多数の被写体距離に対応して予め多数の点拡がり関数が内部メモリ２４０内に用意している。制御部１８０は、至近側から遠側までを１６段階の被写体距離に分解し、それらの被写体距離にそれぞれ対応する１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６を内部メモリ２４０に用意された多数の点拡がり関数から選択する。そして、制御部１８０は、選択した１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６をＤＦＤ演算回路１６１に通知する。 The point spread function is a function indicating the response of the optical system to the point light source, and indicates a change in the amount of blur. By convolutioning the point spread function with an image corresponding to a set of point light sources (convolution), it is possible to artificially generate a blurred image. In the present embodiment, a large number of point spread functions are prepared in advance in the internal memory 240 corresponding to a large number of subject distances. The control unit 180 divides the subject distance from the closest side to the far side into 16 subject distances, and the 16 point spread functions PSF1 to PSF16 respectively corresponding to the subject distances are provided in a number of point spreads prepared in the internal memory 240. Select from functions. Then, the control unit 180 notifies the DFD arithmetic circuit 161 of the selected 16 point spread functions PSF1 to PSF16.

ＤＦＤ演算回路１６１は、各観測画素ＳＡでの被写体までの距離に対応した１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６を各観測画素ＳＡに畳み込みすることで、各観測画素ＳＡでの被写体までの距離に対応した１６個の観測画素ＣＡ１〜ＣＡ１６を生成する。１６個の観測画素ＣＡ１〜ＣＡ１６は、畳み込まれている点拡がり関数がそれぞれ異なるので、それぞれ異なるボケ画像を形成する。 The DFD operation circuit 161 convolves the 16 point spread functions PSF1 to PSF16 corresponding to the distance to the subject at each observation pixel SA into each observation pixel SA, thereby obtaining the distance to the subject at each observation pixel SA. Corresponding 16 observation pixels CA1 to CA16 are generated. Since the 16 observation pixels CA1 to CA16 have different point spread functions that are convoluted, different blurred images are formed.

続いて、ＤＦＤ演算回路１６１は、観測画素ＣＡ１〜ＣＡ１６を参照画素ＳＢと照合し、観測画素ＣＡ１〜ＣＡ１６のうち参照画素ＳＢとの差分値が最小となる観測画素ＣＡｎを判定する。そして、観測画素ＣＡｎに畳み込まれている点拡がり関数に対応する被写体距離を観測画素ＳＡの被写体距離であると決定する。例えば、観測画素ＣＡ３と参照画素ＳＢとの差分値が、他の観測画素ＣＡ１〜２、ＣＡ４〜１６のそれぞれと参照画素ＳＢとの差分値と比較して最小となる場合、ＤＦＤ演算回路１６１は、観測画素ＣＡ３を作成する際に観測画素ＳＡに畳み込んだ点拡がり関数ＰＳＦ３に対応する被写体距離を観測画素ＳＡでの被写体距離であると決定し、その被写体距離に対応した距離情報を出力する。 Subsequently, the DFD arithmetic circuit 161 collates the observation pixels CA1 to CA16 with the reference pixel SB, and determines an observation pixel CAn having a minimum difference value from the reference pixel SB among the observation pixels CA1 to CA16. Then, the subject distance corresponding to the point spread function convolved with the observation pixel CAn is determined to be the subject distance of the observation pixel SA. For example, when the difference value between the observation pixel CA3 and the reference pixel SB is minimum compared to the difference value between each of the other observation pixels CA1 to CA2 and CA4 to 16 and the reference pixel SB, the DFD arithmetic circuit 161 When the observation pixel CA3 is created, the subject distance corresponding to the point spread function PSF3 convolved with the observation pixel SA is determined as the subject distance at the observation pixel SA, and distance information corresponding to the subject distance is output. .

以上の動作を、観測画像ＰＡ及び参照画像ＰＢの各画素について実施することにより、ＤＦＤ演算回路１６１は各画素についての被写体距離の分布であるＤｅｐｔｈマップを完成させる。実施の形態では各被写体までの距離に対応した１６個の点拡がり関数を用いたので、Ｄｅｐｔｈマップは１６階調の被写体距離を示す。 By performing the above operation for each pixel of the observation image PA and the reference image PB, the DFD arithmetic circuit 161 completes a Depth map that is a distribution of subject distances for each pixel. In the embodiment, since 16 point spread functions corresponding to the distance to each subject are used, the Depth map indicates a subject distance of 16 gradations.

次に、制御部１８０はＤＦＤ演算により決定された被写体距離に基づいて、フォーカスレンズ１１３を移動させるべき位置である合焦位置を算出する。具体的には、制御部１８０は、トラッキングテーブルを参照して、求めた被写体距離と現在のズームレンズ１１１の位置とに基づいて合焦位置を算出する。図５は実施の形態におけるデジタルビデオカメラ１００の複数の被写体距離に対するズームトラッキングテーブルを示す。図５に示すように、ズームトラッキングテーブルは、代表的ないくつかの被写体距離ＤＬ（図５では１ｍ、２ｍ、３ｍ、無限遠）に対応してズームレンズ１１１の位置に対する合焦位置を示すカーブＤＭ１〜ＤＭ４を含む。制御部１８０は、ズームトラッキングテーブルに記載のカーブを被写体距離について補間することで、代表的な被写体距離ＤＬ以外の被写体距離についてもフォーカスレンズ１１３を移動させるべき位置である合焦位置を算出することができる。 Next, the control unit 180 calculates a focus position, which is a position where the focus lens 113 should be moved, based on the subject distance determined by the DFD calculation. Specifically, the control unit 180 refers to the tracking table and calculates a focus position based on the obtained subject distance and the current position of the zoom lens 111. FIG. 5 shows a zoom tracking table for a plurality of object distances of the digital video camera 100 according to the embodiment. As shown in FIG. 5, the zoom tracking table is a curve indicating a focus position with respect to the position of the zoom lens 111 corresponding to some typical subject distances DL (1 m, 2 m, 3 m, and infinity in FIG. 5). Includes DM1-DM4. The control unit 180 interpolates the curve described in the zoom tracking table with respect to the subject distance, thereby calculating a focus position that is a position to move the focus lens 113 for subject distances other than the representative subject distance DL. Can do.

制御部１８０は、算出された被写体距離とズームトラッキングテーブルとに基づいて合焦位置を決定する。そして、制御部１８０は、レンズ駆動部１２０を制御することによりフォーカスレンズ１１３を合焦位置へと移動させ、フォーカスレンズ１１３を被写体に対して合焦させることができる。 The control unit 180 determines a focus position based on the calculated subject distance and the zoom tracking table. Then, the control unit 180 can move the focus lens 113 to the in-focus position by controlling the lens driving unit 120 to focus the focus lens 113 on the subject.

〔２−２．本露光中のフォーカスレンズ１１３の制御〕
図６は実施の形態におけるデジタルビデオカメラ１００の被写体４０１のＺ軸の方向の移動を示すイメージ図である。以下の説明では、図６に示すように、光学系１１０の光軸１１０Ａに沿ってＺ軸を取り、デジタルビデオカメラ１００から被写体４０１に向かう方向をＺ軸の正方向と定義する。デジタルビデオカメラ１００は、設定された時間で被写体像を露光することにより静止画を撮影することができる。デジタルビデオカメラ１００は、第１の露光期間である予備露光期間に予備露光動作をまず行った後、第２の露光期間である本露光期間に本露光動作を行う。予備露光動作とは、ＤＦＤ演算を実施して被写体４０１の移動速度を予測するために被写体４０１の被写体像を撮像するための露光動作である。また、本露光動作とは、最終的な記録用の画像を生成するにあたって被写体４０１の被写体像を撮像するための露光動作である。実施の形態におけるデジタルビデオカメラ１００は、本露光動作中に、被写体４０１が、図６（ａ）に示す位置から図６（ｂ）に示す位置へ移動した場合でもピントボケの発生を低減させる。そのために、デジタルビデオカメラ１００は、予備露光動作中に被写体４０１のＺ軸の方向の移動速度を予測して、本露光動作中にフォーカスレンズ１１３をその予測した移動速度に基づき駆動して移動させる。 [2-2. Control of focus lens 113 during main exposure]
FIG. 6 is an image diagram showing movement of the subject 401 of the digital video camera 100 in the embodiment in the Z-axis direction. In the following description, as shown in FIG. 6, the Z axis is taken along the optical axis 110A of the optical system 110, and the direction from the digital video camera 100 toward the subject 401 is defined as the positive direction of the Z axis. The digital video camera 100 can take a still image by exposing a subject image for a set time. The digital video camera 100 first performs a pre-exposure operation during a pre-exposure period that is a first exposure period, and then performs a main exposure operation during a main exposure period that is a second exposure period. The preliminary exposure operation is an exposure operation for capturing a subject image of the subject 401 in order to predict the moving speed of the subject 401 by performing a DFD calculation. Further, the main exposure operation is an exposure operation for capturing a subject image of the subject 401 when generating a final recording image. The digital video camera 100 according to the embodiment reduces the occurrence of out-of-focus even when the subject 401 moves from the position shown in FIG. 6A to the position shown in FIG. 6B during the main exposure operation. Therefore, the digital video camera 100 predicts the moving speed of the subject 401 in the Z-axis direction during the preliminary exposure operation, and drives and moves the focus lens 113 based on the predicted moving speed during the main exposure operation. .

図７はデジタルビデオカメラ１００の本露光動作中のフォーカスレンズ１１３の移動速度であるレンズ移動速度の決定の動作のフローチャートである。図８は、本露光中のフォーカスレンズの移動速度の予測の動作を示す。図８において横軸は時間を示し、縦軸はＺ軸の方向での被写体４０１までの被写体距離Ｌ４０１を示す。図８では、予備露光中及び本露光中に被写体４０１がデジタルビデオカメラ１００からＺ軸の正方向に遠ざかっている。 FIG. 7 is a flowchart of an operation for determining a lens moving speed that is the moving speed of the focus lens 113 during the main exposure operation of the digital video camera 100. FIG. 8 shows an operation of predicting the moving speed of the focus lens during the main exposure. In FIG. 8, the horizontal axis indicates time, and the vertical axis indicates the subject distance L401 to the subject 401 in the Z-axis direction. In FIG. 8, the subject 401 is moved away from the digital video camera 100 in the positive direction of the Z axis during the preliminary exposure and the main exposure.

制御部１８０は合焦指示があったか否かを監視する（ステップＳ３０１）。ステップＳ３０１において合焦指示があった場合、制御部１８０は予備露光動作を開始する。予備露光動作において、制御部１８０は、図８に示すように、ＣＭＯＳイメージセンサ１４０に２４０ｐの高速フレームレートで被写体４０１を撮像させてＤＦＤ演算を行う。ＤＦＤ演算の結果に基づいて、制御部１８０は、予備露光動作中の被写体４０１のＺ軸の方向の移動速度を測定する（ステップＳ３０２）。具体的には、制御部１８０は、１／２４０秒の間隔でフォーカスレンズ１１３を移動させつつ、被写体４０１の被写体画像に基づいてＤＦＤ演算を実施する。これにより、制御部１８０は、１／２４０秒の期間において被写体４０１がＺ軸の方向に移動した距離を検出することができる。したがって、制御部１８０は、予備露光期間における被写体４０１のＺ軸の方向の移動速度を算出できる。なお、制御部１８０は予備露光期間中に２４０ｐの高速フレームレートによるＤＦＤ演算を数回繰り返すことにより、被写体４０１のＺ軸の方向の移動速度を高精度に算出することができる。 The control unit 180 monitors whether or not an in-focus instruction has been given (step S301). When there is an in-focus instruction in step S301, the control unit 180 starts a preliminary exposure operation. In the preliminary exposure operation, as shown in FIG. 8, the control unit 180 causes the CMOS image sensor 140 to image the subject 401 at a high-speed frame rate of 240p and perform DFD calculation. Based on the result of the DFD calculation, the control unit 180 measures the moving speed in the Z-axis direction of the subject 401 during the preliminary exposure operation (step S302). Specifically, the control unit 180 performs the DFD calculation based on the subject image of the subject 401 while moving the focus lens 113 at intervals of 1/240 seconds. Thus, the control unit 180 can detect the distance that the subject 401 has moved in the Z-axis direction during a period of 1/240 seconds. Therefore, the control unit 180 can calculate the moving speed of the subject 401 in the Z-axis direction during the preliminary exposure period. Note that the control unit 180 can calculate the moving speed of the subject 401 in the Z-axis direction with high accuracy by repeating the DFD calculation at a high frame rate of 240p several times during the preliminary exposure period.

続いて、制御部１８０は、予備露光動作で得られたＺ軸の方向の被写体４０１の移動速度に基づいて、予備露光動作に続く本露光動作における被写体４０１のＺ軸の方向の移動速度を予測する（ステップＳ３０３）。例えば、予備露光動作において、１／２４０（秒）の期間に被写体距離Ｌ４０１が−１２．５センチメートル変化した場合には、制御部１８０は、予備期間における被写体４０１のＺ軸の方向の移動速度を−３０００センチメートル／秒と算出する。制御部１８０は、計算した予備露光期間における被写体４０１の移動速度に基づいて、本露光動作における被写体４０１のＺ軸の方向への移動速度も同じく−３０００（センチメートル／秒）であると予測する。 Subsequently, the control unit 180 predicts the moving speed in the Z-axis direction of the subject 401 in the main exposure operation following the pre-exposure operation based on the moving speed of the subject 401 in the Z-axis direction obtained in the pre-exposure operation. (Step S303). For example, in the preliminary exposure operation, when the subject distance L401 changes by −12.5 centimeters during a period of 1/240 (seconds), the control unit 180 moves the subject 401 in the Z-axis direction during the preliminary period. Is calculated to be −3000 centimeter / second. Based on the calculated moving speed of the subject 401 during the pre-exposure period, the control unit 180 also predicts that the moving speed of the subject 401 in the Z-axis direction in the main exposure operation is also −3000 (centimeter / second). .

本露光動作における本露光期間が、例えば、１／６０（秒）である場合には、制御部１８０は、本露光動作の１／６０（秒）の本露光期間において被写体４０１は−５０（センチメートル）（＝−３０００（センチメートル／秒）×１／６０（秒））の距離を移動すると予測できる。 When the main exposure period in the main exposure operation is, for example, 1/60 (second), the control unit 180 controls the subject 401 to be −50 (centimeter) in the main exposure period of 1/60 (second) of the main exposure operation. Meter) (= −3000 (centimeter / second) × 1/60 (second)).

続いて、制御部１８０は、予測された移動速度に基づいて、フォーカスレンズ１１３を制御する制御量を決定する。その後制御部１８０は、本露光期間において、決定した制御量に対応する移動速度で合焦位置Ｐｆを移動させてＣＭＯＳイメージセンサ１４０に被写体像を撮像させる。実施の形態におけるデジタルビデオカメラ１００では、制御部１８０はフォーカスレンズ１１３を移動させることで合焦位置Ｐｆを移動させる。すなわち、フォーカスレンズ１１３の上記制御量はフォーカスレンズ１１３の移動速度であるレンズ移動速度である。制御部１８０は、本露光動作の本露光期間において被写体が移動すると予測した距離に基づいて、フォーカスレンズ１１３のレンズ移動速度を決定する（ステップＳ３０４）。具体的には、制御部１８０は、ズームトラッキングカーブを参照して、被写体距離Ｌ４０１が変化したときに、被写体距離Ｌ４０１に対応するフォーカスレンズ１１３の位置を得る。 Subsequently, the control unit 180 determines a control amount for controlling the focus lens 113 based on the predicted moving speed. Thereafter, the control unit 180 causes the CMOS image sensor 140 to capture the subject image by moving the focus position Pf at a moving speed corresponding to the determined control amount during the main exposure period. In the digital video camera 100 according to the embodiment, the control unit 180 moves the focus position Pf by moving the focus lens 113. That is, the control amount of the focus lens 113 is a lens moving speed that is the moving speed of the focus lens 113. The control unit 180 determines the lens moving speed of the focus lens 113 based on the distance predicted to move the subject during the main exposure period of the main exposure operation (step S304). Specifically, the control unit 180 refers to the zoom tracking curve and obtains the position of the focus lens 113 corresponding to the subject distance L401 when the subject distance L401 changes.

図９はデジタルビデオカメラ１００において本露光期間中のフォーカスレンズ１１３のレンズ移動速度の決定に際して参照するズームトラッキングテーブルを示す。例えば、予備露光動作すなわち予備露光期間が開始した時点での被写体距離Ｌ４０１が３メートルであり、予備露光動作すなわち予備露光期間が終了した時点での被写体距離が２．５メートルである場合には、制御部１８０は、本露光動作の本露光期間の１／６０（秒）において、被写体は−５０（センチメートル）（＝−３０００（センチメートル／秒）× １／６０（秒））の距離を移動すると予測し、本露光動作すなわち本露光期間が終了した時点での被写体距離Ｌ４０１を２．０メートル（＝２．５（メートル）−５０（センチメートル））と予測する。制御部１８０は、ズームトラッキングカーブを参照して被写体距離Ｌ４０１に対応するフォーカスレンズ１１３の位置を取得する。ズームトラッキングカーブに基づいて、２．５メートルと２．０メートルの間の被写体距離Ｌ４０１に対応するフォーカスレンズ１１３の位置を取得することが可能である場合は、制御部１８０は、その間の被写体距離Ｌ４０１に対応するフォーカスレンズ１１３の位置を適宜取得する。例えば、２．５メートルと２．０メートルの間の被写体距離Ｌ４０１として、２．４メートル、２．３メートル、２．２メートル、２．１メートルの被写体距離Ｌ４０１にそれぞれ対応するフォーカスレンズ１１３の位置を取得できる場合は、フォーカスレンズ１１３のこれらの位置ＦＰ３〜ＦＰ６）を取得する。そして、制御部１８０は、本露光期間における被写体４０１のＺ軸の方向の移動速度を−３０００（センチメートル／秒）であると予測しているので、予備露光期間が終了した時点での被写体距離Ｌ４０１の２．５メートルから中間位置２．４メートルまでの被写体４０１の移動に要する時間を１／３００（秒）であると算出できる。同様に、制御部１８０は、被写体距離Ｌ４０１の２．４メートルから２．３メートルまでの中間位置の間の被写体４０１の移動に要する時間など、各中間位置の間の被写体４０１の移動に要する時間も１／３００（秒）と算出できる。制御部１８０は、ズームトラッキングカーブを参照することにより、各中間位置におけるフォーカスレンズ１１３の位置を取得しているので、制御部１８０は、各中間位置の間を移動するフォーカスレンズ１１３のレンズ移動速度を算出することができる。 FIG. 9 shows a zoom tracking table that is referred to when determining the lens moving speed of the focus lens 113 during the main exposure period in the digital video camera 100. For example, when the subject distance L401 at the start of the pre-exposure operation, that is, the pre-exposure period is 3 meters, and the subject distance at the end of the pre-exposure operation, that is, the pre-exposure period is 2.5 meters, The controller 180 determines that the subject has a distance of −50 (centimeter) (= −3000 (centimeter / second) × 1/60 (second)) in 1/60 (second) of the main exposure period of the main exposure operation. The subject distance L401 at the end of the main exposure operation, ie, the main exposure period, is predicted to be 2.0 meters (= 2.5 (meters) −50 (centimeters)). The control unit 180 acquires the position of the focus lens 113 corresponding to the subject distance L401 with reference to the zoom tracking curve. When the position of the focus lens 113 corresponding to the subject distance L401 between 2.5 meters and 2.0 meters can be acquired based on the zoom tracking curve, the control unit 180 determines the subject distance between them. The position of the focus lens 113 corresponding to L401 is appropriately acquired. For example, as the subject distance L401 between 2.5 meters and 2.0 meters, the focus lens 113 corresponding to the subject distance L401 of 2.4 meters, 2.3 meters, 2.2 meters, and 2.1 meters, respectively. If the position can be acquired, these positions FP3 to FP6) of the focus lens 113 are acquired. Then, since the control unit 180 predicts that the moving speed of the subject 401 in the Z-axis direction during the main exposure period is −3000 (centimeter / second), the subject distance at the time when the pre-exposure period ends. The time required for the movement of the subject 401 from L401 of 2.5 meters to the intermediate position of 2.4 meters can be calculated as 1/300 (seconds). Similarly, the control unit 180 takes time required to move the subject 401 between the intermediate positions, such as time required to move the subject 401 between the intermediate positions of the subject distance L401 from 2.4 meters to 2.3 meters. Can also be calculated as 1/300 (seconds). Since the control unit 180 obtains the position of the focus lens 113 at each intermediate position by referring to the zoom tracking curve, the control unit 180 moves the lens movement speed of the focus lens 113 that moves between the intermediate positions. Can be calculated.

制御部１８０は、算出されたフォーカスレンズ１１３のレンズ移動速度に基づき、本露光期間中にフォーカスレンズ１１３を駆動して移動させる（ステップＳ３０５）。これにより、本露光動作中においてＺ軸の方向に被写体４０１が移動した場合でも、ＣＭＯＳイメージセンサ１４０は被写体４０１に合焦させた状態を維持したまま被写体像を露光して撮像することができる。 Based on the calculated lens movement speed of the focus lens 113, the control unit 180 drives and moves the focus lens 113 during the main exposure period (step S305). As a result, even when the subject 401 moves in the Z-axis direction during the main exposure operation, the CMOS image sensor 140 can expose and capture the subject image while maintaining the focused state on the subject 401.

〔３．効果等〕
上述のように、実施の形態における撮像装置であるデジタルビデオカメラ１００は被写体４０１を撮像する。デジタルビデオカメラ１００は、合焦位置Ｐｆを有して被写体４０１の被写体像を形成するフォーカスレンズ１１３と、被写体像を撮像することにより撮像データを生成する撮像センサであるＣＯＭＳイメージセンサ１４０と、フォーカスレンズ１１３を制御する制御部１８０とを備える。制御部１８０は、予備露光期間（第１の露光期間）において被写体像を撮像することによってＣＯＭイメージセンサ１４０で生成された撮像データに基づき、予備露光期間におけるデジタルビデオカメラ１００から被写体４０１までの距離の変化を検出するように動作する。制御部１８０は、距離の検出された変化に基づいて、合焦位置Ｐｆを予備露光期間よりも後の本露光期間（第２の露光期間）において移動させる移動速度を制御する制御量を決定するように動作する。さらに、制御部１８０は、決定した制御量に対応する移動速度で合焦位置を本露光期間において移動させてＣＯＭイメージセンサ１４０に被写体像を撮像させるように動作する。 [3. Effect etc.)
As described above, the digital video camera 100 that is the imaging apparatus according to the embodiment images the subject 401. The digital video camera 100 includes a focus lens 113 that forms a subject image of the subject 401 with the in-focus position Pf, a COMS image sensor 140 that is an imaging sensor that generates imaging data by capturing the subject image, and a focus. And a control unit 180 that controls the lens 113. The control unit 180 captures the subject image during the pre-exposure period (first exposure period), and based on the imaging data generated by the COM image sensor 140, the distance from the digital video camera 100 to the subject 401 during the pre-exposure period. Operates to detect changes in Based on the detected change in distance, the control unit 180 determines a control amount for controlling the moving speed for moving the in-focus position Pf in the main exposure period (second exposure period) after the preliminary exposure period. To work. Furthermore, the control unit 180 operates so that the COM image sensor 140 captures a subject image by moving the focus position during the main exposure period at a movement speed corresponding to the determined control amount.

制御量はフォーカスレンズ１１３を移動させるレンズ移動速度であってもよい。この場合には、制御部１８０は、本露光期間においてフォーカスレンズ１１３をレンズ移動速度で移動させることで合焦位置Ｐｆを移動させるように動作する。 The control amount may be a lens moving speed for moving the focus lens 113. In this case, the control unit 180 operates to move the focus position Pf by moving the focus lens 113 at the lens moving speed during the main exposure period.

すなわち、上記説明してきたように、実施の形態における撮像装置であるデジタルビデオカメラ１００は、フォーカスレンズ１１３と、フォーカスレンズ１１３を介して形成された被写体像に対して撮像動作を行うことで撮像データを生成するＣＭＯＳイメージセンサ１４０と、被写体像が示す被写体までの距離の変化を検出する制御部１８０とを備える。制御部１８０は、撮像動作にあたって、予備露光期間と、予備露光期間の後に本露光期間とが設定され、予備露光期間において検出した距離の変化に基づいて、本露光期間においてフォーカスレンズ１１３を移動させるレンズ移動速度を決定し、決定したレンズ移動速度によりフォーカスレンズ１１３を移動させる。これにより、本露光動作中においてＺ方向に被写体が移動したとしても、合焦状態を維持させたまま被写体像を露光することができる。 That is, as described above, the digital video camera 100 that is the imaging device in the embodiment performs imaging operation on the focus lens 113 and the subject image formed via the focus lens 113 to obtain imaging data. And a control unit 180 that detects a change in the distance to the subject indicated by the subject image. In the imaging operation, the control unit 180 sets a pre-exposure period and a main exposure period after the pre-exposure period, and moves the focus lens 113 during the main exposure period based on a change in distance detected during the pre-exposure period. The lens moving speed is determined, and the focus lens 113 is moved according to the determined lens moving speed. Thus, even if the subject moves in the Z direction during the main exposure operation, the subject image can be exposed while maintaining the in-focus state.

また、制御部１８０は、本露光期間においてＣＭＯＳイメージセンサ１４０により生成された撮像データに基づく画像データを、メモリカード２００へ記録する。 In addition, the control unit 180 records image data based on the imaging data generated by the CMOS image sensor 140 during the main exposure period on the memory card 200.

また、レンズ移動速度はフォーカスレンズ１１３を移動させる移動量と移動方向を含んでもよい。 The lens moving speed may include a moving amount and a moving direction for moving the focus lens 113.

制御部１８０は、本露光期間においてＣＯＭイメージセンサ１４０が被写体像を撮像することにより生成した撮像データに基づく画像データを記録媒体へ記録するように動作する。 The control unit 180 operates to record image data based on imaging data generated when the COM image sensor 140 captures a subject image during the main exposure period onto a recording medium.

また、デジタルビデオカメラ１００は、距離に対応する距離情報を所定の時間間隔毎に作成する画像処理部１６０をさらに備えてもよい。この場合には、制御部１８０は、所定の時間間隔毎に作成された距離情報に基づいて被写体４０１までの距離の変化を検出するように動作する。 In addition, the digital video camera 100 may further include an image processing unit 160 that creates distance information corresponding to the distance at predetermined time intervals. In this case, the control unit 180 operates so as to detect a change in the distance to the subject 401 based on the distance information created at predetermined time intervals.

また、制御部１８０は、フォーカスレンズ１１３が第１の位置と第２の位置にあるときに被写体像を撮像することで第１の撮像データと第２の撮像データとをそれぞれ撮像センサに生成させるように動作する。この場合に、画像処理部１６０は、第１の撮像データと第２の撮像データとに基づいて距離情報を作成する。 In addition, the control unit 180 causes the imaging sensor to generate the first imaging data and the second imaging data by capturing the subject image when the focus lens 113 is at the first position and the second position, respectively. To work. In this case, the image processing unit 160 creates distance information based on the first imaging data and the second imaging data.

また、画像処理部１６０は、第１の撮像データと第２の撮像データとからボケ量を算出し、算出したボケ量に基づいて、距離情報を作成してもよい。 The image processing unit 160 may calculate a blur amount from the first imaging data and the second imaging data, and create distance information based on the calculated blur amount.

〔４．他の実施形態〕
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。 [4. Other embodiments]
As described above, the first embodiment has been described as an example of the technique disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed. Moreover, it is also possible to combine each component demonstrated in the said Embodiment 1, and it can also be set as a new embodiment.

そこで、以下、他の実施の形態を例示する。 Therefore, other embodiments will be exemplified below.

図８に示す動作では予備露光期間中及び本露光期間中に、被写体４０１がデジタルビデオカメラ１００からＺ軸の方向に遠ざかっていくがこれに限定されない。すなわち、予備露光期間中及び本露光期間中に、被写体４０１がからＺ軸の方向でデジタルビデオカメラ１００に近づいてきても、同様の効果が得られる。 In the operation illustrated in FIG. 8, the subject 401 moves away from the digital video camera 100 in the Z-axis direction during the preliminary exposure period and the main exposure period, but the present invention is not limited to this. That is, the same effect can be obtained even if the subject 401 approaches the digital video camera 100 in the Z-axis direction during the preliminary exposure period and the main exposure period.

上記の動作では、制御部１８０は、本露光期間における被写体４０１の移動の速度を予備露光期間における被写体４０１の移動の速度と等しいとして予測するが、これに限定されない。例えば、制御部１８０は予備露光期間における被写体４０１の移動の加速度と等しい加速度で被写体４０１が本露光期間に移動するとして、その加速度から本露光期間での被写体４０１の位置と移動の速度を予測してもよい。 In the above operation, the control unit 180 predicts that the moving speed of the subject 401 during the main exposure period is equal to the moving speed of the subject 401 during the preliminary exposure period, but is not limited thereto. For example, assuming that the subject 401 moves in the main exposure period at an acceleration equal to the acceleration of movement of the subject 401 in the preliminary exposure period, the control unit 180 predicts the position of the subject 401 and the speed of movement in the main exposure period from the acceleration. May be.

上記の動作では、制御部１８０は、本露光期間においてフォーカスレンズ１１３を移動させるが、これに限定されない。例えば、制御部１８０は、本露光期間において、フォーカスレンズ１１３を移動させて、同時に、ズームレンズ１１１を同期して移動させてもよい。フォーカスレンズ１１３の移動に同期させたズームレンズ１１１の移動において、制御部１８０は、Ｚ軸の方向に移動する被写体４０１の像倍率が維持されるようにズームレンズ１１１を移動させることができる。これにより、本露光期間においてＺ軸の方向に被写体４０１が移動しても、被写体４０１の合焦状態及び像倍率を維持させたままＣＯＭＳイメージセンサ１４０は被写体像を露光できる。 In the above operation, the control unit 180 moves the focus lens 113 during the main exposure period, but the present invention is not limited to this. For example, the control unit 180 may move the focus lens 113 and simultaneously move the zoom lens 111 in synchronization during the main exposure period. In the movement of the zoom lens 111 synchronized with the movement of the focus lens 113, the control unit 180 can move the zoom lens 111 so that the image magnification of the subject 401 moving in the Z-axis direction is maintained. Accordingly, even if the subject 401 moves in the Z-axis direction during the main exposure period, the COMS image sensor 140 can expose the subject image while maintaining the focused state and image magnification of the subject 401.

上記の動作では、制御量はフォーカスレンズ１１３を移動させるレンズ移動速度である。フォーカスレンズ１１３の移動以外の方法、例えばフォーカスレンズ１１３の厚み等の形状を変化させて合焦位置Ｐｆを移動させる場合には、制御量はフォーカスレンズ１１３の形状や厚みである。この場合には、制御部１８０は、本露光期間においてフォーカスレンズ１１３の形状や厚みを変えることで合焦位置Ｐｆを移動させるように動作する。 In the above operation, the control amount is the lens moving speed for moving the focus lens 113. In a method other than the movement of the focus lens 113, for example, when the focus position Pf is moved by changing the shape such as the thickness of the focus lens 113, the control amount is the shape or thickness of the focus lens 113. In this case, the control unit 180 operates to move the in-focus position Pf by changing the shape and thickness of the focus lens 113 during the main exposure period.

上記の実施の形態において、点拡がり関数は内部メモリ２４０に用意されている。本発明はこれに限定されず、点拡がり関数は、例えば画像処理部１６０内のメモリに用意されていてもよい。また、実施の形態におけるデジタルビデオカメラ１００では、１６個の点拡がり関数が選択されるが、Ｄｅｐｔｈマップの階調の数に応じて、選択される点拡がり関数の数は１６個以上であっても、１６個未満であってもよい。 In the above embodiment, the point spread function is prepared in the internal memory 240. The present invention is not limited to this, and the point spread function may be prepared in a memory in the image processing unit 160, for example. In the digital video camera 100 according to the embodiment, 16 point spread functions are selected, but the number of point spread functions to be selected is 16 or more according to the number of gradations of the Depth map. Or less than 16.

実施の形態におけるデジタルビデオカメラ１００は非レンズ交換式のデジタルビデオカメラであるが、これに限定されず、レンズ交換式のデジタルビデオカメラであってもよい。 The digital video camera 100 according to the embodiment is a non-lens interchangeable digital video camera, but is not limited thereto, and may be a lens interchangeable digital video camera.

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。 As described above, the embodiments have been described as examples of the technology in the present disclosure. For this purpose, the accompanying drawings and detailed description are provided.

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 Accordingly, among the components described in the accompanying drawings and the detailed description, not only the components essential for solving the problem, but also the components not essential for solving the problem in order to illustrate the above technique. May also be included. Therefore, it should not be immediately recognized that these non-essential components are essential as those non-essential components are described in the accompanying drawings and detailed description.

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。 Moreover, since the above-mentioned embodiment is for demonstrating the technique in this indication, a various change, substitution, addition, abbreviation, etc. can be performed in a claim or its equivalent range.

本発明における撮像装置は、デジタルビデオカメラや、デジタルスチルカメラや、カメラ機能付携帯電話や、カメラ機能付スマートフォン等に適用できる。 The imaging apparatus according to the present invention can be applied to a digital video camera, a digital still camera, a mobile phone with a camera function, a smartphone with a camera function, and the like.

１００デジタルビデオカメラ（撮像装置）
１１０光学系
１１３フォーカスレンズ
１１４絞り
１２０レンズ駆動部
１４０ＣＭＯＳイメージセンサ（撮像センサ）
１６０画像処理部
Ｐｆ合焦位置
１８０制御部 100 Digital video camera (imaging device)
DESCRIPTION OF SYMBOLS 110 Optical system 113 Focus lens 114 Aperture 120 Lens drive part 140 CMOS image sensor (imaging sensor)
160 Image processing unit Pf In-focus position 180 Control unit

Claims

An imaging device for imaging a subject,
A focus lens having a focus position to form a subject image of the subject;
An imaging sensor that generates imaging data by imaging the subject image;
A control unit for controlling the focus lens;
With
The controller is
A control amount for the focus lens in a second exposure period after the first exposure period based on imaging data generated by the imaging sensor by capturing the subject image in the first exposure period. Determining a control amount for controlling the moving speed of the in-focus position,
In the second exposure period, the imaging sensor captures the subject image while moving the focus position at a movement speed corresponding to the determined control amount.
An imaging device that operates as follows.

The control amount is a lens moving speed for moving the focus lens,
The imaging apparatus according to claim 1, wherein the control unit operates to move the focus position by moving the focus lens at the lens moving speed in the second exposure period.

The imaging apparatus according to claim 2, wherein the lens moving speed includes a moving amount and a moving direction for moving the focus lens.

The said control part records the image data based on the imaging data produced | generated when the said imaging sensor imaged the said to-be-photographed image in the said 2nd exposure period to a recording medium. The imaging device described.