JP2013090106A

JP2013090106A - Imaging device and control method for imaging device

Info

Publication number: JP2013090106A
Application number: JP2011228125A
Authority: JP
Inventors: Norihisa Negishi; 典央根岸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-10-17
Filing date: 2011-10-17
Publication date: 2013-05-13

Abstract

PROBLEM TO BE SOLVED: To improve image quality in recording a moving image.SOLUTION: A driving mode A for obtaining an image signal (main photographic image) in all frames and a driving mode B for obtaining a dummy signal by performing blank transfer of a signal in one or a plurality of frames after the main photographic image is obtained are set as a driving mode in imaging a moving image in an image sensor 306. Then, in driving moving image recording in the image sensor 306, with respect to a noise component generated depending on the temperature of the image sensor 306, the image sensor 306 is driven in the driving mode B at a temperature at which the noise component is conspicuous, and dark noise correction processing is performed. Meanwhile, the image sensor 306 is driven in the driving mode A at a temperature at which the noise component is inconspicuous, and dark noise correction is not performed.

Description

本発明は、撮像装置及び撮像装置の制御方法に関し、特に、動画像を撮像するために用いて好適なものである。 The present invention relates to an imaging apparatus and a method for controlling the imaging apparatus, and is particularly suitable for use in capturing a moving image.

デジタルカメラにおいて画像を撮影する際、暗電流ノイズ（ランダムノイズ）やキズ以外にも様々なダークノイズが画質を劣化させる要因として問題となる。例えば、キズ以外のダークノイズとして、図１３（ａ）〜（ｃ）に挙げるような現象がある。 When taking an image with a digital camera, various dark noises in addition to dark current noise (random noise) and scratches are problematic as factors that degrade image quality. For example, as dark noise other than scratches, there are phenomena as shown in FIGS.

図１３（ａ）は、ダーク画像に縦線キズが発生している様子を示す図である。ＣＣＤ撮像素子においては、ＶＣＣＤ上にキズが存在し、そこから暗電流が漏れ出すことで縦線キズが発生する。
図１３（ｂ）は、ダーク画像に高温縦スジが発生している様子を示す図である。ＣＣＤ撮像素子においては、ＶＣＣＤ毎に発生する暗電流量が異なることで高温縦スジが発生する。 FIG. 13A is a diagram illustrating a state in which a vertical line scratch is generated in a dark image. In the CCD image pickup device, a scratch exists on the VCCD, and a dark current leaks from the scratch, thereby generating a vertical line scratch.
FIG. 13B is a diagram illustrating a state in which high-temperature vertical stripes are generated in the dark image. In a CCD imaging device, a high-temperature vertical streak is generated due to a difference in the amount of dark current generated for each VCCD.

図１３（ｃ）は、水平シェーディングの水平方向での出力レベルを表す図である。図１３（ｃ）の縦軸が出力レベルを表し、横軸が画像の水平方向の位置を表している。ＣＣＤ撮像素子においては、ＶＣＣＤ毎に発生する暗電流量が異なることで水平シェーディングが発生する。
図１３（ａ）〜（ｃ）に示すダークノイズは、いずれも温度依存性（温度が高いほど目立つ）、フレームレート（駆動周波数）依存性（フレームレートが低いほど目立つ）があり、高ゲイン時に目立つ傾向にある。 FIG. 13C is a diagram illustrating the output level in the horizontal direction of horizontal shading. In FIG. 13C, the vertical axis represents the output level and the horizontal axis represents the horizontal position of the image. In a CCD image sensor, horizontal shading occurs due to the amount of dark current generated for each VCCD.
Each of the dark noises shown in FIGS. 13A to 13C has temperature dependency (conspicuous as the temperature is high) and frame rate (driving frequency) dependency (conspicuous as the frame rate is low). It tends to stand out.

従来、静止画像を記録する際には、露光した状態で電荷蓄積を行った撮像素子から本撮影画像を得た後に、撮像素子を露光しない状態で電荷蓄積を行った撮像素子からダーク画像を得て、これらに基づく演算処理を行うことで、ダークノイズの補正処理を行っている。更に、特許文献１に記載の発明では、連続撮影する際に、露光時間が以前の撮影条件よりも長くならない場合には、以前に撮影したダーク画像を用いてダークノイズ補正処理を行っている。これによりダーク画像を撮影することによるレリーズタイムラグの延長を防ぎ、撮像装置の消費電力の増大を低減させ、且つ、撮影のコマ間隔のバラツキを防ぐことができる。 Conventionally, when recording a still image, after obtaining an actual captured image from an image sensor that has been subjected to charge accumulation in an exposed state, a dark image is obtained from an image sensor that has been subjected to charge accumulation without exposing the image sensor. Thus, dark noise correction processing is performed by performing arithmetic processing based on these. Furthermore, in the invention described in Patent Document 1, when continuous shooting is performed, if the exposure time is not longer than the previous shooting condition, dark noise correction processing is performed using a previously shot dark image. As a result, it is possible to prevent an increase in the release time lag caused by capturing a dark image, to reduce an increase in power consumption of the imaging apparatus, and to prevent variations in shooting frame intervals.

特許第３３３２８９７号公報Japanese Patent No. 3332897

一方で、動画像を記録する際にも、前述したダークノイズが発生するものの、従来、静止画像に比べ動画像には高い画質が求められなかった。このため、動画像を記録する際には、静止画像を記録するときに行われるダークノイズの補正処理を行う必要がなかった。
ところが、近年、ハイビジョン画質等で動画像を記録することが行われており、動画記録モードにおいても、高画質が求められる様になってきている。また、撮像素子の画素素子サイズの縮小化により、ダークノイズ特性が悪化する傾向にあり、ダークノイズ補正の必要性が高まっている。
しかしながら、動画像を記録する際には、撮像素子は常に露光している状態である。よって、前述したようなダークノイズの補正処理を行うことはできない。
本発明は、このような問題点に鑑みてなされたものであり、動画像を記録する際の画質を向上させることを目的とする。 On the other hand, when recording a moving image, the above-described dark noise occurs, but conventionally, a moving image has not been required to have higher image quality than a still image. For this reason, when recording a moving image, it is not necessary to perform dark noise correction processing that is performed when a still image is recorded.
However, in recent years, moving images have been recorded with high-definition image quality and the like, and high image quality has been demanded even in the moving image recording mode. Further, the reduction in the pixel element size of the image pickup element tends to deteriorate the dark noise characteristics, and the necessity for dark noise correction is increasing.
However, when recording a moving image, the image sensor is always exposed. Therefore, the dark noise correction process as described above cannot be performed.
The present invention has been made in view of such problems, and an object thereof is to improve the image quality when recording a moving image.

本発明の撮像装置は、２次元に配列された複数の画素と、前記画素にて露光された電荷に基づく信号を含む信号を転送する転送部と、を含む撮像素子を用いて少なくとも動画像を撮像する撮像装置であって、前記画素に露光された電荷を読み出して前記転送部から転送することで撮像信号を得る第１の撮像動作と、前記画素に露光された電荷を読み出さずに前記転送部を空転送することでダミー信号を得る第２の撮像動作とが交互に行われるように、前記撮像素子を駆動する制御手段と、前記第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、前記第２の撮像動作により得られた、前記撮像信号に対応するダミー信号を用いて除去することによりダークノイズ補正を行う撮像信号処理手段と、を有することを特徴とする。 An image pickup apparatus according to the present invention uses at least a moving image by using an image pickup element including a plurality of pixels arranged in a two-dimensional manner and a transfer unit that transfers a signal including a signal based on an electric charge exposed in the pixels. An image pickup apparatus for picking up an image, wherein a first image pickup operation for obtaining an image pickup signal by reading out an electric charge exposed to the pixel and transferring it from the transfer unit, and the transfer without reading out the electric charge exposed to the pixel Included in the image pickup signal obtained by the control means for driving the image pickup device and the first image pickup operation so that the second image pickup operation for obtaining the dummy signal by performing idle transfer is alternately performed. And an imaging signal processing unit that performs dark noise correction by removing a noise component using a dummy signal corresponding to the imaging signal obtained by the second imaging operation.

本発明によれば、画素に露光された電荷から撮像信号を得る第１の撮像動作と、転送部を空転送することでダミー信号を得る第２の撮像動作とを交互に行う。そして、第１の撮像動作により得られた撮像信号に含まれるノイズ成分を、当該撮像信号に対応するダミー信号を用いて除去する。よって、動画像に含まれるダークノイズを補正して動画像を記録する際の画質を向上させることができる。 According to the present invention, the first imaging operation for obtaining an imaging signal from the charges exposed on the pixels and the second imaging operation for obtaining a dummy signal by idle transfer of the transfer unit are alternately performed. Then, the noise component included in the imaging signal obtained by the first imaging operation is removed using a dummy signal corresponding to the imaging signal. Therefore, it is possible to improve the image quality when recording a moving image by correcting dark noise included in the moving image.

固体撮像素子の構成の概略を示す図である。It is a figure which shows the outline of a structure of a solid-state image sensor. 色フィルタアレイの一部を示す図である。It is a figure which shows a part of color filter array. 撮像装置のシステムの概要を示す図である。It is a figure which shows the outline | summary of the system of an imaging device. 撮像シーケンスの第１の例を説明するフローチャートである。It is a flowchart explaining the 1st example of an imaging sequence. 本撮影画像の領域を示す図である。It is a figure which shows the area | region of a captured image. 駆動モードＡにおける撮像素子の垂直転送駆動タイミングを示す図である。6 is a diagram illustrating vertical transfer drive timing of the image sensor in the drive mode A. FIG. 駆動モードＢにおける撮像素子の垂直転送駆動タイミングを示す図である。6 is a diagram illustrating vertical transfer driving timing of the image sensor in the driving mode B. FIG. ダークノイズ補正処理を説明するフローチャートである。It is a flowchart explaining a dark noise correction process. 本撮影フレーム及びダミー信号フレームを示す図である。It is a figure which shows this imaging | photography frame and a dummy signal frame. 撮像シーケンスの第２の例を説明するフローチャートである。It is a flowchart explaining the 2nd example of an imaging sequence. ガンマカーブ（ガンマ特性）の一例を示す図である。It is a figure which shows an example of a gamma curve (gamma characteristic). 撮像シーケンスの第３の例を説明するフローチャートである。It is a flowchart explaining the 3rd example of an imaging sequence. ダークノイズを示す図である。It is a figure which shows dark noise.

（第１の実施形態）
以下、本発明の第１の実施形態について、図１〜図８を用いて説明する。
図１は、本実施形態の固体撮像素子の構成の概略を示す図である。図１において、１０１はフォトダイオードであり、１０２は垂直電荷転送路であり、１０３は水平電荷転送路である。１０４は出力部であり、１０５はバッファストレージセルであり、１０６はトランスファゲートである。 (First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a diagram showing an outline of the configuration of the solid-state imaging device of the present embodiment. In FIG. 1, 101 is a photodiode, 102 is a vertical charge transfer path, and 103 is a horizontal charge transfer path. Reference numeral 104 denotes an output unit, 105 denotes a buffer storage cell, and 106 denotes a transfer gate.

垂直電荷転送路１０２は、それぞれ、駆動パルスφＶ１、φＶ２、φＶ３、φＶ４が加わる転送電極Ｖ１、Ｖ２、Ｖ３、Ｖ４にて構成される転送部である。垂直電荷転送路１０２の最終段のバッファストレージセル１０５及びトランスファゲート１０６は、それぞれ、駆動パルスφＢＳ、φＴＳが加わる転送電極ＢＳ、ＴＳにて構成されている。水平電荷転送路１０３は、それぞれ、２相駆動パルスφＨ１及びφＨ２が加わる転送電極である電極Ｈ１及びＨ２にて構成される転送部である。 The vertical charge transfer path 102 is a transfer unit configured by transfer electrodes V1, V2, V3, and V4 to which drive pulses φV1, φV2, φV3, and φV4 are applied, respectively. The buffer storage cell 105 and the transfer gate 106 at the final stage of the vertical charge transfer path 102 are configured by transfer electrodes BS and TS to which drive pulses φBS and φTS are applied, respectively. The horizontal charge transfer path 103 is a transfer unit composed of electrodes H1 and H2, which are transfer electrodes to which two-phase drive pulses φH1 and φH2 are applied, respectively.

２次元に配列された複数の画素となるフォトダイオード１０１で露光されて光電変換された信号電荷は、読み出しパルスにより垂直電荷転送路１０２に送られる。垂直電荷転送路１０２に送られた信号電荷は、駆動パルスφＶ１、φＶ２、φＶ３、φＶ４、φＢＳ、φＴＳにより水平電荷転送路１０３の方向へ順に転送される。水平電荷転送路１０３は、垂直電荷転送路１０２から転送されて来た１行分の信号電荷を２相駆動パルスφＨ１及びφＨ２により出力部１０４に転送する。出力部１０４は、水平電荷転送路１０３から転送された信号電荷を電圧に変換して出力する。 The signal charges that have been exposed and photoelectrically converted by the photodiodes 101 that are a plurality of pixels arranged in two dimensions are sent to the vertical charge transfer path 102 by a readout pulse. The signal charges sent to the vertical charge transfer path 102 are sequentially transferred in the direction of the horizontal charge transfer path 103 by drive pulses φV1, φV2, φV3, φV4, φBS, and φTS. The horizontal charge transfer path 103 transfers the signal charges for one row transferred from the vertical charge transfer path 102 to the output unit 104 by two-phase drive pulses φH1 and φH2. The output unit 104 converts the signal charge transferred from the horizontal charge transfer path 103 into a voltage and outputs the voltage.

図２は、図１に示す固体撮像素子で使用される色フィルタアレイの一部を示す図である。
図２では、第１の色フィルタを赤（Ｒ）、第２の色フィルタを緑（Ｇ）、第３の色フィルタを緑（Ｇ）、第４の色フィルタを青（Ｂ）とした場合を例に挙げて示している。この色フィルタアレイの配列は、原色の色フィルタ配列のうち、ベイヤ配列と呼ばれるものである。ベイヤ配列は、高い解像度と優れた色再現性とを備えた色フィルタ配列である。 FIG. 2 is a diagram showing a part of a color filter array used in the solid-state imaging device shown in FIG.
In FIG. 2, the first color filter is red (R), the second color filter is green (G), the third color filter is green (G), and the fourth color filter is blue (B). Is shown as an example. This array of color filter arrays is called a Bayer array among the primary color filter arrays. The Bayer array is a color filter array having high resolution and excellent color reproducibility.

図３は、撮像素子を用いた撮像装置のシステムの概要の一例を示す図である。
図３において、３０１はレンズ部（レンズと表記）である。３０２はレンズ駆動部である。３０３はメカニカルシャッタ（メカシャッタと表記）である。３０４はメカニカルシャッタ・絞り駆動部（シャッタ・絞り駆動部と表記）である。３０５は絞りである。３０６は、図１に示す構成を有する撮像素子である。３０７は、相関２重サンプリング、ゲイン調整、及びＡ／Ｄ変換を行う回路（ＣＤＳ・Ａ／Ｄと表記）である。３０８は撮像信号処理回路である。３０９はタイミング発生部である。３１０はメモリ部（メモリ部Ｉと表記）である。３１１は全体制御演算部である。３１２は記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部と表記）である。３１３は表示部である。３１４は記録媒体である。３１５は外部インターフェース部（外部Ｉ／Ｆ部と表記）である。３１６はメモリ（メモリ部IIと表記）である。３１７は操作部である。３１８は温度センサである。 FIG. 3 is a diagram illustrating an example of an outline of a system of an imaging apparatus using an imaging element.
In FIG. 3, reference numeral 301 denotes a lens portion (denoted as a lens). Reference numeral 302 denotes a lens driving unit. Reference numeral 303 denotes a mechanical shutter (denoted as mechanical shutter). Reference numeral 304 denotes a mechanical shutter / aperture driving unit (denoted as a shutter / aperture driving unit). Reference numeral 305 denotes an aperture. Reference numeral 306 denotes an image sensor having the configuration shown in FIG. Reference numeral 307 denotes a circuit (denoted as CDS · A / D) that performs correlated double sampling, gain adjustment, and A / D conversion. Reference numeral 308 denotes an imaging signal processing circuit. Reference numeral 309 denotes a timing generator. Reference numeral 310 denotes a memory unit (denoted as memory unit I). Reference numeral 311 denotes an overall control calculation unit. Reference numeral 312 denotes a recording medium control interface unit (denoted as a recording medium control I / F unit). Reference numeral 313 denotes a display unit. Reference numeral 314 denotes a recording medium. Reference numeral 315 denotes an external interface unit (denoted as an external I / F unit). Reference numeral 316 denotes a memory (denoted as memory unit II). Reference numeral 317 denotes an operation unit. Reference numeral 318 denotes a temperature sensor.

レンズ部３０１を通った被写体像は、絞り３０５にて適切な光量に調整され、撮像素子３０６に結像される。ＣＤＳ・Ａ／Ｄ３０７は、撮像素子３０６に結合した被写体像に対して、相関２重サンプリングと、ゲイン調整と、アナログ信号からデジタル信号への変換を行うＡ／Ｄ変換とが行い、Ｒ、Ｇ１、Ｇ２、Ｂの信号として、撮像信号処理回路３０８に送る。撮像信号処理回路３０８は、各種の画像信号処理、さらに各種の補正、画像データの圧縮等を行う。 The subject image that has passed through the lens unit 301 is adjusted to an appropriate amount of light by the diaphragm 305 and formed on the image sensor 306. The CDS / A / D 307 performs correlated double sampling, gain adjustment, and A / D conversion for converting an analog signal into a digital signal on the subject image coupled to the image sensor 306, and R, G1 , G2, and B signals are sent to the imaging signal processing circuit 308. The imaging signal processing circuit 308 performs various image signal processing, various corrections, image data compression, and the like.

レンズ駆動部３０２は、ズーム、フォーカス等の駆動制御をレンズ部３０１に対して行う。メカシャッタ３０３は、一眼レフカメラに使用されるフォーカルプレーン型のシャッタの後幕に相当する幕のみを有するシャッタ機構である。これらのメカシャッタ３０３、絞り３０５の駆動は、シャッタ・絞り駆動部３０４によって制御される。タイミング発生部３０９は、撮像素子３０６、撮像信号処理回路３０８に、各種タイミング信号を出力する。 The lens driving unit 302 performs driving control such as zooming and focusing on the lens unit 301. The mechanical shutter 303 is a shutter mechanism having only a curtain corresponding to the rear curtain of a focal plane type shutter used in a single-lens reflex camera. The driving of the mechanical shutter 303 and the diaphragm 305 is controlled by a shutter / diaphragm driving unit 304. The timing generator 309 outputs various timing signals to the image sensor 306 and the image signal processing circuit 308.

全体制御演算部３１１は、撮像装置全体の制御と各種演算を行う。メモリ部３１０は、画像データを一時的に記憶する。記録媒体制御インターフェース部３１２は、記録媒体３１４との間で、画像データ等のデータの記録及び読み出しを行う。表示部３１３は、画像データ等のデータの表示を行う。記録媒体３１４は、半導体メモリ等の着脱可能な記録媒体であり、画像データ等のデータの記録を行う。外部インターフェース部３１５は、外部コンピュータ等と通信を行うために為のインターフェースである。 The overall control calculation unit 311 controls the entire imaging apparatus and performs various calculations. The memory unit 310 temporarily stores image data. The recording medium control interface unit 312 records and reads data such as image data with the recording medium 314. The display unit 313 displays data such as image data. The recording medium 314 is a detachable recording medium such as a semiconductor memory, and records data such as image data. The external interface unit 315 is an interface for communicating with an external computer or the like.

メモリ部３１６は、全体制御演算部３１１で行われた演算の結果等を記憶する。操作部３１７にてユーザが設定した撮像装置の駆動条件に関する情報は、全体制御演算部３１１に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。温度センサ３１８は撮像素子３０６の近くに取り付けられ、撮像素子３０６の表面温度を検出する。
尚、フォーカス、絞り値、露出時間を決める露出制御は、撮像装置に搭載された、シャッタスイッチ（図示せず）のＯＮをトリガーとして行われる。シャッタスイッチは、２段階にＯＮ、ＯＦＦを行うことができ、１段目のシャッタスイッチをＳＷ１、２段目のシャッタスイッチをＳＷ２とする。 The memory unit 316 stores the results of calculations performed by the overall control calculation unit 311 and the like. Information relating to the driving conditions of the imaging device set by the user via the operation unit 317 is sent to the overall control calculation unit 311, and the overall imaging device is controlled based on these pieces of information. The temperature sensor 318 is attached near the image sensor 306 and detects the surface temperature of the image sensor 306.
Note that the exposure control for determining the focus, aperture value, and exposure time is performed by using a shutter switch (not shown) mounted in the imaging apparatus as a trigger. The shutter switch can be turned on and off in two stages. The first shutter switch is SW1, and the second shutter switch is SW2.

次に、図４のフローチャートを参照しながら、本実施形態の撮像装置の撮像シーケンスの一例を説明する。ここでは、動画記録モードでの撮像装置の動作の一例を示す。
まず、ステップＳ４０１において、全体制御演算部３１１は、フラグや制御変数等を初期化し、撮像信号処理回路３０８の各部において必要な所定の初期設定を行う。このときの駆動モード（動画記録モード）は、駆動モードＡ（第１の動画記録モード）である。
次に、ステップＳ４０２において、全体制御演算部３１１は、シャッタスイッチＳＷ１がＯＮ及びＯＦＦの何れであるかを判定する。この判定の結果、シャッタスイッチＳＷ１がＯＦＦであるならば、再びステップＳ４０２に戻る。一方、シャッタスイッチＳＷ１がＯＮであるならば、ステップＳ４０３に進む。 Next, an example of an imaging sequence of the imaging apparatus of the present embodiment will be described with reference to the flowchart of FIG. Here, an example of the operation of the imaging apparatus in the moving image recording mode is shown.
First, in step S401, the overall control calculation unit 311 initializes flags, control variables, and the like, and performs predetermined initial settings necessary for each unit of the imaging signal processing circuit 308. The driving mode (moving image recording mode) at this time is driving mode A (first moving image recording mode).
Next, in step S402, the overall control calculation unit 311 determines whether the shutter switch SW1 is ON or OFF. If the result of this determination is that the shutter switch SW1 is OFF, processing returns to step S402 again. On the other hand, if the shutter switch SW1 is ON, the process proceeds to step S403.

ステップＳ４０３に進むと、全体制御演算部３１１は、測距処理を行うことにより、レンズ駆動部３０２を制御して、レンズ部３０１のレンズの焦点を被写体に合わせる。また、全体制御演算部３１１は、絞り値及びシャッタ時間を決定するために測光処理を行い、全体制御演算部３１１の内部メモリであるメモリ部３１６に、測光データ或いは設定パラメータを記憶する。
次に、ステップＳ４０４において、全体制御演算部３１１は、メモリ部３１６に記憶した測光データ或いは設定パラメータと、撮像装置に設定されている撮影モードとに基づいて、絞り値（Ａｖ値）及びシャッタ速度（Ｔｖ値）を決定する。そして、全体制御演算部３１１は、そのシャッタ速度に応じて、電荷の蓄積時間を決定し、決定した蓄積時間を、全体制御演算部３１１の内部メモリであるメモリ部３１６に記憶する。 In step S403, the overall control calculation unit 311 performs a distance measurement process to control the lens driving unit 302 to focus the lens of the lens unit 301 on the subject. The overall control calculation unit 311 performs photometry processing to determine the aperture value and the shutter time, and stores photometry data or setting parameters in the memory unit 316 that is an internal memory of the overall control calculation unit 311.
Next, in step S404, the overall control calculation unit 311 determines the aperture value (Av value) and the shutter speed based on the photometric data or setting parameters stored in the memory unit 316 and the shooting mode set in the imaging device. (Tv value) is determined. The overall control calculation unit 311 determines the charge accumulation time according to the shutter speed, and stores the determined accumulation time in the memory unit 316 that is an internal memory of the overall control calculation unit 311.

次に、ステップＳ４０５において、全体制御演算部３１１は、シャッタスイッチＳＷ２がＯＮ及びＯＦＦの何れであるかを判定する。この判定の結果、シャッタスイッチＳＷ２がＯＦＦであるならば、再びステップＳ４０２に戻る。一方、シャッタスイッチＳＷ２がＯＮであるならば、ステップＳ４０７に進む。
ステップＳ４０７に進むと、全体制御演算部３１１は、タイミング発生部３０９に対して、撮像素子３０６に蓄積した信号電荷の読み出しを指示する。撮影に対応する所定時間蓄積した信号電荷（撮像信号）は、撮像素子３０６から読み出され、ＣＤＳ・Ａ／Ｄ３０７を経て、撮像信号処理回路３０８に送られる。 Next, in step S405, the overall control calculation unit 311 determines whether the shutter switch SW2 is ON or OFF. If the result of this determination is that the shutter switch SW2 is OFF, processing returns to step S402 again. On the other hand, if the shutter switch SW2 is ON, the process proceeds to step S407.
In step S407, the overall control calculation unit 311 instructs the timing generation unit 309 to read out the signal charges accumulated in the image sensor 306. A signal charge (imaging signal) accumulated for a predetermined time corresponding to shooting is read from the imaging element 306 and sent to the imaging signal processing circuit 308 via the CDS / A / D 307.

次に、ステップＳ４０８において、撮像信号処理回路３０８及び全体制御演算部３１１は、本撮影画像に対して、信号処理を行う。信号処理には、ダークノイズ補正処理、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理、及びスミア補正処理が含まれる。スミア補正は、駆動モードＡ（第１の動画記録モード）にて撮像素子３０６を駆動しているときに行われる。一方、駆動モードＢ（第２の動画記録モード）にて撮像素子３０６を駆動しているときにはスミア補正は行われない。 Next, in step S408, the imaging signal processing circuit 308 and the overall control calculation unit 311 perform signal processing on the actual captured image. The signal processing includes dark noise correction processing, shading correction processing, point scratch correction processing, white balance integration calculation processing, optical black integration calculation processing, and smear correction processing. The smear correction is performed when the image sensor 306 is driven in the driving mode A (first moving image recording mode). On the other hand, smear correction is not performed when the image sensor 306 is driven in the drive mode B (second moving image recording mode).

ここで、スミア補正の方法の一例を、図５を用いて説明する。図５は、本撮影画像の領域の一例を示す図である。
図５において、５０１は画像信号領域である。５０２はＯＢ（オプティカルブラック）信号領域である。５０３はスミア量検出領域である。基本的に、撮像素子３０６の駆動方法から、画像信号領域５０１上であろうとＯＢ信号領域５０２上であろうと、スミアの発生量は、垂直方向の位置によらず同じになる。そこで、図５に示すように、画面下部のＯＢ信号領域５０２に、例えば１０ライン（１０行）のスミア量検出領域５０３を設ける。上からＮ番目のスミア検出ラインの水平方向のｊ番目データ出力をｌ^N _jとすると、水平方向のｊ列目のスミア量ｓ_Mｊは以下の（１）式のように表される。 Here, an example of the smear correction method will be described with reference to FIG. FIG. 5 is a diagram illustrating an example of the region of the actual captured image.
In FIG. 5, reference numeral 501 denotes an image signal area. Reference numeral 502 denotes an OB (optical black) signal area. Reference numeral 503 denotes a smear amount detection region. Basically, the amount of smear generated is the same regardless of the position in the vertical direction, regardless of whether it is on the image signal area 501 or the OB signal area 502, depending on the driving method of the image sensor 306. Therefore, as shown in FIG. 5, a smear amount detection area 503 of, for example, 10 lines (10 rows) is provided in the OB signal area 502 at the bottom of the screen. If the jth data output in the horizontal direction of the Nth smear detection line from the top is l ^N _j , the smear amount s _M j in the jth column in the horizontal direction is expressed by the following equation (1).

ｓ_Mｊ＝1/10・（Σ_j=1〜₁₀ｌ^N _j）・・・（１）
このとき、スミア補正された信号ｓ（i,j）は元の信号ｓ₀（i,j）から以下の（２）式ように求められる。
ｓ（i,j）＝ｓ₀（i,j）−ｓ_Mｊ・・・（２） s _M j = 1/10 · (Σ _{j = 1} to ₁₀ l ^N _j ) (1)
At this time, the smear-corrected signal s (i, j) is obtained from the original signal s ₀ (i, j) as shown in the following equation (2).
s (i, j) = s ₀ (i, j) −s _M j (2)

全体制御演算部３１１は、以上のような演算の結果を、全体制御演算部３１１の内部メモリであるメモリ部３１６に格納する。各種処理が行われた画像データは、メモリ部３１０に書き込まれる。ステップＳ４０８で行われるダークノイズ補正処理については後ほど詳述する。 The overall control calculation unit 311 stores the result of the above calculation in a memory unit 316 that is an internal memory of the overall control calculation unit 311. The image data that has been subjected to various processes is written into the memory unit 310. The dark noise correction process performed in step S408 will be described in detail later.

さらに、ステップＳ４０９において、全体制御演算部３１１は、メモリ部３１０に書き込まれた画像信号を読み出して、圧縮・伸張処理を行いメモリ部３１０に格納する。
次に、ステップＳ４１０において、全体制御演算部３１１は、メモリ部３１０に書き込まれた画像信号を読み出して、記録媒体３１４への書き込みを行う記録処理を開始する。そして、ステップＳ４１１において、全体制御演算部３１１は、記録処理を終了するか否かを判定する。この判定の結果、記録処理を終了する場合には、図４のフローチャートによる処理を終了する。 In step S409, the overall control calculation unit 311 reads the image signal written in the memory unit 310, performs compression / decompression processing, and stores the image signal in the memory unit 310.
Next, in step S <b> 410, the overall control calculation unit 311 reads the image signal written in the memory unit 310 and starts a recording process for writing to the recording medium 314. In step S411, the overall control calculation unit 311 determines whether to end the recording process. If the recording process is terminated as a result of this determination, the process according to the flowchart of FIG. 4 is terminated.

一方、記録処理を終了しない場合には、ステップＳ４１２に進む。ステップＳ４１２に進むと、全体制御演算部３１１は、温度センサ３１８から、撮像素子３０６の温度情報を入手する。
次に、ステップＳ４１３において、全体制御演算部３１１は、ステップＳ４１２で入手した撮像素子３０６の温度Ｔが、全体制御演算部３１１の内部メモリであるメモリ部３１６から読み出した閾値Ｔ_Thを超えているか否かを判定する。この判定の結果、撮像素子３０６の温度Ｔが、閾値Ｔ_Thを超えていれば、ステップＳ４１４へ進む。一方、撮像素子３０６の温度Ｔが、閾値Ｔ_Thを超えていなければ、ステップＳ４１５に進む。 On the other hand, if the recording process is not terminated, the process proceeds to step S412. In step S 412, the overall control calculation unit 311 obtains temperature information of the image sensor 306 from the temperature sensor 318.
Next, in step S413, the overall control calculation unit 311 determines whether the temperature T of the image sensor 306 obtained in step S412 exceeds the threshold value T _Th read from the memory unit 316 that is an internal memory of the overall control calculation unit 311. Determine whether or not. As a result of this determination, if the temperature T of the image sensor 306 exceeds the threshold T _Th , the process proceeds to step S414. On the other hand, if the temperature T of the image sensor 306 does not exceed the threshold value T _Th , the process proceeds to step S415.

ステップＳ４１４に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＢであればそのままの駆動モードとし、現状の駆動モードが駆動モードＡであれば駆動モードＢへと駆動モードを切り替える。一方、ステップＳ４１５に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＡであればそのままの駆動モードとし、現状の駆動モードが駆動モードＢであれば駆動モードＡへと駆動モードを切り替える。以上のようにステップＳ４１４、４１５にて駆動モードを切り換えた後、ステップＳ４０６へ進む。
ステップＳ４０６に進むと、全体制御演算部３１１は、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）を決定する。これらは、直前のステップＳ４０６〜Ｓ４１５の処理中に、操作部３１７のユーザによる操作により変更された撮像システムの設定パラメータや撮影モードと、直前のステップＳ４０７で撮影された本撮影画像とを元に決定される。そして、全体制御演算部３１１は、そのシャッタ速度に応じて、電荷の蓄積時間を決定し、決定した蓄積時間を、全体制御演算部３１１の内部メモリであるメモリ部３１６に記憶する。そして、前述したステップＳ４０７へ進む。 In step S414, the overall control calculation unit 311 switches to the driving mode as it is when the current driving mode is the driving mode B, and switches to the driving mode B when the current driving mode is the driving mode A. . On the other hand, when the process proceeds to step S415, the overall control calculation unit 311 sets the drive mode as it is if the current drive mode is the drive mode A, and switches to the drive mode A if the current drive mode is the drive mode B. Switch. As described above, after the drive mode is switched in steps S414 and 415, the process proceeds to step S406.
In step S406, the overall control calculation unit 311 determines an aperture value (Av value) and a shutter speed (Tv value). These are based on the setting parameters and shooting mode of the imaging system changed by the user operation of the operation unit 317 during the processing of the previous steps S406 to S415, and the actual captured image captured in the previous step S407. It is determined. The overall control calculation unit 311 determines the charge accumulation time according to the shutter speed, and stores the determined accumulation time in the memory unit 316 that is an internal memory of the overall control calculation unit 311. Then, the process proceeds to step S407 described above.

図６は、駆動モードＡにおける撮像素子３０６の垂直転送駆動タイミングの一例を示すタイミングチャートである。また、図７は、駆動モードＢにおける撮像素子３０６の垂直転送駆動タイミングの一例を示すタイミングチャートである。
図６及び図７では、上からＶＤ、ＨＤ、Ｖ系駆動パルス、出力信号を示している。６０１、７０１は読み出しパルスである。６０２、７０２はＯＢ信号出力である、６０３、７０３は信号出力である。６０４、７０４はダミー信号出力である。
図６に示すように、駆動モードＡでは、全てのフレームで読み出しパルス６０１を印加して、常に垂直電荷転送路１０２に、ＯＢ信号出力６０２や信号出力６０３を送り出す第１の撮像動作を行い、本撮影画像を得る。 FIG. 6 is a timing chart showing an example of the vertical transfer drive timing of the image sensor 306 in the drive mode A. FIG. 7 is a timing chart showing an example of the vertical transfer drive timing of the image sensor 306 in the drive mode B.
6 and 7 show VD, HD, V-system drive pulses, and output signals from the top. Reference numerals 601 and 701 denote read pulses. Reference numerals 602 and 702 denote OB signal outputs, and reference numerals 603 and 703 denote signal outputs. Reference numerals 604 and 704 denote dummy signal outputs.
As shown in FIG. 6, in the driving mode A, a first imaging operation is performed in which a read pulse 601 is applied in all frames and an OB signal output 602 and a signal output 603 are always sent to the vertical charge transfer path 102. Get a real shot image.

一方、図７に示す駆動モードＢでは、まず、読み出しパルス７０１により、垂直電荷転送路１０２に、ＯＢ信号出力７０２や信号出力７０３を１フレーム分送り出す第１の撮像動作を行う。その後、フォトダイオード１０１から信号出力を読み出さずに、１フレーム分又は複数フレーム分、垂直電荷転送路１０２を空転送してダミー信号７０４のみを送り出す第２の撮像動作を行う。つまり、駆動モードＢでは、本撮影画像の後に常にダミー画像を読み出している。 On the other hand, in the driving mode B shown in FIG. 7, first, a first imaging operation is performed in which the OB signal output 702 and the signal output 703 are sent to the vertical charge transfer path 102 by one frame by the read pulse 701. Thereafter, a second imaging operation is performed in which only the dummy signal 704 is transmitted by idle transfer of the vertical charge transfer path 102 for one frame or a plurality of frames without reading the signal output from the photodiode 101. That is, in the drive mode B, a dummy image is always read after the actual captured image.

図８のフローチャートを参照しながら、図４のステップＳ４０８で行われるダークノイズ補正処理の一例について説明する。
まず、ステップＳ８０１において、全体制御演算部３１１は、現在の駆動モードに関する情報を、全体制御演算部３１１の内部メモリであるメモリ部３１６から読み出す。そして、全体制御演算部３１１は、現在の駆動モードが駆動モードＡ、Ｂの何れであるかを判定する。 An example of the dark noise correction process performed in step S408 of FIG. 4 will be described with reference to the flowchart of FIG.
First, in step S <b> 801, the overall control calculation unit 311 reads information on the current drive mode from the memory unit 316 that is an internal memory of the overall control calculation unit 311. Then, the overall control calculation unit 311 determines whether the current drive mode is the drive mode A or B.

この判定の結果、現在の駆動モードが駆動モードＡであれば、図８のフローチャートによる処理を終了する。一方、現在の駆動モードが駆動モードＢであれば、ステップＳ８０２に進む。ステップＳ８０２に進むと、全体制御演算部３１１は、１フレーム分又は複数フレーム分のダミー信号を読み出す。そして、全体制御演算部３１１は、読み出したダミー信号が１フレーム分のダミー信号である場合には、そのフレームからダミー画像を生成する。一方、読み出したダミー信号が複数フレームにわたるダミー信号である場合には、全体制御演算部３１１は、それら複数のフレーム（の出力レベル）を加算平均したダミー画像を生成する。さらに、全体制御演算部３１１は、メモリ部３１０から、その前のフレームで生成された黒引き画像を読み出し、この黒引き画像とダミー画像とを一定の割合で加算し、黒引き画像を生成する。そして、ステップＳ８０３において、撮像信号処理回路３０８は、この黒引き画像を用いて、本撮影画像のノイズ成分を除去するダークノイズ補正処理を行う。 If the result of this determination is that the current drive mode is drive mode A, the processing according to the flowchart of FIG. On the other hand, if the current drive mode is drive mode B, the process proceeds to step S802. In step S802, the overall control calculation unit 311 reads dummy signals for one frame or a plurality of frames. When the read dummy signal is a dummy signal for one frame, the overall control calculation unit 311 generates a dummy image from the frame. On the other hand, when the read dummy signal is a dummy signal over a plurality of frames, the overall control calculation unit 311 generates a dummy image obtained by averaging the plurality of frames (output levels thereof). Further, the overall control calculation unit 311 reads the blacked image generated in the previous frame from the memory unit 310, adds the blacked image and the dummy image at a certain ratio, and generates a blackened image. . In step S <b> 803, the imaging signal processing circuit 308 performs dark noise correction processing for removing noise components of the main captured image using the black image.

図９は、駆動モードＢで撮像素子３０６を駆動させる際に、撮像素子３０６から読み出される本撮影フレーム、ダミー信号フレームを、それらが読み出される順に時系列的に並べて示す図である。図９（ａ）は、本撮影フレームと、ダミー信号フレームとを１フレームずつ交互に読み出す場合を示す。図９（ｂ）は、本撮影フレームの１フレームに対し、ダミー信号フレームを複数フレーム読み出す場合を示す。 FIG. 9 is a diagram showing the main photographing frame and the dummy signal frame read out from the image pickup device 306 when driving the image pickup device 306 in the drive mode B, arranged in time series in the order in which they are read out. FIG. 9A shows a case where the main photographing frame and the dummy signal frame are alternately read out frame by frame. FIG. 9B shows a case where a plurality of dummy signal frames are read out for one frame of the main photographing frame.

図９に示すように、交互に出力される「本撮影画像、ダミー画像」のｎ番目の画像（の出力レベル）をそれぞれ「Ｓ_n、Ｄ_n」とする。本撮影フレームの１フレームに対しダミー信号フレームを複数フレーム読み出す場合には、それら複数読み出されたダミー信号フレーム（の出力レベル）を加算したものをダミー画像Ｄ_nとする。図９（ｂ）に示す例では、Ｄ_n＝ｄ_nA＋ｄ_nB＋ｄ_nCとなる。このとき、メモリ部３１０に格納されている黒引き画像をＢ_n-1とすると、本撮影画像Ｓ_nのダークノイズ補正処理に用いられる黒引き画像Ｂ_nは以下の（３）式で表される。 As shown in FIG. 9, the nth images (the output levels) of the “main photographed image and dummy image” that are alternately output are “S _n , D _n ”, respectively. When reading a plurality of frames dummy signal frame for one frame of the captured frame is a material obtained by adding a plurality read dummy signal frames (output level) and dummy image D _n. In the example shown in FIG. 9B, D _n = d _nA + d _nB + d _nC . At this time, when the black subtraction image stored in the memory unit 310 as B _n-1, black subtraction image B _n used for dark noise correction processing captured image S _n is represented by the following formula (3) The

Ｂ_n＝Ｋ・Ｄ_n＋（１−Ｋ）・Ｂ_n-1 （０．５＜Ｋ＜１）・・・（３）
（３）式において、Ｋは重み係数である。（３）式に示すように、全体制御演算部３１１は、以前のフレームで使用された黒引き画像Ｂ_n-1よりも、直前に複数のダミー画素Ｄ_nから算出されたダミー画像Ｄ_nの重みが大きくなるように、黒引き画像Ｂ_nを算出する。
本撮影画像Ｓ_nに対してダークノイズ補正処理が施された後の画像をＳ_n'とすると、以下の（４）式が成立する。
Ｓ_n'＝Ｓ_n−Ｂ_n＋α （αは、オフセット成分）・・・（４） _{_{B n = K · D n +}} (1-K) · B n-1 (0.5 <K <1) ··· (3)
In equation (3), K is a weighting factor. As shown in the equation (3), the overall control calculation unit 311 uses the dummy image D _n calculated from the plurality of dummy pixels D _n immediately before the blackened image B _n−1 used in the previous frame. The black image B _n is calculated so that the weight is increased.
When an image after dark noise correction processing is performed on the main photographed image S _n is S _n ′, the following equation (4) is established.
S _n ′ = S _n −B _n + α (α is an offset component) (4)

尚、本実施形態では、スミア補正処理を本撮影画像に対してのみ行っているが、ダミー画像にもスミア補正処理を行うことも可能である。このようにする場合、ダークノイズ補正処理を行う前にスミア補正処理を行う必要がある。 In the present embodiment, the smear correction process is performed only on the actual captured image. However, the smear correction process can also be performed on the dummy image. In this case, it is necessary to perform smear correction processing before performing dark noise correction processing.

以上のように本実施形態では、全てのフレームで画像信号（本撮影画像）を得る駆動モードＡと、本撮影画像を得た後の１又は複数フレームでは信号を空転送してダミー信号を得る駆動モードＢを、撮像素子３０６での動画像の撮像時の駆動モードとして選択する。そして、撮像素子３０６における動画記録駆動を行うに際し、撮像素子３０６の温度に依存して発生するノイズ成分に対して、当該ノイズ成分が目立つ温度では駆動モードＢで撮像素子３０６を駆動してダークノイズ補正処理を行う。一方、ノイズ成分が目立たない温度では駆動モードＡで撮像素子３０６を駆動してダークノイズ補正を行わない。したがって、撮像装置の動作環境に応じて発生するノイズを補正することができ、優れた画質の動画像を得ることができる。 As described above, in the present embodiment, the drive mode A for obtaining an image signal (main photographed image) in all frames and the dummy signal is obtained by empty transfer of the signal in one or a plurality of frames after obtaining the main photographed image. The drive mode B is selected as the drive mode at the time of capturing a moving image with the image sensor 306. When a moving image recording drive is performed in the image pickup device 306, the noise component generated depending on the temperature of the image pickup device 306 is driven at the temperature where the noise component is conspicuous, and the image pickup device 306 is driven in the driving mode B to dark noise. Perform correction processing. On the other hand, the dark noise correction is not performed by driving the image sensor 306 in the driving mode A at a temperature where the noise component is not conspicuous. Therefore, noise generated according to the operating environment of the imaging apparatus can be corrected, and a moving image with excellent image quality can be obtained.

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。第１の実施形態では、撮像素子３０６の温度Ｔが閾値Ｔ_Thを超えている場合に駆動モードＢで撮像素子３０６を駆動し、そうでない場合に駆動モードＡで撮像素子３０６を駆動するようにした。これに対し、本実施形態では、ＩＳＯ感度としてのゲイン設定値が閾値を超えている場合に駆動モードＢで撮像素子３０６を駆動し、そうでない場合に駆動モードＡで撮像素子３０６を駆動する。このように本実施形態と第１の実施形態とでは、駆動モードを切り替える判断基準が主として異なる。よって、本実施形態の説明において、第１の実施形態と同一の部分については図１〜図１０に付した符号と同一の符号を付す等して詳細な説明を省略する。例えば、本実施形態における固体撮像素子の構成、撮像素子を用いた撮像装置のシステムの概要は、図１〜図３に示したものと同じである。また、使用する駆動モード、ダークノイズ補正処理についても、図６〜図９に示したものと同じである。更に、スミア補正処理についても第１の実施形態で説明したものと同じである。よって、これらの詳細な説明を省略する。 (Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described. In the first embodiment, the image sensor 306 is driven in the drive mode B when the temperature T of the image sensor 306 exceeds the threshold value T _Th , and the image sensor 306 is driven in the drive mode A otherwise. did. On the other hand, in the present embodiment, the image sensor 306 is driven in the drive mode B when the gain setting value as the ISO sensitivity exceeds the threshold value, and the image sensor 306 is driven in the drive mode A otherwise. Thus, the present embodiment and the first embodiment mainly differ in the determination criteria for switching the drive mode. Therefore, in the description of the present embodiment, the same parts as those in the first embodiment are denoted by the same reference numerals as those in FIGS. For example, the configuration of the solid-state imaging device and the outline of the system of the imaging device using the imaging device in the present embodiment are the same as those shown in FIGS. Also, the drive mode and dark noise correction processing to be used are the same as those shown in FIGS. Further, the smear correction process is the same as that described in the first embodiment. Therefore, detailed description thereof will be omitted.

図１０のフローチャートを参照しながら、本実施形態の撮像装置の撮像シーケンスの一例を説明する。ここでは、動画記録モードでの撮像装置の動作の一例を示す。
図１０のステップＳ１００１〜Ｓ１００５、Ｓ１００７〜Ｓ１０１１は、図４のステップＳ４０１〜Ｓ４０５、Ｓ４０７〜Ｓ４１１と同じである。
すなわち、ステップＳ１００１において、全体制御演算部３１１は、初期設定を行う。このときの駆動モードは駆動モードＡである。次に、全体制御演算部３１１は、ステップＳ１００２において、シャッタスイッチＳＷ１がＯＮであると判定すると、ステップＳ１００３において、測距処理と測光処理を行い、ステップＳ１００４において、電荷の蓄積時間を決定する。 An example of an imaging sequence of the imaging apparatus of the present embodiment will be described with reference to the flowchart of FIG. Here, an example of the operation of the imaging apparatus in the moving image recording mode is shown.
Steps S1001 to S1005 and S1007 to S1011 in FIG. 10 are the same as steps S401 to S405 and S407 to S411 in FIG.
That is, in step S1001, the overall control calculation unit 311 performs initial setting. The drive mode at this time is drive mode A. Next, when it is determined in step S1002 that the shutter switch SW1 is ON, the overall control calculation unit 311 performs distance measurement processing and photometry processing in step S1003, and determines charge accumulation time in step S1004.

次に、全体制御演算部３１１は、ステップＳ１００５において、シャッタスイッチＳＷ２がＯＮであると判定すると、ステップＳ１００７において、撮像素子３０６に蓄積した信号電荷の読み出しを指示する。これにより、撮像素子３０６に所定時間蓄積した信号電荷（撮像信号）が撮像信号処理回路３０８に送られる。次に、ステップＳ１００８において、撮像信号処理回路３０８及び全体制御演算部３１１は、本撮影画像に対して、信号処理を行う。第１の実施形態と同様に、信号処理には、ダークノイズ補正処理、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理、及びスミア補正処理が含まれる。スミア補正の方法は第１の実施形態で説明したのと同じである。 Next, when the overall control calculation unit 311 determines in step S1005 that the shutter switch SW2 is ON, in step S1007, the overall control calculation unit 311 instructs reading of the signal charges accumulated in the image sensor 306. As a result, the signal charge (imaging signal) accumulated in the imaging element 306 for a predetermined time is sent to the imaging signal processing circuit 308. Next, in step S1008, the imaging signal processing circuit 308 and the overall control calculation unit 311 perform signal processing on the actual captured image. As in the first embodiment, the signal processing includes dark noise correction processing, shading correction processing, point flaw correction processing, white balance integration calculation processing, optical black integration calculation processing, and smear correction processing. The smear correction method is the same as that described in the first embodiment.

次に、全体制御演算部３１１は、ステップＳ１００９において、信号処理が行われた画像信号に対して圧縮・伸張処理を行い、ステップＳ１０１０において、圧縮・伸張処理を行った画像信号の記録媒体３１４への書き込みを行う記録処理を開始する。
そして、ステップＳ１０１１において、全体制御演算部３１１は、記録処理を終了するか否かを判定する。この判定の結果、記録処理を終了する場合には、図１０のフローチャートによる処理を終了する。 In step S1009, the overall control calculation unit 311 performs compression / decompression processing on the image signal that has been subjected to signal processing. In step S1010, the overall control calculation unit 311 applies the compressed / decompressed image signal to the recording medium 314. The recording process for writing is started.
In step S1011, the overall control calculation unit 311 determines whether to end the recording process. If the recording process is terminated as a result of this determination, the process according to the flowchart of FIG. 10 is terminated.

一方、記録処理を終了しない場合には、ステップＳ１０１２に進む。ステップＳ１０１２に進むと、全体制御演算部３１１は、全体制御演算部３１１の内部メモリであるメモリ部３１６に格納されているゲイン設定値Ｇが、同じくメモリ部３１６に格納されている閾値Ｇ_Thを超えているか否かを判定する。この判定の結果、ゲイン設定値Ｇが閾値Ｇ_Thを超えていれば、ステップＳ１０１３へ進む。一方、ゲイン設定値Ｇが閾値Ｇ_Thを超えていなければ、ステップＳ１０１４に進む。 On the other hand, if the recording process is not terminated, the process proceeds to step S1012. In step S1012, the overall control calculation unit 311 determines that the gain setting value G stored in the memory unit 316 that is the internal memory of the overall control calculation unit 311 is set to the threshold value G _Th that is also stored in the memory unit 316. Determine if it has exceeded. If the gain setting value G exceeds the threshold value G _Th as a result of this determination, the process proceeds to step S1013. On the other hand, if the gain setting value G does not exceed the threshold value G _Th , the process proceeds to step S1014.

ステップＳ１０１３に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＢであればそのままの駆動モードとし、現状の駆動モードが駆動モードＡであれば駆動モードＢへと駆動モードを切り替える。一方、ステップＳ１０１４に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＡであればそのままの駆動モードとし、現状の駆動モードが駆動モードＢであれば駆動モードＡへと駆動モードを切り替える。以上のようにステップＳ１０１３、１０１４にて駆動モードを切り換えた後、ステップＳ１００６へ進む。
ステップＳ１００６に進むと、全体制御演算部３１１は、図４のステップＳ４０６と同様にして、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）を決定する。そして、全体制御演算部３１１は、そのシャッタ速度に応じて、電荷の蓄積時間を決定し、決定した蓄積時間を、全体制御演算部３１１の内部メモリであるメモリ部３１６に記憶する。そして、前述したステップＳ１００７へ進む。 In step S1013, the overall control calculation unit 311 switches the drive mode to the drive mode B if the current drive mode is the drive mode B, and switches to the drive mode B if the current drive mode is the drive mode A. . On the other hand, in step S1014, the overall control calculation unit 311 sets the drive mode as it is if the current drive mode is drive mode A, and shifts to the drive mode A if the current drive mode is drive mode B. Switch. As described above, after the drive mode is switched in steps S1013 and 1014, the process proceeds to step S1006.
In step S1006, the overall control calculation unit 311 determines the aperture value (Av value) and shutter speed (Tv value) in the same manner as in step S406 in FIG. The overall control calculation unit 311 determines the charge accumulation time according to the shutter speed, and stores the determined accumulation time in the memory unit 316 that is an internal memory of the overall control calculation unit 311. Then, the process proceeds to step S1007 described above.

以上のように本実施形態では、撮像素子３０６における動画記録駆動を行うに際し、特にノイズ成分の目立つ高ゲイン設定時に、駆動モードＢで撮像素子３０６を駆動してダークノイズ補正処理を行う。一方、低ゲイン設定時には駆動モードＡで撮像素子３０６を駆動してダークノイズ補正を行わない。したがって、撮像装置の動作条件（動作設定）に応じて発生するノイズを補正することができ、高ゲイン設定時においても高い画質の動画像を得ることができる。また、撮像装置の消費電力の削減を実現することができる。 As described above, in the present embodiment, when moving image recording drive is performed in the image sensor 306, the dark noise correction process is performed by driving the image sensor 306 in the drive mode B, particularly when the high gain setting in which noise components are conspicuous. On the other hand, when the low gain is set, the image sensor 306 is driven in the drive mode A and dark noise correction is not performed. Therefore, it is possible to correct noise generated according to the operation condition (operation setting) of the imaging apparatus, and it is possible to obtain a high-quality moving image even when a high gain is set. In addition, the power consumption of the imaging apparatus can be reduced.

本実施形態では、カメラのＩＳＯ感度としてのゲイン設定値Ｇに応じて、駆動モードを切り換える場合を例に挙げて説明した。ゲイン設定値の代わりに、ガンマ設定に応じて駆動モードを切り換えるようにしてもよい。
図１１は、ガンマカーブ（ガンマ特性）の一例を示す図である。
図１１において、１１０１は、通常の明るさの被写体を撮影するモードにおいて画像処理の際に使用するガンマカーブである。一方、１１０２は、通常よりも暗い被写体を撮影するモードにおいて画像処理の際に使用するガンマカーブである。ガンマカーブ１１０２を使用する場合には、ガンマカーブ１１０１を使用する場合に比べ、画像処理時に付加されるゲインが大きくなるためノイズ特性が悪化する。そこでガンマカーブ１１０１を使用する場合には、駆動モードを駆動モードＡとし、ガンマカーブ１１０２を使用する場合には駆動モードを駆動モードＢとする。以上のように、ガンマ設定に応じて駆動モードを切り換えることで、相対的にノイズ特性が悪化するガンマカーブ１１０２を使用するような場合であっても、その後のダークノイズ補正処理を行うことで高い画質の動画像を実現することができる。このように、ガンマ値γが閾値を超えている場合には、駆動モードを駆動モードＢとし、そうでない場合には駆動モードを駆動モードＡとすることができる。 In this embodiment, the case where the drive mode is switched according to the gain setting value G as the ISO sensitivity of the camera has been described as an example. Instead of the gain setting value, the drive mode may be switched according to the gamma setting.
FIG. 11 is a diagram illustrating an example of a gamma curve (gamma characteristic).
In FIG. 11, reference numeral 1101 denotes a gamma curve used for image processing in a mode for photographing a subject with normal brightness. On the other hand, reference numeral 1102 denotes a gamma curve used for image processing in a mode for photographing a subject darker than usual. When the gamma curve 1102 is used, since the gain added at the time of image processing is larger than when the gamma curve 1101 is used, the noise characteristic is deteriorated. Therefore, when the gamma curve 1101 is used, the drive mode is the drive mode A, and when the gamma curve 1102 is used, the drive mode is the drive mode B. As described above, even when the gamma curve 1102 whose noise characteristics are relatively deteriorated by switching the drive mode according to the gamma setting is used, the dark noise correction process is performed later, which is high. A moving image with high image quality can be realized. As described above, when the gamma value γ exceeds the threshold value, the drive mode can be set to the drive mode B. Otherwise, the drive mode can be set to the drive mode A.

（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態では、撮像素子３０６の駆動周波数設定値ｆが閾値ｆ_Thを超えている場合に駆動モードＡで撮像素子３０６を駆動し、そうでない場合に駆動モードＢで撮像素子３０６を駆動する。このように本実施形態と、第１、第２の実施形態とでは、駆動モードを切り替える判断基準が主として異なる。よって、本実施形態の説明において、第１、第２の実施形態と同一の部分については図１〜図１２に付した符号と同一の符号を付す等して詳細な説明を省略する。 (Third embodiment)
Hereinafter, a third embodiment of the present invention will be described. In the present embodiment, when the drive frequency setting value f of the image sensor 306 exceeds the threshold f _Th , the image sensor 306 is driven in the drive mode A, and otherwise, the image sensor 306 is driven in the drive mode B. Thus, the present embodiment is different from the first and second embodiments mainly in the determination criteria for switching the drive mode. Therefore, in the description of this embodiment, the same parts as those in the first and second embodiments are denoted by the same reference numerals as those in FIGS.

図１２のフローチャートを参照しながら、本実施形態の撮像装置の撮像シーケンスの一例を説明する。ここでは、動画記録モードでの撮像装置の動作の一例を示す。
図１２のステップＳ１２０１〜Ｓ１２０５、Ｓ１２０９〜Ｓ１２１３は、図４のステップＳ４０１〜Ｓ４０５、Ｓ４０７〜Ｓ４１１及び図１０のステップＳ１００１〜Ｓ１００５、Ｓ１００７〜Ｓ１０１１と同じである。
すなわち、ステップＳ１２０１において、全体制御演算部３１１は、初期設定を行う。このときの駆動モードは駆動モードＡである。次に、全体制御演算部３１１は、ステップＳ１２０２において、シャッタスイッチＳＷ１がＯＮであると判定すると、ステップＳ１２０３において、測距処理と測光処理を行い、ステップＳ１２０４において、電荷の蓄積時間を決定する。 An example of an imaging sequence of the imaging apparatus of this embodiment will be described with reference to the flowchart of FIG. Here, an example of the operation of the imaging apparatus in the moving image recording mode is shown.
Steps S1201 to S1205 and S1209 to S1213 in FIG. 12 are the same as steps S401 to S405 and S407 to S411 in FIG. 4 and steps S1001 to S1005 and S1007 to S1011 in FIG.
That is, in step S1201, the overall control calculation unit 311 performs initial setting. The drive mode at this time is drive mode A. Next, when it is determined in step S1202 that the shutter switch SW1 is ON, the overall control calculation unit 311 performs distance measurement processing and photometry processing in step S1203, and determines the charge accumulation time in step S1204.

次に、全体制御演算部３１１は、ステップＳ１２０５において、シャッタスイッチＳＷ２がＯＮであると判定すると、ステップＳ１２０９において、撮像素子３０６に蓄積した信号電荷の読み出しを指示する。これにより、撮像素子３０６に所定時間蓄積した信号電荷（撮像信号）が撮像信号処理回路３０８に送られる。次に、ステップＳ１２１０において、撮像信号処理回路３０８及び全体制御演算部３１１は、本撮影画像に対して、信号処理を行う。第１の実施形態と同様に、信号処理には、ダークノイズ補正処理、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理、及びスミア補正処理が含まれる。スミア補正の方法は第１の実施形態で説明したのと同じである。 Next, if the overall control calculation unit 311 determines in step S1205 that the shutter switch SW2 is ON, in step S1209, the overall control calculation unit 311 instructs the readout of the signal charges accumulated in the image sensor 306. As a result, the signal charge (imaging signal) accumulated in the imaging element 306 for a predetermined time is sent to the imaging signal processing circuit 308. Next, in step S1210, the imaging signal processing circuit 308 and the overall control calculation unit 311 perform signal processing on the actual captured image. As in the first embodiment, the signal processing includes dark noise correction processing, shading correction processing, point flaw correction processing, white balance integration calculation processing, optical black integration calculation processing, and smear correction processing. The smear correction method is the same as that described in the first embodiment.

次に、全体制御演算部３１１は、ステップＳ１２１１において、信号処理が行われた画像信号に対して圧縮・伸張処理を行い、ステップＳ１２１２において、圧縮・伸張処理を行った画像信号の記録媒体３１４への書き込みを行う記録処理を開始する。
そして、ステップＳ１２１３において、全体制御演算部３１１は、記録処理を終了するか否かを判定する。この判定の結果、記録処理を終了する場合には、図１２のフローチャートによる処理を終了する。 Next, the overall control calculation unit 311 performs compression / decompression processing on the image signal that has been subjected to signal processing in step S1211, and in step S1212 the image signal that has been subjected to compression / expansion processing is transferred to the recording medium 314. The recording process for writing is started.
In step S1213, the overall control calculation unit 311 determines whether to end the recording process. As a result of this determination, when the recording process is terminated, the process according to the flowchart of FIG. 12 is terminated.

一方、記録処理を終了しない場合には、ステップＳ１２１４に進む。ステップＳ１２１４に進むと、全体制御演算部３１１は、全体制御演算部３１１の内部メモリであるメモリ部３１６に格納されている駆動周波数設定値ｆ（撮像素子３０６の駆動周波数の設定値）が閾値ｆ_Thを下回っているか否かを判定する。この判定の結果、駆動周波数設定値ｆが閾値ｆ_Thを下回っていれば、ステップＳ１２１５に進む。一方、駆動周波数設定値ｆが閾値ｆ_Thを下回っていなければ、ステップＳ１２１６に進む。 On the other hand, if the recording process is not terminated, the process proceeds to step S1214. In step S1214, the overall control calculation unit 311 determines that the drive frequency setting value f (the set value of the drive frequency of the image sensor 306) stored in the memory unit 316 that is an internal memory of the overall control calculation unit 311 is the threshold value f. _Judge whether it is less than _Th . If the result of this determination is that the drive frequency set value f is below the threshold f _Th , the process proceeds to step S1215. On the other hand, if the drive frequency setting value f is not less than the threshold value f _Th , the process proceeds to step S1216.

ステップＳ１２１５に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＢであればそのままの駆動モードとし、現状の駆動モードが駆動モードＡであれば駆動モードＢへと駆動モードを切り替える。一方、ステップＳ１２１６に進むと、全体制御演算部３１１は、現状の駆動モードが駆動モードＡであればそのままの駆動モードとし、現状の駆動モードが駆動モードＢであれば駆動モードＡへと駆動モードを切り替える。以上のようにステップＳ１２１５、Ｓ１２１６にて駆動モードを切り換えた後、ステップＳ１２０６へ進む。 In step S1215, the overall control calculation unit 311 switches the drive mode to the drive mode B if the current drive mode is the drive mode B, and switches to the drive mode B if the current drive mode is the drive mode A. . On the other hand, in step S1216, the overall control calculation unit 311 sets the drive mode as it is when the current drive mode is drive mode A, and shifts to the drive mode A when the current drive mode is drive mode B. Switch. As described above, after the drive mode is switched in steps S1215 and S1216, the process proceeds to step S1206.

ステップＳ１２０６に進むと、全体制御演算部３１１は、図４のステップＳ４０６と同様にして、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）を決定する。そして、全体制御演算部３１１は、そのシャッタ速度に応じて、電荷の蓄積時間を決定し、決定した蓄積時間を、全体制御演算部３１１の内部メモリであるメモリ部３１６に記憶する。 In step S1206, the overall control calculation unit 311 determines the aperture value (Av value) and shutter speed (Tv value) in the same manner as in step S406 in FIG. The overall control calculation unit 311 determines the charge accumulation time according to the shutter speed, and stores the determined accumulation time in the memory unit 316 that is an internal memory of the overall control calculation unit 311.

次に、ステップＳ１２０７において、全体制御演算部３１１は、過去の複数フレームの画像と、直前に撮影された画像とを比較して動き検出を行う。すなわち、全体制御演算部３１１は、直前に撮影された画像の出力レベルの、過去の複数フレームの画像の出力レベルとの差分ΔＨを計算する。この差分ΔＨは、例えば、過去の４フレームの画像の出力レベルと、直前に撮影された画像の出力レベルのそれぞれとの差分の二乗の和として以下の（５）式により計算される。 Next, in step S1207, the overall control calculation unit 311 performs motion detection by comparing the past images of a plurality of frames with the image captured immediately before. That is, the overall control calculation unit 311 calculates the difference ΔH between the output level of the image taken immediately before and the output level of the past images of a plurality of frames. This difference ΔH is calculated by, for example, the following equation (5) as the sum of the squares of the differences between the output level of the past four frames of the image and the output level of the image captured immediately before.

ΔＨ＝Σ（Ｉ_N（x,y）−Ｉ_N-1（x,y））²＋Σ（Ｉ_N（x,y）−Ｉ_N-2（x,y））²＋Σ（Ｉ_N（x,y）−Ｉ_N-3（x,y））²＋Σ（I_N（x,y）−Ｉ_N-4（x,y））² ・・・（５） ΔH = Σ (I _N (x, y) −I _N−1 (x, y)) ² + Σ (I _N (x, y) −I _N−2 (x, y)) ² + Σ (I _N (x , y) −I _N-3 (x, y)) ² + Σ (I _N (x, y) −I _N-4 (x, y)) ² (5)

次に、ステップＳ１２０８において、全体制御演算部３１１は、ステップＳ１２０７で計算した値（差分ΔＨ）が所定の閾値Ｈ_H以上であれば、被写体に大きな動きが有ると認識し、駆動周波数設定値ｆをｆ_H（ｆ＝ｆ_H）とする。また、差分ΔＨが、所定の閾値Ｈ_H未満であり、且つ所定の閾値Ｈ_L以上であれば、全体制御演算部３１１は、被写体に僅かに動きがあると認識し、駆動周波数設定値ｆをｆ_M（ｆ＝ｆ_M）とする。また、差分ΔＨが、所定の閾値Ｈ_L未満であれば、全体制御演算部３１１は、被写体にほとんど動きがないと判断し、駆動周波数設定値ｆをｆ_L（ｆ＝ｆ_L）とする。ただし、Ｈ_H＞Ｈ_L、ｆ_H＞ｆ_M＞ｆ_Lとする。以上のようにして駆動周波数設定値ｆを設定し直した後、前述したステップＳ１２０９へ進む。 Next, in step S1208, the overall control calculation unit 311 recognizes that the subject has a large movement if the value (difference ΔH) calculated in step S1207 is equal to or greater than a predetermined threshold value H _H , and sets the drive frequency setting value f. Is _defined as f _H (f = f _H ). If the difference ΔH is less than the predetermined threshold value H _H and equal to or greater than the predetermined threshold value H _L , the overall control calculation unit 311 recognizes that the subject has a slight movement, and sets the drive frequency setting value f to Let f _M (f = f _M ). If the difference ΔH is less than the predetermined threshold value H _L , the overall control calculation unit 311 determines that the subject has almost no movement, and sets the drive frequency setting value f to f _L (f = f _L ). However, _{H H> H} _L, and _{_{_{f H> f M> f L}}} . After resetting the drive frequency set value f as described above, the process proceeds to step S1209 described above.

以上のように本実施形態では、撮像素子３０６における動画記録駆動を行うに際し、特にノイズ成分の目立つ撮像素子３０６の駆動周波数が低い（フレームレートの低い）ときに、駆動モードＢで撮像素子３０６を駆動してダークノイズ補正処理を行う。一方、撮像素子３０６の駆動周波数が高い（フレームレートの高い）ときには駆動モードＡで撮像素子３０６を駆動してダークノイズ補正を行わない。したがって、撮像装置の動作条件（動作設定）に応じて発生するノイズを補正することができ、撮像素子３０６の駆動周波数によらずに、高い画質の動画像を得ることができる。 As described above, in the present embodiment, when moving image recording drive is performed in the image sensor 306, the image sensor 306 is driven in the drive mode B particularly when the drive frequency of the image sensor 306 that has a noticeable noise component is low (the frame rate is low). Drive to perform dark noise correction processing. On the other hand, when the drive frequency of the image sensor 306 is high (the frame rate is high), the image sensor 306 is driven in the drive mode A and dark noise correction is not performed. Therefore, noise generated according to the operation condition (operation setting) of the image pickup apparatus can be corrected, and a high-quality moving image can be obtained regardless of the drive frequency of the image pickup element 306.

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。 (Other examples)
The present invention is also realized by executing the following processing. That is, first, software (computer program) for realizing the functions of the above embodiments is supplied to a system or apparatus via a network or various storage media. Then, the computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the computer program.

３０６撮像素子、３０８撮像信号処理回路、３１１全体制御演算部 306 Imaging device, 308 Imaging signal processing circuit, 311 Overall control calculation unit

Claims

An image pickup apparatus that picks up at least a moving image using an image pickup device including a plurality of pixels arranged in two dimensions and a transfer unit that transfers a signal including a signal based on an electric charge exposed in the pixels. ,
A first imaging operation that obtains an imaging signal by reading out the charge exposed to the pixel and transferring it from the transfer unit, and a dummy transfer by empty transfer of the transfer unit without reading the charge exposed to the pixel Control means for driving the imaging device so that a second imaging operation for obtaining a signal is alternately performed;
Dark noise correction is performed by removing a noise component included in the imaging signal obtained by the first imaging operation using a dummy signal corresponding to the imaging signal obtained by the second imaging operation. And an imaging signal processing means.

The control means performs a first moving image recording mode in which moving images are captured by repeatedly performing the first imaging operation, and a second moving image in which the first imaging operation and the second imaging operation are alternately performed. Select one of the recording modes according to the operating condition or operating environment of the image sensor, drive the image sensor in the selected moving image recording mode,
When the imaging device is driven in the second moving image recording mode, the imaging signal processing means converts a noise component included in the imaging signal obtained by the first imaging operation by the second imaging operation. The image pickup apparatus according to claim 1, wherein dark noise correction is performed by removing the obtained dummy signal corresponding to the image pickup signal.

The control means selects either the first moving image recording mode or the second moving image recording mode from the temperature of the image sensor, the drive frequency of the image sensor, the frame rate, the gain setting of the image sensor, or The imaging apparatus according to claim 2, wherein the selection is made according to a gamma value.

The image pickup signal processing means does not perform smear correction on the image pickup signal when the image pickup element is driven in the second moving image recording mode, and the image pickup element is driven in the first moving image recording mode. 4. The image pickup apparatus according to claim 2, wherein smear correction is performed on the image pickup signal.

The imaging signal processing unit performs smear correction on each of the imaging signal obtained by the first imaging operation and the dummy signal obtained by the second imaging operation, and then performs the smear correction. The imaging apparatus according to claim 2 or 3, wherein a noise component is removed from the imaging signal subjected to the smear correction using the dummy signal.

The imaging signal processing means is a plurality of dummy signals obtained by the second imaging operation, and the noise components included in the imaging signal obtained by the first imaging operation correspond to the imaging signal. 6. The method according to claim 1, wherein a dummy signal and a dummy signal obtained before the dummy signal are added and removed using a sum of a plurality of dummy signals. 7. Imaging device.

The imaging signal processing means is a plurality of dummy signals obtained by the second imaging operation, and the noise components included in the imaging signal obtained by the first imaging operation correspond to the imaging signal. A plurality of dummy signals including a dummy signal and a dummy signal obtained before the dummy signal are removed by using a signal obtained by adding a weight to a newly obtained signal. Item 7. The imaging device according to any one of Items 1 to 6.

The imaging signal processing means, when using the dummy signal of a plurality of frames for one frame of the imaging signal, performs a process of adding the dummy signals of the plurality of frames to the dummy signal corresponding to the imaging signal The image pickup apparatus according to claim 1, wherein a noise component generated by the first image pickup operation and obtained from the image pickup signal obtained by the first image pickup operation is removed.

A control method for an image pickup apparatus that picks up at least a moving image using an image pickup device including a plurality of pixels arranged in a two-dimensional manner and a transfer unit that transfers a signal including a signal based on an electric charge exposed at the pixels. Because
A first imaging operation that obtains an imaging signal by reading out the charge exposed to the pixel and transferring it from the transfer unit, and a dummy transfer by empty transfer of the transfer unit without reading the charge exposed to the pixel A control step of driving the imaging element so that a second imaging operation for obtaining a signal is alternately performed;
Dark noise correction is performed by removing a noise component included in the imaging signal obtained by the first imaging operation using a dummy signal corresponding to the imaging signal obtained by the second imaging operation. An imaging signal processing step.

In the control step, the first moving image recording mode in which the first imaging operation is repeatedly performed to capture moving images, and the second moving image in which the first imaging operation and the second imaging operation are alternately performed. Select one of the recording modes according to the operating condition or operating environment of the image sensor, drive the image sensor in the selected moving image recording mode,
In the imaging signal processing step, when the imaging element is driven in the second moving image recording mode, a noise component included in the imaging signal obtained by the first imaging operation is converted by the second imaging operation. The method for controlling an imaging apparatus according to claim 9, wherein dark noise correction is performed by removing the obtained dummy signal corresponding to the imaging signal.

In the control step, any one of the first moving image recording mode and the second moving image recording mode is performed, the temperature of the image sensor, the drive frequency of the image sensor, the frame rate, the gain setting of the image sensor, or The method according to claim 10, wherein the selection is made according to a gamma value.

In the imaging signal processing step, when the imaging device is driven in the second moving image recording mode, smear correction is not performed on the imaging signal, and the imaging device is driven in the first moving image recording mode. 12. The method of controlling an imaging apparatus according to claim 10, wherein smear correction is performed on the imaging signal.

The imaging signal processing step performs smear correction on each of the imaging signal obtained by the first imaging operation and the dummy signal obtained by the second imaging operation, and then performs the smear correction. 12. The method of controlling an imaging apparatus according to claim 10, wherein a noise component is removed from the imaging signal subjected to the smear correction using the dummy signal.

In the imaging signal processing step, a noise component included in the imaging signal obtained by the first imaging operation is a plurality of dummy signals obtained by the second imaging operation, and corresponds to the imaging signal. 14. The method according to claim 9, wherein a dummy signal and a dummy signal obtained before the dummy signal are added and removed using a sum of a plurality of dummy signals. Control method of imaging apparatus.

In the imaging signal processing step, a noise component included in the imaging signal obtained by the first imaging operation is a plurality of dummy signals obtained by the second imaging operation, and corresponds to the imaging signal. A plurality of dummy signals including a dummy signal and a dummy signal obtained before the dummy signal are removed by using a signal obtained by adding a weight to a newly obtained signal. Item 15. The control method for an imaging apparatus according to any one of Items 9 to 14.

In the imaging signal processing step, when the dummy signal of a plurality of frames is used for one frame of the imaging signal, the dummy signal corresponding to the imaging signal is added to the dummy signal of the plurality of frames. 16. The method of controlling an imaging apparatus according to claim 9, wherein a noise component that is generated by the first imaging operation and is included in the imaging signal obtained by the first imaging operation is removed.