JP2008211463A - Imaging apparatus, method for processing imaging, and computer program - Google Patents

Imaging apparatus, method for processing imaging, and computer program Download PDF

Info

Publication number
JP2008211463A
JP2008211463A JP2007045522A JP2007045522A JP2008211463A JP 2008211463 A JP2008211463 A JP 2008211463A JP 2007045522 A JP2007045522 A JP 2007045522A JP 2007045522 A JP2007045522 A JP 2007045522A JP 2008211463 A JP2008211463 A JP 2008211463A
Authority
JP
Japan
Prior art keywords
signal
image
imaging
load fluctuation
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007045522A
Other languages
Japanese (ja)
Other versions
JP2008211463A5 (en
JP4810464B2 (en
Inventor
Motohiro Ishikawa
基博 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007045522A priority Critical patent/JP4810464B2/en
Publication of JP2008211463A publication Critical patent/JP2008211463A/en
Publication of JP2008211463A5 publication Critical patent/JP2008211463A5/ja
Application granted granted Critical
Publication of JP4810464B2 publication Critical patent/JP4810464B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P20/00—Technologies relating to chemical industry
    • Y02P20/50—Improvements relating to the production of bulk chemicals
    • Y02P20/52—Improvements relating to the production of bulk chemicals using catalysts, e.g. selective catalysts

Abstract

<P>PROBLEM TO BE SOLVED: To reduce an influence of load fluctuation in an imaging device on an imaging signal. <P>SOLUTION: Before regular exposure is performed (in the period of time that an imaging signal is not output by an imaging device 204), a clamp position is changed to an optional position where the imaging signal on the imaging device 204 is not output. Then, with a signal at the changed clamp position as reference potential, a power supply fluctuation image signal on which fluctuation of source voltage of an imaging source 205 is superimposed is processed and recorded, and by using the power supply fluctuation image signal, the imaging signal obtained when the regular exposure is performed is corrected. Thus, when highly sensitive photography is set, power supply fluctuation at a level influencing the imaging signal occurs, and even when a pixel value in an OB area fluctuates, a picked up image in which influences based on the power supply fluctuation of an imaging power supply 205 is reduced can be obtained without using a special power supply. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮像装置、撮像処理方法、及びコンピュータプログラムに関し、特に、撮像信号に対する処理の基準となる基準電位をクランプするために用いて好適なものである。   The present invention relates to an imaging apparatus, an imaging processing method, and a computer program, and is particularly suitable for clamping a reference potential that is a reference for processing on an imaging signal.

従来から、被写体の階調を忠実に再現するために、撮像信号に含まれるＯＢ（Optical Black）領域の電圧レベル（黒レベル）を基準電位としてクランプし、その基準電位を基準として撮像信号を処理する技術が提案されている（特許文献１を参照）。図６に、従来の撮像装置のブロック図を示す。
図６において、撮像装置は、レンズ６０２、絞り兼用シャッタ６０１、駆動部６０３、撮像素子６０４、撮像電源６０５、バッファ６０６、コンデンサ６０７、ＣＤＳ６０８、Ａ／Ｄ変換器６０９、及びタイミングジェネレータ（ＴＧ）６１０を有する。
駆動部６０３は、レンズ６０２と、絞り兼用シャッタ６０１とを駆動するためのものである。撮像素子６０４は、例えばＣＣＤ（Charge Coupled Devices）である。バッファ６０６は、撮像素子６０４からの出力を増幅するためのものである。コンデンサ６０７は、撮像素子６０４からの出力に含まれる直流成分をカットするためのものである。ＣＤＳ（Correlated Double Sampling）６０６は、撮像素子６０４からの出力に対して、相関二重サンプリングを行うためのものである。 Conventionally, in order to faithfully reproduce the gradation of an object, the voltage level (black level) of the OB (Optical Black) area included in the image signal is clamped as a reference potential, and the image signal is processed using the reference potential as a reference. A technique has been proposed (see Patent Document 1). FIG. 6 shows a block diagram of a conventional imaging apparatus.
In FIG. 6, the imaging apparatus includes a lens 602, an aperture / shutter 601, a driving unit 603, an imaging device 604, an imaging power source 605, a buffer 606, a capacitor 607, a CDS 608, an A / D converter 609, and a timing generator (TG) 610. Have
The driving unit 603 is for driving the lens 602 and the diaphragm / shutter 601. The image sensor 604 is, for example, a CCD (Charge Coupled Devices). The buffer 606 is for amplifying the output from the image sensor 604. The capacitor 607 is for cutting a DC component included in the output from the image sensor 604. A CDS (Correlated Double Sampling) 606 is for performing correlated double sampling on the output from the image sensor 604.

撮像装置は、以上のようなアナログ部の他に、ＣＰＵ６１１、バス６１２、ＲＯＭ６１３、ＲＡＭ６１４、操作部６１５、表示部６１６、及び記録部６１７を有する。
ＣＰＵ６１１は、撮像装置全体を統括制御するためのものであり、ＲＯＭ６１３に記録されている制御プログラムを、ＲＡＭ６１４をワークエリアとして用いる等して実行する。バス６１２は、バス６１２に接続された装置間で、データのやり取りを行うためのものである。操作部６１５は、撮像装置を操作するためにユーザが使用するものである。表示部６１６は、撮影された映像や、記録部６１７から読み出された映像を表示する。記録部６１７は、映像信号を記録するための記録媒体である。 The imaging apparatus includes a CPU 611, a bus 612, a ROM 613, a RAM 614, an operation unit 615, a display unit 616, and a recording unit 617 in addition to the analog unit as described above.
The CPU 611 is for overall control of the entire imaging apparatus, and executes a control program recorded in the ROM 613 by using the RAM 614 as a work area. The bus 612 is for exchanging data between devices connected to the bus 612. The operation unit 615 is used by the user to operate the imaging apparatus. The display unit 616 displays captured images and images read from the recording unit 617. The recording unit 617 is a recording medium for recording a video signal.

図６に示す撮像装置は、ユーザによる操作部６１５の操作にしたがって、映像の撮影・記録を行う機能と、記録された映像の再生を行う機能とを持っている。これらの機能は、ＣＰＵ６１１が、ＲＯＭ６１３内に記録された制御プログラムに従って動作することで実現可能となっている。撮像装置は、動作モードとして、静止画撮影モード、動画撮影モード、及び再生モードの３つを持っている。   The imaging apparatus shown in FIG. 6 has a function for capturing and recording video and a function for reproducing recorded video in accordance with an operation of the operation unit 615 by the user. These functions can be realized by the CPU 611 operating in accordance with a control program recorded in the ROM 613. The imaging apparatus has three operation modes: a still image shooting mode, a moving image shooting mode, and a playback mode.

ここで、静止画撮影モードである場合の撮像装置の動作について述べる。
静止画撮影モードでは、まず、表示部６１６は、静止画撮影前のフレーミング動作のために、ライブ（ｌｉｖｅ）の動画像を表示する。ＣＰＵ６１１は、ＴＧ６１０、ＣＤＳ６０８、及びＡ／Ｄ変換器６０９を駆動するための同期信号を出力する。この同期信号に従って、ＴＧ６１０は、撮像素子６０４を駆動し、撮像素子６０４から映像信号を出力させる。撮像素子６０４の駆動レートは、表示部６１６での動画対応レートに対応した駆動速度（例えば３０フィールド／ｓｅｃ）になっている。ライブの動画像を表示しているときの撮影系の感度は、露光時間による制限がある。このため、ライブの動画像を表示しているときの撮影系の感度は、実際に静止画像を撮影しているときの撮影系の感度と異なる場合もある。 Here, the operation of the imaging apparatus in the still image shooting mode will be described.
In the still image shooting mode, first, the display unit 616 displays a live moving image for a framing operation before still image shooting. The CPU 611 outputs a synchronization signal for driving the TG 610, the CDS 608, and the A / D converter 609. In accordance with the synchronization signal, the TG 610 drives the image sensor 604 and causes the image sensor 604 to output a video signal. The drive rate of the image sensor 604 is a drive speed (for example, 30 fields / sec) corresponding to the moving image support rate on the display unit 616. The sensitivity of the shooting system when a live moving image is displayed is limited by the exposure time. For this reason, the sensitivity of the photographing system when displaying a live moving image may be different from the sensitivity of the photographing system when actually capturing a still image.

レンズ６０２により撮像素子６０４に結像された映像は、光電変換により電荷に変換される。光電変換された電荷は、ＴＧ６１０の駆動に従って、撮像素子６０４が備えているアンプにより、電圧信号に変換されて出力される。撮像素子６０４から出力された電圧信号は、トランジスタ等の外部のバッファ６０６により増幅される。バッファ６０６で増幅された電圧信号は、コンデンサ６０７により直流成分がカットされた後、ＣＤＳ６０８に入力される。   An image formed on the image sensor 604 by the lens 602 is converted into electric charges by photoelectric conversion. The photoelectrically converted charge is converted into a voltage signal by an amplifier included in the image sensor 604 and output according to the driving of the TG 610. The voltage signal output from the image sensor 604 is amplified by an external buffer 606 such as a transistor. The voltage signal amplified by the buffer 606 is input to the CDS 608 after the DC component is cut by the capacitor 607.

ＣＤＳ６０８は、撮像素子６０４から出力された電圧信号に含まれるＯＢ（Optical Black）部分のレベルを基準電位としてサンプル／ホールド（Sample/Hold）処理を行って得たアナログ信号に、予め設定されたゲインを掛けて出力する。ＣＤＳ６０８から出力されたアナログ信号は、Ａ／Ｄ変換器６０９へ送られる。Ａ／Ｄ変換器６０９は、アナログ信号を任意のサンプリングレートでデジタル信号へ変換し、ＣＰＵ６１１へ送信する。   The CDS 608 uses a gain set in advance for an analog signal obtained by performing a sample / hold process using the level of an OB (Optical Black) portion included in the voltage signal output from the image sensor 604 as a reference potential. Multiply and output. The analog signal output from the CDS 608 is sent to the A / D converter 609. The A / D converter 609 converts the analog signal into a digital signal at an arbitrary sampling rate and transmits the digital signal to the CPU 611.

ＣＰＵ６１１は、デジタル信号となった映像信号を、ＲＡＭ６１４の任意の領域に記録していく。この動作と並行してＣＰＵ６１１は、デジタル信号となった映像信号に基づいて表示用データの作成し、作成した表示用データに基づくライブの動画像を表示部６１６に表示させる。具体的に説明すると、ＲＡＭ６１４に記録された映像信号は、表示系に同期した任意のレートで順次読み出された後、撮像素子６０４における映像信号形式から表示用の画素数・映像信号形式に変換され、表示部６１６へ順次送られる。そして、表示部６１６は、ユーザが見ることができるように、ライブの動画像を表示する。ＲＡＭ６１４に記録された映像信号のうち、表示された映像信号は、順次新しい映像信号に上書きされる。   The CPU 611 records the video signal that has become a digital signal in an arbitrary area of the RAM 614. In parallel with this operation, the CPU 611 creates display data based on the video signal that is a digital signal, and causes the display unit 616 to display a live moving image based on the created display data. Specifically, the video signal recorded in the RAM 614 is sequentially read out at an arbitrary rate synchronized with the display system, and then converted from the video signal format in the image sensor 604 to the number of pixels for display and the video signal format. And sequentially sent to the display unit 616. The display unit 616 displays a live moving image so that the user can see it. Of the video signals recorded in the RAM 614, the displayed video signals are sequentially overwritten with new video signals.

その後、操作部６１５に設けられたレリーズスイッチ（ＳＷ）がユーザによって押されると、ＣＰＵ６１１は、ライブの動画像の表示を中断させる。そして、ＣＰＵ６１１は、記録用の静止画像を撮影するための処理を行う。記録用の静止画像を撮影ための駆動条件は、ライブの動画像を撮影ための駆動条件とは異なり、静止画像用の駆動条件・波形にて撮像素子６０４の駆動と、露光された画像信号の読み出しとが行われる。静止画像を撮影するときの動作は以下のようになる。   Thereafter, when a release switch (SW) provided on the operation unit 615 is pressed by the user, the CPU 611 interrupts the display of the live moving image. Then, the CPU 611 performs processing for capturing a recording still image. The driving conditions for capturing a still image for recording are different from the driving conditions for capturing a live moving image, and the driving of the image sensor 604 with the driving conditions / waveform for still images and the exposure of the exposed image signal. Reading is performed. The operation when shooting a still image is as follows.

まず、ＣＰＵ６１１は、現在の状態で、ＡＦ（Auto Focus）・ＡＥ（Automatic Exposure）動作を行う。また、ＣＰＵ６１１は、設定されている撮影条件（露光時間・絞り値・感度等）に基づいて撮影パラメータを決定する。撮影パラメータが決定された後、ＣＰＵ６１１は、駆動部６０３を制御して、絞り兼用シャッタ６０１を閉じる。これにより、撮像素子６０４は遮光され、撮像素子６０４に蓄積されている余分な電荷の吐き出しが行われる。そして、ＣＰＵ６１１は、本露光のための撮影パラメータを、ＴＧ６１０、ＣＤＳ６９８、Ａ／Ｄ変換器６０９に設定する。   First, the CPU 611 performs AF (Auto Focus) / AE (Automatic Exposure) operations in the current state. Further, the CPU 611 determines shooting parameters based on the set shooting conditions (exposure time, aperture value, sensitivity, etc.). After the shooting parameters are determined, the CPU 611 controls the drive unit 603 to close the aperture / shutter 601. As a result, the image sensor 604 is shielded from light, and excess charges accumulated in the image sensor 604 are discharged. Then, the CPU 611 sets shooting parameters for the main exposure in the TG 610, the CDS 698, and the A / D converter 609.

以上のようにして撮影準備が完了した後、ＣＰＵ６１１は、駆動部６０３を制御して、任意のタイミングで絞り兼シャッタ６０１を開く。これにより、撮像素子６０４に被写体映像が露光される。設定された露光時間が経過した後、ＣＰＵ６１１は、駆動部６０３を制御して、絞り兼シャッタを再度閉じる。これにより、本露光データの読み出しが開始される。   After completing the preparation for shooting as described above, the CPU 611 controls the drive unit 603 to open the aperture / shutter 601 at an arbitrary timing. As a result, the subject image is exposed to the image sensor 604. After the set exposure time has elapsed, the CPU 611 controls the drive unit 603 to close the aperture / shutter again. Thereby, reading of the main exposure data is started.

ＣＰＵ６１１は、ＴＧ６１０に対して、本露光読み出しのための設定を行う。そして、ＣＰＵ６１１は、同期信号をＴＧ６１０に送り、本露光された電荷の読み出しを開始する。ＴＧ６１０は、撮像素子６０４に対して、垂直転送パルス、水平転送パルス、及びリセットゲートパルスを送ることにより、撮像素子６０４を駆動する。撮像素子６０４で光電変換された電荷は、ＴＧ６１０の駆動に従って、撮像素子６０４が備えているアンプにより、電圧信号に変換されて出力される。これにより、光電変換された電荷（被写体映像）が、電圧信号として複数フィールドに渡って読み出される。   The CPU 611 performs settings for the main exposure reading with respect to the TG 610. Then, the CPU 611 sends a synchronization signal to the TG 610 and starts reading the main-exposed charge. The TG 610 drives the image sensor 604 by sending a vertical transfer pulse, a horizontal transfer pulse, and a reset gate pulse to the image sensor 604. The electric charge photoelectrically converted by the image pickup device 604 is converted into a voltage signal by an amplifier provided in the image pickup device 604 according to the driving of the TG 610 and output. Thereby, the photoelectrically converted electric charge (subject image) is read over a plurality of fields as a voltage signal.

撮像素子６０４から読み出された電圧信号は、バッファ６０６により増幅された後に、コンデンサ６０７により直流成分がカットされ、ＣＤＳ６０８へ送られる。ＣＤＳ６０８は、電圧信号に含まれるＯＢ部分のレベルを基準電位としてサンプル／ホールド（Sample/Hold）処理を行って得たアナログ信号に、予め設定されたゲインを掛けて出力する。ＣＤＳ６０８から出力されたアナログ信号は、Ａ／Ｄ変換器６０９によりデジタル信号に変換された後に、ＣＰＵ６１１へ送られる。ＣＰＵ６１１は、入力したデジタル信号を、本露光時の画像データとしてＲＡＭ６１４の任意の領域に記録する。   The voltage signal read from the image sensor 604 is amplified by the buffer 606, and then the direct current component is cut by the capacitor 607 and sent to the CDS 608. The CDS 608 multiplies an analog signal obtained by performing sample / hold processing using the level of the OB portion included in the voltage signal as a reference potential, and outputs a result obtained by multiplying the analog signal by a preset gain. The analog signal output from the CDS 608 is converted to a digital signal by the A / D converter 609 and then sent to the CPU 611. The CPU 611 records the input digital signal in an arbitrary area of the RAM 614 as image data at the time of main exposure.

本露光時における複数フィールド全ての画像データの記録が終わった後に、ＣＰＵ６１１は現像処理を行う。複数フィールドの画像信号を１枚の静止画像データとするために、ＣＰＵ６１１は、ＲＡＭ６１４に記録されている画像データを任意の順序で読み出し、読み出した画像データに対して、フィルタ処理、色変換演算処理、ガンマ処理、及び圧縮処理を行う。ＣＰＵ６１１は、記録フォーマットに従うためのヘッダデータを追加する等の処理を行った後に、このようにして得られた静止画像データを、本露光時の画像データが記録された領域とは別のＲＡＭ６１４の領域に記録する。   After the recording of the image data of all the fields in the main exposure is completed, the CPU 611 performs development processing. In order to make the image signal of a plurality of fields into one piece of still image data, the CPU 611 reads out the image data recorded in the RAM 614 in an arbitrary order, and performs filter processing and color conversion calculation processing on the read image data. , Gamma processing, and compression processing. After the CPU 611 performs processing such as adding header data to comply with the recording format, the still image data obtained in this way is stored in the RAM 614 different from the area where the image data at the time of the main exposure is recorded. Record in the area.

ＲＡＭ６１４に記録された静止画像データは、ＣＰＵ６１１により、記録部６１７に設けられた記録媒体に記録する。静止画像データが記録部６１７に記録された後、ＣＰＵ６１１は、その記録された静止画像データを読み出し、その静止画像データの解像度を、表示部６１６に適した解像度となるように変換した後、その解像度が変換された静止画像データを表示部６１６へ送る。これにより表示部６１６は、撮影された静止画像データを表示する。   Still image data recorded in the RAM 614 is recorded on a recording medium provided in the recording unit 617 by the CPU 611. After the still image data is recorded in the recording unit 617, the CPU 611 reads the recorded still image data, converts the resolution of the still image data to a resolution suitable for the display unit 616, and then Still image data whose resolution has been converted is sent to the display unit 616. As a result, the display unit 616 displays the captured still image data.

撮影された静止画像データの表示から一定時間が経過した後、ＣＰＵ６１１は、ライブの動画像を表示するモードへ再度移行する。そうすると、本露光が終了したときに閉じた絞り兼用シャッタ６０１が開いて露光が開始し、撮像素子６０４から、ライブの動画像の映像信号が読み出される。そして、読み出された映像信号は、前述したようにして、ＲＡＭ６１４に記録され、任意の画像処理が行われた後に表示部６１６へ送られる。これにより、表示部６１６は、ライブの動画像を再度表示する。   After a certain period of time has elapsed from the display of the captured still image data, the CPU 611 again shifts to a mode for displaying a live moving image. Then, when the main exposure is completed, the closed aperture / shutter 601 is opened to start exposure, and a video signal of a live moving image is read from the image sensor 604. Then, the read video signal is recorded in the RAM 614 as described above, and is sent to the display unit 616 after arbitrary image processing is performed. As a result, the display unit 616 displays the live moving image again.

特開平１１−８７８０号公報Japanese Patent Laid-Open No. 11-8780

しかしながら、従来の技術では、撮像素子６０４の高画素化・高感度化が進んだ場合、撮像装置の高感度化へ対応することが困難になっている。特に電源の変動に対応することが難しくなってきている。例えば、撮像素子６０４の飽和電荷出力が５００ｍＶである場合であって、感度を４段上げて撮影する場合、撮像素子６０４の出力は６２．５ｍＶとなる。そうすると、トランジスタを用いて構成されるバッファ６０６やＣＤＳ６０８の電源等の影響が避けられなくなる。トランジスタの電源が例えば１２Ｖの場合、撮像素子６０４の負荷変動による電源のゆれが１％であっても、電源のゆれは１２０ｍＶとなる。このような電源の変動の時間が、例えば、撮像素子６０４の駆動期間以上である場合には、撮像素子６０４の駆動期間と休止期間との切り替わり時にＯＢ領域に与える影響が避けられなくなっている。   However, in the conventional technique, when the image sensor 604 has a higher pixel and higher sensitivity, it is difficult to cope with the higher sensitivity of the imaging device. In particular, it has become difficult to cope with fluctuations in the power source. For example, in the case where the saturation charge output of the image sensor 604 is 500 mV, and the sensitivity is increased by four steps, the output of the image sensor 604 is 62.5 mV. As a result, the influence of the power source of the buffer 606 and the CDS 608 configured using transistors cannot be avoided. When the power supply of the transistor is 12 V, for example, even if the power supply fluctuation due to the load fluctuation of the image sensor 604 is 1%, the power supply fluctuation is 120 mV. For example, when the power supply fluctuation time is equal to or longer than the drive period of the image sensor 604, the influence on the OB region is unavoidable when the drive period and the rest period of the image sensor 604 are switched.

また、撮像素子６０４の高画素化は、撮像素子６０４の駆動時の消費電流の増加と駆動周波数の上昇とに繋がる。特に、撮像素子６０４の水平方向のドライブ電流については、同時に駆動するセルが増加することから、駆動時の消費電流と休止時の消費電流との差が顕著になる。
以上のような撮像素子６０４の負荷変動の増大に対応し、且つ上昇する撮像素子６０４の駆動周波数にも対応することが可能な精度と反応速度とを持った電源を用意することは、回路規模の大幅な増大と効率の低下とに繋がる。また、このような電源を用意することは、コストの面からも困難である。
本発明は、このような問題点に鑑みてなされたものであり、撮像素子における負荷変動が撮像信号に与える影響を低減することを目的とする。 In addition, the increase in the number of pixels of the image sensor 604 leads to an increase in current consumption during driving of the image sensor 604 and an increase in drive frequency. In particular, with respect to the horizontal drive current of the image sensor 604, the number of cells that are driven simultaneously increases, so that the difference between the current consumption during driving and the current consumption during sleep becomes significant.
Providing a power supply with accuracy and reaction speed that can cope with the increase in load fluctuation of the image sensor 604 as described above and can also cope with the driving frequency of the image sensor 604 that rises is a circuit scale. Lead to a significant increase in efficiency and a decrease in efficiency. In addition, it is difficult to prepare such a power supply from the viewpoint of cost.
The present invention has been made in view of such problems, and an object thereof is to reduce the influence of load fluctuations in an image sensor on an image signal.

本発明の撮像装置は、撮像素子と、前記撮像素子における負荷変動を反映した負荷変動反映画像信号を、本露光の前に取得する負荷変動反映画像信号取得手段と、前記撮像素子に本露光された被写体像に基づく撮像信号を、前記負荷変動反映画像信号を用いて補正する撮像信号補正手段とを有することを特徴とする。   The image pickup apparatus of the present invention is subjected to main exposure to the image pickup element, load fluctuation reflected image signal acquisition means for acquiring a load fluctuation reflected image signal reflecting the load fluctuation in the image pickup element, and main exposure. Imaging signal correction means for correcting an imaging signal based on the subject image using the load fluctuation reflected image signal.

本発明の撮像処理方法は、撮像素子における負荷変動を反映した負荷変動反映画像信号を、本露光の前に取得する負荷変動反映画像信号取得ステップと、前記撮像素子に本露光された被写体像に基づく撮像信号を、前記負荷変動反映画像信号を用いて補正する撮像信号補正ステップとを有することを特徴とする。   The imaging processing method of the present invention includes a load fluctuation reflected image signal acquisition step for acquiring a load fluctuation reflected image signal reflecting a load fluctuation in an image sensor before a main exposure, and a subject image that has been main exposed to the image sensor. And an imaging signal correction step of correcting an imaging signal based on the imaging signal using the load fluctuation reflected image signal.

本発明のコンピュータプログラムは、撮像素子における負荷変動を反映した負荷変動反映画像信号を、本露光の前に取得する負荷変動反映画像信号取得ステップと、前記撮像素子に本露光された被写体像に基づく撮像信号を、前記負荷変動反映画像信号を用いて補正する撮像信号補正ステップとをコンピュータに実行させることを特徴とする。   The computer program according to the present invention is based on a load fluctuation reflected image signal acquisition step for acquiring a load fluctuation reflected image signal reflecting a load fluctuation in the image sensor before the main exposure, and a subject image that has been main exposed to the image sensor. An image pickup signal correction step for correcting the image pickup signal using the load fluctuation reflected image signal is executed by a computer.

本発明では、撮像素子における負荷変動を反映した負荷変動反映画像信号に基づいて、本露光された被写体像に基づく撮像信号を補正した。したがって、撮像素子における負荷変動が撮像信号に与える影響を低減することができる。   In the present invention, the imaging signal based on the subject image subjected to the main exposure is corrected based on the load variation reflecting image signal reflecting the load variation in the image sensor. Therefore, it is possible to reduce the influence of the load fluctuation in the image sensor on the image signal.

（第１の実施形態）
以下に、図面を参照しながら、本発明の第１の実施形態について説明する。尚、以下の説明において、前述した図６と同一の部分についての詳細な説明を適宜省略する。
図１は、撮像装置の構成の一例を示すブロック図である。撮像装置は、絞り兼用シャッタ２０１、レンズ２０２、駆動部２０３、撮像素子２０４、撮像電源２０５、バッファ回路２０６、コンデンサ２０７、Ａ／Ｄ変換器２１５、及びタイミングジェネレータ（ＴＧ）２１６を備えている。また、撮像装置は、ＣＰＵ２１７、システムバス２１９、ＲＯＭ２２０、ＲＡＭ２２１、操作部２２２、表示部２２３、及び記録部２２４を備えている。 (First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. In the following description, detailed description of the same parts as those in FIG.
FIG. 1 is a block diagram illustrating an example of the configuration of the imaging apparatus. The imaging apparatus includes an aperture / shutter 201, a lens 202, a driving unit 203, an imaging device 204, an imaging power source 205, a buffer circuit 206, a capacitor 207, an A / D converter 215, and a timing generator (TG) 216. In addition, the imaging apparatus includes a CPU 217, a system bus 219, a ROM 220, a RAM 221, an operation unit 222, a display unit 223, and a recording unit 224.

絞り兼用シャッタ２０１は、撮像素子２０４への露光と遮光とを制御するためのものである。レンズ２０２は、被写体映像を撮像素子２０４上に結像するためのものである。駆動部２０３は、焦点距離を調整するために、レンズ２０２の駆動と、絞り兼用シャッタ２０１に設けられている絞りの駆動とを行う。撮像素子２０４は、例えばＣＣＤを有し、被写体像を結像し、結像した被写体像を光電変換する。   The aperture / shutter 201 is for controlling exposure to the image sensor 204 and light shielding. The lens 202 is for forming a subject image on the image sensor 204. The driving unit 203 drives the lens 202 and the diaphragm provided in the diaphragm / shutter 201 in order to adjust the focal length. The image sensor 204 has, for example, a CCD, forms a subject image, and photoelectrically converts the formed subject image.

撮像電源２０５は、撮像素子２０４及びバッファ回路２０６に電力を供給するためのものである。バッファ回路２０６は、撮像素子２０４から出力された信号を増幅するためのものであり、トランジスタを用いて構成される。コンデンサ２０７は、撮像素子２０４から出力された信号に含まれる直流成分をカットするためのものである。ＣＤＳ回路２０９は、撮像素子２０４から出力された信号に対して、相関二重サンプリングを行うためのものである。Ａ／Ｄ変換器２１５は、ＣＤＳ回路２０９から出力されたアナログ信号をデジタル信号に変換するためのものである。ＴＧ２１６は、撮像素子２０４等を駆動するためのものである。   The imaging power supply 205 is for supplying power to the imaging device 204 and the buffer circuit 206. The buffer circuit 206 is for amplifying the signal output from the image sensor 204, and is configured using a transistor. The capacitor 207 is for cutting a DC component included in the signal output from the image sensor 204. The CDS circuit 209 is for performing correlated double sampling on the signal output from the image sensor 204. The A / D converter 215 is for converting the analog signal output from the CDS circuit 209 into a digital signal. The TG 216 is for driving the image sensor 204 and the like.

ＣＰＵ２１７は、撮像装置全体を統括制御するためのものであり、ＲＯＭ６１３に記録されている制御プログラムを、ＲＡＭ６１４をワークエリアとして用いる等して実行する。システムバス２１９は、システムバス２１９に接続された装置間で、データのやり取りを行うためのものである。ＲＯＭ２２０は、制御プログラムやデータを格納する。ＲＡＭ２２１は、データを一時的に記憶したり、データのワークエリアとなったりする。操作部２２２は、ユーザが機器を操作するために使用するものである。表示部２２３は、撮影された映像や、記録部２２４から読み出された映像を表示する。記録部２２４は、映像信号を記録するための記録媒体である。   The CPU 217 is for overall control of the entire imaging apparatus, and executes a control program recorded in the ROM 613 by using the RAM 614 as a work area. The system bus 219 is for exchanging data between devices connected to the system bus 219. The ROM 220 stores control programs and data. The RAM 221 temporarily stores data and serves as a data work area. The operation unit 222 is used by the user to operate the device. The display unit 223 displays the captured video and the video read from the recording unit 224. The recording unit 224 is a recording medium for recording a video signal.

本実施形態の撮像装置は、以上の構成に加えて、比較器２０８、ＣＤＳ回路２０９、オフセット加算器２１０、ＰＧＡ部２１１、Ｓ／Ｈ（サンプル／ホールド）回路２１２、積分アンプ２１３、参照電源２１４、及びＤ／Ａ変換器２１８を有する。   In addition to the above configuration, the imaging apparatus according to the present embodiment includes a comparator 208, a CDS circuit 209, an offset adder 210, a PGA unit 211, an S / H (sample / hold) circuit 212, an integration amplifier 213, and a reference power source 214. And a D / A converter 218.

本実施形態の撮像装置は、動作モードとして、静止画撮影モード、動画撮影モード、及び再生モードの３つを持っている。また、本実施形態の撮像装置は、ユーザによる操作部２２２の操作にしたがって、静止画像の撮影・記録を行う機能と、記録された静止画像の再生を行う機能とを持っている。これらの機能は、ＲＯＭ２２０に記録された制御プログラムをＣＰＵ２１７が順次実行することにより実現される。更に、本実施形態の撮像装置では、静止画像の撮影時に、感度を自由に設定することが可能である。   The imaging apparatus of the present embodiment has three operation modes: a still image shooting mode, a moving image shooting mode, and a playback mode. In addition, the imaging apparatus according to the present embodiment has a function of capturing and recording a still image and a function of reproducing the recorded still image according to the operation of the operation unit 222 by the user. These functions are realized by the CPU 217 sequentially executing control programs recorded in the ROM 220. Furthermore, in the imaging apparatus of the present embodiment, it is possible to freely set the sensitivity when capturing a still image.

まず、静止画像を撮影するときの本実施形態の撮像装置における動作の一例について述べる。まず、撮影時の感度が、相対的に低感度の場合について述べる。
静止画撮影モードでは、撮影前のライブの動画像を表示する。ライブの動画像を表示する場合、撮像装置は、表示コマ速度が３０コマ／秒となるような表示画像を生成する制御を行う。
ＣＰＵ２１７は、絞り兼用シャッタ２０１に設けられているシャッタを開き、ライブの動画像を表示するための設定を、ＴＧ２１６、ＣＤＳ回路２０９、ＰＧＡ部２１１、比較器２０８、及びＡ／Ｄ変換器２１５に対して行う。その後、ＣＰＵ２１７は、任意の周期の同期信号をＴＧ２１６に送る。この同期信号に従って、ＴＧ２１６は、撮像素子２０４を駆動するための駆動信号を、駆動信号線２２５を介して撮像素子２０４に送信する。これにより、撮像素子２０４に結像された被写体映像が光電変換されることにより得られた電気信号が、撮像素子２０４から出力される。以下、この電気信号を必要に応じて撮像信号と称する。 First, an example of the operation of the imaging apparatus according to this embodiment when taking a still image will be described. First, a case where the sensitivity at the time of shooting is relatively low will be described.
In the still image shooting mode, live video before shooting is displayed. When displaying a live moving image, the imaging apparatus performs control to generate a display image with a display frame speed of 30 frames / second.
The CPU 217 opens a shutter provided in the aperture / shutter 201 and sets settings for displaying a live moving image in the TG 216, the CDS circuit 209, the PGA unit 211, the comparator 208, and the A / D converter 215. Against. Thereafter, the CPU 217 sends a synchronization signal having an arbitrary period to the TG 216. In accordance with this synchronization signal, the TG 216 transmits a drive signal for driving the image sensor 204 to the image sensor 204 via the drive signal line 225. Accordingly, an electrical signal obtained by photoelectrically converting the subject image formed on the image sensor 204 is output from the image sensor 204. Hereinafter, this electric signal is referred to as an imaging signal as necessary.

撮像素子２０４から出力された撮像信号は、バッファ回路２０６により増幅され、コンデンサ２０７により直流成分がカットされた後、比較器２０８へ送られる。ここで、ライブの動画像が撮影されている場合、比較器２０８は、撮像素子２０４から出力された撮像信号をそのまま出力するように設定されている。すなわち、ＣＤＳ回路２０９における基準電圧Ｖｒｅｆよりも低い任意の一定値の電圧が、Ｄ／Ａ変換器２１８から比較器２０８に出力されるようになっている。従って、比較器２０８は、コンデンサ２０７により直流成分がカットされた撮像信号を、比較動作を行わずに、ＣＤＳ回路２０９へ送信する。尚、基準電圧Ｖｒｅｆは、直流電圧であり、参照電源２１４から供給されるものである。   The imaging signal output from the imaging element 204 is amplified by the buffer circuit 206, and after the direct current component is cut by the capacitor 207, it is sent to the comparator 208. Here, when a live moving image is shot, the comparator 208 is set to output the image pickup signal output from the image pickup device 204 as it is. In other words, an arbitrary constant voltage lower than the reference voltage Vref in the CDS circuit 209 is output from the D / A converter 218 to the comparator 208. Accordingly, the comparator 208 transmits the imaging signal whose DC component is cut by the capacitor 207 to the CDS circuit 209 without performing the comparison operation. The reference voltage Vref is a DC voltage and is supplied from the reference power source 214.

ＣＤＳ回路２０９は、相関二重サンプリングを行う。ＣＤＳ回路２０９は、ＴＧ２１６から駆動信号線２２５を介して送信された同期信号に従って、比較器２０８から送信された撮像信号から、撮像素子２０４で生じたリセットノイズを除去して、オフセット加算器２１０に出力する。オフセット加算器２１０は、ＣＤＳ回路２０９でリセットノイズが除去された撮像信号に対して、任意のオフセット電圧を加算する。オフセット電圧が加算された撮像信号は、ＰＧＡ（可変ゲインアンプ）部２１１に入力される。   The CDS circuit 209 performs correlated double sampling. The CDS circuit 209 removes reset noise generated in the imaging element 204 from the imaging signal transmitted from the comparator 208 according to the synchronization signal transmitted from the TG 216 via the drive signal line 225, and supplies the offset adder 210 to the offset adder 210. Output. The offset adder 210 adds an arbitrary offset voltage to the imaging signal from which reset noise has been removed by the CDS circuit 209. The imaging signal to which the offset voltage is added is input to a PGA (variable gain amplifier) unit 211.

ＰＧＡ部２１１は、参照電源２１４設定された基準電圧Ｖｒｅｆを基準電位として、入力された撮像信号に対して直流増幅を行う。ＰＧＡ部２１１は、撮像素子２０４の感度のばらつきや、撮影時の感度設定を切り替える手段として用いられるが、まずここでは感度が１倍である場合を例に挙げて、ＰＧＡ部２１１の動作の一例を述べる。ＰＧＡ部２１１により１倍のゲインがかけられた撮像信号は、Ａ／Ｄ変換器２１５に送信される。Ａ／Ｄ変換器２１５は、入力した撮像信号をアナログ／デジタル変換（Ａ／Ｄ変換）して、デジタルの映像信号に変換する。   The PGA unit 211 performs DC amplification on the input imaging signal using the reference voltage Vref set by the reference power supply 214 as a reference potential. The PGA unit 211 is used as means for switching the sensitivity variation of the image sensor 204 and the sensitivity setting at the time of shooting. First, here, an example of the operation of the PGA unit 211 will be described by taking a case where the sensitivity is 1 as an example. To state. The imaging signal to which a gain of 1 is applied by the PGA unit 211 is transmitted to the A / D converter 215. The A / D converter 215 performs analog / digital conversion (A / D conversion) on the input imaging signal to convert it into a digital video signal.

ＣＰＵ２１７は、Ａ／Ｄ変換器２１５により得られた映像信号を、ＲＡＭ２２１の任意の領域に記録する。更に、ＣＰＵ２１７は、ＲＡＭ２２１上の映像信号に対して、表示部２２３で表示を行うための任意の変換を行って表示用データを生成し、表示部２２３へ送信する。具体的に説明すると、ＲＡＭ２２１に記録された映像信号は、表示系に同期した任意のレートで順次読み出された後、撮像素子２０４における画素数・映像信号形式から表示用の画素数・映像信号形式に変換され、表示部２２３へ順次送られる。そして、表示部２２３は、ユーザが見ることができるように、ライブの動画像を表示する。ＲＡＭ２２１に記録された映像信号のうち、表示された映像信号は、順次新しい映像信号に上書きされる。   The CPU 217 records the video signal obtained by the A / D converter 215 in an arbitrary area of the RAM 221. Further, the CPU 217 performs arbitrary conversion for displaying on the display unit 223 on the video signal on the RAM 221, generates display data, and transmits the display data to the display unit 223. More specifically, the video signal recorded in the RAM 221 is sequentially read out at an arbitrary rate synchronized with the display system, and then the number of pixels / video signal for display from the number of pixels / video signal format in the image sensor 204. It is converted into a format and sent sequentially to the display unit 223. Then, the display unit 223 displays a live moving image so that the user can see it. Of the video signals recorded in the RAM 221, the displayed video signals are sequentially overwritten with new video signals.

ＰＧＡ部２１１から出力される撮像信号は、Ａ／Ｄ変換器２１５だけでなく、Ｓ／Ｈ（サンプル／ホールド）回路２１２へも送られる。Ｓ／Ｈ回路２１２は、駆動信号線２２５を介してＴＧ２１６から送信されるクランプパルスに同期して、入力された撮像信号に対して、サンプル／ホールド処理を行い、サンプル／ホールド処理した撮像信号のレベルを積分アンプ２１３へ送信する。通常、ＴＧ２１６から送信されるクランプパルスは、撮像素子２０４の遮光領域（ＯＢ（Optical Black）領域（オプティカルブラック領域））における撮像信号が出力されるタイミングに合わせて、積分アンプ２１３に出力される。したがって、Ｓ／Ｈ回路２１２は、ＯＢ領域における電圧レベルを、積分アンプ２１３に送信する。   The imaging signal output from the PGA unit 211 is sent not only to the A / D converter 215 but also to the S / H (sample / hold) circuit 212. The S / H circuit 212 performs sample / hold processing on the input imaging signal in synchronization with the clamp pulse transmitted from the TG 216 via the drive signal line 225, and outputs the sampled / held processed imaging signal. The level is transmitted to the integrating amplifier 213. Normally, the clamp pulse transmitted from the TG 216 is output to the integrating amplifier 213 in accordance with the timing at which the imaging signal is output in the light shielding area (OB (Optical Black) area (Optical Black area)) of the imaging element 204. Therefore, the S / H circuit 212 transmits the voltage level in the OB region to the integrating amplifier 213.

積分アンプ２１３は、オペアンプ２１３ａ、コンデンサ２１３ｂ、及び抵抗２１３ｃを備え、任意の積分時定数を持っている。Ｓ／Ｈ回路２１２から出力された「ＯＢ領域における電圧レベル」と、参照電源２１４から供給される基準電圧Ｖｒｅｆとの差分の電圧が、前記積分時定数にて積分されてオフセット加算器２１０に入力される。オフセット加算器２１０は、ＣＤＳ回路２０９でリセットノイズが除去された撮像信号から、積分アンプ２１３から送信された信号を、オフセット電圧として減算する。このように本実施形態では、ＣＤＳ回路２０９でリセットノイズが除去された撮像信号に対して、ネガティブフィードバック制御が行われる。   The integrating amplifier 213 includes an operational amplifier 213a, a capacitor 213b, and a resistor 213c, and has an arbitrary integration time constant. The difference voltage between the “voltage level in the OB region” output from the S / H circuit 212 and the reference voltage Vref supplied from the reference power source 214 is integrated with the integration time constant and input to the offset adder 210. Is done. The offset adder 210 subtracts the signal transmitted from the integrating amplifier 213 as an offset voltage from the imaging signal from which the reset noise has been removed by the CDS circuit 209. Thus, in the present embodiment, negative feedback control is performed on the imaging signal from which reset noise has been removed by the CDS circuit 209.

図２は、ＣＰＵ２１７から送信される水平同期信号ＨＤと、ＣＤＳ回路２０９から送信される撮像信号ＣＤＳと、オフセット加算器２１０から送信される撮像信号ＯＡと、ＴＧ２１６から送信されるクランプパルスＣＰの１Ｈ期間の波形の一例を示す図である。
図２では、１Ｈ期間（水平走査期間）の先頭に、ＯＢ領域の撮像信号を読み出す期間があるものとしている。ＯＢ領域の撮像信号の電位は、撮像素子２０４でのオフセットと暗電流成分とによりオフセット誤差とを有している。このオフセット誤差は、Ｓ／Ｈ回路２１２でサンプル／ホールド処理された撮像信号の電圧レベルと基準電圧Ｖｒｅｆとの差分の電圧を、積分アンプ２１３で積分することにより検出される。そして、オフセット加算器２１０における前述したオフセット加算動作により、ＯＢ領域の撮像信号が有しているオフセット誤差が少なくなる。以上の動作が、１Ｈ期間における「ＯＢ領域の撮像信号を読み出す期間」にクランプパルスＣＰが出力される度に繰り返される。そうすると、ＯＢ領域における電圧レベルは、基準電圧Ｖｒｅｆへ収束していく。収束の早さは、積分アンプ２１３の積分時定数により決定される。 FIG. 2 shows a horizontal synchronization signal HD transmitted from the CPU 217, an imaging signal CDS transmitted from the CDS circuit 209, an imaging signal OA transmitted from the offset adder 210, and 1H of a clamp pulse CP transmitted from the TG 216. It is a figure which shows an example of the waveform of a period.
In FIG. 2, it is assumed that there is a period in which the imaging signal of the OB area is read out at the beginning of the 1H period (horizontal scanning period). The potential of the imaging signal in the OB region has an offset error due to the offset at the imaging element 204 and the dark current component. This offset error is detected by integrating the difference voltage between the voltage level of the imaging signal sampled / held by the S / H circuit 212 and the reference voltage Vref by the integrating amplifier 213. Then, the offset addition operation described above in the offset adder 210 reduces the offset error that the imaging signal in the OB area has. The above operation is repeated each time the clamp pulse CP is output in the “period for reading the imaging signal in the OB area” in the 1H period. As a result, the voltage level in the OB region converges to the reference voltage Vref. The speed of convergence is determined by the integration time constant of the integration amplifier 213.

この積分時定数が短いと、水平ライン毎の「ＯＢ領域における電圧レベル」の参照電圧Ｖｒｅｆへの追従性は早くなる。しかしながら、「ＯＢ領域における電圧レベル」のクランプパルスＣＰが出力されるごとの変動量が多くなる。そうすると、「ＯＢ領域における電圧レベル」は、水平ライン間でばらつき、この水平ライン間のばらつきがノイズとなって現れる。したがって、積分時定数を、この水平ライン間のばらつきによるノイズが問題にならない程度の時間にする必要がある。   When this integration time constant is short, the followability of the “voltage level in the OB region” for each horizontal line to the reference voltage Vref is accelerated. However, the amount of fluctuation increases each time the clamp pulse CP of “voltage level in the OB region” is output. Then, the “voltage level in the OB region” varies between horizontal lines, and the variation between horizontal lines appears as noise. Therefore, it is necessary to set the integration time constant to such a time that noise due to variations between the horizontal lines does not become a problem.

次に、静止画像を撮影するために、操作部２２２に設けられたレリーズＳＷが、ユーザより押された場合の動作の一例を説明する。
静止画像を撮影するために、レリーズＳＷがユーザにより押されると、ＣＰＵ２１７は、本露光のための準備を開始する。具体的にＣＰＵ２１７は、本露光のために必要な設定を各部へ行い、静止画像を撮影するための撮影パラメータを決定して、同期信号を生成した後、通信制御線２２６を介して駆動部２０３を制御して、絞り兼用シャッタ２０１を閉じる。これにより、撮像素子２０４は遮光され、撮像素子２０４に蓄積されている余分な電荷の吐き出しが行われる。電荷の吐き出しが行われ、予め設定された期間が経過した後ＣＰＵ２１７は、駆動部２０３を制御して、絞り兼用シャッタ２０１を開く。これにより、撮像素子２０４に被写体映像が露光される。露光動作が終了した後、ＣＰＵ２１７は、絞り兼用シャッタ２０１を閉じる。これにより、撮像素子２０４からの読み出し動作を開始する。 Next, an example of the operation when the release SW provided in the operation unit 222 is pressed by the user to capture a still image will be described.
When the user presses the release SW to capture a still image, the CPU 217 starts preparation for the main exposure. Specifically, the CPU 217 performs settings necessary for the main exposure to each unit, determines shooting parameters for shooting a still image, generates a synchronization signal, and then drives the driving unit 203 via the communication control line 226. And the aperture / shutter 201 is closed. As a result, the image sensor 204 is shielded from light, and excess charges accumulated in the image sensor 204 are discharged. After discharging the electric charge and elapse of a preset period, the CPU 217 controls the drive unit 203 to open the diaphragm shutter 201. As a result, the subject image is exposed to the image sensor 204. After the exposure operation is completed, the CPU 217 closes the diaphragm / shutter 201. Thereby, the reading operation from the image sensor 204 is started.

ＣＰＵ２１７は、通信制御線２２６を介して、ＴＧ２１６に対して、本露光された撮像信号の読み出しのための設定をＴＧ２１６に対して行う。その後、ＣＰＵ２１７は、ＴＧ２１６へ同期信号を送る。ＴＧ２１６は、この同期信号に合わせて撮像素子２０４を駆動して、撮像素子２０４に蓄積された電荷を、電気信号（撮像信号）として出力させる。撮像素子２０４から出力された撮像信号は、ライブの動画像を読み出すときと同様に、バッファ回路２０６と、コンデンサ２０７とを通して比較器２０８へ送られる。比較器２０８の−入力端子には、Ｄ／Ａ変換器２１８から、基準電圧Ｖｒｅｆよりも低い任意の一定値の電圧が印加されている。このため、比較器２０８は、コンデンサ２０７により直流成分がカットされた撮像信号を、比較動作を行わずに、ＣＤＳ回路２０９へ送信する。   The CPU 217 performs settings for reading out the imaging signal subjected to the main exposure to the TG 216 with respect to the TG 216 via the communication control line 226. Thereafter, the CPU 217 sends a synchronization signal to the TG 216. The TG 216 drives the image sensor 204 in accordance with this synchronization signal, and outputs the electric charge accumulated in the image sensor 204 as an electric signal (image signal). The image pickup signal output from the image pickup element 204 is sent to the comparator 208 through the buffer circuit 206 and the capacitor 207 in the same manner as when reading a live moving image. A voltage having an arbitrary constant value lower than the reference voltage Vref is applied from the D / A converter 218 to the negative input terminal of the comparator 208. For this reason, the comparator 208 transmits the imaging signal whose DC component has been cut by the capacitor 207 to the CDS circuit 209 without performing the comparison operation.

ＣＤＳ回路２０９は、比較器２０８から出力された撮像信号から、撮像素子２０４で生じたリセットノイズを除去して、オフセット加算器２１０に出力する。オフセット加算器２１０は、ＣＤＳ回路２０９でリセットノイズが除去された撮像信号に対して、任意のオフセット電圧を加算してオフセット加算を行う。オフセット電圧が加算された撮像信号は、ＰＧＡ（可変ゲインアンプ）部２１１に入力される。ここでは、ＰＧＡ部２１１における増幅率を１としている。ＰＧＡ部２１１を通過した撮像信号は、Ａ／Ｄ変換器２１５へ送られ、デジタル信号に変換される。   The CDS circuit 209 removes the reset noise generated in the imaging element 204 from the imaging signal output from the comparator 208 and outputs the result to the offset adder 210. The offset adder 210 performs an offset addition by adding an arbitrary offset voltage to the imaging signal from which the reset noise has been removed by the CDS circuit 209. The imaging signal to which the offset voltage is added is input to a PGA (variable gain amplifier) unit 211. Here, the amplification factor in the PGA unit 211 is set to 1. The imaging signal that has passed through the PGA unit 211 is sent to the A / D converter 215 and converted into a digital signal.

ＣＰＵ２１７は、Ａ／Ｄ変換器２１５のＡＤ変換によりデジタルデータとなった撮像信号を、ＲＡＭ２２１の任意の領域に記録する。ＣＰＵ２１７は、ＲＡＭ２２１に撮像信号を記録した後、その撮像信号に対して現像処理を行って静止画像データを生成し、生成した静止画像データを、ＲＡＭ２２１の別の領域に再度記録する。ＣＰＵ２１７は、静止画像データを再び読み出して、表示用データに変換した後、表示部２２３へ送信する。また、ＣＰＵ２１７は、ＲＡＭ２２１から読み出した静止画像データに、記録フォーマットに従うためのヘッダデータを追加する等して画像ファイルを生成する。そして、ＣＰＵ２１７は、生成した画像ファイルを記録部２２４に送信し、画像ファイルを、記録部２２４に設けられている記録媒体の任意の領域に記録する。   The CPU 217 records an imaging signal that has been converted into digital data by AD conversion of the A / D converter 215 in an arbitrary area of the RAM 221. The CPU 217 records the imaging signal in the RAM 221, then performs development processing on the imaging signal to generate still image data, and records the generated still image data in another area of the RAM 221 again. The CPU 217 reads the still image data again, converts it into display data, and transmits it to the display unit 223. Further, the CPU 217 generates an image file by adding header data for complying with the recording format to the still image data read from the RAM 221. Then, the CPU 217 transmits the generated image file to the recording unit 224 and records the image file in an arbitrary area of the recording medium provided in the recording unit 224.

本露光により得られた静止画像データ（画像ファイル）の記録処理が終わると、ＣＰＵ２１７は、ライブの動画像を表示部２２３に再び表示させる。ＣＰＵ２１７は、ＴＧ２１６、ＣＤＳ回路２０９、Ａ／Ｄ変換器２１５等に対して必要な設定を行い、ライブの動画像を撮影するための同期信号を生成して撮像素子２０４の駆動を開始する。これにより、ライブの動画像の表示が開始する。   When the recording process of the still image data (image file) obtained by the main exposure is completed, the CPU 217 displays the live moving image on the display unit 223 again. The CPU 217 performs necessary settings for the TG 216, the CDS circuit 209, the A / D converter 215, and the like, generates a synchronization signal for capturing a live moving image, and starts driving the image sensor 204. Thereby, the display of the live moving image starts.

次に、高感度撮影が撮像装置に設定されている場合の撮像装置における動作の一例を説明する。尚、ライブの動画像を撮影する場合の撮像装置の動作は、前述した通常の静止画像の撮影時と同じなのであるので説明を省略する。
高感度撮影時においては、低感度時には１Ｖｐｐ（peak to peak）であった「撮像素子２０４の出力レベル」が、１００ｍＶｐｐ以下にまで低下する。このため、撮像素子２０４の暗電流や個体差以外に、撮像素子２０４に電力を供給している電源（撮像電源２０５）の変動も、撮像素子２０４から出力される撮像信号に影響を与えることになる。特に、本実施形態のように１Ｈ期間の先頭に、ＯＢ領域の撮像信号を読み出す期間がある場合には、この撮像電源２０５の電源電圧の変動による影響が大きくなる。 Next, an example of the operation in the imaging apparatus when high-sensitivity shooting is set in the imaging apparatus will be described. Note that the operation of the image pickup apparatus when shooting a live moving image is the same as that for shooting a normal still image described above, and a description thereof will be omitted.
At the time of high-sensitivity imaging, the “output level of the image sensor 204”, which was 1 Vpp (peak to peak) at the time of low sensitivity, decreases to 100 mVpp or less. For this reason, in addition to the dark current and individual differences of the image sensor 204, fluctuations in the power source (imaging power source 205) that supplies power to the image sensor 204 also affect the image signal output from the image sensor 204. Become. In particular, when there is a period in which the imaging signal of the OB area is read out at the beginning of the 1H period as in the present embodiment, the influence due to the fluctuation of the power supply voltage of the imaging power supply 205 becomes large.

図３は、高感度撮影の設定時における各種信号の１Ｈ期間の波形の一例を示す図である。具体的に図３には、ＣＰＵ２１７から送信される水平同期信号ＨＤと、ＴＧ２１６から送信されるクランプパルスＣＰと、オフセット加算器２１０から送信される撮像信号ＯＡとが示されている。この他に図３には、撮像電源２０５の電源電圧ＣＣＤＰと、撮像素子２０４から出力される撮像信号ＣＣＤＯＵＴと、高感度撮影時に本露光により得られた撮像信号が入力された場合に比較器２０８から出力される差分撮像信号ＲＳも示されている。尚、図３では、リセットレベルの部分を省略して、撮像信号ＣＣＤＯＵＴの波形を示している。   FIG. 3 is a diagram illustrating an example of a waveform of various signals during the 1H period when high-sensitivity shooting is set. Specifically, FIG. 3 shows a horizontal synchronization signal HD transmitted from the CPU 217, a clamp pulse CP transmitted from the TG 216, and an imaging signal OA transmitted from the offset adder 210. In addition to this, FIG. 3 shows a comparator 208 when the power supply voltage CCDP of the imaging power source 205, the imaging signal CCDOUT output from the imaging device 204, and the imaging signal obtained by the main exposure at the time of high-sensitivity shooting are input. The differential imaging signal RS output from is also shown. In FIG. 3, the waveform of the imaging signal CCDOUT is shown with the reset level portion omitted.

水平同期信号ＨＤに同期したタイミングで撮像素子２０４の駆動が開始された時点では、撮像電源２０５の電源電圧ＣＣＤＰは、負荷の増大により僅かに落ち込む。この落ち込み量は数１０ｍＶであり、低感度撮影が設定されているときには全く問題にならない。しかしながら、高感度撮影が設定されているときには、この落ち込み量がそのまま、ＣＤＳ回路２０９から出力される撮像信号ＣＤＳに影響する。通常は、図２に示す、ＣＤＳ回路２０９から出力される撮像信号ＣＤＳのように、ＯＢ領域から安定した信号が得られる。しかしながら、高感度撮影が設定されている場合、ＣＤＳ回路２０９から出力される撮像信号は、撮像電源２０５の負荷の増加による電圧の落ち込みが重畳された波形となる。   At the time when driving of the image sensor 204 is started at a timing synchronized with the horizontal synchronization signal HD, the power supply voltage CCDP of the imaging power source 205 slightly falls due to an increase in load. The amount of depression is several tens of mV, and there is no problem when low-sensitivity shooting is set. However, when high-sensitivity shooting is set, the amount of drop affects the image signal CDS output from the CDS circuit 209 as it is. Normally, a stable signal can be obtained from the OB region, such as the imaging signal CDS output from the CDS circuit 209 shown in FIG. However, when high-sensitivity shooting is set, the imaging signal output from the CDS circuit 209 has a waveform in which a voltage drop due to an increase in the load of the imaging power supply 205 is superimposed.

この撮像電源２０５の変動の影響を取り除くために、本実施形態では、本露光を行う前に、撮像電源２０５の電源電圧ＣＣＤＰの変動が重畳された撮像信号を取得しておく。そして、本露光時に、この、撮像電源２０５の電源電圧ＣＣＤＰの変動が重畳された撮像信号と、撮像素子２０４から出力された撮像信号との差分をとることで、低感度撮影が設定されたときと同等の撮像信号を得るようにする。尚、以下の説明では、この撮像電源２０５の電源電圧ＣＣＤＰの変動が重畳された撮像信号を、必要に応じて電源変動画像信号と称する。   In this embodiment, in order to remove the influence of the fluctuation of the imaging power supply 205, an imaging signal on which the fluctuation of the power supply voltage CCDP of the imaging power supply 205 is superimposed is acquired before performing the main exposure. When the low-sensitivity shooting is set by taking the difference between the imaging signal on which the fluctuation of the power supply voltage CCDP of the imaging power source 205 is superimposed and the imaging signal output from the imaging element 204 during the main exposure. An image pickup signal equivalent to the above is obtained. In the following description, the imaging signal on which the fluctuation of the power supply voltage CCDP of the imaging power supply 205 is superimposed is referred to as a power fluctuation image signal as necessary.

次に、図４のフローチャートを参照しながら、高感度撮影が設定された場合に本露光を行って静止画像を撮影する際の撮像装置の動作の一例を説明する。
まず、ステップＳ１において、ＣＰＵ２１７は、本露光開始のトリガとなるレリーズＳＷがオンされたことを示す信号が入力されるまで待機する。レリーズＳＷがオンされたことを示す信号が入力されると、ステップＳ２に進み、ＣＰＵ２１７は本露光のための準備を開始する。具体的にＣＰＵ２１７は、ＴＧ２１６、ＣＤＳ回路２０９、Ａ／Ｄ変換器２１５等へ、本露光のために必要な設定を行い、静止画像を撮影するための撮影パラメータを決定して、同期信号を生成する。 Next, an example of the operation of the imaging apparatus when performing still exposure and capturing a still image when high-sensitivity imaging is set will be described with reference to the flowchart of FIG.
First, in step S1, the CPU 217 stands by until a signal indicating that the release SW serving as a trigger for starting the main exposure is turned on is input. When a signal indicating that the release SW is turned on is input, the process proceeds to step S2 and the CPU 217 starts preparation for the main exposure. Specifically, the CPU 217 performs necessary settings for the main exposure to the TG 216, the CDS circuit 209, the A / D converter 215, etc., determines shooting parameters for shooting a still image, and generates a synchronization signal. To do.

次に、ステップＳ３において、ＣＰＵ２１７は、駆動部２０３を制御して、絞り兼用シャッタ２０１を閉じる。これにより、撮像素子２０４は遮光され、撮像素子２０４に蓄積されている余分な電荷の吐き出しが行われる。   Next, in step S <b> 3, the CPU 217 controls the drive unit 203 to close the aperture / shutter 201. As a result, the image sensor 204 is shielded from light, and excess charges accumulated in the image sensor 204 are discharged.

このようにして電荷が吐き出された後、電源変動画像の撮影に移行する。撮像素子（センサ）２０４が駆動している期間中における撮像電源２０５の電源電圧の変動の様子を、電源変動画像として記録する。そこで、ステップＳ４において、ＣＰＵ２１７は、撮像素子２０４が駆動されていないフィードスルー期間又はそれと同等の期間に、撮像信号ＣＣＤＯＵＴの出力時の基準となるクランプ位置であって、ＯＢ領域にあるクランプ位置を変更する。ここで、フィールドスルー期間とは、１Ｈ期間中における「有効画素及びＯＢ領域の読み出しを行った後の読み出し期間」であって、水平駆動パルスが印加されている期間をいう。また、フィールドスルー期間と同等の期間とは、１Ｈ期間中における「有効画素及びＯＢ領域の読み出しを行った後の読み出し期間」であって、水平駆動パルスが印加されていない期間をいう。また、変更するクランプ位置は、撮像素子２０４上の、撮像信号が出力されていない任意の位置とすることができる。このように、本実施形態では、例えば、ステップＳ４の処理を行うことにより、クランプ位置設定手段が実現される。   After the charges are discharged in this way, the process proceeds to taking a power fluctuation image. The state of fluctuation of the power supply voltage of the imaging power supply 205 during the period when the image pickup element (sensor) 204 is driven is recorded as a power supply fluctuation image. Therefore, in step S4, the CPU 217 determines a clamp position that is a reference clamp position when the image pickup signal CCDOUT is output and is in the OB area during a feedthrough period in which the image sensor 204 is not driven or a period equivalent thereto. change. Here, the field through period is a “reading period after the effective pixels and the OB region are read” in the 1H period, and is a period in which a horizontal drive pulse is applied. Further, the period equivalent to the field through period is a “reading period after the effective pixels and the OB region are read” in the 1H period, and is a period in which the horizontal drive pulse is not applied. Also, the clamp position to be changed can be any position on the image sensor 204 where no image signal is output. Thus, in this embodiment, a clamp position setting means is implement | achieved by performing the process of step S4, for example.

次に、ステップＳ５において、ＣＰＵ２１７は、駆動部２０３を制御する等して、絞り兼用シャッタ２０１を閉じたまま、任意の時間、撮像素子２０４の露光動作を行った後、撮像素子２０４から撮像信号をすぐに読み出させる。このとき、ＣＰＵ２１７は、撮像信号を記録するＲＡＭ２２１に十分な容量があれば１Ｖ期間（垂直走査期間）分の撮像信号を読み出させる。一方、ＲＡＭ２２１の容量が少なければ１Ｈ期間分の（１本以上の）撮像信号を読み出させる。ここでは、ＲＡＭ２２１に十分な容量があるとして１Ｖ期間分の撮像信号をＲＡＭ２２１に記録する。このようにして読み出された撮像信号が、電源変動画像信号となる。尚、前記において、任意の時間として、例えば、設定可能な最短時間や、本露光の時間等を採用することができる。   Next, in step S <b> 5, the CPU 217 controls the driving unit 203 to perform the exposure operation of the image sensor 204 for an arbitrary time while the aperture / shutter 201 is closed, and then captures an image signal from the image sensor 204. To be read immediately. At this time, if the RAM 221 for recording the imaging signal has a sufficient capacity, the CPU 217 reads the imaging signal for 1 V period (vertical scanning period). On the other hand, if the capacity of the RAM 221 is small, image pickup signals for one H period (one or more) are read. Here, it is assumed that the RAM 221 has a sufficient capacity, and an imaging signal for 1 V period is recorded in the RAM 221. The imaging signal read out in this way becomes a power fluctuation image signal. In the above description, as an arbitrary time, for example, the shortest time that can be set, the time of main exposure, and the like can be adopted.

撮像素子２０４から出力された電源変動画像信号は、バッファ回路２０６と、コンデンサ２０７とを経て比較器２０８へ送られる。この時点では、比較器２０８の−入力端子には、Ｄ／Ａ変換器２１８から、基準電圧Ｖｒｅｆよりも低い任意の一定値の電圧が印加されている。このため、比較器２０８は、コンデンサ２０７により直流成分がカットされた撮像信号を、比較動作を行わずに、ＣＤＳ回路２０９へ送信する。   The power fluctuation image signal output from the image sensor 204 is sent to the comparator 208 via the buffer circuit 206 and the capacitor 207. At this time, an arbitrary constant voltage lower than the reference voltage Vref is applied from the D / A converter 218 to the negative input terminal of the comparator 208. For this reason, the comparator 208 transmits the imaging signal whose DC component has been cut by the capacitor 207 to the CDS circuit 209 without performing the comparison operation.

ＣＤＳ回路２０９は、比較器２０８から出力された電源変動画像信号からリセットノイズを除去する。更に、ＣＤＳ回路２０９は、撮像素子２０４が駆動していない期間（例えばフィールドスルー期間）にステップＳ４で変更されたクランプ位置の信号を基準電位として、撮像素子２０４から出力された電源変動画像信号に対するクランプ動作を行う。
このように、本実施形態では、本実施形態では、例えば、電源変動画像信号を用いて、負荷変動反映画像信号が実現される。そして、例えば、ステップＳ５においてＣＰＵ２１７、ＲＡＭ２２１、及び撮像素子２０４が行う処理により、負荷変動反映画像信号取得手段が実現される。また、例えば、ステップＳ５においてＣＤＳ回路２０９が行う処理により、負荷変動反映画像処理手段が実現される。 The CDS circuit 209 removes reset noise from the power supply fluctuation image signal output from the comparator 208. Further, the CDS circuit 209 uses the clamp position signal changed in step S4 during a period when the image sensor 204 is not driven (for example, a field-through period) as a reference potential, with respect to the power fluctuation image signal output from the image sensor 204. Perform clamping operation.
Thus, in this embodiment, in this embodiment, a load fluctuation reflecting image signal is realized using, for example, a power supply fluctuation image signal. For example, a load fluctuation reflected image signal acquisition unit is realized by the processing performed by the CPU 217, the RAM 221, and the image sensor 204 in step S5. Further, for example, the load fluctuation reflected image processing means is realized by the process performed by the CDS circuit 209 in step S5.

以上のようなＣＤＳ回路２０９による動作がなされた後に、オフセット加算器２１０は、ＣＤＳ回路２０９から出力された電源変動画像信号に対して、オフセット電圧を加算してオフセット加算を行う。オフセット電圧が加算された電源変動画像信号は、ＰＧＡ（可変ゲインアンプ）部２１１に入力される。ここでは、ＰＧＡ部２１１における増幅率を４としている。ＰＧＡ部２１１を通過した電源変動画像信号は、Ａ／Ｄ変換器２１５へ送られ、デジタル信号に変換される。ＣＰＵ２１７は、このようにしてデジタル化された電源変動画像信号を、ＲＡＭ２２１の任意の領域に順次記録する。このように本実施形態では、例えば、ステップＳ５においてＣＰＵ２１７が行う処理により、記録手段が実現される。   After the operation by the CDS circuit 209 as described above, the offset adder 210 adds an offset voltage to the power supply fluctuation image signal output from the CDS circuit 209 to perform offset addition. The power fluctuation image signal to which the offset voltage is added is input to a PGA (variable gain amplifier) unit 211. Here, the amplification factor in the PGA unit 211 is set to 4. The power fluctuation image signal that has passed through the PGA unit 211 is sent to the A / D converter 215 and converted into a digital signal. The CPU 217 sequentially records the digitized power fluctuation image signal in this manner in an arbitrary area of the RAM 221. Thus, in the present embodiment, for example, a recording unit is realized by the process performed by the CPU 217 in step S5.

１Ｖ期間分の電源変動画像信号がＲＡＭ２２１に記録された後、ステップＳ６において、ＣＰＵ２１７は、ＲＡＭ２２１に記録された電源変動画像信号を読み出す。そして、ＣＰＵ２１７は、電源変動画像信号におけるＯＢ領域の部分の変動を解析し、任意の演算を行って、撮像電源２０５の電源変動に基づくＯＢ領域の画素値の変動量を求める。このように、本実施形態では、例えば、ステップＳ６の処理を行うことにより、導出手段が実現される。   After the power fluctuation image signal for 1 V period is recorded in the RAM 221, the CPU 217 reads the power fluctuation image signal recorded in the RAM 221 in step S <b> 6. Then, the CPU 217 analyzes the fluctuation of the portion of the OB area in the power fluctuation image signal, performs an arbitrary calculation, and obtains the fluctuation amount of the pixel value of the OB area based on the power fluctuation of the imaging power source 205. Thus, in the present embodiment, for example, a derivation unit is realized by performing the process of step S6.

次に、ステップＳ７において、ＣＰＵ２１７は、求めた変動量が、予め設定された値（設定値）より大きいか否かを判定する。この判定の結果、求めた変動量が、予め設定された値（設定値）より大きくない場合には、撮像電源２０５の電源電圧の変動による撮像信号の影響は無いものと判断し、低感度撮影の設定が行われている場合と同様の撮影処理動作を行う。ステップＳ８において、ＣＰＵ２１７は、基準電圧Ｖｒｅｆよりも低い任意の一定値の電圧をＤ／Ａ変換器２１８から出力させる。   Next, in step S7, the CPU 217 determines whether or not the obtained fluctuation amount is larger than a preset value (set value). As a result of this determination, if the obtained fluctuation amount is not larger than a preset value (set value), it is determined that there is no influence of the imaging signal due to the fluctuation of the power supply voltage of the imaging power supply 205, and low-sensitivity imaging is performed. The same photographing processing operation as that in the case where the setting is performed is performed. In step S <b> 8, the CPU 217 causes the D / A converter 218 to output an arbitrary constant voltage lower than the reference voltage Vref.

そして、ステップＳ９において、本露光が行われ、ステップＳ１０において、本露光により得られた撮像信号に対して、比較器２０８、ＣＤＳ回路２０９、オフセット加算器２１０、ＰＧＡ部２１１、及びＡ／Ｄ変換器２１５による前述した処理が行われる。これにより、デジタルの撮像信号が生成される。
次に、ステップＳ１１において、ＣＰＵ２１７は、デジタルの撮像信号に対して現像処理を行い、静止画像データを生成する。そして、ＣＰＵ２１７は、生成した静止画像データを、ＲＡＭ２２１に記録する。更にＣＰＵ２１７は、静止画像データをＲＡＭ２２１から読み出して、表示用データに変換した後、表示部２２３へ送信する。また、ＣＰＵ２１７は、ＲＡＭ２２１から読み出した静止画像データに、記録フォーマットに従うためのヘッダデータを追加する等して画像ファイルを生成する。そして、ＣＰＵ２１７は、生成した画像ファイルを記録部２２４に送信し、画像ファイルを、記録部２２４に設けられている記録媒体の任意の領域に記録する。 In step S9, the main exposure is performed. In step S10, the comparator 208, the CDS circuit 209, the offset adder 210, the PGA unit 211, and the A / D conversion are performed on the imaging signal obtained by the main exposure. The processing described above by the device 215 is performed. Thereby, a digital imaging signal is generated.
Next, in step S11, the CPU 217 performs development processing on the digital imaging signal to generate still image data. Then, the CPU 217 records the generated still image data in the RAM 221. Further, the CPU 217 reads still image data from the RAM 221, converts it into display data, and transmits the display data to the display unit 223. Further, the CPU 217 generates an image file by adding header data for complying with the recording format to the still image data read from the RAM 221. Then, the CPU 217 transmits the generated image file to the recording unit 224 and records the image file in an arbitrary area of the recording medium provided in the recording unit 224.

ステップＳ７において、撮像電源２０５の電源変動に基づくＯＢ領域の画素値の変動量が、予め設定された値（設定値）より大きい場合には、ステップＳ１２に進む。ステップＳ１２に進むと、ＣＰＵ２１７は、電源変動画像信号と、本露光により得られる撮像信号との差分を演算する準備を行う。具体的にＣＰＵ２１７は、本露光用の同期信号と同期して、Ｄ／Ａ変換器２１８に、ＲＡＭ２２１に記録された電源変動画像信号を順次送る。これにより、電源変動画像信号が、アナログの信号として比較器２０８の−入力端子に印加される。   If the amount of change in the pixel value of the OB region based on the power supply fluctuation of the imaging power supply 205 is larger than a preset value (set value) in step S7, the process proceeds to step S12. In step S12, the CPU 217 prepares to calculate the difference between the power fluctuation image signal and the imaging signal obtained by the main exposure. Specifically, the CPU 217 sequentially sends the power fluctuation image signal recorded in the RAM 221 to the D / A converter 218 in synchronization with the synchronization signal for main exposure. As a result, the power fluctuation image signal is applied to the negative input terminal of the comparator 208 as an analog signal.

ここで、ＲＡＭ２２１に、電源変動画像信号が１Ｈ期間分のみある場合、ＣＰＵ２１７は、この１Ｈ期間分の電源変動画像信号を、本露光の撮影中に撮像素子２０４から出力される撮像信号と同期するように、繰り返しＤ／Ａ変換器２１８へ送信する。一方、ＲＡＭ２２１に、電源変動画像信号が１Ｖ期間分ある場合、ＣＰＵ２１７は、本露光の撮影中に撮像素子２０４から出力される垂直ライン（Ｖ）毎の撮像信号と同期するように、電源変動画像信号を、Ｄ／Ａ変換器２１８へ送信する。更に、ＲＡＭ２２１に十分な領域がある場合、ＣＰＵ２１７は、複数フィールドの露光に対しても対応できるように、複数の垂直走査期間（Ｖ期間）の電源変動画像信号をＲＡＭ２２１に記録しておき、これをＤ／Ａ変換器２１８に順次送信することもできる。
また、ＣＰＵ２１７は、以上の動作と共に、電源変動画像を撮影したときに変更したクランプ位置をもとの位置に戻す。
以上のように、本実施形態では、例えば、ステップＳ１２においてＣＰＵ２１７が行う処理によりクランプ位置再設定手段が実現される。 Here, when the power fluctuation image signal is only in the RAM 221 for the 1H period, the CPU 217 synchronizes the power fluctuation image signal for the 1H period with the imaging signal output from the image sensor 204 during the main exposure shooting. Thus, the data is repeatedly transmitted to the D / A converter 218. On the other hand, when there is a power supply fluctuation image signal for 1 V period in the RAM 221, the CPU 217 synchronizes with the image pickup signal for each vertical line (V) output from the image sensor 204 during the main exposure shooting. The signal is transmitted to the D / A converter 218. Further, when there is a sufficient area in the RAM 221, the CPU 217 records power supply fluctuation image signals in a plurality of vertical scanning periods (V periods) in the RAM 221 so that it can cope with exposure in a plurality of fields. Can be sequentially transmitted to the D / A converter 218.
In addition to the above operations, the CPU 217 returns the clamp position changed when the power fluctuation image is captured to the original position.
As described above, in this embodiment, for example, the clamp position resetting unit is realized by the process performed by the CPU 217 in step S12.

次に、ステップＳ１３において、ＣＰＵ２１７は、本露光を開始する。まず、ＣＰＵ２１７は、絞り兼用シャッタ２０１を閉じて、撮像素子２０４に蓄積されている余分な電荷を吐き出させる。その後、予め設定された期間、絞り兼用シャッタ２０１を開き、撮像素子２０４に対して被写体映像の露光を行う。ＣＰＵ２１７は、予め設定された期間が経過した後、駆動部２０３を制御して、絞り兼用シャッタ２０１を開く。これにより、撮像素子２０４からの読み出し動作を開始する。   Next, in step S13, the CPU 217 starts main exposure. First, the CPU 217 closes the aperture / shutter 201 and discharges excess charges accumulated in the image sensor 204. Thereafter, the aperture / shutter 201 is opened for a preset period, and the subject image is exposed to the image sensor 204. After a preset period has elapsed, the CPU 217 controls the drive unit 203 to open the diaphragm / shutter 201. Thereby, the reading operation from the image sensor 204 is started.

そして、ＣＰＵ２１７は、本露光された撮像信号の読み出しのための設定をＴＧ２１６に対して行う。その後、ＣＰＵ２１７は、ＴＧ２１６へ同期信号を送る。ＴＧ２１６は、同期信号にあわせて撮像素子２０４を駆動し、撮像素子２０４に蓄積された電荷を、電気信号（撮像信号）として出力させる。前述したように、ＣＰＵ２１７は、この撮像信号の出力と同期して、Ｄ／Ａ変換器２１８へ電源変動画像信号を送信する。   Then, the CPU 217 performs setting for reading out the imaging signal subjected to the main exposure to the TG 216. Thereafter, the CPU 217 sends a synchronization signal to the TG 216. The TG 216 drives the image sensor 204 in accordance with the synchronization signal, and outputs the electric charge accumulated in the image sensor 204 as an electric signal (image signal). As described above, the CPU 217 transmits the power fluctuation image signal to the D / A converter 218 in synchronization with the output of the imaging signal.

撮像素子２０４から出力された撮像信号は、バッファ回路２０６と、コンデンサ２０７とを通して比較器２０８へ送信される。比較器２０８は、本露光により得られた撮像信号と、Ｄ／Ａ変換器２１８から送信された電源変動画像信号との差分を示す差分撮像信号ＲＳが出力される。このとき、Ｄ／Ａ変換器２１８から送信される電源変動画像信号は、本露光により得られた撮像信号と電圧レベルが交差しないように、予めオフセットが加えられている。
以上のように、本実施形態では、例えば、ステップＳ１３においてＣＰＵ２１７及びＤ／Ａ変換器２１８が行う処理により変換手段が実現される。また、例えば、ステップＳ１３において比較器２０８が行う処理により撮像信号補正手段が実現される。また、例えば、差分撮像信号ＲＳを用いて、差分信号が実現される。 The imaging signal output from the imaging element 204 is transmitted to the comparator 208 through the buffer circuit 206 and the capacitor 207. The comparator 208 outputs a differential imaging signal RS indicating a difference between the imaging signal obtained by the main exposure and the power fluctuation image signal transmitted from the D / A converter 218. At this time, the power supply fluctuation image signal transmitted from the D / A converter 218 is offset in advance so that the voltage level does not intersect with the imaging signal obtained by the main exposure.
As described above, in this embodiment, for example, the conversion unit is realized by the processing performed by the CPU 217 and the D / A converter 218 in step S13. In addition, for example, the imaging signal correction unit is realized by the process performed by the comparator 208 in step S13. Further, for example, a differential signal is realized using the differential imaging signal RS.

比較器２０８で差分処理が行われることにより得られた差分撮像信号ＲＳは、ＣＤＳ回路２０９へ送信される。この差分撮像信号ＲＳの波形は、図３に示した通りである。ステップＳ１５において、ＣＤＳ回路２０９は、差分撮像信号ＲＳから、撮像素子２０４で生じたリセットノイズを除去する。また、ＣＤＳ回路２０９は、ステップＳ１２で元に戻されたクランプ位置の信号を基準電位として、差分撮像信号ＲＳに対するクランプ動作を行う。差分撮像信号ＲＳのＯＢ領域の部分は、電源変動画像信号を用いて補正されている。このため、ＯＢ領域の部分を用いたクランプ動作を行っても、差分撮像信号のレベルの変動が抑えられる。以上のように、本実施形態では、例えば、ステップＳ１３においてＣＤＳ回路２０９が行う処理により撮像信号処理手段が実現される。   The difference imaging signal RS obtained by performing the difference processing in the comparator 208 is transmitted to the CDS circuit 209. The waveform of the differential imaging signal RS is as shown in FIG. In step S15, the CDS circuit 209 removes reset noise generated in the image sensor 204 from the differential image signal RS. In addition, the CDS circuit 209 performs a clamping operation on the differential imaging signal RS, using the signal at the clamping position returned in step S12 as a reference potential. The portion of the OB area of the differential imaging signal RS is corrected using the power fluctuation image signal. For this reason, even if the clamping operation using the portion of the OB region is performed, fluctuations in the level of the differential imaging signal can be suppressed. As described above, in this embodiment, for example, the imaging signal processing unit is realized by the process performed by the CDS circuit 209 in step S13.

そして、このクランプ動作に伴うオフセット電圧と差分撮像信号ＲＳとの加算が、オフセット加算器２１０で行われたのち、ＰＧＡ部２１１による増幅が行われる。ここではＰＧＡ部２１１における増幅率を４としている。ＰＧＡ部２１１を通過した差分撮像信号ＲＳは、Ａ／Ｄ変換器２１５へ送られ、デジタル信号に変換される。
ＣＰＵ２１７は、このようにしてデジタル化された差分撮像信号を、ＲＡＭ２２１の任意の領域に記録する。 Then, the offset voltage accompanying the clamp operation and the difference imaging signal RS are added by the offset adder 210 and then amplified by the PGA unit 211. Here, the amplification factor in the PGA unit 211 is set to 4. The differential imaging signal RS that has passed through the PGA unit 211 is sent to the A / D converter 215 and converted into a digital signal.
The CPU 217 records the difference image signal thus digitized in an arbitrary area of the RAM 221.

そして、ステップＳ１１に進み、ＣＰＵ２１７は、デジタル化された差分撮像信号に対して現像処理を行い、静止画像データを生成する。そして、ＣＰＵ２１７は、生成した静止画像データを、ＲＡＭ２２１の別の領域に記録する。更にＣＰＵ２１７は、静止画像データをＲＡＭ２２１から読み出して、表示用データに変換した後、表示部２２３へ送信する。また、ＣＰＵ２１７は、ＲＡＭ２２１から読み出した静止画像データに、記録フォーマットに従うためのヘッダデータを追加する等して画像ファイルを生成する。そして、ＣＰＵ２１７は、生成した画像ファイルを記録部２２４に送信し、画像ファイルを、記録部２２４に設けられている記録媒体の任意の領域に記録する。   In step S11, the CPU 217 performs development processing on the digitized difference image signal to generate still image data. Then, the CPU 217 records the generated still image data in another area of the RAM 221. Further, the CPU 217 reads still image data from the RAM 221, converts it into display data, and transmits the display data to the display unit 223. Further, the CPU 217 generates an image file by adding header data for complying with the recording format to the still image data read from the RAM 221. Then, the CPU 217 transmits the generated image file to the recording unit 224 and records the image file in an arbitrary area of the recording medium provided in the recording unit 224.

尚、本露光により得られた差分撮像信号に基づく画像ファイルの記録処理が終わった状態で、依然としてレリーズＳＷが押されている場合、ＣＰＵ２１７は連続撮影動作を行う。この連続撮影動作自体は、前述した高感度撮影が撮影されているときの撮影シーケンスと同じでも良いが、撮影間隔を短縮するため、先に記録してある電源変動画像信号を再度用いて、撮像信号を補正してもよい。   When the release SW is still pressed after the image file recording process based on the differential imaging signal obtained by the main exposure is completed, the CPU 217 performs a continuous shooting operation. This continuous shooting operation itself may be the same as the shooting sequence when the high-sensitivity shooting described above is shot. However, in order to shorten the shooting interval, the power fluctuation image signal recorded in advance is used again to capture the image. The signal may be corrected.

レリーズＳＷが解除されると、ＣＰＵ２１７は、ライブの動画像を表示するモードへ再び移行する。ＣＰＵ２１７は、ＴＧ２１６、ＣＤＳ回路２０９、Ａ／Ｄ変換器２１５等へ必要な設定を行い、動画像用の同期信号を生成して、撮像素子２０４の駆動を開始する。そして、前述したようにしてライブの動画像の表示が開始する。   When the release SW is released, the CPU 217 again shifts to a mode for displaying a live moving image. The CPU 217 performs necessary settings for the TG 216, the CDS circuit 209, the A / D converter 215, etc., generates a synchronization signal for moving images, and starts driving the image sensor 204. Then, as described above, the display of the live moving image starts.

以上のように本実施形態では、本露光を行う前（撮像素子２０４から撮像信号が出力されていない期間）に、撮像素子２０４上の撮像信号が出力されていない任意の位置に、クランプ位置を変更する。そして、変更したクランプ位置の信号を基準電位として、撮像電源２０５の電源電圧の変動が重畳された電源変動画像信号を処理して記録しておき、この電源変動画像信号を用いて、本露光時に得られた撮像信号を補正するようにした。したがって、高感度撮影が設定されているときに、撮像信号に影響を及ぼすレベルの電源変動があり、ＯＢ領域の画素値が変動しても、撮像電源２０５の電源変動に基づく影響を低減した撮像画像を、特殊な電源の使用しなくても得ることができる。よって、低感度撮影が設定されたときと同様に、ノイズの影響が少ない撮像画像を得ることが可能である。このように、本実施形態では、撮像素子２０４の負荷変動が大きくなる読み出し方法を利用する撮影モードでも、撮像電源２０５の応答特性をキャンセルできる、より高品位な画像信号を得ることができ、Ｓ／Ｎ比が劣化しがちな場合でも撮影画像の画質を向上できる。   As described above, in the present embodiment, the clamp position is set at an arbitrary position where the image signal on the image sensor 204 is not output before the main exposure is performed (period in which the image signal is not output from the image sensor 204). change. Then, using the changed clamp position signal as a reference potential, the power fluctuation image signal on which the fluctuation of the power supply voltage of the imaging power supply 205 is superimposed is processed and recorded, and this power fluctuation image signal is used during the main exposure. The obtained imaging signal was corrected. Therefore, when high-sensitivity shooting is set, there is a power supply fluctuation at a level that affects the imaging signal, and even if the pixel value in the OB region fluctuates, imaging that reduces the influence due to the power fluctuation of the imaging power supply 205 Images can be obtained without the use of a special power source. Therefore, it is possible to obtain a captured image that is less affected by noise, similar to when low-sensitivity shooting is set. As described above, in the present embodiment, a higher-quality image signal that can cancel the response characteristic of the imaging power supply 205 can be obtained even in a shooting mode that uses a readout method in which the load fluctuation of the imaging device 204 increases. Even when the / N ratio tends to deteriorate, the quality of the captured image can be improved.

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。尚、本実施形態の説明において、前述した第１の実施形態と同一の部分については、図１〜図４に付した符号と同一の符号を付す等して詳細な説明を省略する。
図５は、撮像装置の構成の一例を示すブロック図である。図５を参照しながら、高感度撮影が設定された場合の本実施形態における撮像装置の動作の一例について述べる。 (Second Embodiment)
Next, a second embodiment of the present invention will be described. In the description of the present embodiment, the same parts as those of the first embodiment described above are denoted by the same reference numerals as those shown in FIGS.
FIG. 5 is a block diagram illustrating an example of the configuration of the imaging apparatus. With reference to FIG. 5, an example of the operation of the imaging apparatus in the present embodiment when high-sensitivity shooting is set will be described.

まず、本露光開始のトリガとなるレリーズＳＷがオンされたことを示す信号が入力されると、ＣＰＵ５１７は、本露光のための準備を開始する。具体的にＣＰＵ５１７は、ＴＧ２１６、ＣＤＳ回路２０９、Ａ／Ｄ変換器２１５等へ、本露光のために必要な設定を行い、静止画像を撮影するための撮影パラメータを決定して、同期信号を生成する。そして、ＣＰＵ５１７は、駆動部２０３を制御して、絞り兼用シャッタ２０１を閉じる。これにより、撮像素子２０４は遮光され、撮像素子２０４に蓄積されている余分な電荷の吐き出しが行われる。   First, when a signal indicating that the release SW serving as a trigger for starting main exposure is turned on is input, the CPU 517 starts preparation for main exposure. Specifically, the CPU 517 performs necessary settings for the main exposure to the TG 216, the CDS circuit 209, the A / D converter 215, etc., determines shooting parameters for shooting a still image, and generates a synchronization signal. To do. Then, the CPU 517 controls the driving unit 203 to close the aperture / shutter 201. As a result, the image sensor 204 is shielded from light, and excess charges accumulated in the image sensor 204 are discharged.

このようにして電荷が吐き出された後、電源変動画像の撮影に移行する。本実施形態では、ＣＤＳ＋Ａ／Ｄ変換器５０６の内部にあるＲＡＭ５２５に、電源変動画像信号を記録し、ＣＤＳ＋Ａ／Ｄ変換器５０６の内部で、ＲＡＭ５２５に記録された電源変動画像信号を用いて、本露光により得られた撮像信号を補正する構成としている。ＣＰＵ５１７は、撮像信号ＣＣＤＯＵＴの出力時の基準となるクランプ位置を、ＯＢ領域の位置から、撮像素子２０４が駆動されていないフィードスルー期間又はそれと同等の期間における位置に変更する。これと同時に、ＣＰＵ５１７は、ＣＤＳ＋Ａ／Ｄ変換器５０６に設けられたＲＡＭ５２５に、電源変動画像信号を記録するための設定を行う。   After the charges are discharged in this way, the process proceeds to taking a power fluctuation image. In the present embodiment, the power fluctuation image signal is recorded in the RAM 525 inside the CDS + A / D converter 506, and the power fluctuation image signal recorded in the RAM 525 is used inside the CDS + A / D converter 506. The imaging signal obtained by exposure is corrected. The CPU 517 changes the clamp position serving as a reference when the image pickup signal CCDOUT is output from the position of the OB area to a position in a feedthrough period in which the image sensor 204 is not driven or a period equivalent thereto. At the same time, the CPU 517 performs setting for recording the power supply fluctuation image signal in the RAM 525 provided in the CDS + A / D converter 506.

その後、ＣＰＵ５１７は、駆動部２０３を制御する等して、絞り兼用シャッタ２０１を閉じたまま、任意の時間（好ましくは設定可能な最短時間）、撮像素子２０４の露光動作を行った後、撮像素子２０４から撮像信号をすぐに読み出させる。ここでは、ＣＰＵ２１７は、１Ｈ期間分の撮像信号を、電源変動画像信号として読み出させるようにする。
撮像素子２０４から出力された電源変動画像信号は、バッファ回路２０６と、コンデンサ２０７とを経てＣＤＳ＋Ａ／Ｄ変換器５０６内のＣＤＳ回路５０９へ送られる。 Thereafter, the CPU 517 controls the driving unit 203 to perform the exposure operation of the image sensor 204 for an arbitrary time (preferably the shortest time that can be set) while the aperture / shutter 201 is closed, and then the image sensor The imaging signal is immediately read from 204. Here, the CPU 217 reads out the imaging signals for the 1H period as power supply fluctuation image signals.
The power fluctuation image signal output from the image sensor 204 is sent to the CDS circuit 509 in the CDS + A / D converter 506 through the buffer circuit 206 and the capacitor 207.

ＣＤＳ回路５０９は、入力した電源変動画像信号からリセットノイズを除去し、且つ、撮像素子２０４が駆動していない期間（例えばフィールドスルー期間）に、撮像素子２０４から出力された電源変動画像信号に対するクランプ動作を行う。そして、このような動作がなされた後に、オフセット加算器５１０は、ＣＤＳ回路５０９から出力された電源変動画像信号に対して、オフセット電圧を加算してオフセット加算を行う。オフセット電圧が加算された電源変動画像信号は、ＰＧＡ（可変ゲインアンプ）部２１１に入力される。ここでは、ＰＧＡ部２１１における増幅率を４としている。ＰＧＡ部２１１を通過した電源変動画像信号は、Ａ／Ｄ変換器５１５へ送られ、デジタル信号に変換される。このようにしてデジタル化された電源変動画像信号は、ＣＤＳ＋Ａ／Ｄ変換器５０６内のＲＡＭ５２５に記録されるのと同時に、ＣＰＵ５１７にも送信される。ＣＰＵ５１７は、受信した電源変動画像信号を、ＣＰＵ側のＲＡＭ２２１における任意の領域に順次記録する。   The CDS circuit 509 removes reset noise from the input power fluctuation image signal, and clamps the power fluctuation image signal output from the image sensor 204 during a period when the image sensor 204 is not driven (for example, a field-through period). Perform the action. After such an operation is performed, the offset adder 510 adds an offset voltage to the power supply fluctuation image signal output from the CDS circuit 509 to perform offset addition. The power fluctuation image signal to which the offset voltage is added is input to a PGA (variable gain amplifier) unit 211. Here, the amplification factor in the PGA unit 211 is set to 4. The power fluctuation image signal that has passed through the PGA unit 211 is sent to the A / D converter 515 and converted into a digital signal. The power fluctuation image signal digitized in this way is recorded in the RAM 525 in the CDS + A / D converter 506 and simultaneously transmitted to the CPU 517. The CPU 517 sequentially records the received power fluctuation image signal in an arbitrary area in the CPU-side RAM 221.

１Ｈ期間分の電源変動画像信号が、ＲＡＭ５２５、２２１に記録された後、ＣＰＵ５１７は、ＲＡＭ２２１に記録された電源変動画像信号を読み出す。そして、ＣＰＵ５１７は、電源変動画像信号におけるＯＢ領域の部分の変動を解析し、任意の演算を行って、撮像電源２０５の電源変動に基づくＯＢ領域の画素値の変動量を求める。一方、求めた変動量が、予め設定された値（設定値）より大きくない場合、ＣＰＵ５１７は撮像電源２０５の電源電圧の変動による撮像信号の影響は無いものと判断する。そして、低感度撮影の設定が行われている場合と同様の撮影処理動作が行われる（図４のステップＳ８〜Ｓ１１を参照）。   After the power fluctuation image signal for 1H period is recorded in the RAMs 525 and 221, the CPU 517 reads the power fluctuation image signal recorded in the RAM 221. Then, the CPU 517 analyzes the fluctuation of the OB area portion in the power fluctuation image signal, performs an arbitrary calculation, and obtains the fluctuation amount of the pixel value in the OB area based on the power fluctuation of the imaging power supply 205. On the other hand, when the obtained fluctuation amount is not larger than a preset value (set value), the CPU 517 determines that there is no influence of the imaging signal due to the fluctuation of the power supply voltage of the imaging power supply 205. Then, the same photographing processing operation as that when low-sensitivity photographing is set is performed (see steps S8 to S11 in FIG. 4).

一方、求めた変動量が、予め設定された値（設定値）より大きい場合、ＣＰＵ５１７は、ＴＧ２１６を介して、ＣＤＳ＋Ａ／Ｄ変換器５０６に対して、ＲＡＭ５２５に記録されている電源変動画像信号を読み出してＤ／Ａ変換するための設定を行う。これにより、次に露光された撮像信号を処理する際には、ＲＡＭ５２５に記録されている電源変動画像信号が、Ｄ／Ａ変換されて、オフセット加算器５１０に入力される。ＲＡＭ５２５には、１Ｈ期間分の電源変動画像信号のみが記録されている。このため、この１Ｈ期間分の電源変動画像信号が、本露光による撮影中、繰り返しＤ／Ａ変換器５１８へ送信されるようにする。また、ＣＰＵ５１７は、以上のような設定と共に、電源変動画像を撮影したときに変更したクランプ位置をもとの位置に戻す。   On the other hand, when the obtained fluctuation amount is larger than a preset value (set value), the CPU 517 sends the power fluctuation image signal recorded in the RAM 525 to the CDS + A / D converter 506 via the TG 216. Setting for reading and D / A conversion is performed. As a result, when the next exposed image signal is processed, the power fluctuation image signal recorded in the RAM 525 is D / A converted and input to the offset adder 510. In the RAM 525, only the power fluctuation image signal for 1H period is recorded. For this reason, the power fluctuation image signal for the 1H period is repeatedly transmitted to the D / A converter 518 during photographing by the main exposure. In addition to the above settings, the CPU 517 returns the clamp position changed when the power fluctuation image is captured to the original position.

その後、ＣＰＵ５１７は、本露光を開始する。まず、ＣＰＵ５１７は、絞り兼用シャッタ２０１を閉じて、撮像素子２０４に蓄積されている余分な電荷を吐き出させる。その後、予め設定された期間、絞り兼用シャッタ２０１を開き、撮像素子２０４に対して被写体映像の露光を行う。ＣＰＵ５１７は、予め設定された期間が経過した後、駆動部２０３を制御して、絞り兼用シャッタ２０１を開く。これにより、撮像素子２０４からの読み出し動作を開始する。   Thereafter, the CPU 517 starts main exposure. First, the CPU 517 closes the diaphragm / shutter 201 and discharges excess charges accumulated in the image sensor 204. Thereafter, the aperture / shutter 201 is opened for a preset period, and the subject image is exposed to the image sensor 204. After the preset period has elapsed, the CPU 517 controls the drive unit 203 to open the diaphragm / shutter 201. Thereby, the reading operation from the image sensor 204 is started.

そして、ＣＰＵ５１７は、本露光された撮像信号の読み出しのための設定をＴＧ２１６に対して行う。その後、ＣＰＵ２１７は、ＴＧ２１６へ同期信号を送る。ＴＧ２１６は、同期信号にあわせて撮像素子２０４を駆動し、撮像素子２０４に蓄積された電荷を、電気信号（撮像信号）として出力させる。
撮像素子２０４から出力された撮像信号は、バッファ回路２０６と、コンデンサ２０７とを通して、ＣＤＳ＋Ａ／Ｄ変換器５０６内のＣＤＳ回路５０９へ送信される。 Then, the CPU 517 performs setting for reading out the imaging signal subjected to the main exposure to the TG 216. Thereafter, the CPU 217 sends a synchronization signal to the TG 216. The TG 216 drives the image sensor 204 in accordance with the synchronization signal, and outputs the electric charge accumulated in the image sensor 204 as an electric signal (image signal).
The imaging signal output from the imaging element 204 is transmitted to the CDS circuit 509 in the CDS + A / D converter 506 through the buffer circuit 206 and the capacitor 207.

ＣＤＳ回路５０９は、入力した撮像信号から、撮像素子２０４で生じたリセットノイズを除去する。また、撮像信号のＯＢ領域の部分は、後述するＤ／Ａ変換器５１８でデジタル化された電源変動画像信号により補正されている。このため、ＯＢ領域の部分を用いたクランプ動作を行っても、撮像信号のレベルの変動が抑えられる。
オフセット加算器５１０は、このクランプ動作に伴う補正と、Ｄ／Ａ変換器５１８でデジタル化された電源変動画像信号を用いた補正とを、入力した撮像信号に対して行う。これにより、本露光が行われることにより得られた撮像信号に対して、撮像電源２０５の電源電圧の変動と、ＯＢ領域の画素値の変動との補正が行われる。このようにして補正が行われた撮像信号は、ＰＧＡ部２１１で増幅される。ここではＰＧＡ部２１１における増幅率を４としている。ＰＧＡ部２１１を通過した撮像信号は、Ａ／Ｄ変換器５１５へ送られ、デジタル信号に変換される。 The CDS circuit 509 removes reset noise generated in the image sensor 204 from the input image signal. In addition, the portion of the OB area of the imaging signal is corrected by a power fluctuation image signal digitized by a D / A converter 518 described later. For this reason, even if the clamping operation using the portion of the OB region is performed, fluctuations in the level of the imaging signal can be suppressed.
The offset adder 510 performs the correction associated with the clamping operation and the correction using the power fluctuation image signal digitized by the D / A converter 518 on the input imaging signal. As a result, the fluctuation of the power supply voltage of the imaging power supply 205 and the fluctuation of the pixel value in the OB area are corrected for the imaging signal obtained by performing the main exposure. The image signal thus corrected is amplified by the PGA unit 211. Here, the amplification factor in the PGA unit 211 is set to 4. The imaging signal that has passed through the PGA unit 211 is sent to the A / D converter 515 and converted into a digital signal.

Ａ／Ｄ変換器５１５によりデジタル化された撮像信号は、ＣＰＵ５１７によって、ＲＡＭ２２１の任意の領域に記録される。その後、ＣＰＵ５１７は、デジタル化された撮像信号に対して現像処理を行い、静止画像データを生成し、生成した静止画像データを、ＲＡＭ２２１の別の領域に記録する。更にＣＰＵ５１７は、静止画像データをＲＡＭ２２１から読み出して、表示用データに変換した後、表示部２２３へ送信する。また、ＣＰＵ５１７は、ＲＡＭ２２１から読み出した静止画像データに、記録フォーマットに従うためのヘッダデータを追加する等して画像ファイルを生成する。そして、ＣＰＵ５１７は、生成した画像ファイルを記録部２２４に送信し、画像ファイルを、記録部２２４に設けられている記録媒体の任意の領域に記録する。   The imaging signal digitized by the A / D converter 515 is recorded in an arbitrary area of the RAM 221 by the CPU 517. Thereafter, the CPU 517 performs development processing on the digitized imaging signal, generates still image data, and records the generated still image data in another area of the RAM 221. Further, the CPU 517 reads still image data from the RAM 221, converts it into display data, and transmits the display data to the display unit 223. Further, the CPU 517 generates an image file by adding header data for complying with the recording format to the still image data read from the RAM 221. Then, the CPU 517 transmits the generated image file to the recording unit 224 and records the image file in an arbitrary area of the recording medium provided in the recording unit 224.

尚、本露光により得られた差分撮像信号に基づく画像ファイルの記録処理が終わった状態で、依然としてレリーズＳＷが押されている場合、ＣＰＵ２１７は連続撮影動作を行う。この連続撮影動作自体は、前述した高感度撮影が撮影されているときの撮影シーケンスと同じでも良いが、撮影間隔を短縮するため、先にＣＤＳ＋Ａ／Ｄ変換器５０６の内部に記録してある電源変動画像信号を再度用いて、撮像信号を補正してもよい。
そして、レリーズＳＷが解除されると、ＣＰＵ５１７は、前述したように、ライブの動画像を表示するモードへ再び移行する。 When the release SW is still pressed after the image file recording process based on the differential imaging signal obtained by the main exposure is completed, the CPU 217 performs a continuous shooting operation. The continuous shooting operation itself may be the same as the shooting sequence when the above-described high-sensitivity shooting is being shot. However, in order to shorten the shooting interval, the power source previously recorded in the CDS + A / D converter 506 is used. The imaging signal may be corrected using the fluctuating image signal again.
When the release SW is released, the CPU 517 again shifts to a mode for displaying a live moving image as described above.

以上のように本実施形態では、撮像電源２０５の電源電圧ＣＣＤＰの変動が重畳された電源変動画像信号を、ＣＤＳ＋Ａ／Ｄ変換器５０６の内部に記録しておき、本露光時に得られた撮像信号をＣＤＳ＋Ａ／Ｄ変換器５０６の内部で処理するようにした。したがって、前述した第１の実施形態で説明した効果に加えて、比較器等の誤差成分をもつ構成要素を少なくすることができ、撮像電源２０５の電源変動に基づく影響をより低減した撮像画像を得ることができる。よって、ノイズの影響がより少ない撮像画像を得ることが可能である。   As described above, in this embodiment, the power supply fluctuation image signal on which the fluctuation of the power supply voltage CCDP of the imaging power supply 205 is superimposed is recorded in the CDS + A / D converter 506, and the image pickup signal obtained at the time of the main exposure is recorded. Is processed inside the CDS + A / D converter 506. Therefore, in addition to the effects described in the first embodiment, the number of components having error components such as a comparator can be reduced, and a captured image in which the influence based on the power supply fluctuation of the imaging power supply 205 is further reduced can be obtained. Obtainable. Therefore, it is possible to obtain a captured image with less influence of noise.

（本発明の他の実施形態）
前述した本発明の実施形態における撮像装置を構成する撮像素子以外の各手段、並びに撮像処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたコンピュータプログラムが動作することによって実現できる。このコンピュータプログラム及び前記コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。 (Other embodiments of the present invention)
Each means other than the image sensor constituting the image pickup apparatus in the embodiment of the present invention described above and each step of the image pickup processing method can be realized by operating a computer program stored in a RAM or ROM of a computer. The computer program and a computer-readable recording medium on which the computer program is recorded are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。   In addition, the present invention can be implemented as, for example, a system, apparatus, method, program, storage medium, or the like. Specifically, the present invention may be applied to a system including a plurality of devices. The present invention may be applied to an apparatus composed of a single device.

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図４に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   In the present invention, a software program (in the embodiment, a program corresponding to the flowchart shown in FIG. 4) that realizes the functions of the above-described embodiments is directly or remotely supplied to the system or apparatus. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。   In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。   Examples of the recording medium for supplying the program include a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, MO, CD-ROM, CD-R, and CD-RW. In addition, there are magnetic tape, nonvolatile memory card, ROM, DVD (DVD-ROM, DVD-R), and the like.

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。   As another program supply method, a browser on a client computer is used to connect to an Internet home page. The computer program itself of the present invention or a compressed file including an automatic installation function can be downloaded from the homepage by downloading it to a recording medium such as a hard disk.

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。   It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from a different homepage. That is, a WWW server that allows a plurality of users to download a program file for realizing the functional processing of the present invention on a computer is also included in the present invention.

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to users, and key information for decryption is downloaded from a homepage via the Internet to users who have cleared predetermined conditions. Let It is also possible to execute the encrypted program by using the downloaded key information and install the program on a computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   Further, the functions of the above-described embodiments are realized by the computer executing the read program. In addition, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。   Further, the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instructions of the program, and the functions of the above-described embodiments are realized by the processing.

なお、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。   Note that each of the above-described embodiments is merely a specific example for carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. . That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

本発明の第１の実施形態を示し、撮像装置の構成の一例を示すブロック図である。1 is a block diagram illustrating an example of a configuration of an imaging apparatus according to a first embodiment of the present invention. 本発明の第１の実施形態を示し、ＣＰＵから送信される水平同期信号と、ＣＤＳ回路から送信される撮像信号と、オフセット加算器から送信される撮像信号と、ＴＧから送信されるクランプパルスの１Ｈ期間の波形の一例を示す図である。1 illustrates a first embodiment of the present invention, in which a horizontal synchronization signal transmitted from a CPU, an imaging signal transmitted from a CDS circuit, an imaging signal transmitted from an offset adder, and a clamp pulse transmitted from a TG It is a figure which shows an example of the waveform of 1H period. 本発明の第１の実施形態を示し、高感度撮影の設定時における各種信号の１Ｈ期間の波形の一例を示す図である。It is a figure which shows the 1st Embodiment of this invention and shows an example of the waveform of 1H period of various signals at the time of the setting of high sensitivity imaging | photography. 本発明の第１の実施形態を示し、高感度撮影が設定された場合に本露光を行って静止画像を撮影する際の撮像装置の動作の一例を説明するフローチャートである。6 is a flowchart illustrating an example of an operation of the imaging apparatus when performing still exposure and capturing a still image when high-sensitivity shooting is set according to the first embodiment of this invention. 本発明の第２の実施形態を示し、撮像装置の構成の一例を示すブロック図である。It is a block diagram which shows the 2nd Embodiment of this invention and shows an example of a structure of an imaging device. 従来の技術を示し、撮像装置の構成を示すブロック図である。It is a block diagram which shows the prior art and shows the structure of an imaging device.

符号の説明Explanation of symbols

２０１ 絞り兼用シャッタ
２０２ レンズ
２０３ 駆動部
２０４ 撮像素子
２０５ 撮像電源
２０６ バッファ回路
２０７ コンデンサ
２０８ 比較器
２０９ ＣＤＳ回路
２１０ オフセット加算器
２１１ ＰＧＡ部
２１２ Ｓ／Ｈ回路
２１３ 積分アンプ
２１４ 参照電源
２１５ Ａ／Ｄ変換器
２１６ ＴＧ
２１７ ＣＰＵ
２１８ Ｄ／Ａ変換器
５０６ ＣＤＳ＋Ａ／Ｄ変換器
５０９ ＣＤＳ回路
５１０ オフセット加算器
５１５ Ａ／Ｄ変換器
５１７ ＣＰＵ
５１８ Ｄ／Ａ変換器
５２５ ＲＡＭ 201 Shutter-combined shutter 202 Lens 203 Drive unit 204 Image sensor 205 Imaging power source 206 Buffer circuit 207 Capacitor 208 Comparator 209 CDS circuit 210 Offset adder 211 PGA unit 212 S / H circuit 213 Integrating amplifier 214 Reference power source 215 A / D converter 216 TG
217 CPU
218 D / A converter 506 CDS + A / D converter 509 CDS circuit 510 Offset adder 515 A / D converter 517 CPU
518 D / A converter 525 RAM

Claims (8)

撮像素子と、
前記撮像素子における負荷変動を反映した負荷変動反映画像信号を、本露光の前に取得する負荷変動反映画像信号取得手段と、
前記撮像素子に本露光された被写体像に基づく撮像信号を、前記負荷変動反映画像信号を用いて補正する撮像信号補正手段とを有することを特徴とする撮像装置。 An image sensor;
Load fluctuation reflected image signal acquisition means for acquiring a load fluctuation reflected image signal reflecting the load fluctuation in the image sensor before the main exposure;
An image pickup apparatus comprising: an image pickup signal correction unit that corrects an image pickup signal based on a subject image that has been exposed to the image pickup device using the load fluctuation reflected image signal. 前記撮像素子から撮像信号が出力されていない期間に、前記撮像素子におけるオプティカルブラック領域にあるクランプ位置を変更して、新たなクランプ位置を設定するクランプ位置設定手段と、
前記クランプ位置設定手段により設定されたクランプ位置の信号を基準として、前記負荷変動反映画像信号を処理する負荷変動反映画像処理手段と、
前記クランプ位置設定手段により設定されたクランプ位置を、前記オプティカルブラック領域に再設定するクランプ位置再設定手段と、
前記クランプ位置再設定手段により再設定されたクランプ位置の信号を基準として、前記撮像信号補正手段により補正された撮像信号を処理する撮像信号処理手段とを有し、
前記撮像信号補正手段は、前記撮像素子に本露光された被写体像に基づく撮像信号を、前記負荷変動反映画像処理手段により処理された負荷変動反映画像信号を用いて補正することを特徴とする請求項１に記載の撮像装置。 Clamp position setting means for changing a clamp position in the optical black region in the image sensor and setting a new clamp position during a period in which an image signal is not output from the image sensor,
Load fluctuation reflected image processing means for processing the load fluctuation reflected image signal on the basis of the clamp position signal set by the clamp position setting means;
Clamp position resetting means for resetting the clamp position set by the clamp position setting means in the optical black area;
Imaging signal processing means for processing the imaging signal corrected by the imaging signal correction means with reference to the clamp position signal reset by the clamp position resetting means,
The image pickup signal correcting unit corrects an image pickup signal based on a subject image that has been subjected to main exposure on the image pickup device, using the load variation reflecting image signal processed by the load variation reflecting image processing unit. Item 2. The imaging device according to Item 1. 前記撮像信号補正手段は、前記撮像素子に本露光された被写体像に基づく撮像信号と、前記負荷変動反映画像信号との差分を示す差分信号を生成することを特徴とする請求項１又は２に記載の撮像装置。   The image pickup signal correcting unit generates a difference signal indicating a difference between an image pickup signal based on a subject image that is main-exposed on the image pickup device and the load fluctuation reflected image signal. The imaging device described. 前記負荷変動反映画像信号をデジタル信号として記録媒体に記録する記録手段と、
前記撮像素子に本露光された被写体像に基づく撮像信号が、前記撮像素子から出力されるタイミングに同期して、前記記録手段によりデジタル信号として記録された負荷変動反映画像信号を、アナログ信号に変換する変換手段とを有し、
前記撮像信号補正手段は、前記撮像素子に本露光された被写体像に基づく撮像信号を、前記変換手段によりアナログ信号に変換された負荷変動反映画像信号を用いて補正することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。 Recording means for recording the load fluctuation reflected image signal as a digital signal on a recording medium;
An image signal based on the subject image that has been exposed to the image sensor is converted into an analog signal from the load fluctuation reflected image signal recorded as a digital signal by the recording means in synchronization with the timing of output from the image sensor. Conversion means for
The image pickup signal correcting unit corrects an image pickup signal based on a subject image that has been exposed to the image pickup device by using a load variation reflecting image signal converted into an analog signal by the conversion unit. The imaging device according to any one of 1 to 3. 前記負荷変動反映画像信号を用いて、オプティカルブラック領域における画素値の、前記撮像素子の負荷変動に基づく変動量を導出する導出手段を有し、
前記撮像信号補正手段は、前記導出手段により導出された変動量が、予め定められた値より大きい場合に、前記撮像素子に本露光された被写体像に基づく撮像信号を、前記負荷変動反映画像信号を用いて補正することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。 Using the load variation reflecting image signal, and having a derivation means for deriving a variation amount of the pixel value in the optical black region based on the load variation of the image sensor,
The imaging signal correcting unit converts an imaging signal based on a subject image that has been subjected to main exposure to the imaging element into the load variation reflecting image signal when the variation amount derived by the deriving unit is larger than a predetermined value. The imaging apparatus according to claim 1, wherein correction is performed using 前記負荷変動反映画像処理手段は、水平走査期間における１本以上の前記負荷変動反映画像信号を処理することを特徴とする請求項２〜５の何れか１項に記載の撮像装置。   The imaging apparatus according to claim 2, wherein the load fluctuation reflected image processing unit processes one or more load fluctuation reflected image signals in a horizontal scanning period. 撮像素子における負荷変動を反映した負荷変動反映画像信号を、本露光の前に取得する負荷変動反映画像信号取得ステップと、
前記撮像素子に本露光された被写体像に基づく撮像信号を、前記負荷変動反映画像信号を用いて補正する撮像信号補正ステップとを有することを特徴とする撮像処理方法。 A load fluctuation reflected image signal acquisition step of acquiring a load fluctuation reflected image signal reflecting the load fluctuation in the image sensor before the main exposure; and
An image pickup processing method comprising: an image pickup signal correction step of correcting an image pickup signal based on a subject image that has been exposed to the image pickup device by using the load fluctuation reflected image signal. 撮像素子における負荷変動を反映した負荷変動反映画像信号を、本露光の前に取得する負荷変動反映画像信号取得ステップと、
前記撮像素子に本露光された被写体像に基づく撮像信号を、前記負荷変動反映画像信号を用いて補正する撮像信号補正ステップとをコンピュータに実行させることを特徴とするコンピュータプログラム。 A load fluctuation reflected image signal acquisition step of acquiring a load fluctuation reflected image signal reflecting the load fluctuation in the image sensor before the main exposure; and
A computer program causing a computer to execute an imaging signal correction step of correcting an imaging signal based on a subject image that has been subjected to main exposure on the imaging element, using the load fluctuation reflected image signal.
JP2007045522A 2007-02-26 2007-02-26 Imaging apparatus and imaging processing method Expired - Fee Related JP4810464B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007045522A JP4810464B2 (en) 2007-02-26 2007-02-26 Imaging apparatus and imaging processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007045522A JP4810464B2 (en) 2007-02-26 2007-02-26 Imaging apparatus and imaging processing method

Publications (3)

Publication Number Publication Date
JP2008211463A true JP2008211463A (en) 2008-09-11
JP2008211463A5 JP2008211463A5 (en) 2010-04-08
JP4810464B2 JP4810464B2 (en) 2011-11-09

Family

ID=39787402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007045522A Expired - Fee Related JP4810464B2 (en) 2007-02-26 2007-02-26 Imaging apparatus and imaging processing method

Country Status (1)

Country Link
JP (1) JP4810464B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH118780A (en) * 1997-06-17 1999-01-12 Canon Inc Image pickup device
JPH11177849A (en) * 1997-12-15 1999-07-02 Canon Inc Image pickup device
JP2004328554A (en) * 2003-04-28 2004-11-18 Matsushita Electric Ind Co Ltd Video signal clamp circuit
JP2005347793A (en) * 2004-05-31 2005-12-15 Matsushita Electric Ind Co Ltd Imaging apparatus
JP2007036457A (en) * 2005-07-25 2007-02-08 Canon Inc Imaging apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH118780A (en) * 1997-06-17 1999-01-12 Canon Inc Image pickup device
JPH11177849A (en) * 1997-12-15 1999-07-02 Canon Inc Image pickup device
JP2004328554A (en) * 2003-04-28 2004-11-18 Matsushita Electric Ind Co Ltd Video signal clamp circuit
JP2005347793A (en) * 2004-05-31 2005-12-15 Matsushita Electric Ind Co Ltd Imaging apparatus
JP2007036457A (en) * 2005-07-25 2007-02-08 Canon Inc Imaging apparatus

Also Published As

Publication number Publication date
JP4810464B2 (en) 2011-11-09

Similar Documents

Publication Publication Date Title
US8878951B2 (en) Image processing apparatus and method of controlling the same
US8120677B2 (en) Imaging apparatus, adjustment method of black level, and program
JP6557455B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP2010050538A (en) Image device, smear reduction method, and program
JP2005080263A (en) Black level correction apparatus, and electronic camera
JP5207926B2 (en) Imaging apparatus and control method thereof
JP2009017030A (en) Image imaging apparatus, and imaging control method
JP4810464B2 (en) Imaging apparatus and imaging processing method
JP6278729B2 (en) Imaging apparatus, control method thereof, and program
CN101729786A (en) Imaging apparatus and imaging operation processing method
KR101544741B1 (en) Imaging device method for controlling the imaging device and medium of recording the method
JP2014107739A (en) Imaging device and control method therefor
JP2011009834A (en) Imager and imaging method
JP2004336244A (en) Correction apparatus
JP5400432B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, AND CAMERA
KR101408359B1 (en) Imaging apparatus and imaging method
JP2008117304A (en) Power unit and power control method
JP2008054132A (en) Imaging apparatus and imaging method
JP5127467B2 (en) IMAGING SYSTEM AND IMAGING SYSTEM CONTROL METHOD
JP2013016905A (en) Imaging apparatus
JP2009147588A (en) Imaging device
JP4343601B2 (en) Imaging device
JP2008034902A (en) Electronic camera
JP2004312551A (en) Image signal processing apparatus
JP2004320268A (en) Solid state electronic imaging apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110822

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140826

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees