JP2008113276A - Imaging apparatus, noise eliminating method, and noise elimination control program - Google Patents

Imaging apparatus, noise eliminating method, and noise elimination control program Download PDF

Info

Publication number
JP2008113276A
JP2008113276A JP2006295201A JP2006295201A JP2008113276A JP 2008113276 A JP2008113276 A JP 2008113276A JP 2006295201 A JP2006295201 A JP 2006295201A JP 2006295201 A JP2006295201 A JP 2006295201A JP 2008113276 A JP2008113276 A JP 2008113276A
Authority
JP
Japan
Prior art keywords
image
noise component
field
section
optical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006295201A
Other languages
Japanese (ja)
Other versions
JP4992382B2 (en
Inventor
Kazuhisa Matsunaga
和久 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2006295201A priority Critical patent/JP4992382B2/en
Publication of JP2008113276A publication Critical patent/JP2008113276A/en
Application granted granted Critical
Publication of JP4992382B2 publication Critical patent/JP4992382B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of eliminating not only a dark current noise component (static noise) but also a device noise component (dynamic noise) from the electric charge signal of an imaging element with a simple configuration and control, and to provide a noise eliminating method and noise elimination control program. <P>SOLUTION: A CPU 12 sends a control signal to a light reception control part 9, makes a liquid crystal shutter 2 perform an on/off operation at a predetermined timing cycle, and makes a CCD 3 transfer the output signal of the CCD 3 to image field buffers in different areas respectively at timing when a liquid crystal shutter 2 changes from ON to OFF and at time when the liquid crystal shutter 2 changes from OFF to ON. Next, the value of data in an OFF section of the liquid crystal shutter 2 is subtracted from the value of an ON section data of the liquid crystal shutter 2 and stored as frame data in an image frame buffer 7. An SN ratio caused by the noise portion of the OFF section is calculated, and the value is used for timing adjustment of ON/OFF of the liquid crystal shutter 2 at the next timing. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮像素子により被写体像を取り込む撮像装置にかかわるノイズ除去技術に に関する。   The present invention relates to a noise removal technique related to an imaging apparatus that captures a subject image with an imaging element.

デジタルカメラ等の撮像素子により被写体像を取り込む電子カメラでは、撮像素子の暗電流部分もデータとして取り込んでしまうため、暗い部分の撮像時などでは、暗電流の電荷が撮像から得られる電荷に対して無視できない大きさになるという問題がある。   In an electronic camera that captures a subject image using an image sensor such as a digital camera, the dark current portion of the image sensor is also captured as data. Therefore, when capturing a dark portion, the dark current charge is less than the charge obtained from the image capture. There is a problem that the size cannot be ignored.

従来、この問題を解決する技術として、撮像素子からの画像情報を画像情報メモリに記憶し、同じ時間遮光状態とした時のその撮像素子からの読み出された暗電流雑音成分を暗電流雑音メモリに記憶し、画像情報メモリに記憶されている画像情報から暗電流雑音メモリに記憶されている暗電流雑音成分を減算することにより、画像情報から固体撮像素子の暗電流雑音成分を軽減するノイズ軽減技術がある(例えば、特許文献1)。   Conventionally, as a technique for solving this problem, image information from an image sensor is stored in an image information memory, and a dark current noise component read out from the image sensor when the light is shielded for the same time is stored in the dark current noise memory. Noise reduction to reduce the dark current noise component of the solid-state imaging device from the image information by subtracting the dark current noise component stored in the dark current noise memory from the image information stored in the image information memory There exists a technique (for example, patent document 1).

また、撮像素子の出力画像データをメモリに一時記憶すると共に、撮影のための露出条件を決定し、撮影後にその撮像素子から読み出された出力信号に対応する第1の画像データと、遮光状態とした時にその撮像素子から読み出された暗時の出力信号(暗電流雑音成分)に対応する第2の画像データに基づいて、同一画素各々のデータを時間的に一致させた後、上記第1および第2の画像データに関する演算(上記第1の画像データから第2の画像データを減算)により最終的な画像データを生成する電子的撮像装置がある(例えば、特許文献2参照)。
特開平4−40763号公報 特開平8−51571号公報
Further, the output image data of the image sensor is temporarily stored in the memory, the exposure condition for shooting is determined, the first image data corresponding to the output signal read from the image sensor after shooting, and the light shielding state After the data of the same pixel are temporally matched based on the second image data corresponding to the dark output signal (dark current noise component) read from the image sensor, There is an electronic imaging device that generates final image data by performing computation on the first and second image data (subtracting the second image data from the first image data) (see, for example, Patent Document 2).
JP-A-4-40763 JP-A-8-51571

しかしながら、上記特許文献1に記載の技術では、撮影時間と同じだけ遮光状態として、その間の暗電流を撮影画像から減算するので、撮像素子の固定パターン雑音は抑制されるが、ランダムな雑音が増大するという問題点があった。   However, in the technique described in Patent Document 1, since the dark current is subtracted from the photographed image in the light-shielded state for the same amount as the photographing time, the fixed pattern noise of the image sensor is suppressed, but the random noise increases. There was a problem of doing.

また、上記特許文献2に記載の技術では、撮影のための露出条件を決定した後、メモリに記憶した撮影画像データと暗電流成分データを時間的に一致させてからその間の暗電流を撮影画像から減算するので、暗電流に起因するノイズ(静的ノイズ)を1画素ごとに除去することができるが、動的なノイズ(例えば50Hzのノイズ等の機器ノイズ)を低減することはできなかった。   In the technique described in Patent Document 2, after determining the exposure condition for shooting, the captured image data stored in the memory and the dark current component data are temporally matched and then the dark current between them is captured. Therefore, noise (static noise) due to dark current can be removed for each pixel, but dynamic noise (for example, device noise such as 50 Hz noise) could not be reduced. .

本発明は上記課題を解決するためになされたものであり、簡易な構成および制御で撮像素子の電荷信号から暗電流ノイズ成分(静的ノイズ)だけでなく機器ノイズ成分(動的ノイズ)を除去し得る撮像装置、ノイズ除去方法、およびノイズ除去制御プログラムの提供を目的とする。   The present invention has been made to solve the above problems, and removes not only the dark current noise component (static noise) but also the device noise component (dynamic noise) from the charge signal of the image sensor with a simple configuration and control. An object of the present invention is to provide an imaging device, a noise removal method, and a noise removal control program.

上記課題を解決するために、請求項1に記載の発明の撮像装置は、光学像を電気信号からなる画像情報に変換する撮像手段と、撮像手段に入射する光学像を周期的に遮断若しくは通過させるための遮光制御手段と、遮断制御手段の制御によって周期的に光学像を撮像手段に入射する第1の区間において入射した光学像から撮像手段により変換されたフィールド画像信号を記憶するための画像記憶手段と、遮断制御手段の制御によって入射する光学像を周期的に遮断する第2の区間において撮像手段から発生される暗電流雑音成分を含むフィールド雑音成分を記憶するための雑音成分記憶手段と、画像記憶手段に記憶されたフィールド画像信号から雑音成分記憶手段に記憶されたフィールド雑音成分を減算する減算手段と、減算手段によって取得した差分をフレームデータとして順次記憶するためのフレームデータ記憶手段と、フィールド画像信号の信号強度とフィールド雑音成分の信号強度の比からSN比を取得して、遮光手段の光学像遮断若しくは通過のタイミングを調整する遮光タイミング調整手段と、を備えたことを特徴とする。   In order to solve the above-described problem, an imaging apparatus according to a first aspect of the present invention includes an imaging unit that converts an optical image into image information including an electrical signal, and an optical image incident on the imaging unit is periodically blocked or passed. An image for storing a field image signal converted by the imaging unit from the optical image incident in the first section in which the optical image is periodically incident on the imaging unit by the control of the blocking control unit. Storage means; and noise component storage means for storing field noise components including dark current noise components generated from the imaging means in a second section in which an incident optical image is periodically blocked by the control of the cutoff control means; The subtraction means for subtracting the field noise component stored in the noise component storage means from the field image signal stored in the image storage means, and the subtraction means. Frame data storage means for sequentially storing the difference as frame data, and the SN ratio is obtained from the ratio of the signal intensity of the field image signal and the signal intensity of the field noise component, and the optical image is blocked or passed by the light shielding means. And a light-shielding timing adjusting means for adjusting.

また、請求項2に記載の発明は、請求項1に記載の発明の撮像装置において、遮光タイミング調整手段は、α<<Βとするとき、正数α≦SN比≦Βのときは第1の区間の長さを第2の区間の2以上の整数倍とし、SN比>Βのときは常時第1の区間とするタイミング調整手段と、タイミング調整手段によって調整された区間変更情報を基に遮光制御手段に遮光タイミングの変更情報を与える遮光タイミング変更手段と、
を備えたことを特徴とする。
According to a second aspect of the present invention, in the imaging apparatus according to the first aspect of the present invention, the light-shielding timing adjusting means is first when α << Β and when a positive number α ≦ SN ratio ≦ Β. Based on the timing adjustment means which is always the first section when the SN ratio> Β, and the section change information adjusted by the timing adjustment means. A light shielding timing changing means for providing light shielding timing changing information to the light shielding control means;
It is provided with.

また、請求項3に記載の発明は、請求項2に記載の発明の撮像装置において、遮光制御手段は、遮光タイミング変更手段から遮光タイミングの変更情報を取得した際に制御している光学像の周期的な遮断若しくは通過動作が完了してから取得した遮光タイミングの変更情報に基づいて撮像手段に入射する光学像の周期的な遮断若しくは通過動作を制御することを特徴とする。   According to a third aspect of the present invention, in the imaging apparatus according to the second aspect of the present invention, the light shielding control means controls the optical image controlled when the light shielding timing change information is acquired from the light shielding timing changing means. The periodic blocking or passing operation of the optical image incident on the imaging unit is controlled based on the change information of the light shielding timing acquired after the periodic blocking or passing operation is completed.

また、請求項4に記載の発明は、請求項1乃至3のいずれかに記載の発明の撮像装置において、減算手段は、画像記憶手段に記憶されたフィールド画像信号から雑音成分記憶手段に記憶されたフィールド雑音成分を減算する際に、第1の区間と第2の区間の長さが異なる場合には、フィールド画像信号とフィールド雑音成分が、第1の区間と第2の区間の長さを等しくした場合に取得したデータとなるようにフィールド画像信号若しくはフィールド雑音成分を調整してから減算を行うことを特徴とする。   According to a fourth aspect of the present invention, in the imaging apparatus according to any one of the first to third aspects, the subtracting means is stored in the noise component storage means from the field image signal stored in the image storage means. When subtracting the field noise component, if the lengths of the first section and the second section are different, the field image signal and the field noise component indicate the lengths of the first section and the second section. The subtraction is performed after adjusting the field image signal or the field noise component so as to obtain the acquired data when they are equal.

また、請求項5に記載の発明のノイズ除去方法は、光学像を電気信号からなる画像情報に変換する撮像手段を備えた撮像装置において、撮像手段に入射する光学像を周期的に遮断若しくは通過させる第1の工程と、第1の工程で光学像を撮像手段に入射する第1の区間において入射した光学像から撮像手段により変換されたフィールド画像信号を第1のバッファに一時記憶し、第1の工程で入射する光学像を周期的に遮断する第2の区間において撮像手段から発生される暗電流雑音成分を含むフィールド雑音成分を第2のバッファに一時記憶する第2の工程と、第1のバッファに記憶されたフィールド画像信号から第2のバッファに記憶されたフィールド雑音成分を減算する第3の工程と、第3の工程によって取得した差分をフレームデータとして第3のバッファに順次記憶する第4の工程と、フィールド画像信号の信号強度とフィールド雑音成分の信号強度の比からSN比を取得して、遮光手段の光学像遮断若しくは通過のタイミングを調整する第5の工程と、を備えたことを特徴とする。   According to a fifth aspect of the present invention, in the noise removal method according to the fifth aspect of the present invention, in an imaging apparatus including an imaging unit that converts an optical image into image information including an electrical signal, the optical image incident on the imaging unit is periodically blocked or passed And first storing the field image signal converted by the imaging unit from the optical image incident in the first section in which the optical image is incident on the imaging unit in the first step, and temporarily storing the field image signal in the first buffer. A second step of temporarily storing, in the second buffer, field noise components including dark current noise components generated from the imaging means in a second section in which the optical image incident in step 1 is periodically blocked; The third step of subtracting the field noise component stored in the second buffer from the field image signal stored in the first buffer, and the difference obtained in the third step is used as frame data. Then, the SN ratio is acquired from the ratio of the signal intensity of the field image signal and the field noise component in the fourth step of sequentially storing in the third buffer, and the timing of blocking or passing the optical image of the light shielding means is obtained. And a fifth step of adjusting.

また、請求項6に記載の発明のノイズ除去制御プログラムは、光学像を電気信号からなる画像情報に変換する撮像手段を備えたコンピュータを、撮像手段に入射する光学像を周期的に遮断若しくは通過させるための遮光制御手段、遮断制御手段の制御によって周期的に光学像を撮像手段に入射する第1の区間において入射した光学像から撮像手段により変換されたフィールド画像信号をメモリに記憶する画像記憶手段、遮断制御手段の制御によって入射する光学像を周期的に遮断する第2の区間において撮像手段から発生される暗電流雑音成分を含むフィールド雑音成分をメモリに記憶する雑音成分記憶手段、画像記憶手段によってメモリに記憶されたフィールド画像信号から雑音成分記憶手段によってメモリに記憶されたフィールド雑音成分を減算する減算手段、減算手段によって取得した差分をフレームデータとして順次メモリに記憶するフレームデータ記憶手段、フィールド画像信号の信号強度とフィールド雑音成分の信号強度の比からSN比を取得して、遮光手段の光学像遮断若しくは通過のタイミングを調整する遮光タイミング調整手段、として機能させる。   According to a sixth aspect of the present invention, there is provided a noise removal control program for periodically interrupting or passing an optical image incident on an image pickup means through a computer having an image pickup means for converting an optical image into image information composed of an electrical signal. An image storage for storing, in a memory, a field image signal converted by the imaging unit from the optical image incident in the first section in which the optical image is periodically incident on the imaging unit under the control of the blocking control unit. A noise component storage means for storing a field noise component including a dark current noise component generated from the imaging means in a second section in which the incident optical image is periodically blocked by the control of the block control means; The field noise signal stored in the memory by the noise component storage means from the field image signal stored in the memory by the means. Subtracting means for subtracting, frame data storage means for sequentially storing the difference obtained by the subtracting means as frame data in the memory, and obtaining the SN ratio from the ratio of the signal intensity of the field image signal and the signal intensity of the field noise component to block the light It functions as a light shielding timing adjusting means for adjusting the optical image blocking or passing timing of the means.

本発明によれば、撮影時のノイズ除去のための簡易的なデジタルバンドパスフィルタ(簡易BPS)を構成できるので、このフィルタ効果により撮像素子の暗電流ノイズ成分(静的ノイズ)だけでなく機器ノイズ成分(動的ノイズ)を除去することができる。また、遮光時のノイズによるSN比により遮光タイミング(周期、デューティ比)を変更できるので、上述した簡易BPFの精度を向上させることができる   According to the present invention, since a simple digital bandpass filter (simple BPS) for noise removal at the time of shooting can be configured, this filter effect enables not only the dark current noise component (static noise) of the image sensor but also the device. Noise components (dynamic noise) can be removed. Further, since the light shielding timing (cycle, duty ratio) can be changed by the SN ratio due to noise at the time of light shielding, the accuracy of the simple BPF described above can be improved.

図1は、本発明の撮像装置の主要構成部分の一実施例を示すブロック図である。なお、下記の実施例ではデジタルカメラ100を例として説明するが本発明はデジタルカメラに限定されるものではなく、CCDなどの撮像素子を用いた撮像部を備えた撮像装置に摘用できる。   FIG. 1 is a block diagram showing an embodiment of main components of the imaging apparatus of the present invention. In the following embodiments, the digital camera 100 will be described as an example. However, the present invention is not limited to the digital camera, and can be applied to an image pickup apparatus including an image pickup unit using an image pickup device such as a CCD.

図1で、符号1はズームレンズやフォーカスレンズを含む複数のレンズ群からなる光学系を示し、光学系1は被写体光像をCCD3の受光面上に結像させる。   In FIG. 1, reference numeral 1 denotes an optical system including a plurality of lens groups including a zoom lens and a focus lens. The optical system 1 forms an object light image on the light receiving surface of the CCD 3.

符号2は液晶シャッターを示し、液晶シャッター2は、撮影時に、受光制御部8の制御に基づき所定の周期で光学系1からの光を遮断(遮蔽)または通過させるスイッチ動作を行なう遮光スイッチとして機能する。なお、実施例では遮光スイッチとして液晶シャッターを用いたが、液晶シャッターに限定されず、液晶シャッター2の代わりに所定の周期で遮光スイッチとして動作する部材を用いることができる。   Reference numeral 2 denotes a liquid crystal shutter, and the liquid crystal shutter 2 functions as a light shielding switch that performs a switch operation for blocking (blocking) or passing light from the optical system 1 at a predetermined period based on the control of the light receiving control unit 8 during photographing. To do. In the embodiment, the liquid crystal shutter is used as the light shielding switch. However, the liquid crystal shutter is not limited to the liquid crystal shutter, and a member that operates as the light shielding switch at a predetermined cycle can be used instead of the liquid crystal shutter 2.

CCD3は典型的には毎秒数十フレームの画像を撮像する撮像素子(固体撮像デバイス)であり、受光制御部9から送られる駆動信号により駆動され、光の量に応じて蓄積電荷量が変化する素子を用いて光学系1を介して自己の受光面に受光する被写体の二次元光像(光信号)を電荷に変換して電気信号(アナログ信号)として出力する。   The CCD 3 is typically an imaging element (solid-state imaging device) that captures an image of several tens of frames per second. The CCD 3 is driven by a drive signal sent from the light reception control unit 9 and the amount of accumulated charge changes according to the amount of light. A two-dimensional optical image (optical signal) of a subject received on its own light receiving surface via the optical system 1 using an element is converted into an electric charge and output as an electric signal (analog signal).

CCD3の出力信号はCDS回路4で相関二重サンプリングおよびゲイン調整され、A/D変換回路5でデジタル信号に変換される。なお、撮像素子はCCDに限定されずCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像デバイスを用いることができる。   The output signal of the CCD 3 is correlated double sampling and gain adjustment by the CDS circuit 4 and converted to a digital signal by the A / D conversion circuit 5. The imaging element is not limited to a CCD, and a solid-state imaging device such as a CMOS (Complementary Metal Oxide Semiconductor) can be used.

符号4はCDS回路を示し、CDS回路4はCCD3から出力された画像信号(アナログ信号)相関二重サンプリングおよびゲイン調整を行い、A/D変換器5に出力する。符号5はA/D変換器を示し、A/D変換器5はCDS回路6で相関二重サンプリングおよびゲイン調整された画像信号(アナログ信号)をデジタル信号に変換して画像フィールドバッファ6およびフォーカス用フィルタ部10に出力する。   Reference numeral 4 denotes a CDS circuit. The CDS circuit 4 performs correlated double sampling and gain adjustment on the image signal (analog signal) output from the CCD 3 and outputs the result to the A / D converter 5. Reference numeral 5 denotes an A / D converter. The A / D converter 5 converts the image signal (analog signal) subjected to correlation double sampling and gain adjustment by the CDS circuit 6 into a digital signal to convert the image field buffer 6 and the focus. Output to the filter unit 10.

符号6は画像フィールドバッファを示す。画像フィールドバッファ6は図示していないが、光学系1からの画像信号をCCD3で変換したフィールドデータ(暗電流および機器ノイズを含む)を一時的に記憶する第1の画像フィールドバッファと、光学系1からの画像信号が液晶シャッター2により遮蔽された状態でCCD3から出力される電荷(暗電流)を変換したフィールドデータ(機器ノイズを含む)を一時的に記憶する第2の画像フィールドバッファを備えている。   Reference numeral 6 denotes an image field buffer. Although not shown, the image field buffer 6 includes a first image field buffer for temporarily storing field data (including dark current and device noise) obtained by converting the image signal from the optical system 1 by the CCD 3, and the optical system. A second image field buffer for temporarily storing field data (including device noise) obtained by converting electric charges (dark current) output from the CCD 3 while the image signal from 1 is shielded by the liquid crystal shutter 2; ing.

符号7は画像フレームバッファであり、画像フレームバッファ7は後述するフィールド画像演算(図2(ステップS9);図4参照)により出力されるフレームデータの加算結果を蓄積(記憶)する。   Reference numeral 7 denotes an image frame buffer. The image frame buffer 7 accumulates (stores) the addition result of frame data output by field image calculation (FIG. 2 (step S9); see FIG. 4) described later.

符号8は信号処理部を示す。信号処理部8は画像フレームバッファ7から出力されたデジタル信号(画像データ)に対して画像補間処理及びγ補正処理を含むカラープロセス処理を行ってYUVデータ(デジタル値の輝度信号Y及び色差信号Cb、Cr)を生成し、1フレーム分のデータが順次内蔵メモリ(図示せず)にDMA転送され、内蔵メモリに確保される画像データ記憶領域に格納される。また、信号処理部8から出力された出力されたYUVデータは液晶表示コントローラ13に送られ、そこでビデオ信号に変換された後、液晶表示画面14に表示される。   Reference numeral 8 denotes a signal processing unit. The signal processing unit 8 performs color process processing including image interpolation processing and γ correction processing on the digital signal (image data) output from the image frame buffer 7 to generate YUV data (digital value luminance signal Y and color difference signal Cb). Cr), data for one frame is sequentially DMA-transferred to a built-in memory (not shown) and stored in an image data storage area secured in the built-in memory. The output YUV data output from the signal processing unit 8 is sent to the liquid crystal display controller 13, where it is converted into a video signal and then displayed on the liquid crystal display screen 14.

符号9は受光制御部を示し、受光制御部9はCPU12の制御の下で液晶シャッター2を所定のタイミング周期(例えば、60Hz)でON/OFF制御する。また、受光制御部9はCPU12の制御の下でCCD3の駆動信号を生成してCCD3を駆動する。また、 符号10はフォーカス用フィルタ部を示す。   Reference numeral 9 denotes a light reception control unit, and the light reception control unit 9 performs ON / OFF control of the liquid crystal shutter 2 at a predetermined timing cycle (for example, 60 Hz) under the control of the CPU 12. The light receiving control unit 9 generates a drive signal for the CCD 3 under the control of the CPU 12 and drives the CCD 3. Reference numeral 10 denotes a focus filter unit.

符号11はレンズ制御部を示す。レンズ制御部11はCPU12からの制御データを基に光学系1の駆動モータ等の駆動機構の動作を制御してAE(オートアイリス)によるシャッター速度および絞り調節に基づく露出制御や、ズーム制御、AF(オートフォーカス)による自動合焦制御等を行う。なお、レンズ制御部11による、露出制御や、ズーム制御、自動合焦制御等における光学系1の動作制御は公知の技術を用いることができる。   Reference numeral 11 denotes a lens control unit. The lens control unit 11 controls the operation of a drive mechanism such as a drive motor of the optical system 1 based on control data from the CPU 12 to perform exposure control based on shutter speed and aperture adjustment by AE (auto iris), zoom control, AF ( Perform autofocus control by autofocus. A known technique can be used for operation control of the optical system 1 in exposure control, zoom control, automatic focusing control, and the like by the lens control unit 11.

符号13は液晶表示コントローラを示す。液晶表示コントローラ13は信号処理部8から出力されたYUVデータをビデオ信号に変換して液晶表示画面14に表示する。また、符号14は液晶表示画面を示す。   Reference numeral 13 denotes a liquid crystal display controller. The liquid crystal display controller 13 converts the YUV data output from the signal processing unit 8 into a video signal and displays it on the liquid crystal display screen 14. Reference numeral 14 denotes a liquid crystal display screen.

符号15はシャッターボタンを示す。シャッターボタン8は、撮影時にレリーズ操作を行うもので、例えば、2段階のストロークを有しており、静止画撮影モードでは1段目の操作(半押し状態)で、オートフォーカス(AF)と自動露出(AE)を行わせるための合焦指示信号を発生し、2段目の操作(全押し状態)で撮影処理を行うための撮影指示信号を発生する。発生した各指示信号はそれぞれ直ちにCPU12に送られる。   Reference numeral 15 denotes a shutter button. The shutter button 8 performs a release operation at the time of shooting. For example, the shutter button 8 has a stroke of two steps. In the still image shooting mode, the first step (half-pressed state) automatically and auto-focus (AF). A focus instruction signal for performing exposure (AE) is generated, and a shooting instruction signal for performing a shooting process in the second stage operation (fully pressed state) is generated. Each generated instruction signal is immediately sent to the CPU 12.

また、シャッターボタン15は、撮影モードにおいて高感度モードが設定されているときに操作されると本発明のノイズ除去制御開始指示信号を発生する。発生したノイズ除去制御開始指示信号は直ちにCPU12に送られる。   Further, when the shutter button 15 is operated when the high sensitivity mode is set in the photographing mode, the noise removal control start instruction signal of the present invention is generated. The generated noise removal control start instruction signal is immediately sent to the CPU 12.

符号16はモードボタンを示し、ユーザはモードボタン16を操作することにより撮影モードを本発明のノイズ除去制御を実行する高感度モードに設定することができる。   Reference numeral 16 denotes a mode button. By operating the mode button 16, the user can set the photographing mode to a high sensitivity mode for executing the noise removal control of the present invention.

符号12はCPUを示す。上述した各ブロックはCPU(若しくはMPU)12によって制御されており、CPU12が各ブロックの制御に必要とされるプログラムやデータはEEPROMやフラッシュメモリ等の書き換え可能な不揮発性メモリであるプログラムメモリ(図示せず)に記憶されている。そしてCPU12は上記プログラムおよび、撮影モードにおいて高感度モードが設定されているときにシャッターボタン5が操作されると発生するノイズ除去制御開始指示信号を受けて本発明のノイズ除去制御手段として機能する。   Reference numeral 12 denotes a CPU. Each block described above is controlled by the CPU (or MPU) 12, and the program and data required for the CPU 12 to control each block are a program memory (FIG. 1) that is a rewritable nonvolatile memory such as an EEPROM or a flash memory. (Not shown). The CPU 12 functions as the noise removal control means of the present invention in response to the program and the noise removal control start instruction signal generated when the shutter button 5 is operated when the high sensitivity mode is set in the shooting mode.

図2は本発明に基づくデジタルカメラ100のCPU12による撮影動作制御シーケンスを示すフローチャートであり、デジタルカメラ100に本発明の撮影時のノイズ除去制御機能を実現させるためのプログラムを説明するためのものである。図2でステップS6〜S13は本発明のノイズ除去制御プログラムの動作に相当する。   FIG. 2 is a flowchart showing a photographing operation control sequence by the CPU 12 of the digital camera 100 according to the present invention, and is for explaining a program for causing the digital camera 100 to realize the noise removal control function during photographing according to the present invention. is there. In FIG. 2, steps S6 to S13 correspond to the operation of the noise removal control program of the present invention.

以下に示す処理は基本的にCPU12が予めプログラムメモリ(図示せず)に記憶されたプログラムに従って実行する例で説明するが、全ての機能をプログラムメモリに格納する必要はなく、必要に応じて、その一部若しくは全部を、例えば、ネットワークを介して受信して実現するようにしてもよい。以下、図1〜図5に基いて説明する。なお、以下の説明で、初期状態でのON区間およびOFF区間の長さは等しいものとする。   The processing shown below is basically explained by an example in which the CPU 12 executes in accordance with a program stored in advance in a program memory (not shown), but it is not necessary to store all functions in the program memory. A part or all of them may be realized by receiving via a network, for example. Hereinafter, a description will be given with reference to FIGS. In the following description, it is assumed that the lengths of the ON section and the OFF section in the initial state are equal.

図2で、撮影モードにおいて、ユーザがモードボタン16を操作して撮影モードを高感度モードに設定することができる。CPU12はモードボタン16により高感度モードが設定されたか否かを調べ(ステップS1)、モードボタン16の操作により高感度モード設定された旨の信号を検出すると高感度モード設定フラグをONにする(ステップS2)。   In FIG. 2, in the shooting mode, the user can set the shooting mode to the high sensitivity mode by operating the mode button 16. The CPU 12 checks whether or not the high sensitivity mode has been set by the mode button 16 (step S1), and when the signal indicating that the high sensitivity mode has been set by the operation of the mode button 16 is detected, the high sensitivity mode setting flag is turned ON (step S1). Step S2).

CPU12は液晶シャッター2をONにして光学系2を介して被写体光像をCCD3の受光面に結像するようにしてから撮影準備処理を実行し、撮影準備処理が終わるとステップS4に進む(ステップS3)。ここでの撮影準備処理は、撮影用の初期設定、その時点のズーム値に対応した焦点距離でAE処理の実行、光学系1からの被写体像を基にしたスルー画像表示、例えばシャッターボタン15の半押し操作による自動合焦指示に基づくオートフォーカス処理等の動作であり、撮影準備処理のための制御動作は公知の技術を用いることができる。   The CPU 12 turns on the liquid crystal shutter 2 to form a subject light image on the light receiving surface of the CCD 3 via the optical system 2, and then executes the shooting preparation process. When the shooting preparation process is completed, the process proceeds to step S4 (step S4). S3). The shooting preparation processing here is the initial setting for shooting, the execution of AE processing at the focal length corresponding to the zoom value at that time, the through image display based on the subject image from the optical system 1, for example, the shutter button 15 A known technique can be used for the control operation for the shooting preparation process, such as an autofocus process based on an autofocus instruction by a half-press operation.

ステップS3の撮影準備処理が終わると、ユーザは所望のタイミングでシャッターボタン15を全押し操作して撮影指示を行うことができる。CPU12はシャッターボタン15が全押し操作されたか否かを調べ、全押し操作された場合はステップS5に進む(ステップS4)。   When the shooting preparation process in step S3 is completed, the user can give a shooting instruction by fully pressing the shutter button 15 at a desired timing. The CPU 12 checks whether or not the shutter button 15 has been fully pressed. If the shutter button 15 has been fully pressed, the process proceeds to step S5 (step S4).

ステップS4でシャッターボタン15が全押し操作されると、CPU12は高感度モードが設定されているか否か(つまり、高感度モード設定フラグがONか否か)を調べ、高感度モードが設定されている場合はステップS6に進み、高感度モードが設定されていない場合は通常感度による撮影処理を行なう(ステップS5)。   When the shutter button 15 is fully pressed in step S4, the CPU 12 checks whether the high sensitivity mode is set (that is, whether the high sensitivity mode setting flag is ON), and the high sensitivity mode is set. If YES in step S6, the flow advances to step S6. If the high sensitivity mode is not set, shooting processing with normal sensitivity is performed (step S5).

受光制御部9がCPU12からON/OFFタイミング設定変更指示信号を受け取った場合はステップS7に進み、受け取っていない場合はステップS8に進む(ステップS6)。   If the light reception controller 9 receives an ON / OFF timing setting change instruction signal from the CPU 12, the process proceeds to step S7, and if not received, the process proceeds to step S8 (step S6).

受光制御部9は変更指示を受け取ったときに制御しているON/OFF動作が完了したか否かを調べそのON/OFF動作が完了すると液晶シャッター2を変更後のタイミング周期でON/OFFさせ、ステップS9に進む。また、変更指示を受け取ったときに制御しているON/OFF動作が完了していない場合はそのON/OFF動作が完了するまで待つ(ステップS7)。   The light reception controller 9 checks whether or not the ON / OFF operation controlled when the change instruction is received is completed, and when the ON / OFF operation is completed, the liquid crystal shutter 2 is turned ON / OFF at the changed timing cycle. The process proceeds to step S9. If the ON / OFF operation controlled when the change instruction is received is not completed, the control waits until the ON / OFF operation is completed (step S7).

CPU12は受光制御部9に制御信号を送り、所定のタイミング周期(例えば、60Hz)で液晶シャッター2をON/OFF動作させる(ステップS8)。   The CPU 12 sends a control signal to the light receiving control unit 9 to turn on / off the liquid crystal shutter 2 at a predetermined timing cycle (for example, 60 Hz) (step S8).

CPU12は、受光制御部9を制御してCCD3に、その出力信号を液晶シャッター2がONからOFFになるタイミングと、OFFからONになるタイミングでそれぞれ別の領域の画像フィールドバッファに転送させるようにする(ステップS9)。つまり、このステップでは、液晶シャッター2がONからOFFになるタイミングでは光学系1からの画像信号をCCD3で変換したフィールドデータを第1の画像フィールドバッファに転送して一時的に記憶させ、液晶シャッター2がOFFからONになるタイミングでは光学系1からの画像信号が液晶シャッター2により遮蔽された状態でCCD3から出力される電荷(暗電流)を変換したフィールドデータを第2の画像フィールドバッファに転送して一時的に記憶させる。   The CPU 12 controls the light receiving control unit 9 to cause the CCD 3 to transfer the output signal to the image field buffer in different areas at the timing when the liquid crystal shutter 2 is turned from ON to OFF and from the OFF to ON. (Step S9). That is, in this step, at the timing when the liquid crystal shutter 2 is turned from ON to OFF, the field data obtained by converting the image signal from the optical system 1 by the CCD 3 is transferred to the first image field buffer to be temporarily stored, and the liquid crystal shutter At the timing when 2 is turned from OFF to ON, field data obtained by converting charges (dark current) output from the CCD 3 while the image signal from the optical system 1 is shielded by the liquid crystal shutter 2 is transferred to the second image field buffer. And temporarily memorize it.

次に、CPU12は、液晶シャッター2のON区間データ(液晶シャッター2がONからOFFになるタイミングでCCD3から転送されたデータをいう)値から液晶シャッター2のOFF区間データ(液晶シャッター2がOFFからONになるタイミングでCCD3から転送されたデータをいう)値を差し引き、差分OFFレームデータとして画像フレームバッファ7に保存する(図3参照)。差し引くにあたり、ON区間とOFF区間の長さが異なる場合は、ON区間とOFF区間の長さが同じ長さの区間データとなるようにデータを乗算若しくは除算を施して重み付けをした後に減算を行う(ステップS10)。   Next, the CPU 12 determines the ON section data of the liquid crystal shutter 2 (referred to as data transferred from the CCD 3 at the timing when the liquid crystal shutter 2 is turned from ON to OFF) from the OFF section data of the liquid crystal shutter 2 (from the liquid crystal shutter 2 is turned off). The value is deducted and stored in the image frame buffer 7 as differential OFF frame data (see FIG. 3). When subtracting, if the lengths of the ON section and the OFF section are different, subtraction is performed after weighting by multiplying or dividing the data so that the ON section and the OFF section have the same length. (Step S10).

次に、CPU12は、液晶シャッター2のON/OFFによりCCD3から出力されるON区間データとOFF区間データより、OFF区間のノイズ分によるSN比を計算し、その値を元に、次のタイミングでの、液晶シャッター2のON/OFFのタイミング(周期、デューティ比)の調整に用いるようにする。具体的には、ON区間から得られる画面全体の信号強度とOFF区間から得られるノイズ強度の比からSN比を求め、SN比が比較的高い場合にはON区間の整数倍(2倍以上)に液晶シャッター2のON/OFFタイミングを設定し、また、SN比が十分高く、機器ノイズレベルが撮像信号レベルに対して無視できるような状況のときには常時ONにして露光時間を長くとるようにする。また、このON/OFFタイミング変更指示は受光制御部9に対して直ちに行ない、受光制御部9は変更指示があったときに制御しているON/OFF動作が完了した後に、変更指示によるON/OFFタイミングで液晶シャッター2のON/OFF制御を行う(図4参照)(ステップS11)。   Next, the CPU 12 calculates the S / N ratio for the noise in the OFF section from the ON section data and the OFF section data output from the CCD 3 when the liquid crystal shutter 2 is turned ON / OFF, and based on this value, at the next timing. This is used for adjusting the ON / OFF timing (cycle, duty ratio) of the liquid crystal shutter 2. Specifically, the S / N ratio is obtained from the ratio of the signal intensity of the entire screen obtained from the ON section and the noise intensity obtained from the OFF section, and when the S / N ratio is relatively high, it is an integer multiple (twice or more) of the ON section. The ON / OFF timing of the liquid crystal shutter 2 is set at the same time, and when the signal-to-noise ratio is sufficiently high and the device noise level is negligible with respect to the image pickup signal level, it is always turned on to increase the exposure time. . Also, this ON / OFF timing change instruction is immediately given to the light reception control unit 9, and after the ON / OFF operation controlled when the change instruction is issued, the ON / OFF timing is changed. On / off control of the liquid crystal shutter 2 is performed at the OFF timing (see FIG. 4) (step S11).

次に、CPU12は、ステップS11のフィールド演算(減算)により出力されてくるフィールドデータを順次加算してフレーム画像データとしてフレーム画像バッファ7に保存(記憶)する(ステップS12)。   Next, the CPU 12 sequentially adds the field data output by the field operation (subtraction) in step S11 and saves (stores) it in the frame image buffer 7 as frame image data (step S12).

次に、CPU12はフレーム画像バッファ7に保存した取得フィールド数(つまり、フレームデータを保存した回数)が対応するシャッター時間分の数に達しているか否かを調べ、フィールド数が全て取得されてない場合はステップS9に戻って、再びフィールドデータ取得動作を行なうようにし、フィールド数が全て取得された場合はステップS14に進む(ステップS13)。ここで、シャッター時間分の数のフレームデータが画像フレームバッファに記憶されると1フレーム分の画像データが記憶されたことになる。   Next, the CPU 12 checks whether or not the number of acquired fields stored in the frame image buffer 7 (that is, the number of times frame data is stored) has reached the number corresponding to the shutter time, and all the field numbers have not been acquired. In this case, the process returns to step S9 to perform the field data acquisition operation again. When all the field numbers have been acquired, the process proceeds to step S14 (step S13). Here, when the number of frame data corresponding to the shutter time is stored in the image frame buffer, one frame of image data is stored.

CPU12はフレーム画像バッファ7に記憶されている画像データにJPEG回路26で画像圧縮処理を施し、この圧縮データからなる画像ファイルを図示されていない保存メモリに記録して1フレーム分の撮像を終了する(ステップS14)。   The CPU 12 subjects the image data stored in the frame image buffer 7 to image compression processing by the JPEG circuit 26, records an image file composed of the compressed data in a storage memory (not shown), and completes imaging for one frame. (Step S14).

上記構成により、簡易な構成および制御で撮像素子の電荷信号から暗電流ノイズ成分(静的ノイズ)だけでなく機器ノイズ成分(動的ノイズ)を除去すると共に、撮像時のSN比をより向上させることができる。   With the above configuration, not only the dark current noise component (static noise) but also the device noise component (dynamic noise) is removed from the charge signal of the imaging device with a simple configuration and control, and the SN ratio at the time of imaging is further improved. be able to.

具体的には、遮光スイッチとしての液晶シャッターを周期的にON/OFFさせることにより遮光周期(実施例では60Hzとしたがこれに限定されない)に同期しないノイズ成分を差し引く簡易的なデジタルバンドパスフィルタ(デジタルBPF)が構成される。そして、このフィルタ効果により、撮像素子の固有ノイズのような静的なノイズだけでなく、動的なノイズ(例えば、50Hzの電源ノイズなどの機器ノイズ)を低減することができるので、従来例のように撮像素子の固有ノイズのような静的なノイズだけを低減する場合に比べ撮像時のSN比をより向上させることができる。なお、上述した簡易BPFの周波数特性グラフを図5に示す。   Specifically, a simple digital bandpass filter that subtracts noise components that are not synchronized with the light shielding period (60 Hz in the embodiment, but not limited to this) by periodically turning on and off a liquid crystal shutter as a light shielding switch. (Digital BPF) is configured. This filter effect can reduce not only static noise such as intrinsic noise of the image sensor but also dynamic noise (for example, device noise such as 50 Hz power supply noise). As described above, the SN ratio at the time of imaging can be further improved as compared with the case where only static noise such as the intrinsic noise of the imaging element is reduced. In addition, the frequency characteristic graph of the simplified BPF described above is shown in FIG.

また、図2のフローチャートのステップS11に示したように、液晶シャッター2のON区間データとOFF区間データに基づいてOFF区間のノイズ分によるSN比を計算し、その値を元に、次のタイミングの、液晶シャッター2のON/OFFのタイミング(周期、デューティ比)を変更できるようにしたことにより、上述した簡易BPFの精度を向上させることができることから、撮像時のSN比を更に向上させることができる。なお、図2のステップS11の詳細なフローチャートを図4に示す。   Further, as shown in step S11 of the flowchart of FIG. 2, the SN ratio due to noise in the OFF section is calculated based on the ON section data and the OFF section data of the liquid crystal shutter 2, and the next timing is calculated based on the calculated value. Since the accuracy of the simple BPF described above can be improved by changing the ON / OFF timing (cycle, duty ratio) of the liquid crystal shutter 2, the SN ratio at the time of imaging can be further improved. Can do. A detailed flowchart of step S11 in FIG. 2 is shown in FIG.

また、図2のステップS7で、受光制御部9は変更指示を受け取ったときに制御しているON/OFF動作が完了したか否かを調べそのON/OFF動作が完了してから液晶シャッター2を変更後のタイミング周期でON/OFFさせるので、画像フレームバッファ7に1フレーム分の画像データが記憶されるまでは液晶シャッター2のON/OFFタイミングが変更されない。したがって、液晶シャッター2のON/OFFタイミングが途中で変更されたような場合に生じる画像の乱れが生じない。   In step S7 in FIG. 2, the light reception controller 9 checks whether or not the ON / OFF operation controlled when the change instruction is received is completed, and after the ON / OFF operation is completed, the liquid crystal shutter 2 Is turned ON / OFF at the changed timing cycle, so that the ON / OFF timing of the liquid crystal shutter 2 is not changed until image data for one frame is stored in the image frame buffer 7. Therefore, image distortion that occurs when the ON / OFF timing of the liquid crystal shutter 2 is changed in the middle does not occur.

また、図2のステップS10で、遮光周期に同期しないノイズ成分を差し引く際に、光学系1から入射する光学像を周期的にCCD3に入射するON区間と、光学系1から入射する光学像を周期的に遮断するOFF区間の長さが異なる場合は、ON区間とOFF区間の長さが同じ長さの区間データとなるようにデータを乗算若しくは除算を施して重み付けをした後に減算を行うようにしたので、液晶シャッター2のON/OFFのタイミング(周期、デューティ比)を変更してもOFF区間のノイズ分によるSN比を正確に求めることができる。   Further, when subtracting noise components that are not synchronized with the light shielding period in step S10 in FIG. 2, an ON section in which an optical image incident from the optical system 1 is periodically incident on the CCD 3 and an optical image incident from the optical system 1 are obtained. If the length of the OFF section that is periodically interrupted is different, the data is multiplied or divided so that the ON section and the OFF section have the same length, and then the subtraction is performed. Therefore, even if the ON / OFF timing (cycle, duty ratio) of the liquid crystal shutter 2 is changed, it is possible to accurately obtain the SN ratio due to noise in the OFF section.

図3は、本発明により構成される簡易BPFの説明図であり、図3(a)はデジタルカメラ100の光学系1、液晶シャッター2、CCD3と、簡易BPF24を示す。簡易BPF24はA/D変換器5、画像フィールドバッファ6、受光制御部9、およびCPU12から構成されるデジタル・バンドパスフィルタである。また、図3(a)で符号21は被写体からの光束を示し、符号22は光学系1からCCD3の受光面に入射する入射光を示す。入射光22は液晶シャッター2により図3(b)に示すように周期的に遮光される。   FIG. 3 is an explanatory diagram of a simplified BPF configured according to the present invention. FIG. 3A shows the optical system 1, the liquid crystal shutter 2, the CCD 3, and the simplified BPF 24 of the digital camera 100. The simple BPF 24 is a digital bandpass filter including an A / D converter 5, an image field buffer 6, a light reception control unit 9, and a CPU 12. In FIG. 3A, reference numeral 21 denotes a light beam from the subject, and reference numeral 22 denotes incident light incident on the light receiving surface of the CCD 3 from the optical system 1. Incident light 22 is periodically shielded by the liquid crystal shutter 2 as shown in FIG.

また、符号23はCCD3によって変換された電気信号からなるON区間データ(画像信号およびノイズ成分)若しくはOFF区間データ(ノイズ成分)からなるアナログ信号を示す。ノイズ成分にはCCD3のノイズ(暗電流)と機器ノイズが含まれている。これらのデータはCCD3と画像フィールドバッファ6の間でデジタル信号に変換され、ON区間データは画像フィールドバッファ6の第1の領域に一次記憶され、OFF区間データは画像フィールドバッファ6の第2の領域に一次記憶される。   Reference numeral 23 denotes an analog signal composed of ON section data (image signal and noise component) or OFF section data (noise component) composed of an electrical signal converted by the CCD 3. The noise component includes CCD 3 noise (dark current) and device noise. These data are converted into digital signals between the CCD 3 and the image field buffer 6, ON section data is temporarily stored in the first area of the image field buffer 6, and OFF section data is stored in the second area of the image field buffer 6. Is temporarily stored.

符号25は画像フレームデータを示す。フレームデータは図3(d)に示すように簡易BPF24により画像フィールドデータからノイズ成分が除去された差分データであり、この差分データは画像フレームデータとして、順次、画像フレームバッファ7に保存(記憶)され、画像フレームバッファ7に記憶される。1フレーム分の画像フレームデータが画像フレームバッファ7に記憶されると信号処理部8に出力される(図1、図2(ステップS12)参照)。   Reference numeral 25 denotes image frame data. The frame data is difference data obtained by removing noise components from the image field data by the simple BPF 24 as shown in FIG. 3D, and the difference data is sequentially stored (stored) in the image frame buffer 7 as image frame data. And stored in the image frame buffer 7. When the image frame data for one frame is stored in the image frame buffer 7, it is output to the signal processing unit 8 (see FIGS. 1 and 2 (step S12)).

図3(b)は、液晶シャッター2のON/OFF動作によるCCD転送タイミングを示す図であり、縦軸は光強度、横軸は時間(t1、t2、・・・)を示す。図3(b)で、t1〜t2、t3〜t4、・・が液晶シャッター2がOFFの期間であり、この間は光学系1からの光21は遮光されCCD3からCCDのノイズのみが出力される。また、図3(b)で、t0〜t1、t2〜t3、t5、・・が液晶シャッター2がONの期間であり、この間は光学系1からの光22はCCD3の受光面に入射し、CCD3からは画像信号+CCD3のノイズが出力される。   FIG. 3B is a diagram showing the CCD transfer timing by the ON / OFF operation of the liquid crystal shutter 2, and the vertical axis shows the light intensity and the horizontal axis shows the time (t1, t2,...). In FIG. 3B, t1 to t2, t3 to t4,... Are periods in which the liquid crystal shutter 2 is OFF. During this period, the light 21 from the optical system 1 is blocked and only CCD noise is output from the CCD 3. . In FIG. 3 (b), t0 to t1, t2 to t3, t5,... Are periods in which the liquid crystal shutter 2 is ON, during which the light 22 from the optical system 1 is incident on the light receiving surface of the CCD 3, The CCD 3 outputs image signal + CCD 3 noise.

図3(c)は、ON区間データ(画像信号およびノイズ成分)およびOFF区間データ(ノイズ成分)の経時的遷移を示す図であり、縦軸は画像フィールドバッファ6への入力データ、横軸は時間(t1、t2、・・・)、グラフ上の黒点は区間データを示す。時間t1、t3、t5、・・に取得される区間データk1、k2、k3、・・は画像信号+CCD3のノイズ+機器ノイズからなるON区間データであり、時間t2、t4、・・に取得される区間データg1、g2、・・はCCD3のノイズ+機器ノイズからなるOFF区間データであり、ON区間データk1、k2、k3、・・、OFF区間データg1、g2、・・共にCCDのノイズ+機器ノイズからなるノイズ成分を有している。   FIG. 3C is a diagram showing a time-dependent transition of ON section data (image signal and noise component) and OFF section data (noise component). The vertical axis represents input data to the image field buffer 6, and the horizontal axis represents Black points on the time (t1, t2,...) And the graph indicate interval data. The section data k1, k2, k3,... Acquired at times t1, t3, t5,... Are ON section data consisting of image signal + CCD3 noise + device noise, and acquired at times t2, t4,. The section data g1, g2,... Are OFF section data composed of CCD3 noise + device noise, and the ON section data k1, k2, k3,..., And OFF section data g1, g2,. It has a noise component consisting of equipment noise.

図3(d)は簡易BPF24により取得される隣接差分データ(フレームデータ)を示す図であり、縦軸は隣接差分データの値、横軸は時間(t2、t4、・・・)、グラフ上の黒点q1、q2は隣接差分データを示す。隣接差分データはON区間データ(例えば、図3(c)に示すON区間データk1、k2、k3、・・)から隣り合うOFF区間データ(例えば、図3(c)に示すOFF区間データg1、g2、・・)を差し引くことにより取得される。取得された隣接差分データはフレームデータとして画像フレームバッファ7に順次保存される。   FIG. 3D is a diagram showing adjacent difference data (frame data) acquired by the simplified BPF 24, where the vertical axis indicates the value of the adjacent differential data, the horizontal axis indicates time (t2, t4,...), And on the graph. The black points q1 and q2 indicate adjacent difference data. The adjacent difference data is the ON section data (for example, the ON section data k1, k2, k3,... Shown in FIG. 3C) and the adjacent OFF section data (for example, the OFF section data g1 shown in FIG. 3C). It is obtained by subtracting g2,. The acquired adjacent difference data is sequentially stored in the image frame buffer 7 as frame data.

図4は、図2のステップS11の詳細な動作を示すフローチャートであり、具体的には、OFF区間のノイズ成分によるSN比の演算による液晶シャッターのON/OFFのタイミング変更動作を示すフローチャートである。   FIG. 4 is a flowchart showing the detailed operation of step S11 of FIG. 2, and specifically, is a flowchart showing the timing change operation of the liquid crystal shutter ON / OFF by the calculation of the SN ratio by the noise component in the OFF section. .

図2のステップS10で液晶シャッター2のON/OFFによりCCD3から出力されるON区間データの値とOFF区間データの差分OFFレームデータとして画像フレームバッファ7に保存した後、CPU12は、ON区間から得られる画面全体の信号強度とOFF区間から得られるノイズ強度の比からSN比を求め(ステップS11−1)、SNを所定値α、Βと比較し、SN比<αの場合には図10のステップS12に進み、α≦SN比≦Βの場合にはステップS11−3に進み、SN比<Βの場合にはステップS11−4に進む(ステップS11−2)。ここで、αは比較的高い値であり、Βは機器ノイズが撮像信号レベルに対して無視できるだけ十分高い値(アルファ<<Β)であり、設計時に設定される。   In step S10 in FIG. 2, after the liquid crystal shutter 2 is turned ON / OFF, the value of the ON section data output from the CCD 3 and the difference OFF frame data between the OFF section data are stored in the image frame buffer 7, and then the CPU 12 obtains from the ON section. The SN ratio is obtained from the ratio of the signal intensity of the entire screen to be obtained and the noise intensity obtained from the OFF section (step S11-1), and SN is compared with a predetermined value α and Β. The process proceeds to step S12. If α ≦ SN ratio ≦ Β, the process proceeds to step S11-3, and if SN ratio <S, the process proceeds to step S11-4 (step S11-2). Here, α is a relatively high value, and Β is a value that is sufficiently high (alpha << Β) that device noise is negligible with respect to the imaging signal level, and is set at the time of design.

α≦SN比≦Βの場合には、CPU12はSN比に応じてON区間をOFF区間の整数倍(2倍以上)に設定して(つまり、SN比に応じてデユーティー比を変更するようにして)、液晶シャッター2のON/OFFタイミングを設定し、ステップS11−5に進む(ステップS11−3)。   In the case of α ≦ SN ratio ≦ Β, the CPU 12 sets the ON interval to an integer multiple (2 times or more) of the OFF interval according to the SN ratio (that is, changes the duty ratio according to the SN ratio). The liquid crystal shutter 2 is turned ON / OFF, and the process proceeds to step S11-5 (step S11-3).

SN比>Βの場合には、CPU12は露光時間を長くとるように液晶シャッター2のON/OFFタイミングを常時ONに設定してステップS11−5に進む(ステップS11−4)。つまり、SN比が十分高く、機器ノイズレベルが画像信号レベルに対して無視できるような場合には、液晶シャッター2のON/OFFタイミングを常時ONに設定して露光時間を長く取ることができる。   When the S / N ratio> Β, the CPU 12 always sets the ON / OFF timing of the liquid crystal shutter 2 to ON so as to increase the exposure time, and proceeds to step S11-5 (step S11-4). That is, when the SN ratio is sufficiently high and the device noise level is negligible with respect to the image signal level, the ON / OFF timing of the liquid crystal shutter 2 can be always set to ON to increase the exposure time.

CPU12は上記ステップS11−3若しくはS11−4で設定した液晶シャッター2のON/OFFタイミング値を含むON/OFFタイミング設定変更指示信号を受光制御部9に送出して図2のステップS12に進む(ステップS11−5)。   The CPU 12 sends an ON / OFF timing setting change instruction signal including the ON / OFF timing value of the liquid crystal shutter 2 set in step S11-3 or S11-4 to the light reception control unit 9, and proceeds to step S12 in FIG. Step S11-5).

(変形例)
上記実施例では、液晶シャッター2で遮光するように構成したが、鏡やプリズムを用いて遮光するように構成してもよい。さらに、CCD等の撮像素子をデュアル構成とし、鏡やプリズムを用いて2つの撮像素子それぞれに交互に光学系1からの光を入射するように構成してもよい。
(Modification)
In the above-described embodiment, the liquid crystal shutter 2 is configured to shield light. However, the liquid crystal shutter 2 may be configured to shield light using a mirror or a prism. Further, the imaging device such as a CCD may have a dual configuration, and a mirror or a prism may be used so that light from the optical system 1 is alternately incident on each of the two imaging devices.

以上、本発明のいくつかの実施例について説明したが本発明は上記各実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。   As mentioned above, although several Example of this invention was described, it cannot be overemphasized that this invention is not limited to said each Example, A various deformation | transformation implementation is possible.

本発明の撮像装置の主要構成部分の一実施例を示すブロック図である。It is a block diagram which shows one Example of the main components of the imaging device of this invention. 本発明に基づくデジタルカメラのCPUによる撮影動作制御シーケンスを示すフローチャートである。It is a flowchart which shows the imaging | photography operation | movement control sequence by CPU of the digital camera based on this invention. 本発明により構成される簡易BPFの説明図である。It is explanatory drawing of the simple BPF comprised by this invention. 図2のステップS11の詳細な動作を示すフローチャートである。It is a flowchart which shows the detailed operation | movement of step S11 of FIG. 本発明により構成される簡易BPFの周波数特性を示すグラフである。It is a graph which shows the frequency characteristic of the simple BPF comprised by this invention.

符号の説明Explanation of symbols

1 光学系
2 液晶シャッター
3 CCD
6 画像フィールドバッファ
7 画像フレームバッファ
8 信号処理部
9 受光制御部
11 レンズ制御部
12 CPU
15 シャッターボタン
16 モードボタン
24 簡易BPF
100 デジタルカメラ
1 Optical system 2 Liquid crystal shutter 3 CCD
6 Image field buffer 7 Image frame buffer 8 Signal processing unit 9 Light reception control unit 11 Lens control unit 12 CPU
15 Shutter button 16 Mode button 24 Simple BPF
100 digital camera

Claims (6)

光学像を電気信号からなる画像情報に変換する撮像手段と、
前記撮像手段に入射する光学像を周期的に遮断若しくは通過させるための遮光制御手段と、
前記遮断制御手段の制御によって周期的に光学像を前記撮像手段に入射する第1の区間において入射した光学像から前記撮像手段により変換されたフィールド画像信号を記憶するための画像記憶手段と、
前記遮断制御手段の制御によって入射する光学像を周期的に遮断する第2の区間において前記撮像手段から発生される暗電流雑音成分を含むフィールド雑音成分を記憶するための雑音成分記憶手段と、
前記画像記憶手段に記憶されたフィールド画像信号から前記雑音成分記憶手段に記憶されたフィールド雑音成分を減算する減算手段と、
前記減算手段によって取得した差分をフレームデータとして順次記憶するためのフレームデータ記憶手段と、
前記フィールド画像信号の信号強度とフィールド雑音成分の信号強度の比からSN比を取得して、前記遮光手段の光学像遮断若しくは通過のタイミングを調整する遮光タイミング調整手段と、
を備えたことを特徴とする撮像装置。
Imaging means for converting an optical image into image information composed of electrical signals;
A light shielding control means for periodically blocking or passing an optical image incident on the imaging means;
An image storage means for storing a field image signal converted by the imaging means from an optical image incident in a first section in which an optical image is periodically incident on the imaging means under the control of the blocking control means;
A noise component storage means for storing a field noise component including a dark current noise component generated from the imaging means in a second section in which the incident optical image is periodically blocked by the control of the cutoff control means;
Subtracting means for subtracting the field noise component stored in the noise component storage means from the field image signal stored in the image storage means;
Frame data storage means for sequentially storing the difference obtained by the subtraction means as frame data;
A light-shielding timing adjusting unit that obtains an SN ratio from a ratio of the signal intensity of the field image signal and the signal intensity of a field noise component, and adjusts the timing of blocking or passing the optical image of the light-shielding unit;
An imaging apparatus comprising:
前記遮光タイミング調整手段は、正数α<<Βとするとき、α≦前記SN比≦Βのときは前記第1の区間の長さを前記第2の区間の2以上の整数倍とし、前記SN比>Βのときは常時第1の区間とするタイミング調整手段と、
前記タイミング調整手段によって調整された区間変更情報を基に前記遮光制御手段に遮光タイミングの変更情報を与える遮光タイミング変更手段と、
を備えたことを特徴とする請求項1に記載の撮像装置。
The light-shielding timing adjusting means sets the length of the first section to an integral multiple of 2 or more of the second section when α ≦ Β is set to a positive number α << Β, A timing adjusting means that is always the first section when the SN ratio> Β,
A light shielding timing changing means for providing light shielding timing change information to the light shielding control means on the basis of the section change information adjusted by the timing adjusting means;
The imaging apparatus according to claim 1, further comprising:
前記遮光制御手段は、前記遮光タイミング変更手段から遮光タイミングの変更情報を取得した際に制御している光学像の周期的な遮断若しくは通過動作が完了してから取得した遮光タイミングの変更情報に基づいて前記撮像手段に入射する光学像の周期的な遮断若しくは通過動作を制御することを特徴とする請求項2に記載の撮像装置。   The light shielding control means is based on the change information of the light shielding timing acquired after completion of the periodic shielding or passing operation of the optical image controlled when the light shielding timing change information is obtained from the light shielding timing changing means. The imaging apparatus according to claim 2, wherein a periodic blocking or passing operation of the optical image incident on the imaging unit is controlled. 前記減算手段は、前記画像記憶手段に記憶されたフィールド画像信号から前記雑音成分記憶手段に記憶されたフィールド雑音成分を減算する際に、前記第1の区間と第2の区間の長さが異なる場合には、前記フィールド画像信号とフィールド雑音成分が、第1の区間と第2の区間の長さを等しくした場合に取得したデータとなるように前記フィールド画像信号若しくは前記フィールド雑音成分を調整してから減算を行うことを特徴とする請求項1乃至3のいずれかに記載の撮像装置。   When the subtracting unit subtracts the field noise component stored in the noise component storage unit from the field image signal stored in the image storage unit, the lengths of the first section and the second section are different. In this case, the field image signal or the field noise component is adjusted so that the field image signal and the field noise component become data acquired when the lengths of the first interval and the second interval are equal. The imaging apparatus according to claim 1, wherein subtraction is performed after the first time. 光学像を電気信号からなる画像情報に変換する撮像手段を備えた撮像装置において、
前記撮像手段に入射する光学像を周期的に遮断若しくは通過させる第1の工程と、
前記第1の工程で周期的に光学像を前記撮像手段に入射する第1の区間において入射した光学像から前記撮像手段により変換されたフィールド画像信号を第1のバッファに一時記憶し、前記第1の工程で入射する光学像を周期的に遮断する第2の区間において前記撮像手段から発生される暗電流雑音成分を含むフィールド雑音成分を第2のバッファに一時記憶する第2の工程と、
前記第1のバッファに記憶されたフィールド画像信号から前記第2のバッファに記憶されたフィールド雑音成分を減算する第3の工程と、
前記第3の工程によって取得した差分をフレームデータとして第3のバッファに順次記憶する第4の工程と、
前記フィールド画像信号の信号強度とフィールド雑音成分の信号強度の比からSN比を取得して、前記遮光手段の光学像遮断若しくは通過のタイミングを調整する第5の工程と、
を備えたことを特徴とするノイズ除去方法。
In an imaging apparatus provided with imaging means for converting an optical image into image information consisting of electrical signals,
A first step of periodically blocking or passing an optical image incident on the imaging means;
The field image signal converted by the imaging unit from the optical image incident in the first section in which the optical image is periodically incident on the imaging unit in the first step is temporarily stored in the first buffer, and the first buffer A second step of temporarily storing a field noise component including a dark current noise component generated from the imaging means in a second buffer in a second section in which an optical image incident in step 1 is periodically blocked;
A third step of subtracting the field noise component stored in the second buffer from the field image signal stored in the first buffer;
A fourth step of sequentially storing the difference acquired in the third step as frame data in a third buffer;
A fifth step of obtaining an S / N ratio from a ratio of a signal intensity of the field image signal and a signal intensity of a field noise component, and adjusting a timing of blocking or passing the optical image of the light shielding unit;
A noise removal method comprising:
光学像を電気信号からなる画像情報に変換する撮像手段を備えたコンピュータを、
前記撮像手段に入射する光学像を周期的に遮断若しくは通過させるための遮光制御手段、
前記遮断制御手段の制御によって周期的に光学像を前記撮像手段に入射する第1の区間において入射した光学像から前記撮像手段により変換されたフィールド画像信号をメモリに記憶する画像記憶手段、
前記遮断制御手段の制御によって入射する光学像を周期的に遮断する第2の区間において前記撮像手段から発生される暗電流雑音成分を含むフィールド雑音成分をメモリに記憶する雑音成分記憶手段、
前記画像記憶手段によってメモリに記憶されたフィールド画像信号から前記雑音成分記憶手段によってメモリに記憶されたフィールド雑音成分を減算する減算手段、
前記減算手段によって取得した差分をフレームデータとして順次メモリに記憶するフレームデータ記憶手段、
前記フィールド画像信号の信号強度とフィールド雑音成分の信号強度の比からSN比を取得して、前記遮光手段の光学像遮断若しくは通過のタイミングを調整する遮光タイミング調整手段、
として機能させるためのノイズ除去制御プログラム。
A computer having an imaging means for converting an optical image into image information composed of electrical signals,
A light shielding control means for periodically blocking or passing an optical image incident on the imaging means;
Image storage means for storing, in a memory, a field image signal converted by the imaging means from an optical image incident in a first section in which an optical image is periodically incident on the imaging means under the control of the blocking control means;
Noise component storage means for storing, in a memory, field noise components including dark current noise components generated from the imaging means in a second section in which the incident optical image is periodically blocked by the control of the cutoff control means;
Subtracting means for subtracting the field noise component stored in the memory by the noise component storing means from the field image signal stored in the memory by the image storing means;
Frame data storage means for sequentially storing the difference obtained by the subtracting means as frame data in a memory;
A light shielding timing adjusting means for obtaining an SN ratio from the ratio of the signal intensity of the field image signal and the signal intensity of the field noise component, and adjusting the timing of blocking or passing the optical image of the light shielding means;
Noise removal control program to function as.
JP2006295201A 2006-10-31 2006-10-31 Noise removal method and noise removal control program Expired - Fee Related JP4992382B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006295201A JP4992382B2 (en) 2006-10-31 2006-10-31 Noise removal method and noise removal control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006295201A JP4992382B2 (en) 2006-10-31 2006-10-31 Noise removal method and noise removal control program

Publications (2)

Publication Number Publication Date
JP2008113276A true JP2008113276A (en) 2008-05-15
JP4992382B2 JP4992382B2 (en) 2012-08-08

Family

ID=39445539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006295201A Expired - Fee Related JP4992382B2 (en) 2006-10-31 2006-10-31 Noise removal method and noise removal control program

Country Status (1)

Country Link
JP (1) JP4992382B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114689162A (en) * 2022-03-31 2022-07-01 同济大学 Optical holographic imaging system and method for ultrasonic field visualization and measurement

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06276447A (en) * 1993-03-23 1994-09-30 Fuji Photo Optical Co Ltd Image pickup device using solid-state image pickup element
JP2001326851A (en) * 2000-05-16 2001-11-22 Canon Inc Image input device and processing method for image data
JP2005260993A (en) * 2005-04-25 2005-09-22 Casio Comput Co Ltd Imaging apparatus and its signal processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06276447A (en) * 1993-03-23 1994-09-30 Fuji Photo Optical Co Ltd Image pickup device using solid-state image pickup element
JP2001326851A (en) * 2000-05-16 2001-11-22 Canon Inc Image input device and processing method for image data
JP2005260993A (en) * 2005-04-25 2005-09-22 Casio Comput Co Ltd Imaging apparatus and its signal processing method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114689162A (en) * 2022-03-31 2022-07-01 同济大学 Optical holographic imaging system and method for ultrasonic field visualization and measurement
CN114689162B (en) * 2022-03-31 2023-08-04 同济大学 Optical holographic imaging system and method for visualization and measurement of ultrasonic field

Also Published As

Publication number Publication date
JP4992382B2 (en) 2012-08-08

Similar Documents

Publication Publication Date Title
US7391447B2 (en) Method and apparatus for removing noise from a digital image
WO2015190156A1 (en) Image processing device, imaging device equipped with same, image processing method, and image processing program
JP5482799B2 (en) Electronic camera
JP5484617B2 (en) Imaging device
WO2013077073A1 (en) Imaging device and imaging method
JP2012129817A (en) Imaging apparatus and control method of imaging element
JP5279638B2 (en) Imaging device
JP2013031010A (en) Imaging apparatus, imaging method, and program
US10097751B2 (en) Imaging apparatus and image compositing method
JP2003319407A (en) Imaging apparatus
KR101747304B1 (en) A digital photographing apparatus, a method for auto-focusing, and a computer-readable storage medium for executing the method
JP5452269B2 (en) Imaging device
JP2009302794A (en) Imaging apparatus
WO2015129479A1 (en) Imaging device and method, and program
JP2007013270A (en) Imaging apparatus
CN106993110B (en) Image pickup apparatus and control method thereof
JP6602954B2 (en) Focus position detection apparatus and focus position detection method
JP2006109196A (en) Imaging apparatus and mobile communication apparatus
JP4992382B2 (en) Noise removal method and noise removal control program
JP4871664B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP6294607B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2004343363A (en) Imaging apparatus
JP2006243745A (en) Automatic focus detector
JP2012257043A (en) Image pickup apparatus and image pickup method
US20150085172A1 (en) Image capturing apparatus and control method thereof

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120410

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120423

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150518

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4992382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees