JP2007295200A - Flicker correcting method and imaging apparatus - Google Patents

Flicker correcting method and imaging apparatus Download PDF

Info

Publication number
JP2007295200A
JP2007295200A JP2006119732A JP2006119732A JP2007295200A JP 2007295200 A JP2007295200 A JP 2007295200A JP 2006119732 A JP2006119732 A JP 2006119732A JP 2006119732 A JP2006119732 A JP 2006119732A JP 2007295200 A JP2007295200 A JP 2007295200A
Authority
JP
Japan
Prior art keywords
flicker
correction
signal
amplitude
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006119732A
Other languages
Japanese (ja)
Other versions
JP4645517B2 (en
Inventor
Tetsuyuki Ono
哲之 大野
Yoshiaki Nishide
義章 西出
Hiromasa Ikeyama
裕政 池山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006119732A priority Critical patent/JP4645517B2/en
Publication of JP2007295200A publication Critical patent/JP2007295200A/en
Application granted granted Critical
Publication of JP4645517B2 publication Critical patent/JP4645517B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a flicker correcting method for highly accurately performing flicker correction and an imaging apparatus. <P>SOLUTION: An image pickup signal is generated by accumulating electric charges in an imaging element in accordance with a frame rate, two sorts of flicker phase image pickup signals are generated by adding flickers having respectively different phases to an image pickup signal of a current frame, a correction phase error is detected by comparing the image pickup signal of the current frame with an image pickup signal of a succeeding frame, and two sorts of flicker amplitude image pickup signals are generated by adding flickers having respectively different amplitudes to the image pickup signal of the current frame. Then a correction amplitude error is detected by comparing the image pickup signal of the current frame with the image pickup signal of the succeeding frame, an amplitude signal for controlling the amplitude of a flicker correction signal is generated, the flicker correction signal is generated by integrating a specific period determined on the basis of relation among the frequency of a light source, the charge accumulation time of the imaging element and the charge accumulation timing of the imaging element from correction waveform data corresponding to a correction phase error signal and multiplying an amplitude signal by the integrated data, and flicker correction is performed by adding the flicker correction signal to the image pickup signal of the succeeding frame. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮像信号にフリッカ補正信号を加算することによりフリッカ補正を行うフリッカ補正方法及び撮像装置に関する。   The present invention relates to a flicker correction method and an imaging apparatus that perform flicker correction by adding a flicker correction signal to an imaging signal.

従来、イメージセンサは面単位、若しくはライン単位で電荷の蓄積タイミングが異なる。一般的に、面単位で電荷の蓄積タイミングを合わせる方式をグローバルシャッタ方式と呼び、ライン単位で電荷の蓄積タイミングを合わせる方式をローリングシャッタ方式と呼ぶ。これまでイメージセンサではグローバルシャッタ方式を採用したCCDイメージセンサが主流であったが、近年、CCDイメージセンサより消費電力が小さく、部品点数も少なく安価に生産できるCMOSイメージセンサが注目されている。このCMOSイメージセンサは構造的な問題によりローリングシャッタ方式を採用している場合が多い。どちらの方式でも、点滅を繰り返す光源の下で撮影した場合は、センサでの電荷蓄積タイミングの違いにより、面全体に明暗の違い(面フリッカ)やライン毎による明暗の違い(面内フリッカ)が現れる。   Conventionally, an image sensor has different charge accumulation timings in units of planes or lines. In general, a method for adjusting charge accumulation timing in units of planes is called a global shutter method, and a method for adjusting charge accumulation timing in units of lines is called a rolling shutter method. In the past, CCD image sensors employing a global shutter system have been the mainstream image sensors. Recently, however, CMOS image sensors that consume less power and have fewer parts than CCD image sensors and can be produced at low cost have attracted attention. This CMOS image sensor often employs a rolling shutter system due to structural problems. In either method, when shooting under a light source that repeatedly blinks, there is a difference in brightness (surface flicker) on the entire surface and a difference in brightness (in-plane flicker) on a line-by-line basis due to the difference in charge accumulation timing at the sensor. appear.

図13にグローバルシャッタ方式を採用したセンサでの電荷蓄積量の違いを示し、従来図14にはグローバルシャッタ方式によって現れる面フリッカの画像の例を示す。図15にはローリングシャッタ方式による電荷蓄積量の違いを示し、図16には面内フリッカの画像の例を示す。   FIG. 13 shows the difference in the amount of accumulated charge in sensors that employ the global shutter system, and FIG. 14 shows an example of a surface flicker image that appears by the global shutter system. FIG. 15 shows a difference in the amount of accumulated charge by the rolling shutter system, and FIG. 16 shows an example of an in-plane flicker image.

例えば、CMOSカメラを使用して撮像を行うにあたり、被写体に対する照明を行う光源が、例えば、交流電源周期の1/2の周期をもって点滅を繰り返すものとされる場合には、固体撮像素子からの映像出力信号に基づいて形成される映像信号が、周期的な輝度レベルの増減として現れるフリッカ成分を含むことになる。   For example, when imaging using a CMOS camera, when a light source that illuminates a subject repeats blinking with a period of 1/2 of an AC power supply period, for example, an image from a solid-state image sensor The video signal formed based on the output signal includes a flicker component that appears as a periodic increase / decrease in luminance level.

ここで、図15において被写体に対する照明を行う光源の輝度Xが周期的に変動する下において、映像信号のある1ライン期間分に対応する信号電荷を蓄積する固体撮像素子部の受光部分Lに、期間aから期間bまでの期間(期間a+b)において信号電荷が蓄積され、映像信号の次の1ライン期間分に対応する信号電荷を蓄積する受光部分Ln+1に、期間bから期間c(c=a)までの期間(期間b+c)において信号電荷が蓄積される場合、受光部分Lに期間a+bにおいて蓄積される信号電荷の量は、面積Aa面積Abとの和(面積Aa+Ab)に比例したものとなり、また、受光部分LN+1に期間b+cにおいて蓄積される信号電荷の量は、面積Abと面積Acとの和(面積Ab+Ac)に比例したものとなる。ここで、期間a及び期間cの夫々は、例えば、映像信号の1ライン期間に対応し、また、期間a+b及び期間b+cの夫々は、例えば、映像信号の1フレーム期間に対応するものとされる。 Here, under the luminance X of the light source that illuminates the subject in FIG. 15, the signal charge corresponding to one line period of the video signal is accumulated in the light receiving portion L n of the solid-state image sensor unit. In the period from the period a to the period b (period a + b), the signal charge is accumulated, and the light receiving portion L n + 1 that accumulates the signal charge corresponding to the next one line period of the video signal is transferred to the period b to the period c (c = if the signal charge in the period (the period b + c) until a) is accumulated, the amount of signal charge accumulated in the period a + b on the light-receiving portion L n is proportional to the sum of the areas Aa area Ab (area Aa + Ab) The amount of signal charges accumulated in the light receiving portion L N + 1 in the period b + c is proportional to the sum of the area Ab and the area Ac (area Ab + Ac). Here, each of the period a and the period c corresponds to, for example, one line period of the video signal, and each of the period a + b and the period b + c corresponds to, for example, one frame period of the video signal. .

即ち、受光部分L及び受光部分Ln+1の夫々の電荷蓄積時間(露光時間)は、その長さが、例えば、映像信号の1フレーム期間に対応するものとされて等しく、そのタイミングが、例えば、映像信号の1ライン期間に対応する期間だけずれるものとされる。そして、図15に示される場合には、被写体に対する照明を行う光源の輝度変動周期(交流電源周期の1/2)と映像信号のフレーム周期とは、一方が他方の整数倍という関係にはない。 That is, the charge accumulation time (exposure time) of each of the light receiving portion L n and the light receiving portion L n + 1 is equal in length corresponding to, for example, one frame period of the video signal, and the timing is, for example, The video signal is shifted by a period corresponding to one line period. In the case shown in FIG. 15, the luminance fluctuation period (1/2 of the AC power supply period) of the light source that illuminates the subject and the frame period of the video signal are not related to each other as an integral multiple of the other. .

図15から明らかなように、面積Aa+Abと面積Ab+Acとは、面積Abを共通に含み、それぞれ面積Aaと面積Acを有している。従って、受光部分Lに期間a+bにおいて蓄積される信号電荷の量と、受光部分Ln+1に期間b+cにおいて蓄積される信号電荷の量とは、面積Aa及び面積Acに応じて異なる。 As is clear from FIG. 15, the area Aa + Ab and the area Ab + Ac include the area Ab in common, and have the area Aa and the area Ac, respectively. Therefore, the amount of signal charge accumulated in the light receiving portion L n in the period a + b and the amount of signal charge accumulated in the light receiving portion L n + 1 in the period b + c differ depending on the area Aa and the area Ac.

このように、固定撮像素子部において、映像信号の各ライン期間分に対応する信号電荷の蓄積と送出とが行われる受光部分に蓄積される、映像信号の1ライン期間分に対応する信号電荷の量が、光源の輝度の周期的変動に応じて周期的に変化することとなる。そして、このような受光部分に蓄積される映像信号の1ライン期間分に対応する信号電荷の量の周期的変化が、映像信号の輝度レベルの周期的変化となって現れ、映像信号にフリッカ成分が含まれることになる。   As described above, in the fixed image sensor unit, the signal charge corresponding to one line period of the video signal accumulated in the light receiving portion where the signal charge corresponding to each line period of the video signal is accumulated and sent out. The amount changes periodically according to the periodic variation of the luminance of the light source. Then, a periodic change in the amount of signal charge corresponding to one line period of the video signal accumulated in the light receiving portion appears as a periodic change in the luminance level of the video signal, and a flicker component appears in the video signal. Will be included.

上述のようなフリッカ成分が含まれた映像信号に基づいて再生される1フレーム期間分の画像は、例えば、図16に示されるように、ライン方向(水平方向)の明暗の縞模様が生じるものとされる。   An image for one frame period reproduced based on a video signal including a flicker component as described above has, for example, light and dark stripes in the line direction (horizontal direction) as shown in FIG. It is said.

特許文献1には、フリッカ成分を補正するために、入力画像からフリッカ成分を検出し、検出されたフリッカ成分をもとにゲインを調整する方法が記載されている。   Patent Document 1 describes a method of detecting a flicker component from an input image and correcting a gain based on the detected flicker component in order to correct the flicker component.

特開2004−222228号公報JP 2004-222228 A

このような周期的に点灯する光源下で撮像された撮像信号に含まれるフリッカ成分は、正弦波によって近似することができる。よって、従来からフリッカを除去する方法として、フリッカ成分を正弦波によって近似する方法が広く用いられている。   The flicker component included in the imaging signal imaged under such a periodically lit light source can be approximated by a sine wave. Therefore, conventionally, as a method for removing flicker, a method of approximating a flicker component by a sine wave is widely used.

また、本件出願人は、予めフリッカ成分を近似した正弦波のデータを記憶しておき、このデータに基づいて撮像画像から補正値を算出し、撮像画像から補正値を加えることによりフリッカ成分を除去した撮像信号を生成するフリッカ補正方法を特願2004−330299号として、先に提案している。   In addition, the applicant stores sine wave data that approximates the flicker component in advance, calculates a correction value from the captured image based on this data, and removes the flicker component by adding the correction value from the captured image. Japanese Patent Application No. 2004-330299 has previously proposed a flicker correction method for generating a captured image signal.

ところで、映像信号に含まれるフリッカ成分は、撮像装置のシャッタスピードに応じて変化するため、正弦波によって近似することができない場合がある。   By the way, since the flicker component included in the video signal changes according to the shutter speed of the imaging device, it may not be approximated by a sine wave.

具体例として、図17(A)にフレームレートが30fpsでシャッタを入れていない場合のフリッカ成分を示し、図17(B)にフレームレートが30fpsでシャッタスピードが1/1000[s]である場合のフリッカ成分を示し、図17(C)にフレームレートが30fpsでシャッタスピードが1/2000[s]である場合のフリッカ成分を示す。図17に示されるフリッカ成分は、全てフレームレートが30fpsに固定した条件下のものである。また、図18A及び図18Bは、露光時間及び電荷蓄積タイミングに応じたフリッカ成分を示した図である。図18Aは、図18Bと比べてシャッタスピードが速い場合のフリッカ成分を示した図である。このように、シャッタスピードに応じて露光時間が異なり、この露光時間の違いに応じて電荷蓄積容量も異なることを示している。   As a specific example, FIG. 17A shows a flicker component when the frame rate is 30 fps and no shutter is provided, and FIG. 17B shows a case where the frame rate is 30 fps and the shutter speed is 1/1000 [s]. FIG. 17C shows the flicker component when the frame rate is 30 fps and the shutter speed is 1/2000 [s]. The flicker components shown in FIG. 17 are all under conditions where the frame rate is fixed at 30 fps. 18A and 18B are diagrams showing flicker components according to exposure time and charge accumulation timing. FIG. 18A is a diagram showing a flicker component when the shutter speed is faster than that in FIG. 18B. Thus, the exposure time varies depending on the shutter speed, and the charge storage capacity varies depending on the difference in exposure time.

このように、蛍光灯等の光を正弦波の絶対値で近似した場合、フレームレートとシャッタスピードが遅ければフリッカ成分は、十分正確に近似することができるが、シャッタスピードが速くなると近似精度が低下するため、シャッタスピードが速くなるのにともなってフリッカ成分を十分に低減することができなかった。   Thus, when the light from a fluorescent lamp or the like is approximated by the absolute value of a sine wave, the flicker component can be approximated sufficiently accurately if the frame rate and the shutter speed are slow, but the approximation accuracy increases as the shutter speed increases. Therefore, the flicker component cannot be sufficiently reduced as the shutter speed increases.

本発明は、このような実情に鑑みて提案されたものであり、シャッタスピード及び/又はフレームレートが変化しても高精度にフリッカ補正を行うフリッカ補正方法及び撮像装置を提供することを目的とする。   The present invention has been proposed in view of such circumstances, and an object of the present invention is to provide a flicker correction method and an imaging apparatus that perform flicker correction with high accuracy even when the shutter speed and / or the frame rate change. To do.

上述の課題を解決するために、本発明に係るフリッカ補正方法は、光源の周波数に応じたフリッカ成分を含む撮像信号を補正するフリッカ補正方法であって、フレームレートに応じて所定の撮像素子が電荷を蓄積することにより撮像信号を生成し、フリッカ補正された現フレームの撮像信号に位相の異なるフリッカを加算した2種類のフリッカ位相撮像信号を生成し、生成した2種類のフリッカ位相撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正位相誤差を検出し、上記フリッカ補正された現フレームの撮像信号に振幅の異なるフリッカを加算した2種類のフリッカ振幅撮像信号を生成し、生成した2種類のフリッカ振幅撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正振幅誤差を検出し、上記検出される補正振幅誤差が小さくなる方向にフリッカ補正信号の振幅を制御する振幅信号を生成し、フリッカ成分を近似した補正波形データが記憶されている記憶手段から、上記補正位相誤差信号をもとに上記補正波形データを読み出し、読み出した上記補正波形データから、上記光源の周波数と上記撮像素子の電荷蓄積時間と上記撮像素子の電荷蓄積タイミングとの関係に基づいて決定される特定期間分を積分して上記振幅信号を乗算することにより上記フリッカ補正信号を生成し、次フレームの撮像信号に上記フリッカ補正信号を加算することでフリッカ補正を行うことを特徴とする。   In order to solve the above-described problem, a flicker correction method according to the present invention is a flicker correction method for correcting an imaging signal including a flicker component according to a frequency of a light source, and a predetermined imaging device is provided according to a frame rate. An image pickup signal is generated by accumulating charges, and two types of flicker phase image pickup signals are generated by adding flickers having different phases to the image pickup signal of the current frame that has been subjected to flicker correction. A correction phase error is detected by comparing with an image signal of the next frame not subjected to flicker correction, and two types of flicker amplitude image signals are generated by adding flickers having different amplitudes to the image signal of the current frame subjected to the flicker correction. And comparing the generated two types of flicker amplitude image pickup signals with the image pickup signals of the next frame not subjected to flicker correction. A correction amplitude error is detected, an amplitude signal for controlling the amplitude of the flicker correction signal in a direction in which the detected correction amplitude error is reduced is generated, and the correction waveform data approximating the flicker component is stored in the storage means The correction waveform data is read based on the correction phase error signal, and based on the relationship between the frequency of the light source, the charge accumulation time of the image sensor, and the charge accumulation timing of the image sensor from the read correction waveform data. The flicker correction signal is generated by integrating a specific period determined by multiplying the amplitude signal and adding the flicker correction signal to the imaging signal of the next frame. To do.

また、本発明に係る撮像装置は、フレームレートに応じて撮像素子に電荷を蓄積することにより撮像信号を生成する撮像手段を有し、光源の周波数に応じたフリッカ成分を含む撮像信号を補正する撮像装置であって、上記撮像手段により生成された画像信号にフリッカ補正信号を1フレーム毎に加算することによりフリッカ補正を行うフリッカ補正手段と、上記フリッカ補正手段によりフリッカ補正された現フレームの撮像信号に位相の異なるフリッカを加算した2種類のフリッカ振幅撮像信号を生成し、生成した2種類のフリッカ振幅撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正位相誤差を検出する補正位相誤差検出手段と、上記フリッカ補正手段によりフリッカ補正された現フレームの撮像信号に振幅の異なるフリッカを加算した2種類のフリッカ画像信号を生成し、生成した2種類のフリッカ振幅撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正振幅誤差を検出する補正振幅誤差検出手段と、上記補正振幅誤差検出手段により検出される補正振幅誤差が小さくなる方向にフリッカ補正信号の振幅を制御する振幅信号を生成するフリッカ振幅調整手段と、上記補正位相誤差検出手段により生成される補正位相誤差信号と上記フリッカ振幅調整手段により生成される振幅信号に基づいて、上記フリッカ補正信号を生成するフリッカ補正信号生成手段とを備え、上記フリッカ補正手段は、フリッカ成分を近似した補正波形データが記憶されている記憶手段と、上記補正位相誤差信号をもとに上記記憶手段から読み出した上記補正波形データから、上記光源の周波数と上記撮像素子の電荷蓄積時間と上記撮像信号のフレームレートとの関係に基づいて決定される特定期間分を積分して上記振幅信号を乗算することにより上記フリッカ補正信号を生成するフリッカ補正信号生成手段とを備えることを特徴とする。   The image pickup apparatus according to the present invention includes an image pickup unit that generates an image pickup signal by accumulating electric charges in the image pickup element according to the frame rate, and corrects the image pickup signal including a flicker component according to the frequency of the light source. An image pickup apparatus, wherein flicker correction means performs flicker correction by adding a flicker correction signal to the image signal generated by the image pickup means for each frame, and picks up the current frame after flicker correction by the flicker correction means. Two types of flicker amplitude imaging signals are generated by adding flickers having different phases to the signal, and the generated two types of flicker amplitude imaging signals are compared with the imaging signal of the next frame not subjected to flicker correction, thereby correcting the correction phase error. Correction phase error detection means for detecting, and an image signal of the current frame flicker corrected by the flicker correction means. Two types of flicker image signals are generated by adding flickers having different amplitudes to each other, and a corrected amplitude error is detected by comparing the generated two types of flicker amplitude image pickup signals with the image pickup signal of the next frame not subjected to flicker correction. Correction amplitude error detection means, flicker amplitude adjustment means for generating an amplitude signal for controlling the amplitude of the flicker correction signal in a direction in which the correction amplitude error detected by the correction amplitude error detection means decreases, and the correction phase error detection means And a flicker correction signal generation means for generating the flicker correction signal based on the amplitude signal generated by the flicker amplitude adjustment means. The flicker correction means approximates the flicker component. Storage means storing the corrected waveform data and the above-described correction phase error signal. From the corrected waveform data read from the means, the amplitude signal is multiplied by integrating a specific period determined based on the relationship between the frequency of the light source, the charge accumulation time of the image sensor, and the frame rate of the image signal. And a flicker correction signal generating means for generating the flicker correction signal.

本発明は、光源の周波数と撮像素子の電荷蓄積時間と撮像信号のフレームレートとの関係に基づいて決定される特定期間分を積分した補正波形データに、振幅信号を乗算したフリッカ補正信号を生成するので、撮像信号のシャッタスピード及びフレームレートが変化しても、高精度にフリッカ成分を補正することができる。   The present invention generates a flicker correction signal obtained by multiplying the correction waveform data obtained by integrating a specific period determined based on the relationship between the frequency of the light source, the charge accumulation time of the image pickup device, and the frame rate of the image pickup signal with the amplitude signal. Therefore, even if the shutter speed and the frame rate of the imaging signal change, the flicker component can be corrected with high accuracy.

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。   Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings. Needless to say, the present invention is not limited to the following examples, and can be arbitrarily changed without departing from the gist of the present invention.

本発明は、例えば図1に示すような構成の撮像装置100に適用される。   The present invention is applied to, for example, an imaging apparatus 100 configured as shown in FIG.

この撮像装置100は、赤色画像撮像用の撮像素子10R、緑色画像撮像用の撮像素子10G、青色画像撮像用の撮像素子10B、各撮像素子10R,10G,10Bから出力されるアナログの撮像信号をデジタル化するA/D変換器20R,20G,20B、各A/D変換器20R,20G,20Bによりデジタル化された撮像信号DV_R,DV_G,DV_Bが供給されるフリッカ補正回路30R,30G,30B、補正位相誤差検出器40R,40G,40B及び補正振幅誤差検出器50R,50G,50Bにより検出された補正振幅誤差信号CV_R,CV_G,CV_Bが供給されるカメラ用信号処理回路70などからなる。   The imaging apparatus 100 receives an analog imaging signal output from the imaging element 10R for imaging a red image, the imaging element 10G for imaging a green image, the imaging element 10B for imaging a blue image, and the imaging elements 10R, 10G, and 10B. A / D converters 20R, 20G, and 20B to be digitized, flicker correction circuits 30R, 30G, and 30B to which imaging signals DV_R, DV_G, and DV_B digitized by the A / D converters 20R, 20G, and 20B are supplied. The correction phase error detectors 40R, 40G, and 40B and the correction amplitude error signals CV_R, CV_G, and CV_B detected by the correction amplitude error detectors 50R, 50G, and 50B are provided.

各補正位相誤差検出器40R,40G,40Bは、各フリッカ補正回路30R,30G,30Bによりフリッカ補正された撮像信号CV_R,CV_G,CV_B及びフリッカ振幅調整器60R,60G,60Bにより調整されたフリッカ振幅信号A_R,A_G,A_Bが供給されており、上記デジタル化された撮像信号DV_R,DV_G,DV_Bとフリッカ補正された撮像信号CV_R,CV_G,CV_B、フリッカ振幅信号A_R,A_G,A_Bから各撮像信号CV_R,CV_G,CV_Bの補正位相誤差を検出して補正位相誤差信号E_R,E_G,E_Bを生成し、生成した補正位相誤差信号E_R,E_G,E_Bを各フリッカ補正回路30R,30G,30B及び各補正振幅誤差検出器50R,50G,50Bに供給する。   Each of the correction phase error detectors 40R, 40G, and 40B includes imaging signals CV_R, CV_G, and CV_B that have been subjected to flicker correction by the flicker correction circuits 30R, 30G, and 30B, and flicker amplitudes that have been adjusted by the flicker amplitude adjusters 60R, 60G, and 60B. Signals A_R, A_G, and A_B are supplied, and the imaging signals CV_R from the digitized imaging signals DV_R, DV_G, DV_B, flicker corrected imaging signals CV_R, CV_G, CV_B, and flicker amplitude signals A_R, A_G, A_B. , CV_G, CV_B are detected to generate correction phase error signals E_R, E_G, E_B, and the generated correction phase error signals E_R, E_G, E_B are used as flicker correction circuits 30R, 30G, 30B and correction amplitudes. Used for error detectors 50R, 50G, and 50B To.

また、各補正振幅誤差検出器50R,50G,50Bは、各フリッカ補正回路30R,30G,30Bによりフリッカ補正された撮像信号CV_R,CV_G,CV_B及びフリッカ振幅調整器60R,60G,60Bにより調整されたフリッカ振幅信号A_R,A_G,A_Bが供給されており、上記デジタル化された撮像信号DV_R,DV_G,DV_Bとフリッカ補正された撮像信号CV_R,CV_G,CV_B、フリッカ振幅信号A_R,A_G,A_B、補正位相誤差信号E_R,E_G,E_Bから各撮像信号CV_R,CV_G,CV_Bの補正振幅誤差を検出して補正振幅誤差信号C_R,C_G,C_Bを生成し、生成した補正振幅誤差信号C_R,C_G,C_Bをフリッカ振幅調整器60R,60G,60Bに供給する。   The corrected amplitude error detectors 50R, 50G, and 50B are adjusted by the imaging signals CV_R, CV_G, and CV_B that have been subjected to the flicker correction by the flicker correction circuits 30R, 30G, and 30B, and the flicker amplitude adjusters 60R, 60G, and 60B. Flicker amplitude signals A_R, A_G, A_B are supplied, and the digitized imaging signals DV_R, DV_G, DV_B and flicker corrected imaging signals CV_R, CV_G, CV_B, flicker amplitude signals A_R, A_G, A_B, correction phase Corrected amplitude error signals C_R, C_G, and C_B are generated by detecting corrected amplitude errors of the respective imaging signals CV_R, CV_G, and CV_B from the error signals E_R, E_G, and E_B, and the generated corrected amplitude error signals C_R, C_G, and C_B are flickered. Used for amplitude adjusters 60R, 60G, 60B To.

フリッカ振幅調整器60R,60G,60Bは、補正振幅誤差信号C_R,C_G,C_Bからフリッカ振幅信号A_R,A_G,A_Bを生成し、生成したフリッカ振幅信号A_R,A_G,A_Bをフリッカ補正回路30R,30G,30B、補正位相誤差検出器40R,40G,40B及び補正振幅誤差検出器50R,50G,50Bに供給する。   The flicker amplitude adjusters 60R, 60G, 60B generate flicker amplitude signals A_R, A_G, A_B from the corrected amplitude error signals C_R, C_G, C_B, and the generated flicker amplitude signals A_R, A_G, A_B are flicker correction circuits 30R, 30G. , 30B, correction phase error detectors 40R, 40G, 40B and correction amplitude error detectors 50R, 50G, 50B.

この撮像装置100において、各フリッカ補正回路30R,30G,30Bには、図2に示すような構成のフリッカ補正回路30*が用いられている。以下、*はR,G,Bを代表して表記したものである。   In the imaging apparatus 100, a flicker correction circuit 30 * having a configuration as shown in FIG. 2 is used for each of the flicker correction circuits 30R, 30G, and 30B. Hereinafter, * represents R, G, and B as a representative.

フリッカ補正回路30*は、補正位相誤差検出器40*から補正位相誤差信号E_*が供給されるアドレス算出器31*、このアドレス算出器31*により算出されたアドレスADが供給される補正値算出器32*、この補正値算出器32*により算出されたフリッカ補正データFDと上記フリッカ振幅調整器60*により生成されたフリッカ振幅信号A_*が供給される乗算器33*、この乗算器33*によりフリッカ振幅信号A_*が乗算されたフリッカ補正データFDAが供給されるレベル調整器34*、上記A/D変換器20*によりデジタル化された撮像信号DV_*が供給されるローパスフィルタ(LPF)35*及び演算器36*を備え、上記A/D変換器20*によりデジタル化された撮像信号DV_*が上記ローパスフィルタ(LPF)35*を介して上記レベル調整器34*に供給され、このレベル調整器34*により生成されるフリッカ補正値CFDが上記演算器36*に供給されるようになっている。そして、演算器36*は、映像信号DV_*及びフリッカ補正値CFDに応じて、フリッカ補正された映像信号CV_*を出力する。   The flicker correction circuit 30 * includes an address calculator 31 * to which the correction phase error signal E_ * is supplied from the correction phase error detector 40 *, and a correction value calculation to which the address AD calculated by the address calculator 31 * is supplied. 32 *, a multiplier 33 * to which the flicker correction data FD calculated by the correction value calculator 32 * and the flicker amplitude signal A_ * generated by the flicker amplitude adjuster 60 * are supplied, and the multiplier 33 *. The level adjuster 34 * to which the flicker correction signal FDA multiplied by the flicker amplitude signal A_ * is supplied, and the low-pass filter (LPF) to which the imaging signal DV_ * digitized by the A / D converter 20 * is supplied. 35 * and an arithmetic unit 36 *, and the imaging signal DV_ * digitized by the A / D converter 20 * is the low pass filter. Data (LPF) is supplied to the level adjuster 34 * through 35 *, flicker correction value CFD which is generated by the level adjuster 34 * that are supplied to the calculator 36 *. Then, the calculator 36 * outputs the video signal CV_ * subjected to flicker correction according to the video signal DV_ * and the flicker correction value CFD.

このような構成のフリッカ補正回路30*において、アドレス算出部31*では、補正誤差検出器40*から供給される補正誤差信号E_*をもとに、補正値算出器32*に備えられたROMのアドレスADを計算する。   In the flicker correction circuit 30 * having such a configuration, the address calculation unit 31 * includes a ROM provided in the correction value calculator 32 * based on the correction error signal E_ * supplied from the correction error detector 40 *. Address AD is calculated.

このアドレス算出器31*では、注目するフレームの先頭ラインのアドレスを電源周波数とフレームレートから計算し、そのアドレスに1ライン進む毎のアドレス増加量を加算することで現在のラインでのアドレスを算出する。具体的には電源周波数が50Hz、フレームレートが30Hz、撮像素子10*の垂直方向のクロック数が1125clkである場合(以後、具体例では電源周波数、フレームレート、撮像素子10*のクロック数は同じ)に、フリッカの1回の明暗の周期Tは、337.5ライン(T=30[Hz]×1125[cLk]/(50[Hz]×2)=337.5[cLk])となる。また、システム内部のROMには1周期を512分割したフリッカデータが保持されており、1ライン進む毎にROMのアドレスは、約1.51703(512/337.5≒1.51703)だけ増えることになる。つまり、先頭ラインでの補正はアドレスが0のとき、100ライン進むとそのラインでのアドレスは、152(0+1.51703×100≒152)となる。   This address calculator 31 * calculates the address of the current line by calculating the address of the first line of the frame of interest from the power supply frequency and the frame rate, and adding the address increment for each advance of one line to that address. To do. Specifically, when the power supply frequency is 50 Hz, the frame rate is 30 Hz, and the number of clocks in the vertical direction of the image sensor 10 * is 1125 clk (hereinafter, in the specific example, the power frequency, the frame rate, and the number of clocks of the image sensor 10 * are the same. ), The flicker period T for one flicker is 337.5 lines (T = 30 [Hz] × 1125 [cLk] / (50 [Hz] × 2) = 337.5 [cLk]). In addition, flicker data obtained by dividing one cycle into 512 is held in the ROM in the system, and the ROM address increases by about 1.51703 (512 / 337.5≈1.51703) each time one line is advanced. become. That is, when the address in the first line is 0 and the address advances to 100 lines, the address on that line becomes 152 (0 + 1.51703 × 100≈152).

補正値算出器32*は、図3に示すように、アドレス算出部31*により算出されたアドレスADをもとにフリッカ成分を正弦波近似した補正波形データを記憶している補正波形データ記憶部321*と、補正波形データ記憶部321*から読み出された補正波形データから特定期間分を積分する積分器322*とを備え、上記積分器322*によって積分された補正波形データをフリッカ補正データFDとして出力する。   As shown in FIG. 3, the correction value calculator 32 * stores a correction waveform data storage unit that stores correction waveform data obtained by approximating a flicker component to a sine wave based on the address AD calculated by the address calculation unit 31 *. 321 * and an integrator 322 * for integrating a specific period from the correction waveform data read from the correction waveform data storage unit 321 *, and the correction waveform data integrated by the integrator 322 * is flicker correction data. Output as FD.

ここで、補正値算出器32*の補正波形データ記憶部321*で記憶されている補正波形データは、周期性を利用するため波形の一部を積分器322*へ供給することとなっている。また、このフリッカ補正データFDは、ライン単位で決まる値で、1ラインにつき1回更新される。   Here, the correction waveform data stored in the correction waveform data storage unit 321 * of the correction value calculator 32 * supplies a part of the waveform to the integrator 322 * in order to use periodicity. . The flicker correction data FD is a value determined in line units and is updated once per line.

補正値算出器32*では、図4に示す光源の電源周波数L[Hz]と各撮像素子10*の電荷蓄積時間であるシャッタスピードS[s]と電荷蓄積タイミングとの関係をモデル化し、正弦波近似された補正波形データに加えて、このモデルを用いて、従来に対してより精度の高いフリッカ補正を可能とするフリッカ補正データFDを算出するものとする。   The correction value calculator 32 * models the relationship between the power source frequency L [Hz] of the light source shown in FIG. 4 and the shutter speed S [s], which is the charge accumulation time of each image sensor 10 *, and the charge accumulation timing. In addition to the corrected waveform data approximated by waves, this model is used to calculate flicker correction data FD that enables more accurate flicker correction than in the prior art.

図4は、光源の電源周波数L[Hz]と各撮像素子10*の電荷蓄積時間であるシャッタスピードS[s]と電荷蓄積タイミングとの関係をモデル化したものである。具体的に、補正波形データの積分区間は、電荷蓄積時間、すなわちシャッタスピードS[s]である。また、補正波形データを積分するタイミング、すなわち電荷を蓄積するタイミングのずれは、フレームレートの逆数1/F[s]を映像信号の垂直方向のライン数Vで割った値1/(F×V)となる。   FIG. 4 models the relationship between the power source frequency L [Hz] of the light source, the shutter speed S [s], which is the charge accumulation time of each image sensor 10 *, and the charge accumulation timing. Specifically, the integration interval of the correction waveform data is the charge accumulation time, that is, the shutter speed S [s]. Further, the deviation of the timing for integrating the correction waveform data, that is, the timing for accumulating the charge is a value 1 / (F × V )

ここで、光源の電源周期1/L[s]分の補正波形データのアドレス数をWとすると、積分区間毎に対応する補正波形データのアドレス数が2×L×S×Wとなり、補正波形データの積分タイミングが2×L×W/(F×V)となる。   Here, when the number of addresses of the correction waveform data corresponding to the power source cycle 1 / L [s] of the light source is W, the number of addresses of the correction waveform data corresponding to each integration interval is 2 × L × S × W, and the correction waveform The data integration timing is 2 × L × W / (F × V).

そして、補正値検出部32*では、積分区間毎に対応する補正波形データのアドレス数(2×L×S×W)、及び、その積分タイミング(2×L×W/(F×V))に基づいて積分器322*がフリッカ補正データFDを算出する。   Then, in the correction value detection unit 32 *, the number of correction waveform data addresses corresponding to each integration interval (2 × L × S × W) and its integration timing (2 × L × W / (F × V)) Based on the above, the integrator 322 * calculates the flicker correction data FD.

このように、補正値算出部32*では、正弦波近似された補正波形データに加えて、上述したモデルに基づいて適切なフリッカ補正データFDを算出するので、より高精度のフリッカ補正を可能とする。よって、補正値検出部32*は、任意のフレームレート及びシャッタスピードに応じて適切なフリッカ補正データFDを算出することができる。特に、高速なフレームレート及び高速なシャッタスピードで撮像する条件下において、従来では、正弦波による近似精度が低下してしまうため、高精度のフリッカ補正データFDを算出できなかったが、本実施例に係る補正値算出部32*では、このような条件下でも精度良くフリッカ補正を行うことができる。   As described above, the correction value calculation unit 32 * calculates the appropriate flicker correction data FD based on the above-described model in addition to the correction waveform data approximated by the sine wave, thereby enabling more accurate flicker correction. To do. Therefore, the correction value detector 32 * can calculate appropriate flicker correction data FD according to an arbitrary frame rate and shutter speed. In particular, under the condition of imaging at a high frame rate and a high shutter speed, conventionally, the approximation accuracy by the sine wave is reduced, and therefore the high-precision flicker correction data FD cannot be calculated. The correction value calculation unit 32 * according to can perform flicker correction with high accuracy even under such conditions.

ここで、フレームレート、シャッタスピード、及び、電源周波数は、いずれも撮像装置100が備える図示しない記憶部に保持されている。この記憶部への入力は、撮像装置100に備えられているスイッチ等を用いた手動による設定、及び、外部装置からの伝送による設定などで行われる。フレームレート、シャッタスピード、及び、電源周波数は、この記憶部から撮像装置100全体の動作を制御する図示しない制御部により読み取られ、補正値算出部32*に与えられる。   Here, the frame rate, the shutter speed, and the power supply frequency are all held in a storage unit (not shown) included in the imaging apparatus 100. The input to the storage unit is performed by a manual setting using a switch or the like provided in the imaging apparatus 100 and a setting by transmission from an external apparatus. The frame rate, shutter speed, and power supply frequency are read from the storage unit by a control unit (not shown) that controls the operation of the entire imaging apparatus 100, and are supplied to the correction value calculation unit 32 *.

また、フリッカのレベルは各画素値の輝度値に応じて変化するので入力される撮像信号DV_*を用いて画素毎にレベル調整を行うが、撮像信号DV_*にはノイズ成分も含まれており、このレベル調整にノイズの影響が出てしまう。   In addition, since the flicker level changes according to the luminance value of each pixel value, the level is adjusted for each pixel using the input imaging signal DV_ *. However, the imaging signal DV_ * also includes a noise component. This level adjustment is affected by noise.

そこで、この撮像装置100におけるフリッカ補正回路30*では、ローパスフィルタ(LPF)35*を通すことで撮像信号DV_*からノイズを除去し、ノイズを除去した撮像信号DV_*’とフリッカ振幅信号A_*が乗算されたフリッカ補正データFDAから、ノイズの影響を受けていない各画素の補正値CFDを算出する。   Therefore, in the flicker correction circuit 30 * in the imaging apparatus 100, noise is removed from the imaging signal DV_ * by passing through a low-pass filter (LPF) 35 *, and the imaging signal DV_ * ′ from which the noise is removed and the flicker amplitude signal A_ *. The correction value CFD of each pixel not affected by noise is calculated from the flicker correction data FDA multiplied by.

なお、この実施の形態では画素値に応じて補正値も短調増加するものとなっている。これは、画素値に応じてフリッカのレベルも線形に増加する傾向が観測されたためである。また、画素値が非常に小さい場合と非常に大きい場合ではフリッカが測定されないので、その特徴も備えた計算を実行しているが、この特性に限定するものではない。   In this embodiment, the correction value also increases in a minor manner according to the pixel value. This is because the flicker level tends to increase linearly according to the pixel value. Further, since flicker is not measured when the pixel value is very small or very large, the calculation including the feature is executed, but the present invention is not limited to this characteristic.

そして、このフリッカ補正回路30*では、演算器35*において撮像信号DV_*に各画素の補正値CFDを加算することでフリッカ成分が補正された撮像信号CV_*を得る。   In the flicker correction circuit 30 *, the computing unit 35 * adds the correction value CFD of each pixel to the imaging signal DV_ * to obtain the imaging signal CV_ * in which the flicker component is corrected.

次に、この撮像装置100における補正誤差の検出アルゴリズムについて、図5を参照して説明する。具体的には、まず、図5Aを参照して位相の補正誤差の検出アルゴリズムを説明することにする。   Next, a correction error detection algorithm in the imaging apparatus 100 will be described with reference to FIG. Specifically, the detection algorithm of the phase correction error will be described first with reference to FIG. 5A.

まず、あるフレーム画像(ここではnフレーム目の画像)のフリッカが正しいレベルで補正できたとする。「nフレーム目の補正画像」を出力した後、その「nフレーム目の補正画像」に対してn+1フレーム目の画像のフリッカの状態を予測してフリッカ成分を付加する。このようにしてできたフリッカ画像を画像Aとする。同時に、n+1フレーム目のフリッカ状態を予測し、さらにアドレスをずらしたフリッカ成分を付加する。このようにしてできたフリッカ画像を画像Bとする。   First, it is assumed that the flicker of a certain frame image (here, the nth frame image) can be corrected at a correct level. After outputting the “nth frame corrected image”, the flicker state of the n + 1th frame image is predicted and a flicker component is added to the “nth frame corrected image”. Let the flicker image thus formed be an image A. At the same time, the flicker state of the (n + 1) th frame is predicted, and a flicker component with a further shifted address is added. Let the flicker image thus formed be an image B.

ここで、これら2つの画像に対して、フリッカ成分を含んだ補正前の「n+1フレーム目の画像」との差分をそれぞれ取ると、画像Aに対する差分値は被写体の動き成分のみが差分画像として出力されるが、画像Bに対する差分値は被写体の動き成分とフリッカ成分の両方が差分画像として出力される。このため、画像Aから求めた差分値が、画像Bから求めた差分値よりも小さくなると考えられる。これに対して、画像Bから求めた差分値が、画像Aから求めた差分値よりも小さくなった場合には、アドレスをずらしたほうが正しくフリッカの位相を予測していると考えられる。つまり、差分値が小さい方が正しくフリッカの位相を予測しているので、差分値が小さくなる方向へアドレスをずらしていくことで最終的に適当な範囲内で位相の補正誤差を収束させることができる。   Here, when the difference between the two images and the “n + 1th frame image” before the correction including the flicker component is taken, only the motion component of the subject is output as the difference image. However, the difference value for the image B is output as a difference image for both the motion component and the flicker component of the subject. For this reason, the difference value obtained from the image A is considered to be smaller than the difference value obtained from the image B. On the other hand, when the difference value obtained from the image B is smaller than the difference value obtained from the image A, it is considered that the flicker phase is correctly predicted by shifting the address. In other words, the smaller the difference value is, the more accurately the flicker phase is predicted, so that the phase correction error can be finally converged within an appropriate range by shifting the address in the direction where the difference value becomes smaller. it can.

続いて、図5Bを参照して、振幅の補正誤差の検出アルゴリズムについて説明する。   Next, an amplitude correction error detection algorithm will be described with reference to FIG. 5B.

まず、あるフレーム画像(ここではnフレーム目の画像)のフリッカを正しいレベルで補正する。続いて、次フレーム(ここではn+1目の画像)を予測し、この予測した次フレームのフリッカのレベルをnフレーム目と同じレベルで、補正画像にn+1フレーム目のフリッカを付加する。このようにしてできたフリッカ画像を画像Aとする。同時にレベルをnフレーム目より強くして、補正画像にn+1フレーム目のフリッカを付加する。このようにしてできたフリッカ画像を画像Bとする。   First, the flicker of a certain frame image (here, the nth frame image) is corrected at a correct level. Subsequently, the next frame (here, the (n + 1) th image) is predicted, the flicker level of the predicted next frame is set to the same level as the nth frame, and the (n + 1) th frame flicker is added to the corrected image. Let the flicker image thus formed be an image A. At the same time, the level is made stronger than the nth frame, and the flicker of the (n + 1) th frame is added to the corrected image. Let the flicker image thus formed be an image B.

ここで、これら2つの画像に対して、フリッカ成分を含んだ補正前の「n+1フレーム目の画像」との差分をそれぞれ取ると、画像Aに対する差分値は被写体の動き成分のみが出力されるが、画像Bに対する差分値は被写体の動き成分とフリッカ成分の2つの成分が出力される。このため、画像Aから求めた差分値が、画像Bから求めた差分値よりも小さくなると考えられる。これに対して、画像Bから求めた差分値が、画像Aから求めた差分値よりも小さくなった場合には、画像Aより強いレベルを付加したほうが正しくフリッカの振幅を予測していると考えられる。つまり、差分値が小さい方が正しくフリッカの振幅を予測しているので、差分値が小さくなる方向へレベルを付加することで最終的に適当な範囲内で振幅の補正誤差を収束させることができる。   Here, if the difference between the two images and the “image of the (n + 1) th frame” before the correction including the flicker component is taken, only the motion component of the subject is output as the difference value for the image A. The difference value with respect to the image B is output as two components, a motion component of the subject and a flicker component. For this reason, the difference value obtained from the image A is considered to be smaller than the difference value obtained from the image B. On the other hand, when the difference value obtained from the image B is smaller than the difference value obtained from the image A, it is considered that adding a stronger level than the image A correctly predicts the flicker amplitude. It is done. In other words, the smaller the difference value is, the more accurately the flicker amplitude is predicted, so that the amplitude correction error can be finally converged within an appropriate range by adding a level in the direction in which the difference value becomes smaller. .

補正位相誤差検出器40R,40G,40B及び補正振幅誤差検出器50R,50G,50Bは、上記アルゴリズムに従って構成されている。   The correction phase error detectors 40R, 40G, and 40B and the correction amplitude error detectors 50R, 50G, and 50B are configured according to the above algorithm.

この撮像装置100において、補正位相誤差検出器40R,40G,40Bには、上記アルゴリズムに従って構成された図6に示すような補正位相誤差検出器40*が用いられている。   In this imaging apparatus 100, the correction phase error detectors 40R, 40G, and 40B employ a correction phase error detector 40 * configured as shown in FIG. 6 according to the above algorithm.

一方、補正位相誤差検出器40*は、上記フリッカ補正回路30*によりフリッカ補正された撮像信号CV_*及び上記フリッカ振幅調整器60*により生成されたフリッカ振幅信号A_*が供給されるフリッカ付加信号生成部41A*,41B*、各フリッカ信号生成部41A*,41B*により生成されたフリッカ付加信号FDV1,FDV2が供給されるライン積分器42A*,42B*、各ライン積分器42A*,42B*により積分されたラインデータLD11,LD21が供給されるメモリ43A*,43B*、各メモリ43A*,43B*から読み出されたラインデータLD12,LD22が供給される差分検出器44A*,44B*、上記A/D変換器20*によりデジタル化された撮像信号DV_*が供給されるライン積分器45*、各差分検出器44A*,44B*による検出された差分データDD1,DD2が供給される積分器46A*,46B*、各積分器46A*,46B*により得られた積分データID1,ID2が供給される比較器47*などを備え、ライン積分器45*により得られるラインデータLD3が各差分検出器44A*,44B*に供給され、比較器47*による比較出力として得られる補正位相誤差信号E_*が各フリッカ付加信号生成部41A*,41B*に供給されるようになっている。   On the other hand, the correction phase error detector 40 * is a flicker addition signal to which the imaging signal CV_ * flicker corrected by the flicker correction circuit 30 * and the flicker amplitude signal A_ * generated by the flicker amplitude adjuster 60 * are supplied. Generation units 41A *, 41B *, line integrators 42A *, 42B * to which flicker additional signals FDV1, FDV2 generated by the flicker signal generation units 41A *, 41B * are supplied, and line integrators 42A *, 42B * The differential data detectors 44A *, 44B * to which the line data LD12, LD22 read from the memories 43A *, 43B * and the line data LD12, LDB read from the memories 43A *, 43B * are supplied. Line product supplied with the imaging signal DV_ * digitized by the A / D converter 20 * 45 *, integrators 46A * and 46B * supplied with difference data DD1 and DD2 detected by the respective difference detectors 44A * and 44B *, and integration data ID1 obtained by the integrators 46A * and 46B *. Comparator 47 * to which ID2 is supplied is provided, and line data LD3 obtained by the line integrator 45 * is supplied to each of the difference detectors 44A * and 44B * to obtain a correction phase obtained as a comparison output by the comparator 47 *. The error signal E_ * is supplied to each of the flicker additional signal generation units 41A * and 41B *.

各フリッカ付加信号生成部41A*,41B*は、比較器47*による比較出力として得られる補正位相誤差信号E_*が供給されるアドレス算出部411A*,411B*、各アドレス算出部411A*,411B*により算出されたアドレスAD11,AD21が供給されるアドレス変換器412A*,412B*、各アドレス変換器412A*,412B*により算出されたアドレスAD12,AD22が供給される補正値算出器413A*,413B*、上記フリッカ振幅調整器60*により生成されたフリッカ振幅信号A_*が供給される乗算器414A*,414B*、この乗算器414A*,414B*によりフリッカ振幅信号A_*が乗算されたフリッカデータFDA1,FDA2が供給されるレベル調整器415A*,415B*、上記A/D変換器20*によりデジタル化された撮像信号DV_*が上記ローパスフィルタ(LPF)416A*,416B*を介して上記レベル調整器415A*,415B*に供給され、このレベル調整器415A*,415B*により生成される補正値CFD1,CFD2が上記演算器417A*,417B*に供給されるようになっている。   Each flicker additional signal generation unit 41A *, 41B * is supplied with an address calculation unit 411A *, 411B * and each address calculation unit 411A *, 411B to which a corrected phase error signal E_ * obtained as a comparison output by the comparator 47 * is supplied. Address converters 412A * and 412B * to which addresses AD11 and AD21 calculated by * are supplied, and correction value calculator 413A * to which addresses AD12 and AD22 calculated by the address converters 412A * and 412B * are supplied. 413B *, multipliers 414A * and 414B * supplied with the flicker amplitude signal A_ * generated by the flicker amplitude adjuster 60 *, and the flicker multiplied by the flicker amplitude signal A_ * by the multipliers 414A * and 414B *. Level adjusters 415A *, 4 to which data FDA1, FDA2 are supplied 5B *, and the imaging signal DV_ * digitized by the A / D converter 20 * is supplied to the level adjusters 415A * and 415B * via the low-pass filters (LPF) 416A * and 416B *. Correction values CFD1 and CFD2 generated by the adjusters 415A * and 415B * are supplied to the calculators 417A * and 417B *.

このような構成の補正位相誤差検出器40*では、補正誤差信号E_*をもとにアドレス算出部411A*,411B*で補正位相誤差検出器40*内部に備えられたROMのアドレスAD11,AD21を計算する。ここで、計算するアドレスは次フレームのフリッカの先頭のアドレスをプラス方向とマイナス方向とへずらしたアドレスである。これらのアドレスは、フリッカ補正器30*でのアドレス算出器31*と同様の計算によって算出する。また、補正誤差検出器40*に備えられるROMは、フリッカ補正回路30*に備えられたROMと同じものである。   In the corrected phase error detector 40 * having such a configuration, addresses AD11 and AD21 of ROM provided in the corrected phase error detector 40 * by the address calculation units 411A * and 411B * based on the correction error signal E_ *. Calculate Here, the calculated address is an address obtained by shifting the start address of the flicker of the next frame in the plus direction and the minus direction. These addresses are calculated by the same calculation as the address calculator 31 * in the flicker corrector 30 *. The ROM provided in the correction error detector 40 * is the same as the ROM provided in the flicker correction circuit 30 *.

アドレス変換器412A*,412B*では、アドレス算出器411A*,411B*で算出されたアドレスAD11,AD21から次フレームのフリッカを再現できるアドレスAD12,AD22へ変換する。つまり、位相が逆転するアドレスへと変換する。このアドレス変換器412A*,412B*で変換されるアドレスAD12,AD22は、次フレームのフリッカを予測したものでフリッカを補正するためのものではない。   The address converters 412A * and 412B * convert the addresses AD11 and AD21 calculated by the address calculators 411A * and 411B * into addresses AD12 and AD22 that can reproduce the flicker of the next frame. That is, the address is converted into an address whose phase is reversed. The addresses AD12 and AD22 converted by the address converters 412A * and 412B * are predicted for flicker of the next frame and are not for correcting flicker.

補正値算出器413A*,413B*では、アドレス変換器412A*,412B*により変換されたアドレスAD12,AD22をもとにフリッカ補正データFD1,FD2を算出する。このフリッカデータFD1,FD2もフリッカ補正回路30*と同様にライン単位で決まる値である。この補正値算出器413A*,413B*もフリッカ補正回路30*に備えられ補正値算出器32*と同様の構成のものが用いられる。   The correction value calculators 413A * and 413B * calculate flicker correction data FD1 and FD2 based on the addresses AD12 and AD22 converted by the address converters 412A * and 412B *. The flicker data FD1 and FD2 are values determined in units of lines as in the flicker correction circuit 30 *. The correction value calculators 413A * and 413B * are also provided in the flicker correction circuit 30 * and have the same configuration as the correction value calculator 32 *.

補正位相誤差検出器40*は、フリッカ付加信号生成部41A*,41B*において、ローパスフィルタ(LPF)416A*,416B*を通すことでフリッカ補正された撮像信号CV_*からノイズを除去し、ノイズを除去した撮像信号CV_*をレベル調整器415A*,415B*に供給する。レベル調整器415A*,415B*では、ノイズのない撮像信号CV_*と乗算器414A*,414B*で算出したフリッカデータFDA1,FDA2から、ノイズの影響を受けていない各画素の補正値CFD1,CFD2を算出する。   The correction phase error detector 40 * removes noise from the flicker-corrected imaging signal CV_ * by passing the low-pass filters (LPF) 416A * and 416B * in the flicker additional signal generation units 41A * and 41B *, and the noise The image signal CV_ * from which the signal is removed is supplied to the level adjusters 415A * and 415B *. In the level adjusters 415A * and 415B *, the correction values CFD1 and CFD2 of each pixel not affected by noise are obtained from the image signal CV_ * without noise and the flicker data FDA1 and FDA2 calculated by the multipliers 414A * and 414B *. Is calculated.

このレベル調整器415A*,415B*もフリッカ補正回路30*に備えられたレベル調整器34*と同様の構成のものが用いられる。   The level adjusters 415A * and 415B * also have the same configuration as the level adjuster 34 * provided in the flicker correction circuit 30 *.

演算器417A*,417B*では、フリッカ補正された撮像信号CV_*に各画素の補正値CFD1,CFD2を加算して、次フレームのフリッカ付加信号FDV1,FDV2を生成する。この演算器417A*,417B*もフリッカ補正回路30*に備えられた演算器36*と同様の構成のものが用いられる。   The calculators 417A * and 417B * add the correction values CFD1 and CFD2 of each pixel to the imaging signal CV_ * subjected to flicker correction to generate flicker addition signals FDV1 and FDV2 for the next frame. The arithmetic units 417A * and 417B * have the same configuration as the arithmetic unit 36 * provided in the flicker correction circuit 30 *.

そして、ライン積分器42A*,42B*では、次フレームのフリッカ付加信号FDV1,FDV2のある領域をそれぞれ積分しラインデータLD11,LD21を算出する。ここでの領域とは水平方向に取得される画像の範囲であれば任意の値を取ることが可能であり、広くとることで補正誤差の検出の精度を上げることができる。垂直方向には1画面内に入るフリッカの明暗の周期の整数倍とすればよい。具体的には水平方向に1000画素分、垂直方向に675画素分(337.5×2.0)などとすることができる。ここで、337.5ラインとは、電源周波数が50[Hz]、フレームレートが30[Hz]、センサの垂直方向のライン数が1125[ライン]の場合のフリッカの1回の明暗の周期(30[Hz]×1125[ライン]/(50[Hz]×2)=337.5[ライン])である。   Then, the line integrators 42A * and 42B * integrate the areas where the flicker addition signals FDV1 and FDV2 of the next frame are respectively integrated to calculate line data LD11 and LD21. The region here can take any value as long as it is a range of an image acquired in the horizontal direction, and the accuracy of correction error detection can be improved by taking a wide range. In the vertical direction, it may be an integral multiple of the flicker period of flicker entering one screen. Specifically, it can be 1000 pixels in the horizontal direction, 675 pixels in the vertical direction (337.5 × 2.0), and the like. Here, 337.5 lines refers to one flicker cycle of flicker when the power frequency is 50 [Hz], the frame rate is 30 [Hz], and the number of lines in the vertical direction of the sensor is 1125 [lines] ( 30 [Hz] × 1125 [line] / (50 [Hz] × 2) = 337.5 [line]).

ライン積分器42A*,42B*により算出されたラインデータLD12,LD21を、次フレームの撮像信号DV_*が入力されるまでメモリ43A*,43B*に蓄えておき、次フレームの撮像信号DV_*が入力されたら、フリッカ付加信号FDV1,FDV2を積分した領域と同じ領域をライン積分器45*でライン積分してラインデータLD3を算出する。   The line data LD12 and LD21 calculated by the line integrators 42A * and 42B * are stored in the memories 43A * and 43B * until the imaging signal DV_ * of the next frame is input, and the imaging signal DV_ * of the next frame is stored. When input, the same area as the area where the flicker addition signals FDV1 and FDV2 are integrated is line-integrated by the line integrator 45 * to calculate line data LD3.

メモリ43A*,43B*に蓄えてあるラインデータLD12,LD22とそのラインに対応する次フレームの撮像信号DV_*のラインデータLD3をそれぞれ差分検出器44A*,44B*に入力し差分データDD1,DD2を得る。   The line data LD12, LD22 stored in the memories 43A *, 43B * and the line data LD3 of the imaging signal DV_ * of the next frame corresponding to the lines are input to the difference detectors 44A *, 44B *, respectively, and the difference data DD1, DD2 Get.

積分器46A*,46B*では、2つの差分データDD1,DD2をそれぞれ積分することにより積分データID1,ID2を得る。   The integrators 46A * and 46B * obtain integrated data ID1 and ID2 by integrating the two difference data DD1 and DD2, respectively.

そして、比較器47*において、これらの積分データID1,ID2の大小を比べることでアドレスをプラスとマイナスのどちらにずらしたほうがより正しいフリッカを予測しているか判断する。例えば、アドレスをプラスにしたほうの積分データID*がアドレスをマイナスした積分データID*より小さいならばアドレスをプラスにするように補正位相誤差信号E_*を出力する。   Then, the comparator 47 * compares these integrated data ID1 and ID2 to determine whether the correct flicker is predicted when the address is shifted to plus or minus. For example, if the integral data ID * with the positive address is smaller than the integral data ID * with the negative address, the corrected phase error signal E_ * is output so that the address is positive.

この補正位相誤差信号E_*を上記フリッカ補正回路30*及び補正振幅誤差検出器50*に入力し、正しい方向へアドレスをずらしていくことで補正誤差を最小にする。   The correction phase error signal E_ * is input to the flicker correction circuit 30 * and the correction amplitude error detector 50 *, and the correction error is minimized by shifting the address in the correct direction.

また、この撮像装置100において、補正振幅誤差検出器50R,50G,50Bには、上記アルゴリズムに従って構成された図7に示すような構成の補正振幅誤差検出器60*が用いられている。   In this imaging apparatus 100, the corrected amplitude error detectors 50R, 50G, and 50B use a corrected amplitude error detector 60 * configured as shown in FIG. 7 according to the above algorithm.

補正振幅誤差検出器50*は、上記フリッカ補正回路30*によりフリッカ成分が補正された撮像信号CV_*及び上記フリッカ振幅調整器60*により生成されたフリッカ振幅信号A_*が供給されるフリッカ付加信号生成部51A*,51B*、各フリッカ付加信号生成部51A*,51B*により生成されたフリッカ付加信号FDV31,FDV32が供給されるライン積分器52A*,52B*、各ライン積分器52A*,52B*により積分されたラインデータLD31,LD32が供給されるメモリ53A*,53B*、各メモリ53A*,53B*から読み出されたラインデータLD31,LD32が供給される差分検出器54A*,54B*、上記A/D変換器20*によりデジタル化された撮像信号DV_*が供給されるライン積分器55*、各差分検出器54A*,54B*による検出された差分データDD31,DD32が供給される積分器56A*,56B*により得られた積分データID31,ID32が供給される比較器57*などを備え、ライン積分器55*により得られるラインデータLD3が各差分検出器54A*,54B*に供給されるようになっている。   The correction amplitude error detector 50 * is a flicker additional signal to which the imaging signal CV_ * whose flicker component is corrected by the flicker correction circuit 30 * and the flicker amplitude signal A_ * generated by the flicker amplitude adjuster 60 * are supplied. Generation units 51A *, 51B *, line integrators 52A *, 52B * supplied with flicker addition signals FDV31, FDV32 generated by the flicker addition signal generation units 51A *, 51B *, and line integrators 52A *, 52B Memory 53A *, 53B * supplied with line data LD31, LD32 integrated by *, and difference detectors 54A *, 54B * supplied with line data LD31, LD32 read from each memory 53A *, 53B * The imaging signal DV_ * digitized by the A / D converter 20 * is supplied. In integrator 55 * and comparators supplied with integrated data ID31 and ID32 obtained by integrators 56A * and 56B * supplied with difference data DD31 and DD32 detected by respective difference detectors 54A * and 54B * The line data LD3 obtained by the line integrator 55 * is supplied to the difference detectors 54A * and 54B *.

フリッカ付加信号生成部51A*,51B*は、上記補正位相誤差検出器40*における比較器47*による比較出力として得られる補正位相誤差信号E_*が供給されるアドレス算出器511A*,511B*、各アドレス算出器511A*,511B*により算出されたアドレスAD31が供給されるアドレス変換器512A*,512B*、各アドレス変換器512A*,512B*により算出されたアドレスAD32が供給される補正値算出器513A*,513B*、上記フリッカ振幅調整器60*により生成されたフリッカ振幅信号A_*が供給される振幅増幅器514A*及び振幅減衰器514B*、補正値算出器513A*,513B*により算出されたフリッカデータFD31が供給される乗算器515A*,515B*、この乗算器515A*,515B*によりフリッカ振幅信号A_*が乗算されたフリッカデータFDA31,FDA32が供給されるレベル調節器516A*,516B*、上記A/D変換器20*によりデジタル化された撮像信号DV_*が上記ローパスフィルタ(LPF)517A*,517B*を介して上記レベル調整器516A*,516B*に供給され、このレベル調整器516A*,516B*により生成される補正値CFD31,CFD32が上記演算器518A*,518B*に供給されるようになっている。   The flicker additional signal generators 51A * and 51B * receive address calculators 511A *, 511B *, to which the corrected phase error signal E_ * obtained as a comparison output by the comparator 47 * in the corrected phase error detector 40 * is supplied. Correction value calculation in which the address converters 512A * and 512B * supplied with the address AD31 calculated by the address calculators 511A * and 511B * and the address AD32 calculated by the address converters 512A * and 512B * are supplied. 513A *, 513B *, the amplitude amplifier 514A * supplied with the flicker amplitude signal A_ * generated by the flicker amplitude adjuster 60 *, the amplitude attenuator 514B *, and the correction value calculators 513A *, 513B *. Multipliers 515A * and 515B * supplied with the flicker data FD31 Image data digitized by the level adjusters 516A * and 516B * supplied with the flicker data FDA31 and FDA32 multiplied by the flicker amplitude signal A_ * by the multipliers 515A * and 515B *, and the A / D converter 20 *. The signal DV_ * is supplied to the level adjusters 516A * and 516B * via the low pass filters (LPF) 517A * and 517B *, and correction values CFD31 and CFD32 generated by the level adjusters 516A * and 516B * are obtained. The calculators 518A * and 518B * are supplied.

このような構成の補正振幅誤差検出器50*では、フリッカ付加信号生成部51A*,51B*において、補正位相誤差信号E_*をもとにアドレス算出器511A*,511B*で補正振幅誤差検出器50*内部に備えられたROMのアドレスAD31を計算する。ここで計算するアドレスは次フレームのフリッカ成分の先頭のアドレスである。このアドレスはフリッカ補正回路30*でのアドレス算出器31*と同様の計算によって算出する。また、この補正振幅誤差検出器50*に備えられるROMは、フリッカ補正回路30*に備えられたROMと同じものである。   In the corrected amplitude error detector 50 * having such a configuration, the flicker addition signal generation units 51A * and 51B * use the corrected amplitude error detectors 511A * and 511B * based on the corrected phase error signal E_ *. 50 * The address AD31 of the ROM provided inside is calculated. The address calculated here is the head address of the flicker component of the next frame. This address is calculated by the same calculation as the address calculator 31 * in the flicker correction circuit 30 *. The ROM provided in the correction amplitude error detector 50 * is the same as the ROM provided in the flicker correction circuit 30 *.

アドレス変換器512A*,512B*では、アドレス算出器511A*,511B*で算出されたアドレスAD31から次フレームのフリッカを再現できるアドレスへと変換する。具体的には入力されるアドレスAD31の位相を反転させたアドレスAD32に変換する。このアドレス変換器512A*,512B*で変換されたアドレスAD32は次フレームのフリッカを予測したものでフリッカを補正するためのものではない。   The address converters 512A * and 512B * convert the addresses AD31 calculated by the address calculators 511A * and 511B * into addresses that can reproduce the flicker of the next frame. Specifically, the input address AD31 is converted into an address AD32 obtained by inverting the phase. The address AD32 converted by the address converters 512A * and 512B * is a prediction of the flicker of the next frame and is not for correcting the flicker.

補正値算出器513A*,513B*では、アドレス変換器512A*,512B*により変換されたアドレスAD32をもとにフリッカデータFD31を算出する。このフリッカデータFD31もフリッカ補正回路30*と同様にライン単位で決まる値である。この補正値算出器513A*,513B*もフリッカ補正回路30*に備えられた補正値算出器32*と同様の構成のものが用いられる。   The correction value calculators 513A * and 513B * calculate the flicker data FD31 based on the address AD32 converted by the address converters 512A * and 512B *. The flicker data FD31 is also a value determined in units of lines as in the flicker correction circuit 30 *. The correction value calculators 513A * and 513B * also have the same configuration as the correction value calculator 32 * provided in the flicker correction circuit 30 *.

次に振幅増幅器514A*によってフリッカ振幅信号A_*を増幅させた振幅信号AM31を算出し、同時に、振幅減衰器514B*によって入力されるフリッカ振幅信号A_*を減衰させた減衰信号AM32を算出し、算出した振幅信号AM31,減衰信号AM32のそれぞれとフリッカデータFD31を乗算器515A*,515B*で乗算することでフリッカ成分を増幅させたフリッカ補正データFDA31及び減衰させたフリッカ補正データFDA32を得る。   Next, an amplitude signal AM31 obtained by amplifying the flicker amplitude signal A_ * by the amplitude amplifier 514A * is calculated, and at the same time, an attenuation signal AM32 obtained by attenuating the flicker amplitude signal A_ * input by the amplitude attenuator 514B * is calculated. Each of the calculated amplitude signal AM31 and attenuation signal AM32 and the flicker data FD31 are multiplied by multipliers 515A * and 515B * to obtain flicker correction data FDA31 in which the flicker component is amplified and attenuated flicker correction data FDA32.

補正振幅誤差検出器50*は、フリッカ付加信号生成部51A*,51B*において、ローパスフィルタ(LPF)517A*,517B*を通すことで撮像信号CV_*からノイズを除去し、ノイズを除去した撮像信号CV_*をレベル調整器516A*,516B*に供給する。レベル調整器516A*,516B*では、ノイズが除去された撮像信号CV_*と乗算器515A*,515B*で算出したフリッカデータFDA31,FDA32から、ノイズの影響を受けていない各画素の補正値CFD31,CFD32を算出する。   The corrected amplitude error detector 50 * removes noise from the imaging signal CV_ * by passing the low-pass filters (LPF) 517A * and 517B * in the flicker additional signal generators 51A * and 51B *, and imaging with noise removed The signal CV_ * is supplied to the level adjusters 516A * and 516B *. In the level adjusters 516A * and 516B *, the correction value CFD31 of each pixel that is not affected by noise from the imaging signal CV_ * from which noise has been removed and the flicker data FDA31 and FDA32 calculated by the multipliers 515A * and 515B *. , CFD32 is calculated.

このレベル調整器516A*,516B*もフリッカ補正回路30*に備えられたレベル調整器34*と同様の構成のものが用いられる。   The level adjusters 516A * and 516B * have the same configuration as the level adjuster 34 * provided in the flicker correction circuit 30 *.

演算器518A*,518B*では、フリッカ補正された撮像信号CV_*に各画素の補正値CFD31,CFD32を加算して、次フレームのフリッカ付加信号FDV31,FDV32を生成する。この演算器518A*,518B*はフリッカ補正回路30*に備えられた演算器36*と同様の構成のものが用いられる。   The calculators 518A * and 518B * add the correction values CFD31 and CFD32 of each pixel to the imaging signal CV_ * subjected to flicker correction to generate flicker addition signals FDV31 and FDV32 for the next frame. The arithmetic units 518A * and 518B * have the same configuration as the arithmetic unit 36 * provided in the flicker correction circuit 30 *.

そして、補正振幅誤差検出器50*では、上記演算器518A*,518*により得られた次フレームのフリッカ付加信号FDV31、FDV32に対して、上記補正位相誤差検出器40*と同様の処理を行う。すなわち、ライン積分器52A*,52B*では、次フレームのフリッカ付加信号FDV31,FDV32のある領域をそれぞれ積分しラインデータLD31,LD32を算出する。   Then, the correction amplitude error detector 50 * performs the same processing as the correction phase error detector 40 * on the flicker addition signals FDV31 and FDV32 of the next frame obtained by the calculators 518A * and 518 *. . That is, the line integrators 52A * and 52B * integrate the areas where the flicker addition signals FDV31 and FDV32 of the next frame are respectively integrated to calculate line data LD31 and LD32.

ライン積分器52A*,52B*により算出されたラインデータLD31,LD32を、次フレームの撮像信号DV_*が入力されるまでメモリ53A*,53B*に蓄えておき、次フレームの撮像信号DV_*が入力されたら、フリッカ付加信号FDV31,FDV32を積分した領域と同じ領域をライン積分器55*でライン積分しラインデータLD3を算出する。   The line data LD31 and LD32 calculated by the line integrators 52A * and 52B * are stored in the memories 53A * and 53B * until the imaging signal DV_ * of the next frame is input, and the imaging signal DV_ * of the next frame is stored. When input, the same area as the area where the flicker addition signals FDV31 and FDV32 are integrated is line-integrated by the line integrator 55 * to calculate line data LD3.

メモリ53A*,53B*に蓄えられてあるラインデータLD31,LD32とそのラインに対応する次フレームの撮像信号DV_*のラインデータLD3をそれぞれ差分検出器54A*,54B*に入力し差分データDD31,DD32を得る。   The line data LD31 and LD32 stored in the memories 53A * and 53B * and the line data LD3 of the imaging signal DV_ * of the next frame corresponding to the line are input to the difference detectors 54A * and 54B *, respectively, and the difference data DD31, Get DD32.

積分器56A*,56B*では、2つの差分データDD31,DD32をそれぞれ積分することにより積分データID31,ID32を得る。   The integrators 56A * and 56B * obtain integrated data ID31 and ID32 by integrating the two difference data DD31 and DD32, respectively.

そして、比較器57*において、これらの積分データID31,ID32の大小を比較することで次フレームでのフリッカの振幅を増幅させるべきか、減衰させるべきかを示す補正振幅信号C_*を出力する。   Then, the comparator 57 * outputs a corrected amplitude signal C_ * indicating whether the amplitude of flicker in the next frame should be amplified or attenuated by comparing the magnitudes of these integral data ID31 and ID32.

この補正振幅誤差検出器50*により得られた補正振幅誤差信号C_*が供給されるフリッカ振幅調整器60*は、図8に示すように、比較器61*と振幅増幅器62*とから構成され、補正振幅誤差信号C_*により常に振幅を変動させている。このフリッカ振幅調整器60*は、補正振幅誤差検出器50*により得られた補正振幅誤差信号C_*が小さくなる向きにフリッカの振幅を変化させる機能を持つ。補正振幅誤差信号C_*が小さくなることによって、予測して作られたフリッカ画像が撮像素子10*より得られる実際の画像に近づいていることが分かるからである。すなわち、比較器51*によりフレーム間の補正振幅誤差信号C_*の大小関係を調べることでフリッカのレベル予測が正しく行われているかを判定できる。そして、例えば、フリッカの振幅を増やしたときに、補正振幅誤差信号C_*が前フレームの補正振幅誤差信号C_*と比べて大きくなっている場合は、そのときのフリッカの振幅の予測が間違っていると判定できるので振幅増幅器52A*,振幅減衰期52B*によりフリッカの振幅を減らし、逆に補正振幅誤差信号C_*が前フレームでの補正振幅誤差信号C_*と比べて小さくなっている場合は、そのときのフリッカの振幅の予測があっていると判定できるので振幅増幅器52*によりフリッカの振幅を増加させる。以上の処理によってフリッカ振幅信号A_*を出力する。   As shown in FIG. 8, the flicker amplitude adjuster 60 * to which the corrected amplitude error signal C_ * obtained by the corrected amplitude error detector 50 * is supplied comprises a comparator 61 * and an amplitude amplifier 62 *. The amplitude is always changed by the corrected amplitude error signal C_ *. The flicker amplitude adjuster 60 * has a function of changing the flicker amplitude so that the corrected amplitude error signal C_ * obtained by the corrected amplitude error detector 50 * decreases. This is because it can be seen that the flicker image produced by prediction approaches the actual image obtained from the image sensor 10 * by decreasing the corrected amplitude error signal C_ *. That is, it is possible to determine whether or not the flicker level prediction is correctly performed by examining the magnitude relationship of the corrected amplitude error signal C_ * between frames by the comparator 51 *. For example, when the amplitude of the flicker is increased and the corrected amplitude error signal C_ * is larger than the corrected amplitude error signal C_ * of the previous frame, the prediction of the flicker amplitude at that time is incorrect. If the amplitude of the flicker is reduced by the amplitude amplifier 52A * and the amplitude decay period 52B *, and the corrected amplitude error signal C_ * is smaller than the corrected amplitude error signal C_ * in the previous frame. Since it can be determined that the flicker amplitude at that time is predicted, the flicker amplitude is increased by the amplitude amplifier 52 *. The flicker amplitude signal A_ * is output by the above processing.

また、この撮像装置100におけるフリッカ補正は、図9、図10、及び図11に示すフローチャートに示す一連の手順に従って行われる。   Further, the flicker correction in the imaging apparatus 100 is performed according to a series of procedures shown in the flowcharts shown in FIGS.

まず、フリッカ補正回路30*では、アドレス算出器31*が補正位相誤差検出器40*から入力される補正位相誤差信号E_*をもとにアドレスADを計算し(ステップS1A)、補正値算出器32*がアドレス算出器31*で計算されたアドレスADをもとにフリッカ補正データFDを算出する(ステップS2)。   First, in the flicker correction circuit 30 *, the address calculator 31 * calculates the address AD based on the correction phase error signal E_ * input from the correction phase error detector 40 * (step S1A), and the correction value calculator 32 * calculates the flicker correction data FD based on the address AD calculated by the address calculator 31 * (step S2).

一方、フリッカ振幅調整器60*では、ステップS1Bにおいて、補正振幅誤差検出器50*により得られた補正振幅誤差信号C_*をもとにフリッカのレベル予測が正しく行われているかを判定し、この判定結果に応じてフリッカ振幅信号A_*を出力する。   On the other hand, the flicker amplitude adjuster 60 * determines in step S1B whether the flicker level prediction is correctly performed based on the corrected amplitude error signal C_ * obtained by the corrected amplitude error detector 50 *. A flicker amplitude signal A_ * is output according to the determination result.

ステップS2A及びステップS1Bに処理が完了すると、フリッカ補正回路30*では、レベル調整器34*がノイズを除去された撮像信号DV_*’及びフリッカ補正データFDAから各画素の補正値CFDを算出し(ステップS3)、演算器36*がノイズ除去されていない撮像信号DV_*に各画素の補正値CFDを減算してフリッカ成分を補正した撮像信号CV_*を得る(ステップS4)。   When the processing in step S2A and step S1B is completed, in the flicker correction circuit 30 *, the level adjuster 34 * calculates the correction value CFD of each pixel from the imaging signal DV_ * 'from which the noise has been removed and the flicker correction data FDA ( In step S3), the calculator 36 * subtracts the correction value CFD of each pixel from the imaging signal DV_ * from which noise has not been removed to obtain an imaging signal CV_ * in which the flicker component is corrected (step S4).

ここで、フリッカ補正回路30*によって得られたフリッカ成分が補正された撮像信号CV_*は、補正位相誤差検出器40*及び補正振幅誤差検出器50*に供給される。以下では、まず補正位相誤差検出器40による補正位相誤差信号E_*の算出処理を示し、続いて補正振幅誤差検出部50*による補正振幅誤差信号C_*の算出処理工程を示す。なお、補正位相誤差検出器40*及び補正振幅誤差検出器50*のそれぞれの処理は、どちらか一方を先に行わなければならないものではなく、互いに並列して行うようにしても良い。   Here, the imaging signal CV_ * obtained by correcting the flicker component obtained by the flicker correction circuit 30 * is supplied to the correction phase error detector 40 * and the correction amplitude error detector 50 *. In the following, the correction phase error signal E_ * calculation processing by the correction phase error detector 40 is shown first, and then the correction amplitude error signal C_ * calculation processing step by the correction amplitude error detection unit 50 * is shown. Note that either one of the processes of the correction phase error detector 40 * and the correction amplitude error detector 50 * does not have to be performed first, but may be performed in parallel with each other.

補正位相誤差検出部40*では、アドレス算出部411A*,411B*が次フレームのフリッカの先頭アドレスを計算するとともに(ステップS10)、アドレス算出部411A*,411B*がこの先頭アドレスをそれぞれプラス方向及びマイナス方向へずらしたアドレスAD12,AD22を算出する(ステップS11A,S11B)。続いて、補正位相誤差検出部40*では、アドレス変換器412A*,412B*により変換されたアドレスAD12,AD22をもとにフリッカ補正データFD1,FD2をそれぞれ算出し(ステップS12A、S12B)、レベル調整器415A*,415B*が補正済みの撮像信号CV_*とフリッカ補正データFDA1,FDA2から、各画素の補正値CFD1,CFD2を算出し(ステップS13A,S13B)、演算器417A*,417B*がノイズ除去されていない補正済みの撮像信号CV_*に各画素の補正値CFD1,CFD2を加算して次フレームのフリッカ付加信号FDV1,FDV2を生成する(ステップS14A,S14B)。   In the correction phase error detection unit 40 *, the address calculation units 411A * and 411B * calculate the start address of the flicker of the next frame (step S10), and the address calculation units 411A * and 411B * set the start address in the plus direction. Then, the addresses AD12 and AD22 shifted in the minus direction are calculated (steps S11A and S11B). Subsequently, the correction phase error detector 40 * calculates flicker correction data FD1 and FD2 based on the addresses AD12 and AD22 converted by the address converters 412A * and 412B *, respectively (steps S12A and S12B), and the level. The correction values CFD1 and CFD2 of each pixel are calculated from the imaging signal CV_ * corrected by the adjusters 415A * and 415B * and the flicker correction data FDA1 and FDA2 (steps S13A and S13B), and the calculators 417A * and 417B * are calculated. The correction values CFD1 and CFD2 of each pixel are added to the corrected imaging signal CV_ * that has not been subjected to noise removal to generate the flicker addition signals FDV1 and FDV2 of the next frame (steps S14A and S14B).

続いて、補正位相誤差検出器40*では、ライン積分器42A*,42B*が次フレームのフリッカ付加信号FDV1,FDV2のある領域をそれぞれ積分してラインデータLD11,LD21を算出し、メモリ43A*,43B*がこのラインデータLD11,LD21を次フレームの撮像信号DV_*が入力されるまで蓄える(ステップS15A,S15B)。続いて、補正位相誤差検出器40*では、差分検出器44A*,44B*がメモリ43A*,43B*に蓄えられてあるラインデータLD12,LD22及びそのラインに対応する次フレームの撮像信号DV_*のラインデータLD3をもとにして差分データDD1,DD2を生成して(ステップS16A,16B)、積分器46A*,46B*が差分データDD1,DD2を積分して積分データID1,ID2を生成する(ステップS17A,17B)。   Subsequently, in the correction phase error detector 40 *, the line integrators 42A * and 42B * integrate the areas where the flicker addition signals FDV1 and FDV2 of the next frame are respectively integrated to calculate the line data LD11 and LD21, and the memory 43A * , 43B * store the line data LD11, LD21 until the imaging signal DV_ * of the next frame is input (steps S15A, S15B). Subsequently, in the correction phase error detector 40 *, the difference detectors 44A * and 44B * are line data LD12 and LD22 stored in the memories 43A * and 43B * and the imaging signal DV_ * of the next frame corresponding to the line. Differential data DD1 and DD2 are generated based on the line data LD3 (steps S16A and 16B), and the integrators 46A * and 46B * integrate the differential data DD1 and DD2 to generate integrated data ID1 and ID2. (Steps S17A and 17B).

そして、補正値位相誤差検出器40*では、比較器47*がこれらの積分データID1,ID2の大小を比較して(ステップS18)、アドレスをプラスにしたほうが正しいフリッカを予測しているかどうかを判断し(ステップS19)、正しいフリッカを予測していると判断するとアドレスをプラス方向に、又は、正しいフリッカを予測していないと判断するとアドレスをマイナス方向に、それぞれずらすように補正位相誤差信号E_*を出力する(ステップS20A,20B)。その後、本処理はステップS1Aに戻る。   Then, in the correction value phase error detector 40 *, the comparator 47 * compares the magnitudes of these integration data ID1 and ID2 (step S18), and determines whether or not the correct flicker is predicted when the address is positive. If it is determined (step S19) that the correct flicker is predicted, the corrected phase error signal E_ is shifted so that the address is shifted in the positive direction, or if the correct flicker is not predicted, the address is shifted in the negative direction. * Is output (steps S20A and 20B). Thereafter, the process returns to step S1A.

次に、補正振幅誤差検出部50*による補正振幅誤差信号C_*の算出処理工程を示す。   Next, a calculation processing step of the corrected amplitude error signal C_ * by the corrected amplitude error detector 50 * will be described.

補正振幅誤差検出部50*では、アドレス算出部511A*,511B*が次フレームのフリッカの先頭アドレスを計算する(ステップS30)。   In the corrected amplitude error detector 50 *, the address calculators 511A * and 511B * calculate the start address of the flicker of the next frame (step S30).

補正振幅誤差検出器50*では、振幅増幅器514A*がフリッカ振幅信号A_*を増幅させた振幅信号AM31を算出し(ステップS31A)、同時に、振幅減衰器514B*がフリッカ振幅信号A_*を減衰させて振幅信号AM32を算出して(ステップS31B)、その後それぞれステップS33A、S33Bへ進む。また、補正振幅誤差検出部50*では、補正値算出器513A*,513B*がアドレス変換器512A*,512B*により変換されたアドレスAD32をもとにフリッカデータFD31を算出する(ステップS32)。   In the corrected amplitude error detector 50 *, the amplitude amplifier 514A * calculates the amplitude signal AM31 obtained by amplifying the flicker amplitude signal A_ * (step S31A), and at the same time, the amplitude attenuator 514B * attenuates the flicker amplitude signal A_ *. The amplitude signal AM32 is calculated (step S31B), and then the process proceeds to steps S33A and S33B, respectively. In the corrected amplitude error detector 50 *, the correction value calculators 513A * and 513B * calculate the flicker data FD31 based on the address AD32 converted by the address converters 512A * and 512B * (step S32).

続いて、補正振幅誤差検出器50*では、レベル調整器516A*,516B*がフリッカ補正された映像信号CV_*とフリッカ補正データFDA1,FDA2から各画素の補正値CFD31,CFD32を算出し(ステップS33A,S33B)、演算器518A*,518B*がノイズ除去されていない映像信号CV_*に各画素の補正値CFD31,CFD32を加算して次フレームのフリッカ付加信号FDV31,FDV32を生成する(ステップS34A,S34B)。   Subsequently, the correction amplitude error detector 50 * calculates the correction values CFD31 and CFD32 of each pixel from the video signal CV_ * obtained by performing the flicker correction of the level adjusters 516A * and 516B * and the flicker correction data FDA1 and FDA2 (steps). S33A, S33B), the arithmetic units 518A *, 518B * add the correction values CFD31, CFD32 of each pixel to the video signal CV_ * from which noise has not been removed to generate flicker-added signals FDV31, FDV32 for the next frame (step S34A). , S34B).

補正振幅誤差検出器50*では、ライン積分器52A*,52B*が次フレームのフリッカ付加信号FDV31,FDV32のある領域をそれぞれ積分してラインデータLD31,LD32を算出し、メモリ53A*,53B*がこのラインデータLD31,LD32を次フレームの撮像信号DV_*が入力されるまで蓄える(ステップS35A,S35B)。続いて、補正振幅誤差検出器50*では、差分検出器54A*,54B*がメモリ53A*,53B*に蓄えられてあるラインデータLD31,LD32及びそのラインに対応する次フレームの撮像信号DV_*のラインデータLD3をもとにして差分データDD31,DD32を生成して(ステップS36A,S36B)、積分器46A*,46B*が差分データDD31,DD32を積分して積分データID31,ID32を生成する(ステップS37A,S37B)。   In the corrected amplitude error detector 50 *, the line integrators 52A * and 52B * integrate the areas where the flicker addition signals FDV31 and FDV32 of the next frame are respectively integrated to calculate line data LD31 and LD32, and the memories 53A * and 53B *. However, the line data LD31 and LD32 are stored until the imaging signal DV_ * of the next frame is input (steps S35A and S35B). Subsequently, in the corrected amplitude error detector 50 *, the difference detectors 54A * and 54B * are line data LD31 and LD32 stored in the memories 53A * and 53B *, and the imaging signal DV_ * of the next frame corresponding to the line. Based on the line data LD3, differential data DD31 and DD32 are generated (steps S36A and S36B), and the integrators 46A * and 46B * integrate the differential data DD31 and DD32 to generate integrated data ID31 and ID32. (Steps S37A and S37B).

そして、補正値振幅誤差検出器50*では、比較器57*がこれらの積分データID31,ID32の大小を比較して(ステップS38)、フリッカの振幅を増幅したほうが正しいフリッカを予測しているかどうかを判断し(ステップS39)、正しいフリッカを予測していると判断するとフリッカの振幅を増幅させる、又は、正しいフリッカを予測していないと判断するとフリッカの振幅を減衰させるべきかを示す補正振幅誤差信号C_*を出力する(ステップS40A,S40B)。その後、処理工程は、ステップS1Bに戻る。   In the correction value amplitude error detector 50 *, the comparator 57 * compares the sizes of the integrated data ID31 and ID32 (step S38), and whether or not the flicker amplitude is predicted more correctly is predicted. (Step S39), if it is determined that the correct flicker is predicted, the amplitude of the flicker is amplified, or if it is determined that the correct flicker is not predicted, the corrected amplitude error indicating whether the amplitude of the flicker should be attenuated The signal C_ * is output (steps S40A and S40B). Thereafter, the processing process returns to step S1B.

そして、この撮像装置100では、図9〜図11に示すフローチャートに従ってフレーム毎にフリッカ補正を行うことにより、図12のタイムチャートに示すように、nフレーム目のフリッカ補正の情報がn+1フレーム目の画像と比較され、n+2フレーム目のフリッカ補正に反映され、以下同様にしてn+3フレーム目以降のフリッカ補正が行われる。   In the imaging apparatus 100, flicker correction is performed for each frame according to the flowcharts shown in FIGS. 9 to 11, so that the flicker correction information for the nth frame is changed to the n + 1th frame as shown in the time chart of FIG. This is compared with the image, reflected in the flicker correction of the (n + 2) th frame, and the flicker correction of the (n + 3) th and subsequent frames is performed in the same manner.

このように、この撮像装置100は、各フレーム期間毎にフリッカ補正信号CFDがフリッカ成分についての補正誤差を低減させるので、撮像信号DV_*が異なるフレーム期間からなる複数の撮像信号である場合、又は、撮像信号DV_*に含まれるフリッカ成分が撮像信号DV_*に含まれるフリッカ成分に周期性がない場合も、フリッカ成分が効果的に低減された撮像信号CV_*を得ることができる。   As described above, in the imaging apparatus 100, since the flicker correction signal CFD reduces the correction error for the flicker component for each frame period, when the imaging signal DV_ * is a plurality of imaging signals having different frame periods, or Even when the flicker component included in the imaging signal DV_ * has no periodicity, the imaging signal CV_ * in which the flicker component is effectively reduced can be obtained.

なお、本発明は、上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。   It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.

本発明を適用した撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device to which this invention is applied. 撮像装置に備えられたフリッカ補正回路の構成を示すブロック図である。It is a block diagram which shows the structure of the flicker correction circuit with which the imaging device was equipped. フリッカ補正回路における補正値算出器の構成を示すブロック図である。It is a block diagram which shows the structure of the correction value calculator in a flicker correction circuit. 光源の電源周波数と各撮像素子の電荷蓄積時間であるシャッタスピードと電荷蓄積タイミングとの関係をモデル化した模式図である。It is the model which modeled the relationship between the power supply frequency of a light source, the shutter speed which is the charge storage time of each image sensor, and a charge storage timing. 撮像装置における補正位相誤差検出アルゴリズムを模式的に示す図である。It is a figure which shows typically the correction | amendment phase error detection algorithm in an imaging device. 撮像装置における補正振幅誤差検出アルゴリズムを模式的に示す図である。It is a figure which shows typically the correction | amendment amplitude error detection algorithm in an imaging device. 撮像装置に備えられた補正位相誤差検出器の構成を示すブロック図である。It is a block diagram which shows the structure of the correction | amendment phase error detector with which the imaging device was equipped. 撮像装置に備えられた補正振幅誤差検出器の構成を示すブロック図である。It is a block diagram which shows the structure of the correction | amendment amplitude error detector with which the imaging device was equipped. 撮像装置に備えられたフリッカ振幅調整器の構成を示すブロック図である。It is a block diagram which shows the structure of the flicker amplitude adjuster with which the imaging device was equipped. 撮像装置に備えられたフリッカ補正回路の動作を示すフローチャートである。6 is a flowchart illustrating an operation of a flicker correction circuit provided in the imaging apparatus. 撮像装置に備えられたフリッカ補正回路の動作を示すフローチャートである。6 is a flowchart illustrating an operation of a flicker correction circuit provided in the imaging apparatus. 撮像装置に備えられたフリッカ補正回路の動作を示すフローチャートである。6 is a flowchart illustrating an operation of a flicker correction circuit provided in the imaging apparatus. 撮像装置に備えられたフリッカ補正回路の動作を示すタイムチャートである。It is a time chart which shows operation | movement of the flicker correction circuit with which the imaging device was equipped. グローバルシャッタ方式を採用したセンサでの電荷蓄積量の違いを模式的に示す図である。It is a figure which shows typically the difference in the charge accumulation amount in the sensor which employ | adopted the global shutter system. グローバルシャッタ方式によって現れる面フリッカの画像の例を模式的に示す図である。It is a figure which shows typically the example of the image of the surface flicker which appears by a global shutter system. ローリングシャッタ方式による電荷蓄積量の違いを模式的に示す図である。It is a figure which shows typically the difference in the electric charge accumulation amount by a rolling shutter system. 面内フリッカの画像の例を模式的に示す図である。It is a figure which shows typically the example of the image of an in-plane flicker. フレームレート及びシャッタスピードに応じたフリッカ成分の違いを示す図である。It is a figure which shows the difference of the flicker component according to a frame rate and shutter speed. 露光時間に応じたフリッカ成分の違いを示す図である。It is a figure which shows the difference in the flicker component according to exposure time. 露光時間に応じたフリッカ成分の違いを示す図である。It is a figure which shows the difference in the flicker component according to exposure time.

符号の説明Explanation of symbols

10R,10G,10B 撮像素子、20R,20G,20B,20* A/D変換器、30R,30G,30B,30* フリッカ補正回路、31* アドレス算出器、32* 補正値算出器、33* 乗算器、34* レベル調整器、35* ローパスフィルタ(LPF)、36* 演算器、40R,40G,40B,40* 補正位相誤差検出器、41A*,41B* フリッカ付加信号生成部、 42A*,42B*,45* ライン積分器、43A*,43B* メモリ、44A*,44B* 差分検出器、46A*,46B* 積分器、47* 比較器、50R,50G,50B,50* 補正振幅誤差検出器、60R,60G,60B,60* フリッカ振幅調整器、61* 比較器、62* 振幅増減器、70 カメラ用信号処理回路、100 撮像装置   10R, 10G, 10B Image sensor, 20R, 20G, 20B, 20 * A / D converter, 30R, 30G, 30B, 30 * Flicker correction circuit, 31 * Address calculator, 32 * Correction value calculator, 33 * Multiplication , 34 * level adjuster, 35 * low-pass filter (LPF), 36 * calculator, 40R, 40G, 40B, 40 * corrected phase error detector, 41A *, 41B * flicker additional signal generator, 42A *, 42B *, 45 * Line integrator, 43A *, 43B * Memory, 44A *, 44B * Difference detector, 46A *, 46B * Integrator, 47 * Comparator, 50R, 50G, 50B, 50 * Corrected amplitude error detector 60R, 60G, 60B, 60 * Flicker amplitude adjuster, 61 * comparator, 62 * amplitude increase / decrease, 70 Camera signal processing circuit, 0 imaging device

Claims (4)

光源の周波数に応じたフリッカ成分を含む撮像信号を補正するフリッカ補正方法であって、
フレームレートに応じて所定の撮像素子が電荷を蓄積することにより撮像信号を生成し、
フリッカ補正された現フレームの撮像信号に位相の異なるフリッカを加算した2種類のフリッカ位相撮像信号を生成し、生成した2種類のフリッカ位相撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正位相誤差を検出し、
上記フリッカ補正された現フレームの撮像信号に振幅の異なるフリッカを加算した2種類のフリッカ振幅撮像信号を生成し、生成した2種類のフリッカ振幅撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正振幅誤差を検出し、
上記検出される補正振幅誤差が小さくなる方向にフリッカ補正信号の振幅を制御する振幅信号を生成し、
フリッカ成分を近似した補正波形データが記憶されている記憶手段から、上記補正位相誤差をもとに上記補正波形データを読み出し、読み出した上記補正波形データから、上記光源の周波数と上記撮像素子の電荷蓄積時間と上記撮像素子の電荷蓄積タイミングとの関係に基づいて決定される特定期間分を積分し、積分したデータと上記振幅信号とを乗算することにより上記フリッカ補正信号を生成し、
次フレームの撮像信号に上記フリッカ補正信号を1フレーム毎に加算することでフリッカ補正を行うことを特徴とするフリッカ補正方法。
A flicker correction method for correcting an imaging signal including a flicker component according to a frequency of a light source,
A predetermined imaging device generates an imaging signal by accumulating electric charges according to the frame rate,
Two types of flicker phase imaging signals are generated by adding flickers having different phases to the imaging signal of the current frame subjected to flicker correction, and the generated two types of flicker phase imaging signals and the imaging signal of the next frame not subjected to flicker correction are generated. By detecting the correction phase error by comparing,
Two types of flicker amplitude imaging signals are generated by adding flickers having different amplitudes to the imaging signal of the current frame subjected to the flicker correction, and the generated two types of flicker amplitude imaging signals and the imaging signal of the next frame not subjected to flicker correction are generated. To detect the corrected amplitude error,
Generating an amplitude signal for controlling the amplitude of the flicker correction signal in a direction in which the detected correction amplitude error is reduced;
The correction waveform data is read based on the correction phase error from storage means storing correction waveform data approximating the flicker component, and the frequency of the light source and the charge of the image sensor are read from the read correction waveform data. Integrate a specific period determined based on the relationship between the accumulation time and the charge accumulation timing of the image sensor, and generate the flicker correction signal by multiplying the integrated data and the amplitude signal,
A flicker correction method, wherein flicker correction is performed by adding the flicker correction signal to the imaging signal of the next frame for each frame.
フレームレートに応じて撮像素子に電荷を蓄積することにより撮像信号を生成する撮像手段を有し、光源の周波数に応じたフリッカ成分を含む撮像信号を補正する撮像装置であって、
上記撮像手段により生成された撮像信号にフリッカ補正信号を1フレーム毎に加算することによりフリッカ補正を行うフリッカ補正手段と、
上記フリッカ補正手段によりフリッカ補正された現フレームの撮像信号に位相の異なるフリッカを加算した2種類のフリッカ位相撮像信号を生成し、生成した2種類のフリッカ位相撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正位相誤差を検出する補正位相誤差検出手段と、
上記フリッカ補正手段によりフリッカ補正された現フレームの撮像信号に振幅の異なるフリッカを加算した2種類のフリッカ振幅撮像信号を生成し、生成した2種類のフリッカ振幅撮像信号とフリッカ補正されていない次フレームの撮像信号とを比較することにより補正振幅誤差を検出する補正振幅誤差検出手段と、
上記補正振幅誤差検出手段により検出される補正振幅誤差が小さくなる方向にフリッカ補正信号の振幅を制御する振幅信号を生成するフリッカ振幅調整手段と、
上記補正位相誤差検出手段により生成される補正位相誤差信号と上記フリッカ振幅調整手段により生成される振幅信号に基づいて、上記フリッカ補正信号を生成するフリッカ補正信号生成手段とを備え、
上記フリッカ補正信号生成手段は、フリッカ成分を近似した補正波形データが記憶されている記憶手段と、上記補正位相誤差をもとに上記記憶手段から読み出した上記補正波形データから、上記光源の周波数と上記撮像素子の電荷蓄積時間と上記撮像信号のフレームレートとの関係に基づいて決定される特定期間分を積分し、積分したデータと上記振幅信号とを乗算することにより上記フリッカ補正信号を生成するフリッカ補正信号生成手段とを備えることを特徴とする撮像装置。
An image pickup apparatus that has an image pickup unit that generates an image pickup signal by accumulating electric charges in an image pickup element according to a frame rate, and corrects an image pickup signal including a flicker component according to a frequency of a light source,
Flicker correction means for performing flicker correction by adding a flicker correction signal for each frame to the imaging signal generated by the imaging means;
Two types of flicker phase imaging signals are generated by adding flickers having different phases to the imaging signal of the current frame that has been subjected to the flicker correction by the flicker correction means, and the generated two types of flicker phase imaging signals and the next frame not subjected to flicker correction Correction phase error detection means for detecting a correction phase error by comparing the imaging signal of
Two types of flicker amplitude imaging signals are generated by adding flickers having different amplitudes to the imaging signal of the current frame subjected to the flicker correction by the flicker correction means, and the generated two types of flicker amplitude imaging signals and the next frame not subjected to flicker correction. A corrected amplitude error detecting means for detecting a corrected amplitude error by comparing the imaging signal of
Flicker amplitude adjusting means for generating an amplitude signal for controlling the amplitude of the flicker correction signal in a direction in which the corrected amplitude error detected by the corrected amplitude error detecting means is reduced;
A flicker correction signal generation means for generating the flicker correction signal based on the correction phase error signal generated by the correction phase error detection means and the amplitude signal generated by the flicker amplitude adjustment means;
The flicker correction signal generation means includes a storage means storing correction waveform data approximating a flicker component, and a frequency of the light source from the correction waveform data read from the storage means based on the correction phase error. The flicker correction signal is generated by integrating a specific period determined based on the relationship between the charge accumulation time of the image sensor and the frame rate of the image signal, and multiplying the integrated data by the amplitude signal. An imaging apparatus comprising: flicker correction signal generation means.
上記補正位相誤差検出手段は、上記フリッカ補正信号生成手段を備え、上記フリッカ補正信号生成手段が次フレームの撮像信号を補正する直前の補正位相誤差信号をもとに2種類のフリッカ補正信号を生成し、位相の異なる上記フリッカ補正信号を加算した2種類のフリッカ位相撮像信号を生成することを特徴とする請求項2記載の撮像装置。   The correction phase error detection means includes the flicker correction signal generation means, and generates two types of flicker correction signals based on the correction phase error signal immediately before the flicker correction signal generation means corrects the imaging signal of the next frame. 3. The imaging apparatus according to claim 2, wherein two types of flicker phase imaging signals are generated by adding the flicker correction signals having different phases. 上記補正振幅誤差検出手段は、上記フリッカ補正信号生成手段を備え、上記フリッカ補正信号生成手段が次フレームの撮像信号を補正する直前の上記補正位相誤差信号をもとに2種類のフリッカ補正信号を生成して、振幅の異なる上記フリッカ補正信号を加算した2種類のフリッカ位相撮像信号を生成することを特徴とする請求項2記載の撮像装置。   The correction amplitude error detection means includes the flicker correction signal generation means. The flicker correction signal generation means generates two types of flicker correction signals based on the correction phase error signal immediately before the flicker correction signal generation means corrects the imaging signal of the next frame. 3. The imaging apparatus according to claim 2, wherein two types of flicker phase imaging signals are generated and added with the flicker correction signals having different amplitudes.
JP2006119732A 2006-04-24 2006-04-24 Flicker correction method and imaging apparatus Expired - Fee Related JP4645517B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006119732A JP4645517B2 (en) 2006-04-24 2006-04-24 Flicker correction method and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006119732A JP4645517B2 (en) 2006-04-24 2006-04-24 Flicker correction method and imaging apparatus

Publications (2)

Publication Number Publication Date
JP2007295200A true JP2007295200A (en) 2007-11-08
JP4645517B2 JP4645517B2 (en) 2011-03-09

Family

ID=38765380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006119732A Expired - Fee Related JP4645517B2 (en) 2006-04-24 2006-04-24 Flicker correction method and imaging apparatus

Country Status (1)

Country Link
JP (1) JP4645517B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013017238A (en) * 2012-10-05 2013-01-24 Canon Inc Image processing apparatus, image processing method, program, and storage medium
US9451176B2 (en) 2014-03-28 2016-09-20 Sony Corporation Image signal processor that reduces a flicker component of an image signal depending on a level change between continuous frames

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006051914A1 (en) * 2004-11-15 2006-05-18 Sony Corporation Flicker correcting method, flicker correcting circuit, and imaging device using them
JP2006319785A (en) * 2005-05-13 2006-11-24 Sony Corp Flicker correction method, flicker correction device and imaging apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006051914A1 (en) * 2004-11-15 2006-05-18 Sony Corporation Flicker correcting method, flicker correcting circuit, and imaging device using them
JP2006319785A (en) * 2005-05-13 2006-11-24 Sony Corp Flicker correction method, flicker correction device and imaging apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013017238A (en) * 2012-10-05 2013-01-24 Canon Inc Image processing apparatus, image processing method, program, and storage medium
US9451176B2 (en) 2014-03-28 2016-09-20 Sony Corporation Image signal processor that reduces a flicker component of an image signal depending on a level change between continuous frames

Also Published As

Publication number Publication date
JP4645517B2 (en) 2011-03-09

Similar Documents

Publication Publication Date Title
JP4207926B2 (en) Flicker correction method, flicker correction apparatus, and imaging apparatus
JP4207922B2 (en) Flicker correction method, flicker correction apparatus, and imaging apparatus
JP4207923B2 (en) Flicker correction method, flicker correction apparatus, and imaging apparatus
JP4285542B2 (en) Flicker correction method, flicker correction circuit, and imaging apparatus using them
JP5249377B2 (en) Imaging apparatus, control method therefor, and program
US8379118B2 (en) Imaging apparatus and imaging method
JP2007329896A (en) Imaging element and imaging apparatus
US7701621B2 (en) Image correction system and correcting method
JPH08265605A (en) Image pickup device
JP4645517B2 (en) Flicker correction method and imaging apparatus
US20200221007A1 (en) Image processing apparatus, image processing method, imaging apparatus, and program
US20200228728A1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP2003169255A (en) Shading correction method
JP2005142713A (en) Solid-state imaging apparatus and adjusting method of solid-state imaging apparatus
JP3865125B2 (en) Image processing apparatus and method, recording medium, and program
JP2001186407A (en) Image pickup device
JP2007214662A (en) Solid-state imaging apparatus
JP2011135194A (en) Imaging device, correction control method thereof, correction control program, and recording medium
JP2004247880A (en) Shading correction method and apparatus therefor
JPH0779431B2 (en) Ghost removal device
JP7439029B2 (en) Imaging device, imaging method, program and storage medium
JP2000358187A (en) Image pickup device
JP2006005694A (en) Ir imaging apparatus having sensitivity correcting function of ir detector
JPH11313226A (en) Flicker correction device and correction method
JP4078720B2 (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees