JP2010045449A - Smear correction circuit, smear correction method, and image device - Google Patents
Smear correction circuit, smear correction method, and image device Download PDFInfo
- Publication number
- JP2010045449A JP2010045449A JP2008206231A JP2008206231A JP2010045449A JP 2010045449 A JP2010045449 A JP 2010045449A JP 2008206231 A JP2008206231 A JP 2008206231A JP 2008206231 A JP2008206231 A JP 2008206231A JP 2010045449 A JP2010045449 A JP 2010045449A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- signal
- smear
- correction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、例えば、撮像した画像に生じるスミアを補正する場合に適用して好適なスミア補正回路、スミア補正方法及び撮像装置に関する。 The present invention relates to a smear correction circuit, a smear correction method, and an imaging apparatus that are suitable for application to, for example, correcting smear that occurs in a captured image.
従来、CCD(Charge Coupled Devices)センサ等の撮像素子を用いて高輝度の被写体を撮像した場合、画像の垂直方向に本来は存在しないはずの縦筋が現れ、画質が劣化することがあった。このような縦筋はスミアと呼ばれている。スミアは、強烈な光が照射することにより本来遮光されているはずの垂直転送路に光が混入したり、フォトダイオードで光電変換された信号電荷がポテンシャル障壁を乗り越えて垂直転送路に漏れ込んだりすることにより発生する。そして、スミアを発生させるスミア成分は、画像信号に重畳されるノイズであり、有効画素領域外の遮光領域(OPB:オプティカルブラック)が発生させる画像信号にも重畳することがある。このため、スミア成分の影響を除く様々な技術が検討されていた。以下の説明では、画像信号に重畳するスミア成分を除く補正を「スミア補正」と呼ぶ。 Conventionally, when a high-brightness subject is imaged using an imaging device such as a CCD (Charge Coupled Devices) sensor, vertical stripes that should not exist originally appear in the vertical direction of the image, and the image quality may deteriorate. Such vertical stripes are called smears. In smear, light is mixed into the vertical transfer path that should have been shielded by intense light irradiation, or the signal charge photoelectrically converted by the photodiode crosses the potential barrier and leaks into the vertical transfer path. It is generated by doing. The smear component that generates smear is noise superimposed on the image signal, and may be superimposed on the image signal generated by the light-shielding region (OPB: optical black) outside the effective pixel region. For this reason, various techniques for removing the influence of smear components have been studied. In the following description, the correction excluding the smear component superimposed on the image signal is referred to as “smear correction”.
特許文献1には、遮光領域から検出したスミア成分を有効画素から減ずることによって、スミアを補正する技術について開示されている。
ところで、従来のスミア補正を行う技術はスミア成分のみを検出するものではなかったため、画像信号に多くのノイズが重畳したり、複数の光源を撮像したりする場合に、スミアが発生していない領域についても過剰に補正することがあった。つまり、画像信号に重畳するスミア成分以外のノイズがスミア成分であると判断されることにより、スミアが発生していない領域に過剰にスミア補正がされ、色が付いた縦筋等が画像に現れることがあった。また、光源が移動する場合(言い換えれば、撮像素子と光源の相対位置が変化する場合)、信号電荷が転送されるタイミングがずれるので、斜め方向にスミアが発生することもあった。従来、撮像素子の垂直転送方向に対してスミア補正が行われていたため、斜め方向に発生したスミアを補正すると、スミアが発生していない領域にも過剰に補正されてしまう。このため、表示される画像に違和感が生じることがあった。 By the way, the conventional technique for performing smear correction did not detect only the smear component. Therefore, when a lot of noise is superimposed on an image signal or when a plurality of light sources are imaged, a smear-free area is generated. There was also an excessive correction. In other words, by determining that noise other than the smear component superimposed on the image signal is a smear component, excessive smear correction is performed in an area where smear is not generated, and colored vertical streaks appear in the image. There was a thing. Further, when the light source moves (in other words, when the relative position of the image sensor and the light source changes), the timing at which the signal charges are transferred is shifted, so that smear may occur in an oblique direction. Conventionally, since smear correction is performed in the vertical transfer direction of the image sensor, if smear generated in an oblique direction is corrected, an area where smear is not generated is excessively corrected. For this reason, an uncomfortable feeling may occur in the displayed image.
本発明はこのような状況に鑑みて成されたものであり、画像信号に重畳されるスミア成分のみを検出し、検出したスミア成分のみを画像信号から効率的に取り除くことを目的とする。 The present invention has been made in view of such a situation, and an object thereof is to detect only a smear component superimposed on an image signal and efficiently remove only the detected smear component from the image signal.
本発明は、光源から入射した光を光電変換して画像信号を生成する入射領域及び光線が遮光された状態で生じる暗電流から基準信号を生成する遮光領域を有する撮像素子から供給される画像信号及び基準信号を用いる。
次に、画像信号に重畳されるノイズを所定のフィルタ処理で取り除き、ノイズが取り除かれた画像信号から基準信号を減ずることによって画像信号に重畳されるスミア成分を検出し、画像信号からスミア成分を取り除くための補正信号を生成する。
そして、スミア成分が画像信号に重畳されている場合に、画像信号から補正信号を減じて、スミア成分が取り除かれた画像信号を出力し、スミア成分が画像信号に重畳されていない場合に、画像信号をそのまま出力する。
The present invention provides an image signal supplied from an imaging device having an incident area for photoelectrically converting light incident from a light source to generate an image signal and a light-shielding area for generating a reference signal from a dark current generated in a state where the light beam is shielded. And a reference signal.
Next, the noise superimposed on the image signal is removed by a predetermined filtering process, and the smear component superimposed on the image signal is detected by subtracting the reference signal from the image signal from which the noise has been removed, and the smear component is detected from the image signal. A correction signal for removal is generated.
Then, when the smear component is superimposed on the image signal, the correction signal is subtracted from the image signal to output an image signal from which the smear component has been removed, and when the smear component is not superimposed on the image signal, The signal is output as it is.
このようにしたことで、画像信号に重畳されるスミア成分のみを検出した上で、画像信号からスミア成分を補正するための補正信号を減じて、スミア成分を取り除いた画像信号を出力することができる。 By doing this, it is possible to detect only the smear component superimposed on the image signal and then subtract the correction signal for correcting the smear component from the image signal to output the image signal from which the smear component has been removed. it can.
本発明によれば、画像信号に重畳されるノイズを所定のフィルタ処理で取り除くことによって、スミア成分を確実に検出できる。そして、画像信号から検出したスミア成分のみを取り除くため、スミア成分が重畳されていない画像信号を過剰に補正しない。このため、得られる画像にはスミアだけが取り除かれるようになり、画質を高めることができるという効果がある。 According to the present invention, it is possible to reliably detect a smear component by removing noise superimposed on an image signal by a predetermined filter process. Since only the smear component detected from the image signal is removed, the image signal on which the smear component is not superimposed is not excessively corrected. For this reason, only smear is removed from the obtained image, and the image quality can be improved.
以下、本発明の第1の実施の形態について、図1〜図10を参照して説明する。本実施の形態では、被写体を撮像して得られる画像信号を所定の処理で適切に補正する撮像装置10に適用した例について説明する。 Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. In the present embodiment, an example will be described in which the present invention is applied to an imaging apparatus 10 that appropriately corrects an image signal obtained by imaging a subject by a predetermined process.
図1は、本例の撮像装置10の内部構成例を示すブロック図である。
撮像装置10は、不図示の光学系を介して結像した像光を光電変換することによって、R,G,Bアナログ画像信号を生成する撮像素子1r、1g、1bと、R,G,Bアナログ画像信号を増幅するアンプ2r,2g,2bを備える。また、増幅されたR,G,Bアナログ画像信号をR,G,Bデジタル画像信号に変換するアナログ/デジタル変換部3r,3g,3bを備える。以下、R,G,Bデジタル画像信号を、単に「デジタル画像信号」と呼ぶ。
FIG. 1 is a block diagram illustrating an internal configuration example of the imaging apparatus 10 of the present example.
The imaging device 10 photoelectrically converts image light formed through an optical system (not shown) to generate R, G, B analog image signals, and R, G, B. Amplifiers 2r, 2g, and 2b for amplifying analog image signals are provided. Also provided are analog / digital converters 3r, 3g, 3b for converting the amplified R, G, B analog image signals into R, G, B digital image signals. Hereinafter, the R, G, B digital image signals are simply referred to as “digital image signals”.
また、撮像装置10は、アナログ/デジタル変換部3r,3g,3bが出力するデジタル画像信号に重畳されるノイズやスミア成分を補正するスミア補正部4を備える。また、補正されたデジタル画像信号のゲインを調整するゲイン調整部5と、ゲインが調整されたデジタル画像信号の輝度を調整する輝度調整部6を備える。また、輝度が調整されたデジタル画像信号をガンマ補正するガンマ補正部7と、デジタル画像信号を、Y,Cr,Cbデジタル画像信号に変換して出力する出力部8を備える。 The imaging apparatus 10 also includes a smear correction unit 4 that corrects noise and smear components superimposed on the digital image signals output from the analog / digital conversion units 3r, 3g, and 3b. Further, a gain adjustment unit 5 that adjusts the gain of the corrected digital image signal and a luminance adjustment unit 6 that adjusts the luminance of the digital image signal whose gain has been adjusted are provided. In addition, a gamma correction unit 7 that gamma-corrects the digital image signal whose luminance has been adjusted, and an output unit 8 that converts the digital image signal into a Y, Cr, Cb digital image signal and outputs the digital image signal.
出力部8から出力されるY,Cr,Cbデジタル画像信号は、例えば、液晶ディスプレイパネル、有機ELディスプレイパネルからなる不図示の表示部に供給され、画像が表示される。また、Y,Cr,Cbデジタル画像信号は、例えば、ハードディスクドライブ、フラッシュメモリ、テープ装置からなる不図示の記録部に供給され、所定のフォーマットで記録される場合もある。 The Y, Cr, Cb digital image signal output from the output unit 8 is supplied to a display unit (not shown) including, for example, a liquid crystal display panel and an organic EL display panel, and an image is displayed. The Y, Cr, Cb digital image signal may be supplied to a recording unit (not shown) including, for example, a hard disk drive, a flash memory, and a tape device, and may be recorded in a predetermined format.
ここで、各部の動作について説明する。
撮像素子1r、1g、1bが出力するアナログ画像信号は、アンプ2r,2g,2bとアナログ/デジタル変換部3r、3g、3bによって量子化され、適切なレベルに調節されて、デジタル画像信号に変換される。デジタル画像信号は、スミア補正部4及びゲイン調整部5によって適切に処理された後、輝度調整部6によって高輝度部分が圧縮されて、規定の範囲内に納められる。また、CRT(Cathode Ray Tube)等のモニタガンマに対応するために、ガンマ補正部7によってガンマ補正された後、出力部8によって最終的な出力形式のデジタル画像信号に変換され、不図示の表示部、記録部等に出力される。
Here, the operation of each unit will be described.
The analog image signals output from the image sensors 1r, 1g, and 1b are quantized by the amplifiers 2r, 2g, and 2b and the analog / digital converters 3r, 3g, and 3b, adjusted to appropriate levels, and converted into digital image signals. Is done. The digital image signal is appropriately processed by the smear correction unit 4 and the gain adjustment unit 5, and then the high luminance part is compressed by the luminance adjustment unit 6 to be within a prescribed range. Further, in order to cope with monitor gamma such as CRT (Cathode Ray Tube), the gamma correction unit 7 performs gamma correction, and then the output unit 8 converts the digital image signal into a final output format. Output to the recording unit, the recording unit, and the like.
ところで、撮像装置10において、ゲイン調整部5によって調整されたデジタル画像信号からスミア成分を検出すると、例えば、スミアが生じていない領域にスミアが現れているといった誤検出につながりやすい。このため、スミア補正部4によって、画像信号からスミア成分を検出する処理と、スミア補正の処理が行われる。 By the way, if the smear component is detected from the digital image signal adjusted by the gain adjusting unit 5 in the imaging device 10, for example, it is likely to lead to a false detection that a smear appears in a region where no smear has occurred. For this reason, the smear correction unit 4 performs processing for detecting a smear component from the image signal and processing for smear correction.
図2は、撮像素子1r,1g,1bの構成例を示す。
本例の撮像素子1r,1g,1bは、1125×2200画素で構成される撮像素子である。撮像素子1r,1g,1bの左端には、水平遮光領域11(HOPB:Horizontal OPtical Black)が形成され、上端には、垂直遮光領域(VOPB:Vertical OPtical Black)35が形成される。水平遮光領域11と垂直遮光領域15は、光源からの光線が遮光された領域である。そして、光線が遮光された状態で、この遮光領域の画素が生じる暗電流の直流レベル(直流電圧)は、後述する黒レベル検出部32で用いられる基準信号(黒レベルとも称する。)として用いられる。
FIG. 2 shows a configuration example of the image sensors 1r, 1g, and 1b.
The imaging elements 1r, 1g, and 1b in this example are imaging elements configured with 1125 × 2200 pixels. A horizontal light shielding area 11 (HOPB: Horizontal OPtical Black) is formed at the left end of the imaging elements 1r, 1g, 1b, and a vertical light shielding area (VOPB: Vertical OPtical Black) 35 is formed at the upper end. The horizontal light shielding area 11 and the vertical light shielding area 15 are areas where light rays from the light source are shielded. The direct current level (DC voltage) of the dark current generated by the pixels in the light shielding region in the state where the light beam is shielded is used as a reference signal (also referred to as a black level) used in a black level detection unit 32 described later. .
撮像素子1r,1g,1bにおいて、水平遮光領域11と垂直遮光領域15を除いた領域である受光部12には、光源から入射した光を光電変換して画像信号を生成する入射領域として機能する。受光部12に結像した被写体の像光は、光電変換されてR,G,Bアナログ画像信号として出力される。 In the imaging devices 1r, 1g, and 1b, the light receiving unit 12 that is an area excluding the horizontal light shielding area 11 and the vertical light shielding area 15 functions as an incident area that photoelectrically converts light incident from the light source to generate an image signal. . The image light of the subject formed on the light receiving unit 12 is photoelectrically converted and output as an R, G, B analog image signal.
受光部12の一部に光源13から強い光が入射すると、スミア14が撮像素子1r,1g,1bの垂直方向に生じる。後述する黒レベル検出部32(図4参照)は、遮光された領域16の画素が生じる直流信号の信号レベルを黒レベルとしてリアルタイムで検出する。領域16にはスミアが生じないため、領域16で生じた直流信号は、スミアを検出するための基準信号として用いられる。 When strong light from the light source 13 enters a part of the light receiving unit 12, a smear 14 is generated in the vertical direction of the imaging devices 1r, 1g, and 1b. A black level detection unit 32 (see FIG. 4), which will be described later, detects the signal level of the DC signal generated by the pixels in the light-shielded region 16 in real time as the black level. Since smear does not occur in the region 16, the DC signal generated in the region 16 is used as a reference signal for detecting smear.
図3は、スミア補正部4の内部構成例を示す。
スミア補正部4は、デジタル画像信号から補正量を演算し、ノイズを除く補正量生成部21と、デジタル画像信号から補正量生成部21で演算された補正量を減ずる補正量減算部22を備える。
FIG. 3 shows an internal configuration example of the smear correction unit 4.
The smear correction unit 4 includes a correction amount generation unit 21 that calculates a correction amount from the digital image signal and removes noise, and a correction amount subtraction unit 22 that subtracts the correction amount calculated by the correction amount generation unit 21 from the digital image signal. .
補正量生成部21は、デジタル画像信号に重畳されるノイズを所定のフィルタ処理で取り除き、ノイズが取り除かれたデジタル画像信号から基準信号を減ずることによってデジタル画像信号に重畳されるスミア成分を検出する。そして、デジタル画像信号からスミア成分を取り除くための補正信号を生成する。補正信号のレベルは、ユーザが不図示の表示部に表示された画像を見ながら行うメニュー操作等によって任意に変更することが可能である。 The correction amount generator 21 detects a smear component superimposed on the digital image signal by removing noise superimposed on the digital image signal by a predetermined filter process and subtracting the reference signal from the digital image signal from which the noise has been removed. . Then, a correction signal for removing smear components from the digital image signal is generated. The level of the correction signal can be arbitrarily changed by a menu operation or the like performed by the user while viewing an image displayed on a display unit (not shown).
補正量減算部22は、スミア成分がデジタル画像信号に重畳されている場合に、デジタル画像信号から補正信号を減じて、スミア成分が取り除かれたデジタル画像信号を出力する。一方、スミア成分がデジタル画像信号に重畳されていない場合に、デジタル画像信号をそのまま出力する。そして、補正量減算部22は、補正信号を減じられたデジタル画像信号を後続のゲイン調整部5(図1参照)に引き渡す。こうして、補正量減算部22は、スミアが発生していない領域まで過剰にスミア補正しないようにデジタル画像信号を処理する。 When the smear component is superimposed on the digital image signal, the correction amount subtraction unit 22 subtracts the correction signal from the digital image signal and outputs a digital image signal from which the smear component has been removed. On the other hand, when the smear component is not superimposed on the digital image signal, the digital image signal is output as it is. Then, the correction amount subtraction unit 22 delivers the digital image signal obtained by subtracting the correction signal to the subsequent gain adjustment unit 5 (see FIG. 1). In this way, the correction amount subtraction unit 22 processes the digital image signal so as not to excessively correct the smear to the area where the smear has not occurred.
図4は、補正量生成部21の内部構成例を示す。
補正量生成部21は、撮像素子1r、1g、1bの垂直遮光領域15から出力されるデジタル画像信号からスミア成分の波形を検出するスミア波形検出部31を備える。また、遮光領域のうち、スミア成分が重畳されない水平遮光領域11(本例では、領域16)が出力するデジタル画像信号の信号レベルを、基準信号の黒レベルとして検出する黒レベル検出部32を備える。また、補正量生成部21は、スミア成分の波形を検出した場合に応じて、デジタル画像信号からスミア成分を取り除いた補正信号を出力するコアリング処理部33を備える。コアリング処理部33が行うコアリング処理については、後述する図7にて説明する。
FIG. 4 shows an internal configuration example of the correction amount generation unit 21.
The correction amount generation unit 21 includes a smear waveform detection unit 31 that detects a smear component waveform from the digital image signal output from the vertical light-shielding region 15 of the imaging elements 1r, 1g, and 1b. In addition, a black level detection unit 32 that detects the signal level of the digital image signal output from the horizontal light-shielding region 11 (in this example, the region 16) in which the smear component is not superimposed in the light-shielding region as a black level of the reference signal is provided. . In addition, the correction amount generation unit 21 includes a coring processing unit 33 that outputs a correction signal obtained by removing the smear component from the digital image signal in response to detection of a smear component waveform. The coring process performed by the coring processing unit 33 will be described later with reference to FIG.
ここで、黒レベル検出部32の処理について説明する。
撮像装置10が撮影している間、垂直遮光領域15には、露光時にスミア14のスミア成分が重畳される。このため、垂直遮光領域15の画素から供給される信号のみでは黒レベルの目標値を決めることができない。そこで、黒レベル検出部32は、水平遮光領域11(本例では、領域16)が出力する信号を基準信号として用いることによって、リアルタイムで黒レベルを検出する。ただし、黒レベルは、温度等によって変わる可能性があるため、水平遮光領域11で生じるノイズ成分を除去することによって、黒レベルを安定させる必要がある。このノイズ成分を除去するためには、IIRフィルタが用いられる。IIRフィルタは、入力信号とそれ以前の出力信号をフィードバックループによって用いるフィルタである。
Here, the processing of the black level detection unit 32 will be described.
While the imaging device 10 is photographing, the smear component of the smear 14 is superimposed on the vertical light shielding area 15 at the time of exposure. For this reason, the target value of the black level cannot be determined only by signals supplied from the pixels in the vertical light shielding region 15. Therefore, the black level detection unit 32 detects the black level in real time by using the signal output from the horizontal light-shielding region 11 (region 16 in this example) as a reference signal. However, since the black level may change depending on the temperature or the like, it is necessary to stabilize the black level by removing the noise component generated in the horizontal light shielding region 11. An IIR filter is used to remove this noise component. The IIR filter is a filter that uses an input signal and a previous output signal by a feedback loop.
そして、スミア波形検出部31は、スミア14のスミア成分を検出する。通常、ランダムノイズに対して静止して現れるスミアは、一定の場所に現れる固定パターンのノイズであり、ユーザにとって視感度が高いため、スミア14のみを検出する精度を高める必要がある。このため、スミア波形検出部31は、複数種類のデジタルフィルタを組み合わせてスミア成分を検出する。 Then, the smear waveform detection unit 31 detects a smear component of the smear 14. Normally, a smear that appears stationary with respect to random noise is a fixed pattern noise that appears at a fixed location, and has high visibility to the user. Therefore, it is necessary to improve the accuracy of detecting only the smear 14. For this reason, the smear waveform detection unit 31 detects a smear component by combining a plurality of types of digital filters.
コアリング処理部33は、スミア波形検出部31がスミア成分の波形を検出した場合に、垂直遮光領域15が出力するデジタル画像信号の信号レベルから黒レベルを減じる。そして、黒レベルが減じられたデジタル画像信号の信号レベルが所定の閾値から所定の上限値の範囲内である場合に、黒レベルが減じられたデジタル画像信号からスミア成分を取り除いた補正信号を出力する。 The coring processing unit 33 subtracts the black level from the signal level of the digital image signal output from the vertical shading region 15 when the smear waveform detection unit 31 detects the waveform of the smear component. Then, when the signal level of the digital image signal with the black level reduced is within the range from the predetermined threshold value to the predetermined upper limit value, a correction signal is output by removing the smear component from the digital image signal with the black level reduced. To do.
図5は、スミア波形検出部31の構成例を示す。
スミア波形検出部31は、インパルスノイズを除去するメディアンフィルタ41を備える。また、撮像素子1r,1g,1bの垂直方向の低域成分を抽出する積分フィルタ42と、撮像素子1r,1g,1bの水平方向の低域成分を抽出する低域成分を抽出するローパスフィルタ43を備える。制御部44は、メディアンフィルタ41、積分フィルタ42、ローパスフィルタ43の動作を制御する。
FIG. 5 shows a configuration example of the smear waveform detection unit 31.
The smear waveform detection unit 31 includes a median filter 41 that removes impulse noise. Further, an integration filter 42 that extracts low-frequency components in the vertical direction of the image sensors 1r, 1g, and 1b, and a low-pass filter 43 that extracts low-frequency components that extract the low-frequency components in the horizontal direction of the image sensors 1r, 1g, and 1b. Is provided. The control unit 44 controls operations of the median filter 41, the integration filter 42, and the low-pass filter 43.
メディアンフィルタ41は、垂直遮光領域15から得られるデジタル画像信号より、例えば、隣り合う3つの画素のレベルを求め、中央値を抽出する。
積分フィルタ42は、複数ラインのデジタル画像信号を記憶するラインメモリ45を備えており、垂直遮光領域15から得られるデジタル画像信号の各列の信号レベルを平均する。このとき、積分フィルタ42は、ラインメモリ45から読み出したデジタル画像信号を加算することによって、デジタル画像信号から垂直方向の低域成分を抽出できる。このように、積分フィルタ42は、前フレームの垂直遮光領域15から得られるデジタル画像信号をラインメモリ45に記憶することによって、ノイズ成分を除去する効果を高めている。
The median filter 41 obtains, for example, the levels of three adjacent pixels from the digital image signal obtained from the vertical light shielding region 15, and extracts the median value.
The integration filter 42 includes a line memory 45 that stores digital image signals of a plurality of lines, and averages the signal level of each column of the digital image signals obtained from the vertical light shielding region 15. At this time, the integration filter 42 can extract a low frequency component in the vertical direction from the digital image signal by adding the digital image signals read from the line memory 45. As described above, the integration filter 42 increases the effect of removing the noise component by storing the digital image signal obtained from the vertical light shielding region 15 of the previous frame in the line memory 45.
ローパスフィルタ43は、積分フィルタ42によって平均化されたデジタル画像信号の低域成分を通過させて、さらにノイズ成分を除去する。本例では、積分フィルタ42とローパスフィルタ43を組み合わせることで、2次元フィルタとして機能させている。 The low-pass filter 43 passes the low-frequency component of the digital image signal averaged by the integration filter 42 and further removes the noise component. In this example, the integration filter 42 and the low-pass filter 43 are combined to function as a two-dimensional filter.
このようにして、スミア波形検出部31は、空間的かつ時間的に生じるランダムノイズをデジタル画像信号から除去できる。このため、垂直遮光領域15に生じたスミア成分を精度よく検出することが可能である。ローパスフィルタ43を動作させるか否かは、ノイズ量に応じてユーザが切替えることが可能である。 In this way, the smear waveform detection unit 31 can remove random noise generated spatially and temporally from the digital image signal. For this reason, it is possible to detect smear components generated in the vertical light shielding region 15 with high accuracy. The user can switch whether or not to operate the low-pass filter 43 according to the amount of noise.
補正量生成部21は、垂直遮光領域15から得られるデジタル画像信号より検出したVOPB波形と黒レベルを用いて、ノイズ成分の補正量を求める。具体的には、VOPB波形から黒レベルを引いた後、さらにノイズ成分を除去するために、コアリング処理部33によってコアリング処理を行う。コアリング処理は、3種類の処理(後述する図8参照)から状況に応じて選択できる。 The correction amount generation unit 21 obtains the correction amount of the noise component using the VOPB waveform and the black level detected from the digital image signal obtained from the vertical light shielding area 15. Specifically, after subtracting the black level from the VOPB waveform, the coring processing unit 33 performs coring processing in order to further remove noise components. Coring processing can be selected from three types of processing (see FIG. 8 described later) according to the situation.
図6は、補正量減算部22の内部構成例を示す。
補正量減算部22は、アナログ/デジタル変換部3r,3g,3bから供給されるデジタル画像信号の信号レベルを検出する信号レベル検出部51r,51g,51bと、補正ゲインを生成する補正ゲイン生成部52r,52g,52bを備える。また、乱数を発生する乱数発生部57と、デジタル画像信号を補正するR,G,B補正信号を保存するRAM55r,55g,55bと、RAM55r,55g,55bを制御するRAM制御部54r,54g,54bを備える。RAM55r,55g,55bには、補正量生成部21から供給されるR,G,B補正信号が補正される画素に対応して記憶される。
FIG. 6 shows an internal configuration example of the correction amount subtraction unit 22.
The correction amount subtraction unit 22 includes signal level detection units 51r, 51g, and 51b that detect the signal levels of the digital image signals supplied from the analog / digital conversion units 3r, 3g, and 3b, and a correction gain generation unit that generates a correction gain. 52r, 52g, 52b are provided. Also, a random number generator 57 that generates random numbers, RAMs 55r, 55g, and 55b that store R, G, and B correction signals that correct digital image signals, and RAM controllers 54r, 54g, and 55b that control the RAMs 55r, 55g, and 55b, 54b. In the RAMs 55r, 55g, and 55b, the R, G, and B correction signals supplied from the correction amount generation unit 21 are stored corresponding to the pixels to be corrected.
また、補正量減算部22は、補正ゲイン生成部52r,52g,52bで生成された補正ゲインを、RAM55r,55g,55bから読み出した補正信号に乗じる乗算部53r,53g,53bを備える。乗算部53r,53g,53bは、補正ゲイン生成部から供給される補正ゲインに、RAM制御部54r,54g,54bが読み出した補正信号を乗じて、デジタル画像信号の信号レベルを減ずる減算信号を生成する。また、補正量減算部22は、デジタル画像信号から、乗算部53r,53g,53bが生成した減算信号を減じたデジタル画像信号を出力する減算部56を備える。 The correction amount subtracting unit 22 includes multiplying units 53r, 53g, and 53b that multiply the correction gain generated by the correction gain generating units 52r, 52g, and 52b by the correction signal read from the RAMs 55r, 55g, and 55b. The multiplying units 53r, 53g, and 53b multiply the correction gain supplied from the correction gain generating unit by the correction signal read by the RAM control units 54r, 54g, and 54b to generate a subtraction signal that reduces the signal level of the digital image signal. To do. The correction amount subtraction unit 22 includes a subtraction unit 56 that outputs a digital image signal obtained by subtracting the subtraction signals generated by the multiplication units 53r, 53g, and 53b from the digital image signal.
デジタル画像信号は、信号レベル検出部51r,51g,51bと、減算部56にそれぞれ供給される。信号レベル検出部51r、51g、51bは、デジタル画像信号の信号レベルを検出し、検出した信号レベルを画素毎に補正ゲイン生成部52r,52g,52bに供給する。そして、補正ゲイン生成部52r,52g,52bは、信号レベルに応じた補正ゲインを生成する。補正ゲインを調整する理由については、図9を参照して後述する。 The digital image signal is supplied to the signal level detectors 51r, 51g, 51b and the subtractor 56, respectively. The signal level detectors 51r, 51g, 51b detect the signal level of the digital image signal and supply the detected signal level to the correction gain generators 52r, 52g, 52b for each pixel. Then, the correction gain generation units 52r, 52g, and 52b generate a correction gain according to the signal level. The reason for adjusting the correction gain will be described later with reference to FIG.
一方、乱数発生部57は、補正ゲイン生成部52r,52g,52bと、RAM制御部54r,54g,54bに乱数を供給する。非常にノイズ量が多い状況下において、垂直遮光領域15から得られるデジタル画像信号から検出したスミア成分を各列一律に減算すると、スミア波形検出部31のフィルタ処理で除去できなかったノイズの影響により、縦筋を発生させてしまうことがある。このノイズの影響を除くために、乱数発生部57で発生させた乱数を用いて、補正ゲインまたは画素を微小変動させることによって、縦筋に濃淡を生じさせ、画像のノイズを見えにくくすることができる。 On the other hand, the random number generator 57 supplies random numbers to the correction gain generators 52r, 52g, and 52b and the RAM controllers 54r, 54g, and 54b. When the smear component detected from the digital image signal obtained from the vertical shading region 15 is subtracted uniformly in a situation where the amount of noise is very large, due to the influence of noise that could not be removed by the filter processing of the smear waveform detection unit 31. May cause vertical streaks. In order to eliminate the influence of this noise, the correction gain or the pixel is slightly changed using the random number generated by the random number generator 57, thereby causing the vertical stripes to be shaded and making the image noise less visible. it can.
補正ゲイン生成部52r,52g,52bに供給される乱数は、補正レベルを各行毎に微小変動させるために用いられる。この微小変動とは、例えば、1画素毎にディザをかけるものである。また、RAM制御部54r,54g,54bに供給される乱数は、画素を微小変動(例えば、隣り合った画素を入れ替える。)させるために用いられる。この微小振動は、RAM55r,55g,55bから補正値を読み出すための読み出しアドレスに乱数を加えることによって、補正値を空間的に変動させるものである。これにより、補正ゲイン生成部52r,52g,52bは、信号レベル検出部51r,51g,51bが検出した信号レベルを、乱数発生部57から供給される乱数によって変化させて、デジタル画像信号の補正ゲインを生成することができる。 The random numbers supplied to the correction gain generation units 52r, 52g, and 52b are used to slightly change the correction level for each row. This minute variation is, for example, dithering for each pixel. The random numbers supplied to the RAM control units 54r, 54g, and 54b are used for making minute fluctuations (for example, replacing adjacent pixels). This minute vibration spatially varies the correction value by adding a random number to the read address for reading the correction value from the RAMs 55r, 55g, and 55b. Accordingly, the correction gain generation units 52r, 52g, and 52b change the signal levels detected by the signal level detection units 51r, 51g, and 51b according to the random numbers supplied from the random number generation unit 57, thereby correcting the digital image signal correction gains. Can be generated.
RAM55rは、補正量生成部21から供給されたR補正信号を格納する。RAM55gは、補正量生成部21から供給されたG補正信号を格納する。RAM55bは、補正量生成部21から供給されたB補正信号を格納する。RAM55r,55g,55bは、それぞれRAM制御部54r,54g,54bによってR,G,B補正信号の保存と読み出しが制御される。これにより、RAM制御部54r,54g,54bは、RAM55r,55g,55bに記憶されたR,G,B補正信号によって補正される画素を、乱数発生部57から供給される乱数によって変化させた上で読み出すことができる。 The RAM 55r stores the R correction signal supplied from the correction amount generation unit 21. The RAM 55g stores the G correction signal supplied from the correction amount generation unit 21. The RAM 55b stores the B correction signal supplied from the correction amount generation unit 21. The RAMs 55r, 55g, and 55b are controlled to store and read the R, G, and B correction signals by the RAM control units 54r, 54g, and 54b, respectively. Thereby, the RAM control units 54r, 54g, and 54b change the pixels corrected by the R, G, and B correction signals stored in the RAMs 55r, 55g, and 55b according to the random numbers supplied from the random number generation unit 57. Can be read.
そして、補正ゲイン生成部52r,52g,52bが出力する補正ゲインと、RAM制御部54r,54g,54bがRAM55r,55g,55bから読み出すR,G,B補正信号は、それぞれ乗算部53r,53g,53bによって乗じられる。そして、乗算部53r,53g,53bは、入力されたデジタル画像信号の信号レベルを減算する減算信号を生成する。乗算部53r,53g,53bによって生成された減算信号は、減算部56に供給される。減算部56は、デジタル画像信号から減算信号を減じたデジタル画像信号を出力する。 The correction gain output from the correction gain generation units 52r, 52g, and 52b and the R, G, and B correction signals that the RAM control units 54r, 54g, and 54b read from the RAMs 55r, 55g, and 55b are the multiplication units 53r, 53g, and 53g, respectively. Multiplied by 53b. Then, the multipliers 53r, 53g, 53b generate a subtraction signal for subtracting the signal level of the input digital image signal. The subtraction signals generated by the multiplication units 53r, 53g, and 53b are supplied to the subtraction unit 56. The subtracting unit 56 outputs a digital image signal obtained by subtracting the subtracted signal from the digital image signal.
図7は、減算部56の内部構成例を示す。
減算部56は、入力されたデジタル画像信号又は補正したデジタル画像信号を選択して出力する減算部56r、56g、56bを備える。減算部56r、56g、56bは、デジタル画像信号から補正信号を減じたデジタル画像信号を生成する減算信号生成部61r,61g,61を備える。また、所定の閾値に基づいて、デジタル画像信号又はデジタル画像信号からR,G,B補正信号を減じたデジタル画像信号を出力する閾値判定部62r,62g,62bを備える。
FIG. 7 shows an internal configuration example of the subtraction unit 56.
The subtracting unit 56 includes subtracting units 56r, 56g, and 56b that select and output the input digital image signal or the corrected digital image signal. The subtraction units 56r, 56g, and 56b include subtraction signal generation units 61r, 61g, and 61 that generate a digital image signal obtained by subtracting the correction signal from the digital image signal. In addition, threshold determination units 62r, 62g, and 62b that output a digital image signal or a digital image signal obtained by subtracting the R, G, and B correction signals from the digital image signal based on a predetermined threshold are provided.
減算部56r、56g、56bには、補正量生成部21からR,G,B補正信号が供給される。減算信号生成部61r,61g,61bは、減算部56r、56g、56bに入力したデジタル画像信号からR,G,B補正信号が減じる。そして、閾値判定部62r,62g,62bは、デジタル画像信号の信号レベルと所定の閾値を比較する。デジタル画像信号の信号レベルが所定の閾値未満である場合にデジタル画像信号を出力する。一方、デジタル画像信号の信号レベルが所定の閾値を超える場合に減算信号生成部61r,61g,61bから供給される、デジタル画像信号からR,G,B補正信号を減じたデジタル画像信号を出力する。 The R, G, and B correction signals are supplied from the correction amount generation unit 21 to the subtraction units 56r, 56g, and 56b. The subtraction signal generation units 61r, 61g, and 61b subtract R, G, and B correction signals from the digital image signals input to the subtraction units 56r, 56g, and 56b. Then, the threshold determination units 62r, 62g, and 62b compare the signal level of the digital image signal with a predetermined threshold. When the signal level of the digital image signal is less than a predetermined threshold, the digital image signal is output. On the other hand, when the signal level of the digital image signal exceeds a predetermined threshold value, a digital image signal obtained by subtracting the R, G, and B correction signals from the digital image signal supplied from the subtraction signal generators 61r, 61g, and 61b is output. .
図8は、コアリング処理部33が行うコアリング処理の例を示す。
コアリング処理とは、入力したデジタル画像信号に含まれるノイズを効率的に除去する処理である。
図8Aは、第1のコアリング処理の例を示す。
図8Bは、第2のコアリング処理の例を示す。
図8Cは、第3のコアリング処理の例を示す。
FIG. 8 shows an example of coring processing performed by the coring processing unit 33.
The coring process is a process for efficiently removing noise included in the input digital image signal.
FIG. 8A shows an example of the first coring process.
FIG. 8B shows an example of the second coring process.
FIG. 8C shows an example of the third coring process.
図8A〜図8Cにおいて、横軸はコアリング処理部33に入力するデジタル画像信号の値を示し、縦軸はコアリング処理部33が出力するデジタル画像信号の値を示す。また、所定の信号レベルに達するまで、入力するデジタル画像信号の出力を制限する、閾値レベルが設定されている。入力するデジタル画像信号と出力するデジタル画像信号の信号レベルが等しい場合、入出力のデジタル画像信号の関係は、破線で示される。 8A to 8C, the horizontal axis indicates the value of the digital image signal input to the coring processing unit 33, and the vertical axis indicates the value of the digital image signal output by the coring processing unit 33. In addition, a threshold level is set to limit the output of the input digital image signal until a predetermined signal level is reached. When the input digital image signal and the output digital image signal have the same signal level, the relationship between the input and output digital image signals is indicated by a broken line.
図8Aより、入力するデジタル画像信号のレベルが閾値レベルを超えると、コアリング処理部33は、デジタル画像信号を出力する。このとき、デジタル画像信号に重畳されるわずかなノイズは出力されない。このため、デジタル画像信号に重畳されるわずかなノイズを除くことができる。 As shown in FIG. 8A, when the level of the input digital image signal exceeds the threshold level, the coring processing unit 33 outputs the digital image signal. At this time, slight noise superimposed on the digital image signal is not output. For this reason, slight noise superimposed on the digital image signal can be removed.
入力と出力のデジタル画像信号のレベルは線形であり、所定の傾きの直線で示される。この傾きは可変であり、ユーザのメニュー操作等が行われると傾きを変えて、補正量を調整できる。ところで、検出したスミア成分の信号レベルが飽和している場合、補正後の画素を正しく復元できなくなる。そこで、あるレベル以上のスミア成分を出力させないように上限クリップを設けることによって、補正後の画素の不自然さを軽減する。 The levels of the input and output digital image signals are linear and are indicated by straight lines having a predetermined slope. This inclination is variable, and when the user performs a menu operation or the like, the correction amount can be adjusted by changing the inclination. By the way, when the signal level of the detected smear component is saturated, the corrected pixel cannot be correctly restored. Therefore, by providing an upper limit clip so as not to output a smear component above a certain level, the unnaturalness of the pixel after correction is reduced.
図8Bより、入力するデジタル画像信号のレベルが閾値レベルより低い段階でデジタル画像信号が出力されることが示される。ただし、入力したデジタル画像信号より出力するデジタル画像信号のレベルが大きくなることはない。このため、入力するデジタル画像信号のレベルが閾値レベルを超えると、出力するデジタル画像信号のレベルが上限クリップまで大きくなる。そして、出力するデジタル画像信号のレベルが上限クリップに達すると、出力するデジタル画像信号のレベルが制限される。この結果、スミアを目立たなく補正することができる。 FIG. 8B shows that the digital image signal is output when the level of the input digital image signal is lower than the threshold level. However, the level of the output digital image signal does not become larger than the input digital image signal. For this reason, when the level of the input digital image signal exceeds the threshold level, the level of the output digital image signal increases to the upper limit clip. When the level of the output digital image signal reaches the upper limit clip, the level of the output digital image signal is limited. As a result, smear can be corrected inconspicuously.
図8Cより、入力したデジタル画像信号のレベルが閾値レベルに達した時点で、出力するデジタル画像信号のレベルが破線に一致することが示される。以降、図8Bと同様に、出力するデジタル画像信号のレベルは、上限値まで破線に沿って出力するデジタル画像信号のレベルが上昇する。そして、出力するデジタル画像信号のレベルが上限に達すると、一定の値でスミア成分がクリップされることになる。 FIG. 8C shows that the level of the output digital image signal matches the broken line when the level of the input digital image signal reaches the threshold level. Thereafter, as in FIG. 8B, the level of the digital image signal to be output rises up to the upper limit value along the broken line. When the level of the output digital image signal reaches the upper limit, the smear component is clipped at a constant value.
図9は、補正ゲイン生成部52r,52g,52bが行う、補正ゲインを調整する処理の例を示す。図9において、横軸は画素毎の信号レベル(画素レベルとも呼ぶ。)を示し、縦軸は補正ゲインを示す。 FIG. 9 illustrates an example of processing for adjusting the correction gain performed by the correction gain generation units 52r, 52g, and 52b. In FIG. 9, the horizontal axis indicates the signal level (also referred to as pixel level) for each pixel, and the vertical axis indicates the correction gain.
補正対象画素のレベルが飽和レベルに近い場合、検出したスミアをゲイン調整せずに減算すると、補正後に不自然な色のスミアになることがある。これを防止するために、補正ゲインを調整する処理を行う。この調整処理によって、補正対象となる画素のレベルが大きい時は補正ゲインを小さくすることができる。 If the level of the correction target pixel is close to the saturation level, subtracting the detected smear without adjusting the gain may result in an unnatural color smear after correction. In order to prevent this, processing for adjusting the correction gain is performed. With this adjustment process, the correction gain can be reduced when the level of the pixel to be corrected is large.
本例において、画素レベルは、0〜1023までの範囲で示される。補正ゲイン生成部52r,52g,52bで補正される画素毎のデジタル画像信号の補正ゲインは、画素レベルがゲイン調整開始レベルに達するまで一定である。そして、画素レベルがゲイン調整開始レベルに達すると、補正ゲインを下げるように調整する。さらに、画素レベルが飽和レベルに達すると、補正ゲインを最も下げて補正ゲインが最低値となるように調整する。 In this example, the pixel level is shown in a range from 0 to 1023. The correction gain of the digital image signal for each pixel corrected by the correction gain generation units 52r, 52g, and 52b is constant until the pixel level reaches the gain adjustment start level. When the pixel level reaches the gain adjustment start level, the correction gain is adjusted to be lowered. Further, when the pixel level reaches the saturation level, the correction gain is adjusted to the lowest value so that the correction gain becomes the lowest value.
以上説明した第1の実施の形態に係る撮像装置10によれば、撮像素子1r,1g,1bから得られるデジタル画像信号に重畳されるノイズを所定のフィルタ処理で取り除くことによって、スミア成分を確実に検出できる。そして、画像信号から検出したスミア成分のみを取り除いて出力することによって、スミア成分が重畳されていない画像信号を過剰に補正することがなくなる。このため、得られる画像にはスミアだけが取り除かれ、表示部に表示される画像の画質を高めることができるという効果がある。 According to the imaging apparatus 10 according to the first embodiment described above, the smear component is reliably obtained by removing noise superimposed on the digital image signals obtained from the imaging elements 1r, 1g, and 1b by a predetermined filtering process. Can be detected. Then, by removing only the smear component detected from the image signal and outputting it, the image signal on which the smear component is not superimposed is not excessively corrected. For this reason, only smear is removed from the obtained image, and the image quality of the image displayed on the display unit can be improved.
また、スミア波形検出部31が検出したスミアが生じた垂直遮光領域15から出力されたデジタル画像信号からスミア成分の波形を検出した場合に、垂直遮光領域が出力する画像信号の信号レベルから黒レベルを減じる。そして、黒レベルが減じられた画像信号の信号レベルが所定の閾値から所定の上限値の範囲内である場合に、補正信号を出力するコアリング処理を行う。このため、スミア成分以外のわずかなノイズは出力されず、強烈な光によってスミア成分が表現しきれないレベルにまで飽和する場合には、スミア成分を所定の上限値に制限する。このため、スミア成分が飽和した場合であっても、補正するスミア成分のレベルが一定の範囲に収まり、スミア補正後の画像に違和感が生じないという効果がある。 Further, when the smear component waveform is detected from the digital image signal output from the vertical shading region 15 where smear is detected, which is detected by the smear waveform detecting unit 31, the black level is determined from the signal level of the image signal output from the vertical shading region. Reduce. Then, when the signal level of the image signal with the black level reduced is within a range from a predetermined threshold value to a predetermined upper limit value, coring processing for outputting a correction signal is performed. For this reason, a slight noise other than the smear component is not output, and when it is saturated to a level at which the smear component cannot be expressed by intense light, the smear component is limited to a predetermined upper limit value. For this reason, even if the smear component is saturated, the level of the smear component to be corrected is within a certain range, and there is an effect that the image after smear correction does not feel strange.
また、乱数発生部57が発生した乱数を、補正ゲイン生成部52r,52g,52bとRAM制御部54r,54g,54bに供給するようにした。これにより、補正ゲインまたは画素を微小変動させることによって、縦筋に濃淡を生じさせ、画像のノイズを見えにくくすることができる。この結果、スミア補正を行った結果、デジタル画像信号に縦筋等のノイズがわずかに重畳した場合であっても、ノイズの影響を現れにくくすることができるという効果がある。 The random number generated by the random number generator 57 is supplied to the correction gain generators 52r, 52g, and 52b and the RAM controllers 54r, 54g, and 54b. Thus, by slightly changing the correction gain or pixel, the vertical stripes can be shaded and the image noise can be made invisible. As a result, as a result of smear correction, there is an effect that even if noise such as vertical stripes is slightly superimposed on the digital image signal, the influence of noise can be made difficult to appear.
また、減算部56は、入力されるデジタル画像信号のうち、デジタル画像信号から補正信号を減算した値が所定の閾値未満である場合、デジタル画像信号をそのまま出力する。そして、所定の閾値を超える場合に減算信号生成部61r、61g、61bから供給される画像信号から前記補正信号を減じた画像信号を出力する。このことによって、スミア成分を取り除いた画像信号が過剰に補正されることがなく、元の画像信号を活かした状態で画像を表示することができるという効果がある。 The subtracting unit 56 outputs the digital image signal as it is when the value obtained by subtracting the correction signal from the digital image signal is less than a predetermined threshold among the input digital image signals. When the predetermined threshold value is exceeded, an image signal obtained by subtracting the correction signal from the image signal supplied from the subtraction signal generators 61r, 61g, 61b is output. As a result, the image signal from which the smear component has been removed is not excessively corrected, and an image can be displayed in a state where the original image signal is utilized.
また、通常、デジタル画像信号にはスミア成分以外にも様々なノイズが重畳されるが、これらのノイズは、スミア波形検出部31が備える各種のフィルタによって予め取り除くことができる。このように、ノイズが重畳されたデジタル画像信号であっても、スミア成分のみを確実に検出できるため、検出したスミア成分のみをデジタル画像信号から取り除くことができる。 In addition, various noises are usually superimposed on the digital image signal in addition to the smear component. These noises can be removed in advance by various filters provided in the smear waveform detection unit 31. Thus, even a digital image signal on which noise is superimposed, only the smear component can be reliably detected, so that only the detected smear component can be removed from the digital image signal.
次に本発明に係る第2の実施の形態について、図10〜図12を参照して説明する。
ただし、以下の説明において、既に第1の実施の形態で説明した図2及び図4に対応する部分には同一符号を付し、詳細な説明を省略する。
Next, a second embodiment according to the present invention will be described with reference to FIGS.
However, in the following description, parts corresponding to those in FIGS. 2 and 4 already described in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
図10は、斜めに発生するスミアを補正する補正量生成部70の内部構成例を示す。
補正量生成部70は、スミア波形検出部31と、黒レベル検出部32と、コアリング処理部33を備える。また、スミアの位置情報を登録するスミア位置登録部71と、スミアの傾きを検出し、スミア補正を行ったR,G,B補正信号を出力するスミア傾き検出部72を備える。
FIG. 10 shows an internal configuration example of the correction amount generation unit 70 that corrects smear occurring obliquely.
The correction amount generation unit 70 includes a smear waveform detection unit 31, a black level detection unit 32, and a coring processing unit 33. In addition, a smear position registration unit 71 that registers smear position information and a smear inclination detection unit 72 that detects smear inclination and outputs R, G, and B correction signals subjected to smear correction are provided.
コアリング処理部33でコアリング処理部されたデジタル画像信号は、スミア位置登録部71に供給される。スミア位置登録部71は、不図示のメモリを備えており、複数フレームにわたって、垂直遮光領域15に生じたスミア14の位置を垂直遮光領域35に接する位置として記憶する。スミア傾き検出部72は、スミア位置登録部71から複数のフレームにわたって供給されるスミアの位置情報からスミアの傾きを検出する。そして、デジタル画像信号から傾きを有するスミアのスミア成分を取り除く補正信号を生成する。 The digital image signal subjected to the coring processing unit by the coring processing unit 33 is supplied to the smear position registration unit 71. The smear position registration unit 71 includes a memory (not shown), and stores the position of the smear 14 generated in the vertical light shielding area 15 as a position in contact with the vertical light shielding area 35 over a plurality of frames. The smear inclination detection unit 72 detects the smear inclination from the smear position information supplied from the smear position registration unit 71 over a plurality of frames. Then, a correction signal for removing a smear component having a slope from the digital image signal is generated.
図11は、移動する光源に付随して斜めに発生したスミアの例を示す。
図11Aは、1つ前のフレームに生じたスミアの例を示す。
図11Bは、現在のフレームに生じたスミアの例を示す。
FIG. 11 shows an example of smear generated obliquely with the moving light source.
FIG. 11A shows an example of smear that occurred in the previous frame.
FIG. 11B shows an example of smear that occurred in the current frame.
撮像素子及び光源の相対位置が変化した場合(本例では、スミアが生じる光源13が矢印80の方向に移動した場合)、前のフレームにおけるスミア81は、垂直方向ではなく斜め方向に発生する。そして、現在のフレームにおけるスミア81が矢印60の方向に動いた状態で、斜め方向に発生する。このとき、スミア位置登録部71は、垂直遮光領域35におけるスミアの位置82a,82bを示す位置情報を登録する。そして、スミア傾き検出部82は、スミア位置登録部71から読み出したスミアの位置情報に基づいてスミア81の傾きを検出し、スミア81を補正する。 When the relative position of the image sensor and the light source changes (in this example, when the light source 13 where smear occurs moves in the direction of the arrow 80), the smear 81 in the previous frame occurs in an oblique direction rather than a vertical direction. Then, the smear 81 in the current frame is generated in an oblique direction with the smear 81 moving in the direction of the arrow 60. At this time, the smear position registration unit 71 registers position information indicating the smear positions 82 a and 82 b in the vertical light shielding area 35. Then, the smear inclination detection unit 82 detects the inclination of the smear 81 based on the smear position information read from the smear position registration unit 71 and corrects the smear 81.
図12は、斜めに生じたスミアを補正する処理の例を示す。
図12Aは、斜めに生じたスミアの例を示す。
図12Bは、斜めに生じたスミアを過剰に補正した例を示す。
図12Cは、斜めに生じたスミアを適切に補正した例を示す。
FIG. 12 shows an example of processing for correcting smear generated obliquely.
FIG. 12A shows an example of smear generated obliquely.
FIG. 12B shows an example in which the smear generated obliquely is excessively corrected.
FIG. 12C shows an example in which smear generated obliquely is appropriately corrected.
図12Aは、図11Aと同じ図であり、光源13が横方向に移動することによって、スミアが斜めに生じた状態を示している。このとき、スミアの位置82a,82bを示す位置情報をスミア位置登録部71に登録するのは上述したとおりである。 FIG. 12A is the same view as FIG. 11A and shows a state in which smear is generated obliquely as the light source 13 moves in the lateral direction. At this time, the position information indicating the smear positions 82a and 82b is registered in the smear position registration unit 71 as described above.
斜めに生じたスミア81を補正するため、スミア傾き検出部72は、前フレームの垂直遮光領域15で検出したスミアの位置と、現フレームの垂直遮光領域15が検出したスミアの位置の差をとって差分を演算する。1フレームの垂直の長さは固定であるため、この差分との関係からスミア81の傾きを検出できる。さらに、その傾きを元にして、スミア81を補正する。この結果、スミア81は、図12Bに示す補正部85のように周囲の輝度、色度等に合わせて補正される。 In order to correct the smear 81 generated obliquely, the smear inclination detection unit 72 takes a difference between the smear position detected in the vertical light shielding area 15 of the previous frame and the smear position detected by the vertical light shielding area 15 of the current frame. To calculate the difference. Since the vertical length of one frame is fixed, the inclination of the smear 81 can be detected from the relationship with this difference. Further, the smear 81 is corrected based on the inclination. As a result, the smear 81 is corrected in accordance with the surrounding luminance, chromaticity, and the like as in the correction unit 85 shown in FIG. 12B.
しかし、被写体が複数ある場合や、二つ以上の被写体が交差する場合、スミア傾き検出部72は、スミアの位置を誤検出する可能性がある。スミア傾き検出部72がスミアの位置を誤検出すると図12Bのように、スミアを過剰に補正した過補正部86が生じる。過補正部86は、本来補正しなくてよい領域であるため、補正した結果、かえって周囲の輝度、色度より目立ってしまう。 However, when there are a plurality of subjects or when two or more subjects intersect, the smear inclination detection unit 72 may erroneously detect the smear position. When the smear inclination detection unit 72 erroneously detects the smear position, as shown in FIG. 12B, an overcorrection unit 86 that excessively corrects smear occurs. Since the overcorrection unit 86 is an area that does not need to be corrected, the overcorrection unit 86 is more conspicuous than the surrounding luminance and chromaticity as a result of the correction.
このような過補正を防ぐために、図8の減算部56にて、補正後の信号がある閾値以下であれば、領域87の補正を行わない。または、領域87の補正ゲインを下げるという処理を行っている。この処理によって、スミア補正が失敗することによって不自然な画像になることを抑制している。 In order to prevent such overcorrection, the subtracting unit 56 in FIG. 8 does not correct the region 87 if the corrected signal is equal to or less than a certain threshold value. Alternatively, a process of reducing the correction gain of the region 87 is performed. By this process, it is possible to suppress an unnatural image due to failure of smear correction.
以上説明した第2の実施の形態に係る補正量生成部70によれば、撮像素子及び光源の相対位置が変化した場合に生じる斜め方向のスミアの垂直遮光領域15における位置情報を複数フレームにわたって登録する。そして、この位置情報に基づいてスミアの傾きを検出して、このスミアを取り除く補正信号を生成できる。このため、斜め方向のスミアのスミア成分のみをデジタル画像信号から取り除くことができる。この結果、スミアが生じていない領域に対して過補正をすることがなくなり、画質を向上することができるという効果がある。 According to the correction amount generation unit 70 according to the second embodiment described above, the position information in the vertical light shielding region 15 of the smear in the oblique direction that occurs when the relative positions of the imaging element and the light source change is registered over a plurality of frames. To do. Then, the inclination of the smear is detected based on this position information, and a correction signal for removing this smear can be generated. Therefore, only the smear component of the smear in the oblique direction can be removed from the digital image signal. As a result, there is no effect of overcorrecting an area where smear does not occur, and the image quality can be improved.
なお、上述した実施の形態における一連の処理は、ハードウェアにより実行できるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。 The series of processes in the above-described embodiments can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, it is possible to execute various functions by installing programs that make up the software into a computer built into dedicated hardware, or by installing various programs. For example, a general-purpose personal computer or the like installs and executes a program constituting desired software.
また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPU等の制御装置)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。 In addition, a recording medium in which a program code of software that realizes the functions of the above-described embodiments is recorded is supplied to the system or apparatus, and a computer (or a control device such as a CPU) of the system or apparatus is stored in the recording medium. Needless to say, this can also be achieved by reading and executing the program code.
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。 As a recording medium for supplying the program code in this case, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like is used. Can do.
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部又は全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれる。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS running on the computer based on the instruction of the program code performs actual processing. In some cases, the functions of the above-described embodiment are realized by performing part or all of the above.
さらに、本発明は上述した実施の形態に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。 Furthermore, the present invention is not limited to the above-described embodiment, and it is needless to say that various other configurations can be taken without departing from the gist of the present invention.
1r,1g,1b…撮像素子、2r,2g,2b…アンプ、3r,3g,3b…アナログ/デジタル変換部、4…スミア補正部、5…ゲイン調整部、6…輝度調整部、7…ガンマ補正部、8…出力部、10…撮像装置、11…水平遮光領域、12…受光部、13…光源、14…スミア成分、21…補正量生成部、22…補正量減算部、31…スミア波形検出部、32…黒レベル検出部、33…コアリング処理部、40…フィルタ、41…メディアンフィルタ、42…積分フィルタ、43…ローパスフィルタ、44…制御部 1r, 1g, 1b ... imaging device, 2r, 2g, 2b ... amplifier, 3r, 3g, 3b ... analog / digital conversion unit, 4 ... smear correction unit, 5 ... gain adjustment unit, 6 ... brightness adjustment unit, 7 ... gamma Correction part, 8 ... Output part, 10 ... Imaging device, 11 ... Horizontal light shielding area, 12 ... Light receiving part, 13 ... Light source, 14 ... Smear component, 21 ... Correction amount generation part, 22 ... Correction amount subtraction part, 31 ... Smear Waveform detection unit, 32 ... black level detection unit, 33 ... coring processing unit, 40 ... filter, 41 ... median filter, 42 ... integral filter, 43 ... low pass filter, 44 ... control unit
Claims (7)
前記スミア成分が前記画像信号に重畳されている場合に、前記画像信号から前記補正信号を減じて、前記スミア成分が取り除かれた画像信号を出力し、前記スミア成分が前記画像信号に重畳されていない場合に、前記画像信号をそのまま出力する補正量減算部と、を備える
スミア補正回路。 The image signal supplied from an imaging device having an incident region for photoelectrically converting light incident from a light source to generate an image signal, and a light-shielding region for generating a reference signal from a dark current generated in a state where the light ray is shielded. The noise superimposed on the image signal is detected by removing the noise superimposed on the image signal by a predetermined filtering process and subtracting the reference signal from the image signal from which the noise is removed. A correction amount generating unit that generates a correction signal for removing the smear component from the image signal;
When the smear component is superimposed on the image signal, the correction signal is subtracted from the image signal to output an image signal with the smear component removed, and the smear component is superimposed on the image signal. And a correction amount subtraction unit that outputs the image signal as it is when there is no smear correction circuit.
前記補正量生成部は、
前記遮光領域のうち、垂直遮光領域が出力する前記画像信号から前記スミア成分の波形を検出するスミア波形検出部と、
前記遮光領域のうち、前記スミア成分が重畳されない水平遮光領域が出力する前記画像信号の信号レベルを、前記基準信号の黒レベルとして検出する黒レベル検出部と、
前記スミア波形検出部が前記スミア成分の波形を検出した場合に、前記垂直遮光領域が出力する前記画像信号の信号レベルから前記黒レベルを減じ、前記黒レベルが減じられた前記画像信号の信号レベルが第1の閾値から所定の上限値の範囲内である場合に、前記黒レベルが減じられた前記画像信号から前記スミア成分を取り除いた前記補正信号を出力するコアリング処理部と、を備える
スミア補正回路。 The smear correction circuit according to claim 1.
The correction amount generation unit
A smear waveform detection unit that detects a waveform of the smear component from the image signal output by the vertical light shielding region among the light shielding regions;
A black level detection unit that detects a signal level of the image signal output from a horizontal light-shielding region in which the smear component is not superimposed among the light-shielding regions, as a black level of the reference signal;
When the smear waveform detector detects the waveform of the smear component, the signal level of the image signal with the black level reduced by subtracting the black level from the signal level of the image signal output by the vertical shading region A coring processing unit that outputs the correction signal obtained by removing the smear component from the image signal from which the black level has been reduced when the value is within a predetermined upper limit value range from the first threshold value. Correction circuit.
前記補正量減算部は、
前記画像信号の信号レベルを検出する信号レベル検出部と、
乱数を発生する乱数発生部と、
前記信号レベル検出部が検出した前記信号レベルを、前記乱数発生部から供給される乱数によって変化させて、前記画像信号の補正ゲインを生成する補正ゲイン生成部と、
前記補正量生成部から供給される前記補正信号を補正される画素に対応して記憶する記憶部と、
前記記憶部に記憶された前記補正信号によって補正される画素を、前記乱数発生部から供給される乱数によって変化させて、前記補正信号を読み出す読み出し制御部と、
前記補正ゲイン生成部から供給される前記補正ゲインに、前記読み出し制御部が読み出した前記補正信号を乗じて、前記画像信号の信号レベルを減ずる減算信号を生成する乗算部と、
前記画像信号から前記減算信号を減じた画像信号を出力する減算部と、を備える
スミア補正回路。 The smear correction circuit according to claim 1 or 2,
The correction amount subtraction unit
A signal level detector for detecting a signal level of the image signal;
A random number generator for generating random numbers;
A correction gain generation unit that generates a correction gain of the image signal by changing the signal level detected by the signal level detection unit according to a random number supplied from the random number generation unit;
A storage unit that stores the correction signal supplied from the correction amount generation unit corresponding to the pixel to be corrected;
A read control unit that reads out the correction signal by changing pixels corrected by the correction signal stored in the storage unit according to a random number supplied from the random number generation unit;
A multiplication unit that multiplies the correction gain supplied from the correction gain generation unit by the correction signal read by the read control unit to generate a subtraction signal that reduces the signal level of the image signal;
A smear correction circuit comprising: a subtraction unit that outputs an image signal obtained by subtracting the subtraction signal from the image signal.
前記減算部は、
前記画像信号から前記補正信号を減じた画像信号を生成する減算信号生成部と、
前記画像信号の信号レベルと第2の閾値を比較し、前記画像信号の信号レベルが前記第2の閾値未満である場合に前記画像信号を出力し、前記画像信号の信号レベルが前記第2の閾値を超える場合に前記減算信号生成部から供給される前記画像信号から前記補正信号を減じた画像信号を出力する閾値判定部と、を備える
スミア補正回路。 The smear correction circuit according to claim 3.
The subtraction unit
A subtraction signal generator for generating an image signal obtained by subtracting the correction signal from the image signal;
The signal level of the image signal is compared with a second threshold, and the image signal is output when the signal level of the image signal is less than the second threshold, and the signal level of the image signal is the second threshold A smear correction circuit comprising: a threshold determination unit that outputs an image signal obtained by subtracting the correction signal from the image signal supplied from the subtraction signal generation unit when a threshold value is exceeded.
前記補正量生成部は、
複数フレームにわたって、前記遮光領域に生じた前記スミアの位置を位置情報として登録するスミア位置登録部と、
前記撮像素子及び前記光源の相対位置が変化した場合に、前記スミア位置登録部に登録された前記位置情報に基づいて、前記スミアの傾きを検出し、前記デジタル画像信号から傾きを有するスミアのスミア成分を取り除く前記補正信号を生成するスミア傾き検出部と、を備える
スミア補正回路。 The smear correction circuit according to claim 2,
The correction amount generation unit
A smear position registration unit that registers the position of the smear generated in the light-shielding region as position information over a plurality of frames;
When the relative position of the image sensor and the light source changes, the smear inclination is detected from the digital image signal based on the position information registered in the smear position registration unit and the smear of the smear having the inclination is detected from the digital image signal. A smear inclination detection unit that generates the correction signal for removing a component; and a smear correction circuit.
前記スミア成分が前記画像信号に重畳されている場合に、前記画像信号から前記補正信号を減じて、前記スミア成分が取り除かれた画像信号を出力し、前記スミア成分が前記画像信号に重畳されていない場合に、前記画像信号をそのまま出力するステップと、を含む
スミア補正方法。 The image signal supplied from an imaging device having an incident region for photoelectrically converting light incident from a light source to generate an image signal, and a light-shielding region for generating a reference signal from a dark current generated in a state where the light ray is shielded. The noise superimposed on the image signal is detected by removing the noise superimposed on the image signal by a predetermined filtering process and subtracting the reference signal from the image signal from which the noise is removed. And generating a correction signal for removing the smear component from the image signal;
When the smear component is superimposed on the image signal, the correction signal is subtracted from the image signal to output an image signal with the smear component removed, and the smear component is superimposed on the image signal. And outputting the image signal as it is when there is no smear correction method.
前記撮像素子から供給される前記画像信号及び前記基準信号に対して、前記画像信号に重畳されるノイズを所定のフィルタ処理で取り除き、前記ノイズが取り除かれた前記画像信号から前記基準信号を減ずることによって前記画像信号に重畳されるスミア成分を検出し、前記画像信号から前記スミア成分を取り除くための補正信号を生成する補正量生成部と、
前記スミア成分が前記画像信号に重畳されている場合に、前記画像信号から前記補正信号を減じて、前記スミア成分が取り除かれた画像信号を出力し、前記スミア成分が前記画像信号に重畳されていない場合に、前記画像信号をそのまま出力する補正量減算部と、を備える
撮像装置。 An imaging element having an incident area for photoelectrically converting light incident from a light source to generate an image signal and a light-shielding area for generating a reference signal from a dark current generated in a state where the light ray is shielded;
The noise superimposed on the image signal is removed from the image signal and the reference signal supplied from the image sensor by a predetermined filter process, and the reference signal is subtracted from the image signal from which the noise has been removed. A correction amount generating unit that detects a smear component superimposed on the image signal and generates a correction signal for removing the smear component from the image signal;
When the smear component is superimposed on the image signal, the correction signal is subtracted from the image signal to output an image signal with the smear component removed, and the smear component is superimposed on the image signal. And a correction amount subtraction unit that outputs the image signal as it is when there is no image pickup device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008206231A JP2010045449A (en) | 2008-08-08 | 2008-08-08 | Smear correction circuit, smear correction method, and image device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008206231A JP2010045449A (en) | 2008-08-08 | 2008-08-08 | Smear correction circuit, smear correction method, and image device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010045449A true JP2010045449A (en) | 2010-02-25 |
Family
ID=42016499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008206231A Pending JP2010045449A (en) | 2008-08-08 | 2008-08-08 | Smear correction circuit, smear correction method, and image device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010045449A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009077393A (en) * | 2007-08-31 | 2009-04-09 | Olympus Corp | Noise eliminating device, noise eliminating method, and noise eliminating program |
JP2012512565A (en) * | 2008-12-12 | 2012-05-31 | アナログ ディヴァイスィズ インク | Dithering techniques to reduce inconsistencies in multichannel imaging systems |
CN112911088A (en) * | 2021-02-01 | 2021-06-04 | 重庆大学 | Method for reading region of interest and correcting smear of full-frame CCD detector for CT |
-
2008
- 2008-08-08 JP JP2008206231A patent/JP2010045449A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009077393A (en) * | 2007-08-31 | 2009-04-09 | Olympus Corp | Noise eliminating device, noise eliminating method, and noise eliminating program |
JP2012512565A (en) * | 2008-12-12 | 2012-05-31 | アナログ ディヴァイスィズ インク | Dithering techniques to reduce inconsistencies in multichannel imaging systems |
CN112911088A (en) * | 2021-02-01 | 2021-06-04 | 重庆大学 | Method for reading region of interest and correcting smear of full-frame CCD detector for CT |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7692698B2 (en) | Signal processing apparatus and signal processing method for solid-state image pickup element and image pickup apparatus | |
US7773130B2 (en) | Signal processing apparatus and signal processing method for solid-state image pickup element and image pickup apparatus | |
JP2003204486A (en) | Imaging apparatus | |
JP2006005912A (en) | Imaging device, noise elimination method and noise elimination program | |
JP2008109501A (en) | Imaging device and correcting method | |
JP2008109504A (en) | Imaging device and correcting method | |
JP4856262B2 (en) | Motion detection device and motion detection method | |
JP2010045449A (en) | Smear correction circuit, smear correction method, and image device | |
JP5074564B2 (en) | Imaging apparatus, noise removal method, and noise removal program | |
JP5271201B2 (en) | Image signal processing apparatus and imaging apparatus | |
JP7134786B2 (en) | Imaging device and control method | |
JP2004289241A (en) | Noise eliminator | |
JP2010056817A (en) | Imaging apparatus | |
JP5632703B2 (en) | Image processing apparatus, control method, and program | |
JP2007081453A (en) | Imaging apparatus, signal processing method, and program | |
JP2006135425A (en) | Signal processor and processing method of solid state image sensor and imaging apparatus | |
JP4498086B2 (en) | Image processing apparatus and image processing method | |
JP2006180310A5 (en) | ||
JP5421703B2 (en) | Image signal processing apparatus and imaging apparatus | |
JP3206826U (en) | Image processing device | |
JP2006180310A (en) | Image pickup apparatus and image compositing method | |
JP2006108918A (en) | Imaging apparatus | |
JP2006157341A (en) | Smear correcting method and signal processor for solid-state imaging device, and imaging apparatus | |
JP2006261932A (en) | Solid imaging device, solid imaging system, and black level setting method of solid imaging device | |
JP2001333330A (en) | Image pickup device |