JP2007116335A - Solid-state imaging device - Google Patents

Solid-state imaging device Download PDF

Info

Publication number
JP2007116335A
JP2007116335A JP2005304271A JP2005304271A JP2007116335A JP 2007116335 A JP2007116335 A JP 2007116335A JP 2005304271 A JP2005304271 A JP 2005304271A JP 2005304271 A JP2005304271 A JP 2005304271A JP 2007116335 A JP2007116335 A JP 2007116335A
Authority
JP
Japan
Prior art keywords
smear
line
correction
solid
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2005304271A
Other languages
Japanese (ja)
Inventor
Satoru Wada
和田  哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005304271A priority Critical patent/JP2007116335A/en
Publication of JP2007116335A publication Critical patent/JP2007116335A/en
Abandoned legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To exactly correct even movable smears by correctly detecting the movement of an inclined smear to be generated on an imaging surface due to a moving high-luminance subject. <P>SOLUTION: A motion detector 400 detects the relative motion of the inclined smear 204 to be generated on the imaging surface 200 of a solid-state imaging device against a reference line, and a smear position detector 500 detects the smear position in the reference line. A smear correction signal generator 600 generates the smear correcting signal, and a correcting position calculator 700 specifies the smear correcting position. An adder 702 adds smear correction data having polarity opposite to that of the smear to the data of the pixel to be corrected, and thus, the smear is suppressed. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、動きのある高輝度被写体からの光の入射によって撮像面上に生じる、傾斜したスミアを補正する機能をもつ固体撮像装置に関する。   The present invention relates to a solid-state imaging device having a function of correcting an inclined smear that occurs on an imaging surface due to the incidence of light from a moving high-luminance subject.

固体撮像素子(CCD等)を用いたカメラの撮像面に、例えば、太陽や、夜間の車のライト等のような高輝度被写体からのスポット光が入った場合、垂直転送電荷が過剰となってスミア(画面上に生じる明るい縦の帯)が生じる。特に、携帯電話等に搭載されるカメラ等、メカニカルシャッタを備えていないデジタルカメラではスミアが発生し易く、また、メカニカルシャッタを備えるデジタルカメラであっても、動画撮影モードではメカニカルシャッタが動作しないため、スミアが発生し易くなる。   When spot light from a high-luminance object such as the sun or night car light enters the imaging surface of a camera using a solid-state image sensor (CCD, etc.), the vertical transfer charge becomes excessive. Smear (a bright vertical band on the screen) occurs. In particular, a digital camera that does not include a mechanical shutter, such as a camera mounted on a mobile phone or the like, is prone to smear, and even with a digital camera that includes a mechanical shutter, the mechanical shutter does not operate in the video shooting mode. , Smear is likely to occur.

このスミアを低減するために、固体撮像素子の撮像面の周囲に設けられたオプティカルブラック(光学的黒)領域における水平ラインのレベル(通常は所定範囲の黒レベルとなっている)が局所的に突出してレベルが高くなった部分を検出し、これによって、スミア位置とスミアレベルの情報を得て、有効画素領域における該当位置の画素データを補正する技術が提案されている(例えば、特許文献1参照)。   In order to reduce this smear, the level of the horizontal line in the optical black (optical black) area provided around the imaging surface of the solid-state imaging device (normally a black level within a predetermined range) is locally A technique has been proposed in which a protruding portion with a high level is detected, thereby obtaining smear position and smear level information, and correcting pixel data at the corresponding position in the effective pixel region (for example, Patent Document 1). reference).

オプティカルブラック領域は、黒レベルを規定するための領域であり、光電変換素子(フォトセンサ)を遮光膜で覆った構造をもつ。ただし、有効画素領域において、スミアが発生したときには、そのスミアと同レベルのレベル変動が、そのオプティカルブラック領域のラインデータにも生じる。この点を利用して、スミアの発生位置(垂直方向のどのラインにスミアが発生しているか)と、スミアのレベルと、を検出し、例えば、該当箇所の画素データに逆極性の補正値を加算することによって、スミアを低減可能である。   The optical black region is a region for defining a black level, and has a structure in which a photoelectric conversion element (photosensor) is covered with a light shielding film. However, when smear occurs in the effective pixel area, the same level fluctuation as the smear also occurs in the line data of the optical black area. Using this point, the smear generation position (in which line in the vertical direction the smear is generated) and the smear level are detected, and for example, a correction value of reverse polarity is applied to the pixel data of the corresponding location. By adding, smear can be reduced.

上記特許文献1では、オプティカルブラック領域における水平ラインの画素データにはランダムノイズが重畳していることから、隣接する数ラインにおける、同一の水平位置にある画素のデータ同士を加算して平均化し、ランダムノイズを相殺することによって、スミア補正の精度を向上させている。
特開平7−67038号公報
In Patent Document 1, since random noise is superimposed on the pixel data of the horizontal line in the optical black region, the data of the pixels at the same horizontal position in several adjacent lines are added and averaged, By canceling random noise, the accuracy of smear correction is improved.
JP 7-67038 A

しかしながら、上記特許文献1に記載されるスミア補正技術は、スミア(高輝度の縦の帯)が垂直方向に生じていることを前提としているため、スミアが斜めに生じる場合には適用できない。すなわち、スミアを生じさせる高輝度被写体が非常に高速に動いている場合(例えば、高速走行している自動車のヘッドライトが撮像面に移動しながら入射する場合)には、スミアは、撮像面上で傾斜して生じる場合があり得る。   However, the smear correction technique described in Patent Document 1 is based on the premise that smears (high luminance vertical bands) are generated in the vertical direction, and therefore cannot be applied to cases where smears occur obliquely. That is, when a high-luminance subject that causes smear is moving at a very high speed (for example, when a headlight of an automobile traveling at high speed enters the imaging surface), the smear is on the imaging surface. It may occur with an inclination.

特許文献1の技術では、オプティカルブラック領域の水平ラインに生じるスミアの位置と、有効画素領域の水平ラインにおいて生じるスミアの位置とが一致していることを前提としている。しかし、スミアが傾斜している場合には、オプティカルブラック領域の水平ラインに生じるスミアの位置は、有効画素領域の水平ラインの各々において生じるスミアの位置とは異なっている。したがって、オプティカルブラック領域におけるスミア検出結果に基づいて、有効画素領における、同じ水平位置にある画素に逆極性の補正データを加算したとしても、スミアを打ち消すことはできず、かえって、補正によって画素データが歪み、画質が低下する場合も生じ得る。   The technique of Patent Document 1 is based on the premise that the position of smear that occurs in the horizontal line of the optical black area matches the position of smear that occurs in the horizontal line of the effective pixel area. However, when the smear is inclined, the position of the smear generated in the horizontal line of the optical black area is different from the position of the smear generated in each horizontal line of the effective pixel area. Therefore, based on the smear detection result in the optical black area, even if correction data with reverse polarity is added to pixels in the same horizontal position in the effective pixel area, smear cannot be canceled. May be distorted and image quality may deteriorate.

図8は、スミア補正の課題を説明するための図であり、(a)は画面上でスミアに動きがない場合の撮像面を示す図、(b)はスミアに動きがある場合の撮像面を示す図である。
図8(a),(b)において、固体撮像装置の撮像面100は、有効画素領域102と後垂直オプティカルブラック領域OB1と、前垂直オプティカルブラック領域OB2を有し、各撮像面100には、高輝度被写体からの光による明るい縦の帯が生じる部分であるスミア104a,104bが発生している。
8A and 8B are diagrams for explaining a smear correction problem. FIG. 8A is a diagram illustrating an imaging surface when the smear does not move on the screen, and FIG. 8B is an imaging surface when the smear moves. FIG.
8A and 8B, the imaging surface 100 of the solid-state imaging device has an effective pixel region 102, a rear vertical optical black region OB1, and a front vertical optical black region OB2, and each imaging surface 100 includes Smears 104a and 104b, which are bright vertical bands due to light from a high-luminance subject, are generated.

図8(a)では、スミアは垂直方向に延在するため、スミアの水平位置は、例えば、図中の水平ラインL1,L2のように、どのラインでも同じであるが、(b)の場合、スミアが傾斜しているため、スミアの水平位置は各ラインで異なっている。例えば、水平ラインL1とL2では、スミアの位置がスミアの傾斜角に応じた量だけずれている。したがって、(b)の場合には、水平ライン毎に位置をずらして補正しないと、動きのあるスミアを的確にキャンセルすることはできない。   In FIG. 8A, since the smear extends in the vertical direction, the horizontal position of the smear is the same in any line, for example, the horizontal lines L1 and L2 in the figure, but in the case of (b) Since the smear is inclined, the horizontal position of the smear is different for each line. For example, in the horizontal lines L1 and L2, the smear position is shifted by an amount corresponding to the inclination angle of the smear. Therefore, in the case of (b), a smear with movement cannot be canceled accurately unless the position is shifted and corrected for each horizontal line.

本発明はこのような実情に鑑みてなされたものであり、その目的は、動きのある高輝度被写体に起因して、撮像面上に生じる傾斜したスミアの動きを的確に検出し、動きのあるスミアについても正確なスミア補正を実施可能とすることにある。   The present invention has been made in view of such circumstances, and its purpose is to accurately detect the movement of an inclined smear generated on the imaging surface due to a moving high-luminance subject, and to move the object. It is to enable accurate smear correction for smear.

本発明に係る上記目的は、下記構成により達成される。
(1) 動きのある高輝度被写体からの光の入射によって撮像面上に傾斜して生じるスミアの影響を撮像した画像データに対して補正する固体撮像装置であって、特定の基準ラインにおけるスミアの位置および前記基準ラインから所定ラインだけ離れた他のラインにおけるスミアの位置をそれぞれ検出するスミア位置検出部と、前記基準ラインのスミア位置と前記他のラインのスミア位置との水平方向のずれ量およびそのずれ方向を検出するスミア動き検出部と、前記スミア位置検出部及び前記スミア動き検出部の検出結果および前記基準ラインと前記他のラインとの間のライン間距離に基づいて、前記スミアの傾斜量を求め、該傾斜量から前記撮像面の有効画素領域における各ラインの補正位置をそれぞれ算出する補正位置算出部と、前記有効画素領域の前記補正位置の画像データに対して補正処理を行うスミア補正部と、を有することを特徴とする固体撮像装置。
The above object of the present invention is achieved by the following configuration.
(1) A solid-state imaging device that corrects, for captured image data, the effect of smear that is tilted on the imaging surface due to the incidence of light from a moving, high-luminance subject, and is configured to correct smear on a specific reference line. A smear position detection unit that detects a position and a smear position in another line separated from the reference line by a predetermined line, and a horizontal shift amount between the smear position of the reference line and the smear position of the other line, and Based on the smear motion detection unit that detects the deviation direction, the detection result of the smear position detection unit and the smear motion detection unit, and the inter-line distance between the reference line and the other line, the inclination of the smear A correction position calculation unit that calculates a correction position of each line in the effective pixel area of the imaging surface from the inclination amount; And a smear correction unit that performs correction processing on image data at the correction position in the effective pixel region.

この固体撮像装置によれば、基準ラインにおけるスミア位置を検出し、この基準ラインから所定ラインだけ離れた位置にある他のラインにおけるスミア位置が、基準ラインのスミア位置から水平方向にどれだけずれているか、ならびに、そのずれが左右のいずれの方向に生じているかを検出することによって、基準ラインからみたスミアの相対的な動きを検出し、基準ラインにおけるスミア位置情報と、スミアの相対的な動き情報と、に基づいて(例えば、直角三角形を利用した幾何演算を実施して)、有効画素領域における複数本の水平ラインの各々における補正位置(補正対象の画素の位置)を算出し、その有効画素領域における水平ラインの該当箇所における画素データに対して、スミアを低減するための補正処理を実施することによって、動きのあるスミアについても、的確なスミア補正を実施することが可能となる。   According to this solid-state imaging device, the smear position on the reference line is detected, and the smear position on the other lines that are separated from the reference line by a predetermined line is shifted in the horizontal direction from the smear position of the reference line. And the relative movement of the smear as seen from the reference line is detected by detecting whether the deviation occurs in the left or right direction, and the smear position information on the reference line and the relative movement of the smear are detected. Based on the information (for example, by performing a geometric operation using a right triangle), the correction position (position of the pixel to be corrected) in each of a plurality of horizontal lines in the effective pixel region is calculated and the effective By performing correction processing to reduce smear on the pixel data at the relevant part of the horizontal line in the pixel area. Te, also smear in motion, it becomes possible to carry out accurate smear correction.

(2) (1)記載の固体撮像装置であって、前記スミア位置検出部は、垂直オプティカルブラック領域またはダミー領域における水平ラインを基準ラインとし、該基準ラインにおける局所的に高いレベルとなった第1の部分の位置と、前記基準ラインから所定ラインだけ離れた他のラインにおける局所的に高いレベルとなった第2の部分の位置とを検出することを特徴とする固体撮像装置。 (2) In the solid-state imaging device according to (1), the smear position detection unit uses a horizontal line in a vertical optical black region or a dummy region as a reference line, and is a locally high level in the reference line. 1. A solid-state imaging device, comprising: detecting a position of one portion and a position of a second portion that is locally at a high level in another line separated from the reference line by a predetermined line.

この固体撮像装置によれば、垂直オプティカルブラック領域のラインデータ、あるいは、スミア検出用のダミーラインのラインデータに基づいて、高速かつ正確にスミアの動きを検出することができ、したがって、検出されたスミアの動きに追従した正確なスミア補正を実施することが可能となる。   According to this solid-state imaging device, it is possible to detect the smear movement at high speed and accurately based on the line data of the vertical optical black area or the line data of the dummy line for smear detection. It becomes possible to carry out accurate smear correction following the movement of the smear.

(3) (2)記載の固体撮像装置であって、前記スミア動き検出部は、直前のフレームにおける垂直オプティカルブラック領域またはダミー領域における水平ラインを基準ラインとし、現在のフレームにおける垂直オプティカルブラック領域又はダミー領域における水平ラインを前記他のラインとすることを特徴とする固体撮像装置。 (3) The solid-state imaging device according to (2), wherein the smear motion detection unit uses a vertical optical black region or a dummy region in a previous frame as a reference line, and a vertical optical black region or a current frame in a current frame. A solid-state imaging device, wherein a horizontal line in a dummy area is the other line.

この固体撮像装置によれば、動きのある高輝度被写体が連続するフレームに現れる場合に、直前のフレームにおける垂直オプティカルブラック領域のラインやダミーラインの情報と、現在のフレームにおけるそれらのラインの情報の双方を用いて、スミアの動き検出を行うことができる。直前のフレームの読み出しタイミングと現在のフレームの読み出しタイミングとの間には、読み出し期間(光電変換素子に蓄積された電荷を垂直転送路に転送する期間)が存在するため、その読み出し期間を考慮して、実質的なライン間隔を補正する。この固体撮像装置によれば、実質的なライン間隔を広くとることができるため、スミアの動き量の検出精度が向上する。   According to this solid-state imaging device, when a moving high-luminance subject appears in successive frames, information on the vertical optical black region lines and dummy lines in the immediately preceding frame and information on those lines in the current frame are displayed. Both can be used to detect smear motion. There is a readout period (a period in which the charge accumulated in the photoelectric conversion element is transferred to the vertical transfer path) between the readout timing of the immediately preceding frame and the readout timing of the current frame. Thus, the substantial line interval is corrected. According to this solid-state imaging device, since the substantial line interval can be widened, the detection accuracy of the amount of motion of smear is improved.

(4) (1)〜(3)のいずれか記載の固体撮像装置であって、前記スミア補正部は、前記スミアによる影響を低減するための補正データを、少なくとも前記有効画素領域の前記補正位置の画素データに対して加算することを特徴とする固体撮像装置。 (4) The solid-state imaging device according to any one of (1) to (3), wherein the smear correction unit uses correction data for reducing the influence of the smear as at least the correction position of the effective pixel region. A solid-state imaging device characterized by adding to the pixel data.

この固体撮像装置によれば、有効画素領域における複数の水平ラインの各々において、スミアの動きに追従させて位置をずらしながら補正を行うことができる。すなわち、正確な補正位置(つまり、スミアが実際に生じている画素位置)において、スミアとは逆特性の補正データを加算することができ、したがって、動きのあるスミアを効果的に抑制することができる。   According to this solid-state imaging device, it is possible to perform correction while shifting the position of each of the plurality of horizontal lines in the effective pixel region so as to follow the movement of the smear. That is, correction data having a characteristic opposite to that of smear can be added at an accurate correction position (that is, a pixel position where smear actually occurs), and therefore, smear with movement can be effectively suppressed. it can.

本発明によれば、動きのある高輝度被写体に起因して、撮像面上に生じる傾斜したスミアの動きを正確に検出し、動きのあるスミアについても的確なスミア補正を実施可能とすることが可能となる。   According to the present invention, it is possible to accurately detect the movement of an inclined smear that occurs on the imaging surface due to a moving high-luminance subject, and to perform accurate smear correction even for a moving smear. It becomes possible.

以下、本発明の実施形態について、図面を参照して説明する。
(第1の実施形態)
本実施形態では、動きのある高輝度被写体を撮影した場合等に、図8(b)に示されるような傾斜したスミアが生じた場合、このスミアの位置変化を検出し、検出されたスミアの変化量に応じて、有効画素領域の水平ライン毎に補正位置をずらしながらスミア低減のための補正を実施する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
In the present embodiment, when an inclined smear as shown in FIG. 8B occurs when a high-luminance subject with movement is photographed, the position change of the smear is detected, and the detected smear is detected. Correction for smear reduction is performed while shifting the correction position for each horizontal line of the effective pixel area according to the amount of change.

なお、以下の説明では、「オプティカルブラック」を簡略化して「OB」と呼称し、また、「垂直オプティカルブラック領域における一本の水平ライン」は、単に「垂直OBライン」と呼称することにする。   In the following description, “optical black” is simplified and referred to as “OB”, and “one horizontal line in the vertical optical black region” is simply referred to as “vertical OB line”. .

まず、スミアの動きを検出するための原理を説明する。
図1(a),(b)は各々、スミアの動き検出の原理を説明するための図であり、(a)は、特定の基準ラインにおけるスミア位置に対して、mラインだけ離れた他のラインにおけるスミア位置が左側にずれている場合を示す図、(b)は、右側にずれている場合を示す図である。
First, the principle for detecting smear movement will be described.
FIGS. 1A and 1B are diagrams for explaining the principle of smear motion detection, and FIG. 1A is a diagram showing another smear position on a specific reference line that is separated by m lines. The figure which shows the case where the smear position in a line has shifted | deviated to the left side, (b) is a figure which shows the case where it has shifted | deviated to the right side.

本実施形態では、垂直OB領域における一本の水平ライン、または、黒レベル検出用の一本のダミーラインを、スミアの動き検出のための基準ラインと定める。ここでは、垂直OBラインを基準ラインとして使用する例について説明する。   In the present embodiment, one horizontal line in the vertical OB region or one dummy line for black level detection is defined as a reference line for smear motion detection. Here, an example in which a vertical OB line is used as a reference line will be described.

図1(a)において、垂直OB部におけるL番目のラインが基準ラインとなっており、mラインだけ離れた(L+M)番目のラインが、スミアの動き検出のための他のラインとなっている。ライン間隔は既知であるため、「mライン」だけ離れていることがわかれば、基準ラインと他のラインとの距離(垂直方向の距離)は明確に特定される。あとは、スミアの位置が、両方のライン間で水平方向にどれだけずれているか、かつ、そのずれは左右のいずれに生じているか、がわかれば、基準ラインを起点として、スミアがどの方向に傾斜しているかを特定することができる。   In FIG. 1A, the Lth line in the vertical OB portion is a reference line, and the (L + M) th line separated by m lines is another line for smear motion detection. . Since the line spacing is known, if it is found that the line is separated by “m lines”, the distance between the reference line and other lines (distance in the vertical direction) is clearly specified. After that, if you know how much the smear position is shifted in the horizontal direction between both lines and whether the shift is on the left or right side, you can see in which direction the smear starts from the reference line. It is possible to specify whether the vehicle is inclined.

基準ライン(Lライン)におけるスミア位置は、OBレベルが局所的に突出してレベルが高くなった部分(第1の部分)を検出することによって特定することができる。図1(a)では、時刻t3〜t4が、スミアが生じている期間である。   The smear position on the reference line (L line) can be specified by detecting a portion (first portion) where the OB level protrudes locally and the level becomes high. In FIG. 1A, times t3 to t4 are periods in which smear occurs.

ここで、スミアは電気的なパルスとして示すことができ、スミアの幅(スミアのパルス幅)WTは、ラインデータの転送クロック(読み出しクロック)の数をカウントすることによって、計測することができる。同様に、ラインデータの読み出し開始タイミング(時刻t1)から、スミアが現れるタイミング(時刻t3)までの転送クロック(読み出しクロック)の数をカウントすることによって、スミアの開始位置(PT)を計測することができる。これによって、基準ライン(Lライン)における、スミア位置を特定することができる。   Here, the smear can be shown as an electric pulse, and the smear width (smear pulse width) WT can be measured by counting the number of transfer clocks (read clocks) of line data. Similarly, the smear start position (PT) is measured by counting the number of transfer clocks (read clocks) from the line data read start timing (time t1) to the smear appearance timing (time t3). Can do. Thereby, the smear position in the reference line (L line) can be specified.

基準ライン(Lライン)と、他のライン((L+M)ライン)との間の、スミアの水平方向のずれ量(LT)は、両ラインにおける、スミアを示すパルスのポジティブエッジG2,G1の出現タイミングの時間差を、同じく、転送クロック(読み出しクロック)の数をカウントすることによって、知ることができる。   The amount of horizontal smear displacement (LT) between the reference line (L line) and the other line ((L + M) line) is the appearance of positive edges G2, G1 of the smear-indicating pulses on both lines. Similarly, the timing difference can be determined by counting the number of transfer clocks (read clocks).

また、基準ライン(Lライン)のスミア位置から見て、他のライン((L+M)ライン)におけるスミア位置(第2の部分の位置)が、左側にずれている場合には、他のラインにおける、スミアを示すパルスのポジティブエッジG1の方が先に出現し(時刻t2)、基準ラインにおけるスミアを示すパルスのポジティブエッジG2が遅れて出現する(時刻t3)。したがって、図1(a)のように、時刻t2〜t3の期間においては、他のラインにおけるスミアを示すパルスのレベルが“H”となり、基準ラインにおけるスミアを示すパルスのレベルは“L”である。   Further, when the smear position (the position of the second portion) in the other line ((L + M) line) is shifted to the left side as viewed from the smear position of the reference line (L line), The positive edge G1 of the pulse indicating smear appears earlier (time t2), and the positive edge G2 of the pulse showing smear in the reference line appears later (time t3). Therefore, as shown in FIG. 1A, in the period from time t2 to time t3, the level of the pulse indicating smear in the other line is “H”, and the level of the pulse indicating smear in the reference line is “L”. is there.

一方、基準ライン(Lライン)のスミア位置から見て、他のライン((L+M)ライン)におけるスミア位置が、右側にずれている場合には、図1(b)に示すように、基準ラインにおける、スミアを示すパルスのポジティブエッジG2の方が先に出現し(時刻t5)、他のラインにおけるスミアを示すパルスのポジティブエッジG1が遅れて出現する(時刻t6)。したがって、時刻t2〜t3の期間においては、他のラインにおけるスミアを示すパルスのレベルが“L”であり、基準ラインにおけるスミアを示すパルスのレベルは“H”である。   On the other hand, when the smear position of the other line ((L + M) line) is shifted to the right side as viewed from the smear position of the reference line (L line), as shown in FIG. The positive edge G2 of the pulse indicating smear appears earlier (time t5), and the positive edge G1 of the pulse showing smear in other lines appears later (time t6). Therefore, in the period from time t2 to time t3, the level of the pulse indicating smear in the other line is “L”, and the level of the pulse indicating smear in the reference line is “H”.

したがって、両ラインにおけるスミアを示すパルスのポジティブエッジG1,G2が出現する時点の間の期間t2〜t3,t5〜t6における、各パルスのレベルを検出すれば、スミアのずれが、基準ラインから見て、右側に生じているか左側に生じているかを知ることができる。   Therefore, if the level of each pulse is detected in the period t2 to t3 and t5 to t6 between the time points when the positive edges G1 and G2 of the pulse indicating smear appear in both lines, the smear deviation is seen from the reference line. To see if it occurs on the right or left side.

このように、基準ライン(Lライン)において、スミアを示すパルスの出現位置PTと、パルス幅WTを検出することによって、基準ラインにおけるパルス位置を特定することができる。さらに、基準ラインと他のラインにおけるパルスの水平方向におけるずれ量LTの検出と、各パルスのポジティブエッジG1,G2に挟まれた期間t2〜t3,t5〜t6における各パルスのレベルの組合せを検出することによる、左ずれ,右ずれの判定によって、スミアの傾斜方向、すなわち、図1(a)における矢印R1,図1(b)における矢印R2を特定することが可能となる。   Thus, by detecting the appearance position PT of the pulse indicating smear and the pulse width WT on the reference line (L line), the pulse position on the reference line can be specified. Further, the detection of the amount of deviation LT in the horizontal direction of the pulse in the reference line and other lines, and the combination of the level of each pulse in the periods t2 to t3 and t5 to t6 sandwiched between the positive edges G1 and G2 of each pulse are detected. As a result, it is possible to specify the smear inclination direction, that is, the arrow R1 in FIG. 1A and the arrow R2 in FIG.

次に、有効画素領域における各ラインの補正位置の算出について説明する。
図2は、有効画素領域における各ラインの補正位置の算出方法について説明するための図である。
固体撮像素子の撮像面200は、有効画素領域202と、オプティカルブラック領域OB1とを有する。ここでは、OB1におけるLラインが図1で説明した基準ラインであり、(L+M)ラインが他のラインである。また、L1〜L5は、有効画素領域202における水平ラインを示している。
Next, calculation of the correction position of each line in the effective pixel area will be described.
FIG. 2 is a diagram for explaining a method for calculating the correction position of each line in the effective pixel region.
The imaging surface 200 of the solid-state imaging device has an effective pixel area 202 and an optical black area OB1. Here, the L line in OB1 is the reference line described in FIG. 1, and the (L + M) line is another line. L1 to L5 indicate horizontal lines in the effective pixel region 202.

図2に示されるように、後オプティカルブラック領域(OB1)には例えば4本の水平ラインがあり、Lラインを基準ラインとし、(L+M)ラインを他のラインとする。そして、図1を用いて説明したように、スミアの開始位置PT,スミアの幅WT,スミアの水平方向のずれ量LTの各値と、スミアの左右へのずれを検出することによって、スミアの傾斜量を知ることができる。   As shown in FIG. 2, there are, for example, four horizontal lines in the rear optical black region (OB1). The L line is used as a reference line, and the (L + M) line is used as another line. As described with reference to FIG. 1, by detecting each value of the smear start position PT, the smear width WT, the smear horizontal shift amount LT, and the smear shift left and right, The amount of inclination can be known.

そして、基準ライン(Lライン)のポジティブエッジを起点として、スミアの傾斜方向に向けて線分Q3を描き、その線分Q3が、有効画素領域における各水平ラインL1〜L5と交わる点(S1〜S5)が、各水平ラインにおけるスミア補正の開始点である。   Then, starting from the positive edge of the reference line (L line), a line segment Q3 is drawn in the smear inclination direction, and the line segment Q3 intersects with each horizontal line L1 to L5 in the effective pixel region (S1 to S1). S5) is a starting point of smear correction in each horizontal line.

同様に、基準ライン(Lライン)のネガティブエッジ(立ち下がりの位置)を起点として、スミアの傾斜方向に向けて線分Q4を描き、その線分Q4が、有効画素領域における各水平ラインL1〜L5と交わる点(E1〜E5)が、各水平ラインにおけるスミア補正の終了点である。つまり、各水平ラインにおいて、スミア補正開始点(S1〜S5)と、スミア補正終了点(E1〜E5)によって挟まれた部分の画素が、スミアの発生領域であり、スミア補正の対象画素となる。   Similarly, starting from the negative edge (falling position) of the reference line (L line), a line segment Q4 is drawn in the direction of smear inclination, and the line segment Q4 corresponds to each horizontal line L1 to L1 in the effective pixel region. Points (E1 to E5) intersecting with L5 are the end points of smear correction in each horizontal line. That is, in each horizontal line, a pixel between the smear correction start point (S1 to S5) and the smear correction end point (E1 to E5) is a smear generation region and is a target pixel for smear correction. .

このように、簡単な幾何演算によって、有効画素領域202における、各水平ラインにおける補正位置(補正対象画素)を算出することができる。   Thus, the correction position (correction target pixel) in each horizontal line in the effective pixel region 202 can be calculated by a simple geometric operation.

次に、スミア補正を行うために必要な、基準ラインにおけるスミア開始位置PT,基準ラインにおけるスミアを示すパルスの幅WT,基準ラインと他のラインにおけるスミアの水平方向のずれ量LTの各値と、左右ずれの検出信号、ならびに、スミアを補正するための補正値(スミア補正信号)を生成するための回路構成について説明する。   Next, each value of the smear start position PT on the reference line, the pulse width WT indicating smear on the reference line, and the horizontal deviation amount LT of the smear on the reference line and other lines, which are necessary to perform smear correction, Next, a description will be given of a circuit configuration for generating a left / right deviation detection signal and a correction value (smear correction signal) for correcting smear.

図3は、スミア補正を行うために必要なデータや補正信号を生成するための回路構成の一例としての原理的構成を示すブロック図である。図3において、図2と共通する部分には同一の参照符号を付してある。   FIG. 3 is a block diagram showing a principle configuration as an example of a circuit configuration for generating data and a correction signal necessary for performing smear correction. In FIG. 3, the same reference numerals are given to the portions common to FIG.

参照符号206は、高速に動く高輝度被写体であり、この高輝度被写体206からのスポット光により、固体撮像装置の撮像面200上に、明るい縦の帯であるスミア204が発生する。このスミア204は、高輝度被写体206が高速に動いていることに起因して、撮像面200上において傾斜して形成される。   Reference numeral 206 denotes a high-brightness subject that moves at high speed, and the spot light from the high-brightness subject 206 generates a smear 204 that is a bright vertical band on the imaging surface 200 of the solid-state imaging device. The smear 204 is formed to be inclined on the imaging surface 200 due to the high brightness subject 206 moving at high speed.

図3の回路では、撮像面の前端ならびに後端に設けられた前オプティカルブラック領域OB2,後オプティカルブラック領域OB1に、ある所定距離だけ離れた少なくとも2本の水平ライン(一方が「基準ライン」で、他方がスミアの動き検出のための「他のライン」となる)の画素データを用いて、スミア補正に必要な基礎データと補正信号を生成する。   In the circuit of FIG. 3, at least two horizontal lines (one is a “reference line”) separated by a predetermined distance from the front optical black region OB2 and the rear optical black region OB1 provided at the front end and rear end of the imaging surface. The other data is “other line” for detecting smear motion), and basic data and correction signals necessary for smear correction are generated.

図3の回路は、ラインデータを水平転送する水平CCD(HCCD)208と、出力アンプ210と、A/D変換器212と、ラインデータに重畳しているランダムノイズを相殺するための平均化処理を実施する平均化部250と、ラインデータの中からスミアが生じている部分を抽出する抽出回路300と、スミアの動きを検出するスミア動き検出部400と、基準ラインにおけるスミア位置を検出するスミア位置検出回路500と、転送クロック(読み出しクロック)CKを入力するためのクロック入力端子503と、スミア補正信号Jを生成するスミア補正信号生成部600とを有する。   3 includes a horizontal CCD (HCCD) 208 that horizontally transfers line data, an output amplifier 210, an A / D converter 212, and an averaging process for canceling random noise superimposed on the line data. , An extraction circuit 300 for extracting a smeared portion from the line data, a smear motion detection unit 400 for detecting smear motion, and a smear for detecting a smear position on the reference line The position detection circuit 500 includes a clock input terminal 503 for inputting a transfer clock (reading clock) CK, and a smear correction signal generation unit 600 that generates a smear correction signal J.

平均化部250は、複数のラインの、同一の水平位置にある画素のデータ同士を加算する加算部213と、加算したデータを一時的に蓄積するラインメモリ215と、加算したライン数で除算して画素データを平均化する平均化処理部217とを含む。抽出回路300は、しきい値電圧を発生させる基準電圧源Vrefと、比較器OPとを含み、しきい値を超えて突出した部分を抽出する機能をもつ。スミア動き検出部400は、スイッチSWと、ラインメモリLM2,LM3と、カウンタ402と、アンドゲートAND1,AND2と、を含む。スミア位置検出回路500は、カウンタ502,504を含む。スミア補正信号生成部600は、レベル調整部550と、インバータINVと、を含む。   The averaging unit 250 divides by an addition unit 213 that adds pixel data of a plurality of lines at the same horizontal position, a line memory 215 that temporarily stores the added data, and the number of added lines. And an averaging processing unit 217 for averaging the pixel data. The extraction circuit 300 includes a reference voltage source Vref for generating a threshold voltage and a comparator OP, and has a function of extracting a portion protruding beyond the threshold. The smear motion detection unit 400 includes a switch SW, line memories LM2 and LM3, a counter 402, and AND gates AND1 and AND2. The smear position detection circuit 500 includes counters 502 and 504. The smear correction signal generation unit 600 includes a level adjustment unit 550 and an inverter INV.

スミア動き検出部400のラインメモリLM1,LM2には、「基準ライン」ならびに「他のライン」に対応する、平均化されたラインデータが一時的に蓄積される。   In the line memories LM1 and LM2 of the smear motion detection unit 400, averaged line data corresponding to “reference line” and “other lines” is temporarily stored.

カウンタ402は、ラインメモリLM2,LM3に蓄積されているラインデータの内の、先に入力されるポジティブエッジで、転送クロック(読み出しクロック)CKのカウントを開始し、その後に入力されるポジティブエッジで、カウントを終了する。このとき出力されるカウント値が、すなわち、「基準ライン」ならびに「他のライン」におけるスミア位置の水平方向のずれ量(LT)を示すデータとなる。   The counter 402 starts counting the transfer clock (read clock) CK at the positive edge input first in the line data stored in the line memories LM2 and LM3, and at the positive edge input thereafter. , End the count. The count value output at this time is data indicating the horizontal displacement (LT) of the smear position in the “reference line” and the “other lines”.

また、2つのアンドゲートAND1,AND2は、入力端子の一方にインバータが配置されたアンドゲートであり、アンドゲートAND1から出力パルスQ1が出力されるときは、「基準ライン」から「他のライン」を見た場合に、スミアが左側にずれており、アンドゲートAND2から出力パルスQ2が出力されるときは、「基準ライン」から「他のライン」を見た場合に、スミアが右側にずれている。   The two AND gates AND1 and AND2 are AND gates having an inverter arranged at one of the input terminals. When the output pulse Q1 is output from the AND gate AND1, the "reference line" to the "other line" If the smear is shifted to the left side and the output pulse Q2 is output from the AND gate AND2, the smear is shifted to the right side when viewing the "other line" from the "reference line". Yes.

この点を、図4を用いて説明する。図4(a),(b)は各々、スミアが左右のいずれにずれているかを示す信号Q1,Q2が生成される様子を示すタイミングチャートである。図4(a)は、「基準ライン」から「他のライン」を見た場合に、スミアが左側にずれている場合の波形図であり、(b)は、「基準ライン」から「他のライン」を見た場合に、スミアが右側にずれている場合の波形図を示す。図中、LMS2は、ラインメモリLM2に蓄積されている「他のライン」のラインデータであり、LMS3は、ラインメモリLM3に蓄積されている「基準ライン」のラインデータである。また、Q1,Q2は各々、アンドゲートAND1,AND2から出力される検出パルス(スミアが左にずれているか、右にずれているかを示す信号)である。   This point will be described with reference to FIG. FIGS. 4A and 4B are timing charts showing how signals Q1 and Q2 indicating whether the smear is shifted to the left or right are generated. FIG. 4A is a waveform diagram in the case where the smear is shifted to the left side when viewing the “other line” from the “reference line”, and FIG. A waveform diagram in the case where the smear is shifted to the right side when the line is viewed is shown. In the figure, LMS2 is line data of “other line” stored in the line memory LM2, and LMS3 is line data of “reference line” stored in the line memory LM3. Q1 and Q2 are detection pulses (signals indicating whether the smear is shifted to the left or the right) output from the AND gates AND1 and AND2, respectively.

図4(a)に示されるように、「基準ライン」から「他のライン」を見て、スミアが左側にずれている場合には、時刻t10〜t11の期間において、LMS2が“H”レベルとなり、LMS3が“L”レベルとなり、この結果、パルスQ1が出力される。一方、図4(b)に示されるように、「基準ライン」から「他のライン」を見て、スミアが右側にずれている場合には、時刻t10〜t11の期間において、LMS2が“L”レベルとなり、LMS3が“H”レベルとなり、この結果、パルスQ2が出力される。   As shown in FIG. 4A, when the smear is shifted to the left side as seen from the “reference line” to the “other line”, the LMS2 is at the “H” level during the period of time t10 to t11. Thus, the LMS3 becomes “L” level, and as a result, the pulse Q1 is output. On the other hand, as shown in FIG. 4B, when the smear is shifted to the right side when the “other line” is viewed from the “reference line”, the LMS2 is set to “L” during the period of time t10 to t11. "L" and LMS3 becomes "H" level. As a result, pulse Q2 is output.

また、図3のスミア位置検出部500におけるカウンタ502は、基準ラインのラインデータを蓄積するラインメモリLM3の出力端に接続されており、そして、転送クロックCKの入力と共にカウントを開始し、ラインメモリLM3からポジティブエッジが出力された時点でカウントを終了する。このカウント値が、基準ラインにおけるスミアの開始位置を示す信号PTとなる。   Further, the counter 502 in the smear position detection unit 500 of FIG. 3 is connected to the output terminal of the line memory LM3 that accumulates the line data of the reference line, and starts counting together with the input of the transfer clock CK. When the positive edge is output from LM3, the count is finished. This count value becomes a signal PT indicating the smear start position in the reference line.

また、カウンタ504は、ラインメモリLM3からポジティブエッジが出力された時点から、ネガティブエッジが出力されるまでの転送クロックCKの数をカウントする。このカウント値が、基準ラインにおける、スミアを示すパルスのパルス幅の検出値Wとなる。   The counter 504 counts the number of transfer clocks CK from when the positive edge is output from the line memory LM3 to when the negative edge is output. This count value becomes the detected value W of the pulse width of the pulse indicating smear in the reference line.

また、図4のスミア補正信号生成部600におけるレベル調整部550は、比較器OPの出力信号を基にして、ピークリミット処理や係数演算等を行って補正信号の振幅(値)を最適化し、インバータINVによって極性を反転して出力することによって、スミア補正信号Jを生成する。   Further, the level adjustment unit 550 in the smear correction signal generation unit 600 of FIG. 4 optimizes the amplitude (value) of the correction signal by performing peak limit processing, coefficient calculation, and the like based on the output signal of the comparator OP. The smear correction signal J is generated by inverting and outputting the polarity by the inverter INV.

このように、図3の回路によって、スミア補正を行うために必要なデータや補正信号を生成することができる。   As described above, the data and correction signal necessary for performing smear correction can be generated by the circuit of FIG.

次に、スミアの動きを検出して補正する機能をもつ固体撮像装置の全体の構成について説明する。
図5は、スミアの動きを検出して補正する機能をもつ固体撮像装置の全体の構成を示す図である。図5において、図4と共通する部分には同じ参照符号を付してある。
Next, the overall configuration of the solid-state imaging device having a function of detecting and correcting smear movement will be described.
FIG. 5 is a diagram illustrating an overall configuration of a solid-state imaging device having a function of detecting and correcting smear movement. In FIG. 5, the same reference numerals are given to portions common to FIG. 4.

図5の固体撮像装置は、図4の回路に、さらに、補正位置算出部700と、アンドゲートAND3と、加算器702(スミア補正を実施するスミア補正部として機能する)と、を追加して構成されている。   The solid-state imaging device of FIG. 5 further includes a correction position calculation unit 700, an AND gate AND3, and an adder 702 (functioning as a smear correction unit that performs smear correction) added to the circuit of FIG. It is configured.

補正位置算出部700は、動き検出部400から出力されるLT,Q1,Q2の各データ、ならびに、スミア位置検出部500から出力されるPT,Wの各データに基づき、図2で説明した方法によって、有効画素領域202における各水平ラインにおける補正位置を算出する。   The correction position calculation unit 700 is based on the LT, Q1, and Q2 data output from the motion detection unit 400 and the PT and W data output from the smear position detection unit 500, and the method described in FIG. Thus, the correction position in each horizontal line in the effective pixel region 202 is calculated.

そして、画素データの転送が開始されると、転送クロックCKをカウントし、有効画素領域202における補正すべき画素データが、平均化処理部250から出力されるタイミングにおいて、補正指示信号F1を“L”から“H”に変化させる。   When the transfer of the pixel data is started, the transfer clock CK is counted, and the correction instruction signal F1 is set to “L” at the timing when the pixel data to be corrected in the effective pixel region 202 is output from the averaging processing unit 250. "" To "H".

補正指示信号F1が“H”レベルになることによって、スミア補正信号生成部600から出力されるスミア補正信号(レベルが最適化された、スミアとは逆極性の補正データ)JがアンドゲートAND3からそのまま出力される。ここで、アンドゲートAND3から出力されるスミア補正信号をF3とする。   When the correction instruction signal F1 becomes the “H” level, the smear correction signal (correction data having a level opposite to that of smear) J output from the smear correction signal generation unit 600 is output from the AND gate AND3. Output as is. Here, the smear correction signal output from the AND gate AND3 is F3.

このスミア補正信号F3は、加算器702において、平均化処理部250から出力された補正対象の画素のデータに加えられ、これにより、スミアが打ち消された補正後の画素データが得られる。   The smear correction signal F3 is added to the correction target pixel data output from the averaging processing unit 250 in the adder 702, thereby obtaining corrected pixel data in which the smear is canceled.

以上の説明では、オプティカルブラック(OB)領域におけるラインデータを用いて、スミアの動きやスミア位置等を検出したが、OB部の最外周に設けられているダミーライン等のラインデータを用いて検出してもよい。   In the above description, the smear movement and smear position are detected using line data in the optical black (OB) area, but are detected using line data such as a dummy line provided on the outermost periphery of the OB portion. May be.

また、平均化部250における平均化処理は、ラインデータに重畳するランダムノイズを相殺して、スミア補正の精度を向上させる効果があり、実施することが望ましいが、必須ではない。   In addition, the averaging process in the averaging unit 250 has the effect of offsetting random noise superimposed on the line data and improving the accuracy of smear correction.

(第2の実施形態)
本実施形態では、リアルタイムでスミアの動きを検出する際に、動きのある高輝度被写体が連続するフレームに現れる場合には、直前のフレームにおける垂直オプティカルブラック領域のラインやダミーラインの情報と、現在のフレームにおけるそれらのラインの情報の双方を用いて、スミアの動き検出を行う例について説明する。
(Second Embodiment)
In this embodiment, when detecting a smear movement in real time, if a moving high-luminance subject appears in a continuous frame, information on the vertical optical black area line or dummy line in the immediately preceding frame, and the current An example of performing smear motion detection using both of the information of these lines in the frame will be described.

複数のフレームメモリを使用せずに、垂直オプティカルブラック領域のラインやダミーラインのラインデータを複数本用いて、リアルタイムでスミアの動きを検出することも可能であるが、この場合、各ライン間における時間幅が短いため、スミアの移動量が微少となり、動き検出の精度が低下する場合もあり得る。   It is also possible to detect smear movement in real time using multiple lines of vertical optical black area lines and dummy lines without using multiple frame memories. Since the time width is short, the amount of smear movement is very small, and the accuracy of motion detection may be reduced.

そこで、本実施形態は、動きのある高輝度被写体が連続するフレームに現れる場合には、直前のフレームにおける垂直オプティカルブラック領域のラインやダミーラインの情報と、現在のフレームにおけるそれらのラインの情報の双方を用いて、スミアの動き検出を行うようにした。   Therefore, in the present embodiment, when a moving high-luminance subject appears in successive frames, information on the lines and dummy lines in the vertical optical black area in the previous frame and information on those lines in the current frame are displayed. Both were used to detect smear motion.

図6は、直前のフレームにおける垂直オプティカルブラック領域のラインやダミーラインの情報と、現在のフレームにおけるそれらのラインの情報の双方を用いて、スミアの動き検出を行う場合のスミア補正処理について説明するための図である。
図6では、動きのある高輝度被写体206が、直前のフレーム200aと現在のフレーム200bの双方に現れ、その結果、スミア204が両フレームにおいて連続して生じている。
FIG. 6 illustrates a smear correction process in the case of performing smear motion detection using both the information of the lines and dummy lines in the vertical optical black area in the immediately preceding frame and the information of those lines in the current frame. FIG.
In FIG. 6, a moving high-intensity subject 206 appears in both the immediately preceding frame 200a and the current frame 200b, and as a result, smear 204 occurs continuously in both frames.

現在のフレーム200bについて、スミア補正を行う場合を想定し、このとき、その現在のフレーム200bにおけるOB1のラインデータのみでスミア補正のためのために必要なデータやスミア補正データを得ることも可能であるが、各ライン間の時間が短いため、補正精度が低下する。   It is assumed that smear correction is performed for the current frame 200b. At this time, it is also possible to obtain data and smear correction data necessary for smear correction using only the line data of OB1 in the current frame 200b. However, since the time between each line is short, the correction accuracy decreases.

そこで、直前のフレーム200aにおけるOB2のラインデータも併用して、スミア補正のためのために必要なデータやスミア補正データを得るようにする。これにより、実質的なライン間隔を広くとることができるため、スミアの動き量の検出精度が向上し、その結果、スミア補正の精度が向上する。   Therefore, the OB2 line data in the immediately preceding frame 200a is also used together to obtain data necessary for smear correction and smear correction data. Thereby, since a substantial line interval can be taken, the detection accuracy of the amount of motion of smear is improved, and as a result, the accuracy of smear correction is improved.

ただし、直前のフレーム200aの読み出しタイミングと、現在のフレーム200bの読み出しタイミングとの間には、読み出し期間(光電変換素子に蓄積された電荷を垂直転送路に転送する期間)XTが存在するため、その読み出し期間XTを考慮して、実質的なライン間隔を補正する。   However, since there is a readout period (a period in which the charge accumulated in the photoelectric conversion elements is transferred to the vertical transfer path) XT between the readout timing of the immediately preceding frame 200a and the readout timing of the current frame 200b, Considering the readout period XT, the substantial line interval is corrected.

すなわち、直前のフレーム200aのOB2における「基準ライン」と、現在のフレーム200bのOB1における「他のライン」との間のライン間隔を、以下のように補正する。
(ライン間隔)=実際のライン間隔+読み出し間隔XTに相当するライン数分のライン間隔
That is, the line interval between the “reference line” in OB2 of the immediately preceding frame 200a and the “other line” in OB1 of the current frame 200b is corrected as follows.
(Line interval) = actual line interval + line interval corresponding to the number of lines corresponding to the read interval XT

このようにして、実質的なライン間隔を広くとることによって、スミアの動き量の検出精度(スミア補正の精度)を向上させることができる。   In this way, the detection accuracy of the amount of smear movement (the accuracy of smear correction) can be improved by widening the substantial line interval.

次に、上記の各実施形態により検出されたスミアの動きに対して、有効画素領域の画素信号を補正するフィルタリング補正処理について説明する。
図7は、スミアを低減するための補正処理として、フィルタリング処理を行う固体撮像装置の要部構成を示す図である。図7において、前掲の図面と共通する部分には同じ参照符号を付してある。
Next, a filtering correction process for correcting the pixel signal in the effective pixel area with respect to the smear movement detected by each of the above embodiments will be described.
FIG. 7 is a diagram illustrating a main configuration of a solid-state imaging device that performs a filtering process as a correction process for reducing smear. In FIG. 7, the same reference numerals are given to the portions common to the above-mentioned drawings.

図7の固体撮像装置におけるスミア補正のための主要な構成は、図5の固体撮像装置とほぼ同じであるが、図7の固体撮像装置では、補正値を加算するのではなく、隣接する画素データを用いてフィルタリング処理(補間処理や平均化処理等)を実施するため、そのフィルタリング処理を実施する部分が異なっている。   The main configuration for smear correction in the solid-state imaging device of FIG. 7 is almost the same as that of the solid-state imaging device of FIG. 5, but in the solid-state imaging device of FIG. Since filtering processing (interpolation processing, averaging processing, etc.) is performed using data, the portion for performing the filtering processing is different.

すなわち、図7の固体撮像装置では、フィルタリング処理を実施するために、ラインメモリ704と、フィルタリング処理部800と、が設けられている。
図5の固体撮像装置と同様に、補正位置算出部700は、補正対象の画素を指定する信号F1を出力する。フィルタリング処理部800は、信号F1を受けると、ラインメモリ704から出力されるデータのうち、前述の各実施形態で求められるスミア補正信号を利用して、所定の補間演算式に基づく補間演算や加算平均化処理等を実施する。これによって、スミアが目立たなくなり、スミアを低減することができる。
That is, in the solid-state imaging device of FIG. 7, a line memory 704 and a filtering processing unit 800 are provided in order to perform filtering processing.
Similar to the solid-state imaging device of FIG. 5, the correction position calculation unit 700 outputs a signal F <b> 1 that specifies a pixel to be corrected. Upon receiving the signal F1, the filtering processing unit 800 uses the smear correction signal obtained in each of the above-described embodiments, among the data output from the line memory 704, to perform interpolation calculation or addition based on a predetermined interpolation calculation formula. Averaging processing is performed. As a result, the smear becomes inconspicuous and the smear can be reduced.

このように、本発明によれば、動きのある高輝度被写体に起因して、撮像面上に生じる傾斜したスミアの動きを正確に検出することができ、これによって、動きのあるスミアについても的確なスミア補正を実施可能とすることが可能となる。   As described above, according to the present invention, it is possible to accurately detect the movement of the inclined smear generated on the imaging surface due to the moving high-luminance subject, and thus it is possible to accurately detect the moving smear. It becomes possible to perform accurate smear correction.

(a),(b)は各々、スミアの動き検出の原理を説明するための図であり、(a)は、基準ラインにおけるスミア位置に対して、mラインだけ離れた他のラインにおけるスミア位置が左側にずれている場合を示す図、(b)は、右側にずれている場合を示す図である。(A), (b) is a figure for demonstrating the principle of a smear motion detection, respectively, (a) is the smear position in the other line which is only m lines away from the smear position in a reference line. The figure which shows the case where has shifted | deviated to the left side, (b) is a figure which shows the case where it has shifted | deviated to the right side. 有効画素領域における各ラインの補正位置の算出方法について説明するための図である。It is a figure for demonstrating the calculation method of the correction position of each line in an effective pixel area | region. スミア補正を行うために必要なデータや補正信号を生成するための回路構成の一例としての原理的構成を示すブロック図である。It is a block diagram which shows the principle structure as an example of the circuit structure for producing | generating the data required in order to perform smear correction | amendment, and a correction signal. (a),(b)は各々、スミアが左右のいずれにずれているかを示す信号Q1,Q2が生成される様子を示す波形図であり、(a)は、「基準ライン」から「他のライン」を見た場合に、スミアが左側にずれている場合の波形図であり、(b)は、「基準ライン」から「他のライン」を見た場合に、スミアが右側にずれている場合のタイミングチャートである。(A), (b) is a wave form diagram which shows a mode that signals Q1 and Q2 which show whether smear has shifted to right and left, respectively, (a) is "other lines" from "reference line" (B) is a waveform diagram when smear is shifted to the left side when looking at “line”, and (b) is when smear is shifted to the right side when looking at “other line” from “reference line” It is a timing chart in the case. スミアの動きを検出して補正する機能をもつ固体撮像装置の全体の構成を示す図である。It is a figure which shows the whole structure of the solid-state imaging device which has a function which detects and correct | amends a motion of smear. 直前のフレームにおける垂直オプティカルブラック領域のラインやダミーラインの情報と、現在のフレームにおけるそれらのラインの情報の双方を用いて、スミアの動き検出を行う場合のスミア補正処理について説明するための図である。It is a figure for demonstrating the smear correction | amendment process in the case of performing a smear motion detection using both the information of the line of the vertical optical black area | region in the immediately previous flame | frame, the information of the dummy line, and the information of those lines in the present flame | frame. is there. スミアを低減するための補正処理として、フィルタリング処理を行う固体撮像装置の要部構成を示す図である。It is a figure which shows the principal part structure of the solid-state imaging device which performs a filtering process as a correction process for reducing a smear. スミア補正の課題を説明するための図であり、(a)は、画面上でスミアに動きがない場合の撮像面を示す図、(b)は、スミアに動きがある場合の撮像面を示す図である。It is a figure for demonstrating the subject of a smear correction | amendment, (a) is a figure which shows the imaging surface when a smear does not move on a screen, (b) shows an imaging surface when a smear has a motion FIG.

符号の説明Explanation of symbols

200 固体撮像装置の撮像面
204 スミア
206 高速に動く高輝度被写体
OB1 前垂直オプティカルブラック領域
OB2,後垂直オプティカルブラック領域
208 水平CCD(HCCD)
210 出力アンプ
212 A/D変換器
213 加算部
215 ラインメモリ
217 平均化処理部
250 平均化部
300 スミア抽出回路
Vref しきい値電圧発生用の基準電圧源
OP 比較器
400 スミア動き検出部
SW 切り換えスイッチ
LM2,LM3 ラインメモリ
402 カウンタ
AND1〜AND3 アンドゲート(アンド回路)
500 スミア位置検出回路
502,504 カウンタ
503 転送クロック(読み出しクロック)入力端子
550 レベル調整部
600 スミア補正信号生成部
700 補正位置算出部
702 加算器(スミア補正データを加算するスミア補正部に相当)
704 ラインメモリ
800 フィルタリング処理
INV インバータ
F1 補正指示信号(補正対象の画素の指定信号)
200 Imaging surface of solid-state imaging device 204 Smear 206 High-brightness object moving at high speed OB1 Front vertical optical black area OB2, Rear vertical optical black area 208 Horizontal CCD (HCCD)
210 Output Amplifier 212 A / D Converter 213 Adder 215 Line Memory 217 Averaging Processor 250 Averaging Unit 300 Smear Extraction Circuit Vref Reference Voltage Source for Threshold Voltage Generation OP Comparator 400 Smear Motion Detector SW Switch LM2, LM3 Line memory 402 Counter AND1-AND3 AND gate (AND circuit)
500 Smear position detection circuit 502, 504 Counter 503 Transfer clock (read clock) input terminal 550 Level adjustment unit 600 Smear correction signal generation unit 700 Correction position calculation unit 702 Adder (corresponding to a smear correction unit that adds smear correction data)
704 Line memory 800 Filtering process INV Inverter F1 Correction instruction signal (specification signal of pixel to be corrected)

Claims (4)

動きのある高輝度被写体からの光の入射によって撮像面上に傾斜して生じるスミアの影響を撮像した画像データに対して補正する固体撮像装置であって、
特定の基準ラインにおけるスミアの位置および前記基準ラインから所定ラインだけ離れた他のラインにおけるスミアの位置をそれぞれ検出するスミア位置検出部と、
前記基準ラインのスミア位置と前記他のラインのスミア位置との水平方向のずれ量およびそのずれ方向を検出するスミア動き検出部と、
前記スミア位置検出部及び前記スミア動き検出部の検出結果および前記基準ラインと前記他のラインとの間のライン間距離に基づいて、前記スミアの傾斜量を求め、該傾斜量から前記撮像面の有効画素領域における各ラインの補正位置をそれぞれ算出する補正位置算出部と、
前記有効画素領域の前記補正位置の画像データに対して補正処理を行うスミア補正部と、
を有することを特徴とする固体撮像装置。
A solid-state imaging device that corrects the influence of smear generated by tilting on the imaging surface due to the incidence of light from a moving, high-luminance subject, with respect to the captured image data,
A smear position detection unit that detects a smear position on a specific reference line and a smear position on another line separated from the reference line by a predetermined line;
A smear motion detection unit for detecting a horizontal shift amount and a shift direction between the smear position of the reference line and the smear position of the other line;
Based on the detection result of the smear position detection unit and the smear motion detection unit and the inter-line distance between the reference line and the other line, an inclination amount of the smear is obtained, and the imaging surface A correction position calculation unit for calculating the correction position of each line in the effective pixel region;
A smear correction unit that performs correction processing on image data at the correction position in the effective pixel region;
A solid-state imaging device.
請求項1記載の固体撮像装置であって、
前記スミア位置検出部は、垂直オプティカルブラック領域またはダミー領域における水平ラインを基準ラインとし、該基準ラインにおける局所的に高いレベルとなった第1の部分の位置と、前記基準ラインから所定ラインだけ離れた他のラインにおける局所的に高いレベルとなった第2の部分の位置とを検出することを特徴とする固体撮像装置。
The solid-state imaging device according to claim 1,
The smear position detection unit uses a horizontal line in a vertical optical black area or a dummy area as a reference line, and is separated from the reference line by a predetermined line from the position of the first portion at a locally high level in the reference line. A solid-state imaging device that detects a position of a second portion that is locally high in another line.
請求項2記載の固体撮像装置であって、
前記スミア動き検出部は、直前のフレームにおける垂直オプティカルブラック領域またはダミー領域における水平ラインを基準ラインとし、現在のフレームにおける垂直オプティカルブラック領域又はダミー領域における水平ラインを前記他のラインとすることを特徴とする固体撮像装置。
The solid-state imaging device according to claim 2,
The smear motion detection unit uses a horizontal line in a vertical optical black area or a dummy area in a previous frame as a reference line, and a horizontal line in a vertical optical black area or a dummy area in a current frame as the other line. A solid-state imaging device.
請求項1〜請求項3のいずれか記載の固体撮像装置であって、
前記スミア補正部は、前記スミアによる影響を低減するための補正データを、少なくとも前記有効画素領域の前記補正位置の画素データに対して加算することを特徴とする固体撮像装置。
The solid-state imaging device according to any one of claims 1 to 3,
The smear correction unit adds correction data for reducing the effect of smear to at least pixel data at the correction position in the effective pixel region.
JP2005304271A 2005-10-19 2005-10-19 Solid-state imaging device Abandoned JP2007116335A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005304271A JP2007116335A (en) 2005-10-19 2005-10-19 Solid-state imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005304271A JP2007116335A (en) 2005-10-19 2005-10-19 Solid-state imaging device

Publications (1)

Publication Number Publication Date
JP2007116335A true JP2007116335A (en) 2007-05-10

Family

ID=38098143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005304271A Abandoned JP2007116335A (en) 2005-10-19 2005-10-19 Solid-state imaging device

Country Status (1)

Country Link
JP (1) JP2007116335A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093389A (en) * 2008-10-03 2010-04-22 Canon Inc Apparatus and method for processing signal and imaging apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03241981A (en) * 1990-02-19 1991-10-29 Nec Corp Smear compensation method for solid-state image pickup element
JPH06268922A (en) * 1993-03-11 1994-09-22 Toshiba Corp Smear correction device
JPH08251491A (en) * 1995-03-10 1996-09-27 Nec Corp Solid-state image pickup device
JPH11177888A (en) * 1997-12-15 1999-07-02 Matsushita Electric Ind Co Ltd Smear correction system
JP2006074658A (en) * 2004-09-06 2006-03-16 Matsushita Electric Ind Co Ltd Smear correction apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03241981A (en) * 1990-02-19 1991-10-29 Nec Corp Smear compensation method for solid-state image pickup element
JPH06268922A (en) * 1993-03-11 1994-09-22 Toshiba Corp Smear correction device
JPH08251491A (en) * 1995-03-10 1996-09-27 Nec Corp Solid-state image pickup device
JPH11177888A (en) * 1997-12-15 1999-07-02 Matsushita Electric Ind Co Ltd Smear correction system
JP2006074658A (en) * 2004-09-06 2006-03-16 Matsushita Electric Ind Co Ltd Smear correction apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093389A (en) * 2008-10-03 2010-04-22 Canon Inc Apparatus and method for processing signal and imaging apparatus

Similar Documents

Publication Publication Date Title
JP4662880B2 (en) Imaging apparatus and imaging method
US20190313022A1 (en) Panoramic Camera With Multiple Image Sensors Using Timed Shutters
JP4742359B2 (en) Movie imaging apparatus and program thereof
US8223235B2 (en) Digital imager with dual rolling shutters
US8421880B2 (en) Image processing apparatus, image processing method, and image capturing apparatus
US20110080494A1 (en) Imaging apparatus detecting foreign object adhering to lens
JP6697684B2 (en) Image processing device, image processing method, and image processing circuit
KR101212906B1 (en) Photographic device control method control device and recording medium for photographic device
JP2002354340A (en) Imaging device
US20080259201A1 (en) Camera Module and Electronic Apparatus Provided with it
AU2012224341A1 (en) Image pickup apparatus, image pickup apparatus control method, and program
JP2011015222A (en) Imaging apparatus, and imaging control method
JP2007082044A (en) Imaging method and imaging apparatus
JP4930900B2 (en) Imaging device
JP2011223242A (en) Electronic camera
US9237280B2 (en) Photographing apparatus and photographing method for correcting a moving characteristic of an electronic front curtain
CN107205123B (en) Flash band determination device, control method thereof, storage medium, and image pickup apparatus
JP2007116335A (en) Solid-state imaging device
WO2012147337A1 (en) Flicker detection device, flicker detection method, and flicker detection program
JP2012049947A (en) Image processing apparatus
CN101931744B (en) Imager that photographs an image using a rolling shutter
JP6145746B2 (en) Imaging device
JP2004289241A (en) Noise eliminator
JP2011101208A (en) Imaging apparatus
JP2006121165A (en) Imaging apparatus and image forming method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071116

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101124

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20101202