JP2001024893A - Image reader - Google Patents

Image reader

Info

Publication number
JP2001024893A
JP2001024893A JP11195543A JP19554399A JP2001024893A JP 2001024893 A JP2001024893 A JP 2001024893A JP 11195543 A JP11195543 A JP 11195543A JP 19554399 A JP19554399 A JP 19554399A JP 2001024893 A JP2001024893 A JP 2001024893A
Authority
JP
Japan
Prior art keywords
data
black level
reference voltage
circuit
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11195543A
Other languages
Japanese (ja)
Other versions
JP3885984B2 (en
Inventor
Wataru Nara
亙 奈良
Giichi Inoue
義一 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP19554399A priority Critical patent/JP3885984B2/en
Publication of JP2001024893A publication Critical patent/JP2001024893A/en
Application granted granted Critical
Publication of JP3885984B2 publication Critical patent/JP3885984B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To obtain image data which are correctly black shading corrected by correcting data of a reference black level to be used at the time of black shading correction in accordance with a ratio of a reference voltage when the reference black level is detected and a specified reference voltage set at the time of reading an original. SOLUTION: In a black shading correction circuit 14, a result of average value processing in an average value circuit 31 for black with respect to digital image data D0 obtained from an inline circuit in detecting a reference black level is stored in a memory 32 as data D0b of the detected reference black level. Also, the device is provided with a subtracting circuit 33 in which the data D0b of the reference black level stored in the memory 32 are subtracted from digital image data D0g obtained from the inline circuit at the time of reading the original and are outputted to a white shading correction circuit at a past step as data Dshb after black shading.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、イメージスキャ
ナ、デジタル複写機のスキャナ等であって、特にCCD
イメージセンサによる等倍密着型センサ等の固体撮像素
子を用いて原稿画像を読取る画像読取装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image scanner, a scanner of a digital copying machine, and the like, and more particularly to a CCD.
The present invention relates to an image reading apparatus that reads a document image using a solid-state image sensor such as a 1: 1 close contact sensor using an image sensor.

【0002】[0002]

【従来の技術】一般に、この種の画像読取装置では、光
源により原稿を露光し、原稿からの反射光をCCDイメ
ージセンサに結像させることで、反射光の強さに応じた
電圧値に変換して読取り、その電圧値(アナログ値)を
A/D変換器により例えば8ビットのデジタル値に変換
して画像処理部等に出力するようにしている。この際、
CCDイメージセンサの各画素の感度のばらつきや暗電
流による信号成分のばらつきがあっても、A/D変換器
のダイナミックレンジを広くとれるように、通常は、白
シェーディング補正機能や黒シェーディング補正機能を
持たせており、これらの機能に関して、各種提案がなさ
れている(例えば、特開昭62−235871号公報、
特開昭63−18763号公報、特開平6−16492
2号公報、特開平9−9056号公報、特開平11−2
7522号公報等参照)。
2. Description of the Related Art Generally, in an image reading apparatus of this type, a document is exposed by a light source, and reflected light from the document is focused on a CCD image sensor to convert the reflected light into a voltage value corresponding to the intensity of the reflected light. Then, the voltage value (analog value) is converted into, for example, an 8-bit digital value by an A / D converter and output to an image processing unit or the like. On this occasion,
Even if there is variation in sensitivity of each pixel of the CCD image sensor or variation in signal components due to dark current, a white shading correction function and a black shading correction function are usually provided so that the dynamic range of the A / D converter can be widened. Various proposals have been made for these functions (for example, Japanese Patent Application Laid-Open No. Sho 62-235871,
JP-A-63-18873, JP-A-6-16492
No. 2, JP-A-9-9056, JP-A-11-2
No. 7522).

【0003】ここに、特に黒シェーディング補正に着目
すると、最も一般的な縮小光学系を介して原稿像が結像
されるCCDイメージセンサを用いたタイプでは、CC
Dイメージセンサ自体がその一部に常に遮光された黒ダ
ミー画素を有しているため、黒ダミー出力が常に可能で
あり、1ライン毎に常に黒シェーディング用の基準黒レ
ベルのデータを有していることになる。このため、A/
D変換器のリファレンス電圧の上限値を原稿画像のピー
ク値に追従させる地肌除去機能を持たせる場合のよう
に、A/D変換器のリファレンス電圧が可変される場合
であっても、可変されるリファレンス電圧に対応して黒
シェーディング用の基準黒レベルのデータも可変可能と
なっている。
Here, paying particular attention to black shading correction, the most common type using a CCD image sensor that forms an original image via a reduction optical system has a CC
Since the D image sensor itself has black dummy pixels that are always shielded from light, black dummy output is always possible, and data of the reference black level for black shading is always provided for each line. Will be. Therefore, A /
Even when the reference voltage of the A / D converter is varied, such as when a background removal function is provided to make the upper limit value of the reference voltage of the D converter follow the peak value of the original image, it is varied. The data of the reference black level for black shading can also be changed according to the reference voltage.

【0004】[0004]

【発明が解決しようとする課題】ところが、例えば、C
CDイメージセンサとしてインラインで構成された等倍
密着型センサを用いたものでは、原稿幅全幅に渡って複
数のチップが隙間なく並べられているため、このような
等倍密着型センサには黒ダミー画素を持たせることがで
きない。このように1ライン毎に黒シェーディング用の
基準黒レベルのデータを持っていないCCDイメージセ
ンサを用いた場合や、或いは、上記のCCDイメージセ
ンサであってもその全画素の黒シェーディング補正を行
う場合には、白基準板の読取前や原稿画像の読取前の光
源の消灯期間中にCCDイメージセンサの各画素から得
られる出力を或るリファレンス電圧に設定されたA/D
変換器でデジタル値に変換して黒シェーディング用の基
準黒レベルのデータとしてメモリに記憶させておく必要
がある。
However, for example, C
In the case of using the same-size close-contact type sensor configured in-line as a CD image sensor, a plurality of chips are arranged without gaps over the entire width of the original document. Cannot have pixels. When a CCD image sensor having no reference black level data for black shading for each line is used, or when the above-described CCD image sensor performs black shading correction for all pixels. The output obtained from each pixel of the CCD image sensor is set to a certain reference voltage while the light source is turned off before the white reference plate is read or before the original image is read.
The data must be converted into digital values by a converter and stored in a memory as reference black level data for black shading.

【0005】このため、A/D変換器のリファレンス電
圧を可変させて原稿を読取る装置(例えば、特開平5−
103197号公報参照)の場合や、白基準板の読取時
や原稿画像の読取時で異なるリファレンス電圧を使用す
る装置の場合には、黒シェーディング用の基準黒レベル
のデータをデジタルデータとして持っているため、可変
されるリファレンス電圧に対応した黒シェーディング補
正を行えないという不具合がある。
For this reason, an apparatus for reading an original by varying the reference voltage of an A / D converter (for example, Japanese Patent Application Laid-Open No.
103197), or a device that uses a different reference voltage when reading a white reference plate or reading a document image, has reference black level data for black shading as digital data. Therefore, there is a problem that the black shading correction corresponding to the variable reference voltage cannot be performed.

【0006】この点を数式を用いて分かりやすく説明す
る。まず、8ビットのA/D変換器の或るリファレンス
電圧Vref 0でアナログ信号による黒レベル電圧Vb を
読取った時の基準黒レベルのデジタル値D0 b は、 D0 b = INT[Vb /Vref 0×255] …………(1) ただし、INT[ ];小数点以下を四捨五入で表され、
黒シェーディング用の基準黒レベルのデータとしてメモ
リに格納される。また、(1)式より、基準黒レベルのデ
ータD0 b がA/D変換器のリファレンス電圧Vref に
依存していることが分かる。
[0006] This point will be explained in an easy-to-understand manner using mathematical expressions. First, when a black level voltage Vb based on an analog signal is read at a certain reference voltage Vref0 of an 8-bit A / D converter, the digital value D0b of the reference black level is D0b = INT [Vb / Vref0 × 255] ……… (1) where INT []; rounded to the nearest decimal point,
The data is stored in the memory as data of the reference black level for black shading. From equation (1), it can be seen that the reference black level data D0 b depends on the reference voltage Vref of the A / D converter.

【0007】一方、黒シェーディング補正後の画像デー
タDshb は、原稿画像を読取って得られるデータをD0
g とすると、 Dshb =D0 g −D0 b として計算される。このとき、原稿読取り時のA/D変
換器のリファレンス電圧をVref 1、白基準板読取りに
よる基準白レベルのデータをVw とすると、 Dshb =INT[Vw /Vref 1×255]−INT[Vb /Vref 0×255] …………………………………(2) となり、黒レベル検出時と原稿読取時とで異なるリファ
レンス電圧で読取ったデータ間で計算を行っているた
め、正確にシェーディング補正された画像データが得ら
れなくなってしまう。
On the other hand, image data Dshb after black shading correction is obtained by reading data obtained by reading an original image as D0.
Assuming that g, Dshb is calculated as Dshb = D0g-D0b. At this time, assuming that the reference voltage of the A / D converter when reading the original is Vref 1 and the data of the reference white level by reading the white reference plate is Vw, Dshb = INT [Vw / Vref 1 × 255] −INT [Vb / Vref 0 × 255]... (2), and the calculation is performed between the data read at different reference voltages when the black level is detected and when the document is read. In this case, image data that has been subjected to shading correction cannot be obtained.

【0008】そこで、本発明は、基準黒レベルのデータ
をデジタルデータとして保有する状況下に、固体撮像素
子の出力をデジタルデータに変換するためのA/D変換
器のリファレンス電圧が基準黒レベル検出時のリファレ
ンス電圧から可変される場合であっても、正確に黒シェ
ーディング補正された画像データを得ることができる画
像読取装置を提供することを目的とする。
Therefore, according to the present invention, in a situation where reference black level data is held as digital data, the reference voltage of an A / D converter for converting the output of the solid-state imaging device into digital data is used for detecting the reference black level. It is an object of the present invention to provide an image reading apparatus capable of accurately obtaining image data that has been subjected to black shading correction even when it is changed from a reference voltage at the time.

【0009】[0009]

【課題を解決するための手段】請求項1記載の発明は、
原稿読取前にアレイ状の固体撮像素子から得られる各画
素毎の出力信号を或るリファレンス電圧に設定されたA
/D変換器によりデジタル信号に変換して前記固体撮像
素子の全画素の基準黒レベルを検出し、検出された基準
黒レベルのデータをメモリに格納し、原稿読取時に前記
固体撮像素子から得られる各画素毎の出力信号を所定の
リファレンス電圧に設定された前記A/D変換器により
デジタル信号に変換した原稿データから前記メモリに格
納されている対応する画素の前記基準黒レベルのデータ
を減算して黒シェーディング補正を行う画像読取装置に
おいて、前記黒シェーディング補正時に用いる前記基準
黒レベルのデータを、前記基準黒レベルを検出する時の
前記或るリファレンス電圧と当該原稿読取時に設定され
る前記所定のリファレンス電圧との比率に応じて補正す
る補正手段を備える。
According to the first aspect of the present invention,
Before reading the document, the output signal for each pixel obtained from the solid-state imaging device in the form of an array is set to a certain reference voltage.
A digital signal is converted by a / D converter to detect reference black levels of all pixels of the solid-state imaging device, data of the detected reference black level is stored in a memory, and obtained from the solid-state imaging device at the time of reading a document. The reference black level data of the corresponding pixel stored in the memory is subtracted from the original data in which the output signal of each pixel is converted into a digital signal by the A / D converter set to a predetermined reference voltage. In the image reading apparatus that performs black shading correction, the reference black level data used at the time of the black shading correction is compared with the certain reference voltage at the time of detecting the reference black level and the predetermined voltage set at the time of reading the document. There is provided a correction means for performing correction in accordance with the ratio to the reference voltage.

【0010】従って、黒シェーディング補正時に用いる
基準黒レベルのデータを、基準黒レベルを検出する時の
或るリファレンス電圧と当該原稿読取時に設定される所
定のリファレンス電圧との比率に応じて補正すること
で、A/D変換器のリファレンス電圧の可変に応じた基
準黒レベルのデータを用いることができ、正確に黒シェ
ーディング補正された画像データを得ることができる。
Therefore, the data of the reference black level used in the black shading correction is corrected in accordance with the ratio between a certain reference voltage for detecting the reference black level and a predetermined reference voltage set when reading the document. Thus, the data of the reference black level according to the variation of the reference voltage of the A / D converter can be used, and the image data corrected for black shading can be obtained accurately.

【0011】請求項2記載の発明は、請求項1記載の画
像読取装置において、前記A/D変換器に設定されるリ
ファレンス電圧をデジタルデータに変換して出力する変
換手段を有し、前記補正手段は、前記基準黒レベルを検
出する時に前記変換手段により変換された前記或るリフ
ァレンス電圧のデジタルデータを一時記憶しておくラッ
チと、このラッチに記憶された前記或るリファレンス電
圧のデジタルデータと前記メモリに格納されている各画
素毎の基準黒レベルのデータとを乗算する乗算回路と、
この乗算回路により乗算処理された各画素毎の基準黒レ
ベルのデータを当該原稿読取時に設定されて前記変換手
段により変換された前記所定のリファレンス電圧のデジ
タルデータにより除算して補正された基準黒レベルのデ
ータを出力する除算回路とを備える。
According to a second aspect of the present invention, in the image reading apparatus according to the first aspect, the image reading apparatus further includes a conversion unit that converts a reference voltage set in the A / D converter into digital data and outputs the digital data, Means for temporarily storing digital data of the certain reference voltage converted by the conversion means when detecting the reference black level, and digital data of the certain reference voltage stored in the latch; A multiplication circuit for multiplying the reference black level data for each pixel stored in the memory,
The reference black level corrected by dividing the reference black level data for each pixel multiplied by the multiplying circuit by the predetermined reference voltage digital data set at the time of reading the original document and converted by the conversion means. And a division circuit that outputs the data of

【0012】従って、請求項1記載の発明を簡単な回路
構成で実現できる。
Therefore, the invention described in claim 1 can be realized with a simple circuit configuration.

【0013】請求項3記載の発明は、請求項1又は2記
載の画像読取装置において、前記固体撮像素子は、光源
により照明された原稿からの反射光を等倍型光学系を介
して受光して光電変換する等倍密着型センサよりなる。
According to a third aspect of the present invention, in the image reading apparatus according to the first or second aspect, the solid-state imaging device receives reflected light from a document illuminated by a light source via a 1 × optical system. It consists of a 1: 1 contact type sensor that performs photoelectric conversion.

【0014】従って、1ライン毎に黒シェーディング補
正用の基準黒レベルのデータを持っていないタイプにお
けるA/D変換器のリファレンス電圧の可変に伴う不具
合を解消できる。
Therefore, it is possible to solve the problem associated with the variation of the reference voltage of the A / D converter in the type having no reference black level data for black shading correction for each line.

【0015】[0015]

【発明の実施の形態】本発明の一実施の形態を図面に基
づいて説明する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS One embodiment of the present invention will be described with reference to the drawings.

【0016】[本実施の形態の原理]本実施の形態の原
理を数式を用いて説明する。前述した(1)(2)式のよう
な条件下に、本実施の形態では、A/D変換器のリファ
レンス電圧が可変された場合でも、そのリファレンス電
圧に応じて黒シェーディング補正された画像データが得
られるように、 Dshb 0 =D0 g −D0 b ×Vref 0/Vref 1 …………(3) なる演算処理を行わせるものである。即ち、 Dshb 0 =INT[Vw /Vref 1×255] −INT[Vb /Vref 0×255]×Vref 0/Vref1 =INT[Vw /Vref 1×255]−INT[Vb /Vref 1×255] =INT[(Vw −Vb )/Vref 1×255] …………(4) なる黒シェーディング補正処理となり、そのリファレン
ス電圧に応じて黒シェーディング補正された画像データ
が得られる。
[Principle of the present embodiment] The principle of the present embodiment will be described using mathematical expressions. In the present embodiment, under the conditions such as the above-described equations (1) and (2), even if the reference voltage of the A / D converter is changed, the image data subjected to black shading correction according to the reference voltage is changed. Dshb0 = D0g-D0b * Vref0 / Vref1 (3) so that the following equation can be obtained. That is, Dshb0 = INT [Vw / Vref1 × 255] −INT [Vb / Vref0 × 255] × Vref0 / Vref1 = INT [Vw / Vref1 × 255] −INT [Vb / Vref1 × 255] = INT [(Vw−Vb) / Vref 1 × 255] (4) Black shading correction processing is performed, and image data that has been subjected to black shading correction according to the reference voltage is obtained.

【0017】ここに、リファレンス電圧Vref 自体はア
ナログ値であるので、(3)式中のリファレンス電圧の比
率Vref 0/Vref 1を、 Vref 0/Vref 1 =INT[Vref 0 /Vcc×255]/INT[Vref 1 /Vcc×255] =Dref 0/Dref 1 …………………………………………(5) として、デジタル量に変換して検出し、所定の演算を行
わせることにより、簡単に実現できる。
Here, since the reference voltage Vref itself is an analog value, the ratio Vref0 / Vref1 of the reference voltage in the equation (3) is calculated as follows: Vref0 / Vref1 = INT [Vref0 / Vcc × 255] / INT [Vref1 / Vcc × 255] = Dref0 / Dref1 ……………………………………………………………………………………………………………………………………………… (5) This can be easily realized.

【0018】[本実施の形態]上記原理を利用した本実
施の形態について説明する。本実施の形態は、原稿画像
を光電的に読取る固体撮像素子として等倍密着型センサ
1を用いたシートスルータイプのADF2に適用されて
いる。図1はその概略構成を示す正面図である。この等
倍密着型センサ1は、原稿をスリット露光する光源とし
てのLEDアレイ3と、インラインで構成された複数の
CCDイメージセンサ4a,4b,…,4n(図2参
照)のチップとよりなり、レンズアレイ等の等倍結像光
学系を介して原稿搬送路に臨んで設けられている。等倍
密着型センサ1に対向する位置には白基準板5が配設さ
れ、その前後には原稿搬送ローラ6,7が配設されてい
る。このような原稿読取部に対して、原稿トレイ8から
搬送ベルト9等を経て原稿排紙トレイ10に至る原稿搬
送路が形成されている。
[Embodiment] An embodiment utilizing the above principle will be described. The present embodiment is applied to a sheet-through type ADF 2 using a unit-size close-contact type sensor 1 as a solid-state imaging device that photoelectrically reads a document image. FIG. 1 is a front view showing the schematic configuration. The unit-size close-contact type sensor 1 includes an LED array 3 as a light source for slit exposure of a document, and a plurality of in-line CCD image sensor 4a, 4b,..., 4n (see FIG. 2) chips. It is provided facing the document transport path via a 1: 1 imaging optical system such as a lens array. A white reference plate 5 is provided at a position opposed to the unity close-contact type sensor 1, and document conveying rollers 6, 7 are provided before and after the white reference plate. For such a document reading section, a document transport path from the document tray 8 to the document discharge tray 10 via the transport belt 9 and the like is formed.

【0019】図2は、等倍密着型センサ1の出力を処理
して画像処理部に出力するための出力処理回路の構成例
を示すブロック図である。概略を説明すると、複数のチ
ップからなる各CCDイメージセンサ4a,4b,…,
4nの各画素からパラレルに出力される画像データは、
サンプリング/ホールド回路(S/H回路)11a,1
1b,…,11nでサンプリング/ホールドした後、A
/D変換器12a,12b,…,12nでデジタルデー
タに変換される。この後、これらのA/D変換器12
a,12b,…,12nにより変換されたデータにつ
き、1チップ構造のCCDイメージセンサで読取った場
合と同じようなデータの並びに揃えるためのインライン
化処理をインライン化回路13で行い、黒シェーディン
グ補正回路14、白シェーディング補正回路15で順次
黒シェーディング補正、白シェーディング補正を行っ
て、後続の画像処理部に出力する。
FIG. 2 is a block diagram showing an example of the configuration of an output processing circuit for processing the output of the unity close-contact type sensor 1 and outputting it to the image processing unit. In brief, each CCD image sensor 4a, 4b,.
The image data output in parallel from each of the 4n pixels is
Sampling / hold circuit (S / H circuit) 11a, 1
After sampling / holding at 1b,..., 11n, A
Are converted into digital data by the / D converters 12a, 12b,..., 12n. Thereafter, these A / D converters 12
a, 12b,..., 12n, the in-line circuit 13 performs in-line processing for aligning the data in the same manner as when the data is read by a CCD image sensor having a one-chip structure, and a black shading correction circuit. 14, black shading correction and white shading correction are sequentially performed by the white shading correction circuit 15 and output to the subsequent image processing unit.

【0020】ここに、各A/D変換器12a,12b,
…,12nに対してはそのリファレンス電圧Vref を設
定・切換えするためのリファレンスコントロール回路1
6が接続されている。また、このリファレンスコントロ
ール回路16や白シェーディング補正回路15に対して
タイミング制御のための各種ゲート信号を所定のタイミ
ングで出力するゲート信号発生回路17が設けられてい
る。
Here, each A / D converter 12a, 12b,
, 12n, a reference control circuit 1 for setting and switching the reference voltage Vref
6 are connected. Further, a gate signal generation circuit 17 for outputting various gate signals for timing control to the reference control circuit 16 and the white shading correction circuit 15 at a predetermined timing is provided.

【0021】図3はリファレンスコントロール回路16
の構成例を示すブロック図である。このリファレンスコ
ントロール回路16は、本実施の形態では、各A/D変
換器12a,12b,…,12nのリファレンス電圧V
ref として、Vref g,Vrefw,Vref AEの3種類の何
れかを切換え自在に設定するものである。具体的には、
原稿用ゲート信号DOCGTがHレベルのときオンするスイ
ッチ21aを介して、原稿用電圧をDA変換器22aで
変換してなるアナログ電圧Vref gがリファレンス電圧
としてA/D変換器12a,12b,…,12nに与え
られる。同様に、白基準用ゲート信号WTGTがHレベルの
ときオンするスイッチ21bを介して、白基準用電圧を
DA変換器22bで変換してなるアナログ電圧Vref w
がリファレンス電圧としてA/D変換器12a,12
b,…,12nに与えられる。さらに、地肌除去機能を
持たせるための自動露光モード信号によりオンするスイ
ッチ21cを介して、ピークホールド回路(P/H回
路)23によりピークホールドされたアナログ電圧Vre
f AEがリファレンス電圧としてA/D変換器12a,1
2b,…,12nに与えられる。なお、ピークホールド
回路23に対しては、インライン化回路13から得られ
るデジタル画像信号D0 について白用の平均値回路24
により平均値をとった値と所定の比較値とをコンパレー
タ25で比較し、その結果をDA変換器26でアナログ
電圧に変換してなる値が与えられる。
FIG. 3 shows the reference control circuit 16.
FIG. 3 is a block diagram illustrating a configuration example of FIG. In the present embodiment, the reference control circuit 16 is configured to control the reference voltage V of each of the A / D converters 12a, 12b,.
As ref, any one of three types, Vref g, Vrefw, and Vref AE, is set so as to be freely switchable. In particular,
The analog voltage Vrefg obtained by converting the document voltage by the D / A converter 22a via the switch 21a which is turned on when the document gate signal DOCGT is at the H level is used as a reference voltage as A / D converters 12a, 12b,. 12n. Similarly, an analog voltage Vref w obtained by converting a white reference voltage by a DA converter 22b via a switch 21b that is turned on when the white reference gate signal WTGT is at an H level.
Are A / D converters 12a and 12
, 12n. Further, the analog voltage Vre peak-held by the peak hold circuit (P / H circuit) 23 via the switch 21c which is turned on by an automatic exposure mode signal for providing a background removal function.
f AE is used as a reference voltage for the A / D converters 12a, 1
2b,..., 12n. Note that, for the peak hold circuit 23, the average value circuit 24 for white is used for the digital image signal D0 obtained from the in-line circuit 13.
, A value obtained by comparing the averaged value with a predetermined comparison value by the comparator 25 and converting the result into an analog voltage by the DA converter 26 is given.

【0022】また、各スイッチ21a〜21cの出力側
には、A/D変換器12a,12b,…,12nに設定
されるリファレンス電圧Vref の値を電源電圧Vccを用
いてデジタルデータDref に変換して黒シェーディング
補正回路14に出力する変換手段としてのA/D変換器
27が設けられている。
On the output side of each of the switches 21a to 21c, the value of the reference voltage Vref set in the A / D converters 12a, 12b,..., 12n is converted into digital data Dref using the power supply voltage Vcc. An A / D converter 27 is provided as a conversion means for outputting to the black shading correction circuit 14.

【0023】図4は、黒シェーディング補正回路14の
構成例を示すブロック図である。基本的には、基準黒レ
ベルを検出する際にインライン化回路13から得られる
デジタル画像データD0 について黒用の平均値回路31
で平均値処理された結果を、検出された基準黒レベルの
データD0 bとして格納するメモリ32が設けられてい
る。また、原稿読取時にインライン化回路13から得ら
れるデジタル画像データD0 gから、メモリ32に格納
されている基準黒レベルのデータD0 bを減算して黒シ
ェーディング後のデータDshb として後段の白シェーデ
ィング補正回路15に出力する減算回路33が設けられ
ている。
FIG. 4 is a block diagram showing a configuration example of the black shading correction circuit 14. Basically, when detecting the reference black level, the digital image data D0 obtained from the in-line circuit 13 is applied to the average value circuit 31 for black.
And a memory 32 for storing the result of the average value processing as data D0b of the detected reference black level. Further, the data D0b of the reference black level stored in the memory 32 is subtracted from the digital image data D0g obtained from the in-line circuit 13 at the time of reading a document, and the data Dshb after black shading is subtracted from the digital image data D0b in the latter stage of the white shading correction circuit. 15 is provided.

【0024】このような黒シェーディング補正回路14
において、本実施の形態では、メモリ32・減算回路3
3間に補正手段34が付加されている。この補正手段3
4は、基準黒レベルを検出する時(ゲート信号BKGTの出
力時)にA/D変換器27により変換された或るリファ
レンス電圧のデジタルデータDref 0 を一時記憶してお
くラッチ35と、このラッチ35に記憶されたデジタル
データDref とメモリ32に格納されている各画素毎の
基準黒レベルのデータD0 b とを乗算する乗算回路36
と、この乗算回路36により乗算処理された各画素毎の
基準黒レベルのデータD1 b を当該原稿読取時に設定さ
れてA/D変換器27により変換されたリファレンス電
圧のデジタルデータDref 1 により除算して補正された
基準黒レベルのデータD2 b を出力する除算回路37と
により構成されている。
Such a black shading correction circuit 14
In this embodiment, the memory 32 and the subtraction circuit 3
Correction means 34 is added between the three. This correction means 3
Reference numeral 4 denotes a latch 35 for temporarily storing digital data Dref 0 of a certain reference voltage converted by the A / D converter 27 when the reference black level is detected (when the gate signal BKGT is output); A multiplication circuit 36 for multiplying the digital data Dref stored in the memory 35 and the reference black level data D0 b for each pixel stored in the memory 32
And the reference black level data D1 b for each pixel multiplied by the multiplication circuit 36 are divided by the reference voltage digital data Dref 1 set at the time of reading the original and converted by the A / D converter 27. And a dividing circuit 37 for outputting the reference black level data D2 b corrected in this way.

【0025】このような構成において、図5に示すタイ
ムチャートを参照しつつ動作について説明する。まず、
原稿トレイ8上の原稿が給紙され始めると、コントロー
ラ(図示せず)によりLED点灯信号LED ONがアクティ
ブとなり、LEDアレイ3に関して点灯動作が開始され
る。ここに、LEDアレイ3が点灯するまでのラインに
相当するL1ライン分の期間中、基準黒レベル検出用ゲ
ート信号BKGTがアクティブとなり、このアクティブ期間
中に、CCDイメージセンサ4a,4b,…,4nから
出力されA/D変換器12a,12b,…,12nでデ
ジタル画像データに変換された各画素毎のデジタル画像
データD0 が平均値処理を経て基準黒レベルのデータと
してメモリ32に格納される。即ち、基準黒レベル検出
用ゲート信号BKGTのアサート期間中に平均値回路31に
より1画素毎に平均値処理を行い、 D0 b(n)=ΣD0 (n)/L1 D0 b(n):n画素目の基準黒レベルデータ D0 (n) :n画素目の読取データ ΣD0 (n):D0 (n)の1ライン目からL1ライン目まで
の加算値 を求め、その値をメモリ32に記憶させるものである。
The operation in such a configuration will be described with reference to a time chart shown in FIG. First,
When the document on the document tray 8 starts to be fed, an LED lighting signal LED ON is activated by a controller (not shown), and the lighting operation of the LED array 3 is started. Here, the reference black level detection gate signal BKGT is active during a period of L1 lines corresponding to the line until the LED array 3 is turned on. During this active period, the CCD image sensors 4a, 4b,. , And converted into digital image data by the A / D converters 12a, 12b,..., 12n, are stored in the memory 32 as reference black level data through averaging processing. That is, during the assertion period of the reference black level detection gate signal BKGT, the averaging circuit 31 performs an averaging process for each pixel by the averaging circuit 31. Eye reference black level data D0 (n): read data of the n-th pixel ΣD0 (n): obtains an added value from the first line to the L1 line of D0 (n) and stores the value in the memory 32 It is.

【0026】このLIライン分なる基準黒レベル検出用
ゲート信号BKGTがアクティブな期間中は、リファレンス
コントロール回路16によりAEMODE=WTGT=Lレベル、
DOCGT=Hレベルとされることにより、A/D変換器1
2a,12b,…,12nのリファレンス電圧としてV
ref gが選択設定される。即ち、(5)式中に示す基準黒
レベルのデータを読み込んだ時のA/D変換器12a,
12b,…,15nのリファレンス電圧Vref 0は本実
施の形態では、Vref gであるので、A/D変換器27
によりデジタル化して Dref 0=INT[Vref g/Vin×255] として検出する。このリファレンス電圧のデジタルデー
タDref 0をゲート信号BKGTのHレベルのエッジタイミ
ングでラッチ35にラッチしておく。そして、ゲート信
号BKGTがネゲートされると同時に基準黒レベルのデータ
の検出・生成が終了し、LEDアレイ3が点灯する。
While the reference black level detection gate signal BKGT corresponding to the LI lines is active, the reference control circuit 16 controls the AEMODE = WTGT = L level.
By setting DOCGT = H level, A / D converter 1
2a, 12b,..., 12n
ref g is selected and set. That is, the A / D converter 12a, when the data of the reference black level shown in the equation (5) is read,
Since the reference voltages Vref 0 of 12b,..., 15n are Vref g in the present embodiment, the A / D converter 27
And is detected as Dref 0 = INT [Vref g / Vin × 255]. The digital data Dref 0 of this reference voltage is latched in the latch 35 at the H-level edge timing of the gate signal BKGT. Then, at the same time when the gate signal BKGT is negated, the detection and generation of the reference black level data is completed, and the LED array 3 is turned on.

【0027】つづいて、白基準板5の読取動作期間を示
すSLEAD信号がアサートされると、A/D変換器12
a,12b,…,12nのリファレンス電圧に白板用電
圧に基づくVref wが選択され、CCDイメージセンサ
4a,4b,…,4nによる白基準板5の読取りが開始
される。そして、このSLEAD信号に包含されている基準
白レベル検出用ゲート信号WTGTのアサート期間中に周知
の如くシェーディングデータが生成される。この際、A
/D変換器12a,12b,…,12nのリファレンス
電圧を変更するのは、例えば、特開平5−103197
号公報中に示されるように、白基準板5のばらつきを吸
収する等のためである。
Subsequently, when the SLEAD signal indicating the reading operation period of the white reference plate 5 is asserted, the A / D converter 12
, 12n, Vref w based on the white plate voltage is selected, and reading of the white reference plate 5 by the CCD image sensors 4a, 4b, ..., 4n is started. Then, as is well known, shading data is generated during the assertion period of the reference white level detection gate signal WTGT included in the SLEAD signal. At this time, A
Changing the reference voltage of the / D converters 12a, 12b,..., 12n is described in, for example, Japanese Patent Laid-Open No. 5-103197.
This is for absorbing variations in the white reference plate 5 as shown in the publication.

【0028】この結果、前述したように、基準黒レベル
の検出時と異なるリファレンス電圧を用いてデータを読
取っていることが分かる。つまり、(5)式中に示す原稿
読取時(ここでは、白基準板5の読取時)のA/D変換
器12a,12b,…,15nのリファレンス電圧Vre
f 1は本実施の形態では、Vref wであるので、A/D変
換器27によりデジタル化して Dref 1=INT[Vref w/Vin×255] として検出する。
As a result, as described above, it can be seen that data is read using a reference voltage different from that used when the reference black level is detected. That is, the reference voltage Vre of the A / D converters 12a, 12b,..., 15n at the time of reading the original shown in the expression (5) (here, at the time of reading the white reference plate 5).
Since f1 is Vref w in the present embodiment, it is digitized by the A / D converter 27 and detected as Dref1 = INT [Vref w / Vin × 255].

【0029】そこで、(3)式の演算処理を行う。まず、
乗算回路36で D1 b =D0 b ×Dref 0 なる演算を行い、さらに、除算回路37で D2 b =D1 b /Dref 1=D0 b ×Dref 0/Dref 1 を計算して、補正された基準黒レベルのデータD2 b を
得る。そして、この補正された基準黒レベルのデータD
2 bを用いて減算回路33で Dshb =D0 g −D2 b を演算することにより、リファレンス電圧の変化に応じ
た黒シェーディング補正後のデータが得られる。
Then, the arithmetic processing of the equation (3) is performed. First,
The multiplication circuit 36 calculates D1b = D0b × Dref0, and the division circuit 37 calculates D2b = D1b / Dref1 = D0b × Dref0 / Dref1. The level data D2 b is obtained. Then, the corrected reference black level data D
By calculating Dshb = D0g-D2b in the subtraction circuit 33 using 2b, data after black shading correction according to the change in the reference voltage can be obtained.

【0030】この後、SLEAD信号がネゲートされると白
基準板5の読取りが終了する。そして、A/D変換器1
2a,12b,…,12nのリファレンス電圧として再
びVref gがセットされ、原稿が密着等倍型センサ1に
対向する読取位置に搬送されると、原稿有効範囲を示す
SSCAN信号がアサートされることで原稿の読取りが開始
され、A/D変換器12a,12b,…,12nにより
デジタルデータに変換されたデジタル画像データにつ
き、黒シェーディング補正回路14、白シェーディング
補正回路15で各々黒シェーディング補正、白シェーデ
ィング補正が施されて、画像処理部側に出力される。
Thereafter, when the SLEAD signal is negated, the reading of the white reference plate 5 ends. And the A / D converter 1
When Vrefg is set again as the reference voltage of 2a, 12b,..., 12n, and the document is conveyed to the reading position facing the close-to-contact type sensor 1, it indicates the document effective range.
The reading of the document is started by asserting the SSCAN signal, and the digital image data converted into digital data by the A / D converters 12a, 12b,. Are subjected to black shading correction and white shading correction, respectively, and output to the image processing unit side.

【0031】ちなみに、本実施の形態では、基準黒レベ
ルの検出時と本来の原稿読取時とで、A/D変換器12
a,12b,…,12nのリファレンス電圧として同じ
電圧Vref gを用いているが、(3)式からも分かるよう
に、原稿(有効データ)を読み取っている時のリファレ
ンス電圧Vref 1を用いて基準黒レベルのデータを補正
しているので、基準黒レベルの検出時と本来の原稿読取
時とで、A/D変換器12a,12b,…,12nのリ
ファレンス電圧が異なることになっても(Vref 1=Vr
ef g≠Vref 0)、或いは、地肌除去用のリファレンス
電圧(Vref 1=Vref AE)に設定され原稿読取時にリ
ファレンス電圧が変動するようなことがあっても、それ
に応じて基準黒レベルのデータが補正されて減算回路3
3による減算処理に供される。よって、精度よく、か
つ,リアルタイムなリファレンス電圧のレベル変動にも
追従して基準黒レベルのデータを適正に補正することが
できる。
In this embodiment, the A / D converter 12 detects the reference black level and detects the original document.
Although the same voltage Vref g is used as the reference voltage for a, 12b,..., 12n, as can be seen from equation (3), the reference voltage Vref 1 is used when the original (effective data) is read. Since the black level data is corrected, even if the reference voltages of the A / D converters 12a, 12b,..., 12n differ between when the reference black level is detected and when the original document is read, (Vref 1 = Vr
ef g ≠ Vref 0) or the reference voltage for background removal (Vref 1 = Vref AE) and the reference voltage fluctuates during document reading, the reference black level data is accordingly changed. Corrected and subtracted circuit 3
3 is subjected to a subtraction process. Therefore, the data of the reference black level can be appropriately corrected accurately and in accordance with the level fluctuation of the reference voltage in real time.

【0032】[0032]

【発明の効果】請求項1記載の発明によれば、黒シェー
ディング補正時に用いる基準黒レベルのデータを、基準
黒レベルを検出する時の或るリファレンス電圧と当該原
稿読取時に設定される所定のリファレンス電圧との比率
に応じて補正するようにしたので、A/D変換器のリフ
ァレンス電圧の可変に応じた基準黒レベルのデータを用
いることができ、正確に黒シェーディング補正された画
像データを得ることができる。
According to the first aspect of the present invention, the data of the reference black level used in the black shading correction is converted into a reference voltage for detecting the reference black level and a predetermined reference voltage set for reading the document. Since the correction is performed in accordance with the ratio with respect to the voltage, the data of the reference black level according to the variation of the reference voltage of the A / D converter can be used, and the image data corrected with the black shading can be obtained accurately. Can be.

【0033】請求項2記載の発明によれば、請求項1記
載の発明を簡単な回路構成で実現することができる。
According to the second aspect of the invention, the first aspect of the invention can be realized with a simple circuit configuration.

【0034】請求項3記載の発明によれば、固体撮像素
子が、光源により照明された原稿からの反射光を等倍型
光学系を介して受光して光電変換する等倍密着型センサ
よりなるので、本来的に1ライン毎に黒シェーディング
補正用の基準黒レベルのデータを持っていないタイプに
おけるA/D変換器のリファレンス電圧の可変に伴う不
具合を解消することができる。
According to the third aspect of the present invention, the solid-state imaging device is a one-to-one contact type sensor that receives reflected light from a document illuminated by the light source via the one-to-one optical system and performs photoelectric conversion. Therefore, it is possible to solve the problem associated with the variation of the reference voltage of the A / D converter in the type that does not originally have the data of the reference black level for black shading correction for each line.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施の形態のADFの概略構成を示
す正面図である。
FIG. 1 is a front view showing a schematic configuration of an ADF according to an embodiment of the present invention.

【図2】等倍密着型センサの出力処理回路の構成例を示
すブロック図である。
FIG. 2 is a block diagram illustrating a configuration example of an output processing circuit of the unity close-contact sensor.

【図3】そのリファレンスコントロール回路の構成例を
示すブロック図である。
FIG. 3 is a block diagram illustrating a configuration example of the reference control circuit.

【図4】黒シェーディング補正回路の構成例を示すブロ
ック図である。
FIG. 4 is a block diagram illustrating a configuration example of a black shading correction circuit.

【図5】動作例を示すタイムチャート図である。FIG. 5 is a time chart illustrating an operation example.

【符号の説明】[Explanation of symbols]

1 固体撮像素子、等倍密着型センサ 3 光源 12 A/D変換器 27 変換手段 32 メモリ 34 補正手段 35 ラッチ 36 乗算回路 37 除算回路 DESCRIPTION OF SYMBOLS 1 Solid-state image sensor, 1: 1 contact type sensor 3 Light source 12 A / D converter 27 Conversion means 32 Memory 34 Correction means 35 Latch 36 Multiplication circuit 37 Division circuit

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B047 AA01 BA02 BB03 CB15 CB17 DA04 DB01 DC01 5C072 AA01 BA08 EA07 RA15 RA16 UA02 UA03 UA06 UA07 UA09 5C077 LL04 MM05 MM20 MM27 PP06 PP07 PP44 PP45 PP46 PQ08 PQ12 PQ20 PQ22 RR01 RR16 ──────────────────────────────────────────────────続 き Continued on the front page F-term (reference)

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 原稿読取前にアレイ状の固体撮像素子か
ら得られる各画素毎の出力信号を或るリファレンス電圧
に設定されたA/D変換器によりデジタル信号に変換し
て前記固体撮像素子の全画素の基準黒レベルを検出し、
検出された基準黒レベルのデータをメモリに格納し、原
稿読取時に前記固体撮像素子から得られる各画素毎の出
力信号を所定のリファレンス電圧に設定された前記A/
D変換器によりデジタル信号に変換した原稿データから
前記メモリに格納されている対応する画素の前記基準黒
レベルのデータを減算して黒シェーディング補正を行う
画像読取装置において、 前記黒シェーディング補正時に用いる前記基準黒レベル
のデータを、前記基準黒レベルを検出する時の前記或る
リファレンス電圧と当該原稿読取時に設定される前記所
定のリファレンス電圧との比率に応じて補正する補正手
段を備えることを特徴とする画像読取装置。
An output signal for each pixel obtained from an array of solid-state imaging devices before reading a document is converted into a digital signal by an A / D converter set to a certain reference voltage, and the digital signal is output from the solid-state imaging device. Detects the reference black level of all pixels,
Data of the detected reference black level is stored in a memory, and an output signal for each pixel obtained from the solid-state imaging device at the time of reading a document is output from the A / A set at a predetermined reference voltage.
An image reading apparatus that performs black shading correction by subtracting the reference black level data of the corresponding pixel stored in the memory from the original data converted into a digital signal by the D converter, And a correction unit for correcting data of the reference black level in accordance with a ratio between the certain reference voltage at the time of detecting the reference black level and the predetermined reference voltage set at the time of reading the document. Image reading device.
【請求項2】 前記A/D変換器に設定されるリファレ
ンス電圧をデジタルデータに変換して出力する変換手段
を有し、前記補正手段は、前記基準黒レベルを検出する
時に前記変換手段により変換された前記或るリファレン
ス電圧のデジタルデータを一時記憶しておくラッチと、
このラッチに記憶された前記或るリファレンス電圧のデ
ジタルデータと前記メモリに格納されている各画素毎の
基準黒レベルのデータとを乗算する乗算回路と、この乗
算回路により乗算処理された各画素毎の基準黒レベルの
データを当該原稿読取時に設定されて前記変換手段によ
り変換された前記所定のリファレンス電圧のデジタルデ
ータにより除算して補正された基準黒レベルのデータを
出力する除算回路とを備えることを特徴とする請求項1
記載の画像読取装置。
2. A conversion means for converting a reference voltage set in the A / D converter into digital data and outputting the digital data, wherein the correction means performs conversion by the conversion means when detecting the reference black level. A latch for temporarily storing the digital data of the given reference voltage,
A multiplication circuit that multiplies the digital data of the certain reference voltage stored in the latch by the reference black level data of each pixel stored in the memory; and a multiplication circuit for each pixel multiplied by the multiplication circuit. A division circuit that outputs the corrected reference black level data by dividing the reference black level data by the digital data of the predetermined reference voltage set at the time of reading the original and converted by the conversion means. Claim 1 characterized by the following:
The image reading device according to claim 1.
【請求項3】 前記固体撮像素子は、光源により照明さ
れた原稿からの反射光を等倍型光学系を介して受光して
光電変換する等倍密着型センサよりなることを特徴とす
る請求項1又は2記載の画像読取装置。
3. The one-to-one contact type sensor for receiving reflected light from a document illuminated by a light source via a one-to-one optical system and photoelectrically converting the reflected light from the original. 3. The image reading device according to 1 or 2.
JP19554399A 1999-07-09 1999-07-09 Image reading device Expired - Fee Related JP3885984B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19554399A JP3885984B2 (en) 1999-07-09 1999-07-09 Image reading device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19554399A JP3885984B2 (en) 1999-07-09 1999-07-09 Image reading device

Publications (2)

Publication Number Publication Date
JP2001024893A true JP2001024893A (en) 2001-01-26
JP3885984B2 JP3885984B2 (en) 2007-02-28

Family

ID=16342856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19554399A Expired - Fee Related JP3885984B2 (en) 1999-07-09 1999-07-09 Image reading device

Country Status (1)

Country Link
JP (1) JP3885984B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107302644A (en) * 2016-04-15 2017-10-27 株式会社理光 Signal processing apparatus, image read-out, image processing system and signal processing control method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107302644A (en) * 2016-04-15 2017-10-27 株式会社理光 Signal processing apparatus, image read-out, image processing system and signal processing control method
US10182177B2 (en) 2016-04-15 2019-01-15 Ricoh Company, Ltd. Signal processing device, image scanning device, image forming apparatus, and method of controlling the same
CN107302644B (en) * 2016-04-15 2019-12-13 株式会社理光 Signal processing device, image reading device, image forming apparatus, and signal processing control method

Also Published As

Publication number Publication date
JP3885984B2 (en) 2007-02-28

Similar Documents

Publication Publication Date Title
US9118873B2 (en) Imaging device, image reading apparatus, image forming apparatus, and image reading method
US7869086B2 (en) Offset adjusting device, correcting device, and method of adjusting analog image signal
JP6118997B2 (en) Image reading device
JPH05500444A (en) Method and apparatus for compensating for sensitivity variations in the output of a solid-state image sensor
CN112583993B (en) Signal correction device and method, image reading device, image processing apparatus
US7359099B2 (en) Image reading device and image forming apparatus
JP2001024893A (en) Image reader
JP3494462B2 (en) Signal processing device
JP2003259223A (en) Image pickup system
JP3828296B2 (en) Image reading device
JP6303504B2 (en) Photoelectric conversion element, image reading apparatus, and image forming apparatus
JP5803387B2 (en) Image reading apparatus, image forming apparatus, light amount adjusting method, and program
JP3105936B2 (en) Image reading device
KR100240069B1 (en) Image processing method
JP3751422B2 (en) Image reading device
JP2001094742A (en) Image reader, copying machine, facsimile equipment and compound machine
JPH0461483A (en) Solid-state image pickup device
JP2004080730A (en) Image reading apparatus
KR19990038528A (en) Preprocessor of image input device and image distortion correction method using same
JPH05122527A (en) Original reader
JP2001094785A (en) Image reader and image processor provided with the image reader
JP2002185792A (en) Image reader
JP2001028673A (en) Digital image reader
JPH01213066A (en) Original moving type picture reader
JPH1132219A (en) Device and method for correcting variable density sensitivity-linearity of image sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040317

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060620

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061116

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101201

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101201

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111201

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111201

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121201

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees