JP2004056492A - Image reader - Google Patents
Image reader Download PDFInfo
- Publication number
- JP2004056492A JP2004056492A JP2002211223A JP2002211223A JP2004056492A JP 2004056492 A JP2004056492 A JP 2004056492A JP 2002211223 A JP2002211223 A JP 2002211223A JP 2002211223 A JP2002211223 A JP 2002211223A JP 2004056492 A JP2004056492 A JP 2004056492A
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- pixel
- output
- unit
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Facsimile Scanning Arrangements (AREA)
- Storing Facsimile Image Data (AREA)
- Image Input (AREA)
- Facsimile Heads (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明 一次元配列の受光素子を搭載したイメージセンサを用いて、原稿の画像を電子データとして読み取る、スキャナ、FAX、コピー機及びこれらの複合機などの画像読取装置に関する。
【0002】
【従来の技術】
従来、一次元配列の受光素子を搭載したイメージセンサを用いて、原稿の画像を電子データとして読み取る、スキャナ、FAX、コピー機及びこれらの複合機などの画像読取装置が知られている。
【0003】
ところで、画像読取装置での画像読み取りにおいて、例えば、写真画像などデータ量が多くなっても高精度で読み取りたい場合、FAXなどのデータ転送に用いるため精度より読み取った画像のデータ量を減らしたい場合、大量に原稿があり、多少画質が落ちてもできるだけ速く読み取りたい場合、また画質、データ量もそこそこで読み取りたい場合など、要望される画像データの読み取らせ方は、読み取った画像の使用用途及び、読み取り時の状況によるため多様である。
【0004】
これに対し、従来は、読み取った画像データの解像度を増減して出力することにより、画質、データ量を変化させて種々の用途に対応している。
また、これに対応する方法の一つとして、様々な用途に使えるよう、図2に例示するように、主走査方向に配列された複数の受光素子からなる2つのセンサ(第1センサ21、第2センサ22)と、第1センサ21の受光素子全ての画素信号(図2の例では17個)を出力する第1シフトレジスタ25と、第2センサ22の受光素子の偶数番目の画素信号(図2の例では8個)を出力する第2シフトレジスタ26と、第2センサ22の受光素子の奇数番目の画素信号(図2の例では9個)を出力する第3シフトレジスタ27とからなるCCDリニアイメージセンサが開発された。
【0005】
【発明が解決しようとする課題】
一方、このCCDイメージセンサからの画素信号の伝送は、受光素子が蓄積した電荷をシフトレジスタにより画素信号として順次出力するようになっていて、3つのシフトレジスタからの出力を同時に出力するときには、各シフトレジスタから出力する画素信号の数が違うため、画素信号が早く無くなってしまうシフトレジスタが出てくる。しかし、通常3つのCCDイメージセンサからの出力のコントロールは一系統で実施しているため、出力する画素信号が残っているシフトレジスタが一つでもある間、画素信号の出力動作は続く。このため、画素信号が無くなったシフトレジスタに対しても、画素信号を出力する動作は行われ、無効なデータが伝送され、メモリに記録されている。
【0006】
従来の画像読取装置では、図8に示す様に、前述のCCDリニアイメージセンサであるCCDリニアイメージセンサ20(以降CCDセンサ20と呼ぶ。)で読み取った画素信号を、セレクタ76で選択し、A/D変換器77でデジタル信号に変換して、画像読取制御部40内にあるデータサンプリングブロック44で画素データを受け、画像読取制御部40内にあるメモリインターフェイス回路46によりメモリ70に画素データを書き込むよう構成されており、この画像読取装置での画像信号の伝送は以下のようになる。
【0007】
まず、CCDセンサ20では、図3に示す様に、転送クロックφ1、φ2のエッジ部毎に、シフトレジスタから転送される電荷に応じた電圧を出力端子OUT1〜OUT3に出力する。すなわち、受光素子で受光した画像の画素信号を出力する。この時、第2シフトレジスタは転送クロックのエッジ部が9回目、第3シフトレジスタでは10回目以降の信号には画素情報は入っていない。
【0008】
次に、CCDセンサ20から出力された画素信号は、セレクタ76で受けられ、そのセレクタ76で受けられた3チャンネルの画素信号は、図4(a)に示す様に転送クロックφ1、φ2の周期内で順番に選択してA/D変換器77に出力され、A/D変換器77で、セレクタ76が出力する周期と同じ周期で図4(b)のように、アナログ信号からデジタル信号へ変換されシリアルデータ列として出力される。
【0009】
この時、転送クロックのエッジ部の回数が9回目以降の第2シフトレジスタからの出力、及び、10回目以降の第3シフトレジスタからの出力には、画素情報が入っていないが、セレクタ76は第2シフトレジスタ、及び第3シフトレジスタのチャンネルを選択してしまうため、この画素情報が入っていないチャンネルに対してもA/D変換器77でデジタル信号化の動作は行われシリアルデータ列(図4のハッチング部)として伝送され、図5(a)のようにメモリに記録されてしまっている。
【0010】
このように、画素情報を持たない無効なデータがメモリ領域を使用してしまい、メモリ容量を圧迫するという問題がある。また、メモリに記録された画素データを用いての画像処理の際に無効なデータが含まれることとなり、メモリからの読み出しに時間がかかってしまったり、画像処理の段階で無効なデータを選別する処理が必要となる等の問題がある。
【0011】
本発明は、こうした問題点に鑑みなされたものであり、2つのセンサと、1つのセンサの受光素子全ての画素信号を出力する第1シフトレジスタと、もう一つのセンサの受光素子の偶数番目の画素信号を出力する第2シフトレジスタと、第2シフトレジスタと同じセンサの受光素子の奇数番目の画素信号を出力する第3シフトレジスタとからなるCCDイメージセンサを用いた画像読取装置において、シフトレジスタで出力する画素数の違いにより発生する無効なデータをメモリに書き込まないようにすることを目的とする。
【0012】
【課題を解決するための手段】
かかる目的を達成するためになされた請求項1記載の画像読取装置においては、主走査方向に配列された複数の受光素子からなる第1センサと、主走査方向に配列された複数の受光素子からなり、第1センサに対して副走査方向に所定間隔離れて配置された第2センサと、第1センサの各受光素子から得た画素信号を、所定の周期で受光素子の配列順に出力する第1出力手段と、第2センサを構成する受光素子の内、偶数番目に配置された受光素子から得た画素信号を、所定の周期で受光素子の配列順に出力する第2出力手段と、第2センサを構成する受光素子の内、奇数番目に配置された受光素子から得た画素信号を、所定の周期で受光素子の配列順に出力する第3出力手段と、各出力手段からの画素信号を、デジタル信号としての画素データに変換して出力する変換手段と、変換手段から出力される画素データを記憶する画素データ記憶手段とを備える。
【0013】
そして、各出力手段が一走査当たりに出力する画素数を表す画素数情報が各出力毎に記憶された画素数情報記憶手段と、画素データ記憶手段が記憶する画素データ数が、前記各出力手段が出力した画素数に対応するよう、画素数情報に基づき、画素データ記憶手段が記憶する画素データを制限する画素データ記憶制限手段とを備えたことを特徴とする。
【0014】
この結果、本発明の画像読取装置によれば、各出力手段が、一走査当りに出力する画素数分しか、画素データ記憶手段に記憶されないようにできる。これにより、画素データ記憶手段での記憶領域の無駄がなくなる。また、画素データ記憶手段に記憶した画素データを用いる画像処理装置における処理を少なくできる。
【0015】
ところで、各出力手段が出力する画素数は、第1、第2センサの受光素子の数が偶数の場合、第1出力手段で出力する画素数は、第1センサの数と同じ数で、これに対し、第2、第3出力手段で出力する画素数は、第2センサの受光素子の数の半分(つまり第1出力手段で出力する画素数の半分)になる。また、第1、第2センサの受光素子の数が奇数の場合、第1出力手段で出力する画素数に対し、第2出力手段は、第2センサの画素数から1引いてから2で割った数となり、第3出力手段の画素数は、第2センサの画素数から1引いてから2で割って1加えた数となる。このように、各出力手段が出力する画素数の間には関連があり、第1出力手段で出力する画素数が分かっていれば、他の2つの出力手段が出力する画素数を簡単な演算手段で設定することができる。この関係を利用して、請求項2に記載のような画像読取装置とすることができる。
【0016】
即ち、請求項2記載の画像読取装置において、画素数情報記憶手段には、画素数情報として、第1出力手段が一走査当たりに出力する画素数の情報が記憶されており、画素データ記憶制限手段は、この画素数情報から、各出力手段が一走査当たりに出力する画素数を求め、この画素数に基づき、画素データ記憶手段に記憶する画素データを制限する。
【0017】
この結果、本発明(請求項2)の画像読取装置によれば、画素数記憶手段は1つの情報を持つだけのものとすることができる。よって画素数記憶手段の記憶領域を減らすことができ装置を簡単化できる。
また、画素データ記憶手段で記憶する画素データの制限は、出力手段での出力以降、どの時点で行っても良いが、より上流で行う方が下流で行う処理で無効なデータに対する処理を行わなくても済む。
【0018】
そこで、請求項3記載の画像読取装置においては、画素データ記憶制限手段は、変換手段から画素データ記憶手段への出力直後で、画素データ記憶手段が記憶する画素データを制限している。
この結果、本発明(請求項3)の画像読取装置によれば、変換手段の出力直後での画素データを制限できる。これにより、制限を行った以降の画素データの伝送経路に無効なデータは流れなくなるため、伝送経路上に画素データの処理装置がある場合に、無効なデータによる無駄な処理を削減できる。
【0019】
また、画素データの伝送の経路上、画素情報記憶手段へ記憶する画素データの伝送制限は、より下流で行っても良く、請求項4記載の画像読取装置のように、画素データ記憶手段への書き込みの段階で行ってもよい。
即ち、請求項4記載の画像読取装置において、画素データ記憶手段は、画素データを記憶する記憶部と、変換手段から出力された画素データを記憶部に書き込む書込手段とを備え、記画素データ記憶制限手段は、書込手段による記憶部への画素データの書込動作を制限する。
【0020】
この結果、本発明(請求項4)の画像読取装置によれば、記憶部に書き込む段階での書き込み制限をすることができる。
また、無効な画素データが流れている間は、消費電力を抑える目的から極力、不必要な動作は行わないようにしたい。
【0021】
これに対して、請求項5記載の画像読取装置においては、変換手段は、各出力手段からの画素信号の画素データへの変換を、外部から入力される変換指令に従い実行するよう構成され、画素データ記憶制限手段は、変換手段が、各出力手段が出力した画素信号のみを画素データに変換するよう、変換手段への変換指令の入力を制御する。
【0022】
この結果、本発明(請求項5)の画像読取装置によれば、無効データの時には変換手段は行われず、消費電力を低減できる。
【0023】
【発明の実施の形態】
以下に本発明の実施例を図面と共に説明する。
[第1実施例]
図1は、本発明が適用された画像読取装置1の内部構成を表すブロック図である。
【0024】
本実施例の画像読取装置1は、CCD(Charge Coupled Diode)リニアイメージセンサ20が感受した原稿画像の画素信号を、AFE(Analog Front End)75でデジタル信号(画素データ)に変換して出力し、画像読取制御部40内にあるデータサンプリングブロック44で画素データを受け、画像読取制御部40内にあるメモリインターフェイス回路46によりメモリ70に画素データを書き込む画像読取装置である。
【0025】
本実施例の画像読取装置1は、図1に示すように、CCDリニアイメージセンサ(以下CCDセンサと呼ぶ。)20と、画像読取装置1全体の動作を制御するCPU80、CCDセンサ20からの3出力のアナログデータをセレクタ76で切り換えながらデジタル信号に変換し出力するAFE75、画素データを記録(記憶)するメモリ70、CCDセンサ20や、AFE75及びメモリ70の動作を制御する画像読取制御部40などで構成されている。
【0026】
尚、CCDセンサ20は、図2に示すように、第1センサ21、第2センサ22、第1シフトレジスタ25、第2シフトレジスタ26、及び第3シフトレジスタ27とで構成される。
そして、第1センサ21は、受光した光量に応じて電荷を蓄積する受光素子が一次元に配置されている。また、第2センサ22は、第1センサ21と同じ受光素子列を第1センサ21に対し、副走査方向に所定のライン分離れ(今回は6ライン分)、かつ主走査方向に半素子分ずれて設置している。
【0027】
また、第1シフトレジスタ25は、第1センサ21の受光素子が蓄積した電荷の全てを個々に受け、出力端子OUT1に向かって電荷をシフトして、電荷に比例した電圧を画素信号として出力端子OUT1から順次出力し、第2シフトレジスタ26は、第2センサ22の偶数番目の受光素子の電荷を個々に受け、第1シフトレジスタ25と同様の方法で出力端子OUT2に順次出力し、第3シフトレジスタ27は、第2センサ22の奇数番目の受光素子の電荷を個々に受け第1シフトレジスタ同様の方法で出力端子OUT3に順次出力する。
【0028】
また、第1、第2センサ21、22において、図2に示す例では、受光素子の数は17個となっている。このため、第1シフトレジスタから出力する画素信号の数は17個、第2シフトレジスタから出力する画素信号の数は8個、第3シフトレジスタから出力する画素信号の数は9個となる。
【0029】
また、AFE75は、CCDセンサ20の出力端子OUT1〜OUT3からの出力を選択して出力するセレクタ76と、セレクタ76からの信号をデジタル信号に変換するA/D変換器77とからなる。そして、AFE75は、CCDセンサ20からの入力をサンプルホールドし、それぞれゲインを調整可能で、かつオフセット補正機能を有するチャンネルを3個有し、CCDセンサ20の出力端子OUT1からの出力をチャンネルCH1として受け、出力端子OUT2の出力をチャンネルCH2として受け、出力端子OUT3の出力をチャンネルCH3として受け、外部からの指令に基づき出力する信号のチャンネルをセレクタ76によって選択し、所定の時間毎に切り換えて出力する。
【0030】
また、画像読取制御部40は、いわゆるASIC(Application Specific Integrated Circuit)で構成され、AFE75の動作を制御するAFEコントロールブロック42、CCDセンサ20の動作を制御するデバイスコントロールブロック43、FIFO(First In First Out)メモリを有し、AFE75からの画素データを、サンプリングしてFIFOメモリに記録するデータサンプリングブロック44、データサンプリングブロック44での画素データのサンプリングのタイミング信号を生成する取込信号生成回路50、サンプリングした画素データに対し、シェーディング等の補正を加える読取データ処理回路45、読取データ処理回路45からの画素データをメモリ70に書き込みを行うメモリインターフェイス回路46、及び画像読取制御部40内の各ブロックでの動作条件の設定値を記憶するレジスタ群60などにより構成されている。
【0031】
尚、取込信号生成回路50は、各チャンネルCH1〜CH3毎に、デバイスコントロールブロック43からのパルス信号でカウントアップするカウンタ53、及び、対応するチャンネルの取込画素数設定レジスタの値とカウンタ53の値とを比較する論理演算回路である比較器52、及び、比較器52の出力とデバイスコントロールブロック43からのパルス信号との論理積を出力するAND素子51を備えている。
【0032】
また、レジスタ群60は、CCDセンサ20の出力端子OUT1から出力される画素信号の数を記憶するチャンネル1取込画素数設定レジスタ61、出力端子OUT2から出力される画素信号の数を記憶するチャンネル2取込画素数設定レジスタ62、出力端子OUT3から出力される画素信号の数を記憶するチャンネル3取込画素数設定レジスタ63などからなり、各レジスタの内容は、画像読取装置1の起動時にCPU80により書き込まれる。
【0033】
また、デバイスコントロールブロック43は、CCDセンサ20からの画素信号の出力時間で決まる周期のパルス信号であるシフトゲート信号SHと、シフトレジスタの特性で決まる周期で、180度位相の違う2つの矩形波である転送クロックφ1、φ2と、転送クロックと同じ周期で出るパルス信号であるリセット信号RSと、をCCDセンサ20に出力する。更に、デバイスコントロールブロック43は、セレクタ76で選択するチャンネルに対応した取込信号生成回路50のカウンタ53へのラインに、パルス信号を出力する。尚、このパルス信号は、AFE75のセレクタ76でのチャンネルを切り換えるタイミングに同期している。また、シフトゲート信号SHのタイミングで、取込信号生成回路50のカウンタ53などをリセットするようになっている。
【0034】
ここで、本画像読取装置で、CCDセンサ20の第1、第2センサ21、22での画素信号を、第1〜第3シフトレジスタ25〜27から出力して、画素データとしてメモリ70に書き込むまでの動作を説明する。
尚、本動作で読み込まれた画素データは、第2センサ22から画素データと、CCDセンサ20を6ライン分移動したときの第1センサ21からの画素データとを、交互に並べた画素データとして取り扱うことにより、1つのセンサがもつ解像度の2倍の解像度の画素データとして用いるためのものである。
【0035】
まず、CCDセンサ20において、第1センサ21に前回のシフトゲート信号SHから今回のシフトゲート信号SHまでの間に原稿からの光を受けて蓄積された受光素子毎の電荷を、シフトゲート信号SHの立ち下がりで、第1シフトレジスタ25に移動する。また、同じく第2センサ22においても、偶数番目の受光素子の電荷が、第2シフトレジスタ26に、奇数番目の受光素子の電荷が第3シフトレジスタ27に移動する。
【0036】
次に、図3に示す様に、CCDセンサ20の各出力端子OUT1〜OUT3の出力は、リセット信号RSの立ち上がりで、電荷がクリアされ基準電圧に戻る。そして、転送クロックφ1、φ2のエッジ部で、各シフトレジスタの電荷が出力端子方向にシフトされ、一番出力端子側のシフトレジスタの電荷が出力端子にシフトするため、シフトされた電荷に応じた電圧が出力端子OUT1〜OUT3に出力される。すなわち、受光素子が受光した画像の画素信号が出力される。
【0037】
そして、出力端子OUT1〜OUT3での電圧変化が安定する時点から、次のリセット信号RSが来るまでの間にAFE75の各チャンネルCH1〜CH3で、出力端子OUT1〜OUT3の画素信号をサンプルホールドし、そのサンプルホールドした画素信号にAFEコントロールブロック42を介して、あらかじめ設定されているゲインをかけ、オフセット補正を加える。
【0038】
これらの各センサの電荷が各シフトレジスタによりシフトされて、AFE75の各チャンネルCH1〜CH3毎にサンプルホールドされ、オフセット補正されるまでの動作は、転送クロックφ1、φ2のエッジ毎に繰り返される。
次に、AFE75の各チャンネルCH1〜CH3でサンプルホールドされ、オフセット補正された信号は、セレクタ76で、図4(a)に示す様に、転送クロックφ1、φ2の周期内で3つのチャンネルを順次選択し出力される。
【0039】
次に、セレクタ76から出力された信号は、A/D変換器77で、セレクタ76の出力と同じ周期で図4(b)のように、アナログ信号からデジタル信号へ変換され、例えば、1画素につき8ビットからなるデジタル信号(画素データ)として順次出力される。
【0040】
一方、取込信号生成回路50では、A/D変換器77が画素データを出力するタイミングで、デバイスコントロールブロック43から、A/D変換器77から出力される画素データのチャンネルに対応した回路にパルス信号を受け、カウンタ53の値によってデータサンプリングブロック44に対して、サンプリングのトリガ信号を出力する。
【0041】
例えば、チャンネルCH2の画素データがA/D変換器77から出力される時、デバイスコントロールブロック43からチャンネルCH2に対応するカウンタ53に対してパルス信号が出力され、カウンタ53はカウンタの値をカウントアップする。そして、カウンタ53の値と、チャンネル2取込画素数設定レジスタ62の値とを比較器52で比較して、カウンタ53の値がチャンネル2取込画素数設定レジスタ62の値である「8」以下の場合は、比較器52の出力が「1」となる。この時、デバイスコントロールブロック43からのパルス信号がAND素子51にも入り、パルス信号が来ている間AND素子51が「1」となる。
【0042】
同様に、チャンネルCH1の画素データに対しては、カウンタ53の出力が、チャンネル1取込画素数設定レジスタ61の値「17」以下の場合、及びチャンネルCH3の画素データに対しては、カウンタ53の出力がチャンネル3取込画素数設定レジスタ63の値「9」以下の場合に、デバイスコントロールブロック43からのパルス信号が来ている間、AND素子51が「1」となる。
【0043】
次に、AFE75から出力された画素データは、データサンプリングブロック44で、取込信号生成回路50の3つのAND素子51のいずれかの出力が「1」となったタイミングでサンプリングされて、FIFOメモリに記憶される。この時、受けたAND素子51のチャンネルを基に、画素データにチャンネルの情報が加えられる。例えば画素データに、チャンネルの情報を表す2ビットのデータを加える。
【0044】
次に、データサンプリングブロック44のFIFOメモリに記憶された画素データは、読取データ処理回路45により取り出されて、画素データのチャンネルに対応したシェーディング処理、ガンマ補正、暗補正の演算処理が行われる。
次に、読取データ処理回路45で演算処理された画素データは、メモリインターフェイス回路46でメモリ70の所定のアドレスに順番に書き込まれる。
【0045】
次に、次のシフトゲート信号SHが出ると、画像読取制御部40内にある各カウンタはリセットされると共に、CCDセンサ20は、先の画素信号の出力をしている間に第1及び第2センサ21、22に蓄積された電荷を、再度各シフトレジスタに転送する。そして、以下同様にCCDセンサ20から画素信号を出力して、メモリ70に記録(記憶)するまでの動作を繰り返す。
[効果]
取込信号生成回路50のカウンタ53が、チャンネル1〜3取込画素数設定レジスタ61〜63に設定の画素数(つまりチャンネルCH1は17個、チャンネルCH2は8個、チャンネルCH3は9個。)より多くなってからは、比較器52の出力が「0」となるため、AFE75から出力されるチャンネルの画素データに対して、AND素子51からのイネーブル信号が出力されず、データサンプリングブロック44でサンプリングされない。よって、図5(b)のように第1〜第3シフトレジスタ25〜27が出力する画素数の画素データだけがメモリに記録(記憶)される。
【0046】
これにより、メモリ70への無効な画素データの記録(記憶)を減らすことができ、不必要に大きなメモリ70を持たずに済む。また、外部の画像処理装置等に、メモリのデータを出力する際にも、データ量が少なくなり速く出力でき、外部の画像処理装置等での処理も軽減できる。
[第2実施例]
第2実施例は、目的、用途は第1実施例と同じで、画像読取制御部40の構成を、第1実施例では、取込信号生成回路50の信号を用いて、データサンプリングブロック44のサンプリングタイミングを制御して伝送する画素データを制限していたものを、第2実施例では、メモリインターフェイス回路46でメモリ70に書き込む画素データを、取込信号生成回路54で制限するようにしたものである。
【0047】
その構成は、図6の全体構成に示す様に、デバイスコントロールブロック43が、データサンプリングブロック44に対しサンプリングのタイミング信号を出力し、取込信号生成回路54がメモリインターフェイス回路46に対し、メモリ70への画素データの書き込みを許可する信号を出力するようになっている。
【0048】
また、メモリインターフェイス回路46は、カウンタ機能を有し、3つのデータ(つまりCCDセンサ20の3チャンネル分の信号データ)を受け取る毎に、取込信号生成回路54に対し、カウントアップのためのパルス信号を出力する。
そして、取込信号生成回路54は、メモリインターフェイス回路46からのパルス信号により、カウンタ53をカウントアップし、チャンネル1取込画素数設定レジスタ61の値、チャンネル2取込画素数設定レジスタ62の値、チャンネル3取込画素数設定レジスタ63の値をそれぞれ各比較器52で比較し、カウンタ53の値が設定値以下の場合、該当する比較器52が「1」をメモリインターフェイス回路46の各入力ポートに出力する。
【0049】
メモリインターフェイス回路46は、受け取った画素データがもつチャンネル情報に対応する取込信号生成回路54からの入力ポートに「1」の信号があると、メモリ70に対する書き込みを行う。
[効果]
メモリインターフェイス回路46でメモリ70に書き込むデータは、チャンネル1〜3取込画素数設定レジスタ61〜63に設定の画素数より大きくなってから出力されるデータに対しては、比較器52の出力が「0」となるため、メモリ70への書き込みが行われない。よって、第1から第3シフトレジスタ25〜27が出力する画素数の画素データだけがメモリに記録(記憶)される。
【0050】
この結果、第1実施例と同様の効果を得ることができる。
[本発明との対応関係]
上述した、CCDセンサ20の第1センサ21、第2センサ22、第1シフトレジスタ25、第2シフトレジスタ26、第3シフトレジスタ27は、それぞれ本発明における、第1センサ、第2センサ、第1出力手段、第2出力手段、第3出力手段である。
【0051】
また、AFE75が、本発明における変換手段で、メモリ70が、画像データ記憶手段で、取込画素数設定レジスタ61〜66が、画素数情報記憶手段で、取込信号生成回路50、54が、画素データ記憶制限手段である。
[変形例]
以上、本発明の実施形態について説明したが、本発明は上記の具体的な実施形態に限定されず、このほかにも様々な形態で実施することができる。
【0052】
例えば、上記第1実施例の説明では、CCDセンサ20からの3つの出力を全てメモリ70に記録(記憶)する場合について説明したが、AFEコントロールブロック42に対し、AFE75で選択するチャンネルを指令し、AFEコントロールブロック42からの信号によりセレクタ76で選択するチャンネルを切り換えることにより、各チャンネルのうち1つのチャンネルの信号の画素データだけをメモリ70に記録(記憶)することや、チャンネルCH2、CH3の二つの信号の画素データだけをメモリ70に記録(記憶)することもできる。これにより、第1センサ及び第2センサが持つ解像度での画素データの記録(記憶)や、第2センサが持つ解像度の半分の解像度での画素データの記録(記憶)など、読み取る解像度を変えたデータを取得することができる。
【0053】
また、本第1、第2実施例において、取込画素数を各チャンネルについてチャンネル1〜3取込画素数設定レジスタ61〜63の3つのレジスタに持たせているが、取込画素数には各チャンネル間で関連があるため、図7のように、レジスタ群にもつ情報はチャンネル1取込画素数設定レジスタ61だけとし、チャンネル1取込画素数設定レジスタ61の値のバイナリデータを、1ビット桁落ちする方向にシフトする(つまり2で除算する)演算回路55と、演算回路55でのビットシフトで外にでてくる値(チャンネル1取込画素数設定レジスタ61の値が偶数なら「0」、奇数なら「1」)が設定される+1設定レジスタ56で構成してもよい。尚、チャンネルCH2の比較器52では、チャンネル2取込画素数として演算回路55の値を用い、チャンネルCH3の比較器52では、チャンネル3取込画素数として、演算回路55の値に、+1設定レジスタ56の値を加えた値が用いられる。このように、チャンネル1取込画素数設定レジスタ61の設定だけで良い画像読取装置とすることができる。
【0054】
さらに、チャンネルCH2とチャンネルCH3での取込画素数の違いは1画素分だけであり、チャンネルCH2での画素数を、多い方のチャンネルCH3と同じものとして、チャンネルCH2用AND素子51にチャンネルCH3用の比較器52の出力を入力し、チャンネルCH2用の比較器52、カウンタ53を省略するようにしても良い。これにより、より簡略な装置構成とすることができる。
【0055】
また、図1の点線で示すように、取込信号生成回路50からの信号をAFEコントローラ42に入力し、取込信号生成回路50から信号が入ったチャンネルの信号に対してA/D変換器77の動作を実施するように制御してもよい。これにより、無効なデータが流れている間は、A/D変換器77が動作しなくなるため、電力の低減が図られる。
【図面の簡単な説明】
【図1】第1実施例の画像読取装置の全体構成を表す図である。
【図2】第1実施例のCCDリニアイメージセンサ20の構成を表す図である。
【図3】第1実施例のCCDセンサ20での信号の状態を表すタイミングチャート図である。
【図4】第1実施例の画素データの状態を説明する図である。
【図5】第1実施例のメモリ70での画素データの記録状態を説明する図である。
【図6】第2実施例の画像読取装置の全体構成を表す図である。
【図7】第1実施例の画像読取装置の変形例の全体構成を表す図である。
【図8】従来の画像読取装置の全体構成を表す図である。
【符号の説明】
1…画像読取装置、20…CCDリニアイメージセンサ、21…第1センサ、22…第2センサ、25…第1シフトレジスタ、26…第2シフトレジスタ、27…第3シフトレジスタ、40…画像読取制御部、42…AFEコントロールブロック、43…デバイスコントロールブロック、44…データサンプリングブロック、45…読取データ処理回路、46…メモリインターフェイス回路、50…取込信号生成回路、51…AND素子、52…比較器、53…カウンタ、54…取込信号生成回路、60…レジスタ群、61…チャンネル1取込画素数設定レジスタ、62…チャンネル2取込画素数設定レジスタ、63…チャンネル3取込画素数設定レジスタ、70…メモリ、75…AFE、76…セレクタ、77…A/D変換器。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image reading apparatus, such as a scanner, a facsimile, a copier, and a multifunction machine for reading an image of a document as electronic data using an image sensor equipped with a one-dimensional array of light receiving elements.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there are known image reading apparatuses such as scanners, fax machines, copiers, and multifunction machines for reading an image of a document as electronic data using an image sensor equipped with a one-dimensional array of light receiving elements.
[0003]
By the way, in the image reading by the image reading apparatus, for example, when it is desired to read with high accuracy even if the data amount such as a photographic image is large, and when it is desired to reduce the data amount of the read image more than the accuracy because it is used for data transfer such as FAX. If you have a large number of originals and want to read as fast as possible even if the image quality is slightly degraded, or if you want to read the image quality and data volume there as well, the desired method of reading image data depends on the intended use of the scanned image and , Because of the situation at the time of reading.
[0004]
On the other hand, conventionally, by changing the resolution of read image data and outputting it, the image quality and the amount of data are changed to meet various uses.
As one of the methods corresponding to this, as shown in FIG. 2, two sensors (
[0005]
[Problems to be solved by the invention]
On the other hand, in the transmission of the pixel signal from the CCD image sensor, the charges accumulated in the light receiving elements are sequentially output as pixel signals by the shift register, and when the outputs from the three shift registers are simultaneously output, Since the number of pixel signals output from the shift register is different, some shift registers lose pixel signals quickly. However, since the output control from the three CCD image sensors is normally performed by one system, the output operation of the pixel signal continues as long as there is at least one shift register in which the output pixel signal remains. Therefore, the operation of outputting the pixel signal is performed even for the shift register from which the pixel signal has disappeared, and invalid data is transmitted and recorded in the memory.
[0006]
In the conventional image reading apparatus, as shown in FIG. 8, a pixel signal read by the CCD linear image sensor 20 (hereinafter referred to as CCD sensor 20), which is the above-described CCD linear image sensor, is selected by a selector 76, and A The image data is converted into a digital signal by the / D converter 77, the pixel data is received by the
[0007]
First, as shown in FIG. 3, the
[0008]
Next, the pixel signals output from the
[0009]
At this time, although the output from the second shift register after the ninth edge portion of the transfer clock and the output from the third shift register after the tenth edge do not contain pixel information, the selector 76 has Since the channels of the second shift register and the third shift register are selected, the A / D converter 77 performs a digital signal operation on the channel that does not contain the pixel information, and the serial data stream ( It is transmitted as a hatched part in FIG. 4) and recorded in the memory as shown in FIG.
[0010]
As described above, there is a problem that invalid data having no pixel information uses the memory area, and the memory capacity is reduced. In addition, invalid data is included in image processing using pixel data recorded in the memory, so that it takes time to read from the memory or invalid data is selected at the stage of image processing. There is a problem that processing is required.
[0011]
The present invention has been made in view of such a problem, and has two sensors, a first shift register that outputs pixel signals of all light receiving elements of one sensor, and an even-numbered light receiving element of another sensor. An image reading apparatus using a CCD image sensor, comprising: a second shift register that outputs a pixel signal; and a third shift register that outputs an odd-numbered pixel signal of a light receiving element of the same sensor as the second shift register. An object of the present invention is to prevent invalid data generated due to the difference in the number of pixels output from the memory from being written to the memory.
[0012]
[Means for Solving the Problems]
In order to achieve the above object, the image reading apparatus according to
[0013]
A pixel number information storage unit in which pixel number information indicating the number of pixels output by each output unit per scan is stored for each output, and a pixel data number stored in the pixel data storage unit is determined by the output unit. And a pixel data storage restricting unit that restricts the pixel data stored in the pixel data storage unit based on the pixel number information so as to correspond to the number of pixels output by the pixel data storage unit.
[0014]
As a result, according to the image reading device of the present invention, each output unit can store only the number of pixels output per scan in the pixel data storage unit. This eliminates waste of the storage area in the pixel data storage means. Further, the number of processes in the image processing apparatus using the pixel data stored in the pixel data storage unit can be reduced.
[0015]
By the way, the number of pixels output by each output means is the same as the number of first sensors when the number of light receiving elements of the first and second sensors is even. On the other hand, the number of pixels output by the second and third output means is half of the number of light receiving elements of the second sensor (that is, half of the number of pixels output by the first output means). Further, when the number of light receiving elements of the first and second sensors is odd, the second output means subtracts one from the number of pixels of the second sensor and divides by two with respect to the number of pixels output by the first output means. The number of pixels of the third output means is a number obtained by subtracting 1 from the number of pixels of the second sensor, dividing by 2 and adding 1 to the number. As described above, there is a relationship between the number of pixels output by each output means, and if the number of pixels output by the first output means is known, the number of pixels output by the other two output means can be easily calculated. It can be set by means. By utilizing this relationship, an image reading apparatus according to the second aspect can be provided.
[0016]
That is, in the image reading apparatus according to the second aspect, the pixel number information storage means stores information on the number of pixels output by the first output means per one scan as the pixel number information. The means obtains the number of pixels output by each output means per one scan from the pixel number information, and limits the pixel data stored in the pixel data storage means based on the number of pixels.
[0017]
As a result, according to the image reading apparatus of the present invention (claim 2), the pixel number storage means can have only one information. Therefore, the storage area of the pixel number storage means can be reduced, and the device can be simplified.
In addition, the limitation of the pixel data stored in the pixel data storage means may be performed at any time after the output by the output means, but the processing performed more upstream does not perform the processing for invalid data in the processing performed downstream. You can do it.
[0018]
Therefore, in the image reading device according to the third aspect, the pixel data storage limiting unit limits the pixel data stored in the pixel data storage unit immediately after the output from the conversion unit to the pixel data storage unit.
As a result, according to the image reading apparatus of the present invention (claim 3), it is possible to limit the pixel data immediately after the output of the conversion unit. As a result, invalid data does not flow on the pixel data transmission path after the restriction is performed, so that when a pixel data processing device is on the transmission path, unnecessary processing due to invalid data can be reduced.
[0019]
Further, on the transmission path of the pixel data, the transmission restriction of the pixel data stored in the pixel information storage means may be performed further downstream, and the transmission to the pixel data storage means may be performed as in the image reading apparatus according to
That is, in the image reading device according to
[0020]
As a result, according to the image reading apparatus of the present invention (claim 4), it is possible to restrict writing at the stage of writing to the storage unit.
In addition, while invalid pixel data is flowing, it is desirable to minimize unnecessary operations in order to reduce power consumption.
[0021]
On the other hand, in the image reading apparatus according to the fifth aspect, the conversion unit is configured to execute conversion of the pixel signal from each output unit into pixel data in accordance with a conversion command input from the outside. The data storage limiting unit controls the input of the conversion command to the converting unit such that the converting unit converts only the pixel signal output from each output unit into pixel data.
[0022]
As a result, according to the image reading apparatus of the present invention (claim 5), the conversion unit is not performed at the time of invalid data, and power consumption can be reduced.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First embodiment]
FIG. 1 is a block diagram illustrating an internal configuration of an
[0024]
The
[0025]
As shown in FIG. 1, the
[0026]
The
The
[0027]
Further, the first shift register 25 individually receives all the electric charges accumulated by the light receiving elements of the
[0028]
In the first and
[0029]
The
[0030]
The image
[0031]
Note that the capture
[0032]
The
[0033]
The device control block 43 includes a shift gate signal SH, which is a pulse signal having a cycle determined by the output time of the pixel signal from the
[0034]
Here, in the image reading apparatus, pixel signals from the first and
The pixel data read in this operation is pixel data obtained by alternately arranging pixel data from the
[0035]
First, in the
[0036]
Next, as shown in FIG. 3, the output of each of the output terminals OUT1 to OUT3 of the
[0037]
Then, the pixel signals of the output terminals OUT1 to OUT3 are sampled and held in each of the channels CH1 to CH3 of the
[0038]
The operation until the charges of these sensors are shifted by the respective shift registers, sampled and held for each of the channels CH1 to CH3 of the
Next, the signals sampled and held in each of the channels CH1 to CH3 of the
[0039]
Next, the signal output from the selector 76 is converted by an A / D converter 77 from an analog signal to a digital signal at the same cycle as the output of the selector 76 as shown in FIG. Are sequentially output as digital signals (pixel data) of 8 bits.
[0040]
On the other hand, in the capture
[0041]
For example, when the pixel data of the channel CH2 is output from the A / D converter 77, a pulse signal is output from the device control block 43 to the
[0042]
Similarly, when the output of the
[0043]
Next, the pixel data output from the
[0044]
Next, the pixel data stored in the FIFO memory of the
Next, the pixel data calculated by the read data processing circuit 45 is sequentially written to a predetermined address of the
[0045]
Next, when the next shift gate signal SH is output, each counter in the image
[effect]
The
[0046]
As a result, the recording (storage) of invalid pixel data in the
[Second embodiment]
The purpose and use of the second embodiment are the same as those of the first embodiment, and the configuration of the image
[0047]
As shown in the overall configuration of FIG. 6, the device control block 43 outputs a sampling timing signal to a
[0048]
Further, the memory interface circuit 46 has a counter function, and every time it receives three data (ie, signal data for three channels of the CCD sensor 20), it sends a pulse for counting up to the capture signal generation circuit 54. Output a signal.
Then, the capture signal generation circuit 54 counts up the
[0049]
When there is a signal of “1” at the input port from the capture signal generation circuit 54 corresponding to the channel information of the received pixel data, the memory interface circuit 46 performs writing to the
[effect]
The data to be written to the
[0050]
As a result, the same effect as in the first embodiment can be obtained.
[Correspondence with the present invention]
The
[0051]
The
[Modification]
As described above, the embodiments of the present invention have been described. However, the present invention is not limited to the above specific embodiments, and can be implemented in various other modes.
[0052]
For example, in the description of the first embodiment, a case has been described in which all three outputs from the
[0053]
In the first and second embodiments, the number of pixels to be captured is provided in each of the three registers of
[0054]
Further, the difference in the number of pixels taken in between the channels CH2 and CH3 is only one pixel, and the number of pixels in the channel CH2 is set to be the same as that of the larger channel CH3. The output of the
[0055]
As shown by the dotted line in FIG. 1, the signal from the capture
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an overall configuration of an image reading apparatus according to a first embodiment.
FIG. 2 is a diagram illustrating a configuration of a CCD
FIG. 3 is a timing chart illustrating a state of a signal in the
FIG. 4 is a diagram illustrating a state of pixel data according to the first embodiment.
FIG. 5 is a diagram illustrating a recording state of pixel data in a
FIG. 6 is a diagram illustrating an overall configuration of an image reading apparatus according to a second embodiment.
FIG. 7 is a diagram illustrating an entire configuration of a modification of the image reading apparatus according to the first embodiment.
FIG. 8 is a diagram illustrating an entire configuration of a conventional image reading apparatus.
[Explanation of symbols]
DESCRIPTION OF
Claims (5)
主走査方向に配列された複数の受光素子からなり、前記第1センサに対して副走査方向に所定間隔離れて配置された第2センサと、
前記第1センサの各受光素子から得た画素信号を、所定の周期で受光素子の配列順に出力する第1出力手段と、
前記第2センサを構成する受光素子の内、偶数番目に配置された受光素子から得た画素信号を、前記周期で受光素子の配列順に出力する第2出力手段と、
前記第2センサを構成する受光素子の内、奇数番目に配置された受光素子から得た画素信号を、前記周期で受光素子の配列順に出力する第3出力手段と、
前記各出力手段からの画素信号を、デジタル信号としての画素データに変換して出力する変換手段と、
該変換手段から出力される画素データを記憶する画素データ記憶手段と、
を備えた画像読取装置であって、
前記各出力手段が一走査当たりに出力する画素数を表す画素数情報が各出力毎に記憶された画素数情報記憶手段と、
前記画素データ記憶手段が記憶する画素データ数が、前記各出力手段が出力した画素数に対応するよう、前記画素数情報に基づき、前記画素データ記憶手段が記憶する画素データを制限する画素データ記憶制限手段と、
を備えたことを特徴とする画像読取装置。A first sensor including a plurality of light receiving elements arranged in the main scanning direction;
A second sensor comprising a plurality of light receiving elements arranged in the main scanning direction and arranged at a predetermined interval in the sub scanning direction with respect to the first sensor;
First output means for outputting a pixel signal obtained from each light receiving element of the first sensor in a predetermined cycle in the arrangement order of the light receiving elements;
Among the light-receiving elements constituting the second sensor, second output means for outputting a pixel signal obtained from the light-receiving elements arranged in even-numbered order in the arrangement order of the light-receiving elements in the cycle,
A third output unit that outputs pixel signals obtained from the odd-numbered light-receiving elements among the light-receiving elements constituting the second sensor, in the arrangement order of the light-receiving elements in the cycle;
A conversion unit that converts the pixel signal from each of the output units into pixel data as a digital signal and outputs the pixel data;
Pixel data storage means for storing pixel data output from the conversion means,
An image reading device comprising:
Pixel number information storage means in which pixel number information indicating the number of pixels output by each output means per scan is stored for each output,
Pixel data storage that limits the pixel data stored in the pixel data storage unit based on the pixel number information so that the number of pixel data stored in the pixel data storage unit corresponds to the number of pixels output by each of the output units. Limiting means;
An image reading apparatus comprising:
前記画素データ記憶制限手段は、該画素数情報から、前記各出力手段が一走査当たりに出力する画素数を求め、該画素数に基づき、前記画素データ記憶手段が記憶する画素データを制限することを特徴とする請求項1記載の画像読取装置。The pixel number information storage unit stores, as the pixel number information, information on the number of pixels output by the first output unit per scan,
The pixel data storage limiting unit determines the number of pixels output by each of the output units per scan from the pixel number information, and limits the pixel data stored in the pixel data storage unit based on the number of pixels. The image reading device according to claim 1, wherein:
前記画素データ記憶制限手段は、前記書込手段による前記記憶部への画素データの書込動作を制限することを特徴とする請求項1又は請求項2記載の画像読取装置。The pixel data storage unit includes a storage unit that stores pixel data, and a writing unit that writes the pixel data output from the conversion unit into the storage unit.
The image reading apparatus according to claim 1, wherein the pixel data storage restricting unit restricts an operation of writing the pixel data to the storage unit by the writing unit.
前記画素データ記憶制限手段は、前記変換手段が、前記各出力手段が出力した画素信号のみを画素データに変換するよう、前記変換手段への変換指令の入力を制御することを特徴とする請求項1から請求項4記載のいずれかの画像読取装置。The conversion unit is configured to execute conversion of a pixel signal from each of the output units into pixel data in accordance with a conversion command input from the outside,
The pixel data storage limiting unit controls input of a conversion command to the conversion unit such that the conversion unit converts only a pixel signal output from each of the output units into pixel data. The image reading device according to claim 1.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002211223A JP3829771B2 (en) | 2002-07-19 | 2002-07-19 | Image reading device |
US10/619,579 US7365888B2 (en) | 2002-07-19 | 2003-07-16 | Image read apparatus |
CNU032727801U CN2653816Y (en) | 2002-07-19 | 2003-07-18 | Image read-in device |
CNB031787487A CN100373904C (en) | 2002-07-19 | 2003-07-18 | Image reading device |
HK04105662A HK1062869A1 (en) | 2002-07-19 | 2004-08-02 | Image read apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002211223A JP3829771B2 (en) | 2002-07-19 | 2002-07-19 | Image reading device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006113590A Division JP4059278B2 (en) | 2006-04-17 | 2006-04-17 | Image reading device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004056492A true JP2004056492A (en) | 2004-02-19 |
JP3829771B2 JP3829771B2 (en) | 2006-10-04 |
Family
ID=31934522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002211223A Expired - Fee Related JP3829771B2 (en) | 2002-07-19 | 2002-07-19 | Image reading device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3829771B2 (en) |
-
2002
- 2002-07-19 JP JP2002211223A patent/JP3829771B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP3829771B2 (en) | 2006-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0571908B1 (en) | Apparatus and method for generating an interlaced video signal using a progressively scanned high resolution image sensor | |
CN100534153C (en) | Image sensor | |
CN102215350B (en) | Solid-state image pickup device and method of driving the same | |
JP3165731B2 (en) | Image reading device | |
CN1328900C (en) | Image fetch device | |
US5198906A (en) | Defective pixel compensation with memory using interpolation via plural sample-and-hold circuits | |
US7365888B2 (en) | Image read apparatus | |
JP4059278B2 (en) | Image reading device | |
JP3829771B2 (en) | Image reading device | |
JP3829772B2 (en) | Image reading device | |
EP0767577B1 (en) | Image processing apparatus with image enlargement function | |
JP6600375B2 (en) | Solid-state imaging device, imaging apparatus, control method thereof, program, and storage medium | |
JP2005286470A (en) | Imaging unit | |
US6765699B1 (en) | Photosensor array with decreased scan time for decreased optical sampling rates | |
JPH03102955A (en) | Picture reader | |
EP0936809A2 (en) | Image sensing apparatus and driving method thereof | |
US7495806B2 (en) | System and method for compensating for noise in a captured image | |
JP3172359B2 (en) | Imaging device | |
JP4108407B2 (en) | Color image processing device | |
JP3000958B2 (en) | Driving method of solid-state imaging device | |
JP3049917B2 (en) | Linear sensor drive circuit | |
JP2005210599A (en) | Image scanner | |
JP2830028B2 (en) | Reading circuit of facsimile machine | |
JPH10327293A (en) | Picture reader | |
JP3432002B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060703 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3829771 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100721 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110721 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120721 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120721 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130721 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |