JP2006217641A - 画像読取り装置におけるセンサ間の距離補正方法 - Google Patents

Abstract

【課題】 イメージセンサ間の距離による入力画像で発生する画像の幾何学的な位置差を補正することにより、高品質の画像を得る。
【解決手段】 センサ間の距離補正手段は赤信号遅延メモリを用いて原稿上で先行位置の画像を読取るセンサデータを格納してから、次の位置にあるセンサデータが読み取られるまで遅延させた後、最終の位置にあるセンサデータが読取られるとき、遅延されたセンサデータを読取って、センサ間の距離のうち、整数ライン単位の位置差を補正するエキストラライン補正器８５と、補間カーネルデータを格納しているルックアップテーブルによりセンサ間の距離のうち、素数点単位の位置差を補正するイントラライン補正器８６とを備えることを特徴とする。
【選択図】 図７

Description

本発明は複数のラインセンサを有する画像読取り装置に係り、特に複数のラインセンサで構成された結像光学系において各ラインセンサ間の空間的な配置間隔の差により特定な時点で読取られたデータの位置差を補正するためのセンサ間の距離補正方法及び回路に関する。

イメージスキャナー、ディジタル複写機、ファクシミリなどのような文書画像読取り装置においては、一般に感光素子を１次元的に配列した線形イメージセンサを用いて画像を読取る。この装置では、画像を向上させるために高解像度化及びカラー化が急速に行われており、性能向上のために高速化も行われつつある。この画像読取り装置の動作に対して図１（Ａ），図１（Ｂ）及び図２を参照して説明する。

図１（Ａ）及び図１（Ｂ）にそれぞれ示した縮小型の結像光学系と同倍型の結像光学系を採用する画像読取り装置は、原稿上の１ライン画像に光源を照射して反射光を線形センサに結像させることにより、主走査を通して画像を読取る。図２に示したように、原稿に基づき線形センサを相対的に次のライン位置に移動させてライン画像を読取る副走査の繰り返し動作を通して２次元の原稿画像を入力する。この際、原稿の幅と線形センサの幅を光学的に調節するため、原稿と線形センサとの間にレンズなどのような光学装置が必要となる。この際、通常、原稿の幅に比べて線形センサの幅が小さい場合、その光学装置を縮小光学系（図１（Ａ）参照）といい、原稿の幅が線形センサの幅と同じ場合は等倍光学系（図１（Ｂ）参照）という。前記画像読取り装置はこのように二つの結像方式に大別される。

前記画像読取り装置の解像度は主走査方向と副走査方向に対してそれぞれ決められる。これにより、主走査方向の解像度は線形センサの感光素子の数と光学系の縮小比率とにより決められる。かつ、副走査方向の解像度は原稿画像に基づいてイメージセンサの位置を相対的に移動させる量（距離）により決められる。

主走査方向の高解像度化を達成するためには、光学系の縮小比率をそのまま保ちながら、センサの集積度を向上させて原稿上の単位長当たり対応するセンサの各感光素子の数を増やす方法と、各受光素子の大きさをそのまま保ちながら、感光素子の数を増やして縮小比率を小さくして画像を結像させる方法がある。前者の方法では、結果として原稿上の単位画素が結像される各感光素子の受光面積が縮小して感光素子の感度を大幅に改善するか、照射光源の光量を拡大するか、あるいは、感光時間（または露光時間）を延ばさなければならないという問題点がある。この方法では、カラー化により全体の感光素子の数を赤（Ｒ）、緑（Ｇ）、青（Ｂ）に３倍を増大させるべきであるが、現実的には殆ど不可能である。一方、後者の方法では、センサの長さが非常に延びて現存の半導体ウェーハの直径を越えるか、そうでない場合でも、センサの製造及び収率における深刻な問題を引き起こす。

したがって、前記の問題点を克服し、カラー化、高解像度化及び高速化を達成させるため、縮小型の結像光学系の場合においては、図３（Ａ）のように各感光波長帯に応じて赤、緑、青（Ｒ，Ｇ，Ｂ）の位置を違いにしてセンサを副走査方向に隔離して用いる。かつ、等倍型の結像光学系の場合においては、図３（Ｂ）のようにセンサを適宜な大きさに分割して加工した後、隣接するセンサとジクザクの形態に配置して用いる。これは非常に現実的であり、かつ従来の白黒画像読取り装置で蓄積された技術と関連要素技術を拡大して適用しうるものであって経済的な手段となるので、広く用いられている。しかしながら、このような方法では、各センサが原稿に基づいて互いにジグザグの形態に配置されることにより、特定の瞬間にセンサにより読取られた画像の幾何学的な位置が異なるため、適宜な方法により補正しなければならないという短所がある。

一般に、センサ間の間隔は、センサが提供する主走査方向の解像度により決められた各受光素子の幅及び長さと整数倍の関係を保たせる。したがって、センサ間の間隔による原稿における読取り位置差を整数倍の副走査ラインに対応させて割合に簡単な手段により補正させうる。すなわち、主走査方向の解像度と副走査方向の解像度を一致させるか、副走査方向の解像度を主走査方向の解像度の整数倍のものとする場合、センサ間の間隔差による位置補正を副走査ライン単位で行う。ライン遅延メモリを用いて簡単に位置補正を行う方法は公知のものである。しかしながら、このような方法は実際には柔軟性はない。文書画像読取り装置においては、主走査方向の解像度及び副走査方向の解像度をそれぞれ任意に微細に調整して出力装置との関係に応じて様々な配列の変換を可能にすべきである。したがって、任意の配列変換に応じてセンサ間の間隔による副走査方向の読取り位置差が必ずしも正確に副走査ラインで整数関係として表わされないため、ある程度の位置差を引き起して追加的な補正手段を必要とする。

上述したように主走査方向の任意の配列変換に応じて適応的に位置差を補正しうる手段が現在は非常に大事な事項となり、高品質の画像を得るためにも必須のものとなっている。

一方、米国特許第４９２６０４１号、第５０１９７０３号、第５１１３０６７号、第５１７３５９９号、第５３６１１４５号は、図４に示したように、屈折率の異なるダイクロイックフィルター（またはブレーズ回折ミラー、あるいはビームスプリッタ）を反射鏡として用いて原稿上の同じ位置のライン画像を各センサに結像させてセンサ間の間隔差による幾何学的な歪曲を補正する方法を提示している。しかしながら、この方法は図１（Ｂ）に示したような等倍光学系の構成において、各センサがジクザクの形態に配置された場合に対しては適用することができない。かつ、前記方法は正確な補正のために複屈折手段となる反射鏡の製作と組立においても平坦度、厚さ及び組立角度などに精巧を要求するので、容易な手段とならない。

一方、米国特許第４９５３０１４号は、図５に示したように、図１（Ａ）及び図１（Ｂ）に示したセンサ手段の両方に適用しうる長所がある。しかしながら、図６に示したように、補間器は乗算器と加算器のみで構成された線形補間器なので、スターターゲット状のような精巧な画像において、エイリアシング現象及びジクザク状のエラーを避けず、これにより、画質が劣化する。即ち、線形補間による限界は不可避のものである。さらに、遅延メモリの構成は、メモリ容量を最適化させ、高速動作のための適宜な方法に対する提示のない不完全なものである。

したがって、本発明の目的は上述した問題点を解決するために複数のラインセンサを有する画像読取り装置において、補間画像の画質を決める補間アルゴリズムに必要によって最隣接、線形、キュービックなどの各種のアルゴリズムを適用可能にするセンサ間の距離補正方法を提供することにある。

本発明の他の目的は前記センサ間の距離補正方法の実現に最適の回路を提供することにある。

前記目的を達成するために画像読取り装置において、本発明によるセンサ間の距離補正方法は、赤信号遅延メモリと緑信号遅延メモリを用いて原稿上で先行位置の画像を読取るセンサデータを格納してから、次の位置のセンサデータが読取られるまで遅延させた後、最終の位置にあるセンサデータが読取られるとき、遅延されたセンサデータを読取って、センサ間の距離のうち整数ライン単位の位置差を補正するエキストラライン補正段階と、補間カーネルデータを格納しているルックアップテーブルにより前記センサ間の距離のうち、素数点単位の位置差を補正するイントラライン補正段階とを備えることを特徴とする。

前記他の目的を達成するために画像読取り装置において、本発明によるセンサ間の距離補正回路は、光学的な画像情報を電気的な信号に変換するイメージセンサ手段と、前記イメージセンサ手段からの信号をディジタル信号に変換するアナログ／ディジタル変換手段と、センサ間の距離補正手段とを備える画像読取り装置において、前記センサ間の距離補正手段は、赤信号遅延メモリと緑信号遅延メモリを用いて原稿上で先行位置の画像を読取るセンサデータを格納してから、次の位置のセンサデータが読取られるまで遅延させた後、最終の位置にあるセンサデータが読取られるとき、遅延されたセンサデータを読取って、センサ間の距離のうち整数ライン単位の位置差を補正するエキストラライン補正器と、補間カーネルデータを格納しているルックアップテーブルにより前記センサ間の距離のうち、素数点単位の位置差を補正するイントラライン補正器とを備えることを特徴とする。

上述したように、複数のラインセンサを有する画像読取り装置において、本発明によるセンサ間の距離補正方法及び装置によれば、イメージセンサ間の距離により入力画像で発生する画像の幾何学的位置差を補正することにより、高品質の画像を得ることができる。特に、副走査方向の倍率変換に応じて適応的な補正と理想的な補間特性を有するＳＩＮＣ関数に近似できる３次元のキュービック補間アルゴリズムを含む様々な補間関数を適用しうる方法を提供することができる。

さらに、補間カーネルの加重値を適応的に制御するため、補間カーネルルックアップテーブルをメモリ手段としてスキャニング動作の特性により主走査時のイメージセンサが移動する（副走査）一般的な文書画像読取り装置において、これにより引き起こされる先鋭性の低下を防止することができる。このための装置の具現において、補間カーネルの計算を予め行い、ルックアップテーブルに貯蔵することにより、計算的な“ボトルネック”現象を防止して高速動作を可能にする。かつ、現実的な具現例により実時間センサ間の距離補正回路を実現することができる。

以下、添付した図面に基づき本発明の実施の形態を詳しく説明する。

本発明は補間画像の画質を決める補間アルゴリズムとして必要によって最隣接、線形、キュービックなどの様々なアルゴリズムを適用しうるハードウェアの構成と、この構成による実時間処理及び経済的な具現のための方法を提供する。

図７は図１（Ａ）に示した縮小型の結像光学形及び図３（Ａ）に示したセンサ構造を用いる本発明によるセンサ間の距離補正回路の第１実施例を示すものである。

図７に示したセンサ間の距離補正回路は、クロック発生器８１、イメージセンサ８２ａ，８２ｂ，８２ｃ、Ａ／Ｄ変換器８３ａ，８３ｂ，８３ｃ、センサ間の距離補正部８４及びマイクロプロセッサユニット（ＭＰＵ）８９で構成される。さらに、センサ間の距離補正部８４は、エキストラライン補正器８５、イントラライン補正器８６、アドレス発生器８７及び補間カーネルデータ格納用のルックアップテーブル８８で構成される。ここで、エキストラライン補正器８５は赤信号遅延メモリ８５ａと緑信号遅延メモリ８５ｂで構成され、イントラライン補正器８６は赤信号補間器８６ａと緑信号補間器８６ｂで構成される。

図８は図１（Ｂ）に示した等倍型の結像光学系及び図３（Ｂ）に示したセンサ構造を用いる本発明によるセンサ間の距離補正回路の第２実施例を示すものである。

図８に示したセンサ間の距離補正回路は、クロック発生器９１、イメージセンサ９２ａ，９２ｂ，９２ｃ，９２ｄ，９２ｅ、Ａ／Ｄ変換器９３ａ，９３ｂ，９３ｃ，９３ｄ，９３ｅ、センサ間の距離補正部９４及びマイクロプロセッサユニット（ＭＰＵ）９９で構成される。さらに、センサ間の距離補正部９４は、エキストラライン補正器９５、イントラライン補正器９６、アドレス発生器９７及び補間カーネルデータ格納用のルックアップテーブル９８で構成される。ここで、エキストラライン補正器９５は赤信号遅延メモリ９５ａと緑信号遅延メモリ９５ｂで構成され、イントラライン補正器９６は赤信号補間器９６ａと緑信号補間器９６ｂで構成される。

図７と図８との構成の差は前記センサの構造によるものであり、根本的なセンサ間の距離補正方法及び原理においては同一である。したがって、本発明では図７に基づいて説明する。

図７において、クロック発生器８１はＭＰＵ８９から出力される水平同期信号（ライン同期信号）、即ち副走査方向のスキャニング制御信号ＨＳＹＮＣによりＣＣＤイメージセンサ８２ａ，８２ｂ，８２ｃのライン単位の露光を制御し、ＣＣＤイメージセンサ８２ａ，８２ｂ，８２ｃの各感光素子から蓄積された画像信号を出力する画素クロック信号ＰＣＬＫを発生させる。すなわち、副走査方向のスキャニング制御信号ＨＳＹＮＣにより主走査方向のスキャニング制御信号ＰＣＬＫを発生させる。

ＣＣＤ（Ｒ）８２ａ，ＣＣＤ（Ｂ）８２ｂ、ＣＣＤ（Ｇ）８２ｃは図３（Ａ）に示したイメージセンサであり、互いに所定の距離を隔てて可視光線領域でそれぞれ赤、青、緑の３波長帯の画像信号を電気的な信号に変換し、各々のＣＣＤイメージセンサ８２ａ，８２ｂ，８２ｃの出力信号をＡ／Ｄ変換器８３ａ，８３ｂ，８３ｃによりディジタル信号に変換し、各々のＡ／Ｄ変換器８３ａ，８３ｂ，８３ｃの出力信号をセンサ間の距離補正部８４に入力させる。

センサ間の距離補正部８４において、エキストラライン補正器８５は整数ライン単位の位置差を補正するためのものであり、図３（Ａ）のようなセンサ構造において赤信号遅延メモリ８５ａと緑信号遅延メモリ８５ｂを用いて原稿上で先行位置の画像を読取る色相信号（センサ）のデータを格納してから、次の位置にある色相信号が読取られるまで遅延させた後、最終の位置にある色相信号が読取られるとき、遅延されたデータを読取って、ライン単位の位置差の補正を行う。原稿上の一定の位置に基づいてスキャン動作を行うとき、最終に読取られる色相信号は全体的な画像読取り位置の基準となり、遅延メモリ手段を必要としない。本発明は最終に読取られる色相をＣＣＤ（Ｇ）とする。しかしながら、このＣＣＤ（Ｇ）は使用されるセンサの構造に依存する。

一方、イントラライン補正器８６は、１ライン未満、すなわち素数点単位の位置差を補正するためのものであり、各種のスキャン条件によりセンサ間の距離による副走査方向の読取り位置差が走査ライン単位に正確に対応しないか、あるいは、スキャン動作の特性から副走査時のセンサの位置が原稿に基づいて走査ライン内で微細移動することにより発生する画像の先鋭性の低下などを改善させる。イントラライン補正器８６は後述する各種の補間アルゴリズムによる補間カーネルデータを格納しているルックアップテーブル８８により動作する。

補間カーネルデータは、選ばれた補間アルゴリズム、センサ間の距離及びセンサで各感光素子の副走査方向の長さ及び指定変倍率に応じてＭＰＵ８９で予め計算されてルックアップテーブル８８に貯蔵される。これは画像読取り時の計算的な“ボトルネック”現象を防止するためである。

図７及び図８に示したエキストラライン補正器８５，９５の第１実施例と第２実施例を図９及び図１０を参照してさらに詳しく説明すると、次のとおりである。

図９に示したエキストラライン補正器８５はＦＩＦＯメモリまたはデュアルメモリからなるビデオＲＡＭ（ＶＲＡＭ）１０１を遅延メモリとして用いる場合であり、図１０に示したエキストラライン補正器９５は通常のスタチックＲＡＭ（ＳＲＡＭ）１１３を遅延メモリとして用いる場合である。図９及び図１０に示したエキストラライン補正器８５，９５の動作波形図は図１２に示したとおりである。

図１１は図９及び図１０に示したアドレス発生器１０２，１１５の一実施例によるブロック図である。前記アドレス発生器は、１つのレジスタ１２１、３つの乗算器１２２，１２６，１２８、２つの比較器１２３，１２５及び５つの計数器１２４，１２７，１２９，１３０，１３１からなる。

さて、本発明の動作について添付した図面に基づいて説明する。

まず、エキストラライン補正について説明する。原稿画像を読取るための結像光学系は、原稿上の画素をセンサの各感光素子に結像させる作用を行うものであり、イメージセンサに基づいて縮小型（図１（Ａ）及び図３（Ａ）参照）と等倍型（図１（Ｂ）及び図３（Ｂ）参照）に分けられる。縮小型はイメージセンサの主走査方向の長さ（センサの幅、図２のｎｗ）が原稿の幅（図２のＷ）より狭い。縮小型光学系のレンズの主要役割はイメージセンサと原稿を光学的に結合させることにある。縮小型のカラーイメージセンサは、図３（Ａ）のようにＲ，Ｇ，Ｂの各色相に一定の幅ｗと長さｌ（ｌ＝ｗ）を有する各感光素子ｎ個を１次元的に配置させた構造を有するので、センサの幅はｎｗとなる。ここで、各センサの各感光素子の幅ｗと長さｌを同じものとする。しかしながら、必ずしも同じ必要はなく、一般に同じものとする。したがって、各感光素子の受光面積はｗ²となる。高解像度の画像読取り装置を具現するため、センサの感光素子の数ｎを増大させる必要がある。これにより、各感光素子の幅ｗを縮小するか、縮小率を調整する必要がある。センサの幅を縮小すると、結果として受光面積が縮小する。これにより、センサの感度が低下して高速化の達成に決定的な短所となる。かつ、各感光素子の幅をそのまま保たせ、感光素子の数を増やせると、イメージセンサの幅が長くなり、センサを製造するときも多数の問題点を引き起こす。これにより、結像光学系の構造からも大型レンズを用いなければならない。したがって、このような問題を解消するため、カラーセンサは図３（Ｂ）のようにＲ，Ｇ，Ｂの各色相のセンサをδほど間隔（センサ間の距離）を隔てて２次元的に配置する構造を採用している。各色相のセンサの配列順序は技術的な連関性はないが、各色相のセンサが上述したように同じ位置に配置されず、間隔を隔てて配置されるという点からその克服方法に関する。各色相のセンサの配列順序はＲ，Ｇ，Ｂのものが多く用いられるが、最近はＲ，Ｂ，Ｇの順序を採用する傾向であるが、これはレンズの色収差特性を反映する。図３（Ｂ）のように中央のセンサに基づいて残り色相のセンサは間隔δに対称する構造が通常用いられている。センサ間の距離δは図９及び図１０に示した遅延メモリの容量Ｐ，Ｑと直接的に関連する。

図７においては、Ｇセンサに基づいてＢセンサがδほど先行し、Ｒセンサが２δほど先行する。すなわち、図３（Ａ）のセンサ構造において、最も下方に位置するＧセンサは遅延メモリを必要とせず、Ｒ，Ｂセンサは相応ラインほど遅延メモリに遅延させて相対的なセンサ間の距離による幾何学的な歪曲を補正する。この際、センサ間の距離と遅延メモリ容量Ｐ，Ｑとの関係は次の式１のとおりである。

前記式１において、Ｍは副走査方向の変倍率であり、δはセンサ間の距離、ｗは各センサの感光素子の長さである。

一般に、センサ間の距離による補正は感光素子の長さの整数倍にセンサ間の距離を設定することにより簡単に行われる。かつ、所要メモリの容量を最小とするためにセンサ間の距離を縮小するための試みが行われているが、根本的にセンサ間の距離を無くすことは不可能である。

しかしながら、実際の応用においては、変倍率（倍率変換）Ｍに応じてセンサ間の距離による遅延メモリを用いる補正は完全に行われない。すなわち、遅延メモリによる補正は整数のライン単位の補正のみを行うことであり、前記の式１が整数関係を保たせる場合に限る。

実際の画像読取り装置で倍率変換は任意の変倍率により処理するように要求される。かつ、主走査方向及び副走査方向の変倍率を独立的に行うことにより、柔軟な画像処理を可能にすべきである。これにより、一般に主走査方向、副走査方向の倍率変換を独立的に行い、変倍率を２５％〜４００％まで１％の単位で任意に調整できるようになっている。したがって、センサ間の距離による補正は図７及び図８のように遅延メモリによるエキストラライン補正器８５，９５と素数点の補正のためのイントラライン補正器８６，９６を備える必要がある。

等倍型の場合（図１（Ｂ）参照）においても、各感光素子を色相に応じて交番的にセンサを構成して二列に配列すること（図３（Ｂ）参照）は異なる。しかしながら、これによるセンサ間の距離は必ず発生し、この補正は上述した縮小型のものと類似している。

図１５は、複数のラインセンサを有する画像読取り装置において本発明によるセンサ間の距離補正方法の全体動作のフローチャートである。図１６は、エキストラライン補正器８５，９５の動作変数の算出過程を示す。ここで、動作変数とは、図７、図８及び図１１の遅延メモリアドレス発生器８７，９７，１０２，１１５の構成において各部分の初期値を意味する。遅延メモリのアドレスは前記の式１から算出された遅延ライン数に応じてオフセットアドレス、コラムアドレス及びローアドレスとしての遅延メモリアドレスを示す。各遅延メモリは遅延ライン数の周期で循環して動作する。すなわち、現在のスキャンラインを遅延ライン数の周期として遅延メモリのオフセットアドレスに参照される。各単一のスキャンラインのデータはコラムアドレス及びローアドレスに分けられ、マッピングされる。すなわち、各スキャンラインのデータは所定のコラムデータの単位からなり、各コラムデータの大きさは２の累乗単位（２^k2）に設定される。したがって、アドレス発生器８７，９７，１０２，１１５の構成を簡単にすることができる。したがって、コラムデータの大きさはスキャンラインデータの大きさ（ｎ画素＝ＳＰ）以内で２の累乗値のうち次の式２の関係を満たすものとする。ここで、スキャンラインの大きさをＳＰとし、Ａは１以上の自然数である。

（式２）
ＳＰ≦２^k1
ＳＰ≦Ａ２^k2
Ｋ１≧Ｋ２
前記の式２の条件はアドレス発生器８７，９７，１０２，１１５の構成を簡単にする。したがって、スキャンラインの画素数が２の累乗関係を有すと、その構成は非常に簡単になる。しかしながら、実際はそうでない場合が大部分である。これにより、前記の式２の条件に次の式３のように新たな変数Ｄを設定して、Ｄ値が最小となる条件をさらに加えてＡ値を決める。

（式３）
Ｄ＝ＳＰ−Ａ２^k2
前記の式３のＤ値を最小化するとは、ヌルスペース（null space）を極小化する条件であり、遅延メモリの全体容量を最適化することである。

例えば、Ａ３の大きさを有する文書を４００ＤＰＩの解像度で読取るイメージセンサの場合、１ラインの画素数が５０００である。このためには、アドレスを１３ビット割り当てるべきである（すなわち、Ｋ１＝１３）。これにより、メモリの効率的な活用が困難になる。この場合、コラムアドレスを９ビット（すなわち、Ｋ２＝９）とし、ローアドレスＡを５とすると、メモリを効率よく用いることができ、アドレス発生器８７，９７，１０２，１１５も容易に具現することができる。

図１６はこの動作変数を求める過程を一般化するフローチャートである。ここで、得られた変数Ｋ２はコラムアドレス発生器（図示せず）の割当てビットとなり、０から−１までの計数動作を行い、この値が遅延メモリのコラムアトレス値となる。Ａはオフセットアドレスを初期値としてコラムアドレスカウンタ（図示せず）のキャリ信号に応じて計数されるローアドレスとなる。ここで、オフセットアドレスはオフセットアドレス計算器（図示せず）により計算されてローアドレスカウンタ（図示せず）のフリーセット値として入力され、次の式４のような算術動作が行われる。

前記の式４において、Ｌは副走査回数、すなわちＨＳＹＮＣの発生回数を、演算子ｍｏｄ（．）は残りを、Ａは図１５のフローチャートから得られた値、Ｐ及びＱは前記の式１から得られた値である。ここで、副走査回数を前記の式１から得られたＰ，Ｑに分けることにより得られる残りは、遅延メモリをスキャン動作においてそれぞれＰ，Ｑの周期で循環して活用するために用いられる。

遅延メモリとして通常のＳＲＡＭを用いる場合、アドレス空間は１次元的に割り当てられる。上述したような２次元的な方法においては、遅延メモリの上位アドレスビットにローアドレスを割当て、下位アドレスビットにコラムアドレスを割り当てる。一方、遅延メモリをＤＲＡＭなどのようにリフレッシュ動作を必要とする場合は、メモリのアドレスがローアドレスとコラムアドレスに２次元的に割り当てられる。ここで、前記ローアドレスとコラムアドレスをそれぞれ相応アドレスとして割り当てるとよい。

次に、補間の定義について説明する。

補間とは、サンプルの間に存在する値を決める工程であり、離散的な入力サンプルを通して連続的な関数に適合させることにより得られる。これにより、任意の位置で入力値が定義されていない場合でも推定可能にする。標本化が帯域制限信号から無限帯域幅信号を発生させると、補間は離散信号に低帯通過フィルターを適用することにより、信号の帯域幅を低減させうる。すなわち、補間は補間関数（または補間カーネル）を用いてデータサンプルをスムーズにすることにより、標本化過程における損失データを再構成する。

均等空間に配列されたデータで補間は次の式５のように表される。

前記の式５において、ｈは定数Ｃ_kを有する補間カーネルである。実際にはｈは対称的なカーネルであり、ｈ（−ｘ）＝ｈ（ｘ）である。

図１７は単一点の補間例を示すものであり、ｘは補間カーネルの中心となり、補間されるサンプルの位置を示す。ここで、ｘ値は補間カーネルの対応値に応じて割り当てられた各離散サンプル値の和と同じである（式５参照）。図１７は４ポイントにおける補間であり、ｘは最も隣接するサンプルから距離ｄほどのオフセットを有している。ここで、０≦ｄ＜１１であり、ｈ（−ｄ）、ｈ（−１−ｄ）、ｈ（１−ｄ）、ｈ（２−ｄ）からカーネルの標本値を取る。ｈはその対称特性のため、ポジティブ項として表わされうる。したがって、ｈ（−ｄ）及びｈ（−１−ｄ）をｈ（ｄ）、ｈ（１＋ｄ）にそれぞれ置き換えることができる。再標本化の座標が一様に配置されると、補間カーネル上の固定位置が参照されるので、容易に具現することができる。高速動作のため、補間カーネルを予め計算してルックアップテーブルに貯蔵してから適用し、加重値を与えることにより、効率性を向上させうる。補間がコンボルーション項として定義されるとしても、このような形態に具現される例は殆どない。再標本化位置で相応補間多項式で近似化して適用する。補間カーネルとコンボルーション過程を論議するのは、補間アルゴリズムの比較において明確性を表わすためである。一方、補間多項式は補間アルゴリズムの具現と補間関数の数値的な正確性を決めるカーネルを分析するためである。

補間カーネルは一般に通過帯域及び遮断帯域における性能を分析することにより評価できる。１のゲインを有する通過帯域と０のゲインを有する遮断帯域は理想的な再構成フィルターとして見なされる。このような理想的なフィルターは一般に空間領域でその範囲が非常に広くなる。例えば、ｓｉｎｃ関数は無限帯に拡張される。これにより、これを無限インパルスの応答フィルターとする。

しかしながら、このようなｓｉｎｃ関数は物理的に実現できず、近似的にのみ具現可能である。物理的に実現可能なＩＩＲフィルターは有限な計算因子を用いるべきである。そのフィルターは構造帰還特性により回帰フィルターとも呼ばれるが、出力は所定の遅延要素を通して入力にフィードバックされる。フィードバック動作なしに有限要素を用いてフィルターを具現する代案が有限インパルス応答フィルター（ＦＩＲ）である。ＦＩＲフィルタにおいて、各出力値は有限個の隣接入力要素の加重和として算出される。この値はＩＩＲフィルターのように過去出力値の関数でないということに注目する必要がある。ＩＩＲフィルターがＦＩＲフィルターに比べて優れる性能を有するが、その設計と具現においては非常に困難である。したがって、ＦＩＲフィルターは画像処理分野で最も広く用いられている。

通常、ＦＩＲフィルターはボックス、トライアングル、キュービックコンボルーションカーネル、キュービックＢースプライン及びウィンドーｓｉｎｃ関数などのような補間関数を用いる。

次に補間カーネルについて説明する。補間カーネルは補間アルゴリズムの正確度及び計算費用に直接連関するものであり、補間アルゴリズムの設計及び評価／分析の尺度となる。かつ、正確度と効率性は相衝（Tradeoff）関係にある。ここで、２次元の補間は１次元の補間結果の単純な拡張に過ぎず、１次元の補間についてのみ説明する。各データの標本は一定の距離（図１７の（Ｄ））を隔てて均等空間に配置されると仮定する。スキャナーのような画像読取り装置における主走査の場合、原稿に対するセンサの相対的な移動速度が解像の全般にかけて一定に駆動される（図２参照）。かつ、副走査の場合は、線形センサの各感光素子の配置間隔が一定に形成される（図３（Ａ），（Ｂ）参照）。したがって、非常に現実的であり、上述したような具現においても極めて有利な特性を提供する。

第一に、最隣接補間について説明すると次のとおりである。

計算的な側面で最も簡単な補間アルゴリズムとしての最隣接補間において、補間される出力データは入力データのうち最も隣接する値に割り当てられ、次の式６の補間多項式で表される。

かつ、最隣接補間カ−ネルは次の式７のとおりである。

（式７）
ｈ（ｘ）＝ ０≦｜ｘ｜＜０．５
０ ０．５≦｜ｘ｜
図１８に示したように、最隣接補間カーネルは空間領域で１画素の幅を有する四角形のカーネルと画像のコンボルーションを取ることにより得られる。これにより、最隣接補間カーネルをボックス状のフィルターともいう。このフーリエ変換は図１９のとおりである。空間領域における任意の数と直四角形関数ｈとのコンボルーションは周波数領域におけるｓｉｎｃ関数との乗算値と同じである。したがって、図１８に示したように、最隣接補間は無限個のサイドロブ（side lobe)を有する。これにより、理想的な低帯通過フィルターに比べて劣化する周波数領域の応答を示す。この方法は画像拡大の場合には隣接画素を繰り返すことにより、縮小の場合には画素を抽出することにより具現されうる。この方法は大規模の画像にブロッキ（blocky）現象を引き起こす。しかしながら、上述したように計算上の簡単化により高速の遂行が可能であるため、イメージスキャナーなどのような究極的な画像データの入力に先立ち、予備スキャンなどの動作に非常に有用に用いられる。

第二に、線形補間について説明すると、次のとおりである。線形補間は入力信号の連続的な二点を通過する直線関数を用いて補正を行う方法であり、間隔（Ｘ0，Ｘ1）、関数値（ｆ₀，ｆ₁）として与えられる終点で補間多項式は次の式８のとおりである。

（式８）
ｆ（ｘ）＝ａ₁ｘ＋ａ₀
前記の式８において、ａ₀，ａ₁は次の行列を計算することにより得られる。

したがって、補間多項式は次の式９のように表される。

この方法の補間アルゴリズムを評価するため、図２０及び図２１の補間カーネルの周波数応答特性を調べるべきである。空間領域における線形補間は次の式１０のように補間カーネルと標本化した入力とのコンボルージョンを取るものと同じである。

（式１０）
ｈ（ｘ）＝１−｜ｘ｜ ０≦｜ｘ｜＜２
０ ２≦｜ｘ｜
カーネルｈは、図２０に示したように三角形またはテント形状をなしているため、トライアングルフィルターまたはテントフィルターともいう。このカーネルは、図２１に示したように割合に望ましい周波数応答特性を有しており、最隣接補間に比べて割合に優れる性能を提供する。一方、高周波領域で通過帯域の狭小によりエイリアシング現象を発生させる。しかしながら、計算費用と性能が割合に良いため、多用されている。

第三に、キュービックコンボルーションについて説明すると、次のとおりである。

キュービックコンボルーションは３次補間アルゴリズムであり、理論的にはｓｉｎｃ関数に効率よく近似化することができる。この補間カーネルは一般的な３次元の曲線の関数から得られる。カーネルは区間（−２，−１）、（−１，０）、（０，１）及び（１，２）で部分的に３次関数から構成され、区間（−２，２）のほかは補間カ−ネルは０となり、次の式１１により定義される。

前記の式１１において、係数値は次のように補間カーネルの制約を適用することにより決められる。

１．ｈ（０）＝１，｜ｘ｜＝１，２のとき、ｈ（ｘ）＝０
２．｜ｘ｜＝０．１，２のとき、ｈは連続的である。

３．｜ｘ｜＝０．１，２のとき、ｈは連続的な１次導関数を示す。

第一の制約からデータ点Ｘ_jにおける補間は次の式１２により定義される。

第一及び第二の制約から次の関係式が得られる。

０＝ｈ（０）＝ａ₀₀
０＝ｈ（１^-）＝ａ₃₀＋ａ₂₀＋ａ₁₀＋ａ₀₀
０＝ｈ（１⁺）＝ａ₃₁＋ａ₂₁＋ａ₁₁＋ａ₀₁
０＝ｈ（２^-）＝８ａ₃₁＋４ａ₂₁＋２ａ₁₁＋ａ₀₁
第三の制約から次の関係式から得られる。

−ａ₁₀＝ｈ（０^-）＝ｈ（０⁺）＝ａ₁₀
３ａ₃₀＋２ａ₂₀＋ａ₁₀＝ｈ（１^-）＝ｈ（１⁺）＝３ａ₃₁＋２ａ₂₁＋ａ₁₁
２ａ₃₁＋４ａ₂₁＋ａ₁₁＝ｈ（２^-）＝ｈ（２⁺）＝０
前記の誘導式から使用者が任意に制御できる変数をａ＝ａ₃₁に代入することにより、次の式１３の補間関数が得られる。

前記のキュービックコンボルーションカーネルでａの境界は、理想的な再構成フィルターｓｉｎｃ関数の特性からカーネルの特性が誘導される場合、ｈ関数における｜ｘ｜＝１のとき、凹曲線が上昇し、ｘ＝０のとき、凹曲線が下降するので、各々の位置で次のように２次導関数を得ることにより計算される（図２０及び図２１参照）。

ｈ″（０）＝−２（ａ＋３）＜０
ｈ″（１）＝−４ａ＞０
したがって、ｈをｓｉｎｃ関数に近似させるため、ａは−３〜０の範囲値を有する。かつ、ｘ＝１のとき、ｓｉｎｃ関数の斜めとｈの斜めを近似させるため、ａを−１とすることが望ましい。しかしながら、通過帯域の高周波特性を決めるので、画像の先鋭性を増加または低減する効果を達成するため、前記の許容範囲内で任意に調節することができる。

次に、補間カーネルデータ格納用のルックアップテーブル８８，９８の作動及び構成について説明する。

画像補間による再標本化段階において、速度を向上させるための方法として特定な位置で補間カーネルを算出するための計算的な“ボトルネック”現象を防止するため、選ばれた補間アルゴリズムに応じるカーネルの値をメモリ手段を用いてルックアップテーブルに貯蔵してから、入力される画像データに応じて加重値に近似させる。この際、インバースマッピングに基づいて補間点は入力デ−タから中央に位置し、この位置は補間カ−ネルの中央となる。補間カ−ネルは入力画素間の間隔に対応する区間に応じて係数束（coefficient bin）に分けられる。すなわち、補間カーネルｈのデータは、前記の式７、式１０及び式１３などの各選択カーネル関数に応じて計算されて、図１４の第１ルックアップテーブルＬＵＴ１と第２ルックアップテーブルＬＵＴ２に貯蔵される。

補間において補間点の数を決める問題は前記の式４でｋ値を決める問題と同じ意味であり、これは補間アルゴリズムの効用性を決める。補間点に基づいて左右対称に参照する最隣接画素の数を決める問題は応用に応じてスムーズに適用されうる。しかしながら、この場合は４ポイントを適用する（図１７参照）。

図１７に示したように、補間カーネルに応じて区間を四つ（−２，−１）、（−１，０）、（０，１）、（１，２）に分ける。各区間のカーネルを束という。上述したように、（−２，２）のほかの区間でカーネル関数は０と設定されるので、ルックアップテーブルは前記の区間データのみを保持するとよい。かつ、補間カーネルは対称特性を持つので、区間（−２，−１）と（１，２）、（−１，０）と（０，１）は補間される座標（ｘ＝０）に基づいて対称をなす。したがって、ルックアップテーブルの容量を最小とするためにこの対称特性を適宜に活用すると、カーネルデータの重なりを避けることができる。したがって、図１４の第１ルックアップテーブルＬＵＴ１は区間（−２，−１）のカーネルデータ（図２４のＬＵＴ１ ＢＩＮ）を、第２ルックアップテーブルＬＵＴ２は区間（−１，０）のカーネルデータ（図２４のＬＵＴ２ ＢＩＮ）を有しており、二つのルックアップテーブルのカーネルデータは連続的なアドレスに配置される。

各区間のカーネルデータ（カーネルサンプル）は多くなるほど、補正品質は優れる。すなわち、カーネル束におけるオーバーサンプリング位置の数を一般にカーネルのオーバーサンプルという。通常、その数としては２５６、５１２及び１０２４などを用いる。オーバーサンプルの数はルックアップテーブルの容量と直接的に連関するので、応用目的及び許容状況に応じて適当に用いられる。本説明では便宜上からその数を１０２４とする。かつ、各カーネルデータは１２ビットの解像度を有するように設定されるが、必要によっては解像度を増減して具現することができ、補間アルゴリズムの効率性と正確性に基づいて選択することもできる。したがって、本発明におけるルックアップテーブルの全体の大きさは１２ビット×１０２４オーバーサンプル×２となる。

次に、補間カーネルのデータとルックアップアドレスマッピングについて説明する。補間カーネルデータとルックアップテーブルのアドレスとの配置関係は図２４に示したとおりである。上述したように、本例においては、等間隔に配置される入力データとして４点補間を行い、各補間カーネル束は単位入力データの間隔で１０２４のオーバーサンプルポイントを有するように設定する。ｘ＝０の座標は補間されるポイントであり、このポイントが補間カーネルの中心となる。これにより、補間カーネルデータとルックアップテーブルアドレスは次の式１４及び式１５のように表される。

（式１４）
Ｐ＝１０２４（Ｘ＋２） −２≦ｘ＜０
（式１５）
Ｐ＝１０２４（−Ｘ＋２） ０≦ｘ≦２
この式によれば、前記の式７，式１０及び式１３のような補間関数は図２４の例示においてｘ＝−２〜０の範囲内で１／１０２４の間隔で算出されて前記の式１４の該当アドレス位置に貯蔵される。ｘ＝−２〜−１の区間のカーネルデータは図１４の第１ルックアップテーブルＬＵＴ１に、ｘ＝−１〜０の区間のデータは第２ルックアップテーブルＬＵＴ２に貯蔵される。ｘ＝０〜２の区間におけるカーネルデータはカーネルデータの対称性を用いて別途のルックアップテーブルを有する必要がなく、補間動作において前記の式１４及び式１５による位置のカーネルデータは図１４の回路構成に用いられる。

前記の式４で表される補間関数を図２４の４点補間の場合に限定して表現すると、次の式１６のとおりになる。

（式１６）
ｆ（ｘ）＝Ｃ₀ｈ(-1-d)＋Ｃ₁ｈ(-d)＋Ｃ₂ｈ(1-d) Ｃ₃ｈ(2-d)
＝Ｃ₀ｈ₀＋Ｃ₁ｈ₁＋Ｃ₂ｈ₂＋Ｃ₃ｈ
前記の式１６において、Ｃ₀，Ｃ₁，Ｃ₂，Ｃ₃は入力データとして補間点の左右側の画素データ値である。前記の式１６において、ｄは補間点と最隣接画素とのオフセットであり、この値は変倍率に応じて次の式１７のような関係を有する。

前記の式１７において、Ｍは垂直方向、すなわち副走査方向の変倍率であり、δは図３（Ａ）及び図３（Ｂ）に示したイメージセンサ間の距離、ｗは同図の各感光素子の副走査方向の長さを示す。前記の式１７において、演算子ｉｎｔ（．）は整数値を取ることを意味する。

本発明はファクシミリ、イメージスキャナー、ディジタル複写機などに採用される高解像度及び高速スキャニング装置、特にカラースキャン装置に適用することができる。

（Ａ）は縮小型の結像光学系の構成図であり、（Ｂ）は等倍型の結像光学系の構成図である。 副走査による原稿画像とイメージセンサとの相対的な位置関係を示す図である。 （Ａ）は縮小型の線形イメージセンサの構成図であり、（Ｂ）は等倍型の線形イメージセンサの構成図である。 画像読取り装置において、複屈折手段を用いる従来のセンサ間の距離補正回路を示す図である。 画像読取り装置において、線形補間手段を用いる従来のセンサ間の距離補正回路を示す図である。 図５に示した補間器の細部構成図である。 画像読取り装置において、縮小型の線形イメージセンサを用いる本発明によるセンサ間の距離補正回路の第１実施例を示す図である。 画像読取り装置において、等倍型の線形イメージセンサを用いる本発明によるセンサ間の距離補正回路の第２実施例を示す図である。 図７及び図８におけるＶＲＡＭの使用時、エキストラライン補正器の第１実施例による構成図である。 図７及び図８におけるＳＲＡＭの使用時、エキストラライン補正器の第２実施例による構成図である。 図９及び図１０におけるアドレス発生器の詳細構成図である。 図９及び図１０におけるエキストラライン補正器の動作タイミング図である。 図７及び図８における補間器の詳細構成図である。 図７及び図８における補間カーネルデータ格納用のルックアップテーブル及び制御回路の詳細構成図である。 画像読取り装置において、本発明によるセンサ間の距離補正方法を説明するためのフローチャートである。 図１１に示したアドレス発生器において、動作変数算出過程を説明するためのフローチャートである。 単一点の補間例を示すグラフである。 最隣接の補間カーネルを示すグラフである。 図１８に示した最隣接の補間カーネルのフーリエ変換を示すグラフである。 線形補間カーネルを示すグラフである。 図２０に示した線形補間カーネルのフーリエ変換を示すグラフである。 キュービックコンボルーション補間カーネルを示すグラフである。 図２２に示したキュービックコンボルーション補間カーネルのフーリエ変換を示すグラフである。 補間カーネルデータ格納用のルックアップテーブルアドレスマッピングと補間点カーネルデータの位置を示すグラフである。

符号の説明

８１ クロック発生器
８２ａ，８２ｂ，８２ｃ ＣＣＤイメージセンサ
８３ａ，８３ｂ，８３ｃ Ａ／Ｄ変換器
８４ 距離補正部
８５，９５ エキストラライン補正器
８５ａ 赤信号遅延メモリ
８５ｂ 緑信号遅延メモリ
８６，９６ イントラライン補正器
８６ａ 赤信号補間器
８６ｂ 緑信号補間器
８７，９７，１０２，１１５ アドレス発生器
８８ 補間カーネルデータ格納用のルックアップテーブル
８９ ＭＰＵ
９１ クロック発生器
９２ａ，９２ｂ ９２ｃ ９２ｄ ９２ｅ ＣＣＤイメージセンサ
９３ａ，９３ｂ，９３ｃ，９３ｄ，９３ｅ Ａ／Ｄ変換器
９４ 距離補正部
９５ａ 赤信号遅延メモリ
９５ｂ 緑信号遅延メモリ
９６ イントラライン補正器
９６ａ 赤信号補間器
９６ｂ 緑信号補間器
９８ 補間カーネルデータ格納用のルックアップテーブル
９９ ＭＰＵ
１０１ ＶＲＡＭ
１１１ Ｌラッチ
１１３ ＳＲＡＭ
１１４ Ｌラッチ
１２１ レジスタ
１２２，１２６，１２８ 乗算器
１２３，１２５ 比較器
１２４ 計数器１
１２７ 計数器Ｋ２
１２９ 計算器３
１３０ 計数器４
１３１ 計数器５

Claims (13)

1. 赤信号遅延メモリと緑信号遅延メモリを用いて原稿上で先行位置の画像を読取るセンサデータを格納してから、次の位置のセンサデータが読取られるまで遅延させた後、最終の位置にあるセンサデータが読取られるとき、遅延されたセンサデータを読取って、センサ間の距離のうち整数ライン単位の位置差を補正するエキストラライン補正段階と、
   補間カーネルデータを格納しているルックアップテーブルにより前記センサ間の距離のうち、素数点単位の位置差を補正するイントラライン補正段階とを備えることを特徴とする画像読取り装置におけるセンサ間の距離補正方法。
2. 光学的な画像情報を電気的な信号に変換するイメージセンサ手段と、前記イメージセンサ手段からの信号をディジタル信号に変換するアナログ／ディジタル変換手段と、センサ間の距離補正手段とを備える画像読取り装置において、
   前記センサ間の距離補正手段は、
   赤信号遅延メモリと緑信号遅延メモリを用いて原稿上で先行位置の画像を読取るセンサデータを格納してから、次の位置のセンサデータが読取られるまで遅延させた後、最終の位置にあるセンサデータが読取られるとき、遅延されたセンサデータを読取って、センサ間の距離のうち整数ライン単位の位置差を補正するエキストラライン補正器と、
   補間カーネルデータを格納しているルックアップテーブルにより前記センサ間の距離のうち、素数点単位の位置差を補正するイントラライン補正器とを備えることを特徴とする画像読取り装置におけるセンサ間の距離補正回路。
3. 前記センサ間の距離補正手段は、センサ画素クロック信号を用いて遅延メモリ制御のためのアドレスを発生させるアドレス発生器をさらに備えることを特徴とする請求項２に記載の画像読取り装置におけるセンサ間の距離補正回路。
4. 前記アドレス発生器では、１走査線アドレス係数値がセンサ画素数より大きいか、等しい２の累乗の整数倍となるもののうち、前記センサ画素数との差が最小となるときの前記２の累乗に該当する値をコラムアドレスとし、２の整数倍を１ラインアドレス係数値とし、前記整数値と前記遅延メモリの容量以下の範囲内で副走査制御信号に応じて、１ラインアドレスの整数倍の単位で係数された値の乗算値をローアドレスとすることを特徴とする請求項３に記載の画像読取り装置におけるセンサ間の距離補正回路。
5. 前記遅延メモリを通してセンサ間の距離を補正する色相に応じるアドレス発生器は、
   センサ画素クロックを計数して前記コラムアドレスを生成するコラムアドレス発生器と、
   前記コラムアドレス発生器のキャリ信号に応じて同じ動作周期で計数動作を行って前記ローアドレスを生成するローアドレス発生器とを備え、
   前記コラムアドレス発生器とローアドレス発生器の各オフセットアドレスを相異なるように設定することを特徴とする請求項４に記載の画像読取り装置におけるセンサ間の距離補正回路。
6. 前記オフセットアドレスは副走査変倍率とセンサ間の距離に応じて決められた遅延ラインの数と副走査制御信号を計数して発生させることを特徴とする請求項５に記載の画像読取り装置におけるセンサ間の距離補正回路。
7. 前記エキストラライン補正器は書込み動作と読出し動作を同時に行うメモリを用いることを特徴とする請求項２に記載の画像読取り装置におけるセンサ間の距離補正回路。
8. 前記エキストラライン補正器は１画素周期内で書込み動作と読出し動作を区分的に行うメモリを用いることを特徴とする請求項２に記載の画像読取り装置におけるセンサ間の距離補正回路。
9. 前記イントラライン補正器は、前記補間カーネルルックアップテーブルの参照アドレス値を副走査変倍率に応じて適応的に制御することを特徴とする請求項２に記載の画像読取り装置におけるセンサ間の距離補正回路。
10. 前記イントラライン補正器は、
    ライン遅延メモリ手段と、
    前記ライン遅延メモリ手段から出力されるデータを補間演算のために任意に貯蔵するためのデータレジスタ手段と、
    前記補間カーネルを有している補間カーネルルックアップテーブル手段と、
    補間カーネルオフセットに応じて参照される補間点の係数値を貯蔵するためのカーネルレジスタ手段と、
    乗算及び加算動作を行う演算器とを備えることを特徴とする請求項２に記載の画像読取り装置におけるセンサ間の距離補正回路。
11. 前記各レジスタ手段の数を選ばれた補間アルゴリズムに応じて補間点の数と同一なものとし、各レジスタ手段で補間動作に応じてシフト動作を行うようにすることを特徴とする請求項１０に記載の画像読取り装置におけるセンサ間の距離補正回路。
12. 前記カーネルレジスタ手段に対するカーネル値の入力は初期化段階で１回行われ、前記センサ画素クロックを選ばれた補間点の数に該当するほど逓倍させた周期を有するシフトクロックに応じて循環シフト動作させ、前記データレジスタ手段に対する該当データを前記センサ画素クロックに応じて同時に入力させ、そのデータを前記シフトクロックに応じてシフト動作させることを特徴とする請求項１１に記載の画像読取り装置におけるセンサ間の距離補正回路。
13. 前記補間カーネルルックアップテーブル手段は補間点に基づいて対称特性を有するカーネル関数の特徴を用い、前記補間点に基づいて一側区間のカーネル関数を貯蔵して用いることを特徴とする請求項１０に記載の画像読取り装置におけるセンサ間の距離補正回路。

Images