JP2005122257A - 画像処理装置、及び電子機器 - Google Patents

Abstract

【課題】 画像処理を高速化でき、設計の自由度を高めることができる画像処理装置、及びこれを含む電子機器を提供すること。
【解決手段】 画像処理装置は画像処理ユニットＩＭＰ１〜ＩＭＰ４を含む。各画像処理ユニットは、前段の画像処理ユニットからの画素データを入力し、入力された画素データに対して画像処理を施し、後段の画像処理ユニットに出力するパイプライン処理を行う。各画像処理ユニットは、前段の画像処理ユニットとの間でのハンドシェーク信号の入出力と、ハンドシェーク信号を用いて入力される画素データの入力とを有する入力インターフェースＩＩＦを含む。また後段の画像処理ユニットとの間でハンドシェーク信号の入出力と、ハンドシェーク信号を用いて後段の画像処理ユニットに出力される画素データの出力を有する出力インターフェースＱＩＦを含む。タグ情報を用いてパイプライン処理を行う。
【選択図】 図５

Description

本発明は、画像処理装置、及び電子機器に関する。

イメージスキャナ、ファクシミリ、コピー機、デジタルカメラなどの電子機器（狭義には画像読み取り装置）では、ＣＣＤ（Charge Coupled Device）、ＣＩＳ（Contact Image Sensor）、ＢＢＤ（Bucket Brigade Device）などのイメージセンサを用いて画像を取得する。そして取得された画像の画素データはデジタルデータに変換され、画像処理装置（画像処理ＬＳＩ）により種々の画像処理が施される。

しかしながら、これまでの画像処理装置では、複数の画像処理を１個の画像処理ユニットで処理していた。また画素データに施す画像処理の仕様がユーザによって異なる場合には、その仕様に沿うように画像処理装置のシステムＬＳＩを個別に設計して、ユーザに供給していた。このため、画像処理の仕様に変更が生じた場合に、画像処理装置の構成を全体的に見直して設計し直す必要があった。また画像処理装置が行う一連の画像処理に、新たな画像処理を追加したり、一連の画像処理から不要な画像処理を削除したり、画像処理の順番を入れ替えたりするなどの修正が困難であり、設計の自由度を低めていた。また画像処理にも時間がかかってしまい、処理の高速化が困難であった。
特開２００２−１５２５２２号公報

本発明は以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、画像処理を高速化でき、設計の自由度を高めることができる画像処理装置、及びこれを含む電子機器を提供することにある。

本発明は、画素データに画像処理を施すための画像処理装置であって、互いに異なる第１〜第Ｎの画像処理を画素データに対して施す第１〜第Ｎの画像処理ユニットを含み、前記第１〜第Ｎの画像処理ユニットの各第Ｋ（１＜Ｋ＜Ｎ）の画像処理ユニットが、前段の第Ｋ−１の画像処理ユニットから第Ｋ−１の画像処理が施された後の画素データを入力し、入力された画素データに対して第Ｋの画像処理を施し、第Ｋの画像処理が施された後の画素データを後段の第Ｋ＋１の画像処理ユニットに対して出力するパイプライン処理を行い、前記各第Ｋの画像処理ユニットが、前段の第Ｋ−１の画像処理ユニットとの間でハンドシェーク信号が入出力されるハンドシェーク信号入出力と、前記ハンドシェーク信号を用いて前段の第Ｋ−１の画像処理ユニットから画素データが入力される画素データ入力とを有する入力インターフェースと、後段の第Ｋ＋１の画像処理ユニットとの間でハンドシェーク信号が入出力されるハンドシェーク信号入出力と、前記ハンドシェーク信号を用いて後段の第Ｋ＋１の画像処理ユニットに対して画素データが出力される画素データ出力とを有する出力インターフェースとを含む画像処理装置に関係する。

本発明によれば、パイプライン処理により複数の画素データに対して第１〜第Ｎの画像処理を並列に行うことができるため、画像処理を高速化できる。そして本発明では、ハンドシェーク信号入出力と画素データ入力を有する入力インターフェースと、ハンドシェーク信号入出力と画素データ出力を有する出力インターフェースとが、各第Ｋの画像処理ユニットに設けられている。従って、各第Ｋの画像処理ユニットはハンドシェーク信号などを用いて自己完結的に画像処理を行うことが可能になり、タイミング制御やハードウェア構成を簡素化できる。

また本発明では、前記入力インターフェースの前記ハンドシェーク信号入出力では、前段の第Ｋ−１の画像処理ユニットから第Ｋ−１の画像処理の完了信号が入力されると共に、前段の第Ｋ−１の画像処理ユニットに対して画素データの入力許可信号が出力され、前記出力インターフェースの前記ハンドシェーク信号入出力では、第Ｋの画像処理ユニットに対して第Ｋの画像処理の完了信号が出力されると共に、後段の第Ｋ＋１の画像処理ユニットから画素データの入力許可信号が入力されるようにしてもよい。なおハンドシェーク信号として、このような完了信号や入力許可信号と異なる意味合いを持つ信号を用いてもよい。

また本発明では、前記入力インターフェースの前記ハンドシェーク信号入出力の端子数と、前記入力インターフェースの前記画素データ入力の端子数と、前記出力インターフェースの前記ハンドシェーク信号入出力の端子数と、前記出力インターフェースの前記画素データ出力の端子数とが、第１〜第Ｎの画像処理ユニットにおいて同数になっていてもよい。このようにすれば、画像処理ユニットの削除、追加、順番の並べ替えなどの修正を簡素に行うことが可能になり、開発期間の短縮化等を図れる。

また本発明は、画素データに画像処理を施すための画像処理装置であって、画素データの属性を識別するためのタグ情報を生成するタグ情報生成ユニットと、互いに異なる第１〜第Ｎの画像処理を画素データに対して施す第１〜第Ｎの画像処理ユニットとを含み、前記第１〜第Ｎの画像処理ユニットの各第Ｋ（１＜Ｋ＜Ｎ）の画像処理ユニットが、前段の第Ｋ−１の画像処理ユニットから第Ｋ−１の画像処理が施された後の画素データを入力し、入力された画素データに対して第Ｋの画像処理を施し、第Ｋの画像処理が施された後の画素データを後段の第Ｋ＋１の画像処理ユニットに対して出力するパイプライン処理を行い、前記各第Ｋの画像処理ユニットが、タグ情報が入力されるタグ情報入力と、前記タグ情報に基づいてその属性が識別される画素データが前段の第Ｋ−１の画像処理ユニットから入力される画素データ入力とを有する入力インターフェースと、タグ情報が出力されるタグ情報出力と、前記タグ情報に基づいてその属性が識別される画素データが後段の第Ｋ＋１の画像処理ユニットに対して出力される画素データ出力とを有する出力インターフェースとを含む画像処理装置に関係する。

本発明によれば、パイプライン処理により複数の画素データに対して第１〜第Ｎの画像処理を並列に行うことができるため、画像処理を高速化できる。そして本発明では、タグ情報入力と画素データ入力を有する入力インターフェースと、タグ情報出力と画素データ出力を有する出力インターフェースとが、各第Ｋの画像処理ユニットに設けられている。このようなタグ情報を用いれば、第１〜第Ｎの画像処理ユニットを用いたパイプライン処理による複数の画素データの並列処理を容易化でき、タイミング制御やハードウェア構成を簡素化できる。

また本発明では、前記タグ情報生成ユニットが、画素データがＲ、Ｇ、Ｂのいずれの画素のデータなのかを識別するための情報と、画素データがイメージセンサの先頭画素のデータなのか最終画素のデータなのかを識別するための情報と、画素データがイメージセンサの奇数番目画素のデータなのか偶数番目画素のデータなのかを識別するための情報の少なくとも１つを含むタグ情報を生成するようにしてもよい。なおタグ情報として、これらの情報とは別の態様の情報を生成してもよい。

また本発明では、前記入力インターフェースの前記タグ情報入力の端子数と、前記入力インターフェースの前記画素データ入力の端子数と、前記出力インターフェースの前記タグ情報出力の端子数と、前記出力インターフェースの前記画素データ出力の端子数とが、第１〜第Ｎの画像処理ユニットにおいて同数になっていてもよい。このようにすれば、画像処理ユニットの削除、追加、順番の並べ替えなどの修正を簡素に行うことが可能になり、開発期間の短縮化等を図れる。

また本発明は、画素データに画像処理を施すための画像処理装置であって、互いに異なる第１〜第Ｎの画像処理を画素データに対して施す第１〜第Ｎの画像処理ユニットを含み、前記第１〜第Ｎの画像処理ユニットの各第Ｋ（１＜Ｋ＜Ｎ）の画像処理ユニットが、前段の第Ｋ−１の画像処理ユニットから第Ｋ−１の画像処理が施された後の画素データを入力し、入力された画素データに対して第Ｋの画像処理を施し、第Ｋの画像処理が施された後の画素データを後段の第Ｋ＋１の画像処理ユニットに対して出力するパイプライン処理を行い、前記各第Ｋの画像処理ユニットが、前段の第Ｋ−１の画像処理ユニットから第Ｋ−１の画像処理の完了信号が入力される完了信号入力と、前記完了信号がアクティブになったことを条件に前段の第Ｋ−１の画像処理ユニットから画素データが入力される画素データ入力とを有する入力インターフェースと、第Ｋの画像処理ユニットに対して第Ｋの画像処理の完了信号が出力される完了信号出力と、前記完了信号がアクティブになったことを条件に後段の第Ｋ＋１の画像処理ユニットに対して画素データが出力される画素データ出力とを有する出力インターフェースとを含み、第１〜第Ｎの画像処理ユニットでの画像処理を、同じクロック数の処理時間で行う画像処理装置に関係する。

本発明によれば、パイプライン処理により複数の画素データに対して第１〜第Ｎの画像処理を並列に行うことができるため、画像処理を高速化できる。そして本発明では、完了信号入力と画素データ入力を有する入力インターフェースと、完了信号出力と画素データ出力を有する出力インターフェースとが、各第Ｋの画像処理ユニットに設けられている。従って、各第Ｋの画像処理ユニットは、完了信号などを用いて簡素な処理で画像処理を行うことが可能になり、タイミング制御やハードウェア構成を簡素化できる。

また本発明では、前記入力インターフェースの前記完了信号入力の端子数と、前記入力インターフェースの前記画素データ入力の端子数と、前記出力インターフェースの前記完了信号出力の端子数と、前記出力インターフェースの前記画素データ出力の端子数とが、第１〜第Ｎの画像処理ユニットにおいて同数になっていてもよい。このようにすれば、画像処理ユニットの削除、追加、順番の並べ替えなどの修正を簡素に行うことが可能になり、開発期間の短縮化等を図れる。

また本発明では、前記第１〜第Ｎの画像処理ユニットとして、明るさ補正のためのシェーディング処理を画素データに施すシェーディング処理ユニットと、ガンマ補正処理を画素データに施すガンマ補正処理ユニットと、平均化処理又は間引き処理を画素データに施す平均化・間引き処理ユニットと、２値化処理を画素データに施す２値化処理ユニットの少なくとも１つを含むようにしてもよい。

また本発明では、初段の第１の画像処理ユニットが、前記シェーディング処理ユニットであり、中間の第２〜第Ｎ−１の画像処理ユニットの少なくとも１つが、前記ガンマ補正処理ユニット及び前記平均化・間引き処理ユニットの少なくとも１つであり、最終段の第Ｎの画像処理ユニットが、前記２値化処理ユニットであってもよい。

また本発明では、前記シェーディング処理ユニットが、シェーディングパラメータを生成するシェーディングパラメータ生成ユニットと、シェーディングパラメータ生成ユニットにより生成されたシェーディングパラメータに基づいてシェーディング演算を行うシェーディング演算ユニットとに分離されていてもよい。

また本発明は、画素データを取得するためのイメージセンサと、前記イメージセンサにより取得された画素データに対して画像処理を施す上記のいずれかの画像処理装置とを含む電子機器に関係する。

以下、本実施形態について図面を用いて詳細に説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．電子機器
図１に本実施形態の画像処理装置を含む電子機器１０（狭義には画像読み取り装置或いは画像形成装置。更に狭義にはイメージスキャナ）の構成例を示す。なお電子機器１０は図１の全ての構成要素を含む必要はなく、その一部を省略する構成にしてもよい。

電子機器１０（フラットベッド型イメージスキャナ）は読み取り対象物１２（狭義には原稿）を載せるための載置台１４（狭義には原稿台）と、載置台１４を支持するフレーム１５（支持部材、ハウジング）を含む。矩形状の載置台１４は光透過性部材であるガラス等により形成され、この光透過性の載置台１４の例えば上部に読み取り対象物１２が載せられる。

電子機器１０はイメージセンサ２２（撮像デバイス、ラインセンサ、１次元センサ、カラーセンサ）が搭載されるキャリッジ２０を含む。イメージセンサ２２としてはＣＣＤ（Charg Coupled Device）、ＣＩＳ（Contact Image Sensor）、又はＢＢＤ（Bucket Brigade Device）などを使用できる。キャリッジ２０には、読み取り対象物１２（原稿）を照明するための光源２６や、読み取り対象物１２で反射された光源２６からの光をイメージセンサ２２に集光するレンズ２８（集光部）などの光学系（光学ヘッド）も搭載される。

電子機器１０は、キャリッジ２０を駆動して移動させる駆動装置３０（駆動機構）を含み、駆動装置３０は、モータ３２（動力源）や、モータ３２を駆動するモータドライバ３４を含む。イメージセンサ２２は、その長手方向が主走査方向と一致するように配置される。そして他方側がプーリ３８に掛けられた駆動ベルト３６をモータ３２が回転させることで、駆動ベルト３６に固定されたキャリッジ２０が副走査方向（主走査方向に直交する方向）に移動する。なお、キャリッジ２０の移動方式としは種々の変形実施が考えられ、例えば駆動ベルト３６を用いないでキャリッジ２０を移動したり、リニアモータ機構によりキャリッジ２０を移動してもよい。

イメージセンサ２２により読み取られたアナログの画素データ（画像データ）はＡ／Ｄ変換器４０（アナログフロントエンド）に入力され、Ａ／Ｄ変換器４０はこれをデジタルの画素データ（ＲＧＢデータ）に変換して、電子機器コントローラ５０（狭義にはスキャナコントローラ）に出力する。

電子機器コントローラ５０は電子機器１０の画像読み取り処理等を制御するものである。具体的には、キャリッジ２０を駆動（移動）するためのサーボ制御や、キャリッジ２０に搭載されたイメージセンサ２２の駆動制御を行う。

電子機器コントローラ５０はイメージセンサコントローラ６０を含む。イメージセンサコントローラ６０はイメージセンサ２２の制御等を行うものであり、駆動コントローラ６２や画像処理装置６４を含む。ここで駆動コントローラ６２は、イメージセンサ２２の転送クロックφ１、φ２（駆動パターン、駆動信号）を生成してイメージセンサ２２に供給する。また画像処理装置６４は、Ａ／Ｄ変換器４０からのデジタルの画素データ（画像データ）を受け、各種の画像処理（シェーディング処理、ガンマ補正処理、平均化・間引き処理、又は２値化処理等）を行う。

電子機器コントローラ５０はサーボコントローラ８０を含む。サーボコントローラ８０は、キャリッジ２０を駆動（移動）する駆動装置３０（モータ３２）のサーボ制御（フィードバック制御）を行うものである。電子機器コントローラ５０はＣＰＵ９６（プロセッサ）やメモリ９８（ＲＯＭ、ＲＡＭ）を含む。ＣＰＵ９６は電子機器コントローラ５０の全体的な制御を行ったり、外部との情報のやり取りをする。またメモリ９８は、プログラムや各種データを記憶したり、イメージセンサコントローラ６０やサーボコントローラ８０やＣＰＵ９６の作業領域として機能する。

なお、電子機器コントローラ５０は図１に示す全ての構成要素を含む必要はなく、その一部を省略した構成にしてもよい。例えばＣＰＵ９６やメモリ９８を省略してもよい。また電子機器コントローラ５０、イメージセンサコントローラ６０、サーボコントローラ８０の機能は、ハードウェア回路により実現してもよいし、ソフトウェアとハードウェア回路の双方により実現してもよい。またハードウェア回路はゲートアレイなどにより構成されるＡＳＩＣ（Aplication Specific Integrated Circuit）により実現してもよいし、汎用プロセッサにより実現してもよい。

２．イメージセンサ
図２（Ａ）にイメージセンサ２２（ＣＣＤラインセンサ）の構成例を示す。受光部２０６は光電変換を行う複数の受光素子（フォトダイオード、画素）を含む。そして図２（Ｂ）に示すように受光部２０２には、有効な画素（受光素子）Ｓ0〜Ｓnが一列に配置される有効画素領域と、有効な画素ではないダミー画素Ｄ0〜Ｄk、Ｄk+1〜Ｄlが一列に配置されるダミー画素領域とが設けられる。このダミー画素は空送りや光シールド出力のために設けられる。

受光部２０２の各受光素子（画素）は受光量に応じた電荷を生成して蓄積する。そして電荷蓄積に必要な所定時間が経過した後に、シフト信号ＳＨがアクティブになり、転送ゲート２０４がオンになる。これにより、アナログの画素データである蓄積電荷が、転送ゲート２０４を介して転送部２０６のシフトレジスタ（各受光素子に対応して設けられたシフトレジスタ）に転送される。そして、各シフトレジスタに転送された画素データ（蓄積電荷）は、２相の転送クロックであるφ１、φ２に基づいて、隣接するシフトレジスタ間を転送されて行き、イメージセンサ２２のＣＣＱ端子からシリアル出力される。

なお図２（Ｃ）に転送部２０６のシフトレジスタの構成例を示す。またイメージセンサ２２の構成は図２（Ａ）に限定されない。例えば図３のように、奇数番目（ＯＤＤ）の画素用の転送ゲート２０４-1、転送部２０６-1と、偶数番目（ＥＶＥＮ）の画素用の転送ゲート２０４-2、転送部２０６-2を設けることが望ましい。また図２（Ａ）、図３の構成において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の画素データの読み取り用の受光部、転送ゲート、転送部を設けることが望ましい。

３．第１の構成例
図４に本実施形態の画像処理装置の第１の構成例を示す。画像処理装置６４は、互いに異なる第１〜第４の画像処理（広義には第１〜第Ｎの画像処理）を画素データ（画像データ）に対して施す画像処理ユニットＩＭＰ１〜ＩＭＰ４（広義には第１〜第Ｎの画像処理ユニット）を含む。画像処理ユニットＩＭＰ１〜ＩＭＰ４で行われる画像処理としては、明るさ補正のためのシェーディング処理、ガンマ補正処理、平均化処理、間引き処理、２値化処理、フィルタリング処理などの種々の処理がある。

なお画素データは例えばイメージセンサ等の各画素で取得されるデータ（ＲＧＢデータや白黒データ等）である。また以下では画像処理ユニットの個数が４個である場合を主に例にとり説明するが、画像処理ユニットの個数はこれに限定されず、３個であったり、５個以上であってもよい。

ＩＭＰ１〜ＩＭＰ４の各画像処理ユニットはパイプライン処理により画像処理を行う。具体的には各画像処理ユニット（第Ｋの画像処理ユニット）は、前段の画像処理ユニット（第Ｋ−１の画像処理ユニット）から画像処理（第Ｋ−１の画像処理）が施された後の画素データＰＤを入力し、入力された画素データＰＤに対して画像処理（第Ｋの画像処理）を施し、画像処理が施された後の画素データＰＤを後段の画像処理ユニット（第Ｋ＋１の画像処理ユニット）に対して出力する。例えば図４の画像処理ユニットＩＭＰ２は、前段の画像処理ユニットＩＭＰ１により画像処理（例えばシェーディング処理）が施された後の画素データＰＤを入力し、入力された画素データＰＤに対して画像処理（例えばガンマ補正処理）を施して、後段の画像処理ユニットＩＭＰ３に出力する。同様にＩＭＰ３は、前段のＩＭＰ２により画像処理（例えばガンマ補正処理）が施された後の画素データＰＤを入力し、入力された画素データＰＤに対して画像処理（例えば平均化・間引き処理）を施して、後段のＩＭＰ４に出力する。そしてＩＭＰ４により画像処理（例えば２値化処理）が施された後の画素データＰＤが、画像処理装置６４の最終出力として出力される。このように複数の画像処理ユニットを用いたパイプライン処理により複数の画像処理を行えば、複数の画素データに対して並列（同時）に画像処理を行うことが可能になる。従って、１個の画像処理ユニットを用いて複数の画像処理を１つの画素データに対して施す手法に比べて、処理を高速化できる。

ＩＭＰ１〜ＩＭＰ４の各画像処理ユニットは、入力インターフェースＩＩＦと出力インターフェースＱＩＦを含む。入力インターフェースＩＩＦは、前段の画像処理ユニットとの間でハンドシェーク信号ＤＯＮＥ、ＥＮＢが入出力されるハンドシェーク信号入出力（端子）を有する。また信号ＤＯＮＥ、ＥＮＢを用いて前段の画像処理ユニットから画素データＰＤが入力される画素データ入力（端子）を有する。具体的には例えばＩＭＰ２の入力インターフェースＩＩＦは、前段のＩＭＰ１との間でのハンドシェーク信号入出力と、ＩＭＰ１からの画素データ入力を有する。

出力インターフェースＱＩＦは、後段の画像処理ユニットとの間でハンドシェーク信号がＤＯＮＥ、ＥＮＢが入出力されるハンドシェーク信号入出力（端子）を有する。また信号ＤＯＮＥ、ＥＮＢを用いて後段の画像処理ユニットに対して画素データＰＤが出力される画素データ出力（端子）を有する。具体的には例えばＩＭＰ２の出力インターフェースＱＩＦは、後段のＩＭＰ３との間でのハンドシェーク信号入出力と、ＩＭＰ３への画素データ出力を有する。

ここで信号ＤＯＮＥは、前段の画像処理ユニットでの画像処理が完了したことを示す信号である。この信号ＤＯＮＥは、前段の画像処理ユニットが当該画像処理ユニットに対して画像処理の開始を要求する信号であるということもできる。また信号ＥＮＢは、前段の画像処理ユニットからの画素データＰＤの入力を許可する信号である。この信号ＥＮＢは、前段の画像処理ユニットからの要求信号ＤＯＮＥに対するアクノリッジ信号であるということもできる。

図５に、クロックＣＬＫ、ハンドシェーク信号ＤＯＮＥ、ＥＮＢ、画素データＰＤのタイミング波形を示す。前段の画像処理ユニットの画像処理が完了すると、図５のＡ１に示すように前段の画像処理ユニットは信号ＤＯＮＥをアクティブ（例えばＨレベル）にして、Ａ２に示すように画像処理後の画素データＰＤを出力する。すると、この信号ＤＯＮＥと画素データＰＤを受けた画像処理ユニットは、前段の画像処理ユニットからの画素データＰＤに対する画像処理を開始する。そして次の画素データを受け付けられる状態になるとＡ３に示すように信号ＥＮＢをアクティブにして、前段の画像処理ユニットに対して次の画素データの入力の許可を伝える。前段の画像処理ユニットは、次の画素データＰＤに対する画像処理が既に終了していて、ＰＤの出力が可能であれば、Ａ４に示すように信号ＤＯＮＥをアクティブにして、Ａ５に示すように次の画素データＰＤを出力する。これにより画像処理ユニットは次の画素データＰＤに対する画像処理を開始できる。

このようなハンドシェーク信号ＤＯＮＥ、ＥＮＢを用いてパイプライン処理で画像処理を行えば、画像処理ユニットＩＭＰ１〜ＩＭＰ４の画像処理時間（クロック数）が異なる場合にも、画素データに対する画像処理が無駄なく流れるようになり、処理を高速化できる。また各画像処理ユニットは、ハンドシェーク信号ＤＯＮＥ、ＥＮＢを用いて互いに連絡を取りながら自己完結的に処理を行うことができるため、画像処理ユニットＩＭＰ１〜ＩＭＰ４の処理を全体的に制御するシーケンサなどが不要となり、タイミング制御やハードウェア（回路）構成を簡素化できる。

なお図４の第１の構成例では、入力インターフェースＩＩＦのハンドシェーク信号の入出力端子数と、ＩＩＦの画素データの入力端子数と、出力インターフェースＱＩＦのハンドシェーク信号の入出力端子数と、ＱＩＦの画素データの出力端子数を、全ての画像処理ユニットＩＭＰ１〜ＩＭＰ４において同数にすることが望ましい。即ち画素データのビット数を例えば１６ビット（Ｌビット）に統一して、画素データの入力端子数や出力端子数を全ての画像処理ユニットＩＭＰ１〜ＩＭＰ４において例えば１６本（広義にはＬ本）にする。またハンドシェーク信号の入出力端子数も全ての画像処理ユニットＩＭＰ１〜ＩＭＰ４において統一して、例えば２本（広義にはＭ本）にする。

このようにすれば画像処理装置６４が行う一連の画像処理に、新たな画像処理を追加したり、一連の画像処理から不要な画像処理を削除したり、画像処理の順番を入れ替えたりするなどの修正が容易になる。従って画像処理装置の画像処理の仕様に変更が生じた場合に、画像処理装置の全体構成を見直すことなく、これに対応することが可能となり、設計の自由度を高めたり、開発期間の短縮化を図れる。

即ち画像処理装置６４を使用するユーザによっては、画像処理装置６４で行われる一連の画像処理の中に不要な画像処理が存在する場合がある。例えばガンマ補正処理は電子機器（スキャナ）側で行わず、パーソナルコンピュータで行うことを想定しているユーザにとっては、ガンマ補正処理を行う画像処理ユニットＩＭＰ２は不要になる。

このような場合にも本実施形態によれば図６に示すように、不要な画像処理ユニットＩＭＰ２を容易に削除することが可能になる。即ち本実施形態では入力インターフェースＩＩＦ、出力インターフェースＱＩＦでの端子数が全ての画像処理ユニットで同数になっている。従って図６に示すように画像処理ユニットＩＭＰ２を削除しても、画像処理ユニットＩＭＰ１の出力インターフェースＱＩＦと、画像処理ユニットＩＭＰ３の入力インターフェースＩＩＦの端子数は同数であるため、これらを簡単に接続し直すことができる。例えば画像処理装置６４のＬＳＩのネットリストから画像処理ユニットＩＭＰ２のリストを削除し、画像処理ユニットＩＭＰ１の出力インターフェースＱＩＦと画像処理ユニットＩＭＰ３の入力インターフェースＩＩＦが接続されるという定義を行うだけで、画像処理ユニットＩＭＰ２が削除された新たなネットリストを作成できる。また画像処理ユニットの削除のみならず、新たな画像処理ユニットの追加や、一連の画像処理の順番の変更も簡単に行えるようになる。従って、画像処理の仕様に変更が生じた場合にも、短い設計期間でこれに対応できるようになり、画像処理装置の開発期間の短縮化、低コスト化を図れる。

４．第２の構成例
図７に本実施形態の画像処理装置の第２の構成例を示す。図７の画像処理装置６４は、画素データＰＤの属性を識別するためのタグ情報を生成するタグ情報生成ユニットＴＧＥＮを含む。また互いに異なる画像処理を画素データに対して施す画像処理ユニットＩＭＰ１〜ＩＭＰ４を含む。

ＩＭＰ１〜ＩＭＰ４の各画像処理ユニットは図４と同様にパイプライン処理により画像処理を行う。具体的には各画像処理ユニットは、前段の画像処理ユニットにより画像処理が施された後の画素データＰＤを入力し、入力された画素データＰＤに対して画像処理を施し、画像処理が施された後の画素データＰＤを後段の画像処理ユニットに対して出力する。このように複数の画像処理ユニットを用いたパイプライン処理により複数の画像処理を行えば、１個の画像処理ユニットを用いて複数の画像処理を１つの画素データに対して施す手法に比べて、処理を高速化できる。

ＩＭＰ１〜ＩＭＰ４の各画像処理ユニットの入力インターフェースＩＩＦは、タグ情報ＴＡＧが入力されるタグ情報入力（端子）を含む。またＴＡＧに基づいてその属性（ＲＧＢ、ＳＴＡＲＴ、ＬＡＳＴ、ＯＤＤ、ＥＶＥＮ）が識別される画素データＰＤが、前段の画像処理ユニットから入力される画素データ入力（端子）を有する。具体的には例えばＩＭＰ２の入力インターフェースＩＩＦは、前段のＩＭＰ１からのタグ情報入力と画素データ入力を有する。

各画像処理ユニットの出力インターフェースＱＩＦは、タグ情報ＴＡＧが出力されるタグ情報出力（端子）を含む。またＴＡＧに基づいてその属性が識別される画素データが、後段の画像処理ユニットに対して出力される画素データ出力（端子）を有する。具体的には例えばＩＭＰ２の出力インターフェースＱＩＦは、後段のＩＭＰ３に対するタグ情報出力と画素データ出力を有する。

なお図７では各画像処理ユニットの入力インターフェースＩＩＦ、出力インターフェースＱＩＦは、図４で説明したハンドシェーク信号ＤＯＮＥ、ＥＮＢの入出力を有している。しかしながら、このようなハンドシェーク信号入出力を有しない構成にしたり、後述する図９のように完了信号ＤＯＮＥの入力や出力だけを有する構成にしてもよい。

タグ情報生成ユニットＴＧＥＮにより生成されるタグ情報としては、例えば画素データがＲ、Ｇ、Ｂのいずれの画素のデータなのかを識別するための情報や、画素データがイメージセンサの先頭画素のデータなのか最終画素のデータなのかを識別するための情報や、或いは画素データがイメージセンサの奇数番目画素のデータなのか偶数番目画素のデータなのかを識別するための情報などを含めることができる。

図８（Ａ）にタグ情報ＴＡＧの例を示す。このタグ情報ＴＡＧは８ビットのデータになっている。ＴＡＧのビットＢ７、Ｂ６、Ｂ５は、画素データがＲ、Ｇ、Ｂのいずれの画素のデータなのかを識別するための情報である。例えばビットＢ７が論理レベルの「１」ならばＲ（赤）、Ｂ６が「１」ならばＧ（緑）、Ｂ５が「１」ならばＢ（青）の画素データになる。

ＴＡＧのビットＢ４、Ｂ３は、画素データがイメージセンサの先頭画素のデータなのか最終画素のデータなのかを識別するための情報である。例えばビットＢ４が論理レベルの「１」ならば先頭画素、Ｂ３が「１」ならば最終画素のデータになる。イメージセンサが、スキャナなどで使用されるラインセンサである場合には、先頭画素、最終画素は１又は複数ライン（走査ライン）の先頭、最終の画素である。一方、イメージセンサがデジタルカメラなど使用されるフレームセンサである場合には、先頭画素、最終画素はフレーム画像の先頭、最終の画素である。

ＴＡＧのビットＢ２、Ｂ１は、画素データがイメージセンサの奇数番目画素のデータなのか偶数番目画素のデータなのかを識別するための情報である。例えばビットＢ２が論理レベル「１」ならば奇数番目画素、Ｂ１が「１」ならば偶数番目画素のデータになる。例えばラインセンサなどでは、解像度を向上するために、奇数番目用の画素のラインと偶数番目用の画素のラインを相互に例えば０．５画素分だけずれるように設ける場合がある。そして奇数番目の画素のデータについては図３の転送ゲート２０４-1と転送部２０６-1により読み出し、偶数番目の画素のデータについては転送ゲート２０４-2と転送部２０６-2により読み出す。奇数番目の画素のラインと偶数番目の画素のラインをＲＧＢの各々について設けた場合には、ラインセンサの画素のラインの本数は２×３＝６本になる。ＴＡＧのビットＢ２、Ｂ１は転送ゲート２０４-1と転送部２０６-1により読み出される奇数番目の画素のデータと、転送ゲート２０４-2と転送部２０６-2により読み出される偶数番目の画素のデータとを識別するための情報である。

なおタグ情報ＴＡＧは図８（Ａ）のような情報に限定されず、これらの情報の一部を含まないようにしたり、画素データの属性を識別するための他の情報を含むようにしてもよい。また図８（Ａ）ではＴＡＧは８ビットになっているが、ＴＡＧのビット数はこれに限定されない。例えば情報の冗長度を減らすデコード処理（圧縮）などを行って、ＴＡＧのビット数を減らしてもよい。

図８（Ｂ）に、クロックＣＬＫ、ハンドシェーク信号ＤＯＮＥ、ＥＮＢ、画素データＰＤ、タグ情報ＴＡＧのタイミング波形図を示す。前段の画像処理ユニットの画像処理が完了すると、図８（Ｂ）のＣ１に示すように前段の画像処理ユニットは信号ＤＯＮＥをアクティブにして、Ｃ２、Ｃ３に示すように画像処理後の画素データＰＤ及びその属性を示すタグ情報ＴＡＧを出力する。すると、この信号ＤＯＮＥと画素データＰＤ及びタグ情報ＴＡＧを受けた画像処理ユニットは、前段の画像処理ユニットからの画素データＰＤに対する画像処理を開始する。この際、画像処理ユニットは、ＴＡＧに基づいて画素データＰＤの属性を知ることができる。即ち画素データが、Ｒ、Ｇ、Ｂのいずれの色の画素のデータなのか、先頭画素のデータなのか最終画素のデータなのか、奇数番目画素のデータなのか偶数番目画素のデータなのかを、ＴＡＧに基づいて識別できる。

そして画像処理ユニットは次の画素データを受け付けられる状態になるとＣ４に示すように信号ＥＮＢをアクティブにする。前段の画像処理ユニットは、次の画素データＰＤに対する画像処理が既に終了していて、ＰＤの出力が可能であれば、Ｃ５に示すように信号ＤＯＮＥをアクティブにして、Ｃ６、Ｃ７に示すように次の画素データＰＤ及びその属性を示すタグ情報ＴＡＧを出力する。

以上のようなタグ情報を用いる手法によれば、複数の画像処理ユニットを用いたパイプライン処理による複数の画素データの並列処理を容易化できる。即ち画素データに対する画像処理の内容は、画素データの属性によって異なる。例えば画素の色がＲなのかＧなのかＢなのかによって、シェーディング処理やガンマ補正処理に必要なテーブルデータの内容も異なる。従ってタグ情報を用いない手法では、装置全体を制御するシーケンサが、各タイミングにおいてどのような画像処理を行うのかを各画像処理ユニットに指示する必要があり、タイミング制御やハードウェア構成が複雑化する。

これに対して図７、図８（Ａ）（Ｂ）のようにタグ情報を用いる手法によれば、前段の画像処理ユニットから、画素データＰＤと共にＰＤの属性を示すタグ情報ＴＡＧが出力される。従って装置全体を制御するシーケンサからの指示がなくても、画素データＰＤの属性に対応した画像処理をＴＡＧにより識別して、ＰＤに施すことが可能になる。従ってタイミング制御やハードウェア構成を簡素化でき、画像処理装置の開発期間の短縮化、低コスト化を図れる。

なお図７の第２の構成例では、入力インターフェースＩＩＦのタグ情報の入力端子数と、ＩＩＦの画素データの入力端子数と、出力インターフェースＱＩＦのタグ情報の出力端子数と、ＱＩＦの画素データの出力端子数を、全ての画像処理ユニットＩＭＰ１〜ＩＭＰ４において同数にすることが望ましい。即ち画素データのビット数を例えば１６ビット（広義にはＬビット）に統一して、画素データの入力端子数や出力端子数を全ての画像処理ユニットＩＭＰ１〜ＩＭＰ４において例えば１６本（広義にはＬ本）にする。またタグ情報の入力端子数や出力端子数も全ての画像処理ユニットＩＭＰ１〜ＩＭＰ４において統一して、例えば８ビット（広義にはＩビット）である８本（広義にはＩ本）にする。

このようにすれば画像処理装置６４の一連の画像処理についての、画像処理の削除や追加や順番入れ替えなどの修正が容易になり、設計の自由度を高めたり、開発期間の短縮化を図れる。即ち画像処理によってはタグ情報の一部又は全部が不要な場合がある。例えば図８（Ａ）のＴＡＧのビットＢ２、Ｂ１（ＯＤＤ、ＥＶＥＮ）の情報はシェーディング処理などでは必要であるが、他の画像処理では不要な場合もある。このような場合に、各画像処理ユニットにおいて必要なビット数になるように、ＴＡＧのビット数を各画像処理ユニット毎に異ならせると、図６等で説明した画像処理ユニットの削除や追加や順番入れ替えなどの修正が容易ではなくなってしまう。

これに対して本実施形態では、タグ情報の一部又は全部が不要な画像処理ユニットに入力されるタグ情報についても、他の画像処理ユニットに入力されるタグ情報のビット数と統一して同一ビット数（例えばＩビット）にしている。従って、画像処理ユニットの削除や追加や順番入れ替えなどの修正も容易に行うことができ、画像処理装置の開発期間の短縮化、低コスト化を図れる。

５．第３の構成例
図９に本実施形態の画像処理装置の第３の構成例を示す。図９の画像処理装置６４は、互いに異なる画像処理を画素データに対して施す画像処理ユニットＩＭＰ１〜ＩＭＰ４を含む。そしてＩＭＰ１〜ＩＭＰ４の各画像処理ユニットはパイプライン処理により画像処理を行う。具体的には各画像処理ユニットは、前段の画像処理ユニットにより画像処理が施された後の画素データＰＤを入力し、入力された画素データＰＤに対して画像処理を施し、画像処理が施された後の画素データＰＤを後段の画像処理ユニットに対して出力する。これにより処理を高速化できる。

ＩＭＰ１〜ＩＭＰ４の各画像処理ユニットの入力インターフェースＩＩＦは、前段の画像処理ユニットでの画像処理の完了信号ＤＯＮＥが入力される完了信号入力（端子）を含む。また前段の画像処理ユニットから入力される画素データ入力（端子）を有する。具体的には例えばＩＭＰ２の入力インターフェースＩＩＦは、前段のＩＭＰ１からの完了信号入力と画素データ入力を有する。

各画像処理ユニットの出力インターフェースＱＩＦは、画像処理ユニットでの画像処理の完了信号ＤＯＮＥの出力（端子）を含む。また後段の画像処理ユニットに対して出力される画素データＰＤの出力（端子）を有する。具体的には例えばＩＭＰ２の出力インターフェースＱＩＦは、後段のＩＭＰ３に対する完了信号出力と画素データ出力を有する。

そして図９では、全ての画像処理ユニットＩＭＰ１〜ＩＭＰ４の画像処理が同一クロック数の期間で行われるように制御される。例えばＩＭＰ１〜ＩＭＰ４において実際に必要とされるクロック数の期間が互いに異なり、５〜７クロック数の期間であったとする。この場合には、全てのＩＭＰ１〜ＩＭＰ４の画像処理が、最大クロック数である７クロック（広義にはＪクロック）の期間で行われるように統一する。別の言い方をすれば、完了信号ＤＯＮＥを例えば７クロック（Ｊクロック）毎にアクティブにする。なお図９の第３の構成例においても、図７の第２の構成例と同様に、各画像処理ユニット間でタグ情報ＴＡＧを入出力するようにしてもよい。

図１０に、クロックＣＬＫ、完了信号ＤＯＮＥ、画素データＰＤのタイミング波形を示す。前段の画像処理ユニットの画像処理が完了すると、図１０のＤ１に示すように前段の画像処理ユニットは完了信号ＤＯＮＥをアクティブにして、Ｄ２に示すように画像処理後の画素データＰＤを出力する。すると、この信号ＤＯＮＥと画素データＰＤを受けた画像処理ユニットは、前段の画像処理ユニットからの画素データＰＤに対する画像処理を開始する。

そして全ての画像処理ユニットでの画像処理は、同一クロック数（Ｊクロック）の期間ＴＣが経過するまでに完了する。そして期間ＴＣの経過後に各画像処理ユニットは、Ｄ３に示すように完了信号ＤＯＮＥをアクティブにして、Ｄ４に示すように次の画素データＰＤを出力する。

図９の第３の構成例によれば図４の第１の構成例に比べて、画像処理ユニット間の制御信号を１本の完了信号ＤＯＮＥだけですますことが可能になり、制御信号の数を減らすことができる。また全ての画像処理ユニットがほぼ同一のタイミングで画像処理を開始し、ほぼ同一のタイミングで画像処理を完了するようになるため、画像処理装置の制御を容易化できる。

なお図９の第３の構成例では、入力インターフェースＩＩＦの完了信号の入力端子数と、ＩＩＦの画素データの入力端子数と、出力インターフェースＱＩＦの完了信号の出力端子数と、ＱＩＦの画素データの出力端子数を、全ての画像処理ユニットＩＭＰ１〜ＩＭＰ４において同数にすることが望ましい。即ち画素データのビット数を例えば１６ビット（広義にはＬビット）に統一する。また完了信号ＤＯＮＥの入力端子数や出力端子数も全ての画像処理ユニットＩＭＰ１〜ＩＭＰ４において統一して、１本（広義にはＨ本）にする。このようにすれば画像処理装置６４の一連の画像処理についての、画像処理の削除や追加や順番入れ替えなどの修正が容易になり、設計の自由度を高めたり、開発期間の短縮化を図れるようになる。

６．第４の構成例
図１１に本実施形態の画像処理装置の第４の構成例を示す。図１１の画像処理装置６４はＦＩＦＯ（First-In First-Out）を含む。このＦＩＦＯは例えばフリップフロップやメモリにより構成される。このようなＦＩＦＯを初段に設けることで、パイプライン処理に破綻が生じるのを防止できる。

画像処理装置６４は図７〜図８（Ｂ）で説明したタグ情報生成ユニットＴＧＥＮを含む。例えばタグ情報生成ユニットＴＧＥＮは、奇数番目用（ＯＤＤ）のＲＧＢの３本のラインと、偶数番目用（ＥＶＥＮ）のＲＧＢの３本のラインのいずれのラインの転送部（図３参照）から、画素データが転送されて来たのかを識別することで、タグ情報ＴＡＧを生成できる。また各画素データが１又は複数のラインの先頭画素のデータなのか、最終画素のデータなのかを識別することで、タグ情報ＴＡＧを生成できる。

画像処理装置６４は、画像処理ユニットＩＭＰ１（第１の画像処理ユニット）としてシェーディング処理ユニットＳＰＵを含む。このシェーディング処理ユニットＳＰＵは例えば図１２（Ａ）の特性曲線に示すような明るさ補正を行って、補正処理後の画素データを後段のガンマ補正処理ユニットＧＰＵに出力する。即ちラインセンサなどにおいては、ラインの先頭画素と最終画素では、光に対する検知感度が中間画素に比べて低くなる。従って同じ「白」を検知した場合にも、中間画素に比べて、ラインの先頭画素や最終画素では検知データのレベルが図１２（Ａ）のＥ１、Ｅ２に示すように低くなってしまう。

そこでシェーディング処理ユニットＳＰＵは図１２（Ａ）のＥ３に示すように、「白」に対応する最大値の検知データが均一（ライン内で均一）になるように明るさ補正を行う。このようにすることで読み取り画像にむらが生じるのを防止できる。

なお「白」に対応する最大値のみならず、「黒」に対応する最小値についても均一になるように、シェーディング処理ユニットＳＰＵにより明るさ補正を行ってもよい。またタグ情報ＴＡＧに基づいてＲＧＢ毎に異なったシェーディング処理を行うようにすれば、より正確な明るさ補正を実現できる。

画像処理装置６４は、画像処理ユニットＩＭＰ２（広義には第２〜第Ｎ−１の画像処理ユニット）としてガンマ補正処理ユニットＧＰＵを含む。このガンマ補正処理ユニットＧＰＵにおいては、入力される画素データ（ＩＮ）に対して図１２（Ｂ）の変換特性に示すような補正を行って、補正処理後の画素データ（ＯＵＴ）を後段の平均化・間引き処理ユニットＡＰＵに出力する。このようにすることで、イメージセンサなどの入出力特性の非線形性を補正できる。なおタグ情報ＴＡＧに基づいてＲＧＢ毎に異なったガンマ補正処理を行うようにすれば、イメージセンサなどの入出力特性の非線形性をより正確に補正できる。

画像処理装置６４は、画像処理ユニットＩＭＰ３（広義には第２〜第Ｎ−１の画像処理ユニット）として平均化・間引き処理ユニットＡＰＵを含む。この平均化・間引き処理ユニットＡＰＵでは、複数の画素のデータの平均値を計算して、それを１つの画素データとして出力する。或いは複数の画素のデータの中から１つの画素データだけを選択して出力し、他の画素データを間引く。このような平均化・間引き処理を行うことで、高解像度（例えば３２００ｄｐｉ）のイメージセンサで取得した画素データを、低解像度（例えば４００ｄｐｉ）の画素データに変換して出力することが可能になる。

なお図１１ではガンマ補正処理ユニットＧＰＵの後段に平均化・間引き処理ユニットＡＰＵを設けているが、ＧＰＵの前段にＡＰＵを設けるようにしてもよい。また図１１では平均化・間引き処理ユニットＡＰＵを１つの画像処理ユニットにしているが、これらを平均化処理ユニットと間引き処理ユニットに分離してもよい。

画像処理装置６４は、画像処理ユニットＩＭＰ４（第Ｎの画像処理ユニット）として２値化処理ユニットＤＰＵを含む。この２値化処理ユニットＤＰＵにおいては、入力される画素データ（ＩＮ）に対して図１２（Ｃ）の変換特性に示すような処理を行って、処理後の２値化された画素データ（ＯＵＴ）を出力する。このようにすることで、カラーの画素データを白黒の画素データに変換できる。

制御レジスタＣＲＥＧは、タグ情報生成ユニットＴＧＥＮ、シェーディング処理ユニットＳＰＵ、ガンマ補正処理ユニットＧＰＵ、平均化・間引き処理ユニットＡＰＵ、２値化処理ユニットＤＰＵに対して、処理に必要な各種パラメータを供給したり、これらのユニットの各種モードを設定するためのレジスタである。

例えばタグ情報生成ユニットＴＧＥＮに対しては、イメージセンサのライン長などのパラメータの供給が、ＣＲＥＧにより行われる。シェーディング処理ユニットＳＰＵに対しては、シェーディング処理を行うか否か、カラーモードにするか白黒モードにするかなどのモード設定が、ＣＲＥＧにより行われる。ガンマ補正処理ユニットＧＰＵに対しては、線形補間の精度についてのパラメータの供給や、ガンマ補正処理を行うか否かのモード設定が、ＣＲＥＧにより行われる。平均化・間引き処理ユニットＡＰＵに対しては、平均化する画素数や間引きする画素数についてのパラメータの供給や、平均化或いは間引き処理を行うか否かなどのモード設定が、ＣＲＥＧにより行われる。２値化処理ユニットＤＰＵに対しては、２値化処理のしきい値についてのパラメータの供給や、２値化処理を行うか否かのモード設定が、ＣＲＥＧにより行われる。

ＲＡＭには、シェーディング処理の変換特性を設定するためのシェーディング用テーブルＳＴＢと、ガンマ補正処理の変換特性を設定するためのガンマ補正用テーブルＧＴＢが記憶される。これらのテーブルＳＴＢ、ＧＴＢは例えばＣＰＵなどによりＲＡＭに書き込まれる。そしてシェーディング処理ユニットＳＰＵは、シェーディング用テーブルＳＴＢに基づき特定される変換特性（図１２（Ａ）参照）で、画素データに対するシェーディング処理を行う。ガンマ補正処理ユニットＧＰＵは、ガンマ補正用テーブルＧＴＢに基づき特定される変換特性（図１２（Ｂ）参照）で、画素データに対するガンマ補正処理を行う。

図１１に示すように本実施形態では、初段の第１の画像処理ユニット（ＩＭＰ１）が、シェーディング処理ユニットＳＰＵになっている。シェーディング処理を初段の画像処理ユニットで行うことで、画素データを図１２（Ａ）に示すような適正なデータに変換することができ、その後の画像処理を適正に行うことが可能になる。また図１１では最終段の第Ｎの画像処理ユニット（ＩＭＰ４）が、２値化処理ユニットＤＰＵになっていおり、中間の第２〜第Ｎ−１の画像処理ユニット（ＩＭＰ２、ＩＭＰ３）が、ガンマ補正処理ユニットＧＰＵや平均化・間引き処理ユニットＡＰＵになっている。ガンマ補正処理や平均化・間引き処理を２値化処理の後に行うと、処理の意味が無くなる可能性がアルからである。

なお図１３に示すようにシェーディング処理ユニットＳＰＵを、シェーディングパラメータを生成するシェーディングパラメータ生成ユニットＰＰＵと、生成されたシェーディングパラメータに基づいてシェーディング演算を行うシェーディング演算ユニットＳＣＵとに分離してもよい。即ちシェーディング処理を実現するためには、ＲＡＭからシェーディング用テーブルＳＴＢを読み出す処理や、各画素間で異なるシェーディングパラメータを生成する処理が必要になり、他の画像処理に比べて、処理に必要なクロック数の期間が長い。

図１３では、シェーディング処理ユニットＳＰＵが、シェーディングパラメータ生成ユニットＰＰＵとシェーディング演算ユニットＳＣＵに分離され、これらのＰＰＵ、ＳＣＵの各々に、本実施形態で説明した入力インターフェースＩＩＦと出力インターフェースＱＩＦが設けられている。そしてＰＰＵとＳＣＵは、図４で説明したハンドシェーク信号ＤＯＮＥ、ＥＮＢを用いて（図９の完了信号ＤＯＮＥだけを用いるようにしてもよい）、パイプライン処理により画像処理を行っている。従ってシェーディングの処理時間が長い場合にも、ＰＰＵとＳＣＵの処理時間は短くすることができるため、全体的な処理時間の効率化を図ることができる。

なお図１３ではシェーディング処理ユニットＳＰＵを２個の画像処理ユニットに分離しているが、ＳＰＵ以外の画像処理ユニット（ＧＰＵ、ＡＰＵ、ＤＰＵ等）を２個以上の画像処理ユニットに分離するようにしてもよい。

なお本発明は本実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。例えば明細書又は図面中の記載において広義や同義な用語（第１〜第Ｎの画像処理ユニット、第１〜第Ｎの画像処理、第２〜第Ｎ−１の画像処理ユニット、Ｌビット等）として引用された用語（ＩＭＰ１〜ＩＭＰ４、第１〜第４の画像処理、ＩＭ２，ＩＭＰ３、１６ビット等）は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。

また電子機器や画像処理装置の構成も本実施形態で説明したものに限定されず、種々の変形実施が可能である。また本発明は、イメージスキャナ、ファクシミリ、コピー機、デジタルカメラ等に限定されず、これら以外の電子機器や、これらの複合機などにも適用できる。

本実施形態の電子機器の構成例。 図２（Ａ）〜（Ｃ）はイメージセンサの説明図。 奇数番目と偶数番目のラインを設けたイメージセンサの説明図。 本実施形態の画像処理装置の第１の構成例。 第１の構成例の動作を説明するタイミング波形図。 画像処理ユニットの削除等の修正作業の説明図。 本実施形態の画像処理装置の第２の構成例。 図８（Ａ）（Ｂ）はタグ情報の例や第２の構成例のタイミング波形図。 本実施形態の画像処理装置の第３の構成例。 第３の構成例の動作を説明するタイミング波形図。 本実施形態の画像処理装置の第４の構成例。 図１２（Ａ）〜（Ｃ）はシェーディング処理、ガンマ補正処理、２値化処理の説明図。 シェーディング処理ユニットをシェーディングパラメータ生成ユニットとシェーディング演算ユニットに分離する手法の説明図。

符号の説明

ＩＭＰ１〜ＩＭＰ４ 画像処理ユニット、ＩＩＦ 入力インターフェース、
ＱＩＦ 出力インターフェース、ＰＤ 画素データ、
ＤＯＮＥ、ＥＮＢ ハンドシェーク信号、ＤＯＮＥ 完了信号、ＣＲＥＧ 制御レジスタ、ＴＧＥＮ タグ情報生成ユニット、ＳＰＵ シェーディング処理ユニット、
ＧＰＵ ガンマ補正処理ユニット、ＡＰＵ 平均化・間引き処理ユニット、
ＤＰＵ ２値化処理ユニット、ＳＴＢ シェーディング用テーブル、
ＧＴＢ ガンマ補正用テーブル、ＰＰＵ シェーディングパラメータ生成ユニット、
ＳＣＵ シェーディング演算ユニット、φ１、φ２ シフト転送クロック、
１０ 電子機器、１２ 読み取り対象物（原稿）、１４ 載置台（原稿台）、
１５ フレーム、２０ キャリッジ、２２ イメージセンサ、
２６ 光源、２８ レンズ、３０ 駆動装置、３２ モータ、３４ モータドライバ、
３６ 駆動ベルト、３８ プーリ、４０ Ａ／Ｄ変換器、５０ 電子機器コントローラ、
６０ イメージセンサコントローラ、６２ 駆動コントローラ、６４ 画像処理装置
８０ サーボコントローラ、９６ ＣＰＵ、９８ メモリ、
２０２ 受光部、２０４ 転送ゲート、２０６ 転送部、

Claims (12)

1. 画素データに画像処理を施すための画像処理装置であって、
   互いに異なる第１〜第Ｎの画像処理を画素データに対して施す第１〜第Ｎの画像処理ユニットを含み、
   前記第１〜第Ｎの画像処理ユニットの各第Ｋ（１＜Ｋ＜Ｎ）の画像処理ユニットが、
   前段の第Ｋ−１の画像処理ユニットから第Ｋ−１の画像処理が施された後の画素データを入力し、入力された画素データに対して第Ｋの画像処理を施し、第Ｋの画像処理が施された後の画素データを後段の第Ｋ＋１の画像処理ユニットに対して出力するパイプライン処理を行い、
   前記各第Ｋの画像処理ユニットが、
   前段の第Ｋ−１の画像処理ユニットとの間でハンドシェーク信号が入出力されるハンドシェーク信号入出力と、前記ハンドシェーク信号を用いて前段の第Ｋ−１の画像処理ユニットから画素データが入力される画素データ入力とを有する入力インターフェースと、
   後段の第Ｋ＋１の画像処理ユニットとの間でハンドシェーク信号が入出力されるハンドシェーク信号入出力と、前記ハンドシェーク信号を用いて後段の第Ｋ＋１の画像処理ユニットに対して画素データが出力される画素データ出力とを有する出力インターフェースと、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記入力インターフェースの前記ハンドシェーク信号入出力では、
   前段の第Ｋ−１の画像処理ユニットから第Ｋ−１の画像処理の完了信号が入力されると共に、前段の第Ｋ−１の画像処理ユニットに対して画素データの入力許可信号が出力され、
   前記出力インターフェースの前記ハンドシェーク信号入出力では、
   第Ｋの画像処理ユニットに対して第Ｋの画像処理の完了信号が出力されると共に、後段の第Ｋ＋１の画像処理ユニットから画素データの入力許可信号が入力されることを特徴とする画像処理装置。
3. 請求項１又は２において、
   前記入力インターフェースの前記ハンドシェーク信号入出力の端子数と、前記入力インターフェースの前記画素データ入力の端子数と、前記出力インターフェースの前記ハンドシェーク信号入出力の端子数と、前記出力インターフェースの前記画素データ出力の端子数とが、第１〜第Ｎの画像処理ユニットにおいて同数になっていることを特徴とする画像処理装置。
4. 画素データに画像処理を施すための画像処理装置であって、
   画素データの属性を識別するためのタグ情報を生成するタグ情報生成ユニットと、
   互いに異なる第１〜第Ｎの画像処理を画素データに対して施す第１〜第Ｎの画像処理ユニットと、
   を含み、
   前記第１〜第Ｎの画像処理ユニットの各第Ｋ（１＜Ｋ＜Ｎ）の画像処理ユニットが、
   前段の第Ｋ−１の画像処理ユニットから第Ｋ−１の画像処理が施された後の画素データを入力し、入力された画素データに対して第Ｋの画像処理を施し、第Ｋの画像処理が施された後の画素データを後段の第Ｋ＋１の画像処理ユニットに対して出力するパイプライン処理を行い、
   前記各第Ｋの画像処理ユニットが、
   タグ情報が入力されるタグ情報入力と、前記タグ情報に基づいてその属性が識別される画素データが前段の第Ｋ−１の画像処理ユニットから入力される画素データ入力とを有する入力インターフェースと、
   タグ情報が出力されるタグ情報出力と、前記タグ情報に基づいてその属性が識別される画素データが後段の第Ｋ＋１の画像処理ユニットに対して出力される画素データ出力とを有する出力インターフェースと、
   を含むことを特徴とする画像処理装置。
5. 請求項４において、
   前記タグ情報生成ユニットが、
   画素データがＲ、Ｇ、Ｂのいずれの画素のデータなのかを識別するための情報と、画素データがイメージセンサの先頭画素のデータなのか最終画素のデータなのかを識別するための情報と、画素データがイメージセンサの奇数番目画素のデータなのか偶数番目画素のデータなのかを識別するための情報の少なくとも１つを含むタグ情報を生成することを特徴とする画像処理装置。
6. 請求項４又は５において、
   前記入力インターフェースの前記タグ情報入力の端子数と、前記入力インターフェースの前記画素データ入力の端子数と、前記出力インターフェースの前記タグ情報出力の端子数と、前記出力インターフェースの前記画素データ出力の端子数とが、第１〜第Ｎの画像処理ユニットにおいて同数になっていることを特徴とする画像処理装置。
7. 画素データに画像処理を施すための画像処理装置であって、
   互いに異なる第１〜第Ｎの画像処理を画素データに対して施す第１〜第Ｎの画像処理ユニットを含み、
   前記第１〜第Ｎの画像処理ユニットの各第Ｋ（１＜Ｋ＜Ｎ）の画像処理ユニットが、
   前段の第Ｋ−１の画像処理ユニットから第Ｋ−１の画像処理が施された後の画素データを入力し、入力された画素データに対して第Ｋの画像処理を施し、第Ｋの画像処理が施された後の画素データを後段の第Ｋ＋１の画像処理ユニットに対して出力するパイプライン処理を行い、
   前記各第Ｋの画像処理ユニットが、
   前段の第Ｋ−１の画像処理ユニットから第Ｋ−１の画像処理の完了信号が入力される完了信号入力と、前記完了信号がアクティブになったことを条件に前段の第Ｋ−１の画像処理ユニットから画素データが入力される画素データ入力とを有する入力インターフェースと、
   第Ｋの画像処理ユニットに対して第Ｋの画像処理の完了信号が出力される完了信号出力と、前記完了信号がアクティブになったことを条件に後段の第Ｋ＋１の画像処理ユニットに対して画素データが出力される画素データ出力とを有する出力インターフェースとを含み、
   第１〜第Ｎの画像処理ユニットでの画像処理を、同じクロック数の処理時間で行うことを特徴とする画像処理装置。
8. 請求項７において、
   前記入力インターフェースの前記完了信号入力の端子数と、前記入力インターフェースの前記画素データ入力の端子数と、前記出力インターフェースの前記完了信号出力の端子数と、前記出力インターフェースの前記画素データ出力の端子数とが、第１〜第Ｎの画像処理ユニットにおいて同数になっていることを特徴とする画像処理装置。
9. 請求項１乃至８のいずれかにおいて、
   前記第１〜第Ｎの画像処理ユニットとして、
   明るさ補正のためのシェーディング処理を画素データに施すシェーディング処理ユニットと、ガンマ補正処理を画素データに施すガンマ補正処理ユニットと、平均化処理又は間引き処理を画素データに施す平均化・間引き処理ユニットと、２値化処理を画素データに施す２値化処理ユニットの少なくとも１つを含むことを特徴とする画像処理装置。
10. 請求項９において、
    初段の第１の画像処理ユニットが、前記シェーディング処理ユニットであり、中間の第２〜第Ｎ−１の画像処理ユニットの少なくとも１つが、前記ガンマ補正処理ユニット及び前記平均化・間引き処理ユニットの少なくとも１つであり、最終段の第Ｎの画像処理ユニットが、前記２値化処理ユニットであることを特徴とする画像処理装置。
11. 請求項９又は１０において、
    前記シェーディング処理ユニットが、
    シェーディングパラメータを生成するシェーディングパラメータ生成ユニットと、シェーディングパラメータ生成ユニットにより生成されたシェーディングパラメータに基づいてシェーディング演算を行うシェーディング演算ユニットとに分離されていることを特徴とする画像処理装置。
12. 画素データを取得するためのイメージセンサと、
    前記イメージセンサにより取得された画素データに対して画像処理を施す請求項１乃至１１のいずれかの画像処理装置と、
    を含むことを特徴とする電子機器。

Images