JP2006072832A - 画像処理システム - Google Patents

Abstract

【課題】
処理速度を高めることのできる画像処理システムを提供する。
【解決手段】
画像データを一次記憶するＤＲＡＭ１１と、ＤＲＡＭ１１のリードライト制御を行うＤＲＡＭ制御部１２と、画像データに対して所定の画像処理を行う画像処理部１５ａ、１５ｂ、１５ｃと、画像入力部１３と、画像出力部１４と、ＤＲＡＭ制御部１２と画像処理部１５ａ、１５ｂ、１５ｃとの間に配置され、画像データの転送を行うキャッシュシステム１０と、を備える。キャッシュシステム１０は、ＤＲＡＭ１１に対してリードアドレスの先出しによる先読み動作と、データをまとめて後から書き込むライトバック動作を行う。画像処理部１５ａ、１５ｂ、１５ｃと、画像入力部１３と、画像出力部１４とから入出力される画像データは、ＤＭＡによりリードキャッシュ２１あるいはライトキャッシュ２２を介してＤＲＡＭ１１にリードライトされる。
【選択図】
図１

Description

本発明は、画像処理システムに関し、特に画像データを一次記憶するＤＲＡＭ（Dynamic Random Access Memory）とキャッシュメモリを有する画像処理システムに関する。

近年、画像処理の複雑化・高精度化に伴い、画像処理に必要な一次記憶領域は、増加する一方である。このような一次記憶として、ＳＲＡＭ（Static Random Access Memory）を用いることが不可能、もしくは高コストになるため、安価で大容量のＤＲＡＭが用いられている。しかし、ＤＲＡＭは、その構造上、ＳＲＡＭに比べてアクセスの待ち時間（レイテンシ）が大きいため、ＤＲＡＭのデータ転送帯域がボトルネックとなって画像処理速度が遅くなることが多い。

そこで、ＤＲＡＭと画像処理部との間にキャッシュメモリを配置し、高速な画像処理を実現するシステムが知られている。例えば、特許文献１には、ＤＲＡＭを細分化して、キャッシュメモリに近接配置することで配線長を短くするようにして、高速転送と低消費電力化を可能とした画像処理回路が記載されている。このキャッシュメモリは、１リード／１ライト／１リード・ライトの３ポート構成を取るため、演算部への読出し、演算結果の書込み、ならびにメインメモリ（ＤＲＡＭ）とのデータ転送を同時に実行することができる。また、キャッシュメモリは、図示はされていないが、画素データを保持するブロック以外にキャッシュメモリ内にあるいずれのデータが新たに書込まれたものであるかを示すフラグデータをも保持するように構成されている。このフラグは、キャッシュメモリに演算結果データの書込みを行なったとき、そのデータに対応するビットがセットされ、キャッシュメモリからメインメモリヘデータを書き戻すとき、フラグビットがセットされているデータのみを書込み、フラグビットはリセットされているものはデータが書込まれない。これにより、不必要な書込バッファの動作を取除くことができ、消費電力を小さくすることができる。なお、このフラグによるメインメモリへの書込制御は、外部制御信号によって指定することができる。このフラグのリセットは、データをメインメモリからキャッシュメモリへ転送したとき、あるいは外部からの制御信号によって行なわれる。

また、関連する技術として、特許文献２には、安価なＤＲＡＭ等のメモリをフレームバッファとして用いて、描画速度を高速に維持できるような画像生成装置が開示されている。この装置は、描画エンジン等の描画処理手段により生成された画素データを一時的に先読み可能なＦＩＦＯ（First In First Out）メモリ等のメモリに一時的に蓄え、この先読み可能なＦＩＦＯメモリとフレームバッファとの間に高速のキャッシュメモリを設け、キャッシュ制御手段により上記先読み可能なＦＩＦＯメモリの内容を先読みして上記キャッシュメモリの読み書きの制御を行っている。

特開平７−２４９１１６号公報 （図１、図１５、２７頁） 特開平９−２１２６６１号公報 （図３）

従来のＤＲＡＭを用いた画像処理システムにおいて、画像処理部とＤＲＡＭとの間に配置したキャッシュメモリによりＤＲＡＭに対するアクセスレイテンシを減らして画像処理システムの画像処理速度を向上させている。特に、特許文献１に記載のキャッシュメモリは、１リード／１ライト／１リード・ライトの３ポート構成を取るため、演算部への読出し、演算結果の書込み、ならびにメインメモリ（ＤＲＡＭ）とのデータ転送を同時に実行することができ、画像処理速度を高めることが可能である。しかしながら、このキャッシュメモリは、ＤＲＡＭとのデータ転送を１リード・ライトの一つのポートで行うために、ＤＲＡＭとキャッシュメモリとの間の転送速度の高速化が十分とはいえなかった。したがって、画像処理速度をより高めようとすると、キャッシュメモリとＤＲＡＭとの間の転送速度がボトルネックとなってしまい、画像処理速度をより高めることが困難であった。特に、画像処理を複数同時に実行させるような場合において顕著であった。

本発明の目的は、より処理速度を高めることのできる画像処理システムを提供することにある。

前記目的を達成する本発明の一つのアスペクトに係る画像処理システムは、画像データを一次記憶するＤＲＡＭ（Dynamic Random Access Memory）と、ＤＲＡＭのリードライト制御を行うＤＲＡＭ制御部と、画像データに対して所定の画像処理を行う画像処理部と、ＤＲＡＭ制御部と画像処理部との間に配置され、画像データの転送を行うキャッシュシステムと、を備える。キャッシュシステムは、ＤＲＡＭに対してリードアドレスの先出しによる先読み動作を行うリード系キャッシュシステムと、ＤＲＡＭに対してデータをまとめて後から書き込むライトバック動作を行うライト系キャッシュシステムと、から構成される。

第１の展開形態の画像処理システムにおいて、リード系キャッシュシステムは、リードキャッシュメモリと、ＤＲＡＭ制御部から画像データを読み出し、読み出した画像データをリードキャッシュメモリによって一時蓄積するように制御するリードキャッシュ制御部と、ＤＲＡＭ制御部から画像データを読み出す際に、ＤＲＡＭのリードアドレスを所定のアドレス生成パターンに従って出力して先読み動作を行うリードＤＭＡ（Direct Memory Access）部と、を備えることが好ましい。

第２の展開形態の画像処理システムにおいて、リードＤＭＡ部は、ＤＲＡＭのリードアドレスを所定のアドレス生成パターンに基づいて計算してリードキャッシュ制御部に対して出力し、リードキャッシュ制御部から入力されるリード応答信号によって次のリードアドレスを出力するリードアドレス出力部と、リードキャッシュ制御部から入力される画像データを一時蓄積して画像処理部に出力するリード用ＦＩＦＯ（First In First Out）と、を備えることが好ましい。

第３の展開形態の画像処理システムにおいて、リードキャッシュメモリは、ｎ（ｎは２以上の整数）組のメモリ群から構成され、リードキャッシュ制御部は、ｎ組のメモリ群の各組毎に、出力すべき有効な画像データが溜まったか否かを管理し、画像データが溜まったメモリ群から画像処理部に出力するように制御することが好ましい。

第４の展開形態の画像処理システムにおいて、ＤＲＡＭのデータビット幅をｋ（ｋは自然数）ビット、ＤＲＡＭへの連続アクセス回数をｍ（ｍは自然数）回とする場合、リードキャッシュメモリは、ｋ×ｍビット幅でリードデータをＤＲＡＭ制御部から入力するように構成されることが好ましい。

第５の展開形態の画像処理システムにおいて、ライト系キャッシュシステムは、ライトキャッシュメモリと、画像処理部から画像データを読み出してライトキャッシュメモリに対して書き込むに際し、ＤＲＡＭのライトアドレスを所定のアドレス生成パターンに従って出力してライトバック動作を行うライトＤＭＡ部と、ライトキャッシュメモリによって一時蓄積された画像データをＤＲＡＭ制御部に対して書き込むように制御するライトキャッシュ制御部と、を備えることが好ましい。

第６の展開形態の画像処理システムにおいて、ライトＤＭＡ部は、ＤＲＡＭのライトアドレスを所定のアドレス生成パターンに基づいて計算してライトキャッシュ制御部に対して出力し、ライトキャッシュ制御部から入力されるライト応答信号によって次のライトアドレスを出力するリードアドレス出力部と、画像処理部から入力される画像データを一時蓄積してライトキャッシュ制御部に出力するライト用ＦＩＦＯと、を備えることが好ましい。

第７の展開形態の画像処理システムにおいて、ライトキャッシュメモリは、ｎ（ｎは２以上の整数）組のメモリ群から構成され、ライトキャッシュ制御部は、ｎ組のメモリ群の各組毎に、出力すべき有効な画像データが溜まったか否かを管理し、画像データが溜まったメモリ群からＤＲＡＭ制御部に対して書き込むように制御することが好ましい。

第８の展開形態の画像処理システムにおいて、ＤＲＡＭのデータビット幅をｋ（ｋは自然数）ビット、ＤＲＡＭへの連続アクセス回数をｍ（ｍは自然数）回とする場合、ライトキャッシュメモリは、ｋ×ｍビット幅でライトデータをＤＲＡＭ制御部へ出力するように構成されることが好ましい。

第９の展開形態の画像処理システムにおいて、所定のアドレス生成パターンは、アドレス生成パターンによるアドレス生成を要求する画像処理部における画素のアクセス順に基づいて定めることが好ましい。

第１０の展開形態の画像処理システムにおいて、画像処理部は、複数の画像処理部からなり、ライト系キャッシュシステムは、複数の画像処理部にそれぞれ対応させたライトＤＭＡ部を複数備え、複数のライトＤＭＡ部からのアクセス要求を調停するライトＤＭＡ調停部をさらに備え、ライトＤＭＡ調停部は、複数のライトＤＭＡ部から優先順位に従って選択したライトＤＭＡ部をライトキャッシュ制御部に接続することが好ましい。

第１１の展開形態の画像処理システムにおいて、複数の画像処理部の一部を、画像入力部に置き換え、画像入力部は、画像入力装置から入力される画像データを、複数のライトＤＭＡ部から選択される１つのライトＤＭＡ部に転送することが好ましい。

第１２の展開形態の画像処理システムにおいて、画像処理部は、複数の画像処理部からなり、リード系キャッシュシステムは、複数の画像処理部にそれぞれ対応させたリードＤＭＡ部を複数備え、複数のリードＤＭＡ部からのアクセス要求を調停するリードＤＭＡ調停部をさらに備え、リードＤＭＡ調停部は、複数のリードＤＭＡ部から優先順位に従って選択したリードＤＭＡ部をリードキャッシュ制御部に接続することが好ましい。

第１３の展開形態の画像処理システムにおいて、複数の画像処理部の一部を、画像出力部に置き換え、画像出力部は、複数のリードＤＭＡ部から選択される１つのリードＤＭＡ部から転送される画像データを画像出力装置に出力することが好ましい。

第１４の展開形態の画像処理システムにおいて、画像処理部がＣＰＵ（Central Processing Unit）あるいはＤＳＰ（Digital Signal Processor）で構成されてもよい。

本発明によれば、ＤＲＡＭへの読出し系と書き込み系とのそれぞれに対し、リードキャッシュ側はリードアドレスの先出しによる先読み動作を行い、ライトキャッシュ側はライト動作を後から行うライトバック動作を行うようにキャッシュシステムを構成することで、画像処理部とＤＲＡＭとの間の転送速度を高速化することができる。したがって、処理速度の極めて速い画像処理システムを構成することができる。

図１は、本発明の実施形態に係る画像処理システムの構成を示すブロック図である。画像処理システム１は、画像入力装置２から画像データを入力する画像入力部１３と、入力される画像データに対して各種の画像処理を行う画像処理部１５ａ、１５ｂ、１５ｃと、画像処理がなされた画像データを画像出力装置３に出力する画像出力部１４と、キャッシュシステム１０と、ＤＲＡＭ制御部１２と、ＤＲＡＭ１１とを備える。キャッシュシステム１０は、画像入力部１３、画像処理部１５ａ、１５ｂ、１５ｃ、画像出力部１４とそれぞれデータのやり取りをＤＭＡ（Direct Memory Access）で行うＤＭＡ部２４ａ、２４ｂ、２４ｃ、２４ｄ、２４ｅを備える。さらに、ＤＭＡ部２４ａ、２４ｂ、２４ｃ、２４ｄ、２４ｅからの要求を調停するＤＭＡ調停部２３と、ＤＲＡＭ１１からのリードデータを一時蓄積するリードキャッシュ２１と、ＤＲＡＭ１１へのライトデータを一時蓄積するライトキャッシュ２２と、リードキャッシュ２１およびライトキャッシュ２２の制御を行うキャッシュ制御部２０とを備える。

以上のように構成される画像処理システム１は、キャッシュシステム１０において、リードキャッシュ２１でリードデータの先読み動作を行い、ライトキャッシュ２２でライトバック動作を行うことにより、ＤＲＡＭ１１へのアクセスの待ち時間を減らし、画像入力部１３、画像処理部１５ａ、１５ｂ、１５ｃ、画像出力部１４での処理をほとんど連続的に行うことができる。さらに、キャッシュメモリの構成をＤＲＡＭ１１への連続アクセスに必要なビット幅とすることで、ＤＲＡＭ１１へ連続的にアクセスできるようにしている。したがって、画像処理システム１は、画像処理のための参照メモリにＤＲＡＭ１１を用い、ＤＲＡＭ１１と、画像入力部１３、画像処理部１５ａ、１５ｂ、１５ｃ、画像出力部１４とのデータのやりとりを行う部分に、キャッシュシステム１０を適用することによって、高速な画像処理を実現している。以下、画像処理システム１について実施例に即してさらに詳細に説明する。

図２は、本発明の第１の実施例に係る画像処理システムの構成を示すブロック図である。画像処理システム１は、画像入力装置２（例えば、スキャナやカメラ）からの画像データを受け取る画像入力部１３と、例えば、輪郭強調、拡大縮小などの画像処理を行う画像処理部１５ａ、１５ｂと、画像出力装置３（例えば、テレビやプリンタ）へ画像データを出力する画像出力部１４と、キャッシュシステム１０と、ＤＲＡＭ１１を制御するＤＲＡＭ制御部１２と、ＤＲＡＭ１１とを備える。キャッシュシステム１０は、画像入力部１３、画像処理部１５ａ、１５ｂからのデータをそれぞれ読み込んでライトキャッシュ制御部３１に対してＤＭＡによって書き込みを行うライトＤＭＡ部３４ａ、３４ｂ、３４ｃと、リードキャッシュ制御部３０からデータを読み込んで画像処理部１５ａ、１５ｂ、画像出力部１４に対してそれぞれＤＭＡによって書き込みを行うリードＤＭＡ部３５ｂ、３５ｃ、３５ａと、ライトＤＭＡ部３４ａ、３４ｂ、３４ｃ、リードＤＭＡ部３５ｂ、３５ｃ、３５ａからの要求を受けてタイミングや優先度などに応じてそれぞれの要求を調整するＤＭＡ調停部２３と、ＤＲＡＭ１１からのデータのキャッシュを制御するリードキャッシュ制御部３０と、ＤＭＡ調停部２３からのデータのキャッシュを制御するライトキャッシュ制御部３１とを備える。

ライトＤＭＡ部３４ａ、３４ｂ、３４ｃには、それぞれＤＭＡ調停部２３に対してＤＭＡのアドレスを生成するライトアドレス生成部３６ａ、３６ｂ、３６ｃを備える。また、リードＤＭＡ部３５ｂ、３５ｃ、３５ａには、それぞれＤＭＡ調停部２３に対してＤＭＡの先読みのためのリードアドレスを生成する先読みリードアドレス生成部３７ｂ、３７ｃ、３７ａを備える。さらに、リードキャッシュ制御部３０には、リードデータをキャッシュするキャッシュメモリ８０を備え、ライトキャッシュ制御部３１には、ライトデータをキャッシュするキャッシュメモリ６７を備える。

処理対象となる画像データは、例えば経路Ｐに沿って転送され処理される。まず、画像データは、画像入力装置２から入力され、画像入力部１３、ライトＤＭＡ部３４ａ、ＤＭＡ調停部２３、ライトキャッシュ制御部３１、ＤＲＡＭ制御部１２、ＤＲＡＭ１１の順番で転送され、ＤＲＡＭ１１に格納される。次に、ＤＲＡＭ１１に格納された画像データは、ＤＲＡＭ１１、ＤＲＡＭ制御部１２、リードキャッシュ制御部３０、ＤＭＡ調停部２３、リードＤＭＡ部３５ｂ、画像処理部１５ａの順番で画像処理部１５ａに転送され、所定の画像処理が画像処理部１５ａで施される。画像処理部１５ａにおける画像処理後の画像データは、ライトＤＭＡ部３４ｂ、ＤＭＡ調停部２３、ライトキャッシュ制御部３１、ＤＲＡＭ制御部１２、ＤＲＡＭ１１の順番で転送され、ＤＲＡＭ１１に再度格納される。

また、画像処理部１５ａで画像処理された画像データに対して更に画像処理部１５ｂで画像処理を施す場合、ＤＲＡＭ１１に再度格納された画像データは、ＤＲＡＭ１１、ＤＲＡＭ制御部１２、リードキャッシュ制御部３０、ＤＭＡ調停部２３、リードＤＭＡ部３５ｃ、画像処理部１５ｂの順番で転送され、必要な画像処理が画像処理部１５ｂで施される。画像処理部１５ｂにおける画像処理後の画像データは、ライトＤＭＡ部３４ｃ、ＤＭＡ調停部２３、ライトキャッシュ制御部３１、ＤＲＡＭ制御部１２、ＤＲＡＭ１１の順番で転送され、ＤＲＡＭ１１へ再度格納される。

さらに、画像処理が終了した画像データは、ＤＲＡＭ１１、ＤＲＡＭ制御部１２、リードキャッシュ制御部３０、ＤＭＡ調停部２３、リードＤＭＡ部３５ａ、画像出力部１４の順番で画像出力部１４に転送され、最終的に画像出力装置３に出力される。

次に、リードＤＭＡ部３５ａ、３５ｂ、３５ｃの詳細について説明する。図３は、本発明の第１の実施例に係るリードＤＭＡ部の構成を示すブロック図である。リードＤＭＡ部３５ａ、３５ｂ、３５ｃは同一構成であり、図３において、リードＤＭＡ部３５で表す。リードＤＭＡ部３５は、要求アドレスを算出して出力するアドレス計算部４５と、所定のアドレス生成パターンに基づいて次のアドレスを生成してアドレス計算部４５に渡すアドレスパターン生成部４４と、リードＤＭＡ調停部３８に対してリード要求信号を出力するリード要求制御部４３と、リードＤＭＡ調停部３８からのリードデータを格納して画像処理部へリードデータを出力するＦＩＦＯ４１と、ＦＩＦＯ４１の残りを管理するカウンタ４２と、を備える。

リード要求制御部４３は、カウンタ４２からＦｕｌｌ信号が出力されない限り、リード要求信号をリードＤＭＡ調停部３８とカウンタ４２とに出力する。アドレス計算部４５は、リードＤＭＡ調停部３８からリード応答信号が返って来た場合、次のアドレスを計算して要求アドレスとしてリードＤＭＡ調停部３８に出力する。リードＤＭＡ調停部３８からのリードデータは、データ有効信号に同期してＦＩＦＯ４１に格納される。ＦＩＦＯ４１に格納されたデータは、画像処理部１５（画像処理部１５ａ、１５ｂ、画像出力部１４を代表して表す）からのリード信号によりＦＩＦＯ４１から出力される。また、ＦＩＦＯ４１の内容が空である場合には、ウェイト信号が画像処理部１５に出力される。カウンタ４２は、リセット直後の値は０であって、リード要求信号でインクリメントされ、リード信号でデクリメントされ、ＦＩＦＯ４１の段数と同じ値になった場合に、ＦＩＦＯ４１内のデータが一杯であることを示すＦｕｌｌ信号をリード要求制御部４３に出力する。

図４は、本発明の第１の実施例に係るリードＤＭＡ部におけるタイミングチャートである。図４に示すように、要求アドレスと共に出力されるリード要求信号に対応するリード応答信号と、リードデータの有効性を示すデータ有効信号とを時間的に分けて、アドレスフローとデータフローとをパイプライン化している。パイプライン化によってリードデータの先読みを行うことができる。

次に、ライトＤＭＡ部３４ａ、３４ｂ、３４ｃの詳細について説明する。図５は、本発明の第１の実施例に係るライトＤＭＡ部の構成を示すブロック図である。ライトＤＭＡ部３４ａ、３４ｂ、３４ｃは、同一構成であり、図５において、ライトＤＭＡ部３４と表す。ライトＤＭＡ部３４は、要求アドレスを算出して出力するアドレス計算部５５と、所定のアドレス生成パターンに基づいて次のアドレスを生成してアドレス計算部５５に渡すアドレスパターン生成部５４と、ライトＤＭＡ調停部３９に対してライト要求信号を出力するライト要求制御部５３と、画像処理部１５からのデータを格納してライトＤＭＡ調停部３９に出力するＦＩＦＯ５１と、を備える。ライト要求制御部５３は、ＦＩＦＯ５１にデータが入っている（Ｅｍｐｔｙ信号が出力されていない）場合に、ライト要求信号をライトＤＭＡ調停部３９に対して出力する。アドレス計算部５５は、ライトＤＭＡ調停部３９からライト応答信号が返って来た場合、次のアドレスを計算してライトＤＭＡ調停部３９に出力する。

図６は、本発明の第１の実施例に係るライトＤＭＡ部におけるタイミングチャートである。図４に示すリードＤＭＡ部と異なり、要求アドレスとライトデータとは同期して出力され、データフローとアドレスフローとのパイプライン化は行わない。

次に、リードＤＭＡ、ライトＤＭＡにおけるアドレス生成、すなわちアドレスパターン生成部４４およびアドレスパターン生成部５４におけるアドレス生成について説明する。画像処理の場合、ＣＰＵのキャッシュの場合とは異なり、生成されるアドレスの進み方には、画像処理に固有の一定のパターンが存在する。図７は、アドレス生成部における単純増加の場合のアドレスの進み方の例を示す図である。アドレスは、多くの場合に単純増加であり、図７に示すように、０、１、…、６、７、１０、１１、…、１６、１７、２０、…と順番に変化して行く。

また、図８は、画像処理のために画素フィルタを用いる場合のアドレスの進み方の例を示す図である。ここでは、３×３画素の画像演算フィルタで画像処理を行う例を示しており、アドレスは、単純増加ではなく、ある一定のパターンで増加する。アドレスは、０、１０、２０、１、１１、２１、２、２１、２２、…、７、１７、２７、１０、２０、３０、１１、２１、３１、…のように変化していく。

以上の例のように画像処理において生成されるアドレスの進み方には、画像処理に固有の一定のパターンが存在するため、このパターンに基づいて簡単な回路によるアドレスの先読みが可能である。なお、アドレスパターン生成部４４およびアドレスパターン生成部５４には、不図示の制御部によって、設定するアドレスパターンを変更するよう構成してもよい。

次に、ライトキャッシュ制御部３１の詳細について説明する。図９は、ライトキャッシュ制御部の構成を示すブロック図である。ライトキャッシュ制御部３１は、ライトＤＭＡ調停部３９とＤＲＡＭ制御部１２との間にあって、内部にライト用のキャッシュメモリ６７を持ち、キャッシュメモリ６７には０〜ｎ−１（ｎは自然数）までの番号が割り当てられている。キャッシュメモリ６７の構成は、ＤＲＡＭ１１へ連続的にデータを転送させるために、ＤＲＡＭ１１のビット幅×連続回数のビット幅を持つこととする。

以下の説明の例では、ライトＤＭＡ部３４ａ、３４ｂ、３４ｃからのデータのバス幅が３２ビットで、ＤＲＡＭ１１のビット幅が３２ビット、連続アクセス回数を８回として、キャッシュメモリ６７の構成を、３２ビット×８×ｎ個とする。加えて、ＤＲＡＭ制御部１２へのデータ転送帯域を多く取るために、メモリ構成としては、３２ビット×ｎの２ポートメモリを８個持つこととし、３２ビット×８＝２５６ビット幅でライトデータをＤＲＡＭ制御部１２へ出力する。

すなわち、例えば、図１０に示すようにｎ＝６とすると、キャッシュメモリ６７は、３２ビット幅で入力し、２５６ビット幅で出力するように構成される。なお、図１０では、有効なデータを黒印で表し、キャッシュ番号４のデータが十分となって出力される例を示している。

図９において、ライトキャッシュ制御部は、ライトキャッシュを制御するために、フラグレジスタ６４、アドレスレジスタ６５、ライトイネーブルレジスタ６６の各制御レジスタを備える。フラグレジスタ６４は、１ビット×ｎ個で構成され、ビット１でキャッシュメモリ６７に有効データが格納されていることを示す。アドレスレジスタ６５は、ｐ（ｐは自然数）ビット×ｎ個で構成され、ライトアドレスを格納し、ＤＲＡＭ制御部１２へ出力する。ライトイネーブルレジスタ６６は、８ビット×ｎ個で構成され、８個のキャッシュメモリ６７のどこにデータが書かれているかを表す情報を保持し、この情報がバイトイネーブルとしてＤＲＡＭ制御部１２へ出力される。

上記の各レジスタを制御するために、ライトＤＭＡ部３４ａ、３４ｂ、３４ｃからの各要求信号を調停し、処理対象のＤＭＡチャンネルを決定するライトＤＭＡ調停部３９と、ライトＤＭＡ調停部３９からのライト要求を受けてライト応答を返し、各レジスタのライト制御を行うライト制御部６３と、要求されたライトアドレスとレジスタの値から、キャッシュ番号を判断するキャッシュ番号判断部６１と、ライトイネーブルレジスタ６６からキャッシュメモリ６７へのライト状況を判断し、ＤＲＡＭ１１へライトバックを行うライトバック制御部６２とを備える。

一方、ライトＤＭＡ調停部３９は、セレクタ６８ａ、６８ｂ、６８ｃと、優先順位決定部６９を備え、優先順位決定部６９は、ライトＤＭＡ部３４ａ、３４ｂ、３４ｃから出力される各要求信号の優先順位に基づいて選択したライト要求をライト制御部６３に出力する。また、優先順位に基づいて選択した処理チャネルをセレクタ６８ａ、６８ｂ、６８ｃに出力する。セレクタ６８ａは、ライト制御部６３が出力するライト応答を、処理チャネルを基に選択した対応のライトＤＭＡ部３４ａ、３４ｂ、３４ｃのいずれかに各ライト応答信号として出力する。また、セレクタ６８ｂは、ライトＤＭＡ部３４ａ、３４ｂ、３４ｃから出力される各ライトアドレスを、処理チャネルを基に選択し、キャッシュ番号判断部６１、アドレスレジスタ６５、ライトイネーブルレジスタ６６に出力する。さらに、セレクタ６８ｃは、ライトＤＭＡ部３４ａ、３４ｂ、３４ｃから出力される各ライトデータを、処理チャネルを基に選択し、キャッシュメモリ６７に出力する。

次に、制御レジスタの状態変化の例を用いて、ライトキャッシュ制御部の動作について説明する。図１１は、ライトキャッシュ制御部における制御レジスタの状態変化を表す図である。なお、図１１において、キャッシュ番号ｎ＝８であり、「１」が書き込まれている状態をハッチで示し、クリアされている状態「０」を空白で示す。

（１）の状態は、初期状態を示しており、全てのレジスタはクリアされている。

（２）の状態は、ライトＤＭＡ調停部３９からライト要求が来た場合の状態を示している。ライト要求が発生するとライト制御部６３は、キャッシュ番号判断部６１からＦｕｌｌ信号が出力されていないかを判断してライト応答を各レジスタとキャッシュメモリ６７に出力する。キャッシュ番号判断部６１では以下の優先順位で判断を行い、キャッシュ番号を各レジスタとキャッシュメモリ６７に出力する。
１．フラグレジスタが１で、そのアドレスレジスタとライトアドレスとが一致するもの。
２．フラグレジスタが０のもの。
３．それ以外はキャッシュＦｕｌｌ信号を出力する。
このライト応答により、キャッシュメモリ６７にライトデータが格納され、対応するフラグレジスタの値は１となり、アドレスレジスタには要求されたライトアドレスが格納され、ライトイネーブルレジスタには格納されたデータに対応するビットが１となる。

（３）の状態は、キャッシュ番号１（上から２段目）のライトイネーブルレジスタ（バイトイネーブルビットを表す）が全て１になった状態を示す。この状態をライトバック制御部６２は、バイトイネーブルビットの状態から判断し、ＤＲＡＭ制御部１２に対してキャッシュ番号１のデータのライト要求を行う。

（４）の状態は、ＤＲＡＭ部へのライトが完了した状態を示している。ＤＲＡＭ制御部１２からのライト応答により、キャッシュ番号１に対応するフラグレジスタとライトイネーブルレジスタとは、０にクリアされる。もし、全てのキャッシュが埋められていて、違うアドレスへのライト要求が来た場合には、キャッシュ番号判断部６１は、キャッシュＦｕｌｌ信号をライト制御部６３とライトバック制御部６２とに出力する。ライト制御部６３は、ライト応答を出力しない。また、キャッシュＦｕｌｌ信号を受けたライトバック制御部６２は、バイトイネーブルビットが全て１になっていなくても、強制的に適当なキャッシュ番号のデータのライト要求をＤＲＡＭ制御部１２に対して行う。この際のキャッシュ番号の選び方は、キャッシュ番号の若い順、バイトイネーブルビットが埋められている順、最後にライトバックされた時間の古い順などがある。

次に、リードキャッシュ制御部３０の詳細について説明する。図１２は、リードキャッシュ制御部の構成を示すブロック図である。リードキャッシュ制御部３０は、ライトキャッシュ制御部３１と同様に、内部にリード用のキャッシュメモリ８０を持ち、０〜ｎ−１の番号が振り当てられている。キャッシュメモリ８０の構成もライト用のキャッシュメモリ６７と同様に構成され、３２ビット×ｎの２ポートメモリを８個含むものである。

リード用のキャッシュメモリ８０を制御するために、受付レジスタ７６、アドレスレジスタ７７、回数レジスタ７８、フラグレジスタ７９、の各レジスタを備える。フラグレジスタ７９は、１ビット×ｎ個で構成され、ビット１でキャッシュメモリ８０に有効データが格納されていることを示す。受付レジスタ７６は、１ビット×ｎ個で構成され、ビット１でＤＲＡＭ制御部１２に対してリード要求をしていることを示す。アドレスレジスタ７７は、ｐビット×ｎ個で構成され、リードアドレスを格納する。回数レジスタ７８は、４ビット×ｎ個で構成され、キャッシュメモリ８０からリードされた回数を示す。

上記の各レジスタを制御するために、リードＤＭＡ３５ａ、３５ｂ、３５ｃからの各リード要求信号を調停し、処理対象のＤＭＡチャンネルを決定するリードＤＭＡ調停部３８と、リードＤＭＡ調停部３８からのリード要求を受け、ＤＲＡＭ制御部１２へのリード要求を発行し、リードＤＭＡ調停部３８への応答信号を出力するリード制御部７２と、要求されたリードアドレスからキャッシュ番号やキャッシュＨｉｔ信号を出力するキャッシュ番号判断部７１と、リード制御部７２からの応答信号などを格納するリード応答ＦＩＦＯ７３と、リード制御部７２からのリード要求などを格納するリード要求ＦＩＦＯ７５と、リード応答ＦＩＦＯ７３のデータとキャッシュメモリ８０へのデータ格納状況とに基づいてリードデータを出力するデータ出力制御部７４とを備える。なお、ＤＲＡＭ制御部１２は、一般的なものでありＤＲＡＭ１１の種類によって適切なものが選ばれる。

一方、リードＤＭＡ調停部３８は、セレクタ８１ａ、８１ｂ、８１ｃ、８１ｄと、優先順位決定部８２を備え、優先順位決定部８２は、リードＤＭＡ部３５ａ、３５ｂ、３５ｃから出力される各リード要求信号の優先順位に基づいて選択したリード要求をリード制御部７２に出力する。また、優先順位に基づいて選択した処理チャネルをセレクタ８１ａ、８１ｂ、リード応答ＦＩＦＯ７３に出力する。セレクタ８１ａは、リードＤＭＡ部３５ａ、３５ｂ、３５ｃから出力される各リードアドレスを、処理チャネルを基に選択し、キャッシュ番号判断部７１、リード要求ＦＩＦＯ７５、アドレスレジスタ７７、リード応答ＦＩＦＯ７３に出力する。また、セレクタ８１ｂは、リード制御部７２が出力する応答信号を、処理チャネルを基に選択したリード応答信号としてリードＤＭＡ部３５ａ、３５ｂ、３５ｃのいずれかに出力する。また、セレクタ８１ｃは、データ出力制御部７４が出力するデータ有効信号を、リード応答ＦＩＦＯ７３が出力するチャネルの情報を基に選択したデータ有効信号としてリードＤＭＡ部３５ａ、３５ｂ、３５ｃのいずれかに出力する。さらに、セレクタ８１ｄは、リード応答ＦＩＦＯ７３が出力するチャネルの情報を基にキャッシュメモリ８０からリードデータをリードＤＭＡ部３５ａ、３５ｂ、３５ｃに出力する。

次に、各制御レジスタの状態変化の例を用いて、リードキャッシュ制御部の動作について説明する。図１３は、リードキャッシュ制御部における制御レジスタの状態変化を表す図である。なお、図１３において、キャッシュ番号ｎ＝８であり、回数レジスタを除き、「１」が書き込まれている状態をハッチで示し、クリアされている状態「０」を空白で示す。

（１）の状態は、初期状態を示しており、全てのレジスタがクリアされている。

（２）の状態は、リードＤＭＡ調停部３８からリード要求が来た場合の状態を示している。リード要求が発生すると、リード制御部７２は、キャッシュ番号判断部７１からのキャッシュＨｉｔ信号とキャッシュＦｕｌｌ信号、リード要求ＦＩＦＯ７５からの要求Ｆｕｌｌ信号、リード応答ＦＩＦＯ７３からの応答Ｆｕｌｌ信号を見て、リード要求信号と応答信号を出力する。キャッシュ番号判断部７１は、以下の優先順位で判断を行いキャッシュ番号を出力する。
１．フラグレジスタが１で、アドレスレジスタとリードアドレスとが一致するもの（この場合、キャッシュ番号判断部７１は、キャッシュＨｉｔ信号をリード制御部７２に出力する）。
２．フラグレジスタが０で、受付レジスタも０のもの。
３．受付レジスタが０で、回数レジスタがもっとも多いもの。
４．それ以外はキャッシュＦｕｌｌ信号を出力する。
最初は、まだキャッシュメモリ８０に要求されたアドレスのデータは入っていない状態であるので、キャッシュＨｉｔ信号は、出力されず、リード制御部７２は、リード要求と応答信号とを出力する。リード要求により、受付レジスタ７６は、１にセットされ、アドレスレジスタ７７にはリードアドレスが格納され、回数レジスタ７８、フラグレジスタ７９は、０にクリアされる。リード制御部７２からのリード要求を受けたリード要求ＦＩＦＯ７５は、ＤＲＡＭ制御部１２に対してリード要求を行う。

（３）の状態は、キャッシュ番号０（最上段）のキャッシュメモリに、ＤＲＡＭ制御部１２からリードデータが格納された状態を示す。ＤＲＡＭ制御部１２からのデータ有効信号により、受付レジスタ７６が０にクリアされ、フラグレジスタ７９が１にセットされる。フラグレジスタ７９が１になることにより、データ出力制御部７４は、リード応答ＦＩＦＯ７３からの応答信号の処理を行い、データ有効信号を出力する。リードＤＭＡ調停部３８は、リードＤＭＡ３５ａ、３５ｂ、３５ｃへリードデータ、データ有効信号を出力する。データ有効信号により、回数レジスタ７８の値は、＋１される。

（４）の状態は、全てのキャッシュメモリ８０がＤＲＡＭ１１からのリードデータにより埋められた状態、もしくは埋められる予定である状態を示す。この状態で新たなリード要求が来た場合は、回数レジスタ７８中のもっとも値の大きいもの（この例では上から５段目が回数８でもっとも多い）が廃棄（キャッシュフラッシュ）される。

（５）の状態は、（４）の状態において新たなリード要求が来たときに、キャッシュフラッシュが実行された状態を示す。これにより、古いリードキャッシュは、順次廃棄され、次の新しいリードデータを格納する。

次に、本発明の第２の実施例について図面を参照して説明する。図１４は、本発明の第２の実施例に係る画像処理システムの構成を示すブロック図である。図１４において、図２と同一の符号は、同一物あるいは相当物を表し、その説明を省略する。ＣＰＵ（ＤＳＰ（Digital Signal Processor））９０ａ、９０ｂは、それぞれＲＯＭ９２ａ、９２ｂに内蔵されるプログラムに基づいて所定の画像処理を実行するものであって、図２における画像処理部１５ａ、１５ｂに相当する。また、リードＤＭＡ部３５ｄ、３５ｅ、あるいはライトＤＭＡ部３４ｄ、３４ｅの設定などはＣＰＵ（ＤＳＰ）９０ａ、９０ｂが必要に応じて行うことができる。なお、ＲＯＭ９２ａ、９２ｂは、ＦＲＯＭやディスクシステムなどの書き換え可能なデバイスに置き換えてもよく、プログラムを入れ替えることで画像処理内容をフレキシブルに変更することもできる。ＳＲＡＭ９１ａ、９１ｂは、それぞれＣＰＵ（ＤＳＰ）９０ａ、９０ｂが動作する際のワークメモリとして機能する。このように構成される画像処理システムは、第１の実施例と同様に動作する。

本発明の利用分野として、デジタル複写機やＦＡＸ、プリンタ、デジタルカメラ、ＨＤＤ（Hard Disk Drive）レコーダやＤＶＤ（Digital Versatile Disc）プレーヤ等の画像処理を必要とする用途に適用できる。

本発明の実施形態に係る画像処理システムの構成を示すブロック図である。 本発明の第１の実施例に係る画像処理システムの構成を示すブロック図である。 本発明の第１の実施例に係るリードＤＭＡ部の構成を示すブロック図である。 本発明の第１の実施例に係るリードＤＭＡ部におけるタイミングチャートである。 本発明の第１の実施例に係るライトＤＭＡ部の構成を示すブロック図である。 本発明の第１の実施例に係るライトＤＭＡ部におけるタイミングチャートである。 アドレス生成部における単純増加の場合のアドレスの進み方の例を示す図である。 画像処理のために画素フィルタを用いる場合のアドレスの進み方の例を示す図である。 ライトキャッシュ制御部の詳細を示すブロック図である。 キャッシュメモリの構成の例を表す図である。 ライトキャッシュ制御部における制御レジスタの状態変化を表す図である。 リードキャッシュ制御部の詳細を示すブロック図である。 リードキャッシュ制御部における制御レジスタの状態変化を表す図である。 本発明の第２の実施例に係る画像処理システムの構成を示すブロック図である。

符号の説明

１ 画像処理システム
２ 画像入力装置
３ 画像出力装置
１０ キャッシュシステム
１１ ＤＲＡＭ
１２ ＤＲＡＭ制御部
１３ 画像入力部
１４ 画像出力部
１５、１５ａ、１５ｂ、１５ｃ 画像処理部
２０ キャッシュ制御部
２１ リードキャッシュ
２２ ライトキャッシュ
２３ ＤＭＡ調停部
２４ａ、２４ｂ、２４ｃ、２４ｄ、２４ｅ ＤＭＡ部
３０ リードキャッシュ制御部
３１ ライトキャッシュ制御部
３４、３４ａ、３４ｂ、３４ｃ、３４ｄ、３４ｅ ライトＤＭＡ部
３５、３５ａ、３５ｂ、３５ｃ、３５ｄ、３５ｅ リードＤＭＡ部
３６ａ、３６ｂ、３６ｃ ライトアドレス生成部
３７ａ、３７ｂ、３７ｃ 先読みリードアドレス生成部
３８ リードＤＭＡ調停部
３９ ライトＤＭＡ調停部
４１、５１ ＦＩＦＯ
４２ カウンタ
４３ リード要求制御部
４４、５４ アドレスパターン生成部
４５、５５ アドレス計算部
５３ ライト要求制御部
６１ キャッシュ番号判断部
６２ ライトバック制御部
６３ ライト制御部
６４ フラグレジスタ
６５ アドレスレジスタ
６６ ライトイネーブルレジスタ
６７、８０ キャッシュメモリ
６８ａ、６８ｂ、６８ｃ、８１ａ、８１ｂ、８１ｃ、８１ｄ セレクタ
６９、８２ 優先順位決定部
７１ キャッシュ番号判断部
７２ リード制御部
７３ リード応答ＦＩＦＯ
７４ データ出力制御部
７５ リード要求ＦＩＦＯ
７６ 受付レジスタ
７７ アドレスレジスタ
７８ 回数レジスタ
７９ フラグレジスタ
９０ａ、９０ｂ ＣＰＵ
９１ａ、９１ｂ ＳＲＡＭ
９２ａ、９２ｂ ＲＯＭ

Claims (15)

1. 画像データを一次記憶するＤＲＡＭ（Dynamic Random Access Memory）と、
   前記ＤＲＡＭのリードライト制御を行うＤＲＡＭ制御部と、
   画像データに対して所定の画像処理を行う画像処理部と、
   前記ＤＲＡＭ制御部と前記画像処理部との間に配置され、画像データの転送を行うキャッシュシステムと、
   を備え、
   前記キャッシュシステムは、
   前記ＤＲＡＭに対してリードアドレスの先出しによる先読み動作を行うリード系キャッシュシステムと、
   前記ＤＲＡＭに対してデータをまとめて後から書き込むライトバック動作を行うライト系キャッシュシステムと、
   から構成されることを特徴とする画像処理システム。
2. 前記リード系キャッシュシステムは、
   リードキャッシュメモリと、
   前記ＤＲＡＭ制御部から画像データを読み出し、読み出した画像データを前記リードキャッシュメモリによって一時蓄積するように制御するリードキャッシュ制御部と、
   前記ＤＲＡＭ制御部から画像データを読み出す際に、前記ＤＲＡＭのリードアドレスを所定のアドレス生成パターンに従って出力して先読み動作を行うリードＤＭＡ（Direct Memory Access）部と、
   を備えることを特徴とする請求項１記載の画像処理システム。
3. 前記リードＤＭＡ部は、
   前記ＤＲＡＭのリードアドレスを前記所定のアドレス生成パターンに基づいて計算して前記リードキャッシュ制御部に対して出力し、前記リードキャッシュ制御部から入力されるリード応答信号によって次のリードアドレスを出力するリードアドレス出力部と、
   前記リードキャッシュ制御部から入力される画像データを一時蓄積して前記画像処理部に出力するリード用ＦＩＦＯ（First In First Out）と、
   を備えることを特徴とする請求項２記載の画像処理システム。
4. 前記リードキャッシュメモリは、ｎ（ｎは２以上の整数）組のメモリ群から構成され、
   前記リードキャッシュ制御部は、前記ｎ組のメモリ群の各組毎に、出力すべき有効な画像データが溜まったか否かを管理し、画像データが溜まったメモリ群から前記画像処理部に出力するように制御することを特徴とする請求項２記載の画像処理システム。
5. 前記ＤＲＡＭのデータビット幅をｋ（ｋは自然数）ビット、前記ＤＲＡＭへの連続アクセス回数をｍ（ｍは自然数）回とする場合、前記リードキャッシュメモリは、ｋ×ｍビット幅でリードデータを前記ＤＲＡＭ制御部から入力するように構成されることを特徴とする請求項２または４記載の画像処理システム。
6. 前記ライト系キャッシュシステムは、
   ライトキャッシュメモリと、
   前記画像処理部から画像データを読み出して前記ライトキャッシュメモリに対して書き込むに際し、前記ＤＲＡＭのライトアドレスを所定のアドレス生成パターンに従って出力してライトバック動作を行うライトＤＭＡ部と、
   前記ライトキャッシュメモリによって一時蓄積された画像データを前記ＤＲＡＭ制御部に対して書き込むように制御するライトキャッシュ制御部と、
   を備えることを特徴とする請求項１記載の画像処理システム。
7. 前記ライトＤＭＡ部は、
   前記ＤＲＡＭのライトアドレスを前記所定のアドレス生成パターンに基づいて計算して前記ライトキャッシュ制御部に対して出力し、前記ライトキャッシュ制御部から入力されるライト応答信号によって次のライトアドレスを出力するリードアドレス出力部と、
   前記画像処理部から入力される画像データを一時蓄積して前記ライトキャッシュ制御部に出力するライト用ＦＩＦＯと、
   を備えることを特徴とする請求項６記載の画像処理システム。
8. 前記ライトキャッシュメモリは、ｎ（ｎは２以上の整数）組のメモリ群から構成され、
   前記ライトキャッシュ制御部は、前記ｎ組のメモリ群の各組毎に、出力すべき有効な画像データが溜まったか否かを管理し、画像データが溜まったメモリ群から前記ＤＲＡＭ制御部に対して書き込むように制御することを特徴とする請求項６記載の画像処理システム。
9. 前記ＤＲＡＭのデータビット幅をｋ（ｋは自然数）ビット、前記ＤＲＡＭへの連続アクセス回数をｍ（ｍは自然数）回とする場合、前記ライトキャッシュメモリは、ｋ×ｍビット幅でライトデータを前記ＤＲＡＭ制御部へ出力するように構成されることを特徴とする請求項６または８記載の画像処理システム。
10. 前記所定のアドレス生成パターンは、前記アドレス生成パターンによるアドレス生成を要求する画像処理部における画素のアクセス順に基づいて定めることを特徴とする請求項２、３、６、７のいずれか一に記載の画像処理システム。
11. 前記画像処理部は、複数の画像処理部からなり、
    前記ライト系キャッシュシステムは、前記複数の画像処理部にそれぞれ対応させた前記ライトＤＭＡ部を複数備え、前記複数のライトＤＭＡ部からのアクセス要求を調停するライトＤＭＡ調停部をさらに備え、
    前記ライトＤＭＡ調停部は、前記複数のライトＤＭＡ部から優先順位に従って選択したライトＤＭＡ部を前記ライトキャッシュ制御部に接続することを特徴とする請求項２記載の画像処理システム。
12. 前記複数の画像処理部の一部を、画像入力部に置き換え、
    前記画像入力部は、画像入力装置から入力される画像データを、前記複数のライトＤＭＡ部から選択される１つのライトＤＭＡ部に転送することを特徴とする請求項１１記載の画像処理システム。
13. 前記画像処理部は、複数の画像処理部からなり、
    前記リード系キャッシュシステムは、前記複数の画像処理部にそれぞれ対応させた前記リードＤＭＡ部を複数備え、前記複数のリードＤＭＡ部からのアクセス要求を調停するリードＤＭＡ調停部をさらに備え、
    前記リードＤＭＡ調停部は、前記複数のリードＤＭＡ部から優先順位に従って選択したリードＤＭＡ部を前記リードキャッシュ制御部に接続することを特徴とする請求項２記載の画像処理システム。
14. 前記複数の画像処理部の一部を、画像出力部に置き換え、
    前記画像出力部は、前記複数のリードＤＭＡ部から選択される１つのリードＤＭＡ部から転送される画像データを画像出力装置に出力することを特徴とする請求項１３記載の画像処理システム。
15. 前記画像処理部がＣＰＵ（Central Processing Unit）あるいはＤＳＰ（Digital Signal Processor）で構成されることを特徴とする請求項１〜１４のいずれか１に記載の画像処理システム。

Images