JP2011139517A - 画像処理装置 - Google Patents

Abstract

【課題】符号化データの復号処理において参照画像に最適化されたメモリアクセスを実現可能な画像処理装置を提供する。
【解決手段】符号化データＩＮを復号して復号画像を生成する復号処理回路１０と、ロウアドレスが順に割当てられた複数のページをそれぞれ含む複数のバンクを有し、復号画像を格納する画像メモリ９と、復号画像を複数のブロックに分割し、水平及び垂直方向の少なくとも一方に隣接するブロックのアクセス先として異なるバンクのページを選択するバンク選択回路１１と、各ブロックの偶数ラインに存在する画素の画素データと、各ブロックの奇数ラインに存在する画素の画素データとを各ページのカラムアドレス方向に交互に書込む書込み制御回路５とを備える。
【選択図】図１

Description

本発明は、符号化された画像データの復号処理を行う画像処理装置に関する。

シンクロナスＤＲＡＭ（ＳＤＲＡＭ）は記憶領域である複数のバンクを有する。各バンクはロウ及びカラムの２次元構成となっており、１つのロウアドレス分のデータを保持するデータバッファがバンク毎に備えられる。各ロウアドレス分の記憶領域は、「ページ」と呼ばれる。データバッファに対するアクセスは、高速に実行できる。これに対し、同一バンクにおいてページを切替えると、オーバーヘッドサイクル、即ちデータのアクセス以外に要するサイクルが増加する。よって、ページ切替えに伴うバンク切替えを多用することでアクセス時間を短縮する手法が提案されている（例えば、特許文献１及び２参照。）。

一方、動画像圧縮符号化技術に関し、符号化側で、時間的情報量を削減するために原画像を複数のブロックに分割した画像ブロック単位でフレーム間の差分が求められ、求められた差分が符号化される。復号側では、差分を復号して、復号された差分に対し、過去に復号された画像の一部の領域を参照画像として加算することで原画像を得る。したがって、符号化データの復号を行う画像処理装置には、過去に復号された画像を格納可能な画像メモリが備えられる。画像メモリとしては、通常ＳＤＲＡＭが使用される。

しかしながら、上述したロウアドレス変更に応じたバンク切替え手法においては、復号処理に使用する参照画像に最適化されていないために高速なメモリアクセスを実現できない。このため、画像データの復号処理において参照画像に最適化されたメモリアクセス手法の確立が望まれている。

特開平１０−３３６５７５号公報 特開２００３−０３６０７０号公報

本発明は、符号化データの復号処理において参照画像に最適化されたメモリアクセスを実現可能な画像処理装置を提供する。

本発明の一態様は、符号化データを復号して復号画像を生成する復号処理回路と、ロウアドレスが順に割当てられた複数のページをそれぞれ含む複数のバンクを有し、前記復号画像を格納する画像メモリと、前記復号画像を複数のマクロブロックに分割し、水平及び垂直方向の少なくとも一方に隣接する前記マクロブロックの書込み先として異なるバンクのページを選択するバンク選択回路と、前記復号画像がフィールド構造の場合、トップフィールドに対応する第１のマクロブロックの所定ラインに存在する画素データと、ボトムフィールドに対応する第２のマクロブロックの所定ラインに存在する画素データとを前記各ページのカラムアドレス方向に交互に書込み、前記復号画像がフレーム構造の場合、各々のマクロブロックにおいて、トップフィールドに対応するラインに存在する画素データと、ボトムフィールドに対応するラインに存在する画素データとを前記各ページのカラムアドレス方向に交互に書込む書込み制御回路と、前記フレーム構造及び前記フィールド構造の両構造について同様に、前記復号画像を前記複数のバンクのいずれかのページから読出し、読出し対象のページを切替える場合に他のバンクのページに切替える読出し制御回路と、を備えることを要旨とする。

本発明によれば、符号化データの復号処理において参照画像に最適化されたメモリアクセスを実現可能な画像処理装置を提供できる。

本発明の実施形態に係る画像処理装置の構成例を示すブロック図である。 本発明の実施形態に係る画像メモリにおける複数のバンクを示す模式図である。 本発明の実施形態に係る画像メモリの各バンクにおける複数のページの構成例を示す模式図である。 本発明の実施形態に係る各ページとロウ及びカラムアドレスとの関係を示す模式図である。 本発明の実施形態に係る書込み制御回路の動作を説明するための概略図である。 図６（ａ）は本発明の実施形態に係る画像メモリに格納されるフィールド構造の復号画像を示す模式図であり、図６（ｂ）は本発明の実施形態に係る画像メモリに格納されるフレーム構造の復号画像を示す模式図である。 本発明の実施形態に係る書込み制御回路による画像メモリの各ページに対する復号画像の画像データの書込み例を示す模式図である。 本発明の実施形態に係る書込み制御回路による各ページ内の復号画像の画像データの格納例を示す模式図である。 本発明の実施形態に係る書込み制御回路による各ページ内の復号画像の画像データとカラムアドレスとの関係を示す模式図である。 本発明の実施形態に係る読出し制御回路による復号画像の画像データの一部の領域を読み出す際の動作を説明するための模式図である。 本発明の実施形態に係る読出し制御回路による読出し動作を示すタイムチャートである。 本発明の実施形態に係る読出し制御回路による読出し動作におけるオーバーヘッドサイクルを示す模式図である。 本発明の実施形態に係る読出し制御回路による読出し動作におけるオーバーヘッドサイクル及びロウアドレス変更回数を示す表である。 本発明の実施形態に係る読出し制御回路による読出し動作におけるオーバーヘッドサイクル及びロウアドレス変更回数を示す表である。 本発明の実施形態の比較例に係る読出し制御回路による参照画像を読出す際の動作を説明するための模式図である。 本発明の実施形態の比較例に係る読出し動作を示すタイムチャートである。 本発明の実施形態の比較例に係る読出し動作におけるオーバーヘッドサイクルを示す模式図である。 本発明の実施形態の比較例に係る読出し動作におけるオーバーヘッドサイクルを示す表である。 本発明の実施形態の比較例に係る読出し動作におけるオーバーヘッドサイクルを示す表である。 本発明の実施形態の第１変形例に係る画像メモリの各ページに対する復号画像の画像データの書込み例を示す模式図である。 本発明の実施形態の第２変形例に係る画像メモリの各ページに対する復号画像の画像データの書込み例を示す模式図である。 本発明の実施形態の第２変形例に係る書込み制御回路による各ページ内の復号画像の画像データの格納例を示す模式図である。

次に、図面を参照して、本発明の実施形態を説明する。以下の実施形態における図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

本発明の実施形態に係る画像処理装置は、図１に示すように、復号処理回路１０、画像メモリ９、バンク選択回路１１、書込み制御回路５、動き補償回路６、及び読出し制御回路７を備える。復号処理回路１０は、符号化データＩＮを復号して復号画像を生成する。画像メモリ９は、図２に示すように、ロウアドレスが順に割当てられた複数のページをそれぞれ含む複数のバンク９ａ〜９ｄを有し、復号画像を格納する。バンク選択回路１１は、復号画像を複数のブロックに分割し、水平及び垂直方向の少なくとも一方に隣接するブロックの書込み先として異なるバンクのページを選択する。書込み制御回路５は、各ブロックの偶数ラインに存在する画素の画素データと、各ブロックの奇数ラインに存在する画素の画素データとを各ページのカラムアドレス方向に交互に書込む。ここで、「画素データ」とは、例えば各画素の輝度成分Ｙと、青色差成分及び赤色差成分Ｃｂ，Ｃｒ等の色差成分Ｃを意味する。よって、輝度成分Ｙと色差成分Ｃを同一ページ内に格納することにより、各ページのデータをバースト的に読み出すバースト読出しを行えば、輝度成分Ｙと色差成分Ｃを一括して各ページから読出すことが可能となる。尚、本発明の実施形態に係る画像処理装置としては、動画の通信メディア用符号化標準であるＨ．２６３又はＨ．２６４、或いは動画の蓄積用メディア用符号化標準であるムービング・ピクチャ・エキスパート・グループ（ＭＰＥＧ）等の規格に準拠した画像復号装置が使用できる。

また、書込み制御回路５は、画素データに含まれる輝度及び色差成分のそれぞれを画像メモリ９の各ページのカラムアドレス方向に選択的に書込む。読出し制御回路７は、復号画像を画像メモリ９の複数のバンクのいずれかのページから読出し、読出し対象のページを切替える場合に他のバンクのページに切替える。動き補償回路６は、復号処理回路１０が符号化データＩＮから復号した動きベクトルのデータＭＶに応じて、読出し制御回路７に対して復号画像の一部の領域を指定し、読出し制御回路７により読出された復号画像の一部の領域を参照画像として出力する。

書込み制御回路５は、復号画像の画像アドレスとロウ及びカラムアドレスとを対応付けて画素データの読出しを制御する。読出し制御回路７は、画像アドレスとロウ及びカラムアドレスとを対応付けて画素データの読出しを制御する。

更に、復号処理回路１０は、可変長復号回路１、逆量子化回路２、逆離散コサイン変換（逆ＤＣＴ）回路３、加算器４、及びメモリ制御回路８等を備える。可変長復号回路１には、例えば光ディスク駆動装置等から出力された符号化データＩＮが入力される。可変長復号回路１は、符号化データＩＮを可変長復号（又は算術復号）し、符号化側の可変長符号化前のデータに戻す。符号化データＩＮには、例えばＭＰＥＧの場合、フレーム内符号化画像（Ｉピクチャ）、フレーム間順方向予測符号化画像（Ｐピクチャ）、及び双方向予測符号化画像（Ｂピクチャ）等が含まれる。以下の説明においては、Ｐピクチャ及びＢピクチャを併せて「フレーム間符号化画像」という。

この場合、参照画像生成の基準として、フレーム内符号化画像が使用される。フレーム内符号化画像は、圧縮された画像データであるが、一フレーム分の輝度成分及び色差成分を含む。差分画像としては、フレーム間符号化画像が使用される。フレーム間順方向予測符号化画像とは、過去方向に位置するフレームとの差分からなる差分画像である。双方向予測符号化画像とは、過去方向及び未来方向に位置するフレームとの差分からなる差分画像である。

逆量子化回路２は、可変長復号回路１の出力データを逆量子化する。逆ＤＣＴ回路３は、逆量子化回路２の出力データを逆ＤＣＴ処理する。逆ＤＣＴ回路３の出力データは加算器４に供給される。符号化データＩＮがフレーム内符号化画像である場合、逆ＤＣＴ回路３の出力データは、符号化前の原画像データになる。符号化データＩＮがフレーム間符号化画像である場合、逆ＤＣＴ回路３の出力データは、復号された予測誤差となる。

尚、可変長復号回路１、逆量子化回路２、及び逆ＤＣＴ回路３の各処理は例えば１６×１６画素の画像ブロック（マクロブロック）単位で行われる。よって、逆ＤＣＴ回路３の出力データは画像ブロック単位で加算器４に与えられる。Ｈ．２６４規格等においては、画像ブロックサイズとして、１６×１６画素、１６×８画素、８×１６画素、又は８×８画素等を選択可能である。

更に、符号化データＩＮには、符号化側における予測符号化時に用いた動きベクトルのデータが多重されている。動きベクトルとは、符号化側において、原画像の原画像ブロックと、原画像と時間的に異なる画像中の原画像ブロックに近似するブロックとの水平方向及び垂直方向の相対位置を示すベクトルである。

可変長復号回路１から出力される動きベクトルのデータＭＶは、動き補償回路６に供給される。動き補償回路６は、可変長復号回路１からの動きベクトルのデータＭＶに基づいて、復号対象の画像ブロックに対応する復号画像中の画像ブロックの画像上での位置を算出する。動き補償回路６が算出した画像アドレスは、読出し制御回路７に供給される。

また、動き補償回路６は、動きベクトルに基づいて、画像メモリ９に格納された復号画像から、差分データと同サイズの画像であって、差分データと同位置に位置するものを参照画像として切り出す。切り出された参照画像と、差分データとを加算し、画像メモリ９に書き戻すことにより画像メモリ９に一枚の完成した画像を得る。以上の動作を繰り返すと、時間的に連続した動画を再生することができる。

読出し制御回路７は、動き補償回路６からの画像アドレスから読出しアドレスを生成してメモリ制御回路８に供給する。この結果、画像メモリ９から復号画像の一部の領域が参照画像として読出され、動き補償回路６を介して加算器４に供給される。

加算器４は、逆ＤＣＴ回路３から原画像の画像ブロックが供給される場合、メモリ制御回路８を介して、原画像の画像ブロックをそのまま画像メモリ９に転送する。これに対して、加算器４は、逆ＤＣＴ回路３から差分データが供給される場合、差分データに動き補償回路６からの参照画像を加算する。この結果、原画像データが復号され、原画像データはメモリ制御回路８を介して画像メモリ９に格納される。画像メモリ９に格納された原画像データは、復号画像として、以降の復号処理に利用される。書込み制御回路５は、画像メモリ９の書込みアドレスを生成してメモリ制御回路８に供給するが、逆ＤＣＴ回路３の出力データに基づいて書込みアドレスを生成しても良い。

更に、画像メモリ９としては、ダブル・データ・レート（ＤＤＲ）−ＳＤＲＡＭ等のＳＤＲＡＭを使用する場合、図２に示すように、記憶領域である複数のバンクを有する。図２に示す例において、画像メモリ９は第１〜第４バンク９ａ〜９ｄの４つのバンクを有している。各バンクは独自に管理される。よって、第１バンク９ａに対するアクセス中に、例えば第２バンク９ｂに対するアクセスの準備が可能である。

図１に示すメモリ制御回路８から画像メモリ９に対しては、図２に示すクロックＣＬＫ、コマンドＣＯＭ、ロウアドレスデータＡＤ１、及びカラムアドレスデータＡＤ２等が供給される。バンク選択回路１１から画像メモリ９に対しては、バンク選択信号ＢＳＥＬが供給される。コマンドＣＯＭとしては、アクティブコマンド、ライトコマンド、リードコマンド、及びプリチャージコマンド等がある。バンク選択信号ＢＳＥＬは、第１〜第４バンク９ａ〜９ｄのいずれかを選択するために用いられる。尚、図２に示す画像メモリ９においては、コマンドデコーダ及びセンスアンプ等の図示を省略している。

先ず、第１バンク９ａに着目すると、第１バンク９ａには、ロウデコーダ９１ａ、カラムデコーダ９３ａ、及びデータバッファ９２ａが接続される。ロウデコーダ９１ａはロウアドレスデータＡＤ１をデコードして、ワード線を選択する。カラムデコーダ９３ａはカラムアドレスデコーダＡＤ２をデコードして、ワード線を選択する。データバッファ９２ａは、第１バンク９ａの１ページ分のデータを保持し、図１に示すメモリ制御回路８と書込み・読出しデータＤＡＴＡを入出力する。同様に、第２バンク９ｂ〜第４バンク９ｄのそれぞれには、図示を省略するロウデコーダ、カラムデコーダ、及びデータバッファが接続される。データバッファ９２ａが１ページ分の書込み・読出しデータＤＡＴＡを保持可能であるため、連続するカラムアドレスの最初のアドレスのみを供給することにより、以後の所定数のアドレスをクロックＣＬＫに同期して連続的にアクセスできる。

尚、第１バンク９ａは、図３に示すように、ロウアドレスが順に割当てられた複数のページＰ１ａ，Ｐ１ｂ，Ｐ１ｃ，Ｐ１ｄ，・・・・・を備える。同様に、第２バンク９ｂは複数のページＰ２ａ，Ｐ２ｂ，Ｐ２ｃ，Ｐ２ｄ，・・・・・を備える。第３バンク９ｃは複数のページＰ３ａ，Ｐ３ｂ，Ｐ３ｃ，Ｐ３ｄ，・・・・・を備える。第４バンク９ｄは複数のページＰ４ａ，Ｐ４ｂ，Ｐ４ｃ，Ｐ４ｄ，・・・・・を備える。第１バンク９ａにおいては、図４に示すように、ロウ及びカラムアドレスによって、複数のページＰ１ａ，Ｐ１ｂ，Ｐ１ｃ，Ｐ１ｄ，・・・・・の任意のアドレスをアクセスできる。各ページは、例えば２０４８バイト程度の記憶容量を有している。

図１に示した書込み制御回路５が画像メモリ９に書込む復号画像は、図５に示すように、例えば、画像上の垂直及び水平画素数に応じたビット数の垂直アドレスＹ及び水平アドレスＸを画像アドレスとして有する。

一例として、図５に示す復号画像を複数のブロックＢ11〜Ｂ44に分割した場合、画像ブロックＢ11，Ｂ12，Ｂ13，及びＢ14の各画像データは、図３に示す第１バンク９ａのページＰ１ａ，第２バンク９ｂのページＰ２ａ，第３バンク９ｃのページＰ３ａ，及び第４バンク９ｄのページＰ４ａにそれぞれ格納される。

同様に、画像ブロックＢ21，Ｂ22，Ｂ23，及びＢ24の各画像データは、図３に示す第１バンク９ａのページＰ１ｂ，第２バンク９ｂのページＰ２ｂ，第３バンク９ｃのページＰ３ｂ，及び第４バンク９ｄのページＰ４ｂにそれぞれ格納される。画像ブロックＢ31，Ｂ32，Ｂ33，及びＢ34の各画像データは、第１バンク９ａのページＰ１ｃ，第２バンク９ｂのページＰ２ｃ，第３バンク９ｃのページＰ３ｃ，及び第４バンク９ｄのページＰ４ｃにそれぞれ格納される。画像ブロックＢ41，Ｂ42，Ｂ43，及びＢ44の各画像データは、第１バンク９ａのページＰ１ｄ，第２バンク９ｂのページＰ２ｄ，第３バンク９ｃのページＰ３ｄ，及び第４バンク９ｄのページＰ４ｄにそれぞれ格納される。

更に、画像メモリ９に書込む復号画像がフィールド構造を有している場合、復号画像は図６（ａ）に示すように、画像の偶数ラインに存在する画素からなるトップフィールドＦ１と、画像の奇数ラインに存在する画素からなるボトムフィールドＦ２とに分離している。各フィールドは、水平方向にｍ画素、垂直方向にｎラインのｍ×ｎの画素数を有する（ｍ，ｎ；２以上の整数）。これに対して、復号画像がフレーム構造を有している場合、図６（ｂ）に示すように、フィールド構造を基準とすると、水平方向にｍ画素、垂直方向に２ｎラインのｍ×２ｎの画素数を有する。

図１に示す書込み制御回路５は、図５に示す復号画像の水平及び垂直アドレスＸ及びＹと、画像メモリ９のロウ及びカラムアドレスとを対応付けて書込む。この結果、画像上の位置とメモリ上の位置とが対応することにより、読出し制御回路７が、画像上の水平及び垂直位置によってロウアドレスデータＡＤ１及びカラムアドレスデータＡＤ２を制御して、画像メモリ９からの読出しが可能となる。

更に、書込み制御回路５及び読出し制御回路７は、図７に示すような形式で、画像アドレスとメモリアドレスとを対応付ける。図６（ａ）及び（ｂ）に示すように、フィールド構造の各復号画像がｍ×ｎ画素、フレーム構造の復号画像がｍ×２ｎ画素とすると、画像メモリ９は、仮想的に、幅が２ｍ画素、高さが１．５ｎラインの仮想二次元記憶領域と考えることができる。ここで、「仮想二次元記憶領域」とは、一定カラムアドレス毎にページを分割し、分割されたページを並べて、カラムアドレス方向を水平方向、及び分割されたページが並べられた方向を垂直方向とする仮想的な記憶領域を意味する。

復号画像の垂直方向に連続する２つの画素は異なる構成成分（輝度成分であれば色差成分、色差成分であれば輝度成分）を省いて考えた場合、仮想二次元記憶領域においても連続するように配置される。また、復号画像の偶数ライン及び奇数ラインに存在する画素の画像データが、仮想二次元記憶領域の水平方向に一定画素数毎に交互に並べられる。

一例として、復号画像の偶数ライン及び奇数ラインに存在する画素の画像データが、仮想二次元記憶領域の水平方向に例えば１６画素毎に交互に並べられる。

図７に示す例においては、ページＰ１ａに対し、偶数ラインに存在する画素の画像データの格納領域Ｔ１ａ及びＴ１ｂと、奇数ラインに存在する画素の画像データの格納領域Ｂ１ａ及びＢ１ｂが設定されている。同様に、ページＰ２ａに対し、偶数ラインに存在する画素の画像データの格納領域Ｔ２ａ及びＴ２ｂと、奇数ラインに存在する画素の画像データの格納領域Ｂ２ａ及びＢ２ｂが設定されている。ページＰ３ｂに対し、偶数ラインに存在する画素の画像データの格納領域Ｔ３ａ及びＴ３ｂと、奇数ラインに存在する画素の画像データの格納領域Ｂ３ａ及びＢ３ｂが設定されている。ページＰ４ｂに対し、偶数に存在する画素の画像ラインデータの格納領域Ｔ４ａ及びＴ４ｂと、奇数ラインに存在する画素の画像データの格納領域Ｂ４ａ及びＢ４ｂが設定されている。

また、仮想二次元記憶領域の垂直方向に連続する復号画像の画像データは、輝度成分と色差成分が一定の割合で混合されている。

一例として、輝度成分と色差成分は、図８に示すように、仮想二次元記憶領域の垂直方向に、２：１の割合で混合されている。ここで、輝度成分と色差成分の割合は、画像データのフォーマットによって異なる。通常は１画素に対して輝度成分Ｙ、青色差成分Ｃｂ、及び赤色差成分Ｃｒのそれぞれに１バイト程度の情報が割当てられるが、人間の目は色に敏感でないため、色情報を削減する手法が多く用いられる。色情報を削減するフォーマットは、４：２：２又は４：２：０等と呼ばれ、４：２：２の場合は色情報Ｃｂ，Ｃｒは輝度情報Ｙの１／２となり、４：２：０の場合は色情報Ｃｂ，Ｃｒは輝度情報Ｙの１／４となる。図８においては、４：２：０のフォーマットを使用した一例を示している。

図８に示す例においては、ページＰ１ａ内の偶数ラインに存在する画素の画像データ格納領域Ｔ１ａにおいて、輝度成分（偶数ライン）Ｔ１１ａ、色差成分（偶数ライン）Ｔ１２ａ、輝度成分（偶数ライン）Ｔ１３ａ、輝度成分（偶数ライン）Ｔ１４ａ、色差成分（偶数ライン）Ｔ１５ａ、輝度成分（偶数ライン）Ｔ１６ａ、輝度成分（偶数ライン）Ｔ１７ａ、・・・・・が垂直方向に配置される。偶数ラインに存在する画素の画像データ格納領域Ｔ１ｂ及び奇数に存在する画素の画像データ格納領域Ｂ１ａ，Ｂ１ｂにおいても同様に輝度成分及び色差成分が垂直方向に配置される。

図８に示す各輝度成分及び各色差成分は、カラムアドレス上に変換した場合、図９に示すように、輝度成分（偶数ライン）Ｔ１１ａ、輝度成分（奇数ライン）Ｂ１１ａ、輝度成分（偶数ライン）Ｔ１１ｂ、輝度成分（奇数ライン）Ｂ１１ｂ、色差成分（偶数ライン）Ｔ１２ａ、色差成分（奇数ライン）Ｂ１２ａ、色差成分（偶数ライン）Ｔ１２ｂ、色差成分（奇数ライン）Ｔ１２ｂ、・・・・・のように並ぶこととなる。即ち、偶数ラインに存在する画素の画素データと、奇数ラインに存在する画素の画素データとが各ページのカラムアドレス方向に交互に書込まれることとなる。輝度及び色差成分のそれぞれは、フォーマットに応じて、各ページのカラムアドレス方向に選択的に書込まれることとなる。

次に、本発明の実施形態に係る画像処理装置における画像メモリ９に対する復号画像の画像データの書込み動作を説明する。

（Ａ）符号化データＩＮは、図１に示す可変長復号回路１、逆量子化回路２、逆ＤＣＴ回路３、及び加算器４等により画像ブロック毎に復号される。復号された画像データは、画像ブロック毎にメモリ制御回路８に供給される。

（Ｂ）バンク選択回路１１は、図５に示すように、復号画像を複数のブロックに分割し、水平及び垂直方向の少なくとも一方に隣接するブロックの書込み先として異なるバンクのページを選択するバンク選択信号ＢＳＥＬを生成する。図５に示すように、ページ切替えの際には、バンク切替えが行われる。

（Ｃ）書込み制御回路５は、図７に示すように、メモリ制御回路８に対して書込み用のメモリアドレスを生成する。

（Ｄ）メモリ制御回路８は、書込み制御回路５により制御され、加算器４からの復号画像データを画像メモリ９に書込む。この結果、図９に示すように、各ページのカラムアドレス方向に、復号画像の一定画素数毎に偶数ライン及び奇数ラインが交互に書込まれる。更に、各ページのカラムアドレス方向に、輝度成分及び色差成分が周期的に書込まれる。

次に、本発明の実施形態に係る画像処理装置における画像メモリ９に対する復号画像の一部の領域、即ち参照画像の読出し動作を説明する。

（Ａ）図１に示す動き補償回路６は、可変長復号回路１からの動きベクトルデータＭＶに基づいて、復号対象の画像ブロックに対応するブロックの復号画像上での位置を算出する。図５に示すブロックＢ１が復号対象の画像ブロックに対応する場合、動き補償回路６は、画像ブロックＢ１に相当する画像アドレスを読出し制御回路７に供給する。

（Ｂ）画像ブロックＢ１に相当する画像アドレスが、仮想二次元記憶領域上、図１０の破線で示す領域に対応する場合、読出し制御回路７は、画像アドレスをメモリアドレスに変換してメモリ制御回路８に供給する。

（Ｃ）この結果、メモリ制御回路８は、読出し用のメモリアドレスに基づいて画像メモリ９から復号画像のブロックＢ１を参照画像として読出す。読出された参照画像は、動き補償回路６を介して加算器４に供給される。また、書込み時と同様に、ページ切替えの際には、バンク切替えが行われることとなる。

このように、書込み時及び読出し時のいずれにおいても、ページ切替えの際にはバンク切替えが行われることにより、バンク切替えを行わずにページ切替えを行う場合よりもオーバーヘッドサイクルを削減できる。図１０に示すように、読出し対象の参照ブロックが、複数のページの境界上に位置し、ページ切替えを複数回行う必要が生じる場合に特に有効である。以下に、オーバーヘッドサイクルが削減可能な理由について詳細に説明する。

先ず、ページ切替えの際にバンク切替えを行う場合の読出し動作について、図１１に示すタイムチャートを参照して説明する。図１１（ｂ）が図２に示す第１バンク９ａに対するコマンドＣＯＭであり、図１１（ｃ）が第２バンク９ｂに対するコマンドＣＯＭであるとする。図１１（ｂ）の時刻ｔ１において、第１バンク９ａに対してアクティブコマンドＡが供給される。アクティブコマンドＡの入力と同時にバンク選択信号ＢＳＥＬ及びロウアドレスデータＡＤ１等が入力される。

アクティブコマンドＡの供給から一定時間経過後の時刻ｔ２〜ｔ３の期間においてに、図１１（ａ）に示すクロックＣＬＫに同期して、リードコマンドＲが連続的に供給される。リードコマンドＲの入力と同時にカラムアドレスデータＡＤ２等が入力される。

更に、図１１（ｃ）の時刻ｔ３において、第２バンク９ｂに対してアクティブコマンドＡが供給される。アクティブコマンドＡの供給から一定時間経過後の時刻ｔ４〜ｔ５の期間において、図１１（ａ）に示すクロックＣＬＫに同期して、リードコマンドＲが連続的に供給される。

このように、アクティブコマンドＡの入力から、リードコマンドＲが入力可能になるまでには、図１２に示すように、ＲＡＳ−ＣＡＳレイテンシ（ｔＲＣＤ）に相当する遅延時間が生じる。図１２に示す例においてはｔＲＣＤを１５ｎｓとしている。図１２（ａ）が図２に示す第１バンク９ａに対するコマンドＣＯＭであり、図１２（ｂ）が第２バンク９ｂに対するコマンドＣＯＭであるとする。図１２（ａ）に示すアクティブコマンドＡの入力から、リードコマンドＲが入力されるまでのオーバーヘッドサイクルは、図１２（ｄ）に示すように、２サイクルとなる。図１２（ｃ）に示すクロック（クロックサイクル）が１６６ＭＨｚであるとすると、ページ切替えに伴うバンク切替え時においては、図１２（ｄ）に示すように、３サイクルのオーバーヘッドサイクルが生じる。

一例として、動き補償回路６がフレーム構造の参照画像を出力し、読出し対象となる復号画像の一部の領域が、図１０に示すように、４つのバンクの境界に位置する場合を想定する。復号画像の参照ブロックの範囲として、H．２６４規格において最小の範囲である輝度成分９×９画素の領域、及び色差成分３×３画素の領域に対する読出しが完了するまでに要するクロックサイクル数の見積もり結果を図１３に示す。また、輝度成分２１×２１の領域及び色差成分９×９の領域に対する読出しが完了するまでに要するクロックサイクル数の見積もり結果を図１４に示す。

次に、比較例として、図１５に示すように、復号画像の偶数ラインに存在する画素の輝度成分、復号画像の偶数ラインに存在する画素の色差成分、復号画像の奇数ラインに存在する画素の輝度成分、及び復号画像の奇数ラインに存在する画素の色差成分をそれぞれ異なるページに格納する場合を想定する。この場合、図１５の破線で囲まれた領域をすべて読出すには、同一バンク内でのページ切替えが発生する。同一バンク内でページ切替えが発生する場合、オーバーヘッドサイクルが増加する。

一例として、図１６（ｂ）が図２に示す第１バンク９ａに対するコマンドＣＯＭであるとする。図１６（ｂ）の時刻ｔ１において、第１バンク９ａに対してアクティブコマンドＡが供給される。アクティブコマンドＡの供給から一定時間経過後の時刻ｔ２〜ｔ３の期間において、図１６（ａ）に示すクロックＣＬＫに同期して、リードコマンドＲが連続的に供給される。更に、図１６（ｂ）の時刻ｔ４において第１バンク９ａに対してプリチャージコマンドＰが供給され、時刻ｔ５において、アクティブコマンドＡが供給される。

このように、同一バンク内でページ切替えを行う場合、プリチャージコマンドＰの入力から、アクティブコマンドＡが入力可能になるまでには、図１７に示すように、ＲＡＳプリチャージ時間（ｔＲＰ）と呼ばれる遅延時間が生じる。図１７に示す例においては、同一バンク内でのページ切替え時に、計６サイクルのオーバーヘッドサイクルが生じる。図１５に示す様式を利用する場合において、図１３と同様の条件でのクロックサイクル数の見積もり結果を図１８に示す。図１５に示す様式を利用する場合において、図１４と同様の条件でのクロックサイクル数の見積もり結果を図１９に示す。

図１３、図１４、図１８、及び図１９に示すように、比較例においては、本発明の実施形態に比べて、１．６〜３．５倍程度の転送サイクル数が必要となる。したがって、本発明の実施形態に係る画像処理装置によれば、書込み時及び読出し時のいずれにおいても、ページ切替えの際にバンク切替えを行い、同一ページ内に輝度及び色差成分を格納することで、符号化データＩＮの復号処理において復号画像に最適化されたメモリアクセスを実現できる。このため、オーバーヘッドサイクルを削減し、高速なメモリアクセスを実現できる。

（第１変形例）
本発明の実施形態の第１変形例に係る画像処理装置として、画像メモリ９のバンク数を８としても良い。更に、各ページが、図２０に示すように、４０９６バイトの記憶容量を有していても良い。この結果、仮想二次元記憶領域上で、各ページの水平方向の画素数は１２８画素であり、偶数ライン及び奇数ラインに存在する画素の画像データの格納領域は、水平方向に４つ配置される。その他の配置については、図７及び図８と同様である。

本発明の実施形態の第１変形例によれば、８バンク構成、及び１ページ当たりの記憶容量が４０９６バイトの画像メモリ９を利用できる。

（第２変形例）
本発明の実施形態の第２変形例に係る画像処理装置として、画像メモリ９におけるバンク数を８としても良い。更に、各ページが、図２１に示すように、４０９６バイトのデータを格納可能な容量を有していても良い。但し、図２２に示すように、復号画像の偶数ライン及び奇数ラインに存在する画素の画像データが、仮想二次元記憶領域の水平方向に３２画素毎に交互に並べられる点が図８と異なる。

（その他の実施形態）
上記のように、本発明は実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。

上述した実施形態の説明においては、画像処理装置として画像復号回路を例に説明したが、画像符号化回路に応用しても良い。画像符号化回路においても画像メモリ９が備えられ、画像復号回路と同様の処理が行われるためである。

図１に示す画像処理装置においては、説明に必要な最小限の構成について図示しているが、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、又はＭＰＥＧ−４等の様々な圧縮符号化規格に応じて、図１に示す画像処理装置の構成を適宜変更・追加しても良い。

また、４又は８バンク構成の画像メモリ９を利用する一例を説明したが、２バンク構成等のバンク構成を有する画像メモリ９を利用しても良い。

図１に示した復号処理回路１０、画像メモリ９、バンク選択回路１１、書込み制御回路５、動き補償回路６、及び読出し制御回路７は、同一の半導体チップ上にモノリシックに集積化し、半導体集積回路を構成可能である。但し、画像メモリ９を、別チップ（外付け）とする構成でも構わない。

このように本発明は、ここでは記載していない様々な実施形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲の発明特定事項によってのみ限定されるものである。

５…書込み制御回路
６…動き補償回路
７…読出し制御回路
９…画像メモリ
１０…復号処理回路

Claims (4)

1. 符号化データを復号して復号画像を生成する復号処理回路と、
   ロウアドレスが順に割当てられた複数のページをそれぞれ含む複数のバンクを有し、前記復号画像を格納する画像メモリと、
   前記復号画像を複数のマクロブロックに分割し、水平及び垂直方向の少なくとも一方に隣接する前記マクロブロックの書込み先として異なるバンクのページを選択するバンク選択回路と、
   前記復号画像がフィールド構造の場合、トップフィールドに対応する第１のマクロブロックの所定ラインに存在する画素データと、ボトムフィールドに対応する第２のマクロブロックの所定ラインに存在する画素データとを前記各ページのカラムアドレス方向に交互に書込み、前記復号画像がフレーム構造の場合、各々のマクロブロックにおいて、トップフィールドに対応するラインに存在する画素データと、ボトムフィールドに対応するラインに存在する画素データとを前記各ページのカラムアドレス方向に交互に書込む書込み制御回路と、
   前記フレーム構造及び前記フィールド構造の両構造について同様に、前記復号画像を前記複数のバンクのいずれかのページから読出し、読出し対象のページを切替える場合に他のバンクのページに切替える読出し制御回路と、
   を備えることを特徴とする画像処理装置。
2. 前記書込み制御回路は、前記画素データに含まれる輝度及び色差成分のそれぞれを前記各ページのカラムアドレス方向に選択的に書込むことを特徴とする請求項１に記載の画像処理装置。
3. 前記復号処理回路が前記符号化データから復号した動きベクトルのデータに応じて、前記読出し制御回路に対して前記復号画像の一部の領域を指定し、前記読出し制御回路により読出された前記復号画像の一部の領域を参照画像として出力する動き補償回路を更に備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記書込み制御回路は、前記復号画像の画像アドレスと前記ロウ及びカラムアドレスとを対応付けて前記画素データの書き込みを制御し、
   前記読出し制御回路は、前記画像アドレスと前記ロウ及びカラムアドレスとを対応付けて前記画素データの読出しを制御する
   ことを特徴とする請求項１に記載の画像処理装置。

Images