JP2007158550A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ＤＤＲ−ＤＲＡＭ等のメモリとの間の画素データの伝送レートが従来よりも低くて済む画像処理装置を提供する。
【解決手段】垂直方向に並ぶｐライン及び水平方向に並ぶｑ画素からなるｐ×ｑ画素単位又はその複数単位でＤＤＲ−ＤＲＡＭ１０１に画素データを書き込む復号色差画素出力部２１１と、ｐ×ｑ画素単位又はその複数単位でＤＤＲ−ＤＲＡＭ１０１から画素データを読み出す参照色差画素入力部２０７とを備え、復号色差画素出力部２１１は、ＤＤＲ−ＤＲＡＭ１０１に書き込むｐ×ｑ画素の画素データについて、ｐラインの画素データをインターリーブすることによって、ｐラインのそれぞれのラインに位置する画素データが１ライン上に交互に並ぶような画素データ列を生成するインターリーブ部２１１ａを有する。
【選択図】図１

Description

本発明は、メモリに保持されたピクチャに対する画像処理をする画像処理装置に関し、特に、画像処理装置とメモリ間のデータ伝送における改善技術に関する。

デジタルビデオ商品の高解像度化（ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ｖｉｄｅｏ）化）が進んでおり、その記録時または伝送時にはデータレートを削減するために画像符号化が用いられる。画像符号化としては、ＭＰＥＧ２やＨ．２６４等のフレーム間やフィールド間の動きをブロック単位で検出してその差分情報を伝送することによって、データ量を大幅に低減する方法が用いられる（例えば、特許文献１等参照）。

図１１は、従来の画像符号化装置１００のブロック図である。なお、図中のＤＤＲ−ＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＤＲＡＭ）１０１は、画像符号化装置１００に外付けされるＤＲＡＭである。

この画像符号化装置１００は、動画像を圧縮して符号化する装置であり、メモリ制御部１０２、符号化画素入力部１０３、参照輝度画素入力部１０４、動き検出用内部メモリ１０５、動き検出部１０６、参照色差画素入力部１０７、輝度動き補償符号化・復号処理部１０８、色差動き補償符号化・復号処理部１０９、復号輝度画素出力部１１０、復号色差画素出力部１１１、可変長符号化部１１２及び符号化出力部１１３を備える。

メモリ制御部１０２は、ＤＤＲ−ＤＲＡＭ１０１と画像符号化装置１００との間におけるデータの入出力を制御する回路である。符号化画素入力部１０３は、ＤＤＲ−ＤＲＡＭ１０１から符号化の対象となる画素の画素データを読み出す回路である。参照輝度画素入力部１０４は、動き検出に用いる参照輝度画素の画素データをＤＤＲ−ＤＲＡＭ１０１から読み出す回路である。動き検出用内部メモリ１０５は、参照輝度画素入力部１０４によって読み出された参照輝度画素の画素データを蓄えるメモリである。動き検出部１０６は、所定のブロック単位でフィールド間またはフレーム間の動き量を検出する回路である。参照色差画素入力部１０７は、参照色差画素の画素データをＤＤＲ−ＤＲＡＭ１０１から読み出す回路である。輝度動き補償符号化・復号処理部１０８は、輝度画素に対する動き補償、符号化及び復号処理を実施する回路である。色差動き補償符号化・復号処理部１０９は、色差画素に対する動き補償、符号化及び復号処理を実施する回路である。復号輝度画素出力部１１０は、復号処理された輝度画素の画素データをＤＤＲ−ＤＲＡＭ１０１に出力する回路である。復号色差画素出力部１１１は、復号処理された色差画素の画素データをＤＤＲ−ＤＲＡＭ１０１に出力する回路である。可変長符号化部１１２は、符号化された輝度画素及び色差画素の画素データを可変長符号化する回路である。符号化出力部１１３は、可変長符号化部１１２によって得られた符号語をＤＤＲ−ＤＲＡＭ１０１に出力する回路である。

図１１を用いて、輝度画素、青の色差画素及び赤の色差画素からなる画素データを符号化する動作を説明する。ＤＤＲ−ＤＲＡＭ１０１に記憶された符号化すべき輝度画素、青の色差画素及び赤の色差画素の画素データは、符号化画素入力部１０３によって、メモリ制御部１０２を介して読み出される。同時に、ＤＤＲ−ＤＲＡＭ１０１に記憶されている既に符号化し復号化された異なるフィールドまたはフレームの輝度画素の画素データが、参照輝度画素の画素データとして、参照輝度画素入力部１０４によって、メモリ制御部１０２を介して読み出され、動き検出用内部メモリ１０５に蓄積される。

そして、動き検出部１０６により、動き検出用内部メモリ１０５に蓄積された参照輝度画素の画素データと符号化画素入力部１０３によって読み出された符号化すべき輝度画素の画素データとの間で、所定のブロック単位で、動きが検出される。ここで得られた動き量（動きベクトル）に基づいて、参照色差画素入力部１０７により、ＤＤＲ−ＤＲＡＭ１０１に記憶されている既に符号化し復号化された異なるフィールドまたはフレームの青および赤の色差画素の画素データが、動き補償用の参照色差画素の画素データとして、メモリ制御部１０２を介して読み出される。そして、色差動き補償符号化・復号処理部１０９により、上記動きベクトルに基づいて符号化すべき色差画素の画素データと参照色差画素の画素データとの差分値が計算され、それが符号化および復号化される。同様に、動き検出部１０６で得られた動き量（動きベクトル）に基づいて、輝度動き補償符号化・復号処理部１０８により、符号化すべき輝度画素の画素データと参照輝度画素の画素データとの差分値が計算され、それが符号化および復号化される。

これらの処理によって得られた復号化された輝度画素および色差画素の画素データは、それぞれ復号輝度画素出力部１１０および復号色差画素出力部１１１によって、メモリ制御部１０２を介してＤＤＲ−ＤＲＡＭ１０１に出力される。ここでＤＤＲ−ＤＲＡＭ１０１に出力された復号化された輝度画素及び色差画素の画素データは、それ以後の符号化の参照画素の画素データとして利用される。これと並行して、輝度動き補償符号化・復号処理部１０８及び色差動き補償符号化・復号処理部１０９で符号化された輝度画素および色差画素の画素データは、可変長符号化部１１２で可変長符号化され、符号化出力部１１３からメモリ制御部１０２を介してＤＤＲ−ＤＲＡＭ１０１に出力される。

このようにして、従来の画像符号化装置によれば、外付けのＤＤＲ−ＤＲＡＭとの間で画素データの入出力を繰り返すことによって、画像の圧縮・符号化を行っている。
特開平１−１６８１６５号公報

しかしながら、従来の画像符号化装置では、ＤＤＲ−ＤＲＡＭから参照色差画素の画素データを読み出すのに極めて多くの伝送レートが必要とされるという問題がある。特に、ＨＤ映像等の高解像度の画像を圧縮・符号化する場合には、その問題が顕著となる。

以下、図１２及び図１３を用いて、従来の画像符号化装置１００がＤＤＲ−ＤＲＡＭ１０１から参照色差画素の画素データを読み出す処理について説明する。ここでは、ＨＤ対応を考慮し、ＤＤＲ−ＤＲＡＭ１０１が高速なＤＤＲ２メモリであると想定する。ＤＤＲ２メモリでは、ひとつのメモリが４つのバンクに分割されており、ひとつのバンクへアクセスする単位が８サイクル（＝４クロック）である。このため、一般的な１ワードが１６ｂｉｔの場合に、１６バイト単位でアクセスすることが可能となる。

図１２は、上記のＤＤＲ−ＤＲＡＭ１０１に配置された復号化された色差画素の画素データから、動き検出部１０６で求められた動きベクトルに従って参照色差画素の画素データを読み出す際の、ＤＤＲ−ＤＲＡＭ１０１上の読み出し位置を示している。動きベクトルは、画面上の任意の位置を示す可能性があるため、対応する参照色差画素の画素データもメモリ上の任意の位置から読み出す必要が生じる。また、図１２の例では水平４画素、垂直８ラインの青の色差画素ブロックに対する参照画素の画素データの読み出しを仮定している。この場合には、動き補償時のフィルタ処理を考慮すると、水平５画素、垂直９ラインの参照色差画素の画素データを読み出す必要がある。ＤＤＲ−ＤＲＡＭ１０１上の任意の位置の水平５画素は、図１２に示されるように、最大で２つの１６バイトアライン（または２つのバンク）にまたがって位置する。このため、実際の読み出しの最大量は、水平１６ｘ２バイト、垂直９ラインとなる。これによって、実際に必要な参照画素の画素データ以外に非常に多くの画素データを同時に読み出す必要が生じることになる。

このような参照色差画素の読み出し処理を、青の参照色差画素に加えて、赤の参照色差画素についても実施する必要があるため、メモリ伝送レートの面で実装上で非常に大きな課題となる。

図１３は、図１２で示した読み出し部分を、実際にＤＤＲ−ＤＲＡＭ１０１から読み出す際のタイミングを示している。図１３の一行目はサイクルを表しており、ＤＤＲ２メモリでは１クロックが２サイクルに対応する。ＤＤＲ２メモリでは、同一バンクの読み出しについては、一定時間以上の間隔が必要となる。この例では、同一バンクを再度読み出すためには、他の全てのバンクを１回ずつ読み出すのに要する時間、つまり、２４サイクル（８サイクル×３バンク）の間隔が必要である。このため、図１３に示されるように、バンク０とバンク１のデータを連続してサイクル毎に読み出すことが可能であるが、バンク１から次のバンク０の読み出しについては、１６サイクル（バンク２及びバンク３のサイクル分）の空きサイクルが必要となる。以上のように参照色差画素の画素データの読み込みには、メモリ読み出し単位及び読み出しサイクルの両面で非常に多くの冗長が必要となる。

図１４は、以上のような従来の画像符号化装置１００によるＤＤＲ−ＤＲＡＭ１０１へのアクセス速度の具体例を示す図である。ここでは、水平１９２０画素、垂直１０８８ライン、３０フレーム／秒のＨＤ映像を図１１の画像符号化装置１００で符号化した場合におけるＤＤＲ−ＤＲＡＭ１０１と画像符号化装置１００との間で必要なデータ伝送レートがまとめられている。ここで、左端の行における「符号化画素入力」、「参照輝度画素入力」、「参照色差画素入力」、「復号輝度画素出力」、「復号色差画素出力」、「圧縮データ他」、「合計」は、それぞれ、符号化画素入力部１０３、参照輝度画素入力部１０４、参照色差画素入力部１０７、復号輝度画素出力部１１０、復号色差画素出力部１１１、符号化出力部１１３、画像符号化装置１００それぞれとＤＤＲ−ＤＲＡＭ１０１との間の画素データの転送（読み出し／書き込み）に対応する。

本図の「実際の伝送レート」の「合計」から分かるように、図１２に示された一般的な参照画素の画素データのメモリ配置の場合では、全体の「実際の伝送レート」は、２８１６ＭＢ／ｓと大きく、特に「参照色差画素入力」には、１１２８ＭＢ／ｓも必要とする。

なお、図１４の「参照色差画素入力」の行における各値の意味は次の通りである。つまり、「ＭＢ（マクロブロック）当たりの必要伝送量」は、５（水平画素数）×９（ライン数）×２（青と赤の２つの色差分）×２（１つの色差当たりのデータ数）×２（前方参照と後方参照の２つ分）となり、「ＭＢ当たりの実際の伝送量」は、３２（２バンク分のバイト数）×９（ライン数）×２（青と赤の２つの色差分）×２（１つの色差当たりのデータ数）×２（前方参照と後方参照の２つ分）となる。この「ＭＢ当たりの実際の伝送量」を上記ＨＤ映像における伝送レートに換算すると、「伝送レート」は、５６４ＭＢ／ｓとなる。「メモリアクセスオーバーヘッド」は、図１３に示される状況（４バンクにつき２バンク）より、「×２」となる。よって、「実際の伝送レート」は、５６４ＭＢ／ｓ（伝送レート）×２（メモリアクセスオーバーヘッド）より、１１２８ＭＢ／ｓとなる。

このように、従来技術における「実際の伝送レート」の合計値は、２８１６ＭＢ／ｓとなり、ＤＤＲ２メモリを７００ＭＨｚ以上で動作させる必要があるため、現時点で入手できるメモリでは実現できないことになる。あるいは、実現できたとしても、コストの高い画像符号化装置となったり、高クロックレートのために消費電力が極めて高い画像符号化装置となってしまう。

そこで、本発明は、このような状況に鑑みてなされたものであり、ＤＤＲ−ＤＲＡＭ等のメモリとの間の画素データの伝送レートが従来よりも低くて済む画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理装置は、メモリに接続され、前記メモリに保持されたピクチャに対する画像処理をする画像処理装置であって、垂直方向に並ぶｐ（ｐは２以上の自然数）ライン及び水平方向に並ぶｑ（ｑは自然数）画素からなるｐ×ｑ画素単位又はその複数単位で前記メモリに画素データを書き込む画素出力手段と、ｐ×ｑ画素単位又はその複数単位で前記メモリから画素データを読み出す画素入力手段とを備え、前記画素出力手段は、前記メモリに書き込むｐ×ｑ画素の画素データについて、前記ｐラインの画素データをインターリーブすることによって、前記ｐラインのそれぞれのラインに位置する画素データが１ライン上に交互に並ぶような画素データ列を生成するインターリーブ部を有することを特徴とする。これにより、複数のライン分の画素データがインターリーブされて１つの画素データ列としてメモリに書き込まれ、ＤＤＲ−ＤＲＡＭにおけるアクセス当たりのデータ伝送量が増加したり、メモリアクセスオーバーヘッドが抑制されたりするので、ＤＤＲ−ＤＲＡＭ等のメモリと画像処理装置との間の画素データの伝送レートが従来よりも低くなる。

ここで、前記ピクチャには、第１及び第２色差画像が含まれ、前記インターリーブ部は、前記第１及び第２色差画像のｐ×ｑ画素の画素データについて、前記ｐラインの画素データをインターリーブするとともに、前記第１及び第２色差画像の画素データをインターリーブすることによって、前記第１色差画像の画素データと第２色差画像の画素データとが１ライン上に交互に並び、かつ、各色差画像においては前記ｐラインのそれぞれのラインに位置する画素データが１ライン上に交互に並ぶような画素データ列を生成してもよい。これにより、ラインインターリーブに加えて、色差インターリーブも同時に行われ、色差画素の画素データがＤＤＲ−ＤＲＡＭに効率的に格納されので、ＤＤＲ−ＤＲＡＭ等のメモリと画像処理装置との間の画素データの伝送レートが従来よりも大幅に低くなる。

なお、前記ｐは、２のべき乗値であるのが好ましい。例えば、ｐが４、８、１６等であれば、インターリーブ後の画素データ列がＤＤＲ−ＤＲＡＭのアクセスアライメント（１６バイトアライメント等）と一致、整数倍あるいは整数分の１の関係となり、効率よくＤＤＲ−ＤＲＡＭのバンクに収まる可能性が高くなり、データ伝送レートが低減化され得る。

また、上記目的を達成するために、本発明に係る画像処理装置は、メモリに接続され、前記メモリに保持されたピクチャに対する画像処理をする画像処理装置であって、垂直方向に並ぶｐ（ｐは２以上の自然数）ライン及び水平方向に並ぶｑ（ｑは自然数）画素からなるｐ×ｑ画素単位又はその複数単位で前記メモリに画素データを書き込む画素出力手段と、ｐ×ｑ画素単位又はその複数単位で前記メモリから画素データを読み出す画素入力手段とを備え、前記ピクチャには、第１及び第２色差画像が含まれ、前記画素出力手段は、前記メモリに書き込む第１及び第２色差画像のｐ×ｑ画素の画素データについて、前記第１及び第２色差画像の画素データをインターリーブすることによって、前記第１色差画像の画素データと第２色差画像の画素データとが１ライン上に交互に並ぶような画素データ列を生成するインターリーブ部を有することを特徴とする。これにより、色差画素の画素データが色差インターリーブされたうえでＤＤＲ−ＤＲＡＭに効率的に格納されので、ＤＤＲ−ＤＲＡＭ等のメモリと画像処理装置との間の画素データの伝送レートが従来よりも低くなる。

なお、本発明は、このような画像処理装置として実現できるだけでなく、ＬＳＩ等のワンチップの半導体集積回路として実現したり、動画像の圧縮・符号化機能を備える画像符号化装置として実現したり、圧縮動画像の伸張・復号化機能を備える画像復号化装置として実現したり、画像処理装置の構成要素をステップとして含む画像処理方法として実現したり、画像処理方法に含まれるステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムをＣＤ−ＲＯＭ等の記録媒体に格納したコンピュータ読み取り可能な記録媒体として実現することもできる。

本発明により、ＤＤＲ−ＤＲＡＭ等のメモリと画像処理装置との間の画素データの伝送レートが従来よりも極めて低くて済む。よって、アクセス速度の遅いメモリを用いて高機能な画像処理を行うことが可能となり、低コストで、かつ、低消費電力で従来と同様の画像処理を行う画像処理装置が実現される。

特に、ＨＤ映像等の高解像度の映像の記録・再生を行うデジタルビデオ商品の低コスト化や低消費電力化が可能となり、本発明の実用的価値は極め高い。

以下、本発明の実施の形態について図面を用いて詳細に説明する。
図１は、本実施の形態における画像符号化装置２００の構成を示す機能ブロック図である。なお、図中のＤＤＲ−ＤＲＡＭ１０１は、画像符号化装置２００に外付けされるＤＲＡＭである。

この画像符号化装置２００は、復号輝度画素及び復号色差画素の画素データをインターリーブしてＤＤＲ−ＤＲＡＭに格納する機能を備える画像符号化装置であり、メモリ制御部１０２、符号化画素入力部１０３、参照輝度画素入力部２０４、動き検出用内部メモリ１０５、動き検出部１０６、参照色差画素入力部２０７、輝度動き補償符号化・復号処理部１０８、色差動き補償符号化・復号処理部１０９、復号輝度画素出力部２１０、復号色差画素出力部２１１、可変長符号化部１１２及び符号化出力部１１３を備える。

この画像符号化装置２００は、従来の画像符号化装置１００が備える構成要素のうち、参照輝度画素入力部１０４、参照色差画素入力部１０７、復号輝度画素出力部１１０及び復号色差画素出力部１１１を、それぞれ、参照輝度画素入力部２０４、参照色差画素入力部２０７、復号輝度画素出力部２１０及び復号色差画素出力部２１１に置き換えたものに相当する。以下、従来の画像符号化装置１００と同一の構成要素には同一の符号を付し、その説明を省略する。

復号輝度画素出力部２１０は、輝度動き補償符号化・復号処理部１０８によって得られた復号輝度画素を複数ライン分の画素をインターリーブしたうえで、メモリ制御部１０２を介してＤＤＲ−ＤＲＡＭ１０１に格納する回路であり、インターリーブ部２１０ａを有する。

インターリーブ部２１０ａは、そのためのインターリーブを行う回路であり、垂直方向に並ぶｐ（ｐは２以上の自然数）ライン及び水平方向に並ぶｑ（ｑは自然数）画素からなるｐ×ｑ画素単位又はその複数単位でＤＤＲ−ＤＲＡＭ１０１に画素データを書き込む際に、ｐラインの画素データをインターリーブすることによって、ｐラインのそれぞれのラインに位置する画素データが１ライン上に交互に並ぶような画素データ列（アクセスブロック）を生成する。例えば、１６ライン×１６画素のマクロブロック単位でＤＤＲ−ＤＲＡＭ１０１に書き込む際に、４ライン分の画素データ（４ライン×１６画素）ごとに、各４ラインの画素データをインターリーブして画素データ列を生成する。具体的には、図２に示されるように、ｉ行ｊ列目の画素データをＹ（ｉ，ｊ）で表すと、４ライン分の画素データごとに、Ｙ（１，１）、Ｙ（２，１）、Ｙ（３，１）、Ｙ（４，１）、Ｙ（１，２）、Ｙ（２，２）、Ｙ（３，２）、Ｙ（４，２）、Ｙ（１，３）、・・・、Ｙ（４、１６）の順に画素データが並ぶ画素データ列を生成する。復号輝度画素出力部２１０は、インターリーブ部２１０ａによって生成されたインターリーブ後の画素データ列をＤＤＲ−ＤＲＡＭ１０１に書き込む。

復号色差画素出力部２１１は、色差動き補償符号化・復号処理部１０９によって得られた復号色差画素の画素データを、（１）２種類の色差（青、赤）画素の画素データをインターリーブ（以下、このような色差画素の色についてのインターリーブを「色差インターリーブ」ともいう。）、又は、（２）そのインターリーブに加えて、複数ライン分の画素の画素データをインターリーブ（以下、このような色差画素の色及びラインについてのインターリーブを「色差・ラインインターリーブ」ともいう。）したうえで、メモリ制御部１０２を介してＤＤＲ−ＤＲＡＭ１０１に格納する回路であり、インターリーブ部２１１ａを有する。

インターリーブ部２１１ａは、そのためのインターリーブを行う回路であり、予め設定される値（内部レジスタに設定される値）に応じて、（１）色差インターリーブをした画素データ列を生成するか、又は、（２）色差・ラインインターリーブをした画素データ列を生成する。つまり、インターリーブ部２１１ａは、（１）色差インターリーブをする場合には、青の色差画素からなる画素ブロックと赤の色差画素からなる画素ブロックとをＤＤＲ−ＤＲＡＭ１０１に書き込む際に、青及び赤の色差画素の画素データが１ライン上に交互に並ぶように、それら２つの画素ブロックをインターリーブして画素データ列を生成する。また、インターリーブ部２１１ａは、（２）色差・ラインインターリーブをする場合には、青及び赤の色差画素について、それぞれ、垂直方向に隣接するｐライン、水平方向に隣接するｑ画素からなるｐ×ｑ画素単位またはその複数単位でＤＤＲ−ＤＲＡＭ１０１に書き込む際に、青及び赤の画素データについてインターリーブするとともに、ｐラインの画素データについてもインターリーブすることで、青の色差画素の画素データと赤の色差画素の画素データとが１ライン上に交互に並び、かつ、各色差画素においてはｐラインのそれぞれのラインに位置する画素データが１ライン上に交互に並ぶような画素データ列（ｐ×ｑ×２画素の画素データ列）を生成する。例えば、青及び赤の色差画素それぞれについて、９ライン×５画素のマクロブロック単位でＤＤＲ−ＤＲＡＭ１０１に書き込む際に、４ライン分の画素データ（４ライン×５画素）ごとに、青及び赤の色差画素の画素データが１ライン上に交互に並び、かつ、図２に示されるように各４ラインの画素データが１ライン上に交互に並ぶようにインターリーブし、９×５×２画素の画素データ列を生成する。具体的には、ｉ行ｊ列目の青及び赤の色差画素の画素データを、それぞれ、Ｙｂ（ｉ，ｊ）、Ｙｒ（ｉ，ｊ）で表すと、Ｙｂ（１，１）、Ｙｒ（１，１）、Ｙｂ（２，１）、Ｙｒ（２，１）、Ｙｂ（３，１）、Ｙｒ（３，１）、Ｙｂ（４，１）、Ｙｒ（４，１）、Ｙｂ（１，２）、Ｙｒ（１，２）、Ｙｂ（２，２）、Ｙｒ（２，２）、Ｙｂ（３，２）、Ｙｒ（３，２）、Ｙｂ（４，２）、Ｙｒ（４，２）、Ｙｂ（１，３）、Ｙｒ（１，３）、・・・、Ｙｂ（４、５）Ｙｒ（４、５）の順に青及び赤の色差画素の画素データが並ぶ画素データ列を生成する。復号色差画素出力部２１１は、インターリーブ部２１１ａによって生成されたインターリーブ後の画素データ列をＤＤＲ−ＤＲＡＭ１０１に書き込む。

参照輝度画素入力部２０４は、動き検出に用いる参照輝度画素の画素データを、メモリ制御部１０２を介してＤＤＲ−ＤＲＡＭ１０１から読み出し、インターリーブされた画素データの配置を元の配置に戻す（デインターリーブする）回路であり、デインターリーブ部２０４ａを有する。デインターリーブ部２０４ａは、そのためのデインターリーブを行う回路であり、復号輝度画素出力部２１０が有するインターリーブ部２１０ａが行うインターリーブの逆の処理、つまり、インターリーブされた画素データ列を元の画素データ列に戻す処理を行う。参照輝度画素入力部２０４は、デインターリーブ部２０４ａによってデインターリーブされた後の参照輝度画素の画素データを動き検出用内部メモリ１０５に格納する。

参照色差画素入力部２０７は、参照色差画素の画素データを、メモリ制御部１０２を介してＤＤＲ−ＤＲＡＭ１０１から読み出す回路であり、デインターリーブ部２０７ａを有する。デインターリーブ部２０７ａは、そのためのデインターリーブを行う回路であり、復号色差画素出力部２１１が有するインターリーブ部２１１ａが行うインターリーブの逆の処理、つまり、色差インターリーブ又は色差・ラインインターリーブされた画素データ列を元の画素データ列に戻す処理を行う。参照色差画素入力部２０７は、デインターリーブ部２０７ａによってデインターリーブされた後の参照色差画素の画素データを色差動き補償符号化・復号処理部１０９に出力する。

次に、以上のように構成された本実施の形態における画像符号化装置２００の特徴的な動作について、具体的に説明する。ここでは、復号色差画素出力部２１１による動作、つまり、色差動き補償符号化・復号処理部１０９から出力された復号色差画素の画素データを、（１）色差インターリーブ、又は、（２）色差・ラインインターリーブしたうえでＤＤＲ−ＤＲＡＭ１０１に格納する処理の詳細について、具体例を挙げて説明する。

図３は、復号色差画素出力部２１１が色差インターリーブをしてＤＤＲ−ＤＲＡＭ１０１に格納する場合の色差画素の画素データのメモリ配置図であり、従来技術における図１２に対応する。つまり、またがって配置されるバンク数が最大となるケースにおけるメモリ配置図である。本図において、右上から左下への斜線によってハッチングされたマスが青の色差画素の画素データであり、左上から右下への斜線によってハッチングされたマスが赤の色差画素の画素データである。ここでは、５画素×９ラインの２つの色差画素ブロックがインターリーブされて配置されている様子が示されている。

このように、復号色差画素出力部２１１（より詳しくは、インターリーブ部２１１ａ）は、青の色差画素と赤の色差画素とが交互に配置されるように２種類の色差画素をインターリーブする。これによって、本図と従来技術における図１２とを比較して分かるように、いずれも２つのバンクにまたがって配置されているにも拘わらず、従来技術では１つの色差画素だけが配置されているのに対し、本実施の形態では、２つの色差画素が配置されている。よって、本実施の形態では、従来技術に比べ、アクセス回数が１／２に減少する。

図４は、図３に示されたメモリ配置におけるデータ転送のタイミングを示す図である。ここでは、１ライン（５画素）分の２つの色差画素の画素データが転送される様子が示されている。本図と従来技術における図１３とを比較して分かるように、いずれも、４バンクのうち２バンクだけが実際のデータ転送になっている。よって、本実施の形態によれば、２種類の色差画素がインターリーブされているにも拘わらず、メモリアクセスオーバーヘッドは従来技術と同じである。

図５は、復号色差画素出力部２１１が色差・ラインインターリーブをしてＤＤＲ−ＤＲＡＭ１０１に格納する場合の色差画素の画素データのメモリ配置図であり、従来技術における図１２に対応する。つまり、またがって配置されるバンク数が最大となるケースにおけるメモリ配置図である。ここでは、５画素×９ラインの２つの色差画素ブロックが、色差の種類（青、赤）でインターリーブされるとともに、４ライン分でインターリーブされた状態で配置されている様子が示されている。

このように、復号色差画素出力部２１１（インターリーブ部２１１ａ）は、青の色差画素と赤の色差画素とが交互に配置されるように２種類の色差画素をインターリーブするとともに、各色差画素について、図２に示されるように、４ライン分の画素データをインターリーブして画素データ列を生成する。これによって、本図と従来技術における図１２とを比較して分かるように、５画素×９ラインの２つの色差画素ブロックを配置するのに、従来技術では、２つのバンクにおける９ライン分を２箇所（青及び赤の色差画素分）必要とするに対し、本実施の形態では、連続する３つのバンクにおける３ライン分で済む。よって、本実施の形態では、従来技術に比べ、アクセス回数が、１６（バイト／バンク）×３（バンク）×３（ライン）：１６（バイト／バンク）×２（バンク）×９（ライン）×２（２種類の色差画像分）＝１／４に減少する。

図６は、図５に示されたメモリ配置におけるデータ転送のタイミングを示す図である。ここでは、色差・ラインインターリーブ後の第１ライン（青及び赤の色差画素の４〜７ｌｉｎｅ）の画素データが転送される様子が示されている。本図と従来技術における図１３とを比較して分かるように、１ライン分の画素データを転送するのに、従来技術では、４バンクのうち２バンクだけが実際のデータ転送になっているの対し、本実施の形態では、４バンクのうち２．５バンクが実際のデータ転送になっている。よって、本実施の形態では、従来技術に比べ、データ転送のサイクル数が減少する。

図７は、図５及び図６に示される色差・ラインインターリーブを行う本実施の形態における画像符号化装置２００によるＤＤＲ−ＤＲＡＭ１０１へのアクセス速度の具体例を示す図であり、従来技術における図１４に対応する図である。つまり、水平１９２０画素、垂直１０８８ライン、３０フレーム／秒のＨＤ映像を画像符号化装置２００で符号化した場合におけるＤＤＲ−ＤＲＡＭ１０１と画像符号化装置２００との間で必要なデータ伝送レートがまとめられている。ここで、左端の行における「符号化画素入力」、「参照輝度画素入力」、「参照色差画素入力」、「復号輝度画素出力」、「復号色差画素出力」、「圧縮データ他」、「合計」は、それぞれ、符号化画素入力部１０３、参照輝度画素入力部２０４、参照色差画素入力部２０７、復号輝度画素出力部２１０、復号色差画素出力部２１１、符号化出力部１１３、画像符号化装置２００それぞれとＤＤＲ−ＤＲＡＭ１０１との間の画素データの転送（読み出し／書き込み）に対応する。

本図と従来技術における図１４とを比較して分かるように、「実際の伝送レート」の「合計」は、従来技術では２８１６ＭＢ／ｓであるの対し、本実施の形態では１０６８ＭＢ／ｓ（従来の伝送レートの約３８％）で済む。特に、「参照色差画素入力」における「実際の伝送レート」は、従来技術では１１２８ＭＢ／ｓであるの対し、本実施の形態では１８８ＭＢ／ｓ（従来の伝送レートの約１７％）で済む。

なお、図７の「参照色差画素入力」の行における各値の意味は次の通りである。つまり、「ＭＢ（マクロブロック）当たりの必要伝送量」は、５（水平画素数）×２（青と赤の２つの色差分）×４（インターリーブするライン数）×３（インターリーブ後のライン数）×２（１つの色差当たりのデータ数）×２（前方参照と後方参照の２つ分）となり、「ＭＢ当たりの実際の伝送量」は、４８（３バンク分のバイト数）×３（インターリーブ後のライン数）×２（青と赤の２つの色差分）×２（１つの色差当たりのデータ数）×２（前方参照と後方参照の２つ分）となる。この「ＭＢ当たりの実際の伝送量」を上記ＨＤ映像における伝送レートに換算すると、「伝送レート」は、１４１ＭＢ／ｓとなる。「メモリアクセスオーバーヘッド」は、図６に示される状況（４バンクにつき３バンク）より、「×１．３３」となる。よって、「実際の伝送レート」は、１４１ＭＢ／ｓ（伝送レート）×１．３３（メモリオーバーヘッド）より、１８８ＭＢ／ｓとなる。

このように、本実施の形態の画像符号化装置により、画素データがインターリーブされてＤＤＲ−ＤＲＡＭに配置されるので、画像符号化装置とＤＤＲ−ＤＲＡＭとの間の伝送レートが大幅に減少される。特に、色差画素の画素データを色差・ラインインターリーブしてＤＤＲ−ＤＲＡＭに格納した場合には、従来技術に比べ、参照色差画素の入力における伝送レートが従来の約１７％に減少し、合計の伝送レートが従来の約３８％に減少する。これにより、低いアクセス速度のＤＤＲ−ＤＲＡＭの採用によるコストの削減や、クロックレートの低速化による低消費電力化が可能となる。

図８は、本実施の形態における画像復号化装置３００の構成を示す機能ブロック図である。なお、図中のＤＤＲ−ＤＲＡＭ３０１は、画像復号化装置３００に外付けされるＤＲＡＭである。この画像復号化装置３００は、復号輝度画素及び復号色差画素の画素データをインターリーブしてＤＤＲ−ＤＲＡＭに格納する機能を備える、図１に示される画像符号化装置２００に対応する画像復号化装置であり、メモリ制御部３０２、符号化データ入力部３０３、参照輝度画素入力部３０４、動きベクトル切り出し部３０６、参照色差画素入力部３０７、輝度復号・動き補償処理部３０８、色差復号・動き補償処理部３０９、復号輝度画素出力部３１０及び復号色差画素出力部３１１を備える。

メモリ制御部３０２は、ＤＤＲ−ＤＲＡＭ３０１と画像復号化装置３００との間におけるデータの入出力を制御する回路である。符号化データ入力部３０３は、ＤＤＲ−ＤＲＡＭ３０１から復号化の対象となる符号化データを読み出す回路である。動きベクトル切り出し部３０６は、符号化データ入力部３０３によって読み出された符号化データから、動きベクトルを切り出す回路である。参照輝度画素入力部３０４は、参照輝度画素の画素データをＤＤＲ−ＤＲＡＭ３０１から読み出す回路である。参照色差画素入力部３０７は、参照色差画素の画素データをＤＤＲ−ＤＲＡＭ３０１から読み出す回路である。輝度復号・動き補償処理部３０８は、輝度画素に対する復号化及び動き補償処理を実施する回路である。色差復号・動き補償処理部３０９は、色差画素に対する復号化及び動き補償処理を実施する回路である。復号輝度画素出力部３１０は、復号処理された輝度画素の画素データをＤＤＲ−ＤＲＡＭ３０１に出力する回路である。復号色差画素出力部３１１は、復号処理された色差画素の画素データをＤＤＲ−ＤＲＡＭ３０１に出力する回路である。

復号輝度画素出力部３１０は、輝度復号化・動き補償処理部３０８によって得られた復号輝度画素を複数ライン分の画素をインターリーブしたうえで、メモリ制御部３０２を介してＤＤＲ−ＤＲＡＭ３０１に格納する回路であり、インターリーブ部３１０ａを有する。インターリーブ部３１０ａは、図１に示されるインターリーブ部２１０ａと同一機能を有する。

復号色差画素出力部３１１は、色差復号化・動き補償処理部３０９によって得られた復号色差画素の画素データを、（１）色差インターリーブ、又は、（２）色差・ラインインターリーブをしたうえで、メモリ制御部１０２を介してＤＤＲ−ＤＲＡＭ１０１に格納する回路であり、インターリーブ部３１１ａを有する。インターリーブ部３１１ａは、図１に示されるインターリーブ部２１１ａと同一機能を有する。

参照輝度画素入力部３０４は、動き補償に用いる参照輝度画素の画素データを、メモリ制御部３０２を介してＤＤＲ−ＤＲＡＭ３０１から読み出し、インターリーブされた画素データの配置を元の配置に戻す（デインターリーブする）回路であり、デインターリーブ部３０４ａを有する。デインターリーブ部３０４ａは、図１に示されるデインターリーブ部２０４ａと同一の機能を有する。

参照色差画素入力部３０７は、参照色差画素の画素データを、メモリ制御部３０２を介してＤＤＲ−ＤＲＡＭ３０１から読み出す回路であり、デインターリーブ部３０７ａを有する。デインターリーブ部３０７ａは、図１に示されるデインターリーブ部２０７ａと同一の機能を有する。

以上のような構成を備える本実施の形態における画像復号化装置３００においても、画像符号化装置２００と同様に、参照輝度画素及び参照色差画素の画素データがインターリーブされてＤＤＲ−ＤＲＡＭ３０１に格納されるので、参照輝度画素入力部３０４、参照色差画素入力部３０７、復号輝度画素出力部３１０及び復号色差画素出力部３１１とＤＤＲ−ＤＲＡＭ３０１との間での画素データの転送レートは、画像符号化装置２００の場合と同様に、インターリーブしない従来技術に比べ、大幅に減少する。

以上、本発明に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。

たとえば、本実施の形態では、本発明を画像符号化装置及び画像復号化装置に適用した例が示されたが、本発明に係る画像処理装置は、このような画像符号化装置及び画像復号化装置だけでなく、外部に画像データを蓄えるＤＤＲ−ＤＲＡＭ等のメモリを備えるあらゆる種類の画像処理装置に適用することができる。

図９は、本発明を一般的な画像処理装置に適用した場合における画像処理装置４００の構成を示すブロック図である。この画像処理装置４００は、ＤＤＲ−ＤＲＡＭ４０１に接続され、ＤＤＲ−ＤＲＡＭ４０１に保持されたピクチャに対する画像処理をする装置であって、画像演算部４０２、画素出力部４０３、画素入力部４０４及びメモリ制御部４０５を備える。

画像演算部４０２は、ＤＤＲ−ＤＲＡＭ４０１に保持されたピクチャに対する画像処理、例えば、スムージング、輪郭抽出、動き検出、圧縮、伸張等の画像処理を行うプロセッサ等である。メモリ制御部４０５は、ＤＤＲ−ＤＲＡＭ４０１と画像処理装置４００との間におけるデータの入出力を制御する回路である。

画素出力部４０３は、垂直方向に並ぶｐ（ｐは２以上の自然数）ライン及び水平方向に並ぶｑ（ｑは自然数）画素からなるｐ×ｑ画素単位又はその複数単位でメモリ制御部４０５を介してＤＤＲ−ＤＲＡＭ４０１に画素データを書き込む処理部であり、インターリーブ部４０３ａを有する。インターリーブ部４０３ａは、ＤＤＲ−ＤＲＡＭ４０１に書き込むｐ×ｑ画素の画素データについて、ｐラインの画素データをインターリーブすることによって、ｐラインのそれぞれのラインに位置する画素データが１ライン上に交互に並ぶような画素データ列を生成する。あるいは、このインターリーブ部４０３ａは、予め設定されたパラメータに従って、このようなラインだけのインターリーブ、上述した色差だけのインターリーブ、及び、色差とラインの両方についてのインターリーブのいずれかを実行する。

画素入力部４０４は、ｐ×ｑ画素単位又はその複数単位でメモリ制御部４０５を介してＤＤＲ−ＤＲＡＭ４０１から画素データを読み出す処理部であり、デインターリーブ部４０４ａを有する。デインターリーブ部４０４ａは、インターリーブ部４０３ａが行うインターリーブと逆の処理、つまり、ＤＤＲ−ＤＲＡＭ４０１から読み出されたインターリーブされた画素データ列を元の画素データ列に戻す処理をする。

このような汎用的な画像処理装置であっても、実施の形態における画像符号化装置２００及び画像復号化装置３００と同様に、輝度画素あるいは色差画素の画素データがインターリーブされてＤＤＲ−ＤＲＡＭ４０１に格納されるので、画素出力部４０３及び画素入力部４０４とＤＤＲ−ＤＲＡＭ４０１との間での画素データの転送レートは、画像符号化装置２００及び画像復号化装置３００の場合と同様に、インターリーブしない従来技術に比べ、大幅に減少する。

また、本実施の形態では、ラインについてのインターリーブでは、図２に示されるように、各ラインの画素データが同じ順に（第１行目〜第ｐ行目）に並ぶことが繰り返される画素データ列が生成されたが、本発明におけるラインインターリーブの方法としては、このような配列に限定されるものではない。例えば、４ラインについてインターリーブする方法として、図１０に示されるように、各ラインの画素データの並びが入れ替わる（第１行目〜第ｐ行目、第ｐ行目〜第１行目、第１行目〜第ｐ行目、・・・）ような画素データ列を生成してもよい。

また、本実施の形態では、画像符号化装置２００の復号色差画素出力部２１１は、色差インターリーブ及び色差・ラインインターリーブのいずれかを実行したが、インターリーブの方法としてはこれらに限られず、復号輝度画素出力部２１０と同様に、ラインだけのインターリーブを実行してもよい。この場合には、復号輝度画素出力部２１０のインターリーブ部２１０ａと復号色差画素出力部２１１のインターリーブ部２１１ａとが同一方式のインターリーブを実行することになるので、共通の回路又はプログラムで実現することができる。

また、本実施の形態では、４ラインのラインインターリーブの例が示されたが、本発明は、このようなラインインターリーブに限定されるものではなく、２ライン、８ライン、１６ライン等のラインインターリーブであってもよい。このとき、インターリーブのライン数は、２のべき乗値であるのが好ましい。インターリーブ後の画素データ列がＤＤＲ−ＤＲＡＭのアクセスアライメント（１６バイトアライメント等）と一致、整数倍あるいは整数分の１の関係となり、効率よくＤＤＲ−ＤＲＡＭのバンクに収まる可能性が高くなり、データ伝送レートが低減化され得るからである。

また、本実施の形態では、異なる種類（色差又はラインが異なる）の画素データが１個ずつインターリーブされて１ラインの画素データ列が生成されたが、本発明は、このようなインターリーブの単位に限定されるものではなく、２以上の画素データを単位としてインターリーブされてもよい。たとえば、第１行目の２列分の画素データの次に第２行目の２列分の画素データが１ライン上に配置されるようなインターリーブや、処理対象のブロックを構成する第１行目の全画素データの次に第２行目の全画素データが１ライン上の配置されるようなインターリーブであってもよい。複数のライン分を１ラインの画素データ列にまとめることによって、画像処理装置とメモリ間のデータ転送効率を向上させることができるからである。

本発明は、メモリに保持されたピクチャに対する画像処理をする画像処理装置等として、例えば、動画像の圧縮・符号化を行う画像符号化装置、圧縮動画像の伸張・復号化を行う画像復号化装置等として、特に、ＨＤ映像等の高解像度の映像を処理するビデオ装置に使用される画像処理用ＬＳＩ等として、利用することができる。

本発明の実施の形態における画像符号化装置の構成を示す機能ブロック図である。 ラインインターリーブにおける画素データの並びを示す図である。 色差インターリーブされた色差画素の画素データのメモリ配置図である。 図３に示されたメモリ配置におけるデータ転送のタイミングを示す図である。 色差・ラインインターリーブされた色差画素の画素データのメモリ配置図である。 図５に示されたメモリ配置におけるデータ転送のタイミングを示す図である。 色差・ラインインターリーブを行う画像符号化装置によるＤＤＲ−ＤＲＡＭ１０１へのアクセス速度の具体例を示す図である。 本発明の実施の形態における画像復号化装置の構成を示す機能ブロック図である。 本発明に係る画像処理装置の構成を示すブロック図である。 ラインインターリーブの別の例を示す図である。 従来の画像符号化装置の構成を示すブロック図である。 従来技術において参照色差画素の画素データをＤＤＲ−ＤＲＡＭから読み出す際の読み出し位置を示す図である。 図１２で示された読み出し部分をＤＤＲ−ＤＲＡＭから読み出す際の従来技術におけるタイミングを示す図である。 従来の画像符号化装置によるＤＤＲ−ＤＲＡＭへのアクセス速度の具体例を示す図である。

符号の説明

１０１、３０１、４０１ ＤＤＲ−ＤＲＡＭ
１０２、３０２、４０５ メモリ制御部
１０５ 動き検出用内部メモリ
１０６ 動き検出部
１０８ 輝度動き補償符号化・復号処理部
１０９ 色差動き補償符号化・復号処理部
１１２ 可変長符号化部
１１３ 符号化出力部
２００ 画像符号化装置
２０４ 参照輝度画素入力部
２０４ａ、２０７ａ、３０４ａ、３０７ａ、４０４ａ デインターリーブ部
２０７ 参照色差画素入力部
２１０ 復号輝度画素出力部
２１０ａ、２１１ａ、３１０ａ、３１１ａ、４０３ａ インターリーブ部
２１１ 復号色差画素出力部
３００ 画像復号化装置
３０３ 符号化データ入力部
３０４ 参照輝度画素入力部
３０６ 動きベクトル切り出し部
３０７ 参照色差画素入力部
３０８ 輝度復号・動き補償処理部
３０９ 色差復号・動き補償処理部
３１０ 復号輝度画素出力部
３１１ 復号色差画素出力部
４００ 画像処理装置
４０２ 画像演算部
４０３ 画素出力部
４０４ 画素入力部

Claims (14)

1. メモリに接続され、前記メモリに保持されたピクチャに対する画像処理をする画像処理装置であって、
   垂直方向に並ぶｐ（ｐは２以上の自然数）ライン及び水平方向に並ぶｑ（ｑは自然数）画素からなるｐ×ｑ画素単位又はその複数単位で前記メモリに画素データを書き込む画素出力手段と、
   ｐ×ｑ画素単位又はその複数単位で前記メモリから画素データを読み出す画素入力手段とを備え、
   前記画素出力手段は、前記メモリに書き込むｐ×ｑ画素の画素データについて、前記ｐラインの画素データをインターリーブすることによって、前記ｐラインのそれぞれのラインに位置する画素データが１ライン上に交互に並ぶような画素データ列を生成するインターリーブ部を有する
   ことを特徴とする画像処理装置。
2. 前記画像処理装置はさらに、
   前記画素入力手段によって読み出された画素データを参照することによって前記ピクチャにおける画像の動きを検出し、検出した動きを利用して前記ピクチャを符号化する符号化手段と、
   符号化された前記ピクチャを復号化する復号化手段とを備え、
   前記画素出力手段は、前記復号化手段によって復号化されたピクチャの画素データを前記メモリに書き込み、
   前記画素入力手段は、前記画素出力手段によって書き込まれた画素データを前記メモリから読み出す
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記画像処理装置はさらに、
   符号化されたピクチャを取得し、取得したピクチャを、前記画素入力手段によって読み出された画素データを参照して復号化する復号化手段を備え、
   前記画素出力手段は、前記復号化手段によって復号化されたピクチャの画素データを前記メモリに書き込み、
   前記画素入力手段は、前記画素出力手段によって書き込まれた画素データを前記メモリから読み出す
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記ピクチャには、第１及び第２色差画像が含まれ、
   前記インターリーブ部は、前記第１及び第２色差画像のｐ×ｑ画素の画素データについて、前記ｐラインの画素データをインターリーブするとともに、前記第１及び第２色差画像の画素データをインターリーブすることによって、前記第１色差画像の画素データと第２色差画像の画素データとが１ライン上に交互に並び、かつ、各色差画像においては前記ｐラインのそれぞれのラインに位置する画素データが１ライン上に交互に並ぶような画素データ列を生成する
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記画像処理装置はさらに、
   前記ピクチャにおける画像の動きを検出し、検出した動きを利用して前記ピクチャを符号化する符号化手段と、
   符号化された前記ピクチャを復号化する復号化手段とを備え、
   前記画素出力手段は、前記復号化手段によって復号化された第１及び第２色差画像の画素データを前記メモリに書き込み、
   前記画素入力手段は、前記画素出力手段によって書き込まれた画素データを前記メモリから読み出し、
   前記符号化手段は、前記画素入力手段によって読み出された画素データを参照して前記ピクチャを符号化する
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記画像処理装置はさらに、
   符号化されたピクチャを取得し、取得したピクチャを、前記画素入力手段によって読み出された画素データを参照して復号化する復号化手段を備え、
   前記画素出力手段は、前記復号化手段によって復号化された第１及び第２色差画像の画素データを前記メモリに書き込み、
   前記画素入力手段は、前記画素出力手段によって書き込まれた画素データを前記メモリから読み出す
   ことを特徴とする請求項４記載の画像処理装置。
7. 前記ｐは、２のべき乗値である
   ことを特徴とする請求項１記載の画像処理装置。
8. メモリに接続され、前記メモリに保持されたピクチャに対する画像処理をする画像処理装置であって、
   垂直方向に並ぶｐ（ｐは２以上の自然数）ライン及び水平方向に並ぶｑ（ｑは自然数）画素からなるｐ×ｑ画素単位又はその複数単位で前記メモリに画素データを書き込む画素出力手段と、
   ｐ×ｑ画素単位又はその複数単位で前記メモリから画素データを読み出す画素入力手段とを備え、
   前記ピクチャには、第１及び第２色差画像が含まれ、
   前記画素出力手段は、前記メモリに書き込む第１及び第２色差画像のｐ×ｑ画素の画素データについて、前記第１及び第２色差画像の画素データをインターリーブすることによって、前記第１色差画像の画素データと第２色差画像の画素データとが１ライン上に交互に並ぶような画素データ列を生成するインターリーブ部を有する
   ことを特徴とする画像処理装置。
9. 前記画像処理装置はさらに、
   前記ピクチャにおける画像の動きを検出し、検出した動きを利用して前記ピクチャを符号化する符号化手段と、
   符号化された前記ピクチャを復号化する復号化手段とを備え、
   前記画素出力手段は、前記復号化手段によって復号化された第１及び第２色差画像の画素データを前記メモリに書き込み、
   前記画素入力手段は、前記画素出力手段によって書き込まれた画素データを前記メモリから読み出し、
   前記符号化手段は、前記画素入力手段によって読み出された画素データを参照して前記ピクチャを符号化する
   ことを特徴とする請求項８記載の画像処理装置。
10. 前記画像処理装置はさらに、
    符号化されたピクチャを取得し、取得したピクチャを、前記画素入力手段によって読み出された画素データを参照して復号化する復号化手段を備え、
    前記画素出力手段は、前記復号化手段によって復号化された第１及び第２色差画像の画素データを前記メモリに書き込み、
    前記画素入力手段は、前記画素出力手段によって書き込まれた画素データを前記メモリから読み出す
    ことを特徴とする請求項８記載の画像処理装置。
11. メモリに保持されたピクチャに対する画像処理をするための画像処理方法であって、
    垂直方向に並ぶｐ（ｐは２以上の自然数）ライン及び水平方向に並ぶｑ（ｑは自然数）画素からなるｐ×ｑ画素単位又はその複数単位で前記メモリに画素データを書き込む画素出力ステップと、
    ｐ×ｑ画素単位又はその複数単位で前記メモリから画素データを読み出す画素入力ステップとを含み、
    前記画素出力ステップは、前記メモリに書き込むｐ×ｑ画素の画素データについて、前記ｐラインの画素データをインターリーブすることによって、前記ｐラインのそれぞれのラインに位置する画素データが１ライン上に交互に並ぶような画素データ列を生成するインターリーブサブステップを含む
    ことを特徴とする画像処理方法。
12. 前記ピクチャには、第１及び第２色差画像が含まれ、
    前記インターリーブサブステップでは、前記第１及び第２色差画像のｐ×ｑ画素の画素データについて、それぞれ、前記ｐラインの画素データをインターリーブするとともに、前記第１及び第２色差画像の画素データをインターリーブすることによって、前記第１色差画像の画素データと第２色差画像の画素データとが１ライン上に交互に並び、かつ、各色差画像においては前記ｐラインのそれぞれのラインに位置する画素データが１ライン上に交互に並ぶような画素データ列を生成する
    ことを特徴とする請求項１１記載の画像処理方法。
13. メモリに保持されたピクチャに対する画像処理をするための画像処理方法であって、
    垂直方向に並ぶｐ（ｐは２以上の自然数）ライン及び水平方向に並ぶｑ（ｑは自然数）画素からなるｐ×ｑ画素単位又はその複数単位で前記メモリに画素データを書き込む画素出力ステップと、
    ｐ×ｑ画素単位又はその複数単位で前記メモリから画素データを読み出す画素入力ステップとを含み、
    前記ピクチャには、第１及び第２色差画像が含まれ、
    前記画素出力ステップは、前記メモリに書き込む第１及び第２色差画像のｐ×ｑ画素の画素データについて、前記第１及び第２色差画像の画素データをインターリーブすることによって、前記第１色差画像の画素データと第２色差画像の画素データとが１ライン上に交互に並ぶような画素データ列を生成するインターリーブサブステップを含む
    ことを特徴とする画像処理方法。
14. メモリに保持されたピクチャに対する画像処理をするためのプログラムであって、
    請求項１１〜１３のいずれか１項に記載の画像処理方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。

Images