JP2006287583A

JP2006287583A - 画像データ領域取得補間回路

Info

Publication number: JP2006287583A
Application number: JP2005104349A
Authority: JP
Inventors: Takao Yamabe; 孝朗山辺
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2005-03-31
Filing date: 2005-03-31
Publication date: 2006-10-19

Abstract

【課題】動き補償における画像データの取得処理において、参照ピクチャ領域外仮想範囲を拡張する際、転送負荷を軽減し、復号処理の高速化、参照画像の小容量化を図ることができる画像データ領域取得補間回路を提供する。
【解決手段】先頭アドレス発生器３３１で生成した先頭アドレスを先頭アドレス修正器３３２でデータバス３５のバス幅に従い修正し、アドレス生成器３３３で参照ピクチャメモリ３２１から参照画像データを取得するためのアドレスを生成して参照ピクチャメモリ３２１に供給するとともに参照画像データが参照ピクチャ領域外画像データを含むか否かを示す画像領域情報を生成し、参照画像データメモリ３３５は参照ピクチャメモリ３２１から入力された参照画像データを蓄積し、参照画像データ補間器３３４は画像領域情報に基づいて参照画像データメモリ３３５において参照画像データを補間する。
【選択図】図１

Description

本発明は、動画像符号化データを動き補償により復号する復号処理における参照画像データの取得及び補間を行う画像データ領域取得補間回路に関する。

従来、動画像データを情報圧縮する際、画像を形成するピクチャ内の単位領域を基準にした時間的な変化量や移動方向を用いた動き補償が利用されている。動き補償は動画像の特徴に挙げられる時間的に前後するピクチャの差が少ないことや、動く物体などの移動する画素と背景などの固定している画素とが分かれていることなどを利用し、画素データの情報量を削減する手法の一つである。

動き補償はピクチャ内の単位領域（一般的にマクロブロックと呼ぶ。以下マクロブロックとして表現する）を前ピクチャのある限られた探索範囲の中から、最も近似する範囲を探索し、その移動方向と距離（動きベクトル）を検出すると共に、元となるマクロブロックと探索した範囲との画素毎の差分を取り、その差分を情報化することで行われる。

探索される範囲は画素単位ではなく、符号化方式により１／２画素または１／４画素などが許されている。また、実際の参照ピクチャ領域の範囲外に仮想ピクチャ領域を拡張し、参照ピクチャ領域外も含む探索範囲を考慮した方式も存在する。参照ピクチャ領域外の画素成分は最外周の画素によって補間されるのが一般的である。この様子を図１１に示す。

図１１は参照ピクチャ領域外仮想範囲の画素拡張方法の一例を示す図である。参照ピクチャ領域の右上隅に位置する参照画像領域２０に対して、参照ピクチャ領域外仮想範囲の拡張領域２８は参照画像領域２０の上端列の画素２１〜２４をコピーしたものであり、拡張領域２９は右上隅の画素２４をコピーしたものであり、拡張領域３０は右端列の画素２４〜２７をコピーしたものである。

前述のように、動きベクトルは実際の参照ピクチャ領域を超えるものもある。このような場合に備え、予め参照ピクチャは参照ピクチャ領域外仮想範囲を設け、動きベクトル情報から算出される参照画像領域を指し示すメモリ上のアドレスについても、参照ピクチャ領域外仮想範囲を加味し生成することになる。

ところが参照ピクチャ領域外仮想範囲は、本来の参照ピクチャ領域の最外周画素の拡張であるにも係わらず、非常に大きなメモリ領域を消費してしまうという弊害があった。

そこで、これを解消する技術として特許文献１が開示されている。特許文献１に開示された技術は、動きベクトルによって指定された参照画像領域が参照ピクチャ領域外の仮想領域を含む場合、通常の２次元アドレスを生成するアドレス制御部において領域外画素を得るとき、補間されるべき最外周画素のアドレスになるように変換することによって拡張領域（仮想領域）を取得するものである。この結果、冗長部分であったピクチャ外仮想領域をメモリ上に確保する必要がないため、メモリ領域の削減が達成される。
ＷＯ００／３６８４１号公報

最新の画像圧縮符号化方式は動きベクトルの精度を高めており、実際の画素を予測画像データとして用いる一方、この画素グループを用いて１／２画素または１／４画素を予測画素データとして参照することが多い。

一般的にデータ量が非常に大きい画像データは信号処理部とは別の外部メモリに配置されており、高速に画像圧縮伸張処理を行うには外部とのデータのやり取りを極力減らす必要がある。動き補償において予測画像を生成する上で、必要領域を内部記録領域に転送後、計算によって作り出す方が処理スピードは向上する。

また、画像圧縮伸張処理回路の信号処理部にはＣＰＵやＤＳＰ、ＬＳＩ等が利用されるが、これらのデバイスは外部とのデータバスがデジタル化された画素の量子化ビット幅８ビットの整数倍であることが多い。１６ビット、３２ビット、６４ビットがよくあるデータバス幅であり、これはちょうど、それぞれ画素２個分、４個分、８個分に相当する。データバスの転送速度を向上するには、外部メモリへのアクセス単位をこのデータバス幅に揃えると良い。

このような観点で考えると、特許文献１に開示された技術は、予測画像を得るために外部メモリに対して何度もアクセスしなくてはならず、非常に転送負荷がかかっていた。また、８ビット（１画素）単位でアクセスするため、データ転送効率が上がらず、同じく処理速度の低下を招くという問題があった。

本発明は上述のような課題に鑑みてなされたもので、その目的は、動き補償における画像データの取得処理において、参照ピクチャ領域外仮想範囲を拡張する際、転送負荷を軽減し、復号処理の高速化、参照画像の小容量化を図ることができる画像データ領域取得補間回路を提供することにある。

本発明の画像データ領域取得補間回路は、現ピクチャ内のマクロブロックの動きベクトルから現ピクチャと前後する参照ピクチャの領域外を含む画像データを予測画像とすることが可能な動画像符号化方式により動き補償を用いて生成した動画像符号化データを、動き補償により復号する復号処理における参照画像データの取得及び補間を行う画像データ領域取得補間回路であって、前記動きベクトルに基づいて、前記参照ピクチャを格納している参照ピクチャメモリの前記参照ピクチャの領域外を含む探索範囲内の参照画像領域を指定する先頭アドレスを生成する先頭アドレス発生手段と、前記参照ピクチャメモリがデータの送受信を行うデータバスのバス幅に応じて前記先頭アドレスを修正する先頭アドレス修正手段と、前記動きベクトルに付随する情報によって与えられる前記参照画像領域のブロックパターン情報に基づいて伝送データサイズを決定し、前記参照ピクチャメモリから前記参照画像データを取得するためのアドレスを生成して前記参照ピクチャメモリに供給するとともに、前記参照画像データが参照ピクチャ領域外画像データを含むか否かを示す画像領域情報を生成するアドレス生成手段と、前記参照ピクチャメモリからの前記参照画像データを一時的に蓄積する参照画像データ蓄積手段と、前記参照画像データが前記参照ピクチャ領域外画像データを含むことを前記画像領域情報が示す場合、前記参照画像データ蓄積手段に蓄積された前記参照画像データを前記参照ピクチャの最外周の画素を拡張することにより補間する参照画像データ補間手段とを備えたことを特徴とする。

また、本発明の画像データ領域取得補間回路は、前記参照ピクチャメモリに配置される前記参照ピクチャは、前記参照ピクチャ領域外画像データを含まず、かつ前記参照ピクチャ領域の前後に前記参照ピクチャ領域外画像データの必要領域分を予め確保したアドレス上に記録され蓄積されていることを特徴とする。

本発明の画像データ領域取得補間回路によれば、現ピクチャ内のマクロブロックの動きベクトルから現ピクチャと前後する参照ピクチャの領域外を含む画像データを予測画像として用いる際、動きベクトルに基づいて先頭アドレスを生成し、参照ピクチャメモリがデータの送受信を行うデータバスのバス幅に従い先頭アドレスを修正し、参照画像のブロックパターン情報に基づいて伝送データサイズを決定し参照ピクチャメモリから参照画像データを取得するためのアドレスを生成して参照ピクチャメモリに供給するとともに、参照画像データが参照ピクチャ領域外画像データを含むか否かを示す画像領域情報を生成し、参照ピクチャメモリから入力された参照画像データを参照画像データ蓄積手段に蓄積し、画像領域情報に基づいて、参照画像データ蓄積手段において参照画像データを参照ピクチャの最外周の画素を拡張して補間するので、参照ピクチャ領域内、領域外を問わず、共通の処理によって必要な参照画像領域を高速に取得することができ、取得した参照画像の属性から必要に応じて画像拡張領域を簡易な方法で補間し、復号処理の高速化、参照画像の小容量化を図ることができる。

以下、本発明の画像データ領域取得補間回路を実施するための最良の形態について図面を参照して説明する。図１は本発明の一実施の形態の画像データ領域取得補間回路の構成を示すブロック図である。動き補償によってマクロブロック単位の予測画像を参照画像から取得する画像データ領域取得と、必要に応じて拡張領域を補間する画像データの領域補間とを行う。

図１に示すように、本実施の形態の画像データ領域取得補間回路３３は、現マクロブロックの動きベクトルに基づいて参照ピクチャ内の先頭アドレスを生成する先頭アドレス発生器３３１と、データバス３５のバス幅に従い先頭アドレスを修正する先頭アドレス修正器３３２と、参照画像のブロックパターン情報に基づいて伝送データサイズを決定し、参照画像データを取得するためのアドレスを生成して参照ピクチャメモリ３２１に供給するとともに、参照画像データが参照ピクチャ領域外画像データを含むか否かを示す画像領域情報を生成して参照画像データ補間器３３４に供給するアドレス生成器３３３と、参照ピクチャメモリ３２１から入力された前記参照画像データを一時的に蓄積する参照画像データメモリ３３５と、アドレス生成器３３３から入力された画像領域情報に基づいて参照画像データメモリ３３５に蓄積された参照画像データを補間する参照画像データ補間器３３４とを備える。

画像データ領域取得補間回路３３は画像復号装置の信号処理部３１の中に構成されている。なお、画像符号化装置の全体構成は省略する。

また、アドレス生成器３３３は外部メモリ３２中の参照ピクチャメモリ３２１とアドレスバス３４を介して結合されており、参照画像データメモリ３３５は参照ピクチャメモリ３２１とデータバス３５を介して結合されている。

一般に画像データは非常に大きいものであり、通常のＮＴＳＣ（ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎＳｔａｎｄａｒｄＣｏｍｍｉｔｔｅｅ）におけるテレビ放送をデジタル画像として記録する場合、その１ピクチャ分の画素データ量は、輝度信号の割合４、式差信号の割合１とした画像フォーマット（４：２：０）とすると、
輝度信号：（１ラインの画素数）７２０×（走査線）４８０
式差信号：（１ラインの画素数）７２０×（走査線）４８０×２（ＵとＶ）／４（割合）
の合計５１８４００画素になり、約５００ｋＢにもなる。

参照ピクチャが１枚であれば上記の値のままであるが、双方向予測（Ｂピクチャ）やマルチ参照ピクチャが可能な符号化方式の場合、さらに何倍かの参照ピクチャ保存領域が必要であり、必然的に主たる信号処理部３１とは別の外部メモリ３２に配置されることになる。信号処理部３１と別の外部メモリ３２とは並列データ転送が可能なあるビット幅を持ったアドレスバス３４及びデータバス３５によって結合されている。

ここで、本実施の形態の画像データ領域取得補間回路３３の動作を説明する。

まず、先頭アドレス発生器３３１は、予測画像の最小単位である領域（マクロブロックまたはサブマクロブロックとも呼ばれる）に付加された動きベクトル情報から、参照ピクチャメモリ３２１上に展開された現フレームと前後する参照ピクチャ内の画像領域の左上画素を示す先頭アドレスを生成する。

一般に画像データは２次元であるため、メモリのような記憶装置に記録する場合、２次元の画像データをライン順に１次元に変換して配置する。マクロブロックのような２次元の領域はライン単位に配置され、それぞれ１ラインの画素数をオフセットとしてメモリ上には等間隔で並べられることになる。

図２（ａ）は２次元画像領域を示す図、図２（ｂ）は２次元画像領域の１次元メモリへの展開の様子を示す図である。外部メモリ３２のデータバス幅が４画素分の３２ビットの場合、１６×１６画素のマクロブロックは外部メモリ３２上に図２（ｂ）に示すように展開される。先頭アドレスは参照画像領域の最初の画素を指し示している。

さらに、マクロブロックのタイプには輝度信号と式差信号とでサイズが異なったり、符号化方式によって正方形や長方形の領域を許容したり、または１／２画素や１／４画素を得るためフィルタ処理を施すための周辺画素を必要としたりと様々である。したがって、予め先頭アドレスは必要領域分確保する必要があり、これら周辺領域を考慮しておく必要がある。

図３は参照画像周辺領域を考慮して変更した先頭アドレスを示す図である。１／４画素を得るためにフィルタ演算に必要な上下左右に２画素分確保した参照画像領域の１例を示し、先頭アドレスは動きベクトルが指し示す参照画像領域左上の画素から２画素だけ左、２ラインだけ上の位置へ移動することになる。これら周辺画素の個数は動画像符号化方式に依存している。

次に、先頭アドレス修正器３３２は、データバス幅情報によりデータ転送効率を最適化するため、先頭アドレスを修正する。例えば図２（ｂ）に示した例のようにデータバス幅が３２ビット、つまり４バイト＝４画素分の場合、先頭アドレスが４で割り切れる数値であればデータバス幅と一致し、信号処理部３１を構成するデバイス（ＣＰＵ、ＤＳＰ、ＬＳＩなど）のメモリアクセス方式が多数ビット幅アクセスをサポートするならば、４倍の効率でもってメモリ転送を行うことができる。

先頭アドレスが４で割り切れない場合は、転送効率を向上するため、先頭アドレスを４で割り切れる値へ変換することによって、上記同様、４倍の効率でメモリ転送が可能になる。図４（ａ）は拡大した画像転送領域を示す図、図４（ｂ）は拡大した画像転送領域の外部メモリ上の配置を示す図である。画像転送領域を２０画素×１６ラインに拡大し、先頭アドレスを修正することにより、アクセス単位を拡大して転送効率を向上する。画素単位でメモリアクセスする場合の１６回と比較して５回（１回で４バイト取得）に削減することができ、高速なデータ転送を行うことができる。

続いて、アドレス生成器３３３は、実際のメモリアクセスのためのアドレスを生成し、アドレスバス３４を介して参照ピクチャメモリ３２１へ出力する。ブロックタイプによってライン毎の転送量が変化し、また先頭アドレスを修正した場合は、正しく必要な領域が得られるよう同じくライン毎の転送量を変化させる必要があり、アドレス生成器３３３において、これらライン毎の転送量を制御している。実際のメモリ上では図４（ｂ）に示したライン１〜１６の範囲を順次指し示すようなアドレスを生成することになる。但しアクセス単位はデータバス幅と合致するアドレス単位となる。

また、アドレス生成器３３３は、参照画像データが参照ピクチャ領域外画像データを含むか否かを示す画像領域情報を生成し、参照画像データ補間器３３４に出力する。

参照ピクチャメモリ３２１は指定されたアドレスにより画像データを確定し、データバス３５を介して信号処理部３１内の参照画像データメモリ３３５へ伝送する。

参照画像データメモリ３３５は一時的に画像データを保存する内部メモリに相当する。なお、この部分はデータキャッシュでも良い。

参照画像データ補間器３３４では、指定された参照画像領域が実際の参照ピクチャ領域内か領域外かをアドレス生成器３３３から送られてくる画像領域情報に従い判定し、参照領域外であれば、例えば図１０に示したような所定の法則により拡張領域を補間する。参照ピクチャ領域内であれば補間処理は必要なく、参照画像データは参照画像データメモリ３３５内のデータのままとなる。

これ以降、１／２画素、１／４画素の作成や予測画像と予測差分値による画像データの生成に、上記で得られた参照画像データが使用される。

次に、画像データ領域取得補間回路３３の各々のブロックについて、図５乃至図７に基づいてさらに詳しく説明する。図５は参照ピクチャ領域外に参照画像領域が含まれる場合の修正先頭アドレスの位置と有効画素、無効画素の領域を示す図、図６は先頭アドレスと参照ピクチャ領域外仮想範囲との関係を示す図、図７（ａ）は参照画像の有効画素、無効画素を示す図、図７（ｂ）は参照画像の有効画素、無効画素の外部メモリ上の配置を示す図である。

例として挙げるのは、ＭＰＥＧ−４ＡＶＣ（ＭＰＥＧ−４Ｐａｒｔ１０：ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）等で用いられる輝度信号における参照画像領域取得の様子であり、ＭＰＥＧ−４ＡＶＣでは１／２画素や１／４画素を求めるためにフィルタリング処理を施すことから、動きベクトルによって与えられる画像領域の外側にフィルタ演算用画素が必要である（図３）。

また、参照画像は参照ピクチャ領域外を含む参照画像領域を取得する場合を想定する。参照ピクチャ領域内の例は上記の説明で述べているため、ここでは省略する。

ピクチャサイズは７２０×４８０画素、基準となるマクロブロックサイズは１６×１６画素とし、フィルタ演算用参照画像領域外画素数は上下左右２画素として仮定する。使用する信号処理部３１と外部メモリ３２とを結合するデータバス３５のデータバス幅は３２ビットである。図５に示した現マクロブロック３６を対象とする。

現マクロブロック３６の位置は左上座標（６８８，１６）で表現される。参照画像領域３７を指し示す現マクロブロック３６に与えられた動きベクトルは（２８，−８）である。実際の転送領域である、参照画像領域３７の上下左右にそれぞれ２画素分を確保した２０画素×２０画素が必要領域になる。

まず、先頭アドレス発生器３３１は動きベクトル情報（２８，−８）から、参照ピクチャの参照画像領域３７の左上画素（７１６，８）を取得することができる。さらにブロックパターン情報から実際に必要とされる画像領域（２０×２０画素）の詳細が判明し、先に求めた先頭アドレスからフィルタ演算用画素数分を考慮し、先頭アドレス（７１４，６）を付け替える。

次に、先頭アドレス修正器３３２にてデータバス幅情報からデータ転送最適化を図るメモリアクセス単位を取得し、先頭アドレスを修正する。先頭アドレス発生器３３１で得た先頭アドレスはアクセス単位３２ビット（４画素）の条件に合致しないため、さらに先頭アドレスの修正が行われ、修正後の先頭アドレスは（７１２，６）に変わる。

これまではピクチャ上の座標点（２次元）で先頭アドレスを表現してきたが、始めから１次元のアドレスを割り当てても構わない。次に２次元から１次元への変換を説明する。

参照ピクチャ左上の画素を基準アドレスとし、ここではＰａと表現する。任意の画素のアドレスＡは座標点が（ｘ，ｙ）ならば、以下の式により簡単に求めることができる。

Ａ＝Ｐａ＋（７２０×ｙ）＋ｘ（数式１）
１ラインが７２０画素なので、２ライン目の一番左の画素（０，１）のアドレスはＡ＝Ｐａ＋７２０である。同様にして、前記の例では修正後の先頭アドレスの座標点が（７１２，６）であるので、参照ピクチャメモリ３２１上のアドレスＡはＡ＝Ｐａ＋５０３２となる。

ここで注意しなければならないのは、参照ピクチャメモリ３２１上に実際には存在しない参照ピクチャ領域外の仮想範囲に対しアクセスすることである。まず、取得する参照画像領域の中に参照ピクチャ領域外仮想範囲が含まれるか否かを判定する必要がある。判定する方法を説明する。まず、参照ピクチャ領域内で先頭アドレスの位置を検出する。そして、図６に網目模様で示した範囲（７００×４６０）内に先頭アドレスが存在していれば、参照ピクチャ領域内に参照画像が完全に含まれることになるので、参照画像領域の中に参照ピクチャ領域外仮想範囲が含まれることはない。

次に、非存在画素に対してアクセスする問題であるが、実際に参照ピクチャメモリ３２１上にアクセスする部分は、図７（ｂ）に示すように、実は取得する有効画素の前後の画素が記録されている。図７（ｂ）に示す無効画素領域は次ラインの左端から始まる１２画素分に相当している。したがって参照ピクチャ領域外の仮想範囲から参照画像領域３７を取得する行為、言い換えれば参照ピクチャメモリ３２１上に記録されている無効画素データを読み取る行為は、なんら他の部分に影響を与える事はなく、いわゆる空読みをしているだけである。

これら無効画素領域は後述の参照画像データ補間器３３４にて、正しい拡張領域用画素データに書き換えられることになる。座標上、参照ピクチャ領域の左側と上側に位置する仮想範囲は座標点を負の値で表すことで、（数式１）で示した２次元から１次元への変換式をそのまま用いることができ、参照画像が参照ピクチャ領域内、領域外を意識することなく、外部メモリ３２から参照画像データメモリ３３５へ必要領域をブロックサイズに応じた転送サイズ分転送すればよい。

参照画像データメモリ３３５へ転送された参照画像データは図７（ａ）に示す領域２４画素×２０ラインの状態で記録されている。最後に参照画像データ補間器３３４によって無効画素を拡張領域画素データに書き換える。有効画素領域情報はアドレス生成器３３３から取得する。有効画像領域右端の画素を右方向へ拡張することで、参照画像データを補間する。既に内部メモリに参照画像が配置されているため、外部メモリ３２より高速に画像データの補間を行うことができる。

また、本来の画素データではない仮想領域を含む参照画像領域が予測画像として用いられる可能性は、ピクチャの状態にもよるが極めて低いものである。本発明のように必要なときに必要なだけ参照ピクチャ領域外画像データを補間することで、拡張処理を最小限の負荷に抑えることができる。

次に、外部メモリ３２における参照ピクチャの配置の仕方について説明する。参照ピクチャ領域外拡張範囲の画素データは保持しないことを既に述べたが、メモリアクセスの際の無効画素データを取得する空読み分データ領域が必要となる。この空読みするアドレスは、実際のメモリ上に存在するアドレス空間に無くてはならない。

図８は外部メモリ上における参照ピクチャの配置方法の一例を示す図である。複数ある参照ピクチャは連続して配置されてもよいがメモリ空間の内、最初の参照ピクチャ４１の前と最後の参照ピクチャ４３の後に参照ピクチャ領域外仮想範囲分の画素データが収まる空間（空読み用保護エリア）を確保しておく。

仮想範囲の画素を上下左右それぞれ２０画素とすれば、確保するメモリ空間は２０×（１ライン分の画素数）＋２０で求めることができる。ここで、１ライン分の画素数は水平画素数に加えて、左右の参照ピクチャ領域外仮想範囲の画素数、計４０個を含む値である。それらの空間には、他の信号処理で使用する係数や初期化用データを配置すれば、メモリ領域を節約できる。

また、前後する参照ピクチャ同士で仮想範囲を重複する形に配置しても弊害は無く、メモリ空間の有効活用ができる。

このように、本実施の形態によれば、外部メモリ３２にある参照ピクチャからの参照画像データを取得する際、データバス３５のデータバス幅を考慮したアドレス修正を加えたメモリアクセスによってデータ転送効率を向上し、参照画像データメモリ３３５上での拡張領域補間処理によって外部メモリ３２へのアクセスをデータ転送にまつわる種類のみに削減したため、アクセス回数の減少、参照ピクチャ領域内外を問わないアドレス生成による画像データ取得の結果、画像復号処理の簡潔化を図ることができ、復号処理の高速化やメモリ領域削減による低コスト化を達成することができる。

なお、上記説明では画像復号装置における参照画像取得処理及び拡張処理を図１に示すような信号処理部３１によって行っていたが、コンピュータ等で扱われるソフトウェアプログラムで実現しても良い。この場合について、図９及び図１０に基づいて説明する。図９はソフトウェアプログラムによって画像データ領域取得補間処理を実行する画像データ領域取得補間回路の構成を示すブロック図、図１０は画像データ領域取得補間処理プログラムを示すフローチャートである。

図９に示すように、画像データ領域取得補間回路５１は、ＲＯＭ５４に記録されているプログラムに従って各種の処理を実行する信号処理部５２と、外部メモリ５３と、図１０に示すフローチャートがプログラムとして記録されているＲＯＭ５４とからなる。外部メモリ５３は参照ピクチャを蓄積する参照ピクチャメモリ５３１を有し、信号処理部５２は参照ピクチャメモリ５３１から入力された前記参照画像データを一時的に蓄積する参照画像データメモリ５２１を有する。

次に、画像データ領域取得補間回路５１の動作を説明する。図１０に示すフローチャートのように、まずステップＳ１０では、信号処理部５２は現マクロブロックに付加された動きベクトル、ブロックパターン情報及びデータバス幅情報を取得及び解読する。

次いで、ステップＳ２０では、信号処理部５２はステップＳ１０で取得した動きベクトル情報とブロックパターン情報とから先頭アドレスを生成し、データバス幅情報によりデータ転送効率を最適化するように先頭アドレスを修正する。そしてブロックパターン情報と先頭アドレスを用いてメモリアクセス用アドレスを生成する。

次いで、ステップＳ３０では、信号処理部５２は参照ピクチャメモリ５３１からステップＳ２０で生成したアドレスを用いて参照画像データを取得し、参照画像データメモリ５２１に一旦保存する。

そして、ステップＳ４０では、信号処理部５２は取得した参照画像データが参照ピクチャ領域外仮想範囲を含むか否かを判定する。判定の結果含まれていない（ＮＯ）場合は既に取得した参照画像データはそのまま以後の処理に利用する。一方、参照ピクチャ領域外仮想範囲を含む（ＹＥＳ）場合は、ステップＳ５０において、信号処理部５２は参照ピクチャ領域外データを参照ピクチャ領域内データの最外周画素を拡張することにより補間する。アドレス生成方法及び仮想範囲画素データの拡張方法は、前述の具体例に準ずる。

本発明の一実施の形態の画像データ領域取得補間回路の構成を示すブロック図である。（ａ）は２次元画像領域を示す図、（ｂ）は２次元画像領域の１次元メモリへの展開の様子を示す図である。参照画像周辺領域を考慮して変更した先頭アドレスを示す図である。（ａ）は拡大した画像転送領域を示す図、（ｂ）は拡大した画像転送領域の外部メモリ上の配置を示す図である。参照ピクチャ領域外に参照画像領域が含まれる場合の修正先頭アドレスの位置と有効画素、無効画素の領域を示す図である。先頭アドレスと参照ピクチャ領域外仮想範囲との関係を示す図である。（ａ）は参照画像の有効画素、無効画素を示す図、（ｂ）は参照画像の有効画素、無効画素の外部メモリ上の配置を示す図である。外部メモリ上における参照ピクチャの配置方法の一例を示す図である。ソフトウェアプログラムによって画像データ領域取得補間処理を実行する画像データ領域取得補間回路の構成を示すブロック図である。画像データ領域取得補間処理プログラムを示すフローチャートである。参照ピクチャ領域外仮想範囲の画素拡張方法の一例を示す図である。

符号の説明

３１，５２信号処理部
３２，５３外部メモリ
３２１，５３１参照ピクチャメモリ
３３，５１画像データ領域取得補間回路
３３１先頭アドレス発生器
３３２先頭アドレス修正器
３３３アドレス生成器
３３４参照画像データ補間器
３３５，５２１参照画像データメモリ
３４アドレスバス
３５データバス
３６現マクロブロック
３７参照画像領域
４１〜４３参照ピクチャ
５４ＲＯＭ

Claims

現ピクチャ内のマクロブロックの動きベクトルから現ピクチャと前後する参照ピクチャの領域外を含む画像データを予測画像とすることが可能な動画像符号化方式により動き補償を用いて生成した動画像符号化データを、動き補償により復号する復号処理における参照画像データの取得及び補間を行う画像データ領域取得補間回路であって、
前記動きベクトルに基づいて、前記参照ピクチャを格納している参照ピクチャメモリの前記参照ピクチャの領域外を含む探索範囲内の参照画像領域を指定する先頭アドレスを生成する先頭アドレス発生手段と、
前記参照ピクチャメモリがデータの送受信を行うデータバスのバス幅に応じて前記先頭アドレスを修正する先頭アドレス修正手段と、
前記動きベクトルに付随する情報によって与えられる前記参照画像領域のブロックパターン情報に基づいて伝送データサイズを決定し、前記参照ピクチャメモリから前記参照画像データを取得するためのアドレスを生成して前記参照ピクチャメモリに供給するとともに、前記参照画像データが参照ピクチャ領域外画像データを含むか否かを示す画像領域情報を生成するアドレス生成手段と、
前記参照ピクチャメモリからの前記参照画像データを一時的に蓄積する参照画像データ蓄積手段と、
前記参照画像データが前記参照ピクチャ領域外画像データを含むことを前記画像領域情報が示す場合、前記参照画像データ蓄積手段に蓄積された前記参照画像データを前記参照ピクチャの最外周の画素を拡張することにより補間する参照画像データ補間手段と
を備えたことを特徴とする画像データ領域取得補間回路。
前記参照ピクチャメモリに配置される前記参照ピクチャは、前記参照ピクチャ領域外画像データを含まず、かつ前記参照ピクチャ領域の前後に前記参照ピクチャ領域外画像データの必要領域分を予め確保したアドレス上に記録され蓄積されていることを特徴とする請求項１に記載の画像データ領域取得補間回路。