JP2005079751A - 動画像予測符号化装置 - Google Patents

Abstract

【課題】 ＭＰＥＧ２においてＢ−ｐｉｃｔｕｒｅの双方向予測からＰ−ｐｉｃｔｕｒｅの片方向予測に切り替える時参照画像の読み出しタイミングが重なり、このタイミングの重なりを防せぐためにクロック周波数を上げたりメモリ量を増やすと消費電力や、回路規模が大きくなるという課題があった。
【解決手段】Ｐ−ｐｉｃｔｕｒｅの片方向予測の参照画像読み出しタイミングをＢ−ｐｉｃｔｕｒｅにおける双方向予測の２枚の参照画像を扱う時と同様に一枚の参照画像を２つに分割して２枚の参照画像と同様に扱うことにより、双方向予測から片方向予測に切り替える時の参照画像の読み出しタイミングの重なりのない動画像予測符号化装置である。
【選択図】 図１

Description

本発明は、ＭＰＥＧ２の符号化処理に用いる参照画像のアドレス設定におけるハードウェア・エンコード技術に関する。

ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）はＩＳＯ／ＩＥＣで標準化された高能率符号化方式である。ＭＰＥＧ２では３つの異なる手順で圧縮した画像（ｐｉｃｔｕｒｅ）を用いている。

１つはＩ−ｐｉｃｔｕｒｅ（Ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）と呼ばれ原画像一枚の中だけで閉じた情報で符号化されており前後の他の画像情報は入っていないため復号もＩ−ｐｉｃｔｕｒｅ自身のみで行うことが出来る。

２つ目はＰ−ｐｉｃｔｕｒｅ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）と呼ばれ、フレーム間順方向予測（以下片方向予測と略す）符号化画像で動き補償された予測画像との差分を符号化する。

最後はＢ−ｐｉｃｔｕｒｅ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）と呼ばれ、双方向予測符号化画像でＩ，Ｐ−ｐｉｃｔｕｒｅを先に処理した後に、その間に挿入される画像として符号化される。

図７にＭＰＥＧ２のエンコーダの構成図を示す。このエンコーダは入力画像データを記憶する主記憶メモリ１、符号化対象画像の一部（スライス）と予測に必要な範囲の参照画像を格納するエリアからなるワークメモリ２、ワークメモリ２に格納された対象画像と参照画像を用いて動きベクトルを検出し、それをもとに予測残差画像を生成する画像予測部３、予測残差画像をＤＣＴ、量子化、ＶＬＣを施して符号化し符号化ビットストリームを出力する符号化部４、そして符号化されたデータをデコードし参照画像として主記憶メモリ１に出力するローカル・デコーダ５から構成される。

動作例を次に説明する。まず入力画像データＤ０を主記憶メモリ１に記憶する。そして主記憶メモリ１に記憶された入力画像データの一部Ｄ０‘と予測に必要な範囲を含む参照画像の一部Ｄ２’をワークメモリ２に記憶する。ワークメモリ２に記憶された対象画像と参照画像データＷｄａｔａを画像予測部３に入力しこの対象画像と参照画像を用いて動きベクトルを検出して予測残差画像データＰｄａｔａを生成する。予測残差画像を符号化部４に入力して符号化を行い符号化ビットストリームＤ１として出力する。

一方、符号化ビットストリームＤ１はローカルデコーダ５にも加えられ符号化されたデータをデコードして元に戻したものを参照画像データＤ２として主記憶メモリ１に戻して予測に必要な参照画像として用いる。

次に具体的な処理例について説明する。

まず図８に示す様にＰ−ｐｉｃｔｕｒｅ用に片方向予測を行う時の符号化の対象画像を垂直方向１６ラインからなる部分画像とする。そしてこの部分画像を垂直方向に±４８ラインの範囲で片方向予測を行う時のタイミングチャートを図９に示す。

符号化の対象画像及び参照画像は図８に示す様に垂直方向１６ラインからなるスライス単位に主記憶メモリ１から読み出され、ワークメモリ２に書き込まれる。この時、参照画像は予測範囲（例えば±４８ライン）を網羅している必要があるため、図９に示すように対象画像の読み出しより４８ライン分先立つタイミングで読み出しを開始する。

ワークメモリ２内の参照画像領域（リングバッファ）の様子を図１０に示す。時刻ｔ０では参照画像が６４ライン分取り込まれ、スライス番号０の符号化を行うのに必要なデータが過不足無くメモリ上に展開されている。同様に、時刻ｔ１，ｔ２ではスライス番号３、５をそれぞれ符号化する為に必要な参照画像データが常にワークメモリ２上に存在する。

この例では、ワークメモリ２上の参照画像用のデータ領域は予測範囲の±４８ライン＝９６ライン、符号化対象（と同じ）位置の参照画像用として１６ライン、符号化処理に１６ライン計１２８ライン分が必要で、この時、ワークメモリ２上の参照画像用領域は最小となる。

次に、Ｂ−ｐｉｃｔｕｒｅ用の双方向予測時の処理例を説明する。タイミングチャート図１１に示すように垂直方向に±３２の範囲で参照画像Ａからと、±１６画素の範囲で参照画像Ｂからの予測を行う双方向予測時の例である。上述の片方向予測と同様の考え方で、Ａ、Ｂそれぞれの参照画像領域の最小記憶容量を算出すると、図１２に示すようにそれぞれ９６ライン分と６４ライン分になる。従って双方向予測の場合計１６０ライン分の記憶容量が必要である。

上記の二つのメモリ管理方法で、符号化対象画像の予測モードが片方向予測から双方向予測に切り替わる付近でのタイミングを図１３に、逆に双方向予測から片方向予測に切り替わる付近でのタイミングを図１３に示す。この例では、図１４に示されるように双方向予測から片方向予測に切り替わる時、参照画像の読み出しタイミングが重なっている。

これは、図１３に示す符号化対象画像の予測モードが片方向予測から双方向予測に切り替わる付近でのタイミングは、片方向予測の参照画像領域に対し双方向予測の参照画像領域Ａが１６ライン、参照画像領域Ｂで３２ラインの隙間が出来る。

これに対し図１４に示す符号化対象画像の予測モードが双方向予測から片方向予測に切り替わる付近でのタイミングは、Ｂ−ｐｉｃｔｕｒｅの参照画像領域Ａに対しＰ−ｐｉｃｔｕｒｅの参照画像領域が１６ライン、Ｂ−ｐｉｃｔｕｒｅの参照画像領域Ｂに対しＰ−ｐｉｃｔｕｒｅの参照画像領域が３２ラインと合計で４８ライン分重なり合う。

従って図１４の場合、主記憶メモリ１からのデータのアクセス量が瞬間的に増加してしまう事を意味している。一般に主記憶メモリ１の転送クロックは、最悪時のアクセス量を賄える転送速度を常に維持しなければならない為、一時的であってもアクセス量の増加に伴ってクロックを上げる必要があり、そのため消費電力が増大する。また、双方向予測用の参照画像読み出しを早めに開始すると、ワークメモリ２上の予測画像用の領域を３２ライン分増やさなくてはならない。
特開平１０−８４５５８号公報

以上述べてきたようにＢ−ｐｉｃｔｕｒｅの双方向予測からＰ−ｐｉｃｔｕｒｅの片方向予測に切り替わる時、双方向予測と片方向予測との参照画像の読み出しタイミングが重なる。これを防せぐには符号化器としては主記憶メモリの転送速度をあげるか、または
ワークメモリ量を増やすかの何れかの方法を採らざるを得ず、前者は消費電力の増大、後者は回路規模（と価格）の増大を伴なうという問題点があった。

本発明は以上の点に鑑みなされたもので、 イ）主記憶メモリの転送速度はあげない、ロ）ワークメモリ量は増やさない、ように２系統のリングバッファメモリを双方向予測と片方向予測の両方で併用することにより参照画像の読み出しタイミングの重なりを防せぐ事を目的とする。

上記の目的を達成するため、第１の発明の動画像予測符号化装置は、主記憶メモリと、２つのリングバッファ領域を内蔵するワークメモリと、画像予測符号化部とを順次接続してなり、前記主記憶メモリに順次供給される入力画像データと、前記画像予測符号化部側から前記主記憶メモリに対して循環供給されかつ所定フレーム期間前の前記入力画像データに応じて生成される参照画像データとを、前記主記憶メモリから前記ワークメモリへ供給し，前記ワークメモリは、前記主記憶メモリから供給される前記入力画像データと前記参照画像データとを組み合わせて予測符号化するための符号化対象データを生成し、生成した前記符号化対象データを前記画像予測符号化部へ供給し、前記画像予測符号化部は、前記ワークメモリから供給される前記符号化対象データに基づいて生成した画像予測符号化データを出力し、前記入力画像データに係る動画像データの予測符号化を行なうための構成を有する動画像予測符号化装置おいて、前記ワークメモリの前記２つのリングバッファ領域の出力側にはそれぞれ、双方向予測又は片方向予測に対応して前記画像予測符号化部からオンオフ制御される各スイッチ部（アドレス切り替えＳＷ１２）を有しており、１フレーム期間分の一方の前記参照画像データと１フレーム期間分の前記入力画像データと１フレーム期間分の他方の前記参照画像データとを１組として画像予測符号化データを生成する前記双方向予測に対応した前記符号化対象データを、前記画像予測符号化部へ供給する際には、前記２つのスイッチ部をオンオフ制御して、一方のリングバッファ領域から１フレーム期間分の一方の前記参照画像データが出力された直後に１フレーム期間分の他方の前記入力画像データが出力され、この直後に他方のリングバッファ領域から１フレーム期間分の前記参照画像データが出力されることにより得、１フレーム期間分の前記参照画像データと１フレーム期間分の前記入力画像データとを１組として画像予測符号化データを生成するか、又は、１フレーム期間分の前記入力画像データと１フレーム期間分の前記参照画像データとを１組として画像予測符号化データを生成する片方向予測に対応した前記符号化対象データを、前記画像予測符号化部へ供給する際には、前記２つのスイッチ部をオンオフ制御して、一方のリングバッファ領域から１フレーム期間分の一方の前記参照画像データが出力された直後に１フレーム期間分の前記入力画像データが出力されることにより得るか、又は、１フレーム期間分の前記入力画像データが出力された直後に他方のリングバッファ領域から１フレーム期間分の他方の前記参照画像データが出力されることにより得ることにより、前記２つのリングバッファ領域を双方向予測と片方向予測とで併用すると共に双方向予測から片方向予測に移行する際にそれぞれの前記参照画像データが重ならないように構成する。

ワークメモリ上に２系統の参照画像用のリングバッファ領域を用意し、双方向予測を行う際には２枚の参照画像をそれぞれ２系統の各領域に格納し、片方向予測を行う場合はこの２系統のリングバッファ領域に対して交互にアクセスする事で、双方向予測から片方向予測に切り替わる時に生ずる参照画像読み出しタイミングの重なりを防いで良好な圧縮画像を得ることが出来、しかも、転送クロックはそのままでリングバッファ領域も増大しなくてもよいので省資源および省電力に効果がある。

本発明の動画像予測符号化装置は、ワークメモリ上に２系統の参照画像用のリングバッファ領域を用意し、双方向予測を行う際には２枚の参照画像をそれぞれ２系統の各領域に格納し、片方向予測を行う場合はこの２系統のリングバッファ領域に対して交互にアクセスする事で、双方向予測から片方向予測に切り替わる時に生ずる対象画像に対する参照画像読み出しタイミングの重なりを防ぐことが出来る。

以下、添付図面を参照して説明する。図１に動画像予測用アドレス生成回路の具体的構成例を示す。

図１にワークメモリー２に用いる片方向／双方向アドレス生成回路２３の構成例を示す。このアドレス生成回路２３は図５の片方向予測、図６の双方向予測のアドレス生成回路構成を合成した機能を有するが回路規模は双方向予測のアドレス生成回路２２の構成と比較してもビットシフタ１３とＳＷ１４ａ，１４ｂが追加されたのみでほぼ同等である。

図１の動作例を説明すると、まずアクセス要求信号Ｒｑ０が外部から加えられると、スライスインデックス生成６ではスライスインディックスＳｉ０（スライス番号）を生成する。同時にスライス内アドレス生成１０によりスライス内のアドレスＳａｄ０（スライス先頭からの相対位置）が生成される。

ビットシフタ１３は右１ビットシフト回路でスライスインディックスＳｉ０のデータを２で除算するためのもので片方向予測の分割用アドレスに用いる（Ｓｉ１＝Ｓｉ０／２）。ＳＷ１４ａ，ｂは片方向／双方向の切り替え信号Ｓｗ０により制御され、片方向予測時にはＳＷ１４ａ，ｂを片方向予測側にＯＮにしてＳｉ１をポインタ制御７に伝送する。双方向予測時にはＳＷ１４ａ，ｂを双方向予測側にＯＮにしてＳｉ０をポインタ７に伝送する。

（スライスインディックス生成２０以降の動作は前述のスライスインデックス生成５以降と同様である。）
スライスインディクスＳｉ０の最下位データＬＳＢは、片方向予測のポインタ制御７における偶数／奇数の指定に用い、ポインタ制御１６およびＳＷ１２へも加える。

ポインタ制御７ではＲｅａｄ ｐｏｉｎｔｅｒとＷｒｉｔｅ Ｐｏｉｎｔｅｒの制御を双方向予測時にはＳｉ０を片方向予測時にはＳｉ１の各スライス番号をＲｅａｄ ｐｏｉｎｔｅｒ８、Ｗｒｉｔｅ ｐｏｉｎｔｅｒ９に格納されているポインタを参照してワークメモリ上の絶対アドレスＰｓ０を出力する。

次にＰｓ０およびＳａｄ０をアドレス合成１１に加えて絶対アドレスＡｄ０を生成しＳＷ１２に加える。ＳＷ１２ではアドレスＡｄ０，Ａｄ１、Ｓｉ０（ＬＳＢ）、Ｓｗ０，およびＳｅ０によりワークメモリ２のアドレスＡｄ２を生成し参照画像読み出しアドレスとする。

Ｓｉ０（ＬＳＢ）はＳｗ０が片方向予測時に選択されているときのアドレスの偶数／奇数選択に、Ｓｅ０はＳｗ０が双方向予測時に選択されているときのリングバッファ領域Ａ／領域Ｂ選択にそれぞれ用いられる。

従って、図１は、２つのアドレス生成回路を切り替える構成になっている。上側がリングバッファ領域Ａ用、下側がリングバッファ領域Ｂ用の生成回路で、双方向予測時には図６の構成と同様に動作するが、片方向予測時にはスライスインデックスのＬＳＢによってリングバッファ領域Ａ／Ｂが切り替わる。

例えばスライスインデックスが偶数の場合は上側の回路が動作し、上側のアドレス合成結果（Ａｄ０）を最終の出力（Ａｄ２）にし、スライスインデックスが奇数の場合は下側の回路が動作し、下側のアドレス合成結果（Ａｄ１）を最終の出力（Ａｄ２）に反映させる様に動作する。

以上により図１の片方向／双方向アドレス発生回路により生成されたアドレスＡｄ２により、ワークメモリ上の２系統のリングバッファ領域を、双方向予測を行う際には２枚の参照画像をそれぞれ２系統の各領域に格納し、片方向予測を行う場合はこの２系統のリングバッファ領域に対して交互にアクセスする事で、双方向予測から片方向予測に切り替わる時に生ずる対象画像に対する参照画像の読み出しタイミングの重なりを防ぐことが出来る。

次に図２にワークメモリ２内の片方向／双方向アドレス生成回路２３により生成されたアドレスＡｄ２による各部のデータの動作例を説明する。

まず画像予測部３から片方向／双方向アドレス生成回路２３へＳｅ０，Ｓｗ０，Ｒｑ０の各制御信号を送りワークメモリ２用のアドレスＡｄ２を生成する。

主記憶メモリ１から転送される参照画像データＤ２’は、片方向／双方向アドレス生成回路２３で生成されたアドレスＡｄ２に基づいてワークメモリ２上のリングバッファ領域Ａ、Ｂに格納される。

リングバッファ領域Ａ、Ｂに格納された参照画像データＤ２’は、片方向／双方向アドレス生成回路２３で生成されたアドレスＡｄ２により読み出され、ワークメモリ２上の図示しない領域から読みだされる入力画像データと併せて、Ｗｄａｔａとして画像予測部３へ供給され、ここで送られてきたデータの予測処理を行う。そして予測残差データＰｄａｔａとして出力する。

次に片方向／双方向アドレス生成回路２３で生成されたアドレスＡｄ２の具体的なタイミング例を図３，図４に示す。片方向予測の参照画像の読み出しをする際には双方向予測と同様になるよう一枚の参照画像の格納領域を２つに分割する。その際に偶数番号のスライスは参照画像領域Ａに、奇数番号のスライスは参照画像領域Ｂに配置し、描く領域が重ならないようにそれぞれのアドレスを図３のタイミングで設定する。

例えばＢ−ｐｉｃｔｕｒｅの参照画像領域Ａが終了直後にＰ−ｐｉｃｔｕｒｅの偶数番号のスライスを参照画像領域Ａに、Ｂ−ｐｉｃｔｕｒｅの参照画像領域Ｂが終了直後にＰ−ｐｉｃｔｕｒｅの奇数番号のスライスを参照画像領域Ｂに配置する。この時のワークメモリ２内の参照画像領域Ａは９６ライン、参照画像領域Ｂは６４ラインと双方向予測と同じである。

図４に図３におけるタイミングｔ０，ｔ１，ｔ２，ｔ３，ｔ４のワークメモリ２内の参照画像領域例を示す。参照画像の読み出しを１枚しか必要としない片方向予測動作時でも、図３に示すように参照画像Ａと参照画像Ｂに分割して２組の参照画像をアドレッシングするＷｒｉｔｅ／Ｒｅａｄ Ｐｏｉｎｔｅｒを用いて稼動させる。

以上によりワークメモリ２上の参照画像領域はリニアなアドレッシングが出来なくなるが、スライス格納領域のインデックスは最下位ビットを参照画像領域Ａまたは参照画像領域Ｂを示すフラグとして利用でき、最下位ビットを除く部分をそれぞれの領域に対するインデックスとしてそのまま利用できる為、図３と図５を比較してもＳＷ１４ａ，ｂが追加されるだけであるから回路規模はほとんど変わらない。

また、参照画像領域Ａ、領域Ｂのそれぞれの領域に対するＷｒｉｔｅ Ｐｏｉｎｔｅｒを交互に更新しているので、片方向予測から双方向予測に切り替わる際にも、２枚の参照画像を書き込める領域が必ず確保できる。

例えば、図６におけるワークメモリ２上で片方向予測に最小限必要な参照画像領域をＣｐ，双方向予測に最小限必要な参照画像領域Ａ，ＢをそれぞれＣｂａ，Ｃｂｂとすると、ワークメモリ２はＣｐもしくは（Ｃｂａ＋Ｃｂｂ）の大きい方の領域を確保すればよい。

以上により主記憶メモリ１の転送レート及び、参照画像を格納するワークメモリ２のサイズの双方を最小限にする事が可能であり、回路の増加分も殆どない。

本発明の構成では、片方向予測の垂直方向予測範囲を±Ｓｐ画素、双方向予測の垂直方向予測範囲をそれぞれ±Ｓｂａ画素、±Ｓｂｂ画素として、Ｓｐ＜＝（Ｓｂａ＋Ｓｂｂ）が成立する事が条件である。

本発明のリングバッファ領域読み出し時の片方向／両方向アドレス生成回路構成を示す図である。 本発明によるワークメモリの動作例を示すブロック図である。 本発明の双方向予測から片方向予測のタイミングチャートを示す図である。 本発明のワークメモリ内参照画像領域を示す図である。 片方向予測のアドレス回路構成を示す図である。 双方向予測のアドレスブロック回路構成を示す図である。 ＭＰＥＧ２のエンコーダの構成図例を示す。 垂直方向１６ラインからなる部分画像を示す図である。 片方向予測を行う時のタイミングチャートを示す図である。 片方向予測のワークモリ内のリングバッファ領域を示す図である。 双方向予測を行う時のタイミングチャートを示す図である。 双方向予測のワークメモリ内のリングバッファ領域を示す図である。 片方向予測から双方向予測を行うタイミングチャートを示す図である。 双方向予測から片方向予測を行うタイミングチャートを示す図である。

符号の説明

１ 主記憶メモリ
２ ワークメモリ
３ 画像予測部
４ 符号化部
５ ローカルデコーダ
１２ アドレス切り替えＳＷ （画像予測符号化部からオンオフ制御される各スイッチ部）
１３ ビットシフタ
１４ａ，１４ｂ スライス番号切り替えＳＷ
２１ 片方向予測用アドレス生成回路
２２ 両方向予測用アドレス生成回路
２３ 片方向／双方向アドレス生成回路

Claims (1)

1. 主記憶メモリと、２つのリングバッファ領域を内蔵するワークメモリと、画像予測符号化部とを順次接続してなり、
   前記主記憶メモリに順次供給される入力画像データと、前記画像予測符号化部側から前記主記憶メモリに対して循環供給されかつ所定フレーム期間前の前記入力画像データに応じて生成される参照画像データとを、前記主記憶メモリから前記ワークメモリへ供給し，
   前記ワークメモリは、
   前記主記憶メモリから供給される前記入力画像データと前記参照画像データとを組み合わせて予測符号化するための符号化対象データを生成し、生成した前記符号化対象データを前記画像予測符号化部へ供給し、
   前記画像予測符号化部は、
   前記ワークメモリから供給される前記符号化対象データに基づいて生成した画像予測符号化データを出力し、
   前記入力画像データに係る動画像データの予測符号化を行なうための構成を有する動画像予測符号化装置おいて、
   前記ワークメモリの前記２つのリングバッファ領域の出力側にはそれぞれ、双方向予測又は片方向予測に対応して前記画像予測符号化部からオンオフ制御される各スイッチ部を有しており、
   １フレーム期間分の一方の前記参照画像データと１フレーム期間分の前記入力画像データと１フレーム期間分の他方の前記参照画像データとを１組として画像予測符号化データを生成する前記双方向予測に対応した前記符号化対象データを、前記画像予測符号化部へ供給する際には、前記２つのスイッチ部をオンオフ制御して、一方のリングバッファ領域から１フレーム期間分の一方の前記参照画像データが出力された直後に１フレーム期間分の他方の前記入力画像データが出力され、この直後に他方のリングバッファ領域から１フレーム期間分の前記参照画像データが出力されることにより得、
   １フレーム期間分の前記参照画像データと１フレーム期間分の前記入力画像データとを１組として画像予測符号化データを生成するか、又は、１フレーム期間分の前記入力画像データと１フレーム期間分の前記参照画像データとを１組として画像予測符号化データを生成する片方向予測に対応した前記符号化対象データを、前記画像予測符号化部へ供給する際には、前記２つのスイッチ部をオンオフ制御して、一方のリングバッファ領域から１フレーム期間分の一方の前記参照画像データが出力された直後に１フレーム期間分の前記入力画像データが出力されることにより得るか、又は、１フレーム期間分の前記入力画像データが出力された直後に他方のリングバッファ領域から１フレーム期間分の他方の前記参照画像データが出力されることにより得ることにより、
   前記２つのリングバッファ領域を双方向予測と片方向予測とで併用すると共に双方向予測から片方向予測に移行する際にそれぞれの前記参照画像データが重ならないように構成したことを特徴とする動画像予測符号化装置。
   
   

Images